CN113873285A - 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统 - Google Patents

一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统 Download PDF

Info

Publication number
CN113873285A
CN113873285A CN202111197279.3A CN202111197279A CN113873285A CN 113873285 A CN113873285 A CN 113873285A CN 202111197279 A CN202111197279 A CN 202111197279A CN 113873285 A CN113873285 A CN 113873285A
Authority
CN
China
Prior art keywords
live broadcast
devices
hongmon
angle
hongmeng
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111197279.3A
Other languages
English (en)
Inventor
武延军
赵琛
武斌
朱伟
郑森文
罗天悦
杨牧天
吴敬征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202111197279.3A priority Critical patent/CN113873285A/zh
Publication of CN113873285A publication Critical patent/CN113873285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于鸿蒙分布式能力的裸眼3D直播方法和系统。首先将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围，然后启动所有设备的动态链接功能，使所有设备均链接在分布式软总线中，借助分布式能力，多台设备形成超级虚拟控制终端；开启各设备的直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各设备之间进行配对和实时图像拼接，形成直播场景的360°3D立体视频流；通过视频传输协议传输至用户的手机端，用户在观看直播时，通过操控角度控制器，可以连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前。本发明解决了成像端观看直播时的角度限制问题，提升了用户观看直播的互动效果。

Description

一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统
技术领域
本发明涉及鸿蒙视频处理技术领域，尤其涉及鸿蒙系统的分布式能力、图像处理能力及数据传输能力，提出一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统。
背景技术
鸿蒙系统是一款面向全场景的国产分布式操作系统，其内置分布式软总线技术，可将多类鸿蒙设备连接至同一分布式软总线的网络中，使多种设备共同形成一个超级虚拟终端，多设备的应用程序数据和用户数据同步到终端进行统一管理，用户数据不再与单一物理设备进行绑定，不同的设备实现资源融合和数据共享，达到多种设备之间的硬件互助、资源共享的目的。随着流媒体技术的不断发展，直播技术被广泛应用于各行各业，全新的交互方式促进了众多行业的快速发展，同时也打破了传统行业的壁垒，使各行各业焕发新的生机。
Chen等人发明了一种裸眼3D直播的方法，该方法实时接收流媒体云服务器发送的一路视频，并根据预设规则进行编解码，从而得到两路图像数据，后对两路图像进行3D显示。其所提供的方法利用人眼视觉差呈现图像的3D效果。由于其只提供一路视频流，所以直播时仅提供一个具有3D效果的观看角度，用户无法对观看角度进行控制。Yuan在上一种方法的基础上做出改进，提出了一种基于双摄采集的3D直播显示方法及系统，该方法使用左右摄像头分别采集直播图像，在直播端对两路图像进行拼接展示，以达到3D直播的效果，然后再将视频流实时传输到用户端。该方法包含了两路图像，通过图像拼接技术实现成像画面的3D效果，但是双摄采集图像只能为用户提供少量的直播观看角度，做不到为用户提供360°全方位的具有3D效果的直播视角，用户无法对观看角度进行控制。
发明内容
本发明的目的在于针对鸿蒙系统的特性，提出一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统。本发明在现有方法的基础上进行改进，增加视频采集设备的同时，借助鸿蒙系统的分布式软总线能力实现多路视频数据共享和传输，借助鸿蒙系统的图像处理能力实现多路视频数据的图像拼接，同时赋予用户直播视角的切换权利，为用户提供360°全方位的具有3D效果的直播视角。
本发明采用的技术方案如下：
一种基于鸿蒙分布式能力的裸眼3D直播方法，包括以下步骤：
将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围；
启动各鸿蒙设备的动态链接功能，使各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；
开启各鸿蒙设备的直播录制功能，获取多路直播视频流数据；
超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360°的3D立体视频流；
将直播场景的360°的3D立体视频流通过视频传输协议传输至用户端。
进一步地，所述用户端包含角度控制器，用户在观看直播时，通过操控角度控制器连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前；所述角度控制器能够任意切换观看视频的角度，该角度用Ca来表示，0°≤Ca≤360°。
进一步地，将所述直播场景即LS简化为一个点S；各鸿蒙设备的信息形式化表述为<P，O，A>，其中：P表示鸿蒙设备相对S点的坐标位置；O表示鸿蒙设备的排列序号，O＝{o1，o2，o5……，on}，其中oi表示某一台鸿蒙设备排列序号为i；A表示鸿蒙设备拍摄LS的角度范围，A＝{a1，a2，……，an}，其中ai是序号为i的设备能够拍摄LS的角度范围；所述超级虚拟控制终端表示为：W＝{w1，w2，……，wn}，其中wi表示编号为i的鸿蒙设备的CPU占据整个虚拟控制终端总CPU的比例；
Figure BDA0003303634820000021
Figure BDA0003303634820000022
其中Qi表示第i张图片的特征点集合，
Figure BDA0003303634820000023
表示第i张图片中的第j个特征点。
进一步地，所述各鸿蒙设备符合以下要求：
各鸿蒙设备具有基本的相机能力，能够获取相机数据并进行数据传输；相邻的鸿蒙设备间最少有一台鸿蒙设备具备图像数据的存储能力和处理能力，以方便后期进行图像拼接处理；
将直播场景LS简化为一个点S，各鸿蒙设备与S点的距离相同；
各鸿蒙设备在摆放时，保证拍摄LS的角度范围存在一定程度的重合，重合的程度取决于图像拼接算法的要求；
以LS中距离S点最远的距离为半径形成圆弧，将该圆弧以直线的方式展开，直线长度表示圆弧的0°到360°，每台鸿蒙设备拍摄LS角度范围都是直线上的一段距离，各角度范围之间存在重合，各角度范围覆盖0°到360°的整条直线。
进一步地，所述超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，包括：
根据加入分布式软总线的鸿蒙设备，确定当前参与直播拍摄的鸿蒙设备数量N，并确定N的奇偶性；
若N为偶数，设备从鸿蒙设备o1开始两两配对，配对后同时进行图像拼接，后续再对N/2个设备两两配对，重复上述步骤进行图像拼接形成最后的3D图像；
若N为奇数，设备从鸿蒙设备o1开始两两配对，鸿蒙设备on不参与本次配对，配对完成的设备依次完成图像拼接，鸿蒙设备on的图像与相邻设备对形成，即第(n-1)/2个设备对的图像进行拼接，重复上述步骤形成最后的3D图像；
在确定了两两配对的能够进行图像拼接的鸿蒙设备后，依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备。
进一步地，所述依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备，包括：获取两个鸿蒙设备的CPU主频和内存并作比较，在内存容量满足基本的图像数据存储的基础上，CPU主频更大的设备被设置为执行具体的图像拼接运算的设备。
进一步地，所述图像拼接包括：
检测和计算两帧图像各自的特征点，并输出特征点集合，记作
Figure BDA0003303634820000031
Figure BDA0003303634820000032
其中Qi表示第i张图片的特征点集合，
Figure BDA0003303634820000033
表示第i张图片中的第j个特征点；
对两帧图像进行匹配，找到Q1与Q2中特征点的最佳匹配点，并通过最佳匹配点确定两帧图像间的映射关系；
按照映射关系将一张图片拷贝到另一张图片中，实现图像拼接。
一种基于鸿蒙分布式能力的裸眼3D直播装置，其包括多台鸿蒙设备，各鸿蒙设备具有相机能力并呈圆周形等距离等高度的放置在直播场景周围；各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；各鸿蒙设备通过开启直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360°的3D立体视频流并通过视频传输协议传输至用户端。
一种基于鸿蒙分布式能力的裸眼3D直播系统，包括上述基于鸿蒙分布式能力的裸眼3D直播装置，以及用户端。
本发明的目的在于基于鸿蒙操作系统的分布式特性，提供一种裸眼3D直播方法，让用户在观看直播时，可以通过进度条任意切换观看直播的角度，直播视频的每个角度都可以以3D的效果进行展示。本发明解决了成像端观看直播时的角度限制问题，给与了直播更多的展示机会，同时也提升了用户观看直播的互动效果，增加了用户对直播内容的理解。
附图说明
图1是基于鸿蒙分布式能力的裸眼3D直播方法的流程图。
图2是本发明基于鸿蒙系统的裸眼3D直播流程示意图。
图3是多个设备的拍摄范围重合示意图。
图4是视频图像拼接的设备配对示意图。其中，(a)是视频图像拼接的设备配对示意图，(b)为偶数个设备两两配对示意图，(c)为奇数个设备两两配对示意图。
图5是图像拼接原理示意图。其中，(a)为计算、检测、匹配特征点，(b)为特征点融合、图像拼接。
具体实施方式
下面结合附图，通过实施例对本发明作进一步的说明，但不以任何方式限制本发明的范围。
本发明是一种基于鸿蒙分布式能力的裸眼3D直播方法，以鸿蒙系统的分布式能力和分布式设备为分析对象，其技术方案的流程如图1所示，包括如下步骤：
1)直播端需要准备多台(至少两台)鸿蒙设备，各设备和地面的距离(高度)一致，围绕直播场景呈圆周形分布，直播场景简称为LS(Live Scene)，如图2所示。为了方便描述，此处将LS简化为一个中心点S。各设备信息形式化表述为<P，O，A>，其中：
P表示鸿蒙设备相对S点的坐标位置。由于各设备高度一致，可以忽略高度对设备位置的影响，将各设备与S点投影到同一水平面上，以S点为坐标中心，获取各设备相对S点的坐标信息。
O表示鸿蒙设备的排列序号。O＝{o1，o2，o3……，on-1}，其中oi表示某一台鸿蒙设备排列序号为i。
A表示鸿蒙设备拍摄LS的角度范围。A＝{a1，a2，……，an}，其中ai-1便是序号为i的设备能够拍摄LS的角度范围。
2)启动各鸿蒙设备的动态链接功能，检测周围的分布式软总线网络并申请加入，使所有鸿蒙设备均处在分布式软总线的网络中；
3)通过调用鸿蒙操作系统的分布式能力，多台鸿蒙设备形成超级虚拟控制终端W，W＝{w1，w2，……，wn}，其中wi表示编号为i的鸿蒙设备的CPU占据整个虚拟控制终端总CPU的比例；
4)开启各鸿蒙设备的直播录制功能，采集多路视频流数据。
5)超级虚拟控制终端获取各鸿蒙设备的坐标位置P和排列序号O。依据坐标位置，确定可以配对进行视频图像拼接的设备，并指定需要进行图像拼接计算的设备。
6)实现多路视频图像依次拼接，形成直播场景的360°的3D立体视频流；
7)将拼接好的视频流通过视频传输协议传输至用户的手机端。
8)用户在观看直播时，手机界面有角度控制器，通过操控该控制器，可以连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前。
上述步骤1)中指明鸿蒙设备围绕LS呈圆周形分布，具体应符合以下要求：
1a)参与直播视频采集的设备类型可以不同，但各鸿蒙设备应具有基本的相机能力，可以捕获直播数据并进行数据传输。相邻的设备间最少有一台设备具备图像数据的存储能力和处理能力，方便后期进行图像拼接处理。
1b)参与直播视频采集的设备与S点的距离相同。
1c)为了确保相邻设备间的视频流图像可以进行拼接，设备在摆放时，应该保证拍摄LS的角度范围存在一定程度的重合，重合的程度取决于图像拼接算法的要求，一般来说，两台设备拍摄的图像重合度越大，图像间的相似的特征越明显，越容易进行图像拼接。
1d)为了方便描述每台设备拍摄LS的角度范围，可以以LS中距离S点最远的距离为半径形成圆弧，将该圆弧以直线的方式展开，直线长度表示圆弧的0°到360°，每台鸿蒙设备拍摄LS角度范围都是直线上的一段距离，各角度范围之间存在重合，如图3所示。各角度范围应覆盖0°到360°的整条直线，即a1+a2+……+an＝360°。
上述步骤5)中确定可以进行视频图像拼接的设备对并进行图像拼接，步骤如下：
5a)根据加入分布式软总线的设备，确定当前参与直播拍摄的设备数量N，并确定N的奇偶性。
5b)若N为偶数，如图4中(b)图所示，设备从鸿蒙设备o1开始两两配对，配对后同时进行图像拼接，后续再对N/2个设备两两配对，重复上述步骤进行图像拼接形成最后的3D图像。
5c)若N为奇数，如图4中(c)图所示，设备从第鸿蒙设备o1开始两两配对，鸿蒙设备on不参与本次配对。配对完成的设备依次完成图像拼接，鸿蒙设备on的图像与相邻设备对形成，即第(N-1)/2个设备对的图像进行拼接，重复上述步骤形成最后的3D图像。
5d)在步骤5b)和5c)中，确定了两两配对的可以进行图像拼接的设备后，还需要依据两设备间的计算能力，确定执行图像拼接运算的单个设备。此处可以获取两个设备的CPU主频和内存作比较，CPU主频代表着设备的计算速度，内存容量代表着设备存储图像数据的能力，在内存容量满足基本的图像数据存储的基础上，CPU主频更大的设备被设置为执行具体的图像拼接运算的设备。
上述步骤6)中图像进行两两拼接时的步骤如下：
6a)首先检测和计算两帧图像各自的特征点，并输出特征点集合，记作
Figure BDA0003303634820000061
Figure BDA0003303634820000062
其中Qi表示第i张图片的特征点集合，
Figure BDA0003303634820000063
表示第i张图片中的第j个特征点；
6b)对两帧图像进行匹配，计算Q1与Q2中特征点的欧氏距离，通过最小欧氏距离找到Q1与Q2中特征点的最佳匹配点，并通过最佳匹配点确定两帧图像间的映射关系，如图5中(a)图所示。
6c)按照6b)中的映射关系将一张图片拷贝到另一张图片中，实现图像拼接，如图5中(b)图所示。
上述步骤8)中，用户通过角度控制器可以任意切换观看视频的角度，该角度用Ca来表示，0°≤Ca≤360°。
本发明一个实施例的基于鸿蒙系统的裸眼3D直播流程如图1所示，以一次实际的直播过程为例，具体包括：
1)准备5台鸿蒙手机设备，各设备拍摄角度为120°，相邻设备的拍摄图像的重合角度为60°，如图2所示。各设备与直播场景的圆心距离为两米，围绕直播场景呈圆周形分布，水平高度均为1.5米。
2)打开各鸿蒙设备的分布式软总线开关，使所有的鸿蒙设备处于同一个分布式软总线网络中。
3)打开鸿蒙设备的分布式设备虚拟化开关，借助步骤2)中的分布式软总线，将各鸿蒙设备组成超级虚拟控制终端。
4)打开各设备的直播录制开关，各设备实时采集直播视频流。超级虚拟控制终端获取各设备的位置P＝{p1，p2，p3，p4，p5}和序号O＝{o1，o2，o3，o4，o5}，发布进行配对和图像拼接的指令。
5)由于当前设备数量为奇数5，因此设备配对时，o1和o2，o3和o4依次配对进行图像拼接，分别生成拼接图像p1和p2，再将p2和o5的视频图像进行拼接生成p3，p1和p3拼接生成最后的3D图像，即形成360°的3D立体视频，如图4的(c)所示。
6)各设备采集的图像实时执行图像拼接，如图4的(a)所示，生成实时的3D视频流。该视频流通过通讯协议实时传输到用户的观看直播的手机中显示。
7)用户观看视频的手机界面有角度控制器，控制器的0—1的范围，对应直播视频0°—360°的观看角度。通过操控该控制器，可以连续切换观看视频的角度，每个角度都是以3D效果呈现在用户面前。
基于同一发明构思，本发明的另一实施例提供一种采用上述方法的基于鸿蒙分布式能力的裸眼3D直播装置，其包括多台鸿蒙设备，各鸿蒙设备具有相机能力并呈圆周形等距离等高度的放置在直播场景周围；各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；各鸿蒙设备通过开启直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360°的3D立体视频流并通过视频传输协议传输至用户端。
基于同一发明构思，本发明的另一实施例提供一种基于鸿蒙分布式能力的裸眼3D直播系统，包括上述基于鸿蒙分布式能力的裸眼3D直播装置，以及用户端。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于鸿蒙分布式能力的裸眼3D直播方法，其特征在于，包括以下步骤：
将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围；
启动各鸿蒙设备的动态链接功能，使各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；
开启各鸿蒙设备的直播录制功能，获取多路直播视频流数据；
超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360°的3D立体视频流；
将直播场景的360°的3D立体视频流通过视频传输协议传输至用户端。
2.如权利要求1所述的方法，其特征在于，所述用户端包含角度控制器，用户在观看直播时，通过操控角度控制器连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前；所述角度控制器能够任意切换观看视频的角度，该角度用Ca来表示，0°≤Ca≤360°。
3.如权利要求1所述的方法，其特征在于，将所述直播场景即LS简化为一个点S；各鸿蒙设备的信息形式化表述为<P，O，A>，其中：P表示鸿蒙设备相对S点的坐标位置；O表示鸿蒙设备的排列序号，O＝{o1，o2，o5……，on}，其中oi表示某一台鸿蒙设备排列序号为i；A表示鸿蒙设备拍摄LS的角度范围，A＝{a1，a2，……，an}，其中ai是序号为i的设备能够拍摄LS的角度范围；所述超级虚拟控制终端表示为：W＝{w1，w2，……，wn}，其中wi表示编号为i的鸿蒙设备的CPU占据整个虚拟控制终端总CPU的比例；
Figure FDA0003303634810000011
其中Qi表示第i张图片的特征点集合，
Figure FDA0003303634810000012
表示第i张图片中的第j个特征点。
4.如权利要求1所述的方法，其特征在于，所述各鸿蒙设备符合以下要求：
各鸿蒙设备具有基本的相机能力，能够获取相机数据并进行数据传输；相邻的鸿蒙设备间最少有一台鸿蒙设备具备图像数据的存储能力和处理能力，以方便后期进行图像拼接处理；
将直播场景LS简化为一个点S，各鸿蒙设备与S点的距离相同；
各鸿蒙设备在摆放时，保证拍摄LS的角度范围存在一定程度的重合，重合的程度取决于图像拼接算法的要求；
以LS中距离S点最远的距离为半径形成圆弧，将该圆弧以直线的方式展开，直线长度表示圆弧的0°到360°，每台鸿蒙设备拍摄LS角度范围都是直线上的一段距离，各角度范围之间存在重合，各角度范围覆盖0°到360°的整条直线。
5.如权利要求1所述的方法，其特征在于，所述超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，包括：
根据加入分布式软总线的鸿蒙设备，确定当前参与直播拍摄的鸿蒙设备数量N，并确定N的奇偶性；
若N为偶数，设备从鸿蒙设备o1开始两两配对，配对后同时进行图像拼接，后续再对N/2个设备两两配对，重复上述步骤进行图像拼接形成最后的3D图像；
若N为奇数，设备从鸿蒙设备o1开始两两配对，鸿蒙设备on不参与本次配对，配对完成的设备依次完成图像拼接，鸿蒙设备on的图像与相邻设备对形成，即第(n-1)/2个设备对的图像进行拼接，重复上述步骤形成最后的3D图像；
在确定了两两配对的能够进行图像拼接的鸿蒙设备后，依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备。
6.如权利要求1所述的方法，其特征在于，所述依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备，包括：获取两个鸿蒙设备的CPU主频和内存并作比较，在内存容量满足基本的图像数据存储的基础上，CPU主频更大的设备被设置为执行具体的图像拼接运算的设备。
7.如权利要求1所述的方法，其特征在于，所述图像拼接包括：
检测和计算两帧图像各自的特征点，并输出特征点集合，记作
Figure FDA0003303634810000021
Figure FDA0003303634810000022
其中Qi表示第i张图片的特征点集合，
Figure FDA0003303634810000023
表示第i张图片中的第j个特征点；
对两帧图像进行匹配，找到Q1与Q2中特征点的最佳匹配点，并通过最佳匹配点确定两帧图像间的映射关系；
按照映射关系将一张图片拷贝到另一张图片中，实现图像拼接。
8.一种基于鸿蒙分布式能力的裸眼3D直播装置，其特征在于，包括多台鸿蒙设备，各鸿蒙设备具有相机能力并呈圆周形等距离等高度的放置在直播场景周围；各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；各鸿蒙设备通过开启直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360°的3D立体视频流并通过视频传输协议传输至用户端。
9.一种基于鸿蒙分布式能力的裸眼3D直播系统，其特征在于，包括权利要求8所述的基于鸿蒙分布式能力的裸眼3D直播装置，以及用户端。
10.如权利要求9所述的系统，其特征在于，所述用户端包含角度控制器，用户在观看直播时，通过操控角度控制器连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前；所述角度控制器能够任意切换观看视频的角度，该角度用Ca来表示，0°≤Ca≤360°。
CN202111197279.3A 2021-10-14 2021-10-14 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统 Pending CN113873285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111197279.3A CN113873285A (zh) 2021-10-14 2021-10-14 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111197279.3A CN113873285A (zh) 2021-10-14 2021-10-14 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113873285A true CN113873285A (zh) 2021-12-31

Family

ID=78999703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111197279.3A Pending CN113873285A (zh) 2021-10-14 2021-10-14 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113873285A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109729A1 (en) * 2001-06-28 2008-05-08 Amir Notea Method and apparatus for control and processing of video images
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN112533002A (zh) * 2020-11-17 2021-03-19 南京邮电大学 一种用于vr全景直播的动态图像融合方法及系统
CN113190196A (zh) * 2021-04-27 2021-07-30 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备
CN113286064A (zh) * 2021-04-30 2021-08-20 深圳市沃特沃德信息有限公司 环视图像采集方法、装置、移动终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109729A1 (en) * 2001-06-28 2008-05-08 Amir Notea Method and apparatus for control and processing of video images
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN112533002A (zh) * 2020-11-17 2021-03-19 南京邮电大学 一种用于vr全景直播的动态图像融合方法及系统
CN113190196A (zh) * 2021-04-27 2021-07-30 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备
CN113286064A (zh) * 2021-04-30 2021-08-20 深圳市沃特沃德信息有限公司 环视图像采集方法、装置、移动终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HZAAAAAAA: ""HarmonyOS概述"", 《URL：HTTP://WWW.360DOC.COM/CONTENT/20/0913/22/58527892_935484406.SHTML》 *

Similar Documents

Publication Publication Date Title
US10805530B2 (en) Image processing for 360-degree camera
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN101489150B (zh) 一种虚实混合的远程协同工作方法
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
US9961334B2 (en) Simulated 3D image display method and display device
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
US20170150212A1 (en) Method and electronic device for adjusting video
CN103488040A (zh) 立体全景影像合成方法及其相关的立体摄影机
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
CN104866261B (zh) 一种信息处理方法和装置
CN101742096A (zh) 多视角互动电视系统与方法
CN105915818B (zh) 一种视频处理方法和装置
WO2014094537A1 (zh) 沉浸通信客户端、服务器及获取内容视图的方法
WO2013120308A1 (zh) 一种三维显示方法及系统
WO2017092432A1 (zh) 一种虚拟现实交互方法、装置和系统
WO2013159515A1 (zh) 网真视频图像输送方法、设备及网真系统
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
JP2004193962A (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
KR20110108551A (ko) 다시점 입체 동영상 송/수신 장치 및 방법
CN107707830A (zh) 基于单向通信的全景视频播放拍照系统
CN113873285A (zh) 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统
CN107659786A (zh) 一种全景视频监控装置及处理方法
Wang et al. Camswarm: Instantaneous smartphone camera arrays for collaborative photography
CN107426561B (zh) 一种3d360度的虚拟现实直播方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211231