CN107426561A - 一种3d360度的虚拟现实直播方法及装置 - Google Patents
一种3d360度的虚拟现实直播方法及装置 Download PDFInfo
- Publication number
- CN107426561A CN107426561A CN201710608249.4A CN201710608249A CN107426561A CN 107426561 A CN107426561 A CN 107426561A CN 201710608249 A CN201710608249 A CN 201710608249A CN 107426561 A CN107426561 A CN 107426561A
- Authority
- CN
- China
- Prior art keywords
- lens group
- panorama sketch
- scene image
- degree
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 241000251468 Actinopterygii Species 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 6
- 238000011282 treatment Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供了一种3D360度的虚拟现实直播方法及装置，包括：分别通过第一镜头组和第二镜头组同步获取场景图像；建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。本发明实现了3D360度的虚拟现实的直播，提升用户体验，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种3D360度的虚拟现实直播方法及装置。
背景技术
移动直播技术是结合移动通信技术和网络直播技术发展起来的一种通信技术，可以通过移动终端来实现视频等信息的直播与共享。虚拟现实(Virtual Reality，VR)技术是一种综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中的提供沉浸感的技术，近年越发受到大众喜爱。现有的虚拟现实直播的形式通常都是采用2D直播的形式进行展示，或者还有一些直播以全景视频的方式来展示，但是这些展示方式对于用户来说还是比较单一，且采用全景视频的方式直播还存在重影的问题，进而大大降低了用户的现场体验度。
发明内容
针对现有技术中的缺陷，本发明提供一种3D360度的虚拟现实直播方法及装置，使用户能够获得更加真实的现场观看的体验，提高了用户体验度。
为解决上述目的，本发明提供以下技术方案：
一方面，本发明提供了一种3D360度的虚拟现实直播方法，包括：
分别通过第一镜头组和第二镜头组同步获取场景图像；
建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
进一步的，所述第一镜头组和所述第二镜头组均包括：N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
进一步的，通过以下步骤获取所述映射模版：
采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理；
其中，将第二镜头组获取的场景图或者第一镜头组获取的场景图输入至获取的映射模版中获取第二全景图或者第一全景图。
进一步的，所述采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像以及配准后的第二镜头组获取的场景图像进行缝合处理的步骤包括：
将缝合处理过程中的缝合区划分为三个子区；
采用最佳缝合线的方式获取三个子区的三个拼缝；
通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理。
进一步的，将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图的步骤，包括：
检测2D全景图中的前景目标；
若前景目标未出现在缝合区，则采用三个子区中任意一个拼缝组成的映射模版进行转换处理；
若前景目标出现在缝合区，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝组成的映射模版进行转换处理；
其中，2D全景图包括：第一2D全景图和第二2D全景图。
另一方面，本发明提供了一种3D360度的虚拟现实直播装置，包括：
取景单元，用于分别通过第一镜头组和第二镜头组同步获取场景图像；
转换单元，用于建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
合并单元，用于将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
直播单元，用于将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
进一步的，所述第一镜头组和所述第二镜头组均包括：N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
进一步的，所述转换单元，包括：
展开模块，用于采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
校色模块，用于分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
配准模块，用于采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
缝合模块，用于采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理；
其中，将第二镜头组获取的场景图或者第一镜头组获取的场景图输入至获取的映射模版中获取第二全景图或者第一全景图。
进一步的，所述缝合模块，包括
分区子模块，用于将缝合处理过程中的缝合区划分为三个子区；
拼缝子模块，用于采用最佳缝合线的方式获取三个子区的三个拼缝；
缝合子模块，用于通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理。
进一步的，所述直播单元，包括：
检测模块，用于检测2D全景图中的前景目标；
第一选取模块，用于当前景目标未出现在缝合区，则采用三个子区中任意一个拼缝组成的映射模版进行转换处理；
第二选取模块，用于当前景目标出现在缝合区，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝组成的映射模版进行转换处理；
其中，2D全景图包括：第一2D全景图和第二2D全景图。
由上述技术方案可知，本发明所述的一种3D360度的虚拟现实直播方法及装置，通过映射模版将镜头组获取的场景图像进行转换处理后获取2D全景图，采用两组镜头组获取的2D全景图进行合并处理获得3D360度的全景图，将3D360度的全景图转换为视频流并进行直播，实现了3D360度的虚拟现实的直播，提升用户体验；改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种3D360度的虚拟现实直播方法的流程示意图；
图2是本发明的一种3D360度的虚拟现实直播装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
虚拟现实(Virtual Reality，VR)技术是一种综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中的提供沉浸感的技术。现有的虚拟现实直播的形式对于用户来说还是比较单一，在用全景视频的方式直播还存在重影的问题，进而大大降低了用户的现场体验度。为解决上述技术问题，本发明实施例提供一种3D360度的虚拟现实直播方法及装置。
本发明实施例提供一种3D360度的虚拟现实直播方法，参见图1，该方法具体包括如下步骤：
S101：分别通过第一镜头组和第二镜头组同步获取场景图像；
在本步骤中，通过两组镜头同步获取场景图像，每组镜头至少包含N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
进一步的，选用六目组合方案，将6个配有185度鱼眼镜头的相机分布在正三角形的三条边上，每条边上设置两个相机；正三角形的每条边上的左侧相机组成第一镜头组，右侧相机组成第二镜头组。
S102：建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
在本步骤中，通过以下步骤获得所述映射模版：
采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理。分别获得第一2D全景图和第二2D全景图；
其中，将第二镜头组获取的场景图或者第一镜头组获取的场景图输入至获取的映射模版中获取第二全景图或者第一全景图。
通过上述的处理过程，可以获取一个具有固定映射的映射模版，通过该固定映射的映射模版对输入的场景图像直接转换为输出的2D全景图，省略了中间的处理过程，节省了时间，提高直播的实时性。该映射模版记录了从场景图像像素点到2D全景图像素点的坐标映射关系。通过该映射模版将第一镜头组以及第二镜头组获取的场景图像转换为2D全景图。
在采用最佳缝合线的方式进行缝合处理时，如果缝合处理过程中的缝合区仅使用一组固定的拼缝来对所有场景图像进行拼接的话，则当有人或其他运动目标进入甚至穿过缝合区时，将会导致目标的撕裂现象。因此将缝合处理过程中的缝合区划分为三个子区；采用最佳缝合线的方式获取三个子区的三个拼缝；通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理，当目标进入或穿过缝合区域时通过切换拼缝来躲避目标，从而使目标在该区域的时候仍然可以保持完整。
采用六目组合方案，每个镜头组有三个鱼眼镜头相机，将3个场景图像进行缝合处理时，存在有3个缝合区，每个缝合区划分为三个子区，每个子区设有一个拼缝，这样对于每一个缝合区都会有3种可能性的拼缝，故总共将会有3*3*3＝27种排列组合，即存在27种排列组合的拼接模板。在将场景图像转换为全景图时，根据前景图像是否出现在缝合区，并选取不同的拼接模版来进行转换。
S103：将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
在本步骤中，在合并处理时，需要实时的判断第一2D全景图采用哪一个拼接模板来进行全景的实时渲染。判断方法为：采用实时的前景检测算法来对前景目标进行检测，并确定前景物体的坐标位置。如果缝合区域内没有前景目标出现，则该缝合区域采用三个子区中任意一个拼缝所在的模版进行转换处理；如果缝合区域内有前景目标出现，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝所在的模版进行转换处理；在确定好拼缝后即可确定好拼接模板后，使用该模板对输入的六路视频进行实时渲染以及合并处理。
采用上述的方法对第二2D全景图进行实时渲染，并将实时渲染后的第一2D全景图和第二2D全景图合并处理，以获取3D360度的全景图。
S104：将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
在本步骤中，对输入的六路视频进行实时渲染，生成最终的3D360度的全景图像视频流，并将视频流推向网络服务器，实现虚拟显示视频的直播。
从上述描述可知，本发明所述的一种3D360度的虚拟现实直播方法及装置，通过映射模版将镜头组获取的场景图像进行转换处理后获取2D全景图，采用两组镜头组获取的2D全景图进行合并处理获得3D360度的全景图，将3D360度的全景图转换为视频流并进行直播，实现了3D360度的虚拟现实的直播，提升用户体验；通过对3D360度的全景图预先进行展开，色彩校正，配准，缝合，羽化获得映射模版，结合前景检测实时应用最佳的映射模版进行转换，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。
本发明实施例提供一种3D360度的虚拟现实直播装置，参见图2，该装置具体包括：
取景单元10，用于分别通过第一镜头组和第二镜头组同步获取场景图像；
转换单元20，用于建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
合并单元30，用于将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
直播单元40，用于将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
进一步的，所述第一镜头组和所述第二镜头组均包括：N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
进一步的，所述转换单元20，包括：
展开模块，用于采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
校色模块，用于分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
配准模块，用于采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
缝合模块，用于采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理。
进一步的，所述缝合模块，包括
分区子模块，用于将缝合处理过程中的缝合区划分为三个子区；
拼缝子模块，用于采用最佳缝合线的方式获取三个子区的三个拼缝；
缝合子模块，用于通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理。
进一步的，所述直播单元40，包括：
检测模块，用于检测2D全景图中的前景目标；
第一选取模块，用于当前景目标未出现在缝合区，则采用三个子区中任意一个拼缝组成的映射模版进行转换处理；
第二选取模块，用于当前景目标出现在缝合区，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝组成的映射模版进行转换处理；
其中，2D全景图包括：第一2D全景图和第二2D全景图。
从上述描述可知，本发明实施例提供的一种3D360度的虚拟现实直播装置，实现了3D360度的虚拟现实的直播，提升用户体验；通过对3D360度的全景图进行实时渲染，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种3D360度的虚拟现实直播方法，其特征在于，所述方法包括：
分别通过第一镜头组和第二镜头组同步获取场景图像；
建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
2.根据权利要求1所述的方法，其特征在于，所述第一镜头组和所述第二镜头组均包括：N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
3.根据权利要求2所述的方法，其特征在于，通过以下步骤获取所述映射模版：
采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理；
其中，将第二镜头组获取的场景图或者第一镜头组获取的场景图输入至获取的映射模版中获取第二全景图或者第一全景图。
4.根据权利要求3所述的方法，其特征在于，所述采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像以及配准后的第二镜头组获取的场景图像进行缝合处理的步骤包括：
将缝合处理过程中的缝合区划分为三个子区；
采用最佳缝合线的方式获取三个子区的三个拼缝；
通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理。
5.根据权利要求4所述的方法，其特征在于，将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图的步骤，包括：
检测2D全景图中的前景目标；
若前景目标未出现在缝合区，则采用三个子区中任意一个拼缝组成的映射模版进行转换处理；
若前景目标出现在缝合区，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝组成的映射模版进行转换处理；
其中，2D全景图包括：第一2D全景图和第二2D全景图。
6.一种3D360度的虚拟现实直播装置，其特征在于，所述装置包括：
取景单元，用于分别通过第一镜头组和第二镜头组同步获取场景图像；
转换单元，用于建立将所述场景图像转换至全景图的映射模版，通过映射模版分别将第一镜头组获取的场景图像和第二镜头组获取的场景图像进行转换，分别获得第一2D全景图和第二2D全景图；
合并单元，用于将所述第一2D全景图和所述第二2D全景图进行合并处理以获取3D360度的全景图；
直播单元，用于将所述3D360度的全景图转换为视频流并发送所述视频流至网络服务器进行直播。
7.根据权利要求6所述的装置，其特征在于，所述第一镜头组和所述第二镜头组均包括：N个视角大于360/N度的鱼眼镜头相机，且N个相机设置在正N边形相机架的N个边上；
其中，同一边上的第一镜头组相机和第二镜头组相机的相对位置固定。
8.根据权利要求7所述的装置，其特征在于，所述转换单元，包括：
展开模块，用于采用经纬度校正算法分别对第一镜头组获取的场景图像或第二镜头组获取的场景图像进行展开；
校色模块，用于分别对展开的第一镜头组获取的场景图像或展开的第二镜头组获取的场景图像进行色彩校正；
配准模块，用于采用SIFT特征匹配算法分别对色彩校正后的第一镜头组获取的场景图像或者校正后的第二镜头组获取的场景图像进行配准；
缝合模块，用于采用最佳缝合线的方式分别对配准后的第一镜头组获取的场景图像或者配准后的第二镜头组获取的场景图像进行缝合处理，并在缝合处理的拼缝处进行羽化处理；
其中，将第二镜头组获取的场景图或者第一镜头组获取的场景图输入至获取的映射模版中获取第二全景图或者第一全景图。
9.根据权利要求8所述的装置，其特征在于，所述缝合模块，包括
分区子模块，用于将缝合处理过程中的缝合区划分为三个子区；
拼缝子模块，用于采用最佳缝合线的方式获取三个子区的三个拼缝；
缝合子模块，用于通过任一个拼缝对第一镜头组获取的场景图像以及第二镜头组获取的场景图像进行缝合处理。
10.根据权利要求9所述的装置，其特征在于，所述直播单元，包括：
检测模块，用于检测2D全景图中的前景目标；
第一选取模块，用于当前景目标未出现在缝合区，则采用三个子区中任意一个拼缝组成的映射模版进行转换处理；
第二选取模块，用于当前景目标出现在缝合区，则计算前景目标分别与三个拼缝的距离，采用与前景目标距离远的拼缝组成的映射模版进行转换处理；
其中，2D全景图包括：第一2D全景图和第二2D全景图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710608249.4A CN107426561B (zh) | 2017-07-24 | 2017-07-24 | 一种3d360度的虚拟现实直播方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710608249.4A CN107426561B (zh) | 2017-07-24 | 2017-07-24 | 一种3d360度的虚拟现实直播方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107426561A true CN107426561A (zh) | 2017-12-01 |
| CN107426561B CN107426561B (zh) | 2020-01-07 |
Family
ID=60431167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710608249.4A Active CN107426561B (zh) | 2017-07-24 | 2017-07-24 | 一种3d360度的虚拟现实直播方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107426561B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948662A (zh) * | 2017-12-04 | 2018-04-20 | 深圳岚锋创视网络科技有限公司 | 一种拍摄期间实时预览全景画面的方法、装置及全景相机 |
| CN115314750A (zh) * | 2022-08-10 | 2022-11-08 | 润博全景文旅科技有限公司 | 一种视频播放方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101859433A (zh) * | 2009-04-10 | 2010-10-13 | 日电（中国）有限公司 | 图像拼接设备和方法 |
| US20160088285A1 (en) * | 2014-09-22 | 2016-03-24 | Samsung Electronics Company, Ltd. | Reconstruction of three-dimensional video |
| CN106358035A (zh) * | 2016-11-09 | 2017-01-25 | 北京七维视觉科技有限公司 | 一种图像处理方法及装置 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN106851244A (zh) * | 2017-01-10 | 2017-06-13 | 北京阿吉比科技有限公司 | 基于网络视频直播平台观看3d全景视频的方法及系统 |
-
2017
- 2017-07-24 CN CN201710608249.4A patent/CN107426561B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101859433A (zh) * | 2009-04-10 | 2010-10-13 | 日电（中国）有限公司 | 图像拼接设备和方法 |
| US20160088285A1 (en) * | 2014-09-22 | 2016-03-24 | Samsung Electronics Company, Ltd. | Reconstruction of three-dimensional video |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN106358035A (zh) * | 2016-11-09 | 2017-01-25 | 北京七维视觉科技有限公司 | 一种图像处理方法及装置 |
| CN106851244A (zh) * | 2017-01-10 | 2017-06-13 | 北京阿吉比科技有限公司 | 基于网络视频直播平台观看3d全景视频的方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948662A (zh) * | 2017-12-04 | 2018-04-20 | 深圳岚锋创视网络科技有限公司 | 一种拍摄期间实时预览全景画面的方法、装置及全景相机 |
| CN115314750A (zh) * | 2022-08-10 | 2022-11-08 | 润博全景文旅科技有限公司 | 一种视频播放方法、装置及设备 |
| CN115314750B (zh) * | 2022-08-10 | 2023-09-29 | 润博全景文旅科技有限公司 | 一种视频播放方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107426561B (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| US20200358996A1 (en) | Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene | |
| KR102054363B1 (ko) | 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템 | |
| AU2015245446B2 (en) | Stereo viewing | |
| Kuster et al. | Gaze correction for home video conferencing | |
| US10438633B2 (en) | Method and system for low cost television production | |
| US10681272B2 (en) | Device for providing realistic media image | |
| CN109547766A (zh) | 一种全景图像生成方法及装置 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| Yan et al. | Stereoscopic image stitching based on a hybrid warping model | |
| US9380263B2 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
| CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN106899782A (zh) | 一种实现交互式全景视频流地图的方法 | |
| JP2006515128A (ja) | 立体パノラマ画像取り込み装置 | |
| CN109525816A (zh) | 一种基于三维地理信息的多枪多球融合联动系统及方法 | |
| CN106453913A (zh) | 预览全景内容的方法及装置 | |
| CN109428987A (zh) | 一种头戴式全景360度立体摄像装置及摄像处理方法 | |
| CN107426561A (zh) | 一种3d360度的虚拟现实直播方法及装置 | |
| CN107197135A (zh) | 一种视频生成方法、播放方法及视频生成装置、播放装置 | |
| CN111083368A (zh) | 一种基于云端的模拟物理云台全景视频展示系统 | |
| CN117278731B (zh) | 多视频与三维场景融合方法、装置、设备及存储介质 | |
| CN106846254A (zh) | 一种基于云端自主学习的图像缩放方法及系统 | |
| CN104159099A (zh) | 一种3d立体影视制作中双目立体摄像机的设置方法 | |
| CN116860112A (zh) | 一种基于xr技术的组合场景体验生成方法、系统及介质 | |
| WO2019012314A1 (ru) | Способ отображения широкоформатного объекта дополненной реальности |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A 3d360 degree virtual reality live broadcast method and device Effective date of registration: 20201021 Granted publication date: 20200107 Pledgee: Hubble Technology Investment Ltd. Pledgor: BEIJING JULI DIMENSION TECHNOLOGY CO.,LTD. Registration number: Y2020990001242 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230217 Granted publication date: 20200107 Pledgee: Hubble Technology Investment Ltd. Pledgor: BEIJING JULI DIMENSION TECHNOLOGY CO.,LTD. Registration number: Y2020990001242 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |