CN109040601B - 一种多尺度非结构化的十亿像素vr全景摄影系统 - Google Patents

一种多尺度非结构化的十亿像素vr全景摄影系统 Download PDF

Info

Publication number
CN109040601B
CN109040601B CN201811032604.9A CN201811032604A CN109040601B CN 109040601 B CN109040601 B CN 109040601B CN 201811032604 A CN201811032604 A CN 201811032604A CN 109040601 B CN109040601 B CN 109040601B
Authority
CN
China
Prior art keywords
image
field
module
wide
view field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811032604.9A
Other languages
English (en)
Other versions
CN109040601A (zh
Inventor
方璐
戴琼海
朱天奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Tsinghua-Berkeley Shenzhen Institute Preparation Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua-Berkeley Shenzhen Institute Preparation Office filed Critical Tsinghua-Berkeley Shenzhen Institute Preparation Office
Priority to CN201811032604.9A priority Critical patent/CN109040601B/zh
Publication of CN109040601A publication Critical patent/CN109040601A/zh
Priority to PCT/CN2019/104389 priority patent/WO2020048485A1/zh
Application granted granted Critical
Publication of CN109040601B publication Critical patent/CN109040601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明实施例公开了一种多尺度非结构化的十亿像素VR全景摄影系统，包括：宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备；宽视场环形相机阵列采集多个宽视场图像，窄视场环形相机阵列采集多个窄视场图像；图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理，对压缩预处理后的图像并行采集后进行解码解压处理；多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。可以实现十亿像素VR全景视频的采集与显示。

Description

一种多尺度非结构化的十亿像素VR全景摄影系统
技术领域
本发明实施例涉及图像技术领域，尤其涉及一种多尺度非结构化的十亿像素VR全景摄影系统。
背景技术
随着现有的VR技术的发展和相关相机产业的发展，在计算机和计算机摄像学领域，视频采集与图像捕获无论在规模上还是在性能上都取得了巨大的进步和发展。如今，VR视频仍旧受限于两大方面，在空间尺度上，其可扩展性仍旧大大受限于现有相机的视频成像质量，在时间尺度上，其成像延迟与相应的成像帧率依旧受限于现有的成像系统的帧率与系统的实时性。因此，在高清监控领域或是在VR等环形全景成像摄影等系统中，如何有效的提高实时视频的相应分辨率，提高相应的显示刷新帧率，则成为了当下势必需要解决的主要问题。
在现有的实时视频采集系统中，由于受数据流量、计算复杂度等相关的限制，常常无法实现十亿像素级的并行实时输出与处理，另一方面，超大的视场与重视细节的应用之间也常常有非常大的矛盾，因此当下的实时的视频采集常常难以兼顾宽视场的总体视频流信息与窄视场的视频细节信息。另外，对于此类超宽视场在现场显示方面，传统的显示屏显示方式也有着非常大的局限，其不仅对于用户的体验非常不友好，也常常无法以合理的方式显示360度的全局视频信息。
发明内容
本发明实施例提供一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统，以实现十亿像素VR全景视频的采集与显示。
第一方面，本发明实施例提供了一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统，包括：宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备；宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与图像处理设备的输入端相连，图像处理设备的输出端与多相机图像拼接设备的输入端相连，多相机图像拼接设备的输出端与VR显示设备的输入端相连；VR显示设备的反馈端与图像处理设备的输入端相连；
宽视场环形相机阵列采集多个宽视场图像，窄视场环形相机阵列采集多个窄视场图像；
图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理，对压缩预处理后的图像并行采集后进行解码解压处理；
多相机图像拼接设备采用零均值归一化互相关(Zero-based Normalized CrossCorrelation，ZNCC)算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像；
VR显示设备采用置换贴图的方式对十亿像素级环形图像进行渲染并显示，并根据用户当前的预览视角生成预览视角反馈信息。
进一步地，多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列、窄视场环形相机阵列；
多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上；多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。
进一步地，图像处理设备包括基于预览视角的压缩预处理模块、高速并行采集模块和图像解码解压模块；宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与基于预览视角的压缩预处理模块输入端相连，基于预览视角的压缩预处理模块的输出端与高速并行采集模块的输入端相连，高速并行采集模块的输出端与图像解码解压模块的输入端相连；
基于预览视角的压缩预处理模块接收VR显示设备发送的预览视角反馈信息，并根据预览视角反馈信息确定多个宽视场图像和多个窄视场图像的压缩率，并根据压缩率对多个宽视场图像和多个窄视场图像进行压缩；
高速并行采集模块对压缩后的图像进行多路并行采集；
图像解码解压模块对压缩后的多个宽视场图像和多个窄视场图像进行自适应的解码解压。
进一步地，预览视角的压缩预处理模块根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像，对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩，对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。
进一步地，多相机图像拼接设备包括相机建模模块和图像拼接模块；相机建模模块的输入端分别与宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端相连，图像拼接模块的输入端与图像解码解压模块的输出端相连；
相机建模模块预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧，根据提前标定帧采用设定标定算法对宽视场图像进行标定及建模，获得每个宽视场相机的标定参数矩阵；
图像拼接模块采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。
进一步地，相机建模模块将每个宽视场相机的标定参数矩阵进行记录，用于后续的图像多尺度融合。
进一步地，VR显示设备包括VR渲染模块、VR显示器、交互模块和VR预览视角反馈模块；VR渲染模块的输入端与图像拼接模块的输出端相连，VR渲染模块的输出端与VR显示器的输入端相连，VR预览视角反馈模块的输出端与基于预览视角的压缩预处理模块输入端相连；
所述VR渲染模块基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库，采用置换贴图的方式对所述十亿像素级环形图像进行渲染；
所述VR显示器将渲染后的十亿像素级环形图像进行显示；
所述交互模块接收用户对VR显示设备的操作，以对十亿像素级环形图像进行操作；
所述VR预览视角反馈模块获取用户的视线防线，根据用户的视线获得预览视角信息。
本发明实施例提供的基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统，包括：宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备；宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与图像处理设备的输入端相连，图像处理设备的输出端与多相机图像拼接设备的输入端相连，多相机图像拼接设备输出端与VR显示设备的输入端相连；VR显示设备的反馈端与图像处理设备的输入端相连；宽视场环形相机阵列采集多个宽视场图像，窄视场环形相机阵列采集多个窄视场图像；图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理，对压缩预处理后的图像并行采集后进行解码解压处理；多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像；VR显示设备采用置换贴图的方式对十亿像素级环形图像进行渲染并显示，并根据用户当前的预览视角生成预览视角反馈信息。可以实现十亿像素VR全景视频的采集与显示。
附图说明
图1是本发明实施例一中的一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统的结构示意图；
图2是本发明实施例一中的一种多层环形阵列相机的结构示意图；
图3是本发明实施例一中的另一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统的结构示意图；
图4a是本发明实施例一中的用户的VR视角左眼映射图；
图4b是本发明实施例一中的用户的VR视角右眼映射图；
图4c是本发明实施例一中的图4a中A处的局部高分辨的视频截图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统的结构示意图，本实施例可适用于VR全景摄影的情况，如图1所示，该系统包括：宽视场环形相机阵列110、窄视场环形相机阵列120、图像处理设备130、多相机图像拼接设备140、VR显示设备150。宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端均与图像处理设备130的输入端相连，图像处理设备130的输出端与多相机图像拼接设备140的输入端相连，多相机图像拼接设备140的输出端与VR显示设备150的输入端相连，VR显示设备150的反馈端与图像处理设备130的输入端相连。
宽视场环形相机阵列110采集多个宽视场图像，窄视场环形相机阵列120采集多个窄视场图像。图像处理设备120基于VR显示设备150反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理，对压缩预处理后的图像并行采集后进行解码解压处理。多相机图像拼接设备140采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。VR显示设备150采用置换贴图的方式对十亿像素级环形图像进行渲染并显示，并根据用户当前的预览视角生成预览视角反馈信息。
其中，宽视场环形相机阵列110可以是由多个宽视场相机组成的360度环形相机阵列，宽视场相机可以是宽视场低分辨短焦相机。窄视场环形相机阵列120可以是由多个窄视场相机组成的360度环形相机阵列，窄视场相机可以是窄视场高分辨长焦。本实施例中，多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列110、窄视场环形相机阵列120，多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上，多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。示例性的，图2为本发明实施例一提供的一种多层环形阵列相机的结构示意图，如图2所示，有3层环形阵列盘，3层环形阵列盘安装于中心支撑圆柱上，在最下一层环形阵列盘上安装多个宽视场相机，最上一层和中间一层环形阵列盘上分别安装多个窄视场相机。本应用场景下，环形阵列盘应该尽可能的小，以减少相机之间的视角差异。
图3为本发明实施例一提供的另一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统的结构示意图，作为对上述实施例的进一步解释，如图2所示，图像处理设备130包括基于预览视角的压缩预处理模块131、高速并行采集模块132和图像解码解压模块133。多相机图像拼接设备140包括相机建模模块141和图像拼接模块142。VR显示设备150包括VR渲染模块151、VR显示器152、交互模块153和VR预览视角反馈模块154。
其中，宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端均与基于预览视角的压缩预处理模块131的输入端相连，基于预览视角的压缩预处理模块130的输出端与高速并行采集模块132的输入端相连，高速并行采集模块132的输出端与图像解码解压模块133相连；
基于预览视角的压缩预处理模块131接收VR显示设备150发送的预览视角反馈信息，并根据预览视角反馈信息确定多个宽视场图像和多个窄视场图像的压缩率，并根据压缩率对多个宽视场图像和多个窄视场图像进行压缩。高速并行采集模块132对压缩后图像进行多路并行采集。图像解码解压模块133对压缩后的多个宽视场图像和多个窄视场图像进行自适应的解码解压。
基于预览视角的压缩预处理模块131根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像，对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩，对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。具体的，预览视角反馈信息可以包括用户的预览方位，基于预览视角的压缩预处理模块131根据预览视角反馈信息推算出采集的宽视场图像和窄视场图像的不同的压缩率，根据各个宽视场图像和窄视场图像的压缩率进行相应的压缩。示例性的，当VR显示设备150中的预览视角较宽时，视野中的图像以较低的分辨率显示显示，基于预览视角的压缩预处理模块131对压缩区域内的图像进行高压缩率的压缩，在保证视野内图像清晰度的条件下尽可能的节约网络带宽，从而提高传输帧率，减少传输延迟；而当VR显示设备中的预览视角较窄时，仅仅集中在某几个数量较少的图像上时，基于预览视角的压缩预处理模块131对视野内的图像进行低压缩率的压缩，而对于视野外的图像则进行进行高压缩率的压缩，以节约网络带宽。
高速并行采集模块132依赖于前兆或者万兆网络组进行图像数据的汇总与分发。本实施例中，采取“多路采集，一路显示”的星型网络结构，由多个节点采集处理压缩后的图像然后集中到中央节点进行下一步处理和相应显示等流程。
图像解码解压模块133可以是动态自适应的图像解码解压模块，对由基于预览视角的压缩预处理模块131以不同的压缩率压缩后的图像进行解码解压。
可选的，相机建模模块141的输入端分别与宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端相连，图像拼接模块142的输入端与图像解码解压模块133的输出端相连。
相机建模模块141预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧，根据提前标定帧采用设定标定算法对宽视场图像进行标定及建模，获得每个宽视场相机的标定参数矩阵。图像拼接模块142采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。相机建模模块141将每个宽视场相机的标定参数矩阵进行记录，用于后续的图像多尺度融合。
本实施例中，为了最终合成多尺度的十亿像素级的视频流，需要将多个窄视场图像，重新投影至由多个宽视场图像拼接的环形低分辨图像上。采用设定标定，预先从每个相机中采集一帧图像作为提前标定帧，对宽视场图像进行相应的标定及建模，形成相应的标定参数矩阵。然后再通过ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。并记录下计算得到的标定参数矩阵，可用于后续的实时拼接与显示的相应环节。
VR渲染模块151基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库，采用置换贴图的方式对十亿像素级环形图像进行渲染。VR显示器152将渲染后的十亿像素级环形图像进行显示。交互模块153接收用户对VR显示设备的操作，以对十亿像素级环形图像进行操作。VR预览视角反馈模块154获取用户的视线防线，根据用户的视线获得预览视角信息。
本实施例中，交互模块153可以设置于控制器中，为了方便用户与VR显示设备进行交互等环节，用户可通过控制器对全景图进行视角的拉近拉远，轴移动等相应操作。根据用户在VR显示设备中的移动与查看，可以获取到用户观察到的方向，从而计算出用户对于当前渲染球的兴趣区域，该区域包含了用户的缩放程度、涉及到的相机图像等相关的参数。
图4a为本发明实施例一提供的用户的VR视角左眼映射图，图4a为本发明实施例一提供的用户的VR视角右眼映射图，图4c是图4a中A处的局部高分辨的视频截图。用户可通过VR显示设备放大该区域并查看该区域的高清实时预览图。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影系统，其特征在于，包括：宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备；所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端均与所述图像处理设备的输入端相连，所述图像处理设备的输出端与所述多相机图像拼接设备的输入端相连，所述多相机图像拼接设备的输出端与所述VR显示设备的输入端相连；所述VR显示设备的反馈端与所述图像处理设备的输入端相连；
所述宽视场环形相机阵列采集多个宽视场图像，所述窄视场环形相机阵列采集多个窄视场图像；
所述图像处理设备基于所述VR显示设备反馈的预览视角反馈信息对所述多个宽视场图像和所述多个窄视场图像进行压缩预处理，对压缩预处理后的图像并行采集后进行解码解压处理；
所述多相机图像拼接设备采用零均值归一化互相关ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像；
所述VR显示设备采用置换贴图的方式对所述十亿像素级环形图像进行渲染并显示，并根据用户当前的预览视角生成预览视角反馈信息。
2.根据权利要求1所述的系统，其特征在于，多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列、窄视场环形相机阵列；
所述多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上；所述多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。
3.根据权利要求1所述的系统，其特征在于，所述图像处理设备包括基于预览视角的压缩预处理模块、高速并行采集模块和图像解码解压模块；所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端均与所述基于预览视角的压缩预处理模块的输入端相连，所述基于预览视角的压缩预处理模块的输出端与所述高速并行采集模块的输入端相连，所述高速并行采集模块的输出端与所述图像解码解压模块的输入端相连；
所述基于预览视角的压缩预处理模块接收所述VR显示设备发送的预览视角反馈信息，并根据所述预览视角反馈信息确定所述多个宽视场图像和所述多个窄视场图像的压缩率，并根据所述压缩率对所述多个宽视场图像和所述多个窄视场图像进行压缩；
所述高速并行采集模块对压缩后的图像进行多路并行采集；
所述图像解码解压模块对压缩后的多个宽视场图像和所述多个窄视场图像进行自适应的解码解压。
4.根据权利要求3所述的系统，其特征在于，所述基于预览视角的压缩预处理模块根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像，对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩，对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。
5.根据权利要求3所述的系统，其特征在于，所述多相机图像拼接设备包括相机建模模块和图像拼接模块；
所述相机建模模块的输入端分别与所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端相连，所述图像拼接模块的输入端与所述图像解码解压模块的输出端相连；
所述相机建模模块预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧，根据所述提前标定帧采用设定标定算法对宽视场图像进行标定及建模，获得每个宽视场相机的标定参数矩阵；
所述图像拼接模块采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合，生成十亿像素级环形图像。
6.根据权利要求5所述的系统，其特征在于，所述相机建模模块将每个宽视场相机的标定参数矩阵进行记录，用于后续的图像多尺度融合。
7.根据权利要求5所述的系统，其特征在于，所述VR显示设备包括VR渲染模块、VR显示器、交互模块和VR预览视角反馈模块；所述VR渲染模块的输入端与所述图像拼接模块的输出端相连，所述VR渲染模块的输出端与所述VR显示器的输入端相连，所述VR预览视角反馈模块的输出端与所述基于预览视角的压缩预处理模块输入端相连；
所述VR渲染模块基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库，采用置换贴图的方式对所述十亿像素级环形图像进行渲染；
所述VR显示器将渲染后的十亿像素级环形图像进行显示；
所述交互模块接收用户对VR显示设备的操作，以对十亿像素级环形图像进行操作；
所述VR预览视角反馈模块获取用户的视线防线，根据用户的视线获得预览视角信息。
CN201811032604.9A 2018-09-05 2018-09-05 一种多尺度非结构化的十亿像素vr全景摄影系统 Active CN109040601B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811032604.9A CN109040601B (zh) 2018-09-05 2018-09-05 一种多尺度非结构化的十亿像素vr全景摄影系统
PCT/CN2019/104389 WO2020048485A1 (zh) 2018-09-05 2019-09-04 Vr全景摄影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811032604.9A CN109040601B (zh) 2018-09-05 2018-09-05 一种多尺度非结构化的十亿像素vr全景摄影系统

Publications (2)

Publication Number Publication Date
CN109040601A CN109040601A (zh) 2018-12-18
CN109040601B true CN109040601B (zh) 2020-06-26

Family

ID=64623599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811032604.9A Active CN109040601B (zh) 2018-09-05 2018-09-05 一种多尺度非结构化的十亿像素vr全景摄影系统

Country Status (2)

Country Link
CN (1) CN109040601B (zh)
WO (1) WO2020048485A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040601B (zh) * 2018-09-05 2020-06-26 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统
CN110634190A (zh) * 2019-09-24 2019-12-31 赵岩 一种远程摄像vr体验系统
CN111343367B (zh) * 2020-02-17 2021-06-08 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN112311985B (zh) * 2020-10-12 2021-12-14 珠海格力电器股份有限公司 一种多摄拍照处理方法、装置及存储介质
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN114866747B (zh) * 2022-07-07 2022-09-30 国网瑞嘉(天津)智能机器人有限公司 高空作业装置及作业图像的处理方法
CN116471490B (zh) * 2023-06-19 2023-08-29 清华大学 变光照十亿像素光场智能成像系统、方法与装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
CN101651841B (zh) * 2008-08-13 2011-12-07 华为技术有限公司 一种立体视频通讯的实现方法、系统和设备
GB2497119B (en) * 2011-12-01 2013-12-25 Sony Corp Image processing system and method
CN102821238B (zh) * 2012-03-19 2015-07-22 北京泰邦天地科技有限公司 宽视场超高分辨率成像系统
CN103281484A (zh) * 2013-06-17 2013-09-04 清华大学 十亿像素视频采集装置
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
CN108139799B (zh) * 2016-04-22 2022-01-14 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的系统和方法
US9811946B1 (en) * 2016-05-30 2017-11-07 Hong Kong Applied Science and Technology Research Institute Company, Limited High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
US10482574B2 (en) * 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN107197166A (zh) * 2017-08-01 2017-09-22 哈尔滨市舍科技有限公司 一种双分辨率一体式全景摄像装置及方法
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN107659774B (zh) * 2017-09-30 2020-10-13 北京拙河科技有限公司 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN108399600A (zh) * 2018-02-23 2018-08-14 清华-伯克利深圳学院筹备办公室 一种全景成像系统及方法
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置
CN109040601B (zh) * 2018-09-05 2020-06-26 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统

Also Published As

Publication number Publication date
CN109040601A (zh) 2018-12-18
WO2020048485A1 (zh) 2020-03-12

Similar Documents

Publication Publication Date Title
CN109040601B (zh) 一种多尺度非结构化的十亿像素vr全景摄影系统
CN109792562B (zh) 视频数据的基于内容的流分割
US20210329222A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US8723951B2 (en) Interactive wide-angle video server
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
EP3804349B1 (en) Adaptive panoramic video streaming using composite pictures
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
CN102801963B (zh) 基于高清数字摄像头监控的电子ptz方法及装置
US11303871B2 (en) Server and display apparatus, and control methods thereof
US20190098347A1 (en) System and method for remote radiology technician assistance
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
WO2007060497A2 (en) Interactive wide-angle video server
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
CN202818497U (zh) 基于高清数字摄像头监控的电子ptz装置
Chi et al. RA360SR: A real-time acceleration-adaptive 360-degree video super-resolution system
Carr et al. Portable multi-megapixel camera with real-time recording and playback
CN115134579A (zh) 一种虚拟视点的生成方法、装置、存储介质及电子设备
Li et al. A Remote Interactive Exhibition Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221129

Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen International Graduate School of Tsinghua University

Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE

TR01 Transfer of patent right