CN106303247A - 基于vr的实时视频拍摄方法 - Google Patents
基于vr的实时视频拍摄方法 Download PDFInfo
- Publication number
- CN106303247A CN106303247A CN201610706795.7A CN201610706795A CN106303247A CN 106303247 A CN106303247 A CN 106303247A CN 201610706795 A CN201610706795 A CN 201610706795A CN 106303247 A CN106303247 A CN 106303247A
- Authority
- CN
- China
- Prior art keywords
- real
- initial point
- display device
- panoramic pictures
- potential difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
本发明涉及虚拟实现处理技术领域，基于VR的实时视频拍摄方法，包括步骤1：获得摄像头或摄像头组的可视视角范围，步骤2：每间隔TS通过摄像头采集全景图片，步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，步骤4：确定显示设备的纵向原点及横向原点，步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息，步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。本发明能够实现整个VR视频视角的精准定位和高精度呈现。
Description
技术领域
本发明涉及虚拟实现处理技术领域，具体涉及基于VR的实时视频拍摄方法。
背景技术
随着虚拟实现技术的发展，越来越多虚拟实现的产品问世，例如采用舵机云台搭配摄像头来实现视频获取角度的调节。现有的舵机云台进行视频获取角度调节的时候，大多数采用手动调节方法，从而不利于整个实时视频的及时获取。
发明内容
为了解决上述技术问题，本发明提供了基于VR的实时视频拍摄方法，采用全新的VR视频获取流程，实现整个VR视频视角的精准定位和高精度呈现。
为了达到上述目的，本发明所采用的技术方案是，基于VR的实时视频拍摄方法，包括以下步骤：
步骤1：获得摄像头或摄像头组的可视视角范围，
步骤2：每间隔TS通过摄像头采集全景图片，
步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，
步骤4：确定显示设备的纵向原点及横向原点，
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息，
步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；
步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。
进一步的，所述步骤2中，T的范围为0.01-2秒。
进一步的，所述步骤3中，全景图片进行二维坐标轴划分，则将该全景图片划分为X轴和Y轴，并确定该X轴和Y轴的原点。
本发明还提供了另一种技术方案，基于VR的实时视频拍摄方法，包括以下步骤：
步骤1：获得摄像头组的可视视角范围，
步骤2：每间隔TS通过摄像头组分别采集多张不同视角图片，并将不同视角图片进行拼接，形成一张全景图片，
步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，
步骤4：确定显示设备的纵向原点及横向原点，
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息，
步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；
步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。
进一步的，步骤2具体包括：
获取两幅图像，所述两幅图像之间存在重叠区域；
查找所述两幅图像的重叠区域；
获取所述重叠区域的深度图；
根据所述深度图将所述两幅图像拼接成一幅图像，包括：计算所述两幅图像之间的单应性矩阵；将第一幅图像按照其与单应性矩阵的对应关系映射到目标坐标系中；根据所述深度图计算所述重叠区域内两幅图像上对应像素之间的视差；若视差在预定视差范围内，则舍弃第二幅图像的像素点；若视差超出预定视差范围，则将所述第二幅图像在所述重叠区域内的像素点映射到目标坐标系中第一幅图像的对应像素点的坐标上；将第二幅图像中在重叠区域以外的像素按照其与单应性矩阵的对应关系映射到目标坐标系中。
进一步的，所述步骤2中，T的范围为0.01-2秒。
进一步的，所述步骤3中，全景图片进行二维坐标轴划分，则将该全景图片划分为X轴和Y轴，并确定该X轴和Y轴的原点。
本发明通过采用上述技术方案，与现有技术相比，具有如下优点：
本发明通过设计一种全新的基于VR的实时视频拍摄方法，采用全新的方式，依据时间间隔获取全景图片，并对该全景图片进行坐标轴划分，而通过将显示设备的位置差同比例等效至全景图片上的区域图片中，并将一定时间段中的连续区域图片进行压缩后的视频流通过无线网络传输至显示设备，从而获得VR虚拟实现的视觉体验效果。避免了舵机云台调节带来的延时性和误差，从而极大程度地提高了VR视觉体验的流畅性和精准性。
附图说明
图1是本发明的实施例1的示意图。
具体实施方式
现结合附图和具体实施方式对本发明进一步说明。
实施例1：
作为一个具体的实施例，基于VR的实时视频拍摄方法，参考图1所示，包括以下步骤：
步骤1：获得摄像头1或摄像头1组的可视视角范围。
步骤2：每间隔TS通过摄像头1采集全景图片22，T的范围为0.01-2秒。
步骤3：根据图片分辨率将全景图片2进行坐标轴划分，并确定原点，全景图片2进行二维坐标轴划分，则将该全景图片2划分为X轴和Y轴，并确定该X轴和Y轴的原点，本实施例中，该全景图片2的分辨率为1772*2716，则X轴的坐标范围为-886至+886，Y轴的坐标范围为-1358至+1358。
步骤4：确定显示设备的纵向原点及横向原点。
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息。
步骤6：根据该位差信息获取全景图片2中具有与该位差信息相对于的区域图片3。
步骤7：将一连续时间段N中所有的区域图片3进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。N为任意正数值，其单位为S。
实施例2：
本实施例的基于VR的实时视频拍摄方法，包括以下步骤：
步骤1：获得摄像头组的可视视角范围，
步骤2：每间隔TS通过摄像头组分别采集多张不同视角图片，并将不同视角图片进行拼接，形成一张全景图片，
步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，
步骤4：确定显示设备的纵向原点及横向原点，
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息，
步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；
步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。N为任意正数值，其单位为S。
进一步的，步骤2具体包括：
获取两幅图像，所述两幅图像之间存在重叠区域；
查找所述两幅图像的重叠区域；
获取所述重叠区域的深度图；
根据所述深度图将所述两幅图像拼接成一幅图像，包括：计算所述两幅图像之间的单应性矩阵；将第一幅图像按照其与单应性矩阵的对应关系映射到目标坐标系中；根据所述深度图计算所述重叠区域内两幅图像上对应像素之间的视差；若视差在预定视差范围内，则舍弃第二幅图像的像素点；若视差超出预定视差范围，则将所述第二幅图像在所述重叠区域内的像素点映射到目标坐标系中第一幅图像的对应像素点的坐标上；将第二幅图像中在重叠区域以外的像素按照其与单应性矩阵的对应关系映射到目标坐标系中。
进一步的，所述步骤2中，T的范围为0.01-2秒。
进一步的，所述步骤3中，全景图片进行二维坐标轴划分，则将该全景图片划分为X轴和Y轴，并确定该X轴和Y轴的原点。
本发明通过设计一种全新的基于VR的实时视频拍摄方法，没有采用传统的VR实时视频拍摄过程中通过对舵机云台的调节从而来实现摄像头1的视角的调节，而是采用全新的方式，依据时间间隔获取全景图片，并对该全景图片进行坐标轴划分，而通过将显示设备的位置差同比例等效至全景图片上的区域图片中，并将一定时间段中的连续区域图片进行压缩后的视频流通过无线网络传输至显示设备，从而获得VR虚拟实现的视觉体验效果。避免了舵机云台调节带来的延时性和误差，从而极大程度地提高了VR视觉体验的流畅性和精准性。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (7)
1.基于VR的实时视频拍摄方法，其特征在于，包括以下步骤：
步骤1：获得摄像头或摄像头组的可视视角范围；
步骤2：每间隔TS通过摄像头采集全景图片；
步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，
步骤4：确定显示设备的纵向原点及横向原点；
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息；
步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；
步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。
2.根据权利要求1所述的基于VR的实时视频拍摄方法，其特征在于：所述步骤2中，T的范围为0.01-2秒。
3.根据权利要求2所述的基于VR的实时视频拍摄方法，其特征在于：所述步骤3中，全景图片进行二维坐标轴划分，则将该全景图片划分为X轴和Y轴，并确定该X轴和Y轴的原点。
4.基于VR的实时视频拍摄方法，其特征在于，包括以下步骤：
步骤1：获得摄像头组的可视视角范围，
步骤2：每间隔TS通过摄像头组分别采集多张不同视角图片，并将不同视角图片进行拼接，形成一张全景图片，
步骤3：根据图片分辨率将全景图片进行坐标轴划分，并确定原点，
步骤4：确定显示设备的纵向原点及横向原点，
步骤5：实时获取显示设备的位置信息，并计算当前显示设备的位置信息和上一时刻显示设备的位置信息之间的位差信息，
步骤6：根据该位差信息获取全景图片中具有与该位差信息相对于的区域图片；
步骤7：将一连续时间段N中所有的区域图片进行压缩生成视频流，并将视频流通过无线传输网络发送至显示设备进行显示。
5.根据权利要求4所述的基于VR的实时视频拍摄方法，其特征在于，步骤2具体包括：
获取两幅图像，所述两幅图像之间存在重叠区域；
查找所述两幅图像的重叠区域；
获取所述重叠区域的深度图；
根据所述深度图将所述两幅图像拼接成一幅图像，包括：计算所述两幅图像之间的单应性矩阵；将第一幅图像按照其与单应性矩阵的对应关系映射到目标坐标系中；根据所述深度图计算所述重叠区域内两幅图像上对应像素之间的视差；若视差在预定视差范围内，则舍弃第二幅图像的像素点；若视差超出预定视差范围，则将所述第二幅图像在所述重叠区域内的像素点映射到目标坐标系中第一幅图像的对应像素点的坐标上；将第二幅图像中在重叠区域以外的像素按照其与单应性矩阵的对应关系映射到目标坐标系中。
6.根据权利要求4所述的基于VR的实时视频拍摄方法，其特征在于：所述步骤2中，T的范围为0.01-2秒。
7.根据权利要求4所述的基于VR的实时视频拍摄方法，其特征在于：所述步骤3中，全景图片进行二维坐标轴划分，则将该全景图片划分为X轴和Y轴，并确定该X轴和Y轴的原点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610706795.7A CN106303247A (zh) | 2016-08-23 | 2016-08-23 | 基于vr的实时视频拍摄方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610706795.7A CN106303247A (zh) | 2016-08-23 | 2016-08-23 | 基于vr的实时视频拍摄方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106303247A true CN106303247A (zh) | 2017-01-04 |
Family
ID=57615657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610706795.7A Withdrawn CN106303247A (zh) | 2016-08-23 | 2016-08-23 | 基于vr的实时视频拍摄方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106303247A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11227405B2 (en) * | 2017-06-21 | 2022-01-18 | Apera Ai Inc. | Determining positions and orientations of objects |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673395A (zh) * | 2008-09-10 | 2010-03-17 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN103607568A (zh) * | 2013-11-20 | 2014-02-26 | 深圳先进技术研究院 | 立体街景视频投影方法及系统 |
| CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和系统 |
| CN104883561A (zh) * | 2015-06-06 | 2015-09-02 | 深圳市虚拟现实科技有限公司 | 三维全景显示方法和头戴式显示设备 |
| CN204855942U (zh) * | 2015-06-29 | 2015-12-09 | 深圳市虚拟现实科技有限公司 | 无线远程传输的头戴式显示设备 |
| CN105208368A (zh) * | 2015-09-23 | 2015-12-30 | 北京奇虎科技有限公司 | 显示全景数据的方法及装置 |
| CN105592269A (zh) * | 2016-03-03 | 2016-05-18 | 北京志光伯元科技有限公司 | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 |
| US20160150222A1 (en) * | 2014-11-25 | 2016-05-26 | Superd Co. Ltd. | Simulated 3d image display method and display device |
| CN105847682A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 全景图像的拍摄方法、装置及系统 |
-
2016
- 2016-08-23 CN CN201610706795.7A patent/CN106303247A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673395A (zh) * | 2008-09-10 | 2010-03-17 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN103607568A (zh) * | 2013-11-20 | 2014-02-26 | 深圳先进技术研究院 | 立体街景视频投影方法及系统 |
| CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和系统 |
| US20160150222A1 (en) * | 2014-11-25 | 2016-05-26 | Superd Co. Ltd. | Simulated 3d image display method and display device |
| CN104883561A (zh) * | 2015-06-06 | 2015-09-02 | 深圳市虚拟现实科技有限公司 | 三维全景显示方法和头戴式显示设备 |
| CN204855942U (zh) * | 2015-06-29 | 2015-12-09 | 深圳市虚拟现实科技有限公司 | 无线远程传输的头戴式显示设备 |
| CN105208368A (zh) * | 2015-09-23 | 2015-12-30 | 北京奇虎科技有限公司 | 显示全景数据的方法及装置 |
| CN105592269A (zh) * | 2016-03-03 | 2016-05-18 | 北京志光伯元科技有限公司 | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 |
| CN105847682A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 全景图像的拍摄方法、装置及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘助翔: "VR在广电行业中的应用", 《现代电视技术》 * |
| 孙略: "VR_AR与电影", 《北京电影学院学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11227405B2 (en) * | 2017-06-21 | 2022-01-18 | Apera Ai Inc. | Determining positions and orientations of objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
| CN106204595B (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
| EP3163535B1 (en) | Wide-area image acquisition method and device | |
| CN109089074A (zh) | 用于环视监控系统的摄像头角度估计方法 | |
| CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| CN105959665B (zh) | 一种针对于虚拟现实设备的全景3d视频生成方法 | |
| CN101231456B (zh) | 利用角度传感器纠正全景视频抖动的方法 | |
| CN107885325A (zh) | 一种基于人眼跟踪的裸眼3d显示方法及控制系统 | |
| CN105678693A (zh) | 全景视频浏览播放方法 | |
| CN108886611A (zh) | 全景立体视频系统的拼接方法和装置 | |
| CN103617615B (zh) | 径向畸变参数获取方法及获取装置 | |
| CN202075794U (zh) | 一种无人机航摄立体成像处理设备 | |
| CN105809701A (zh) | 全景视频姿态标定方法 | |
| CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
| CN104820978B (zh) | 一种ccd相机的基准定位方法 | |
| CN206563985U (zh) | 三维成像系统 | |
| CN103115613A (zh) | 一种空间三维定位方法 | |
| CN104809719A (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
| CN106791385A (zh) | 一种基于虚拟现实技术的观景方法、装置及系统 | |
| CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
| CN110139031A (zh) | 一种基于惯性感知的视频防抖系统及其工作方法 | |
| CN107578450A (zh) | 一种用于全景相机装配误差标定的方法及系统 | |
| CN103253193A (zh) | 基于触摸屏操作的全景泊车标定方法及系统 | |
| CN110519540A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN108989686B (zh) | 基于人形追踪的实时拍摄装置及控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170104 |
|
| WW01 | Invention patent application withdrawn after publication |