CN107392853B - 双摄像头视频融合畸变校正与视点微调整方法及系统 - Google Patents

双摄像头视频融合畸变校正与视点微调整方法及系统 Download PDF

Info

Publication number
CN107392853B
CN107392853B CN201710571522.0A CN201710571522A CN107392853B CN 107392853 B CN107392853 B CN 107392853B CN 201710571522 A CN201710571522 A CN 201710571522A CN 107392853 B CN107392853 B CN 107392853B
Authority
CN
China
Prior art keywords
viewpoint
camera
environment
video
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710571522.0A
Other languages
English (en)
Other versions
CN107392853A (zh
Inventor
钟秋发
锡泊
黄煦
高晓光
李晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Zhongke Hengyun Software Technology Co ltd
Original Assignee
Hebei Zhongke Hengyun Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Zhongke Hengyun Software Technology Co ltd filed Critical Hebei Zhongke Hengyun Software Technology Co ltd
Priority to CN201710571522.0A priority Critical patent/CN107392853B/zh
Publication of CN107392853A publication Critical patent/CN107392853A/zh
Application granted granted Critical
Publication of CN107392853B publication Critical patent/CN107392853B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出了一种双摄像头视频融合畸变校正与视点微调整方法及系统，包括：制作等比例模型，并使用反差大的单一颜色，注上标记点；在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；标定视频拼接参数、视点微调整参数；对所述两个环境摄像头同时刻拍摄的每组两帧图像进行操作。本发明解决了不同视点微偏差情况下真实设备在头戴式设备中显示的偏差问题，实现虚实一致性。

Description

双摄像头视频融合畸变校正与视点微调整方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种双摄像头视频融合畸变校正与视点微调整方法及系统。
背景技术
混合现实技术(MR)中，怎样把实际环境中看到的场景和虚拟场景无缝融合，并且符合头戴式设备的视角和视野，以及使用习惯是一个新的技术难点。目前面临的有几个问题：第一，人眼看到的视角、头戴式设备的视角是不同的，视野宽度也是不同的；第二，采用单摄像头采集的视角和视野与人眼以及头戴式设备也是不同的。
一般采用广角摄像头来获取现实场景的视野在左右角度是足够的，但是在上下角度是有缺陷的，头戴式设备的上下视野远远大于摄像头的视野。假设视野这个问题得到解决的情况下，人的眼睛看到的实际场景中的影像和摄像头采集的影像由于视点位置不同，也是不一样的。没有合适的视点调整，会让人感觉到是在双面镜子中反射看到的物体。总是不能和实际进行关联，影响MR设备使用者依靠视觉和直觉判断来操作真实设备，不能达到虚实融合的目的。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种双摄像头视频融合畸变校正与视点微调整方法及系统。
为了实现上述目的，本发明一方面的实施例提供一种双摄像头视频融合畸变校正与视点微调整方法，包括如下步骤：
步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；
步骤S2，在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；
步骤S3，使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；
步骤S4，从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；
步骤S5，根据步骤S4中标定的视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；
根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；
将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；
将集成后的图像传输给头盔式设备显示。
进一步，每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向。
进一步，在所述步骤S5中，拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。
本发明实施例还提出一种双摄像头视频融合畸变校正与视点微调整系统，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、两个环境摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，每个所述环境摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，
其中，每个所述环境摄像头安装在虚拟现实头戴式设备的上方，用于拍摄图像并进行图像融合标定；
所述追踪定位器根据标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；
所述视频处理计算机用于从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；
所述视景处理计算机用于根据视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；
根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；
将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；
将集成后的图像传输给头盔式设备显示；
所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。
进一步，每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向。
进一步，每个所述环境摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。
进一步，所述视频处理计算机执行拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。
进一步，所述追踪定位器安装于所述模拟器操作仪表上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。
进一步，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接，两个环境摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，两个环境摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。
根据本发明实施例的双摄像头视频融合畸变校正与视点微调整方法及系统，结合了物理空间和虚拟空间的定位方法，通过多广角摄像头融合扩充视野的方式，校正了视点微偏差情况下头戴式设备和实际场景的视觉偏差，实现了摄像头采集的实际场景在头戴式设备中转换后高度一致性的效果。本发明解决了实景采集设备(摄像头)视野不足，和拼接融合的问题，实现了大视野实景的融合。通过微视点调整算法解决了不同视点微偏差情况下真实设备在头戴式设备中显示的偏差问题，实现虚实一致性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的双摄像头视频融合畸变校正与视点微调整方法的流程图；
图2为根据本发明另一个实施例的双摄像头视频融合畸变校正与视点微调整方法的流程图；
图3为根据本发明一个实施例的双摄像头视频融合畸变校正与视点微调整系统的结构图；
图4为根据本发明实施例的摄像头视角安装图；
图5为根据本发明实施例的两个摄像头视野交互图；
图6为根据本发明实施例的畸变校正后的示意图；
图7为根据本发明实施例的视点微调整转换的示意图；
图8为根据本发明另一个实施例的双摄像头视频融合畸变校正与视点微调整系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1和图2所示，本发明实施例的双摄像头视频融合畸变校正与视点微调整方法，包括如下步骤：
步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点。
步骤S2，在头戴式设备的上方安装两个环境摄像头，利用环境摄像头拍摄图像并进行图像融合标定。
具体地，每个环境摄像头采用广角摄像头，两个摄像头尽量挨近安装，并调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方。分别调整角度，使两个摄像头的视野交叉并且按照实际需求，融合视野要大于头戴式设备的视野。融合后的视野中间方向近乎水平方向。
步骤S3，使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置。
具体地，在虚拟场景中制作等比例模型后，标定VR头盔的位置，使用测量工具标定物理空间内的头戴式设备(VR头盔)相对于虚拟环境中的摄像机位置。根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置。
步骤S4，从两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数。
具体地，固定头盔不动，从两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正并显示出来，等待用户确认，用户确认后，将柱面投影、特征提取、模板匹配、渐入渐出融合以及畸变校正的参数保存下来，并设置为常量。
将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数。
具体地，将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为参数常量。
步骤S5，根据步骤S4中标定的视频拼接参数和视点微调整参数，对两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
1、获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作。
在本发明的一个实施例中，拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作等操作，并设计多线程流水线操作，提高效率。
2、根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果。
3、将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中。
4、将集成后的图像传输给头盔式设备显示。
如图3和图8所示，本发明实施例的双摄像头视频融合畸变校正与视点微调整系统，包括：虚拟现实头戴式设备100(VR头盔)、追踪定位器500、视景处理计算机300、视频处理计算机200、两个环境摄像头、模拟器操作仪表和显示屏400。
在本发明的一个实施例中，虚拟现实头戴式设备100可以采用Oculus Rift虚拟现实设备。两个环境摄像头600采用两个大分辨率高帧率的小型USB摄像头，(每个摄像头安装在Oculus Rift头戴式设备100(头盔)上。
此外，本发明用下述三维引擎软件：Unigine或Unity。
具体地，虚拟现实头戴式设备100与视景处理计算机300连接，虚拟现实头戴式设备100与视频处理计算机200连接，视景处理计算机300和视频处理计算机200连接，两个环境摄像头600与虚拟现实头戴式设备100连接；模拟器操作仪表和显示屏400与视景处理计算机300连接，追踪定位器500与视景处理计算机300连接。
在本发明的一个实施例中，虚拟现实头戴式设备100通过USB3.0和HDMI接口与视景处理计算机300连接，两个环境摄像头600通过USB3.0与视频处理计算机200连接，视景处理计算机300和视频处理计算机200之间通过LAN连接，两个环境摄像头600与虚拟现实头戴式设备100连接；模拟器操作仪表和显示屏400通过USB3.0与视景处理计算机300连接，追踪定位器500通过USB3.0接口与视景处理计算机300连接。
具体地，VR头戴式设备100需要连接至图形处理计算机(USB 3.0接口进行定位数据传输和HDMI接口高速传输影像数据)和220V电源。头戴式设备100上的两个环境摄像头和VR定位器500需要USB 3.0供电和数据传输。
如图4所示，每个环境摄像头安装在虚拟现实头戴式设备100的上方，用于拍摄图像并进行图像融合标定。每个环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求。如图5所示，融合视野大于头戴式设备100的视野，融合后的视野中间方向近水平方向。
在本发明的一个实施例中，每个环境摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。
追踪定位器500根据标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备100视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置。
具体地，追踪定位器500安装于模拟器操作仪表上，用于监测用户的头位姿态位置数据，并发送至视景处理计算机300。在虚拟场景中制作等比例模型后，标定VR头盔的位置，使用测量工具标定物理空间内的头戴式设备100(VR头盔)相对于虚拟环境中的摄像机位置。根据环境摄像头和头戴式设备100视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置。
视频处理计算机200用于从两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数。
具体地，固定头盔不动，从两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正并显示出来，等待用户确认，用户确认后，将柱面投影、特征提取、模板匹配、渐入渐出融合以及畸变校正的参数保存下来，并设置为常量。
将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数。
视景处理计算机用于根据视频拼接参数和视点微调整参数，对两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
1、获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作。具体地，视频处理计算机执行拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。其中，图6为根据本发明实施例的畸变校正后的示意图。S为畸变校正后的示意图。
2、根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果。图7为根据本发明实施例的视点微调整转换的示意图。
3、将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中。
4、将集成后的图像传输给头盔式设备显示。
模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向用户进行呈现。
根据本发明实施例的双摄像头视频融合畸变校正与视点微调整方法及系统，结合了物理空间和虚拟空间的定位方法，通过多广角摄像头融合扩充视野的方式，校正了视点微偏差情况下头戴式设备和实际场景的视觉偏差，实现了摄像头采集的实际场景在头戴式设备中转换后高度一致性的效果。本发明解决了实景采集设备(摄像头)视野不足，和拼接融合的问题，实现了大视野实景的融合。通过微视点调整算法解决了不同视点微偏差情况下真实设备在头戴式设备中显示的偏差问题，实现虚实一致性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种双摄像头视频融合畸变校正与视点微调整方法，其特征在于，包括如下步骤：
步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；
步骤S2，在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向；
步骤S3，使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；
步骤S4，从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；
步骤S5，根据步骤S4中标定的视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；
根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；
将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；
将集成后的图像传输给头戴式设备显示。
2.如权利要求1所述的双摄像头视频融合畸变校正与视点微调整方法，其特征在于，在所述步骤S5中，拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。
3.一种双摄像头视频融合畸变校正与视点微调整系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、两个环境摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，每个所述环境摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，
其中，每个所述环境摄像头安装在虚拟现实头戴式设备的上方，用于拍摄图像并进行图像融合标定；每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向；
所述追踪定位器根据标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；
所述视频处理计算机用于从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；
所述视景处理计算机用于根据视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：
获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；
根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；
将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；
将集成后的图像传输给头戴式设备显示；
所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。
4.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，每个所述环境摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。
5.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，所述视频处理计算机执行拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。
6.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，所述追踪定位器安装于所述模拟器操作仪表上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。
7.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接，两个环境摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，两个环境摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。
CN201710571522.0A 2017-07-13 2017-07-13 双摄像头视频融合畸变校正与视点微调整方法及系统 Expired - Fee Related CN107392853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710571522.0A CN107392853B (zh) 2017-07-13 2017-07-13 双摄像头视频融合畸变校正与视点微调整方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710571522.0A CN107392853B (zh) 2017-07-13 2017-07-13 双摄像头视频融合畸变校正与视点微调整方法及系统

Publications (2)

Publication Number Publication Date
CN107392853A CN107392853A (zh) 2017-11-24
CN107392853B true CN107392853B (zh) 2020-05-26

Family

ID=60340451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710571522.0A Expired - Fee Related CN107392853B (zh) 2017-07-13 2017-07-13 双摄像头视频融合畸变校正与视点微调整方法及系统

Country Status (1)

Country Link
CN (1) CN107392853B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685239B2 (en) * 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN109726697B (zh) * 2019-01-04 2021-07-20 北京灵优智学科技有限公司 融合av视频通讯与ai实物识别的在线视频系统及方法
CN111726602B (zh) * 2019-03-22 2022-04-22 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
CN111142825B (zh) * 2019-12-27 2024-04-16 杭州拓叭吧科技有限公司 多屏视野的显示方法、系统及电子设备
CN111540022B (zh) * 2020-05-14 2024-04-19 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN113012240B (zh) * 2021-04-25 2023-03-31 歌尔光学科技有限公司 测试方法、测试终端及存储介质
CN114612360B (zh) * 2022-03-11 2022-10-18 北京拙河科技有限公司 基于运动模型的视频融合方法及系统
CN114415840B (zh) * 2022-03-30 2022-06-10 北京华建云鼎科技股份公司 一种虚拟现实交互系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012141A2 (en) * 2002-07-26 2004-02-05 Zaxel Systems, Inc. Virtual reality immersion system
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012141A2 (en) * 2002-07-26 2004-02-05 Zaxel Systems, Inc. Virtual reality immersion system
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统

Also Published As

Publication number Publication date
CN107392853A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107392853B (zh) 双摄像头视频融合畸变校正与视点微调整方法及系统
TWI591378B (zh) 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
KR101095670B1 (ko) 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
CN105809701B (zh) 全景视频姿态标定方法
JP6852355B2 (ja) プログラム、頭部装着型表示装置
US9665984B2 (en) 2D image-based 3D glasses virtual try-on system
WO2018008232A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US7782320B2 (en) Information processing method and information processing apparatus
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
CN108093244B (zh) 一种远程随动立体视觉系统
CN108616752B (zh) 支持增强现实交互的头戴设备及控制方法
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN107862718B (zh) 4d全息视频捕捉方法
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
JP6701694B2 (ja) 頭部装着型表示装置およびコンピュータープログラム
CN107209949B (zh) 用于产生放大3d图像的方法和系统
KR101245529B1 (ko) 카메라 캘리브레이션 방법
CN117542253A (zh) 一种飞行员驾驶舱训练系统
CN107368188B (zh) 介导现实中的基于多重空间定位的前景抽取方法及系统
Bapat et al. Rolling shutter and radial distortion are features for high frame rate multi-camera tracking
US20210314542A1 (en) Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
JP2008217119A (ja) システム、画像処理装置、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200526

CF01 Termination of patent right due to non-payment of annual fee