CN110312119B - 具有视差减轻功能的全景视觉系统 - Google Patents

具有视差减轻功能的全景视觉系统 Download PDF

Info

Publication number
CN110312119B
CN110312119B CN201910071517.2A CN201910071517A CN110312119B CN 110312119 B CN110312119 B CN 110312119B CN 201910071517 A CN201910071517 A CN 201910071517A CN 110312119 B CN110312119 B CN 110312119B
Authority
CN
China
Prior art keywords
predetermined
head
image sensor
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910071517.2A
Other languages
English (en)
Other versions
CN110312119A (zh
Inventor
肯·莱彭
威廉·雷·汉考克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN110312119A publication Critical patent/CN110312119A/zh
Application granted granted Critical
Publication of CN110312119B publication Critical patent/CN110312119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明题为“具有视差减轻功能的全景视觉系统”。本发明提供了一种具有视差减轻功能的全景图像系统，该全景图像系统包括图像传感器、头部跟踪器、显示器和处理器。每个图像传感器固定地安装在距第一参考轴线预定的直线距离处并与至少一个其他图像传感器相邻设置，并且指向偏移其相邻图像传感器预定角度的方向。头部跟踪器被配置为至少感测观察者的头部围绕第二参考轴线的角位置和移动方向并且提供代表头部的方位位置信号。显示器被配置为选择性地显示由图像传感器中的每一者感测的图像。处理器与图像传感器、头部跟踪器和显示器可操作地通信。处理器被配置为至少基于方位位置信号来命令显示器显示仅由一个图像传感器感测的图像。

Description

具有视差减轻功能的全景视觉系统
技术领域
本发明整体涉及全景视觉系统，并且更具体地涉及具有视差减轻功能的全景视觉系统。
背景技术
已知各种技术用于扩展相机的视场(FOV)。一种技术是在圆形或半圆形安装结构上安装多个相机，以实现有时称为相机环的装置。与单个相机相比，相机环允许全景视图具有更少的“鱼眼”失真和更高的分辨率。利用相机环，各个相机各自产生重叠的图像，然后将重叠的图像拼接在一起以产生单个扩展的FOV图像。
还使用各种技术来实现图像拼接。最精确的技术是生成深度场，然后将由相机捕获的视频图像应用为覆盖在深度场上的纹理。尽管这种技术相当精确，但是与生成深度场相关的处理时间导致诸如利用间接视觉驾驶车辆的实时应用的过度延迟。
如可以理解的，当实现相机环时，还使用技术在相机之间转换。一种相对简单的技术是在两个相机之间的角度中心附近简单地在相机之间切换。这具有低延迟的优点，但是由于视差差异，会导致场景中相当明显的“跳跃”。
因此，需要用于在相机环上的相机之间转换的系统和方法，该系统和方法消除或至少显著减轻视差差异，并且不依赖于表现出相对过度的延迟的处理技术。本发明至少满足了这些需求。
发明内容
本发明内容提供用于以简化的形式描述一系列概念，这些概念在具体实施方式中被进一步描述。本发明内容并非旨在识别要求保护的主题的关键特征或本质特征，也并非旨在用于辅助确定所要求保护的主题的范围。
在一个实施方案中，具有视差减轻功能的全景图像系统包括多个图像传感器、头部跟踪器、显示器和处理器。每个图像传感器固定地安装在距第一参考轴线预定的直线距离处并且与至少一个其他图像传感器相邻设置。每个图像传感器设置成指向偏移其相邻图像传感器预定角度的方向。头部跟踪器被配置为至少感测观察者的头部围绕第二参考轴线的角位置和移动方向并提供代表该头部的方位位置信号，其中第二参考轴线平行于第一参考轴线。显示器被配置为选择性地显示由图像传感器中的每一者所感测的图像。处理器与图像传感器中的每一者、头部跟踪器和显示器可操作地通信。处理器被配置为至少基于方位位置信号来命令显示器显示仅由图像传感器中的一者感测的图像。
在另一个实施方案中，具有视差减轻功能的全景图像系统包括第一图像传感器、第二图像传感器、第三图像传感器、头部跟踪器、近眼显示器和处理器。第一图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第一方向。第二图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第二方向，其中第二方向在沿第一旋转方向围绕参考轴线预定角度量值处。第三图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第三方向，其中第三方向在沿第二旋转方向围绕参考轴线预定角度量值处。头部跟踪器被配置为至少感测观察者的头部围绕第二参考轴线的角位置和移动方向并且提供代表该头部的方位位置信号，其中第二参考轴线平行于第一参考轴线。近眼显示器被配置为选择性地显示由图像传感器中的每一者感测的图像。处理器与图像传感器中的每一者、头部跟踪器和近眼显示器可操作地通信。处理器被配置为至少基于方位位置信号来命令近眼显示器显示仅由图像传感器中的一者感测的图像。
在又一个实施方案中，具有视差减轻功能的全景图像系统包括第一图像传感器、第二图像传感器、第三图像传感器、头部跟踪器、近眼显示器和处理器。第一图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第一方向。第二图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第二方向，其中第二方向在沿第一旋转方向围绕参考轴线预定角度量值处。第三图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第三方向，其中第三方向在沿第二旋转方向围绕参考轴线预定角度量值处。头部跟踪器被配置为至少感测观察者的头部围绕第二参考轴线的角位置和移动方向并且提供代表该头部的方位位置信号，其中第二参考轴线平行于第一参考轴线。近眼显示器被配置为选择性地显示由图像传感器中的每一者感测的图像。处理器与图像传感器中的每一者、头部跟踪器和近眼显示器可操作地通信。处理器被配置为至少基于方位位置信号来命令近眼显示器：(i)至少当观察者的头部相对于第一方向的角位置在第一预定捕捉角度和第二预定捕捉角度之间时，显示仅由第一图像传感器感测的图像，其中第一预定捕捉角度和第二预定捕捉角度小于预定角度量值，(ii)至少当观察者的头部的角位置大于第一预定捕捉角度时，显示仅由第二图像传感器感测的图像，并且(iii)至少当观察者的头部的角位置大于第二预定捕捉角度时，显示仅由第三图像传感器感测的图像。
另外，根据随后的具体实施方式和所附权利要求，结合附图和前述背景技术，全景图像系统和方法的其他期望特征和特性将变得显而易见。
附图说明
下面将结合以下附图来描述本发明，其中相似数字表示相似元件，并且其中：
图1描绘了具有视差减轻功能的全景图像系统的功能框图；
图2描绘了在图1的系统中实现的观察者的头部和各种捕捉角度的简化表示；
图3描绘了二维的多个图像传感器的视场(FOV)；并且
图4描绘了三维的多个图像传感器的视场(FOV)。
具体实施方式
以下具体实施方式本质上仅是示例性的，并且不旨在限制本发明或本发明的应用和使用。如本文所用，术语“示例性的”是指“用作示例、实例或例证”。因此，本文中描述为“示例性的”的任何实施方案不一定理解为比其他实施方案优选或有利。本文描述的所有实施方案是为使得本领域的技术人员能够制造或使用本发明而提供的示例性实施方案，而不限制由权利要求限定的本发明的范围。此外，不旨在受前述技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
参见图1，描绘了具有视差减轻功能的全景图像系统100，该系统包括至少多个图像传感器102(102-1，102-2，102-3...102-N)、头部跟踪器104、显示器106和处理器108。每个图像传感器102固定地安装在距第一参考轴线110预定的直线距离处，并且与至少一个其他图像传感器102相邻设置。在所描绘的实施方案中，每个图像传感器102固定地安装到相机环安装结构114，该相机环安装结构至少在所描绘的实施方案中是半圆形横截面的。应当理解，在其他实施方案中，相机环安装结构114可以是小于半圆形横截面的、圆形横截面的，或者其横截面在半圆形和圆形之间。
不管相机环安装结构114的具体横截面形状如何，每个图像传感器102都设置成指向偏移其相邻图像传感器102预定角度量值(α)的方向。应当理解，预定角度量值(α)可以变化，并且可以基于例如系统100中包括的图像传感器102的数量来确定。在所描绘的实施方案中，系统100用三个图像传感器102(第一图像传感器102-1、第二图像传感器102-2和第三图像传感器102-3)来实现。
第一图像传感器102-1固定地安装在距第一参考轴线110预定的直线距离(d1)处并且设置成指向第一方向112。第二图像传感器102-2和第三图像传感器102-3固定地安装在距第一参考轴线110预定的直线距离处。然而，第二图像传感器102-2设置成指向第二方向114，并且第三图像传感器102-3设置成指向第三方向116。如图1所示，第二方向在沿第一旋转方向118围绕参考轴线110预定角度量值(α)处，并且第三方向在沿第二旋转方向120围绕参考轴线110预定角度量值(α)处。在一个特定实施方案中，预定角度量值(α)是45度。
还应当理解，图像传感器102可以被不同地配置和实现。例如，每个图像传感器102可以使用一个、两个或三个或更多个图像感测设备来实现。在所描绘的实施方案中，图像传感器102中的每一者包括一对立体相机122-第一相机122-1和第二相机122-2。优选地，每对122中的第一相机和第二相机是相同的，并且具有相同尺寸和部分重叠的传感器视场(FOV)。例如，每个第一相机122-1具有第一FOV 124-1，并且每个第二相机122-2具有等于第一FOV 124-1的第二FOV 124-2。尽管每个相机的FOV可以变化，但是在一个特定的物理实施方式中，第一FOV 124-1和第二FOV 124-2各自具有76度的水平FOV(HFOV)和61度的垂直FOV(VFOV)。如可以理解的，水平和垂直FOV可以变化。
如可以理解的，因为包括每个图像传感器102的立体相机对122被分开预定的分离距离(d)，所以第一FOV 124-1和第二FOV 124-2不是完全共同延伸的。预定的分离距离(d)可以变化。然而，在一个特定实施方案中，预定的分离距离(d)为约2.5英寸(或63.5mm)，这对应于大约人类男性的平均瞳孔间距离(IPD)。应当理解，预定的分离距离(d)可以变化，并且在一些实施方案中，可以是可调整到更长或更短的分离距离的。
头部跟踪器104被配置为至少感测观察者的头部126围绕第二参考轴线128的角位置和移动方向，该第二参考轴线与第一参考轴线110平行。头部跟踪器104被配置为响应于围绕第二参考轴线128的移动而向处理器108提供代表头部的方位位置信号。在至少一些实施方案中，头部跟踪器104还可以被进一步配置为感测观察者的头部126围绕第三参考轴线132的角位置和移动方向，该第三参考轴线与第一参考轴线110和第二参考轴线128两者垂直。当被配置为这样做时，头部跟踪器104还被配置为响应于围绕第三参考轴线132的移动而向处理器108提供代表头部的仰角位置信号。头部跟踪器104可以使用用于感测观察者的头部126的方位角和/或仰角位置的许多已知感测设备中的任何一种来实现。一些非限制性示例包括惯性测量单元(IMU)、磁性头部跟踪器、光学头部跟踪器以及它们的各种组合。
显示器106被配置为选择性地显示由图像传感器102中的每一者感测的图像。更具体地，并且如下文将进一步描述的，显示器响应于来自处理器108的命令而显示仅来自图像传感器102中的一者的图像。显示器106可以使用多种已知显示器类型中的任何一种来实现，诸如使用常规控制器在多个图像周围扫描的近眼(NTE)显示器或前视显示器。在一个特定实施方案中，显示器106使用NTE显示器来实现，诸如头戴式设备，其被配置为与一副护目镜或眼镜类似。显示器106也具有FOV。尽管显示器106的FOV可以变化，但是它通常比相机122的FOV更小和更窄。例如，在第一传感器FOV 124-1和第二传感器FOV 124-2各自具有76度的水平FOV(HFOV)和61度的垂直FOV(VFOV)的实施方案中，该相同的实施方式使用具有20度的HFOV和27度的VFOV的NTE显示器106。因此，在该实施方案中，当相机实现横向型FOV时，NTE显示器106实现纵向型FOV。应当理解，在其他实施方案中，相机和NTE显示器106都可以实现横向型FOV或纵向型FOV。
处理器108与图像传感器102中的每一者、头部跟踪器104和NTE显示器106可操作地通信。如上所述，处理器108至少从头部跟踪器104接收方位位置信号，并且被配置为至少基于方位位置信号来命令NTE显示器106显示仅由图像传感器102中的一者感测的图像。更具体地，如在所描绘的实施方案中，当系统100用三个图像传感器102-1、102-2、102-3实现时，处理器108至少响应于方位位置信号，命令NTE显示器106基于观察者的头部相对于第一方向112的旋转角度/方位位置来显示仅由第一图像传感器102-1、仅由第二图像传感器102-2或仅由第三图像传感器102-3感测的图像。该旋转角度在本文中被称为标称捕捉角度(βnom)。
捕捉角度(βnom)是显示在显示器106中的场景从一个传感器102(例如，相机对)捕捉到下一个相邻传感器(例如，相机对)的角度。捕捉角度(βnom)出现在相邻传感器FOV的重叠区域中，以在头部平移时向显示器106提供无缝图像。该捕捉使与同时从两个不同的角度显示图像相关联的视差误差最小化，并且包括预定量的滞后。因此，如现在将要描述的，系统100优选地被实现为包括四个预定捕捉角度-第一预定捕捉角度(β1)、第二预定捕捉角度(β2)、第三预定捕捉角度(β3)和第四预定捕捉角度(β4)。
参见图2，第一预定捕捉角度(β1)是观察者的头部126相对于第一方向112在第一旋转方向118上的旋转角度/方位角位置。第二预定捕捉角度(β2)是观察者的头部126相对于第一方向112在第二旋转方向120上的旋转角度/方位角位置。第三预定捕捉角度(β3)是观察者的头部126相对于第一方向112在第一旋转方向118上的旋转角度/方位角位置。第四预定捕捉角度(β4)是观察者的头部126相对于第一方向112在第二旋转方向120上的旋转角度/方位角位置。
鉴于上述描述，处理器108被配置为：至少当观察者的头部126相对于第一方向112的旋转位置在第一预定捕捉角度(β1)和第二预定捕捉角度(β2)之间时，命令NTE显示器106显示仅由第一图像传感器102-1感测的图像。处理器108另外被配置为：至少当观察者的头部126的角位置大于第一预定捕捉角度(β1)时，命令NTE显示器106显示仅由第二图像传感器102-2感测的图像，并且至少当观察者的头部126的角位置大于第二旋转方向124上的第二预定捕捉角度(β2)时，显示仅由第三图像传感器102-3感测的图像。
如上所述，因为系统100被实现为包括滞后，所以当观察者的头部126的角位置大于第一预定捕捉角度(β1)并且观察者的头部126正在第二旋转方向120上旋转时，处理器108被配置为命令NTE显示器106停止显示由第二图像传感器102-2感测的图像，并且仅在观察者的头部126的角位置达到第三预定捕捉角度(β3)之后才开始显示仅由第一图像传感器102-1感测的图像。类似地，当观察者的头部126的角位置大于第二预定捕捉角度(β2)并且观察者的头部126正在第一旋转方向118上旋转时，处理器108被配置为命令NTE显示器106停止显示由第三图像传感器102-3感测的图像，并且仅在观察者的头部126的角位置达到第四预定捕捉角度(β4)之后才开始显示由第一图像传感器102-1感测的图像。
应当理解，第一预定捕捉角度、第二预定捕捉角度、第三预定捕捉角度和第四预定捕捉角度的相对量值可以变化。然而，在一个特定实施方案中，第一预定捕捉角度和第二预定捕捉角度(β1，β2)量值彼此相等，并且量值大于标称捕捉角度(βnom)。第三预定捕捉角度和第四预定捕捉角度(β3＝β4)量值彼此相等，并且量值小于标称捕捉角度(βnom)。此外，第一预定捕捉角度和第二预定捕捉角度(β1，β2)各自在量值上大于第三预定量值(β3)和第四预定量值(β4)。还应另外注意，第一预定捕捉角度和第二预定捕捉角度(β1，β2)均小于预定角度量值(α)。
如上所述，在一个特定的物理实施方式中，包括图像传感器102的相机122中的每一者都具有76度的水平FOV(HFOV)和61度的垂直FOV(VFOV)。此外，同样如上文所指出的，预定角度量值(α)为45度，这导致166度(90+76)的总HFOV。在这种配置下，标称捕捉角度(βnom)为+/-22.5度，滞后+/-2度。因此，第一预定捕捉角度(β1)在第一旋转方向118上为24.5度，第二预定捕捉角度(β2)在第二旋转方向120上为24.5度，第三预定捕捉角度(β3)在第一旋转方向118上为20.5度，并且第四预定捕捉角度(β4)在第二旋转方向120上为20.5度。
如上文所指出的，在一些实施方案中，头部跟踪器104还被配置为感测观察者的头部126围绕第三参考轴线132的角位置和移动方向。围绕第三参考轴线132的位置被称为观察者的头部126的仰角，并且用于调整预定捕捉角度(β)。理想情况下，可以基于到被观察对象的距离来优化预定捕捉角度(β)。然而，在给定方位角下到各种对象的距离可能不知道(实际上，很可能不知道)。因此，本文实现的方法是优化在0度仰角的地平线处和在-20度仰角(例如，当向下看时)的约15英尺处的预定捕捉角度(β)。处理器108然后在0度和-20度之间的两个方位角偏移之间线性插值。
如上文所指出的，在一些实施方案中，头部跟踪器104还被配置为感测观察者的头部126围绕第三参考轴线132的角位置和移动方向。围绕第三参考轴线132的位置被称为观察者的头部126的仰角，并且被用于调整具有偏移角的预定捕捉角度(β)。然后，该偏移被应用于处理器正在转换到的目标捕捉角度。理想情况下，可以基于在当前仰角下到被观察对象的距离来优化预定捕捉角度(β)偏移。然而，在给定方位角下到各种对象的距离可能不知道(实际上，很可能不知道)。因此，本文实现的方法是优化在0度仰角的地平线处和在-20度仰角(例如，当向下看时，并且其中在-20度仰角的距离基于传感器102的高度)的约15英尺处的预定捕捉角度(β)偏移。处理器108然后在0度和-20度之间的两个方位角偏移之间线性插值。捕捉角度偏移被夹在两个极端(0度和-20度仰角)处。在该实施方案中，仰角被有效地用作距离的第一近似值。
作为非限制性示例，给定0度仰角、24.5度方位角转换以及从中心到右侧转换，捕捉将在24.5度处发生，并且右侧传感器质心旋转被设置为-41.9度而不是-45度(3.1度方位角偏移，这意味着相机图像向左旋转该角度或者头部向右移动该量)。对于-20度仰角处的相同转换，右侧传感器质心旋转46.2度(-1.2方位角偏移)。当从右侧相机移动到0度仰角处的中心相机时，如果捕捉发生在20.5度，则右侧传感器质心旋转从0度变为-3.1度(传感器图像向右移动或头部向左移动)。在-20度仰角处，中心传感器的旋转为1.2度。
处理器108不仅被配置为基于仰角位置信号来调整第一预定捕捉角度、第二预定捕捉角度、第三预定捕捉角度和第四预定捕捉角度，在至少一些实施方案中，还被配置为另外基于方位角位置信号来线性减少对第一预定捕捉角度、第二预定捕捉角度、第三预定捕捉角度和第四预定捕捉角度的调整。这是因为，即使在预定捕捉角度处的图像传感器102之间的捕捉相当干净，从第二图像传感器102-2和第三图像传感器102-3提供的图像中也存在偏移。已经发现，通过线性地消减偏移，使得其在图像传感器102中的每一者的中心方位角处消散，可以减轻该偏移。如果观察者的头部126朝向相关联的预定捕捉角度在方位角上向后旋转，而不到达消减极限，则残余角度在返回另一图像传感器102的捕捉中被调整掉。应当理解，消减可以在中心方位角和捕捉角度之间的任意角度处消散，而不像在所述实施方案中那样仅仅在中心方位角处消散。
现在转到图3，将提供系统100的操作的更详细描述。在这样做时，应当注意，为了便于说明和描述，第一图像传感器102-1、第二图像传感器102-2和第三图像传感器102-3的FOV 124在图3中以二维而不是三维描绘。为了完整起见，在图4中以简化形式描绘了第一图像传感器102-1、第二图像传感器102-2和第三图像传感器102-3的FOV 124的三维表示。
现在回到图3，假设观察者的头部126的方位角位置最初定位在第一预定捕捉角度和第二预定捕捉角度(β1，β2)之间。因此，处理器108命令NTE显示器106显示仅由第一图像传感器102-1感测的图像(即，仅第一图像传感器102-1的FOV 124内的图像)，并且这样的图像对应于第一图像传感器102-1的FOV 124内的初始显示FOV 302。在进一步进行之前，应当注意，初始显示FOV 302以及下文描述的所有其他显示FOV对应于NTE显示器106的显示FOV。
考虑到上述初始条件，如果观察者在第一旋转方向118上从初始位置(即，在第一预定捕捉角度和第二预定捕捉角度(β1，β2)之间)旋转他们的头部126，并且当观察者的头部的方位角位置达到第一预定捕捉角度(β1)时，如由显示FOV 304所表示，继续这样做，那么处理器108命令NTE显示器106显示仅由第二图像传感器102-2感测的图像(即，仅第二图像传感器102-2的FOV 124内的图像)，如由显示FOV 306所表示。只要使用者的头部126的方位角位置大于第一预定捕捉角度(β1)，NTE显示器106将继续显示仅由第二图像传感器102-2感测的图像。
如图3中虚线所描绘，如果观察者随后在第二旋转方向120上旋转他们的头部126，并且当观察者的头部126的方位角位置达到第三预定捕捉角度(β3)时，如由显示FOV 308所表示，继续这样做，那么处理器108命令NTE显示器106切换到显示仅由第一图像传感器102-1感测的图像(即，仅第二图像传感器102-1的FOV 124内的图像)，如由显示FOV 310所表示。同样，只要使用者的头部126的方位角位置在第一预定捕捉角度和第二预定捕捉角度(β1，β2)之间，NTE显示器106将继续显示仅由第一图像传感器102-1感测的图像。
现在，再次假设观察者的头部126的方位角位置定位在第一预定捕捉角度和第二预定捕捉角度(β1，β2)之间，这意味着处理器108命令NTE显示器106显示仅由第一图像传感器102-1感测的图像。这再次对应于第一图像传感器102-1的FOV 124内的初始显示FOV302。如果观察者在第二旋转方向120上旋转他们的头部126，并且当观察者的头部126的方位角位置达到第二预定捕捉角度(β2)时，如由显示FOV 312所表示，继续这样做，那么处理器108命令NTE显示器106显示仅由第三图像传感器102-3感测的图像(即，仅在第三图像传感器102-3的FOV 124内的图像)，如由显示FOV 314所表示。只要使用者的头部126的方位角位置大于第二预定捕捉角度(β2)，NTE显示器106将继续显示仅由第三图像传感器102-3感测的图像。
再次如图3中的虚线所描绘，如果观察者随后在第一旋转方向118上旋转他们的头部126，并且当观察者的头部126的方位角位置达到第四预定捕捉角度(β4)时，如由显示FOV316所表示，继续这样做，那么处理器108命令NTE显示器106切换到显示仅由第一图像传感器102-1感测的图像(即，仅第一图像传感器102-1的FOV 124内的图像)，如由显示FOV 318所表示。同样，只要使用者的头部126的方位角位置在第一预定捕捉角度和第二预定捕捉角度(β1，β2)之间，NTE显示器106将继续显示仅由第一图像传感器102-1感测的图像。
图3中描绘了两个附加的显示FOV 320、322，并且为了完整起见，现在将描述与这些显示FOV相关联的系统100的功能。具体地，一个显示FOV 320被描绘成接近第二图像传感器102-2的FOV的左下边界，而另一个显示FOV 322被描绘成接近第三图像传感器102-3的FOV的右上边界。如果观察者的头部126的方位角和/或仰角位置移动超过图像传感器FOV124的边界，则显示FOV 320、322的尺寸(即，NTE显示器106的FOV)被裁剪(通常用黑色替换)。
本文描述的系统和方法在视差误差减轻方面提供了相对显著的改进。本文所述的系统被放置在无窗户的车辆中，并在沙漠道路上进行现场测试。在现场测试期间，当图像在图像传感器(即，相机对)之间转换时，没有一个操作员抱怨场景的光学不连续性。应当注意，如果到物体的距离不同于优化距离，则在两个图像传感器之间可能有明显的跳跃。然而，事实证明，这对操作员来说只是一个小问题。
本领域的技术人员将理解，结合本文公开的实施方案描述的各种示例性逻辑框、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。以上就功能和/或逻辑框部件(或模块)以及各种处理步骤方面描述了一些实施方案和实施方式。然而，应当理解，此类框部件(或模块)可通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。为了清楚地示出硬件和软件的这种可互换性，上文已经大体上就其功能描述了各种说明性部件、块、模块、电路和步骤。将此类功能实施为硬件还是软件取决于特定应用和施加在整个系统的设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这种实现决策不应被解释为导致偏离本发明的范围。例如，系统或部件的实施方案可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可在一个或多个微处理器或其他控制设备置的控制下执行多种功能。另外，本领域的技术人员将理解，本文描述的实施方案仅是示例性实施方式。
结合本文公开的实施方案描述的各种示例性逻辑框、模块和电路可以用以下各项来实施或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散栅极或晶体管逻辑、离散硬件部件，或设计用于执行本文描述的功能的以上各项的任何组合。通用处理器可以是微处理器，但是在替代方式中，该处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP内核的一个或多个微处理器、或者任何其他此类配置。
结合本文公开的实施方案来描述的方法和算法的步骤可以直接地体现在硬件、由处理器执行的软件模块或两者的组合中。软件模块可以驻留在RAM存储器、闪存存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质耦接到处理器，使得该处理器可以从存储介质读出信息并向存储介质写入信息。在替代方式中，可以将存储介质集成到处理器。处理器和存储介质可以驻留在ASIC中。
本文可根据功能和/或逻辑块部件以及参考可由各种计算部件或设备执行的操作、处理任务和功能的符号表示来描述技巧和技术。此类操作、任务和功能有时被称为计算机执行的、计算机化的、软件实现的或计算机实现的。在实践中，一个或多个处理器设备可通过控制表示系统存储器中的存储器位置处的数据位的电信号以及其他处理信号来执行所述操作、任务和功能。供保持数据位的存储器位置是具有与数据位对应的特定电气特性、磁性特性、光学特性或有机特性的物理位置。应当理解，图中所示的各个块部件可通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，系统或部件的实施方案可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可在一个或多个微处理器或其他控制设备置的控制下执行多种功能。
当在软件或固件中实现时，本文所述的系统的各种元件基本上是执行各种任务的代码段或指令。程序或代码段可存储在处理器可读介质中，或通过包含在载波中的计算机数据信号通过传输介质或通信路径传输。“计算机可读介质”、“处理器可读介质”或“机器可读介质”可包括可存储或传送信息的任何介质。处理器可读介质的示例包括电子电路、半导体存储器设备、ROM、闪存存储器、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路等。计算机数据信号可包括能够在传输介质诸如电子网络信道、光纤、空气、电磁路径或RF链路上传播的任何信号。代码段可经由计算机网络诸如互联网、内联网、LAN等下载。
本说明书中所述的功能单元中的一些已被称为“模块”，以便更具体地强调它们的实施独立性。例如，在本文被称为模块的功能可全部或部分地实现为硬件电路，该硬件电路包括定制VLSI电路或栅极阵列、成品半导体诸如逻辑芯片、晶体管或其他分离部件。模块还可在可编程硬件设备诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等中实现。模块还可在用于由各种类型的处理器执行的软件中实现。可执行代码的识别模块可例如包括计算机指令的一个或多个物理或逻辑模块，该一个或多个物理或逻辑模块可例如被组织为对象、过程或功能。然而，所识别模块的可执行文件无需物理地定位在一起，但可包括存储在不同位置处的不同指令，这些不同的指令在被逻辑地连接在一起时包括模块并实现模块的所述目的。实际上，可执行代码的模块可以是单个指令或许多指令，并甚至可分布在多个不同代码段上，不同程序之间，以及跨若干个内存设备。类似地，操作数据能够以任何合适的形式实施，并且可在任何合适类型的数据结构内组织。操作数据可被收集为单个数据集，或者可分布在不同位置上，包括位于不同存储设备上的并且可至少部分地仅作为系统或网络上的电子信号而存在。
在本文件中，关系术语，诸如第一和第二等，可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示此类实体或动作之间的任何实际的这种关系或顺序。除非明确地由权利要求语言限定，否则数字序数，诸如“第一”、“第二”、“第三”等，仅表示多个中的不同个体，并且不暗示任何顺序或序列。除非明确地由权利要求语言限定，否则任何权利要求中的文本的序列不暗示必须根据这样的序列以时间或逻辑顺序执行处理步骤。在不脱离本发明的范围的情况下，处理步骤可以以任何顺序互换，只要这种互换不与权利要求语言矛盾并且不是逻辑上荒谬的。
此外，取决于上下文，在描述不同元件之间的关系时使用的诸如“连接”或“耦接到”的词语不暗示必须在这些元件之间进行直接物理连接。例如，两个元件可以通过一个或多个附加元件物理地、电子地、逻辑地或以任何其他方式彼此连接。
虽然在本发明的前述具体实施方案中已呈现了至少一个示例性实施方案，但是应理解存在大量的变型形式。还应当理解，一个或多个示例性实施方案仅是示例，并且不旨在以任何方式限定本发明的范围、适用性或配置。相反，前述具体实施方式将为本领域的技术人员提供用于实现本发明的示例性实施方案的便利的路线图。应当理解，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以对示例性实施方案中描述的元件的功能和布置进行各种改变。

Claims (6)

1.一种全景图像系统，所述全景图像系统具有视差减轻功能，所述系统包括：
多个图像传感器，每个图像传感器固定地安装在距第一参考轴线预定的直线距离处并且与至少一个其他图像传感器相邻设置，每个图像传感器设置成指向偏移其相邻图像传感器预定角度的方向；
头部跟踪器，所述头部跟踪器被配置为至少感测观察者的头部围绕第二参考轴线的角位置和移动方向并且提供代表所述头部的方位位置信号，所述第二参考轴线平行于所述第一参考轴线；
显示器，所述显示器被配置为选择性地显示由所述多个图像传感器中的每一者感测的图像；和
处理器，所述处理器与所述多个图像传感器中的每一者、所述头部跟踪器和所述显示器可操作地通信，所述处理器被配置为至少基于所述方位位置信号来命令所述显示器显示仅由所述多个图像传感器中的一者感测的图像，其中所述多个图像传感器包括：
第一图像传感器，所述第一图像传感器固定地安装在距第一参考轴线预定的直线距离处并且设置成指向第一方向；
第二图像传感器，所述第二图像传感器固定地安装在距所述第一参考轴线所述预定的直线距离处并且设置成指向第二方向，所述第二方向在沿第一旋转方向围绕所述第一参考轴线的预定角度量值处，和
第三图像传感器，所述第三图像传感器固定地安装在距所述第一参考轴线所述预定的直线距离处并且设置成指向第三方向，所述第三方向在沿第二旋转方向围绕所述第一参考轴线的所述预定角度量值处，
其中所述处理器还被配置为命令所述显示器：
至少当所述观察者的头部相对于所述第一方向的所述角位置在第一预定捕捉角度和第二预定捕捉角度之间时，显示仅由所述第一图像传感器感测的图像；
至少当所述观察者的头部的所述角位置大于所述第一预定捕捉角度时，显示仅由所述第二图像传感器感测的图像；并且
至少当所述观察者的头部的所述角位置大于所述第二预定捕捉角度时，显示仅由所述第三图像传感器感测的图像，
其中，所述第一预定捕捉角度和所述第二预定捕捉角度小于所述多个图像传感器之间的所述预定角度量值，
其中：
当所述观察者的头部的所述角位置大于所述第一预定捕捉角度并且所述观察者的头部在所述第二旋转方向上旋转时，所述处理器命令所述显示器停止显示由所述第二图像传感器感测的图像，并且当所述观察者的头部的所述角位置处于第三预定捕捉角度时开始显示由所述第一图像传感器感测的图像；
当所述观察者的头部的所述角位置大于所述第二预定捕捉角度并且所述观察者的头部在所述第一旋转方向上旋转时，所述处理器命令所述显示器停止显示由所述第三图像传感器感测的图像，并且当所述观察者的头部的所述角位置处于第四预定捕捉角度时开始显示由所述第一图像传感器感测的图像，
所述头部跟踪器还被配置为感测所述观察者的头部围绕第三参考轴线的角位置和移动方向并且提供代表所述头部的仰角位置信号，所述第三参考轴线垂直于所述第一参考轴线和所述第二参考轴线；并且
所述处理器还被配置为基于所述仰角位置信号来调整所述第一预定捕捉角度、所述第二预定捕捉角度、所述第三预定捕捉角度和所述第四预定捕捉角度。
2.根据权利要求1所述的系统，其中：
所述多个图像传感器中的每一者包括一个或多个相机；并且
所述显示器被配置为近眼显示器。
3.根据权利要求1所述的系统，其中所述第一预定捕捉角度的量值等于所述第二预定捕捉角度的量值。
4.根据权利要求1所述的系统，其中：
所述第三预定捕捉角度和所述第四预定捕捉角度均小于所述第一预定捕捉角度；并且
所述第三预定捕捉角度的量值等于所述第四预定捕捉角度的量值。
5.根据权利要求1所述的系统，其中：
所述第三预定捕捉角度和所述第四预定捕捉角度均小于所述第一预定捕捉角度；并且
所述第二预定捕捉角度和所述第三预定捕捉角度的量值不相等。
6.根据权利要求1所述的系统，其中所述处理器还被配置为另外基于所述仰角位置信号来减小对所述第一预定捕捉角度、所述第二预定捕捉角度、所述第三预定捕捉角度和所述第四预定捕捉角度的所述调整。
CN201910071517.2A 2018-03-27 2019-01-24 具有视差减轻功能的全景视觉系统 Active CN110312119B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/936,533 2018-03-27
US15/936,533 US10582181B2 (en) 2018-03-27 2018-03-27 Panoramic vision system with parallax mitigation

Publications (2)

Publication Number Publication Date
CN110312119A CN110312119A (zh) 2019-10-08
CN110312119B true CN110312119B (zh) 2023-05-16

Family

ID=65363045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910071517.2A Active CN110312119B (zh) 2018-03-27 2019-01-24 具有视差减轻功能的全景视觉系统

Country Status (3)

Country Link
US (1) US10582181B2 (zh)
EP (1) EP3547663B1 (zh)
CN (1) CN110312119B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538214B2 (en) * 2020-11-09 2022-12-27 Meta Platforms Technologies, Llc Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
US11750930B1 (en) 2022-03-17 2023-09-05 Honeywell International Inc. Panoramic vision system with parallax mitigation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
WO2017168347A1 (en) * 2016-03-31 2017-10-05 Nokia Technologies Oy Multi-camera image coding
CN107409239A (zh) * 2015-12-04 2017-11-28 咖啡24株式会社 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US8169527B2 (en) 2005-11-11 2012-05-01 Sony Corporation Apparatus selectively presenting distortion corrected image data
JP4836902B2 (ja) * 2007-09-06 2011-12-14 三洋電機株式会社 デジタルカメラ
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP5621422B2 (ja) * 2010-09-07 2014-11-12 ソニー株式会社 情報処理装置、プログラム及び制御方法
US8548269B2 (en) * 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US20120154518A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
US20130222590A1 (en) 2012-02-27 2013-08-29 Honeywell International Inc. Methods and apparatus for dynamically simulating a remote audiovisual environment
TWI528232B (zh) * 2014-05-30 2016-04-01 緯創資通股份有限公司 電子裝置的使用方法、電子裝置及電子設備
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
GB2536025B (en) 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP6511386B2 (ja) * 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US10165182B1 (en) * 2016-12-29 2018-12-25 Scott Zhihao Chen Panoramic imaging systems based on two laterally-offset and vertically-overlap camera modules

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染
CN107409239A (zh) * 2015-12-04 2017-11-28 咖啡24株式会社 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
WO2017168347A1 (en) * 2016-03-31 2017-10-05 Nokia Technologies Oy Multi-camera image coding

Also Published As

Publication number Publication date
EP3547663A1 (en) 2019-10-02
EP3547663B1 (en) 2020-12-02
US20190306484A1 (en) 2019-10-03
US10582181B2 (en) 2020-03-03
CN110312119A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
EP3565739B1 (en) Rear-stitched view panorama for rear-view visualization
US9686479B2 (en) Method for combining multiple image fields
EP3410388A2 (en) Capture and render of panoramic virtual reality content
US9648233B2 (en) System, device, and vehicle for recording panoramic images
US8441541B2 (en) Control apparatus and control method therefor
US10942439B2 (en) Real-time tracking for three-dimensional imaging
US20100265364A1 (en) Self-correcting adaptive long-stare electro-optical system
JP4825244B2 (ja) 立体視画像表示装置、立体視画像表示方法
US11823374B2 (en) Magnified high resolution imaging and tracking for medical use
CN110312119B (zh) 具有视差减轻功能的全景视觉系统
EP2939211B1 (en) Method and system for generating a surround view
JP6089233B1 (ja) プロジェクタシステム
JP2012134920A (ja) カメラ装置、画像処理システムおよび画像処理方法
US10542875B2 (en) Imaging device, endoscope apparatus, and imaging method
US20140285620A1 (en) Stereo image processing apparatus and method thereof
JP2010217984A (ja) 像検出装置及び像検出方法
JP5870266B2 (ja) キャリブレーション装置及びキャリブレーション方法
US20150281674A1 (en) Stereo adapter and stereo imaging apparatus
JP4702802B2 (ja) 車両方位補正システム
US11750930B1 (en) Panoramic vision system with parallax mitigation
JP2019521390A (ja) 画像取得複合レンズおよびその応用
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
WO1997031484A1 (fr) Systeme de reconnaissance optique large champ
US11402740B2 (en) Real-time tracking for three-dimensional imaging
KR20090062019A (ko) 두 개의 지피에스 수신장치를 이용한 촬영방향이 표시되는 카메라

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant