CN103718213A - 自动场景校准 - Google Patents

自动场景校准 Download PDF

Info

Publication number
CN103718213A
CN103718213A CN201380002407.1A CN201380002407A CN103718213A CN 103718213 A CN103718213 A CN 103718213A CN 201380002407 A CN201380002407 A CN 201380002407A CN 103718213 A CN103718213 A CN 103718213A
Authority
CN
China
Prior art keywords
camera
scene
vertical direction
dimensional
real world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380002407.1A
Other languages
English (en)
Other versions
CN103718213B (zh
Inventor
X·巴埃莱
J·马丁内斯冈萨雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sufte kayetti International Co.,Ltd.
Original Assignee
Softkinetic Software SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic Software SA filed Critical Softkinetic Software SA
Publication of CN103718213A publication Critical patent/CN103718213A/zh
Application granted granted Critical
Publication of CN103718213B publication Critical patent/CN103718213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

此处描述了一种校准三维成像系统（300）的方法。在校准期间，相对于第一及第二参数而确定三维成像系统的位置（340）及取向（330），其中第一参数包含了现实世界的垂直方向（Vw），第二参数包含由该成像系统捕捉到的三维场景的原点。使用该第一及第二参数获取导出校准矩阵（Mc2w），该校准矩阵被用于将测量值（360）从三维成像系统的虚拟坐标系（Mc）转换为与现实世界相关的现实坐标系（Mw）。在信号处理（380）前，使用校准矩阵（Mc2w）来校正测量值（360）。还确定了逆校准矩阵（Mw2c）。实现对三维成像系统设置的连续监测（370）及调整，并相应地调整校准矩阵（Mc2w）及其逆矩阵（Mw2c）。

Description

自动场景校准
技术领域
本发明涉及相机校准，且更特定地涉及相对于现实世界的三维（3D）感测相机的位置及取向的自动校准。
背景技术
三维（3D）或深度感测相机，即，结构光3D相机、飞行时间3D相机、以及立体视觉3D相机，是获取深度图像的成像装置。深度图像表示场景到3D的距离。3D相机装置，以及它们提供的深度图像，被用于分析捕捉到的场景中的静态及动态3D元素，诸如物体及用户。
分析捕捉到的场景包括对物体和/或用户的检测、定位、及标识以及对它们的各自分析。在这样的分析过程中发生的一个常见问题是相机的未知取向。例如，如果将相机绕其光轴顺时针或逆时针旋转90度，场景中垂直取向的物体在深度图像中可显示为水平。因此有利的是了解相机的相关参数，从而在分析捕捉到的场景时可得到更好的结果。
相机校准是其中确定相机真实参数的过程。真实相机参数常被作为校正参数使用并且，在多数情况下，可用线性变换表示，即，相机校准矩阵，例如，可被用于从现实世界坐标系到特定相机的相机坐标系的射影映射。
相机参数包括内部及外部参数，并在文献中被广泛提出，例如，Janne
Figure BDA0000461565500000011
的《使用隐含图像校正的四步相机校准程序》（“A Four-step CameraCalibration Procedure with Implicit Image Correction”），或S.Malek等人的《一种增强现实系统的校准方法》（“Calibration Method for an AugmentedReality System”）等。
内部参数包含成像装置的光学规范，诸如图像格式、主点、及焦距。它们可被建模且结合至应用于与相机坐标系相关的数据的变换矩阵中，从而在场景捕捉时校正一些嵌在畸变。也可将透镜畸变认为是非内部参数考虑，但由于它是非线性变换，因此不会直接结合至变换矩阵。
外部参数包含相机相对于世界坐标系的3D位置及3D取向。相机坐标系与相机相关联，且定义变换矩阵以提供数据测量值从相机坐标系到世界坐标系的投影。
通过将3D相机作为简单的针孔考虑，外部参数可以仅仅是需要确定并应用从而提供方便的校正及/或变换的相关参数。
为了找到外部参数，必须考虑相机的垂直、横向、及纵向轴，分别为横摆（yaw）、俯仰（pitch）、及侧倾（roll）轴，因为它们定义了相机坐标系。更确切地说，横摆轴是从相机顶部画到底部的轴，并垂直于其他两轴。俯仰轴是从相机左侧延伸到右侧的轴，与相机传感器的Y轴平行。侧倾轴是沿相机主体光轴从后到前的法线方向画出的轴。基本上，相机坐标系原点位于传感器芯片上，例如，位于传感器芯片的左上角或中心处。以下参考图6对其进行详细描述。
此外，需要考虑场景中的相机位置。需要通过在场景中寻找或定义参考点来估算该位置，该参考点被设定为现实世界坐标系的原点。
已知多个校准相机的方法。其中大多数方法涉及二维（2D）相机，有一些涉及三维（3D）相机。进一步地，通常在静态相机上离线地而非实时地执行校准。位于场景中的标记也可用于帮助校准过程。这样的校准过程经常包括数个步骤并需要用户互动。
此外，这些方法并不意在对3D相机的所有可能取向进行校正，而且，它们常限于与处于特定取向的相机一起使用，例如，一般向下或一般水平取向的相机。
US-A-2010/0208057公开了一种用于确定相机相对于真实环境中至少一个物体的姿态。该种方法包括分析该物体的所捕捉的图像以确定相机相对于该物体的位置的距离数据以及取向数据，使用该距离数据及取向数据来提供与相机有关的姿态信息。
在Jorge Lobo和Jorge Dias发表在IEEE Transactions on PatternAnalysis and Machine Intelligence,25卷,12期,2003年12月的文献《使用重力作为垂直参考的视觉及惯性传感器协作》（“Vision and Inertial SensorCooperation Using Gravity as a Vertical Reference”）中，描述了一种在传感器系统中使用惯性传感器数据的方法。消失点及消失线与惯性传感器数据一起使用以确定地平面，从中可导出地平线各点与像点之间的映射。
Vieville等人在《来自使用垂直提示的视觉及惯性传感器的自我运动及结构的计算》（“Computation of ego-motion and structure from Visual andInertial Sensors Using the Vertical Cue”）描述了通过建立环境的三维深度及运动图，使用视觉及里程计传感器，来复原场景的三维数据结构及运动的方法。使用图像中的垂直线与真实取向的三维垂直线对齐。
US-A-2010/0103275描述了一种具有集成加速度计的静态2D数码相机，其中测量侧倾轴及俯仰轴及变化并用作输入，因此所显示的图像被校正并与常规水平和垂直显示装置方向对齐。所述方法仅适用于水平和/或垂直相机轴的变化以便在风景和肖像模式之间切换。
WO-A-2010/082933描述了一种系统，其中将场景图像中的标记或物体与原始场景中的对应标记或物体对齐以便执行几何相机校准。因此通过分析目标模型和目标本身之间的不匹配来确定相机参数。
US-2011/0128388公开了一种相机校准系统，包括坐标数据生成装置以及坐标数据识别装置。坐标数据生成装置生成与现实场景中多个真实位置对应的多个映射坐标数据。坐标数据识别装置从坐标数据生成装置接收现实场景的图像以及映射坐标数据。它确定与现实位置对应的图像位置，且然后计算与这些图像位置对应的图像坐标数据。从图像坐标数据以及映射坐标数据中，确定坐标变换矩阵。
EP-A-2154650描述了一种使用从相机坐标系统到世界坐标系统的变换矩阵，对来自由3D相机所获取的图像数据的场景坐标进行实时或接近实时的计算方法。这种方法依赖于检测在所获取的3D图像中一个或多个平面、选择其中一个平面（例如，地面）作为参考平面。然后，相对于所选择的参考平面来确定3D相机的位置、侧倾、及俯仰取向参数。一旦3D相机安装到其适当位置（即，地面必须在相机的视锥中并被相机看到，从而可使用基于随机样本一致性（RANSAC）的平面检测来检测到）时，可通过执行多个含少量人工干预的步骤实现这样的校准。一旦设立了校准矩阵，然后一直使用，直到相机设置改变。那时，必须手动启动新的校准程序。
发明内容
本发明涉及深度感测相机装置关于其外部参数的校准，例如，该相机相对于场景的位置及取向。该种校准提供校准矩阵。
本发明的一个目的在于促进可包含动态方面的设施校准，例如，相对于场景可随时间变化的相机的位置及取向。这是对相机位置及取向不随时间变化的固定设施的补充。
此外，可在检测到外部相机参数发生任何变化时启动校准程序。这样的校准程序可用于更新预定的校准矩阵。
因此本发明的一个目标是提供一种方法，该方法提供对于场景内该相机的取向和位置的自动确定。
本发明的另一个目标是提供一种不需要人工操纵而对相机提供校准的方法。
本发明的另一个目标是提供一种确定变换的方法，该变换允许从在相机或虚拟坐标系中表达的数据测量值到施加或真实坐标系中表达的数据的正向和反向的应用。
本发明的又一步目标是提供一种方法以及系统，使用从所捕捉的场景本身或使用与相机相关联的外部测量装置所确定的垂直方向，来确定相对于现实世界坐标系的该相机的参考坐标系。
本发明的另一个目标是提供一种避开（circumvent）场景中地面低能见度的方法。
本发明的又一个目标是提供一种系统，通过迭代地调整相机来改进并自动化相机坐标系和现实世界坐标系之间的校准程序，以使相机坐标系中至少一个轴与由现实世界坐标系所定义的平面对齐。
根据本发明的第一个方面，提供了一种校准三维环境三维飞行时间成像系统的方法，这种方法包括以下步骤：
a）确定该三维成像系统的参考正交虚拟三维坐标系，该参考正交虚拟三维坐标系具有水平、垂直、以及深度轴，其中水平轴以及垂直轴分别与三维成像系统中传感器的水平及垂直轴对齐，其深度轴与该传感器的由其水平及垂直轴所定义的平面正交；
b）在虚拟坐标系中获得现实世界的垂直方向；
c）相对于参考坐标系确定现实三维正交坐标系，其具有水平、垂直、以及深度轴，其中旋转垂直轴从而相对于垂直方向对齐；
d）确定场景中的一点作为现实三维正交坐标系新的原点；
e）导出从虚拟三维坐标系原点到被定义为场景中新原点的点的平移向量；
f）导出旋转矩阵，用于将虚拟三维坐标系变换为现实世界三维正交坐标系；以及
g）导出三维成像系统的校准矩阵，作为由该平移向量所平移的旋转矩阵；
其特征在于，本方法还包括将由现实世界三维坐标系的垂直轴及深度轴所定义的平面对齐为与虚拟三维坐标系（Mc）的虚拟垂直轴与虚拟深度轴所定义的平面共面的步骤。
应当认识到此处使用的术语“三维成像系统”还包括使用传感器捕捉场景的三维相机。
术语“现实世界坐标系”以及“虚拟坐标系”分别涉及世界坐标系以及相机坐标系。
此外，可从校准矩阵导出逆校准矩阵。
可导出现实世界的垂直方向作为使用测量单元所确定的重力向量的反向向量，其中测量单元，例如，至少一个惯性测量装置。
可选地，步骤b）可包括从水平面的法线导出现实世界的垂直方向。该水平面可由以下步骤确定：
ⅰ）用处于第一取向的三维成像系统捕捉场景；
ⅱ）使用平面拟合算法来确定场景中多个平面；以及
ⅲ）将场景中的一个参考平面确定为地面。
通过使用平面拟合算法来确定水平面，校准程序中，该地面在不必要可见。
在这种情况下，ⅲ）可包括确定该参考平面最佳地满足了以下至少一项的一个平面：统计模式；最大表面；以及最小表面积。
可选地，步骤ⅲ）可包括作为如下的组合来确定参考平面：场景主成分分析的统计模式；最大表面；以及最小表面积。
在一个实施例中，通过满足统计模式来确定参考平面的步骤包括，例如，在多个平面中选择：表面积大于1m2的一个表面；相对于该平面法线具有最低协方差值的一个表面；以及位于距离相机超过1m的一个表面。应当理解也可能用到其他表面积及与相机距离的值。
在另一可选实施例中，步骤b）可包括从场景中特定的用户站姿导出现实世界垂直方向，该垂直方向是与以预定校准姿态站立的用户的垂直方向对齐的方向。
在这个可选实施例中，这种方法可进一步包括从预定校准姿态导出水平轴及垂直轴的步骤。在这种情况下，世界三维坐标系与所导出的水平及垂直轴对齐。
理所当然地，具有预定姿势或姿态的适当物体可代替采用特定站姿的用户用于确定垂直轴。
在又一个实施例中，步骤b）包括从场景中检测到的边缘导出现实世界的垂直方向。
步骤b）可进一步包括通过组合以下两个或多个步骤来提炼垂直方向：将现实世界垂直方向（Vw）导出为使用测量装置所确定的重力向量的反向向量；从场景中一平面的法线中导出现实世界的垂直方向（Vw）；从场景中特定用户站姿获取现实世界垂直方向（Vw），该垂直方向（Vw）是与以预定校准姿态站立用户的垂直方向对齐的方向；以及从场景检测到的边缘导出现实世界的垂直方向（Vw）。
步骤d）可包括确定使用如下项之一来确定该点：空间中一预定点；确定用户各点的最低位置；地面上一点；检测到的某一平面上的一点；以及场景中某预定物体的位置。
可相对于现实坐标系的原点来确定相机的位置，该原点可被确定为位于用户或物体的位置底部，或被确定为位于场景中某一平面上。可手动地或自动地确定相机相对于现实坐标系的位置。
在一个实施例中，这种方法进一步包括了如果检测到以下情况中至少一项的变化时自动改进校准矩阵的步骤：相对于三维环境的三维成像系统位置及取向，虚拟坐标系中与由现实坐标系中两个轴所定义的平面对齐的至少一个轴。优选地，通过控制支持三维成像系统的机动系统，虚拟坐标系的至少垂直轴与Z-Y面，即，现实世界坐标系的垂直轴及深度轴所定义的平面对齐。
理想的是，将该校准矩阵存储在存储器中。在信号处理之前使用该校准矩阵校正相机测量值。然而，如果相机的位置及取向的至少一个发生变化时，可需要更新校准矩阵。可使用机动工具自动调整相机的位置和取向并相应地更新对应的校准矩阵。
根据本发明的另一个方面，提供了一种具有惯性测量单元的深度感测成像系统，该深度传感成像系统根据上述方法操作。
根据本发明又一个方面，提供了一种深度传感成像系统，具有机动工具，用于根据上述方法调整该深度传感系统的位置和取向中的至少一项。
根据本发明另一个方面，提供了一种三维飞行时间成像系统，具有根据上述方法操作的校准工具。
附图说明
为了更好地理解本发明，现仅通过示例的方式参考附图，其中：
图1示出根据本发明的可能设置，其中相机至少部分指向地面；
图2示出根据本发明的另一种可能设置，其中相机具有相对于场景而言不同的位置和取向；
图3示出根据本发明的一种通用自动校准程序的流程图；
图4示出根据本发明的一种手动校准程序的流程图，其中使用用户的姿态来确定现实世界坐标系的垂直方向以导出校准矩阵；
图5示出一种自动校准程序的流程图，其中使用加速度计测量值来确定现实世界的垂直方向，并利用机动系统迭代地调整相机取向以满足优选的捕捉设置；以及
图6示出3D相机装置的示意图，示出相机的定向侧倾、俯仰、及横摆轴。
发明实施方式
将参考特定实施例及附图对本发明进行描述，但本发明不限于这些例子。所述附图仅为示意而非限制性的。在附图中，为了示意目的，部分元素的尺寸可能被夸大而非按比例画出。
应理解此处所使用的术语“垂直”及“水平”指的是附图的特定方向，这些术语并不限于所述的特定实施例。
本发明涉及一种用于机器视觉的几何校准的方法及系统。更特定地，涉及三维（3D）相机的校准，且包括外部相机参数的静态和动态检测模式，从而改进对捕捉到的场景的管理和分析。这样的校准包括从现实世界坐标系中确定相机的旋转和平移。
在欧氏几何中，平移是一种仿射变换，将所有的点在指定方向上移动一个固定距离。对于一个已知点P，其齐次向量可以写为：
p → = p x p y p z 1
平移向量
Figure BDA0000461565500000083
也可写为：
v → = v x v y v z 1
对于点P的平移可表达为：
T v = p → + v → ⇔ T v = 1 0 0 v x 0 1 0 v y 0 0 1 v z 0 0 0 1 p x p y p z 1
在欧氏几何中，旋转是描述所有点绕一定点运动的变换。对于三维欧氏空间，绕X-、Y-、Z-轴的旋转分别称为横摆、俯仰、以及侧倾。这些旋转R可以用以下的欧拉矩阵表示，其中α、β、以及
Figure BDA0000461565500000093
分别是绕各自旋转轴逆时针旋转的角度：
R x = 1 0 0 0 cos α - sin α 0 sin α cos α
R y = cos β 0 sin β 0 1 0 - sin β 0 cos β
Figure BDA0000461565500000096
校准矩阵C可同时内嵌旋转和平移，例如，这样的矩阵可导出如下：
C=Rx*Ry*Rz*Tv
这对应于下式的齐次乘积：
Figure BDA0000461565500000097
根据一个实施例，将3D惯性测量单元，即3D加速度计耦合至3D深度传感系统，以提供至少一个参考方向，即由于重力作用影响的垂直向下方向。该3D加速度计可安装在相机主体外或安装在相机主体内，并生成由计算机化系统所收集的数据，该计算机化系统还处理相机装置所生成的数据。对于这样的3D加速度计，可在任何给定轴上提取加速度。如果相机静止，即场景在预订数量的帧中相对稳定，可确定一最大加速度方向模式。该模式提供一重力向量，对应于地面法线向量的反向向量。
如果使用地面或地板来确定垂直方向，就不要求用户互动。此时，只要探测到对应于地面或地板的表面，就可确定垂直方向为与定义地面或地板的水平面垂直的方向。然而，应当认识到只有在地板可见时才可使用这种模式来确定垂直方向。
如果可见，确定现实世界坐标系中心或原点可，例如，选择为位于距相机为2.5米固定距离的地面上。理所当然地，这个位置可选在位于任何合适的距离或位置上。储存参数设置供将来使用并更新相机位置和/或取向相关联的变量，即位置向量，以及横摆、俯仰、以及侧倾。
在本发明的一个实施例中，该方法首先获得重力向量，并使用该重力向量从而找到相机相对于由该相机捕捉到的场景的虚拟取向及位移。这将在下文中参考图1和2进行描述。
根据本发明的一个实施例，使用飞行时间（TOF）或三维（3D）相机120，期望捕捉到目标，比如，树100的树枝，作为图2所示的矩形110的场景的一部分。然而，在可捕捉场景110之前，需要校准相机120，以确定其相对于场景110的取向及位置且然后在所捕捉的图像（未示出）中进行补偿。
如图1所示，相机120被安装在固定位置。在此，相机120指向地面130。相机120包括三轴机动支承系统（未示出），可允许对于照相机的取向进行远程控制。在此，在相机120的视锥150内的场景140包含一部分地面。视锥150包括在相机传感器阵列（未示出）上可见的三维区域，且视锥150由相机120观察到的角度所确定。在这个位置，加速度计（未示出）示出重力向量为指向箭头“A”的方向。
现在转向图6，示出了3D相机装置600的三轴表示。该3D相机装置600具有垂直轴610，横向轴620，以及纵向轴630。围绕垂直轴610的运动对应于横摆；围绕横向轴620的运动对应于俯仰；以及围绕纵向轴630的运动对应于侧倾。横摆、俯仰、及侧倾轴分别由箭头640、650、以及660表示。
虽然在图6中所示为整体地垂直，但是相机装置600的轴610可相对于场景中的实际垂直倾斜。类似地，轴620可在相反方向倾斜。
在由相机装置600所捕捉到的场景中每一个3D数据点在相机中或可设置作为参考的虚拟坐标系中都具有虚拟坐标（Xc，Yc，Zc）。相机获取的这些3D数据点可投影到嵌入了如上所述参考图1及图2的重力向量的任何平面上。嵌入的平面包括相机中心位置，例如，虚拟坐标系的原点（0，0，0）；重力向量；以及任何其他非共线法线向量。
通过投影所获得的2D图像示出垂直于垂直方向的任何3D表面的明显边缘。
返回到图1及图2，沿着箭头“A”（即重力向量），最低直线边缘对应于潜在的地面向量。地面向量是地平面的一部分。使用相对于垂直方向的随机、归一化、非共线向量，从随机生成的虚拟正交基中，通过迭代的反复投影，可获得可被认为是可能的非共线地面向量的不同边缘。
将平面拟合算法应用到这些非共线归一化向量中来求解。为此目的，可使用最小二乘估计值。应当注意到在其他实施例中，将平面拟合应用于由该三维相机提供的三维点云以检测多个平面。沿着重力向量，具有最小表面的最低平面被确定为地面。一旦找到地面，可确定相机到地面的距离。已知相机到地面的距离以及相机相对于地面的取向，可导出校准矩阵。通过对校准矩阵求逆也可导出逆校准矩阵。
一旦导出校准矩阵，可获取当前重力方向的快照。这个方向可被称为“快照重力”。确定了“快照重力”，可对齐相机以具有对于如图2所示的场景的更好的视野。可由用户手动完成相机120的对齐，或使用电机自动地移动相机120完成相机120的对齐，从而提供期望的视锥。
如图2所示，没有必要使得地面130位于包含树100的新视锥160中。追踪重力方向的变化，并将差异应用到校准矩阵。这些差异形成了从快照到当前重力方向的归一化逆旋转。这确保在信号处理前，从相机或虚拟坐标系到世界或现实坐标系的校准矩阵可，被正确应用到由相机120所捕捉的3D图像。通过场景分析或测量来检测平移向量，可追踪相机位置的变化。
应当认识到，根据本发明的这个实施例，场景不需要包含较大的地面可视部分以能够导出校准矩阵。
当不需要图案来导出校准矩阵时，可提供一种简化的校准过程。此外，当用户可易于执行上述的必要步骤时，执行校准不需要外部援助。
在图3中，示出说明根据本发明的通用自动校准程序的流程图。第一步骤是使用3D相机获取场景的深度图像，步骤305。在步骤310，从所获取的图像或惯性传感单元中导出场景中的垂直方向Vw，且步骤315确定了现实或世界坐标系的原点。从所导出的垂直方向Vw，使用正交坐标系来创建相机的参考3D正交坐标系（步骤320）。该坐标系可称为虚拟或相机坐标系，Mc。
在步骤325，使用参考3D正交坐标系来创建现实或世界3D坐标系Mw，并使用来自步骤315的输出，即现实或世界坐标系原点，与参考3D坐标系对齐。在步骤330，确定相机取向，并在步骤340确定相机位置。在步骤340，使用已对齐的现实或世界坐标系作为相机位置确定的一部分。
使用在步骤330获得的相机方向以及在步骤340获得的相机位置来导出校准矩阵Mc2w，用于将虚拟或相机坐标系Mc变换为现实或世界坐标系Mw。此外，还可导出逆校准矩阵Mw2c以便在步骤350中将现实或世界坐标系Mw转换为虚拟或相机坐标系Mc。
步骤360中，在信号处理之前，使用校准矩阵Mc2w校正相机测量值。在步骤370中监测相机的取向及位置，如果取向或位置有所变化，在步骤305重启校准程序，如箭头390所示，从而在信号处理前对相机测量值进行准确校正，步骤380。如果相机取向和/或位置没有变化，便可通过经校正的相机测量值用于信号处理，步骤380。
应当认识到，相对于取向和/或位置的相机设置对于确保在信号处理前对相机测量值应用正确的校准矩阵非常重要。作为结果，连续执行步骤370中的监测程序，并根据需要对校准矩阵Mc2w以及其逆Mw2c进行重新评估。
在一个实施例中，通过满足统计模式确定参考平面包括，例如，在多个平面中选择：表面积大于1m2的一个平面；相对于平面法线具有最小协方差值的一个平面；以及位于距相机大于1m距离处的一个平面。应当认识到，表面积及距相机距离也可使用其它值。
应当认识到，可使用参考平面的法线方向获得场景的垂直方向。还应当认识到，可使用参考平面的法线方向来提炼惯性测量提供的垂直方向，且还可使用由惯性测量单元提供的垂直方向用于确定在检测到的多个平面中具有最类似的垂直方向的一个平面作为参考平面。
在另一个实施例中，从场景中的用户站姿确定垂直。在此，用户站在场景中间，面对3D相机，他/她的两臂张开与他/她的脚形成T型。这被称为“T姿态”校准姿态。保持T姿态经过预定时间，例如几秒后，基于用户的位置和取向来估算现实世界坐标。在这种情况下，通过一根从用户头部到他/她的脚的直线来确定垂直方向，而水平面则定义为该垂直方向的法向。
应当认识到，相机系统首先检测到用户，再检测到T姿态，且经过预定时间后，生成将相机虚拟坐标系转换为现实世界的现实坐标系的校准矩阵。储存相机的参数设置供将来使用，并更新相机位置和/或取向有关的变量，即相对于X-、Y-，以及Z-轴，以及横摆、俯仰、以及侧倾轴的位置。
确定垂直方向以及水平面后，选择一个点作为现实世界坐标系的原点，并确定将3D相机虚拟坐标系映射到现实世界坐标系上的校准矩阵。每个坐标系包括三根正交轴，具有在预定时间位于预定3D位置的中心，所述预定时间例如是成像系统启动时或在校准程序过程中。现在将参考图4对该程序中的步骤进行更为详细的描述。
在图4中，示出了一流程图400，说明了一种使用用户的站姿来确定垂直方向的一般手动校准程序。在步骤405，使用手动定义的相机设置来获取深度图像。在步骤410，确定特定站姿的用户的主方向并将其作为世界或现实的垂直方向。在这种情况下，该特定姿态可能是如上所述的T姿态。然而，也可以使用任何其它特殊姿态。
确定垂直方向之后，确定了在用户位置的世界地面位置，步骤420，且从该世界地面位置，确定了现实或世界坐标系的原点，步骤430。虽然在此用户地面位置以及用户原点的确定被示为两个独立步骤，但它们可组合为单个步骤。
从该原点，创建了参考世界3D正交坐标系以及参考3D正交坐标系，步骤440。确定了相机相对于世界或现实坐标系的旋转及位置，步骤450，校准矩阵嵌入前，确定相机或虚拟到世界或现实的旋转及平移，步骤460。在步骤460，还确定了逆校准矩阵。
在步骤470，在深度图像被通过用于步骤475的信号处理前，使用校准矩阵校正深度图像中的3D点。步骤480中实现了校准控制，且如果校准矩阵不正确，相机的位置和/或取向在步骤485中发生改变，程序在步骤405处重启。
确定世界或现实坐标系原点后，使用平面拟合技术来标识场景中的平面。一种可能的平面拟合技术是区域生长。一旦标识出这些平面，选择一参考平面，是场景中表面积大于2m2阀值的最低的平面且与由重力确定的垂直方向正交，在该参考平面上自动预确定一参考点。该参考点被设为距离相机2.5m，并用作世界或现实坐标系的原点。
知道了相机相对于重力的取向以及相对于世界或现实坐标系原点的距离，可确定校准矩阵。
此外，为了将场景捕捉调整到最佳及最有用的视锥，即相机所捕捉到的，在使用三轴机动支承物调整相机方向时执行导出校准矩阵的迭代，直到获取合适的视野。例如，如果相机默认方向俯仰20°，导致所获取的深度图像中的一侧中切去了用户的脸，就迭代地调整相机方向并确定对应的校准矩阵，直到相机的水平轴与现实或世界坐标系轴平行，且相机Z-轴与现实或世界坐标系的Z-Y平面对齐。
在一个全自动实施例中，使用加速度计，使用如上所述的重力确定来确定场景中的垂直方向。
在另一个实施例中，从深度图中的边缘确定垂直方向。可使用任何边缘检测程序检测到这些边缘，例如形态学操作，诸如拉普拉斯滤波、或高斯差异、或梯度边缘检测器。一旦找到边缘，就在所提出的水平及垂直轴（即自然场景中最具有代表性的轴）上执行统计分析，以便确定最可能的垂直轴。然后，可将这些可能的垂直轴汇总在一起以提供一个有意义的垂直方向的估算。
在图5中，示出了一流程图500，说明了一种自动校准程序，包括加速度计测量，并利用三轴机动系统迭代地调整相机取向。在又一个实施例中，还可使用机械化系统调整相机位置。第一步骤，步骤505是使用3D相机获取深度图像。从深度图像中检测到最低可视平面，步骤510。在步骤520中，使用与3D相机相关联的惯性传感单元来确定世界或现实的垂直方向。如上所述，该惯性传感单元优选地是可安装在3D相机中或安装在相机上的加速度计。可将世界或现实的垂直方向确定为重力向量的反向向量。
获得世界或现实垂直方向后，在步骤530，确定世界或现实3D正交坐标系的原点。从该确定中，可在步骤540和步骤545中分别确定相对于世界或现实3D正交坐标系原点的相机取向和相机位置。
然后迭代地使用在步骤540和步骤545中分别确定的相机取向和位置来导出校准矩阵，用于在步骤550中将相机或虚拟坐标系变换为世界或现实坐标系。在步骤550中，还可确定逆校准矩阵。
然后，在信号处理前，在步骤560中，使用校准矩阵来校正相机测量值。在步骤570中监测相机关于位置和方向的任何变化。如果没有变化，校正后测量值便被通过用于信号处理，步骤580。如果检测到变化，便使用三轴机动系统来重新对齐相机，步骤590，并重启程序以获得新的校准矩阵。
在一个特定实施例中，相机的垂直轴可与现实世界坐标系Mw的Y-Z平面轴重新对齐。
虽未示出，如果相机设置未变化，可储存校准矩阵及其逆矩阵，并在信号处理前应用到所有的相机测量值。
虽然根据特定实施例对本发明进行了描述，但应当认识到本发明并不限于这些实施例，还可以用其他方式获取校准矩阵的必要信息。

Claims (16)

1.一种在三维环境下校准三维飞行时间成像系统的方法，所述方法包括如下步骤：
a）确定三维成像系统的参考正交虚拟三维坐标系（Mc），所述参考正交虚拟三维坐标系（Mc）具有水平、垂直、及深度轴，其中所述水平轴及所述垂直轴分别与位于所述三维成像系统内的传感器的水平轴及垂直轴对齐，且所述深度轴与所述传感器的由所述传感器的水平轴及垂直轴所定义的平面正交；
b）在虚拟坐标系（Mc）中获得现实世界的垂直方向（Vw）；
c）相对于所述参考坐标系来确定现实世界三维正交坐标系（Mw），所述现实世界三维正交坐标系（Mw）具有水平、垂直、和深度轴，其中旋转所述垂直轴使之对齐所述垂直方向（Vw）；
d）确定场景中的一点作为所述现实世界三维正交坐标系（Mw）新的原点；
e）从所述虚拟三维坐标系（Mc）的原点到定义为所述场景的新原点的点，导出平移向量（Tv）；
f）导出旋转矩阵（Mr），用于将所述虚拟三维坐标系变换为所述现实世界三维坐标系，以及；
g）导出所述三维成像系统的校准矩阵（Mc2w）作为由所述平移向量所平移的旋转矩阵；
其特征在于，所述方法还包括将由所述现实世界三维坐标系的垂直轴及深度轴所定义的平面与所述虚拟三维坐标系（Mc）的虚拟垂直轴与虚拟深度轴所定义的平面对齐从而共面的步骤。
2.根据权利要求1所述的方法，其特征在于，步骤g）还包括从所述校准矩阵（Mc2w）导出逆校准矩阵（Mw2c），用于将所述现实世界三维坐标系变换为虚拟三维坐标系。
3.根据权利要求1或2所述的方法，其特征在于，步骤b）包括将导出所述现实世界的垂直方向（Vw）作为使用测量装置所确定的重力向量的反向向量，所述测量装置包括至少一个惯性测量单元。
4.根据权利要求1或2所述的方法，其特征在于，步骤b）包括从场景中一平面的法线导出所述现实世界的垂直方向（Vw），所述场景中的平面由如下步骤确定：
ⅰ）用处于第一取向的所述三维成像系统捕捉场景；
ⅱ）使用平面拟合算法来确定所述场景中的多个平面；以及
ⅲ）确定所述场景中的一个参考平面作为地面。
5.根据权利要求4所述的方法，其特征在于，步骤ⅲ）包括将最佳地满足如下项的一个确定为所述参考平面：统计模式；最大表面；以及最小表面积。
6.根据权利要求4所述的方法，其特征在于，步骤ⅲ）包括作为如下项的组合，确定所述参考平面：所述场景的主成分分析的统计模式；最大表面；以及最小表面积。
7.根据权利要求1或2所述的方法，其特征在于，步骤b）包括从所述场景中特定用户站姿导出所述现实世界的垂直方向（Vw），所述垂直方向（Vw）是与以预定校准姿态站立的用户的所述垂直方向对齐的方向。
8.根据权利要求7所述的方法，其特征在于，还包括如下步骤：从所述预定校准姿态来导出水平轴及垂直轴，并将所述现实世界三维坐标系（Mw）与所导出的水平及垂直轴对齐。
9.根据权利要求1至3中任意一个所述的方法，其特征在于，步骤b）包括从在所述场景中检测到的边缘中导出所述现实世界的垂直方向（Vw）。
10.根据权利要求1或2所述的方法，其特征在于，步骤b）包括通过组合两个或更多的如下步骤，来对垂直方向（Vw）进行优化：导出所述现实世界的垂直方向（Vw）作为使用测量装置所确定的重力向量的反向向量；从所述场景中一平面的法线导出所述现实世界的垂直方向（Vw）；从所述场景中的特定用户站姿导出所述现实世界的垂直方向（Vw），所述垂直方向（Vw）是与以预定校准姿态站立用户的垂直方向对齐的方向；以及从场景检测到的边缘获取现实世界垂直方向（Vw）
11.根据上述权利要求中任意一个所述的方法，其特征在于，步骤d）包括确定新的原点时采用以下方法之一：使用空间中一预定点；定义用户的各点的最低位置；位于检测到的平面上的一点；以及所述场景中预定物体的位置。
12.根据上述权利要求中任意一个所述的方法，其特征在于，还包括当检测到以下项中至少一项发生变化时自动改进校准矩阵（Mc2w）的步骤：相对于三维环境的三维成像系统的位置及取向、虚拟坐标系（Mc）中与由所述现实世界坐标系（Mw）中两个轴所定义的平面对齐的至少一个轴。
13.根据权利要求12所述的方法，其特征在于，还包括通过控制支承三维成像系统的机动系统，将所述虚拟坐标系（Mc）的至少垂直轴与所述现实世界坐标系（Mw）的所述Y-Z平面对齐的步骤。
14.一种具有惯性测量单元的深度感测成像系统，所述深度感测成像系统按照根据上述任一权利要求所述的方法操作。
15.一种具有机动工具的深度感测成像系统，用于调整以下至少一项：按照根据权利要求1至13中任一个所述的方法操作的深度感测成像系统的位置及取向。
16.一种三维飞行时间成像系统，具有根据权利要求1至13中任一个所述方法操作的校准工具。
CN201380002407.1A 2012-01-13 2013-01-14 自动场景校准 Active CN103718213B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12000202.7 2012-01-13
EP12000202.7A EP2615580B1 (en) 2012-01-13 2012-01-13 Automatic scene calibration
PCT/EP2013/050597 WO2013104800A1 (en) 2012-01-13 2013-01-14 Automatic scene calibration

Publications (2)

Publication Number Publication Date
CN103718213A true CN103718213A (zh) 2014-04-09
CN103718213B CN103718213B (zh) 2018-09-28

Family

ID=47598805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380002407.1A Active CN103718213B (zh) 2012-01-13 2013-01-14 自动场景校准

Country Status (6)

Country Link
US (1) US9578310B2 (zh)
EP (1) EP2615580B1 (zh)
JP (1) JP2014529727A (zh)
KR (1) KR101590530B1 (zh)
CN (1) CN103718213B (zh)
WO (1) WO2013104800A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
CN108282651A (zh) * 2017-12-18 2018-07-13 北京小鸟看看科技有限公司 相机参数的矫正方法、装置及虚拟现实设备
CN108320311A (zh) * 2018-01-19 2018-07-24 杭州映墨科技有限公司 一种能够自动纠偏的ar沙盘校准模型计算方法
CN109064562A (zh) * 2018-09-29 2018-12-21 深圳阜时科技有限公司 一种三维场景模拟方法
CN109155070A (zh) * 2016-03-07 2019-01-04 勒特奥瑞恩利迪有限公司 使用平面镜校准立体成像系统的方法和计算机程序产品
CN109690622A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 多相机系统中的相机登记
CN109949655A (zh) * 2017-12-21 2019-06-28 泰勒斯公司 用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法和系统
CN110109146A (zh) * 2019-04-30 2019-08-09 北京云迹科技有限公司 基于多线激光雷达的路面检测方法及装置
CN111194416A (zh) * 2017-08-08 2020-05-22 皇家飞利浦有限公司 用于生成场景的表示的装置和方法
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111553965A (zh) * 2020-04-29 2020-08-18 黑龙江头号派对科技有限公司 一种二维图像处理方法及系统
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
CN112233172A (zh) * 2020-09-30 2021-01-15 北京零境科技有限公司 一种视频穿透式混合现实方法、系统、可读存储介质及电子设备
CN113272871A (zh) * 2018-12-29 2021-08-17 浙江大华技术股份有限公司 一种相机校准的方法和系统
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN114139325A (zh) * 2021-12-08 2022-03-04 国网上海市电力公司 一种利用自然场景进行地下线缆可视化校准方法
CN115222799A (zh) * 2021-08-12 2022-10-21 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115249261A (zh) * 2021-08-12 2022-10-28 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US9071740B1 (en) 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9197686B1 (en) 2012-01-06 2015-11-24 Google Inc. Backfill of video stream
US9537968B1 (en) 2012-01-06 2017-01-03 Google Inc. Communication of socket protocol based data over a storage protocol based interface
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
JP6009502B2 (ja) 2014-07-29 2016-10-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016149938A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 视频监控方法、视频监控系统以及计算机程序产品
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US9554063B2 (en) 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9613423B2 (en) 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9489745B1 (en) 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
US9386230B1 (en) 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
US9626849B2 (en) 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9886620B2 (en) 2015-06-12 2018-02-06 Google Llc Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
CN105072433B (zh) * 2015-08-21 2017-03-22 山东师范大学 应用于头跟踪虚拟现实系统的感知深度映射方法
IL291685B2 (en) 2015-09-25 2023-09-01 Magic Leap Inc Methods and systems for discovering and integrating structural features in 3D reconstruction
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
US10503968B2 (en) * 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
CN108510540B (zh) * 2017-02-23 2020-02-07 杭州海康威视数字技术股份有限公司 立体视觉摄像机及其高度获取方法
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
CN111492403A (zh) 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US10902625B1 (en) 2018-01-23 2021-01-26 Apple Inc. Planar surface detection
CN108510578B (zh) * 2018-03-13 2023-04-07 北京航空航天大学青岛研究院 三维模型搭建方法、装置及电子设备
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11935286B2 (en) * 2018-10-01 2024-03-19 Google Llc Method and device for detecting a vertical planar surface
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
CN111243028B (zh) * 2018-11-09 2023-09-08 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN109696183B (zh) * 2019-01-28 2021-04-16 北京华捷艾米科技有限公司 惯性测量单元的标定方法及装置
CN109814572B (zh) * 2019-02-20 2022-02-01 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN110136204B (zh) * 2019-03-19 2021-08-03 浙江大学山东工业技术研究院 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
AU2020274025B2 (en) 2019-05-10 2022-10-20 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
CN110361001B (zh) * 2019-06-20 2023-04-07 河北工业大学 一种用于空间碎片运动测量系统及标定方法
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
CN111179341B (zh) * 2019-12-09 2022-05-20 西安交通大学 一种增强现实设备与移动机器人的配准方法
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
CN111598784B (zh) * 2020-04-23 2022-08-02 中国科学院上海技术物理研究所 一种基于45度镜宽幅多元并扫成像的像旋校正方法
CN111540022B (zh) * 2020-05-14 2024-04-19 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
CN112164018B (zh) * 2020-09-27 2024-02-27 北华航天工业学院 一种机器视觉校准系统及其校准方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113436273A (zh) * 2021-06-28 2021-09-24 南京冲浪智行科技有限公司 一种3d场景定标方法、定标装置及其定标应用
CN113566709A (zh) * 2021-08-26 2021-10-29 苏州小优智能科技有限公司 一种结构光测量系统的标定方法、装置及电子设备
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US20240078640A1 (en) * 2022-09-01 2024-03-07 Apple Inc. Perspective Correction with Gravitational Smoothing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801953A (zh) * 2005-12-15 2006-07-12 上海交通大学 仅用一幅平面标定物图像的摄像机标定方法
US20100208057A1 (en) * 2009-02-13 2010-08-19 Peter Meier Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
CN102037735A (zh) * 2008-05-22 2011-04-27 通用汽车环球科技运作公司 用于车辆照相机的照相机外在参数的自标定
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
US7106898B2 (en) * 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
JP2001317915A (ja) 2000-05-08 2001-11-16 Minolta Co Ltd ３次元計測装置
US7554578B2 (en) 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
JP2004108836A (ja) * 2002-09-13 2004-04-08 Sumitomo Denko Systems Kk 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置
IL157877A0 (en) * 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
JP2007025863A (ja) * 2005-07-13 2007-02-01 Advanced Telecommunication Research Institute International 撮影システム、撮影方法及び画像処理プログラム
US20070032950A1 (en) * 2005-08-05 2007-02-08 Raven Industries, Inc. Modular high-precision navigation system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP2009042162A (ja) * 2007-08-10 2009-02-26 Toshiba Corp キャリブレーション装置及びその方法
JP5079547B2 (ja) * 2008-03-03 2012-11-21 Ｔｏａ株式会社 カメラキャリブレーション装置およびカメラキャリブレーション方法
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
TWI408486B (zh) * 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
WO2010082933A1 (en) 2009-01-16 2010-07-22 World Golf Tour, Inc. Position estimation refinement
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CA2762637C (en) * 2009-11-04 2012-08-28 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
TWI398160B (zh) 2009-12-01 2013-06-01 Ind Tech Res Inst 攝影機校正系統與座標資料產生系統及其方法
JP5331047B2 (ja) * 2010-04-01 2013-10-30 日本電信電話株式会社 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム
US8947511B2 (en) * 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801953A (zh) * 2005-12-15 2006-07-12 上海交通大学 仅用一幅平面标定物图像的摄像机标定方法
CN102037735A (zh) * 2008-05-22 2011-04-27 通用汽车环球科技运作公司 用于车辆照相机的照相机外在参数的自标定
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor
US20100208057A1 (en) * 2009-02-13 2010-08-19 Peter Meier Methods and systems for determining the pose of a camera with respect to at least one object of a real environment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JORGE LOBO ET AL.: "Vision and Inertial Sensor Cooperation Using Gravity as a Vertical Reference", 《VISION AND INERTIAL SENSOR COOPERATION USING GRAVITY AS A VERTICAL REFERENCE》 *
T. VIKVILLE ET AL.: "Computation of Ego-motion and Structure from Visual and Inertial Sensors Using the Vertical Cue", 《COMPUTER VISION,1993. PROCEEDINGS, FOURTH INTERNATIONAL CONFERENCE ON》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155070A (zh) * 2016-03-07 2019-01-04 勒特奥瑞恩利迪有限公司 使用平面镜校准立体成像系统的方法和计算机程序产品
CN109690622A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 多相机系统中的相机登记
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
US11010924B2 (en) 2016-10-12 2021-05-18 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for determining external parameter of stereoscopic camera
CN106846410B (zh) * 2016-12-20 2020-06-19 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN111194416A (zh) * 2017-08-08 2020-05-22 皇家飞利浦有限公司 用于生成场景的表示的装置和方法
CN111194416B (zh) * 2017-08-08 2024-01-23 皇家飞利浦有限公司 用于生成场景的表示的装置和方法
CN108282651A (zh) * 2017-12-18 2018-07-13 北京小鸟看看科技有限公司 相机参数的矫正方法、装置及虚拟现实设备
CN109949655A (zh) * 2017-12-21 2019-06-28 泰勒斯公司 用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法和系统
CN109949655B (zh) * 2017-12-21 2022-05-13 泰勒斯公司 用于头戴式显示系统的双重协调方法和系统
CN108320311A (zh) * 2018-01-19 2018-07-24 杭州映墨科技有限公司 一种能够自动纠偏的ar沙盘校准模型计算方法
CN108320311B (zh) * 2018-01-19 2020-10-09 杭州映墨科技有限公司 一种能够自动纠偏的ar沙盘校准模型计算方法
CN109064562A (zh) * 2018-09-29 2018-12-21 深圳阜时科技有限公司 一种三维场景模拟方法
CN113272871A (zh) * 2018-12-29 2021-08-17 浙江大华技术股份有限公司 一种相机校准的方法和系统
CN113272871B (zh) * 2018-12-29 2024-05-28 浙江大华技术股份有限公司 一种相机校准的方法和系统
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111532257B (zh) * 2019-04-22 2021-11-16 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN110109146B (zh) * 2019-04-30 2021-05-14 北京云迹科技有限公司 基于多线激光雷达的路面检测方法及装置
CN110109146A (zh) * 2019-04-30 2019-08-09 北京云迹科技有限公司 基于多线激光雷达的路面检测方法及装置
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
CN111553965B (zh) * 2020-04-29 2023-05-02 张洋 一种二维图像处理方法及系统
CN111553965A (zh) * 2020-04-29 2020-08-18 黑龙江头号派对科技有限公司 一种二维图像处理方法及系统
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN112233172A (zh) * 2020-09-30 2021-01-15 北京零境科技有限公司 一种视频穿透式混合现实方法、系统、可读存储介质及电子设备
CN115222799A (zh) * 2021-08-12 2022-10-21 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115249261A (zh) * 2021-08-12 2022-10-28 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115222799B (zh) * 2021-08-12 2023-04-11 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN114139325A (zh) * 2021-12-08 2022-03-04 国网上海市电力公司 一种利用自然场景进行地下线缆可视化校准方法

Also Published As

Publication number Publication date
EP2615580A1 (en) 2013-07-17
KR20140031345A (ko) 2014-03-12
CN103718213B (zh) 2018-09-28
US9578310B2 (en) 2017-02-21
KR101590530B1 (ko) 2016-02-01
JP2014529727A (ja) 2014-11-13
WO2013104800A1 (en) 2013-07-18
EP2615580B1 (en) 2016-08-17
US20150181198A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
CN103718213A (zh) 自动场景校准
CN104704384B (zh) 具体用于装置的基于视觉的定位的图像处理方法
US8320709B2 (en) Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
AU2011362799B2 (en) 3D streets
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
CN105451012B (zh) 三维成像系统和三维成像方法
US20150243035A1 (en) Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
WO2007133620A2 (en) System and architecture for automatic image registration
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
US20170069133A1 (en) Methods and Systems for Light Field Augmented Reality/Virtual Reality on Mobile Devices
JP5726024B2 (ja) 情報処理方法および装置
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Mirisola et al. 3D Map Registration using Vision/Laser and Inertial Sensing.
Anai et al. Aerial photogrammetry procedure optimized for micro uav
Del Pizzo et al. Roll and pitch estimation using visual horizon recognition
Förstner et al. Online geocoding and evaluation of large scale imagery without GPS
Manabe et al. Three-Dimensional Map Generating System by a Walk
Buyuksalih et al. Geometric and mapping potential of WorldView-1 images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Brussels

Applicant after: SOFTKINETIC SENSORS N.V.

Address before: Brussels

Applicant before: Sufte kayetti International Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180821

Address after: Brussels

Applicant after: Sufte kayetti International Co.,Ltd.

Address before: Brussels, Belgium

Applicant before: Softkinetic Software

GR01 Patent grant
GR01 Patent grant