CN117516416A - 用于结构光校准的方法和装置 - Google Patents

用于结构光校准的方法和装置 Download PDF

Info

Publication number
CN117516416A
CN117516416A CN202211294269.6A CN202211294269A CN117516416A CN 117516416 A CN117516416 A CN 117516416A CN 202211294269 A CN202211294269 A CN 202211294269A CN 117516416 A CN117516416 A CN 117516416A
Authority
CN
China
Prior art keywords
projector
structured light
images
sensor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211294269.6A
Other languages
English (en)
Inventor
E·哈亚特列维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinniu Co ltd
Original Assignee
Yinniu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinniu Co ltd filed Critical Yinniu Co ltd
Publication of CN117516416A publication Critical patent/CN117516416A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

提供了一种用于校准结构光系统的方法，该结构光系统包括投影仪、相机和至少一个处理器，其中，投影仪以未知图案发射光。该方法包括：由投影仪在相对于相机的位置的至少两个不同的距离处投影未知图案，由相机捕获投影在该不同的距离处的图案，确定捕获到的图像之间的垂直差异，并估计相机与投影仪之间的相对取向，从而实现结构光系统的校准。

Description

用于结构光校准的方法和装置
技术领域
本公开大体涉及使用光学器件的方法，并且更具体地涉及在光学系统中实现结构光过程。
背景技术
本领域已知的结构光是将已知图案(通常是网格或水平条)投影到场景上的过程。撞击表面时使已知图案变形的方式允许视觉系统计算场景中对象的深度和表面信息。
3D相机是一种能够在图像中感知深度从而复制通过人类双目视觉体验到的三个维度的成像设备。一些3D相机使用两个或更多个透镜来记录多个视点，而另一些3D相机则使用改变透镜位置的单个透镜。两个视角的结合，就像两只人眼的视角略有不同一样，能够实现深度感知。3D效果背后的原理被称为立体视觉，并且所涉及的技术被称为立体成像。通过左眼和右眼看到的对象之间的差异(双目视差)能够实现人类视力的透视，以及通过聚焦和视觉中心解释来整合这两个视角的调节。
然而，与结构光过程的实现相关联的问题之一是，在无法预先假设投影图案是已知的情况下，结构光系统(其包括至少一个相机和图案投影仪)的校准，因为现有技术的方法与投影仪(就像它是相机一样)有关，因此要求投影图案的图像在假设的投影仪图像平面中。
本发明提出了一种用于克服该问题的解决方案。
发明内容
可以通过参考所附权利要求来总结本公开。
本公开的一个目的是提供一种用于校准结构光系统的方法。
本公开的另一个目的是提供一种用于通过在相对于系统的图像捕获传感器的位置的两个或更多个不同距离处投影未知图案来校准结构光系统的方法。
本公开的另一个目的是提供一种通过估计系统的图像捕获传感器与投影仪之间的相对取向来校准结构光系统的方法。
本发明的其他目的从以下描述中变得明显。
根据本公开的第一实施例，提供了一种用于校准结构光系统的方法，该结构光系统包括：投影仪，被配置为以未知图案(例如，点)发射光；至少一个图像捕获传感器，被配置为捕获图像；以及至少一个处理器，被配置为对由该至少一个图像捕获传感器捕获到的图像进行操作，其中，该方法的特征在于，它包括以下步骤：由投影仪在相对于该至少一个图像捕获传感器的位置的至少两个不同的距离处投影一个或多个未知图案，由图像捕获传感器捕获投影在该至少两个不同的距离处的图案的图像，确定至少两个捕获到的图像之间的垂直差异，并估计该至少一个图像捕获传感器与投影仪之间的相对取向，从而实现结构光系统的校准。
根据本公开的另一个实施例，该至少一个图像捕获传感器是相机，并且相对取向通过基线距离和限定相机相对于投影仪的投影点的旋转的两个角度来参数化(例如，定义)，其中，基线距离是在相机参考系与投影仪参考点之间延伸的距离。
根据本公开的另一个实施例，该方法包括以下步骤：
a)由该至少一个图像捕获传感器在至少两个相应的不同距离处捕获平面对象的至少两个图像，该至少两个相应的不同距离从该至少一个图像捕获传感器延伸到所述平面对象；
b)处理从至少两个捕获到的图像接收到的数据并从中提取关键点；
c)检测从该至少两个图像中得到的匹配的提取关键点；以及
d)基于匹配的提取关键点对来估计该至少一个图像捕获传感器与投影仪之间的相对取向。
附图说明
为了更全面地理解本发明，现参考结合附图进行的以下详细说明，其中：
图1A示出了围绕Y轴的相对取向角度，其中，该角度被定义在给定的结构光系统状态(X，Z)与其校准状态(X，Z)之间；
图1B示出了围绕Z轴的相对取向角度，其中，该角度被定义在给定的结构光系统状态(X，Y)与其校准状态(X，Y)之间；和
图2例示了根据本发明诠释的用于执行校准过程的实施例。
具体实施方式
在本公开中，术语“包括”旨在具有开放式含义，因此当第一元件被描述为包括第二元件时，第一元件还可以包括一个或多个其他元件，这些其他元件不一定在本文中标识或描述或在权利要求中陈述。
在以下描述中，出于解释的目的，阐述了许多具体细节，以便通过示例的方式提供对本发明的更好理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践本发明。
在结构光系统中，已知图案由结构光传感器投影到场景上。当图案撞击表面时，这些已知图案在传感器相机中出现的变形允许视觉系统计算场景中存在的对象的深度和表面信息。这种通过结构光系统进行深度重建的方法，结合投影图案和场景几何形状的先验知识，允许对结构光系统进行校准。
然而，当需要校准以下这种结构光系统时就会出现问题，其中，在该结构光系统中结构光传感器(投影仪)投影到场景上的图案是未知的，因此无法通过计算存在于场景中的对象的深度来像投影已知图案的情况那样校准该系统。
本发明提出了上述问题的解决方案。通过所提出的解决方案，在经校准的结构光系统的情况下，从投影仪投影在两个平面上(两个不同的距离处)的未知图案(例如，点)的图像的运动是水平偏移。如果系统未经校准，则会出现垂直偏移。该原理能够通过测量由图像捕获设备在不同的距离处拍摄的两个(或更多个)图像之间的垂直差异来估计图像捕获设备(例如，相机)与投影仪之间的相对取向。通过所提出的方法，投影仪被视为点，因此不需要投影图案图像。
用于确定结构光系统的相机与投影仪之间的相对取向的数学模型包括未知参数，即，定义相机参考系(其中，相机的X轴指向投影仪的焦点)旋转的两个角度，以及基线距离。图1A示出了围绕Y轴的相对取向角度，其中，该角度被定义在给定的结构光系统状态(X，Z)与其校准状态(X，Z)之间，而图1B示出了围绕Z轴的相对取向角度，其中，该角度被定义在给定的结构光系统状态(X，Y)与其校准状态(X，Y)之间。
图2例示了根据本发明诠释的用于执行校准过程的实施例。应用于所提出的校准方法的假设如下：
a)捕获到的场景几何形状是平面的；
b)图像由相机在已知距离处捕获，该已知距离在相机与平面之间延伸；以及
c)相机的固有参数是预先知道的。
图2中例示的校准过程如下：提供结构光系统(100)，该结构光系统(100)包括被配置为以未知图案发射光的投影仪、相机和被配置为对由相机捕获到的图像进行操作的处理器。
在步骤110中，捕获平面对象的两个或更多个图像。在相应的两个或更多个距离处捕获该两个或更多个图像，该相应的两个或更多个距离在相机与平面对象之间延伸。
接下来，从捕获到的图像中检测并提取关键点(步骤120)，其中，关键点检测是指对捕获到的图像中所包括的平面对象的关键部分进行定位。
在接下来的步骤(步骤130)中，匹配从不同的捕获到的图像中提取的关键点。例如，可以通过在有限的搜索条中搜索高度相关的窗口来执行这种匹配。
然后通过使用本领域本身已知的任何适用方法来去除粗差(gross error)(步骤140)，该适用方法例如是通过使用具有相对取向模型(仅2个角度)的随机样本一致性(“RANSAC”)方法。RANSAC是一种迭代方法，用于在异常值不会对估计值产生影响时，从包含异常值的观察数据集中估计数学模型的参数。从RANSAC方法仅以一定的概率产生合理的结果的意义上说，它是一种非确定性算法，其中，该概率随着允许更多的迭代而增加。
在接下来的步骤(步骤150)中，处理器使用从匹配关键点获得的信息来估计相机与投影仪之间的相对取向，然后处理器在依赖于从平面对象延伸的已知距离，并依赖于在前面的迭代步骤中获得的结果的同时，估计基线距离(步骤160)。
最后，处理器在结构光系统的校准中应用估计的相对取向和估计的基线距离(步骤170)。
显然，在基线距离已知的情况下，捕获到的场景可以是没有任何几何约束(例如，对平面对象的要求)的任何场景。
在本申请的说明书和权利要求中，动词“包括”、“包含”和“具有”中的每个及其变位词用于表示该动词的一个或多个宾语不一定是该动词的一个或多个主语的构件、部件、元件或部分的完整列表。
通过对以示例的方式提供而不旨在以任何方式限制本发明范围的本发明实施例的详细描述，已经对本发明进行了详细描述。所描述的实施例包括不同的特征，这些特征在本发明的所有实施例中并非都是必需的。本发明的一些实施例仅利用特征中的一些特征或特征的可能组合中的一些组合。本领域技术人员将会想到，描述的本发明实施例的变型以及包括所描述的实施例中记载的特征的不同组合的本发明实施例。本发明的范围仅受以下权利要求限制。

Claims (3)

1.一种用于校准结构光系统的方法，所述结构光系统包括：被配置为以未知图案发射光的投影仪、被配置为捕获多个图像的至少一个图像捕获传感器、以及至少一个处理器，所述至少一个处理器被配置为对由所述至少一个图像捕获传感器捕获到的图像进行操作，其中，所述方法的特征在于包括以下步骤：
由所述投影仪在相对于所述至少一个图像捕获传感器的位置的至少两个不同的距离处投影一个或多个未知图案，
由所述图像捕获传感器捕获投影在所述至少两个不同的距离处的图案的图像，
确定至少两个捕获到的图像之间的垂直差异，并估计所述至少一个图像捕获传感器与所述投影仪之间的相对取向，从而实现对所述结构光系统的校准。
2.根据权利要求1所述的方法，其中，所述至少一个图像捕获传感器是相机，并且所述相对取向通过基线距离和定义所述相机相对于所述投影仪的投影点的旋转的两个角度来参数化。
3.根据权利要求1所述的方法，包括以下步骤：
由所述至少一个图像捕获传感器在至少两个相应的不同距离处捕获平面对象的至少两个图像，所述至少两个相应的不同距离从所述至少一个图像捕获传感器延伸到所述平面对象；
处理从至少两个捕获到的图像接收到的数据并从中提取关键点；
检测从所述至少两个图像中得到的匹配的提取关键点；以及
基于匹配的提取关键点对来估计所述至少一个图像捕获传感器与所述投影仪之间的相对取向。
CN202211294269.6A 2022-07-29 2022-10-21 用于结构光校准的方法和装置 Pending CN117516416A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/816,218 US20240037784A1 (en) 2022-07-29 2022-07-29 Method and apparatus for structured light calibaration
US17/816,218 2022-07-29

Publications (1)

Publication Number Publication Date
CN117516416A true CN117516416A (zh) 2024-02-06

Family

ID=89664570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211294269.6A Pending CN117516416A (zh) 2022-07-29 2022-10-21 用于结构光校准的方法和装置

Country Status (2)

Country Link
US (1) US20240037784A1 (zh)
CN (1) CN117516416A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256943B2 (en) * 2013-03-28 2016-02-09 Texas Instruments Incorporated Projector-camera misalignment correction for structured light systems
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
CN109906353B (zh) * 2016-09-21 2021-06-15 飞利浦·M·约翰逊 采用混合循环二进制码结构光的非接触式坐标测量机
WO2021154269A1 (en) * 2020-01-30 2021-08-05 Hewlett-Packard Development Company, L.P. Camera pose determinations with patterns
US20220117209A1 (en) * 2020-10-16 2022-04-21 Verdant Robotics, Inc. Precision fluid delivery system

Also Published As

Publication number Publication date
US20240037784A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN109813251B (zh) 用于三维测量的方法、装置以及系统
US10291894B2 (en) Single-sensor system for extracting depth information from image blur
EP3232151B1 (en) Three-dimensional measurement system and measurement method for feature point based on plane of four-camera set array
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
EP3754295B1 (en) Three-dimensional measuring system and three-dimensional measuring method
US10867407B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
CN107483774B (zh) 拍摄装置以及车辆
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
CN106875435B (zh) 获取深度图像的方法及系统
WO2021063128A1 (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
US8144974B2 (en) Image processing apparatus, method, and program
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
Zhang et al. Depth sensing beyond lidar range
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
KR20140054710A (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
JP6396499B2 (ja) 三次元情報の規模測定
CN114341940A (zh) 图像处理装置、三维测量系统、图像处理方法
JP7170230B2 (ja) 三次元再構成方法及び三次元再構成装置
Frese et al. Robust depth estimation by fusion of stereo and focus series acquired with a camera array
CN107622514B (zh) 摄像机凸镜模型自主标定方法
US20220329771A1 (en) Method of pixel-by-pixel registration of an event camera to a frame camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication