CN112164099A - 基于单目结构光的自检自校准方法及装置 - Google Patents
基于单目结构光的自检自校准方法及装置 Download PDFInfo
- Publication number
- CN112164099A CN112164099A CN202011010623.9A CN202011010623A CN112164099A CN 112164099 A CN112164099 A CN 112164099A CN 202011010623 A CN202011010623 A CN 202011010623A CN 112164099 A CN112164099 A CN 112164099A
- Authority
- CN
- China
- Prior art keywords
- self
- image
- structured light
- reference image
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 28
- 230000008569 process Effects 0.000 abstract description 8
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供一种基于单目结构光的自检自校准方法及装置，首先获取单目结构光系统的参考图、物体图和误差阈值范围；然后根据参考图和物体图，确定参考图与物体图的行对齐误差；最后若行对齐误差在所述误差阈值范围内，则完成对单目结构光系统的自检自校准。通过判断行对齐误差在误差阈值范围内，完成对单目结构光系统的自检自校准，可以保证三维深度信息重建的过程中图像传感器的光轴方向和散斑投射器的光轴方向始终保持平行，便于后续进行三维深度信息重建。而且，不再需要进行返厂维修，可以降低三维深度信息重建的硬件成本以及时间成本，提高三维深度信息重建的效率。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于单目结构光的自检自校准方法及装置。
背景技术
数字散斑相关方法早期一直都是被用来测量二维位移和变形量，在力学中得到了大量应用。随着双目立体视觉技术的成熟，数字散斑相关方法在三维面形测量中的应用也逐渐发展起来。现有技术中已经实现了以光学三角测量为基础，利用一个双目摄像头和数字投影散斑，根据参考平面与受物体调制的散斑图像进行相关运算，进行被测物体三维面形测量。但是由于双目摄像头需要两个红外相机和一个激光发射器，这在硬件上增加成本。
为此，引入单目空间编码结构光3D重建技术本质是一种基于空间编码结构光的深度测量技术，其采用的单目结构光系统主要包括散斑投射器、图像传感器以及计算芯片。其主要原理是将特殊的图像样式(如随机散斑，条纹等等)投射到场景中，赋予场景中被测物体丰富的纹理信息，并通过图像传感器采集该幅场景图像，与事先标定时存储的特定位置平面的参考散斑图进行匹配，再根据视差关系，计算场景中被测物体的三维深度信息。事先标定的目的是为了减少计算耗时，降低硬件成本及功耗。但是上述技术中，计算三维深度信息的前提条件是保证图像传感器的光轴方向和散斑投射器的光轴方向平行，这一前提条件在前期搭建光学系统时是可以保证的。但是在后期使用中，可能由于摔砸等外界其他因素，导致图像传感器的光轴方向无法与散斑投射器的光轴方向保持平行，从而难以恢复出被测物体的三维深度信息。
而目前，当图像传感器的光轴方向无法与散斑投射器的光轴方向保持平行时，通常采用的方式是将三维深度信息重建系统进行返厂维修，这将大大增加三维深度信息重建的硬件成本以及时间成本，导致三维深度信息重建的效率低下。
发明内容
本发明实施例提供一种基于单目结构光的自检自校准方法及装置，用以解决现有技术中存在的缺陷。
本发明实施例提供一种基于单目结构光的自检自校准方法，包括：
获取单目结构光系统的参考图、物体图和误差阈值范围；
根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；
若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
根据本发明一个实施例的基于单目结构光的自检自校准方法，所述根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差的步骤，包括：
获取所述参考图的特征点和所述物体图的特征点；
将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果；
根据所述匹配结果，确定所述参考图与所述物体图的行对齐误差。
根据本发明一个实施例的基于单目结构光的自检自校准方法，所述方法还包括：
若所述行对齐误差不在所述误差阈值范围内，则根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，并基于所述变换矩阵对所述参考图进行变换；
若确定变换后的所述参考图与所述物体图的行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
根据本发明一个实施例的基于单目结构光的自检自校准方法，所述根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，具体包括：
基于所述匹配结果，计算本质矩阵；
基于所述本质矩阵，求解所述变换矩阵。
根据本发明一个实施例的基于单目结构光的自检自校准方法，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，具体包括：
对于所述物体图中的每个特征点，在所述参考图中与所述特征点对应的第一预设区域中搜索与所述特征点匹配的第一特征点。
根据本发明一个实施例的基于单目结构光的自检自校准方法，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，还包括：
在所述物体图中与所述第一特征点对应的第二预设区域中搜索与所述第一特征点匹配的第二特征点；
若所述第一特征点与所述第二特征点重合，则确定所述特征点与所述第一特征点为有效匹配。
本发明实施例还提供一种基于单目结构光的自检自校准装置，包括：处理器，所述处理器包括：
获取模块，用于获取单目结构光系统的参考图、物体图和误差阈值范围；
行对齐误差确定模块，用于根据所述单目结构光系统的参考图和物体图，确定所述参考图与所述物体图的行对齐误差；
自检自校准完成模块，用于若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
根据本发明一个实施例的基于单目结构光的自检自校准装置，所述装置还包括：散斑投射器和图像传感器；
所述散斑投射器用于投射散斑点；
所述图像传感器用于获取所述散斑点在不同距离处的散斑图像；
相应地，所述处理器还包括：参考图获取模块；所述参考图获取模块用于确定散斑点在不同距离处的散斑图像中的位置信息；基于所述位置信息，确定所述散斑点在无穷远处的散斑图像，并将所述散斑点在无穷远处的散斑图像作为所述参考图。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于单目结构光的自检自校准方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于单目结构光的自检自校准方法的步骤。
本发明实施例提供的基于单目结构光的自检自校准方法及装置，首先获取单目结构光系统的参考图、物体图和误差阈值范围；然后根据单目结构光系统的参考图和物体图，确定参考图与物体图的行对齐误差；最后若行对齐误差在所述误差阈值范围内，则完成对单目结构光系统的自检自校准。通过判断行对齐误差在误差阈值范围内，完成对所述单目结构光系统的自检自校准，可以保证三维深度信息重建的过程中图像传感器的光轴方向和散斑投射器的光轴方向始终保持平行，便于后续进行三维深度信息重建。而且，不再需要进行返厂维修，可以降低三维深度信息重建的硬件成本以及时间成本，提高三维深度信息重建的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于单目结构光的自检自校准方法的流程示意图；
图2是本发明实施例提供的一种基于单目结构光的自检自校准方法中单板标定时采用的光学系统结构示意图；
图3是本发明实施例提供的一种基于单目结构光的自检自校准方法中确定参考图时采用的光学系统结构示意图；
图4是本发明实施例提供的一种基于单目结构光的自检自校准装置的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例中提供了一种基于单目结构光的自检自校准方法，包括：
S1，获取单目结构光系统的参考图、物体图和误差阈值范围；
S2，根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；
S3，若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
具体地，本发明实施例中提供的基于单目结构光的自检自校准方法，其执行主体为处理器，该处理器具体可以是本地处理器，也可以是云端处理器，本地处理器具体可以是智能手机、平板电脑以及计算机等，本发明实施例中对此不作具体限定。
首先执行步骤S1。其中，物体图是指包含有需要确定三维深度信息的物体的图像，物体图具体可以通过散斑投射器照射物体并通过图像传感器进行图像采集得到，图像传感器具体可以是红外摄像头、红外相机等。参考图是指预先确定的、用于辅助确定物体图中物体的三维深度信息的图像。参考图具体可以通过散斑投射器照射白板并通过图像传感器进行图像采集得到。需要说明的是，采集物体图时物体放置的位置与确定参考图时白板所处的位置相同。误差阈值范围是指在能够保证利用当前的参考图确定物体图中物体的三维深度信息的前提下，能够允许的参考图与物体图的行对齐误差的范围。该误差阈值范围可以根据实际需要进行具体设置，本发明实施例中对此不作具体限定。
如果在结构变动前，散斑投射器与图像传感器的光轴方向完全平行，而在结构变动后，散斑投射器与图像传感器的光轴方向之间可能会存在旋转和平移。假设散斑投射器不动，对图像传感器进行旋转和平移，图像传感器拍摄得到的变动后的物体图，是很难恢复确定其中物体的三维深度信息的。为此，本发明实施例在步骤S2中根据参考图和物体图确定出参考图与物体图的行对齐误差，具体是通过参考图和物体图中的特征点之间的匹配关系确定出行对齐误差。
最后执行步骤S3，判断得到的行对齐误差是否在误差阈值范围，如果在则说明参考图可以用于确定物体图中物体的三维深度信息，可以认为散斑投射器与图像传感器的光轴方向平行。此时则可以根据参考图确定物体图中物体的三维深度信息，具体的确定方式可以采用现有技术中提供的确定方式，本发明实施例中对此不作具体限定。
如图2所示，为单板的标定方案，先用散斑投射器1照射标定平面3，在标定平面上形成散斑点P，使用与散斑投射器1位于同一平面内的图像传感器2拍摄标定平面3上的散斑图，作为参考图。标定平面3与散斑发射器1之间的距离可以测量出来，设为S。之后放入任一物体M，利用图像传感器2拍摄得到散斑物体图，利用散斑物体图和参考图，然后利用如下公式，就可以恢复物体的三维深度信息：
其中，S’为物体的三维深度信息，f为图像传感器的焦距，b为图像传感器与散斑投射器之间的距离，
为散斑物体图和参考图之间的视差。
本发明实施例提供的基于单目结构光的自检自校准方法，首先获取单目结构光系统的参考图、物体图和误差阈值范围；然后根据参考图和物体图，确定参考图与物体图的行对齐误差；最后若行对齐误差在所述误差阈值范围内，则完成对单目结构光系统的自检自校准。通过判断行对齐误差在误差阈值范围内，完成对所述单目结构光系统的自检自校准，可以保证三维深度信息重建的过程中图像传感器的光轴方向和散斑投射器的光轴方向始终保持平行，便于后续进行三维深度信息重建。而且，不再需要进行返厂维修，可以降低三维深度信息重建的硬件成本以及时间成本，提高三维深度信息重建的效率。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差的步骤，包括：
获取所述参考图的特征点和所述物体图的特征点；
将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果；
根据所述匹配结果，确定所述参考图与所述物体图的行对齐误差。
具体地，首先，分别对参考图和物体图进行特征提取，得到参考图的特征点和物体图的特征点。然后，将特征提取得到的参考图的特征点和物体图的特征点进行匹配，匹配结果是得到参考图和物体图上相互匹配的多个特征点对。本发明实施例中，匹配的过程是指寻找参考图和物体图上的同名点的过程，即是确定参考图和物体图上与邻域内的其他特征点之间的关系相同的特征点的过程，或者是参考图和物体图上邻域内的其他特征点的属性相同的特征点的过程。其中，同名点是指同一点在不同图像中的像点。行对齐误差是指参考图与物体图中同名特征点在列方向上的距离，这可以根据特征点匹配得到的每个特征点对中两个特征点的纵坐标之差确定。最后根据匹配结果确定出参考图与物体图的行对齐误差。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述方法还包括：
若所述行对齐误差不在所述误差阈值范围内，则根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，并基于所述变换矩阵对所述参考图进行变换；
若确定变换后的所述参考图与所述物体图的行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
具体地，如果参考图与物体图的行对齐误差不在误差阈值范围内，则说明当前的参考图无法用于确定物体的三维深度信息，可以认为散斑投射器与图像传感器的光轴方向不平行。因此需要先根据参考图和物体图的特征点的匹配结果确定参考图与物体图之间的变换矩阵，该变换矩阵是指对于参考图和物体图中匹配的特征点对，特征点对中两个特征点之间位置的变换矩阵。其中，变换矩阵可以包括平移矩阵和旋转矩阵。
然后根据变换矩阵对参考图进行变换，如果变换后的参考图与物体图的行对齐误差满足预设条件，则可以认为散斑投射器与图像传感器的光轴方向平行，完成对单目结构光系统的自检自校准，此时根据变换后的参考图确定物体图中物体的三维深度信息。如果变换后的参考图与物体图的行对齐误差依然不满足预设条件，则发出报警提示信息，以提示用户检查设备或做其他处理。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，具体包括：
基于所述匹配结果，计算本质矩阵；
基于所述本质矩阵，求解所述变换矩阵。
具体地，本发明实施例中在确定变换矩阵时，首先根据参考图和物体图的特征点的匹配结果，计算本质矩阵。本质矩阵是在三维坐标系下，用来连接特征点对中两个特征点的矩阵关系。然后根据本质矩阵，求解得到变换矩阵。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述参考图的确定方法具体包括：
确定散斑点在不同距离处的散斑图像中的位置信息；
基于所述位置信息，确定所述散斑点在无穷远处的散斑图像，并将所述散斑点在无穷远处的散斑图像作为所述参考图。
具体地，本发明实施例中，在确定参考图时，如图3所示，首先通过散斑投射器1向固定方向投射散斑，在不同距离处的平面上形成不同的散斑点，例如在与散斑投射器1距离为z的平面上形成散斑点K，在与散斑投射器1距离为z1的平面上形成散斑点K’。通过图像传感器2拍摄散斑点K和K’，分别得到散斑图像。在散斑图像中散斑点K对应于点L，散斑点K’对应点L’。以散斑投射器1的光轴方向为z轴，以垂直于散斑投射器1的光轴方向为x轴建立坐标系，设散斑点K到散斑投射器1的光轴方向的距离为X，散斑点K’到散斑投射器1的光轴方向的距离为X1，则散斑点K的坐标可表示为K(X,Y,Z)，散斑点K’的坐标可表示为K’(X1,Y1,Z1)。点L的坐标为L(u,v)，点L’的坐标可表示为L’(u1,v1)。
根据图像传感器透视投影关系，在x方向上可以得到：
其中，Cx为图像传感器光心位置的横坐标。
同理，可得：
根据相似三角形关系可以得到：
由上述公式可以得到：
从公式(5)可以看出，只要知道Z距离下的散斑图像，就可以推导出在距离为Z1下的散斑图像，当Z1表示无穷远时，此时得到图像为无穷远处的散斑图像，并将无穷远处的散斑图像作为参考图。
得到的参考图刚好是散斑发射器投射出去的散斑图像，散斑投射器的位置是保持不变的，所以对于散斑发射器来说，任一位置图像都是一样的。对于图像传感器来说，在不同距离下拍摄到的散斑图像是有一定的偏差的，其相对散斑投射器投出去图像是有一定的旋转和平移关系，此时只需要找到求解出两者之间的变换关系，就可以对图像传感器和散斑投射器进行校准。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，具体包括：
对于所述物体图中的每个特征点，在所述参考图中与所述特征点对应的第一预设区域中搜索与所述特征点匹配的第一特征点。
具体地，本发明实施例中，在进行特征点匹配时，对于物体图中的每个特征点i，在参考图中与特征点i对应的第一预设区域中搜索与特征点匹配的第一特征点。即先确定参考图中与特征点i对应的同名特征点i’。然后确定以同名特征点i’为中心的第一预设区域，在第一预设区域中搜索与特征点i匹配的第一特征点。第一预设区域具体可以是以同名特征点i’为中心、分别向左右扩展预设距离得到，该预设距离可以根据需要进行设定，具体可以设定为
的最大取值。
本发明实施例中，在参考图中与特征点对应的第一预设区域中进行搜索，可以提高匹配速度和效率。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，还包括：
在所述物体图中与所述第一特征点对应的第二预设区域中搜索与所述第一特征点匹配的第二特征点；
若所述第一特征点与所述第二特征点重合，则确定所述特征点与所述第一特征点为有效匹配。
具体地，在得到第一特征点之后，还可以在物体图中与第一特征点对应的第二预设区域中搜索与第一特征点匹配的第二特征点。第二预设区域的确定方式和大小可以与第一预设区域相同，本发明实施例中不再赘述。
判断第一特征点和第二特征点是否重合，如果重合，则说明特征点i与第一特征点为有效匹配，即为有效匹配的特征点对。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，还包括：
对于所有有效匹配的特征点对，基于RANSAC方法，对所述特征点对进行筛选。
具体地，本发明实施例中，在确定所有有效匹配的特征点对之后，还可以再通过RANSAC方法，对得到的特征点对进行筛选，以得到更优的一组特征点对。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准方法，其整体流程如下：
首先，以图3为原理图，散斑投射器1透射一个散斑点到距离为Z的垂直平面上，图像传感器2拍摄该散斑点，就可以得到距离为Z的图像传感器2拍摄的散斑图，已知距离为Z的散斑图，就可以生成任意位置散斑图像。散斑投射器1投射出去的散斑点，在距离Z下设为K，在距离Z1下设为K’，K’和K是同一散斑点。散斑点K(X,Y,Z)对应图像传感器2的拍摄图像上的点为L(u,v)，则根据图像传感器2透视投影关系，可以得到公式(2)-(5)。
因此，只要知道Z距离下的散斑图，就可以推导出在距离为Z1下的散斑图像，当Z1表示无穷远时，此时得到图像为无穷远的散斑图像。根据图像传感器2得到无穷远的散斑图像刚好是散斑投射器1投射出去的散斑图像，因此将无穷远的散斑图像作为参考图像。
然后，对于所述物体图中的每个特征点，在所述参考图中与所述特征点对应的第一预设区域中搜索与所述特征点匹配的第一特征点。在所述物体图中与所述第一特征点对应的第二预设区域中搜索与所述第一特征点匹配的第二特征点；若所述第一特征点与所述第二特征点重合，则确定所述特征点与所述第一特征点为有效匹配。根据参考图和物体图中特征点匹配的结果，确定所述参考图与所述物体图的行对齐误差；若所述行对齐误差不满足预设条件，则基于参考图和物体图中特征点匹配的结果，计算本质矩阵；基于所述本质矩阵，求解所述变换矩阵。基于所述变换矩阵对所述参考图进行变换；若确定变换后的所述参考图与所述物体图的行对齐误差满足所述预设条件，则基于变换后的所述参考图确定所述物体图中物体的三维深度信息。若所述行对齐误差满足预设条件，则基于所述参考图确定所述物体图中物体的三维深度信息。
如图4所示，在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准装置，包括：处理器4，所述处理器4包括：获取模块41、行对齐误差确定模块42以及自检自校准完成模块43。其中，
获取模块41用于获取单目结构光系统的参考图、物体图和误差阈值范围；
行对齐误差确定模块42用于根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；
自检自校准完成模块43用于若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
具体地，本发明实施例中提供的基于单目结构光的自检自校准装置中各模块的作用与操作流程与上述方法类实施例中各步骤的操作过程是一一对应的，达到的效果也是一致的，具体参见上述方法类实施例，本发明实施例中对此不再赘述。
在上述实施例的基础上，本发明实施例中提供的基于单目结构光的自检自校准装置，装置还包括：散斑投射器和图像传感器；
所述散斑投射器用于投射散斑点；
所述图像传感器用于获取所述散斑点在不同距离处的散斑图像；
相应地，所述处理器还包括：参考图获取模块；所述参考图获取模块用于确定散斑点在不同距离处的散斑图像中的位置信息；基于所述位置信息，确定所述散斑点在无穷远处的散斑图像，并将所述散斑点在无穷远处的散斑图像作为所述参考图。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于单目结构光的自检自校准方法，包括：获取单目结构光系统的参考图、物体图和误差阈值范围；根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于单目结构光的自检自校准方法，包括：获取单目结构光系统的参考图、物体图和误差阈值范围；根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于单目结构光的自检自校准方法，包括：获取单目结构光系统的参考图、物体图和误差阈值范围；根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于单目结构光的自检自校准方法，其特征在于，包括：
获取单目结构光系统的参考图、物体图和误差阈值范围；
根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；
若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
2.根据权利要求1所述的基于单目结构光的自检自校准方法，其特征在于，所述根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差的步骤，包括：
获取所述参考图的特征点和所述物体图的特征点；
将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果；
根据所述匹配结果，确定所述参考图与所述物体图的行对齐误差。
3.根据权利要求2所述的基于单目结构光的自检自校准方法，其特征在于，所述方法还包括：
若所述行对齐误差不在所述误差阈值范围内，则根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，并基于所述变换矩阵对所述参考图进行变换；
若确定变换后的所述参考图与所述物体图的行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
4.根据权利要求3所述的基于单目结构光的自检自校准方法，其特征在于，所述根据所述匹配结果，确定所述参考图与所述物体图之间的变换矩阵，具体包括：
基于所述匹配结果，计算本质矩阵；
基于所述本质矩阵，求解所述变换矩阵。
5.根据权利要求2-4中任一项所述的基于单目结构光的自检自校准方法，其特征在于，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，具体包括：
对于所述物体图的每个特征点，在所述参考图中与所述特征点对应的第一预设区域中搜索与所述特征点匹配的第一特征点。
6.根据权利要求5所述的基于单目结构光的自检自校准方法，其特征在于，所述将所述参考图的特征点和所述物体图的特征点进行匹配，获取匹配结果，还包括：
在所述物体图中与所述第一特征点对应的第二预设区域中搜索与所述第一特征点匹配的第二特征点；
若所述第一特征点与所述第二特征点重合，则确定所述特征点与所述第一特征点为有效匹配。
7.一种基于单目结构光的自检自校准装置，其特征在于，包括：处理器，所述处理器包括：
获取模块，用于获取单目结构光系统的参考图、物体图和误差阈值范围；
行对齐误差确定模块，用于根据所述参考图和所述物体图，确定所述参考图与所述物体图的行对齐误差；
自检自校准完成模块，用于若所述行对齐误差在所述误差阈值范围内，则完成对所述单目结构光系统的自检自校准。
8.根据权利要求7所述的基于单目结构光的自检自校准装置，其特征在于，所述装置还包括：散斑投射器和图像传感器；
所述散斑投射器用于投射散斑点；
所述图像传感器用于获取所述散斑点在不同距离处的散斑图像；
相应地，所述处理器还包括：参考图获取模块；所述参考图获取模块用于确定散斑点在不同距离处的散斑图像中的位置信息；基于所述位置信息，确定所述散斑点在无穷远处的散斑图像，并将所述散斑点在无穷远处的散斑图像作为所述参考图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于单目结构光的自检自校准方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于单目结构光的自检自校准方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010623.9A CN112164099A (zh) | 2020-09-23 | 2020-09-23 | 基于单目结构光的自检自校准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010623.9A CN112164099A (zh) | 2020-09-23 | 2020-09-23 | 基于单目结构光的自检自校准方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164099A true CN112164099A (zh) | 2021-01-01 |
Family
ID=73863495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011010623.9A Pending CN112164099A (zh) | 2020-09-23 | 2020-09-23 | 基于单目结构光的自检自校准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164099A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565714A (zh) * | 2022-02-11 | 2022-05-31 | 山西支点科技有限公司 | 一种单目视觉传感器混合式高精度三维结构恢复方法 |
| CN115002451A (zh) * | 2022-08-08 | 2022-09-02 | 合肥的卢深视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
| CN103792667A (zh) * | 2012-10-30 | 2014-05-14 | 财团法人工业技术研究院 | 立体摄像装置、自动校正装置与校正方法 |
| CN108122259A (zh) * | 2017-12-20 | 2018-06-05 | 厦门美图之家科技有限公司 | 双目摄像头标定方法、装置、电子设备及可读存储介质 |
| CN110049305A (zh) * | 2017-12-18 | 2019-07-23 | 西安交通大学 | 一种智能手机的结构光深度相机自校正方法及装置 |
| CN110853151A (zh) * | 2019-10-15 | 2020-02-28 | 西安理工大学 | 一种基于视频的三维立体点集恢复方法 |
| CN111462206A (zh) * | 2020-03-24 | 2020-07-28 | 合肥的卢深视科技有限公司 | 一种基于卷积神经网络的单目结构光深度成像方法 |
-
2020
- 2020-09-23 CN CN202011010623.9A patent/CN112164099A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103792667A (zh) * | 2012-10-30 | 2014-05-14 | 财团法人工业技术研究院 | 立体摄像装置、自动校正装置与校正方法 |
| CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
| CN110049305A (zh) * | 2017-12-18 | 2019-07-23 | 西安交通大学 | 一种智能手机的结构光深度相机自校正方法及装置 |
| CN108122259A (zh) * | 2017-12-20 | 2018-06-05 | 厦门美图之家科技有限公司 | 双目摄像头标定方法、装置、电子设备及可读存储介质 |
| CN110853151A (zh) * | 2019-10-15 | 2020-02-28 | 西安理工大学 | 一种基于视频的三维立体点集恢复方法 |
| CN111462206A (zh) * | 2020-03-24 | 2020-07-28 | 合肥的卢深视科技有限公司 | 一种基于卷积神经网络的单目结构光深度成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何进英: ""数字散斑三维重建中的对应点搜索研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 杨帆: "《数字图像处理与分析》", 31 January 2019 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565714A (zh) * | 2022-02-11 | 2022-05-31 | 山西支点科技有限公司 | 一种单目视觉传感器混合式高精度三维结构恢复方法 |
| CN114565714B (zh) * | 2022-02-11 | 2023-05-23 | 山西支点科技有限公司 | 一种单目视觉传感器混合式高精度三维结构恢复方法 |
| CN115002451A (zh) * | 2022-08-08 | 2022-09-02 | 合肥的卢深视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
| CN115002451B (zh) * | 2022-08-08 | 2022-11-22 | 合肥的卢深视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7822267B2 (en) | Enhanced object reconstruction | |
| US8447099B2 (en) | Forming 3D models using two images | |
| US8452081B2 (en) | Forming 3D models using multiple images | |
| CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
| CN110044374B (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| CN110689577B (zh) | 单相机环境中主动式刚体的位姿定位方法及相关设备 | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| CN112184811B (zh) | 单目空间结构光系统结构校准方法及装置 | |
| KR20210027461A (ko) | 이미지 처리 방법 및 장치 및 이미지 처리 디바이스 | |
| CN107392958A (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
| WO2020063987A1 (zh) | 三维扫描方法、装置、存储介质和处理器 | |
| WO2020119467A1 (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN111256628A (zh) | 墙面平整度检测方法、装置、计算机设备和存储介质 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN112164099A (zh) | 基于单目结构光的自检自校准方法及装置 | |
| CN111882657A (zh) | 三维重建的尺度恢复方法、装置、系统和计算机设备 | |
| CN111160233B (zh) | 基于三维成像辅助的人脸活体检测方法、介质及系统 | |
| CN112802114A (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| Furferi et al. | A RGB-D based instant body-scanning solution for compact box installation | |
| CN112070844B (zh) | 结构光系统的校准方法及装置、设备及介质 | |
| WO2021193672A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
| CN111833441A (zh) | 一种基于多相机系统的人脸三维重建方法和装置 | |
| CN113483669B (zh) | 一种基于立体靶标的多传感器位姿标定方法及装置 | |
| CN109328459B (zh) | 智能终端及其3d成像方法、3d成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210101 |
|
| RJ01 | Rejection of invention patent application after publication |