CN113689478A - 量测设备的对齐方法、装置及系统 - Google Patents

量测设备的对齐方法、装置及系统 Download PDF

Info

Publication number
CN113689478A
CN113689478A CN202111033935.6A CN202111033935A CN113689478A CN 113689478 A CN113689478 A CN 113689478A CN 202111033935 A CN202111033935 A CN 202111033935A CN 113689478 A CN113689478 A CN 113689478A
Authority
CN
China
Prior art keywords
depth
standard
image
alternative
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111033935.6A
Other languages
English (en)
Other versions
CN113689478B (zh
Inventor
赵兴彩
姚毅
杨艺
戴志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luster LightTech Co Ltd
Suzhou Luster Vision Intelligent Device Co Ltd
Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd
Original Assignee
Luster LightTech Co Ltd
Suzhou Luster Vision Intelligent Device Co Ltd
Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luster LightTech Co Ltd, Suzhou Luster Vision Intelligent Device Co Ltd, Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd filed Critical Luster LightTech Co Ltd
Priority to CN202111033935.6A priority Critical patent/CN113689478B/zh
Publication of CN113689478A publication Critical patent/CN113689478A/zh
Application granted granted Critical
Publication of CN113689478B publication Critical patent/CN113689478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开一种量测设备的对齐方法、装置及系统。该方法包括：获取样本的标准图像；根据标准图像，确定标准ROI的标准数据；基于同一量测设备，获取与多个样本一一对应的多个深度图像；确定每个深度图像中的一组备选ROI和各备选ROI的深度数据；计算不同深度图像中相关联的各备选ROI的深度数据与标准数据的方差之和，作为该相关联的各备选ROI对应的方差；根据各备选ROI对应的方差，将各组备选ROI中的一备选ROI确定为目标ROI；其中，各组备选ROI的目标ROI相关联；根据目标ROI的深度数据和标准数据，计算量测设备的对齐参数。如此，根据目标ROI的深度数据和标准ROI的标准数据可计算出量测设备的对齐参数，以利用对齐参数可以实现量测设备的快速对齐。

Description

量测设备的对齐方法、装置及系统
技术领域
本发明实施例涉及机器视觉智能生产技术，尤其涉及一种量测设备的对齐方法、装置及系统。
背景技术
随着社会经济的发展，人工智能的步伐越来越快，新技术也层出不穷，机器视觉具有非接触、处理时间块、精度高、安全高效，已广泛应用于各行各业中，尤其是在汽车制造、3C和新能源等领域发挥了越来越大的价值，可以依靠机器视觉引导机械手替代人做一些更精密的组装、检测、测量等工作。
在3D测量项目中通常采用3D量测设备获得目标物点云数据后，可以计算目标物的3D尺寸，在计算目标物的3D尺寸时，需要将所获得的点云数据与目标物的实体投影数据进行对齐，因此如何快速实现3D量测设备获得的点云数据与实体投影数据进行对齐，成为当前亟待解决的技术问题。
发明内容
本发明实施例提供一种量测设备的对齐方法、装置及系统，以实现量测设备的快速对齐。
第一方面，本发明实施例提供了一种量测设备的对齐方法，该方法包括：
获取样本的标准图像；
根据所述标准图像，确定标准ROI的标准数据；
基于同一所述量测设备，获取与多个样本一一对应的多个深度图像；
根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据；其中，每个所述深度图像中的一组备选ROI包括阵列排布的N个备选ROI；
计算不同所述深度图像中相关联的各所述备选ROI的深度数据与所述标准数据的方差之和，作为该相关联的各所述备选ROI对应的方差；
根据各所述备选ROI对应的方差，将各组所述备选ROI中的一备选ROI确定为目标ROI；其中，各组所述备选ROI的目标ROI相关联；
根据所述目标ROI的深度数据和所述标准数据，计算所述量测设备的对齐参数。
可选的，获取样本的标准图像，包括：
基于投影仪器，获取样本在不同放置姿态下的多个测量图像；
判断各所述测量图像的差异是否在预设差异范围内；
若是，则将各所述测量图像中的任一所述测量图像确定为所述标准图像。
可选的，在根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据之前，还包括：
一一对应地构建所述深度图像中各像素的邻域窗口；
根据各所述像素的领域窗口中所有像素的深度数据，修正该所述像素的深度数据。
可选的，根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据，包括：
根据所述深度图像的深度数据，确定所述样本的拟合平面；
以所述拟合平面为基准面，对所述深度图像进行重构；
根据重构后的所述深度图像确定所述深度图像的图像坐标系；
根据所述标准图像，确定所述样本的实物坐标系；
基于所述标准ROI的标准数据、所述图像坐标系以及所述实物坐标系，确定所述深度图像中的备选坐标位置；
将所述备选坐标位置以及所述备选坐标位置周围的邻域位置连通构成备选区域；
对所述备选区域进行均分，获得一组所述备选ROI；
根据重构后的所述深度图像，确定各所述备选ROI的深度数据。
可选的，在根据所述深度图像的深度数据，确定所述样本的拟合平面之前，还包括：
采用图像分割工具对深度图像的深度数据进行过滤。
可选的，在以所述拟合平面为基准面，对所述深度图像进行重构之前，还包括：
将所述深度图像的深度数据转换为点云数据；
根据所述点云数据到所述拟合平面之间的距离，确定所述拟合平面的平面度；
判断所述拟合平面的平面度是否在预设平面度范围内；
若是，则执行以所述拟合平面为基准面，对所述深度图像进行重构的步骤。
可选的，基于所述标准ROI的标准数据、所述图像坐标系以及所述实物坐标系，确定所述深度图像中的备选坐标，包括：
根据所述图像坐标系和所述实物坐标系，确定所述图像坐标系中第一坐标轴与所述实物坐标系中第一坐标轴之间的第一夹角θ；
根据所述深度图像与所述标准图像之间的像素当量以及所述第一夹角，确定所述深度图像与所述标准图像的系数矩阵K；其中，
Figure BDA0003246370490000041
P为像素当量；
根据所述标准ROI的标准数据和所述系数矩阵，计算所述备选坐标；其中，
Figure BDA0003246370490000042
(x1、y1)为所述备选坐标，(x0，y0)为所述标准ROI的标准数据。
可选的，根据所述目标ROI的深度数据和所述标准数据，确定所述量测设备的对齐参数，包括：
根据各所述深度图像中目标ROI的深度数据，一一对应地确定各所述目标ROI的欧氏距离；
以KD-tree的方式，标记各所述目标ROI的欧氏距离，以将各所述目标ROI中与所述标准ROI最近邻的所述目标ROI确定为最近邻点；
根据所述最近邻点的位置坐标和所述标准数据，采用最小二乘法，确定所述量测设备的对齐参数。
第二方面，本发明实施例还提供了一种量测设备相关性对齐装置，该装置包括：
标准图像获取模块，用于获取样本的标准图像；
标准数据确定模块，用于根据所述标准图像，确定标准ROI的标准数据；
深度图像获取模块，用于基于同一所述量测设备，获取与多个样本一一对应的多个深度图像；
备选ROI确定模块，用于根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据；其中，每个所述深度图像中的一组备选POI包括阵列排布的N个备选ROI；
方差计算模块，用于计算不同所述深度图像中相关联的各所述备选ROI的深度数据与所述标准数据的方差之和，作为该相关联的各所述备选ROI对应的方差；
目标ROI确定模块，用于根据各所述备选ROI对应的方差，将各组所述备选ROI中的一备选ROI确定为目标ROI；其中，各组所述备选ROI的目标ROI相关联；
对齐参数计算模块，用于根据所述目标ROI的深度数据和所述标准数据，计算所述量测设备的对齐参数。
第三方面，本发明实施例还提供了一种量测系统，包括：量测设备和处理器；
所述量测设备用于依次采集多个样本的深度图像，并输出各所述深度数据至所述处理器；
所述处理器用于根据与多个样本一一对应的多个深度图像，执行如本发明实施例所述的量测设备的对齐方法。
本发明实施例提供一种量测设备的对齐方案，通过样本的标准图像，确定标准图像中标准ROI的标准数据，以及根据标准图像和与多个样本一一对应的多个深度图像，确定各深度图像中的备选ROI及其深度数据，通过计算不同深度图像中相关联的各备选ROI的深度数据与标准ROI的标准数据的方差之和来衡量备选ROI与标准ROI的位置关系，以根据各备选ROI对应的方差确定出各深度图像中与标准ROI位置最近邻的备选ROI为目标ROI，从而基于该目标ROI确定出量测设备的对齐参数，以在将该量测设备应用于生产过程中时，能够利用该对齐参数实现量测设备的快速对齐。
附图说明
图1为本发明实施例提供的一种量测设备的对齐方法的流程图；
图2为本发明实施例提供的一种深度图像的示意图；
图3为本发明实施例提供的又一种量测设备的对齐方法的流程图；
图4为本发明实施例提供的一种图像坐标系参考示意图；
图5为本发明实施例提供的一种实物坐标系参考示意图；
图6为本发明实施例提供的一种实物坐标系与图像坐标系的参考示意图；
图7为本发明实施例提供的又一种量测设备的对齐方法的流程图；
图8为本发明实施例提供的一种量测设备相关性对齐装置的结构框图；
图9为本发明实施例提供的一种量测系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1为本发明实施例提供的一种量测设备的对齐方法的流程图，本实施例可适用于机器视觉智能生产领域，该方法可以由量测设备相关性对齐装置来执行，该装置可由软件和/或硬件来实现，该方法包括：
S1001、获取样本的标准图像。
其中，标准图像可以是投影图像，例如可以为二次元投影图像，投影图像能够体现样本的实际形状轮廓。
S1002、根据标准图像，确定标准ROI的标准数据。
其中，ROI即为感兴趣区域，ROI可以为一个区域，也可以为一个点；标准ROI为标准图像上的对准区域，也可以称为参考对准区域、参考定位区域；标准数据包括坐标数据，可以是某一平面的二维坐标数据，也可以是基于某一三维坐标系的三坐标维数据。具体的，可由标准图像得到若干像素点，每个像素点具有相应的坐标位置，标准ROI的标准数据即为标准ROI处像素点的高度位置。
S1003、基于同一量测设备，获取与多个样本一一对应的多个深度图像。
其中，量测设备可以是包括3D传感器或3D线阵扫描相机等。
具体的，量测设备可采集样本的深度数据或点云数据。当所量测设备所采集的为深度数据时，可直接根据深度数据获取样本的深度图像；而当量测设备所采集的为点云数据时，可将点云数据转换为相应的深度数据，再根据深度数据确定样本的深度图像。其中，深度图像可以表示样本的轮廓以及各个位置处的深度等。本发明实施例中，可采用量测设备依次获取各样本的深度数据，以得到与多个样本一一对应的深度图像，即每个深度图像对应一个样本。
其中，待检测样本上通常设置有对准标记，可通过该对准标记，确定出量测设备的测量区域。此时，可通过获取样本的标准图像中对准标记的位置坐标作为标准定位点坐标进行模板训练，确定参考模型；在基于量测设备获取到样本的深度图像时，通过比对深度图像和参考模型，确定出深度图像与参考模型最匹配的点作为深度图像的实测定位点坐标，并根据该实测定位点坐标和标准定位点坐标，确定出相应的平移矩阵和旋转矩阵，以在采用深度图像获取样本的深度数据时，可基于该平移矩阵和旋转矩阵，快速定位出量测设备的测量区域。示例性的，实测定位点坐标和标准定位点坐标之间的变换关系可以为：
Figure BDA0003246370490000081
其中，
Figure BDA0003246370490000082
为标准定位点坐标，
Figure BDA0003246370490000083
为实测定位点坐标，
Figure BDA0003246370490000084
为平移矩阵，
Figure BDA0003246370490000085
为旋转矩阵。
S1004、根据深度图像和标准图像，确定每个深度图像中的一组备选ROI和各备选ROI的深度数据。
其中，每个深度图像中的一组备选ROI包括阵列排布的N个备选ROI，该N个备选ROI即为该深度图像中的N个备选对准区域；由于多个样本对应多个深度图像，因此可确定出多组备选ROI和与多组备选ROI一一对应的多组备选ROI的深度数据，即每组备选ROI对应一组备选ROI深度数据，该组备选ROI深度数据包括与该组备选ROI中各备选ROI一一对应的深度数据。
S1005、计算不同深度图像中相关联的各备选ROI的深度数据与标准数据的方差之和，作为该相关联的各备选ROI对应的方差。
具体的，每个深度图像对应一组备选ROI，且每组备选ROI包括阵列排布的N个备选ROI，虽然不同深度图像中所确定出的备选ROI的深度数据之间具有差异，但是不同深度图像中所确定的备选ROI之间相关联。
示例性的，图2为本发明实施例提供的一种深度图像的示意图。如图2所示，以深度图像中的一组备选ROI包括9个备选ROI为例，该9个备选ROI呈阵列排布，该组备选ROI的9个备选ROI分别为ROI1、ROI2、ROI3、ROI4、ROI5、ROI6、ROI7、ROI8、ROI9；此时，各深度图像中的ROI1为相关联的备选ROI，各深度图像中的ROI2为相关联的备选ROI，各深度图像中的ROI3为相关联的备选ROI，以此类推，各深度图像中的ROI9为相关联的备选ROI。当获取的深度图像的数量为m时，可确定出m组备选ROI，即具有相关联的m个ROI1，相关联的m个ROI2，相关联的m个ROI3，…，相关联的m个ROI9。以计算相关联的各ROI1与标准数据之间的方差之和为例，该相关联的各ROI1对应的方差D1(X)为：
Figure BDA0003246370490000091
其中，xi为第i个深度图像中ROI1的深度数据，μ为标准数据，pi为第i个深度图像对应的样本的权重。以此类推，可以分别求得相关联的各ROI2对应的方差D2(X)、相关联的各ROI3对应的方差D3(X)、…、相关联的各ROI9对应的方差D9(X)。
S1006、根据各备选ROI对应的方差，将各组备选ROI中的一备选ROI确定为目标ROI。其中，各组所述备选ROI的目标ROI相关联。
具体的，继续参考图2，由于相关联的各备选ROI对应的方差相同，即m个ROI1对应同一方差D1(X)、m个ROI2对应同一方差D2(X)、m个ROI3对应同一方差D3(X)、…、m个ROI9对应同一方差D9(X)，因此可根据此9个方差(D1(X)、D2(X)、D3(X)、…、D9(X))之间的大小关系，将每组备选ROI中的一个备选ROI作为目标ROI，且各组备选ROI的目标ROI相关联，例如当一组备选ROI中的ROI1为目标ROI时，其它各组备选ROI中同样将ROI1作为目标ROI。
其中，由于备选ROI的深度数据与标准数据之间的差别越大，代表该备选ROI与标准ROI之间的差异越大，且备选ROI对应的方差越大，因此可将各方差中数值最小的方差对应的ROI确定为目标ROI。例如，当各ROI1对应的方差D1(X)小于其他备选ROI对应的方差(ROI2对应的方差D2(X)、ROI3对应的方差D3(X)、…、ROI9对应的方差D9(X))时，可将各组备选ROI中的ROI1确定为目标ROI。
S1007、根据目标ROI的深度数据和标准数据，计算量测设备的对齐参数。
其中，量测设备的对齐参数为在实际生产过程中能够表示量测设备与待检测样本的。
具体的，在确定出目标ROI后，可基于所确定的目标ROI的深度数据和标准数据，采用特定的计算公式，计算出量测设备的对齐参数。此处所述的特定的计算公式可根据经验推导获得，例如可以为最小二乘公式，本发明实施例对此不做具体限定。
其中，可通过多次执行上述S1001～S1007的步骤，计算出多组对齐参数，并将目标ROI的深度数据与标准数据之间的误差的平方和最小的一组数据计算出的对齐参数最为最终的对齐参数，以确保所确定出的对齐参数的准确性。
本发明实施例通过样本的标准图像，确定标准图像中标准ROI的标准数据，以及根据标准图像和与多个样本一一对应的多个深度图像，确定各深度图像中的备选ROI及其深度数据，通过计算不同深度图像中相关联的各备选ROI的深度数据与标准ROI的标准数据的方差之和来衡量备选ROI与标准ROI的位置关系，以根据各备选ROI对应的方差确定出各深度图像中与标准ROI位置最近邻备选ROI为目标ROI，从而基于该目标ROI确定出量测设备的对齐参数，以在将该量测设备应用于生产过程中时，能够利用该对齐参数实现量测设备的快速对齐。
可选的，获取样本的标准图像的具体方法包括：基于投影仪器，获取样本在不同放置姿态下的多个测量图像；判断各测量图像的差异是否在预设差异范围内；若是，则将各测量图像中的任一测量图像确定为标准图像。
具体的，放置姿态可以包括放置角度、放置位置等，不同放置姿态即为不同放置角度和/或不同放置位置等；测量图像是指采用投影仪器照射样本的投影图像；不同放置姿态下，所获得的测量图像存在一定的差异，当该差异在预设差异范围内时，可以认为测量图像之间具有较高的一致性或可重复性，而当该差异未在预设差异范围内时，可以认为测量图像之间一致性或可重复性较低。示例性的，测量图像之间的差异可以为测量图像与测量图像之间的宽度或长度之间的差异，或者可以为各测量图像中标准ROI之间的坐标位置处的深度数据的偏差；预设差异范围可以为小于或等于0.01mm的范围。如此，通过在保证测量图像具有较高的一致性或可重复性的前提下，将其中任意一个测量图像作为标准图像，能够有利于提高标准图像的准确度和可信度，从而有利于提高所计算的对齐参数的准确度。
可选的，由于外在和/或内在因素，会导致量测设备所获取的某些深度数据具有偏差，因此在根据深度图像和标准图像，确定每个深度图像中的一组备选ROI和各备选ROI的深度数据之前，可通过一一对应地构建深度图像中各像素的邻域窗口，并根据各像素的领域窗口中所有像素的深度数据，修正该像素的深度数据。
示例性的，可以使用深度图像滤波工具对深度图像进行预处理，将深度图像中每个像素替换为该点邻域窗口内所有像素的均值或中值，实现深度图像平滑、去噪的功能，使获取的深度图像免受噪声干扰，保证所获取的深度图像的准确性。
可选的，图3为本发明实施例提供的又一种量测设备的对齐方法的流程图，如图3所示，该方法包括：
S2001、获取样本的标准图像。
S2002、根据标准图像，确定标准ROI的标准数据。
S2003、基于同一量测设备，获取与多个样本一一对应的多个深度图像。
S2004、根据深度图像的深度数据，确定样本的拟合平面。
具体的，可采用最小二乘法根据深度图像的深度数据对样本进行平面拟合，确定出样本的拟合平面。其中，确定样本的拟合平面的方式可采用最小二乘法，该最小二乘法的矩阵方程为Ax＝b，其中A为n*k的矩阵，x为k*1的列向量，b为n*1的列向量。求解最小二乘矩阵方程的方法包括奇异值分解、正规方程和QR分解三种，本实施例优选采用正规方程对平面方程进行拟合，正规方程组的解为：x＝(ATA)-1ATb；平面方程的一般表达式为ax+by+cz＝d(c≠0)，通过转换可以将平面方程的表达式变换为a0x+a1y+a2＝z，a0＝-a/c，a1＝-b/c，a2＝d/c；此时，对应的最小二乘矩阵为：
Figure BDA0003246370490000131
其中，n≥3，(x1,y1,z1)，(x2,y2,z2)，…，(xn,yn,zn)为原始深度图像中各三维坐标点的坐标，将其带入正规方程组的解x＝(ATA)-1ATb中，即可求得(a0,a1,a2)，从而可以确定平面方程z＝a0x+a1y+a2，基于此平面方程即可获得拟合平面中各个位置处的深度数据。
S2005、以拟合平面为基准面，对深度图像进行重构。
示例性的，基于量测设备获取的深度图像是以该量测设备的零平面为基准面构建的深度图像，其深度数据无法准确表达出样本各个位置处的真实深度值。在确定了深度图像对应的拟合平面后，该拟合平面可表示样本的真实平面；此时，可将深度图像的深度数据转换为点云数据，并以拟合平面为基准面，即以样本的真实平面为基准面，将深度图像的点云数据重新投影到拟合平面上，得到较为理想的点云数据，再将这些点云数据转换为深度数据，即可得到以拟合平面为基准面，重构的深度图像，重构后的深度图像的深度数据能够表达出样本各个位置处的真实深度值。
S2006、根据重构后的深度图像确定深度图像的图像坐标系。
具体的，如图4所示，以分别与重构后的深度图像20中两个相垂直的边相平行的方向作为两个坐标轴(x轴和y轴)，并以两个坐标轴的交点为原点B建立图像坐标系。
S2007、根据标准图像，确定样本的实物坐标系。
具体的，如图5所示，以分别与标准图像10中两个相垂直的的边相平行的方向作为两个坐标轴(X轴和Y轴)，并以两个坐标轴的交点为原点A建立实物坐标系。
S2008、基于标准ROI的标准数据、图像坐标系以及实物坐标系，确定深度图像中的备选坐标。
其中，标准ROI的标准数据即为标准ROI处像素点的坐标，备选坐标位于图像坐标系中的深度图像中某一位置处。此时，可基于实物坐标系中某一坐标轴与图像坐标系中对应的坐标轴之间的夹角和标准ROI处像素点的坐标，即可确定出备选坐标。
具体的，结合参考图4和图5，根据图像坐标系和实物坐标系，确定图像坐标系中第一坐标轴x与实物坐标系中第一坐标轴X之间的第一夹角θ；根据深度图像与标准图像之间的像素当量P以及第一夹角θ，确定深度图像与标准图像的系数矩阵K；其中，
Figure BDA0003246370490000141
根据标准ROI的标准数据和系数矩阵，计算备选坐标(x1、y1)：
Figure BDA0003246370490000142
其中，(x0，y0)为标准ROI的标准数据，像素当量P为深度图像相比于标准图像的缩放比例。
需要说明的是，在本发明实施例中图像坐标系中第一坐标轴为其x轴，以及实物坐标系中的第一坐标轴为其X轴；而在本发明实施例中，图像坐标系中第一坐标轴还可以为其y轴，以及实物坐标系中的第一坐标轴也可以为其Y轴。
示例性的，图6为本发明实施例提供的一种实物坐标系与图像坐标系的参考示意图，如图6所示，实物坐标系中Y轴与图像坐标系统y轴之间的夹角为θ，此可得出深度图像与标准图像的系数矩阵
Figure BDA0003246370490000143
由深度图像与标准图像的系数矩阵，可根据标准ROI确定备选坐标，即
Figure BDA0003246370490000151
S2009、将备选坐标以及备选坐标周围的邻域连通构成备选区域。
S2010、对备选区域进行均分，获得一组备选ROI。
S2011、根据重构后的深度图像，确定各备选ROI的深度数据。
具体的，由标准数据得到的备选坐标仍会存在一定误差，将备选坐标以及备选坐标周围的邻域连通构成一连通区域，该连通区域即为备选区域，即将备选坐标扩大为一个备选区域，通过将备选区域进行均匀细分为N个区域，每一个区域为一个备选ROI，在确定出各备选ROI后，可基于重构后的深度图像或者高度测量工作确定出各备选ROI的深度数据。
其中，当有多个深度图像时，可重复执行S2004-S2011，以确定各深度图像中备选ROI。
S2012、计算不同深度图像中相关联的各备选ROI的深度数据与标准数据的方差之和，作为该相关联的各备选ROI对应的方差。
S2013、根据不同各备选ROI对应的方差，将各组备选ROI中的一备选ROI确定为目标ROI。
S2014、根据目标ROI的深度数据和标准数据，计算量测设备的对齐参数。
本发明实施例提供，通过深度图像的深度数据，确定拟合平面，以拟合平面为基准面对深度图像进行重构，根据重构后的深度图像的图像坐标系和标准图像的实物坐标系，以及标准ROI的标准数据，确定深度图像中的备选坐标，通过将备选坐标扩大为一备选区域，并对备选区域进行细分后确定出一组备选ROI及其深度数据，以能够确定出更为准确的对齐参数，进一步提高了量测设备的对齐准确性。
可选的，由于样本通常放置于样本测量台上，该样本测量台会存在凹凸起伏的情况，因此在根据深度图像的深度数据，确定样本的拟合平面之前，还可以采用图像分割工具对深度图像的深度数据进行过滤，将深度图像的深度数据Z轴方向数值大小进行过滤，分割出比较理想的深度数据，以去除样本测量台对所获得的深度数据产生的干扰。
可选的，在以拟合平面为基准面，对深度图像进行重构之前，还包括：将深度图像的深度数据转换为点云数据，根据点云数据到拟合平面之间的距离，确定拟合平面的平面度，判断拟合平面的平面度是否在预设平面度范围内，若是，则执行以拟合平面为基准面，对深度图像进行重构的步骤。
其中，平面度即为平整度，其可体现出平面的凹凸起伏情况，且平整度的数值越小，说明该平面的凹凸起伏之间的差距越小，可认为该平面的质量越高。
具体的，计算点云数据到拟合平面的距离d，根据平面度计算公式(平面度＝dMax-dMin，dMax为最大距离，dMin为最小距离)评价拟合平面的平整度；其中，若拟合平面的平面度在预设平面度范围内，说明拟合平面能够满足平整度要求，可进行下一步骤，即可执行以拟合平面为基准面，对深度图像进行重构的步骤；而当拟合平面的平面度未在预设平面度范围内时，说明拟合平面无法满足平整度要求，需要重新选取样本，重新进行测量。
可选的，图7为本发明实施例提供的又一种量测设备的对齐方法的流程图，如图7所示，该方法包括：
S3001、获取样本的标准图像。
S3002、根据标准图像，确定标准ROI的标准数据。
S3003、基于同一量测设备，获取与多个样本一一对应的多个深度图像。
S3004、根据深度图像和标准图像，确定每个深度图像中的一组备选ROI和各备选ROI的深度数据。其中，每个深度图像中的一组备选ROI包括阵列排布的N个备选ROI。
S3005、计算不同深度图像中相关联的各备选ROI的深度数据与标准数据的方差之和，作为该相关联的各备选ROI对应的方差。
S3006、根据各备选ROI对应的方差，将各组备选ROI中的一备选ROI确定为目标ROI。
S3007、根据各深度图像中目标ROI的深度数据，一一对应地确定各目标ROI的欧氏距离。
示例性的，以二维空间为例，欧氏距离就是两点之间的实际距离，目标ROI与标准ROI之间的欧氏距离为
Figure BDA0003246370490000171
当共有m个样本时，即有m个深度图像，每个深度图像中都对应一个目标ROI，可计算出与m个目标ROI一一对应的m个欧氏距离。
S3008、以KD-tree的方式，标记各目标ROI的欧氏距离，以将各目标ROI中与标准ROI最近邻的目标ROI确定为最近邻点。
其中，KD-tree简称k维树，是一种空间划分的数据结构，常被用于高维空间中的搜索，使用KD-tree来进行检索，可以减少很多的时间消耗，可以确保点云的关联点寻找和配准处于实时的状态。
此外，上述目标ROI即为确定的初步对齐位置，该初步对齐位置与最近邻点之间具有一定的重叠区域，可将该具有重叠区域的初步对齐位置与最近邻点集融合在一起，再采用空间栅格的划分思想，将其划分为有规律的网格，以清除重叠区域对应的点云数据，仅仅保留具有较高精度的点云数据。
S3009、根据最近邻点的坐标和标准数据，采用最小二乘法，确定量测设备的对齐参数。
示例性的，根据不同排列序号的备选ROI对应的方差，可以在N个备选ROI中均确定一个目标ROI，通过计算不同深度图像中的每个目标ROI与标准ROI之间的欧氏距离，寻找到与标准ROI最近邻的目标ROI，并确定为最近邻点，然后重新放置样本，放置后的样本的深度图像的最近邻点的深度数据与标准样本的标准图像的标准ROI的标准数据符合最小二乘法公式：y＝kx+b，并使得这些最近邻点的深度数据与标准数据之间误差的平方和为最小，以反推出量测设备的对齐参数k和b。
本发明实施例，通过根据欧式距离，确定出与标准ROI最近邻的最近邻点，并基于最小二乘法，采用最近邻点的深度数据与标准ROI的标准数据，计算出量测设备的对齐参数，以进一步提高对齐参数的准确性。
基于同一发明构思，本发明实施例还提供一种量测设备相关性对齐装置，图8为本发明实施例提供的一种量测设备相关性对齐装置的结构框图，该装置可由软件和/或硬件实现，一般集成在量测系统中。如图8所示，该装置800可以包括：
标准图像获取模块810，用于获取样本的标准图像；
标准数据确定模块820，用于根据标准图像，确定标准ROI的标准数据；
深度图像获取模块830，用于基于同一量测设备，获取与多个样本一一对应的多个深度图像；
备选ROI确定模块840，用于根据深度图像和所述标准图像，确定每个深度图像中的一组备选ROI和各备选ROI的深度数据；其中，每个深度图像中的一组备选POI包括阵列排布的N个备选ROI；
方差计算模块850，用于计算不同深度图像中相关联的各备选ROI的深度数据与标准数据的方差之和，作为该相关联的各所述备选ROI对应的方差；
目标ROI确定模块860，用于根据各备选ROI对应的方差，将各组备选ROI中的一备选ROI确定为目标ROI；其中，各组备选ROI的目标ROI相关联；
对齐参数计算模块870，用于根据目标ROI的深度数据和标准数据，计算量测设备的对齐参数。
本发明实施例提供种量测设备相关性对齐装置，实现并行执行本发明实施例所提供的量测设备的对齐方法，可以有效、快速地实现量测设备的对齐。
当然，本发明实施例所提供的一种量测设备相关性对齐装置，其包括的模块不限于如上所述的量测设备相关性对齐装置的模块，还可以包括本发明任意实施例所提供的量测设备的对齐方法中的相关装置结构。
基于同一发明构思，本发明实施例提供了一种量测系统，该系统中可集成本发明实施例提供的量测设备相关性对齐装置。图9为本发明实施例提供的一种量测系统的结构示意图。如图9所示，该量测系统900可以包括：量测设备901、处理器(Central ProcessingUnit，CPU)902。量测设备901用于依次采集多个样本的深度图像，并输出各所述深度数据至所述处理器；处理器902用于根据与多个样本一一对应的多个深度图像。
应该理解的是，图示测量系统900仅仅是一个范例，并且测量系统900可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。
本发明实施例提供的测量体统，实现并行执行本发明任一项实施例所述的量测设备的对齐方法，可以有效、快速地实现量测设备的对齐。
上述实施例中提供的量测设备相关性对齐装置及测量系统可执行本发明任意实施例所提供的量测设备的对齐方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的量测设备的对齐方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种量测设备的对齐方法，其特征在于，包括：
获取样本的标准图像；
根据所述标准图像，确定标准ROI的标准数据；
基于同一所述量测设备，获取与多个样本一一对应的多个深度图像；
根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据；其中，每个所述深度图像中的一组备选ROI包括阵列排布的N个备选ROI；
计算不同所述深度图像中相关联的各所述备选ROI的深度数据与所述标准数据的方差之和，作为该相关联的各所述备选ROI对应的方差；
根据各所述备选ROI对应的方差，将各组所述备选ROI中的一备选ROI确定为目标ROI；其中，各组所述备选ROI的目标ROI相关联；
根据所述目标ROI的深度数据和所述标准数据，计算所述量测设备的对齐参数。
2.根据权利要求1所述的量测设备的对齐方法，其特征在于，获取样本的标准图像，包括：
基于投影仪器，获取样本在不同放置姿态下的多个测量图像；
判断各所述测量图像的差异是否在预设差异范围内；
若是，则将各所述测量图像中的任一所述测量图像确定为所述标准图像。
3.根据权利要求1所述的量测设备的对齐方法，其特征在于，在根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据之前，还包括：
一一对应地构建所述深度图像中各像素的邻域窗口；
根据各所述像素的领域窗口中所有像素的深度数据，修正该所述像素的深度数据。
4.根据权利要求1所述的量测设备的对齐方法，其特征在于，根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据，包括：
根据所述深度图像的深度数据，确定所述样本的拟合平面；
以所述拟合平面为基准面，对所述深度图像进行重构；
根据重构后的所述深度图像确定所述深度图像的图像坐标系；
根据所述标准图像，确定所述样本的实物坐标系；
基于所述标准ROI的标准数据、所述图像坐标系以及所述实物坐标系，确定所述深度图像中的备选坐标位置；
将所述备选坐标位置以及所述备选坐标位置周围的邻域位置连通构成备选区域；
对所述备选区域进行均分，获得一组所述备选ROI；
根据重构后的所述深度图像，确定各所述备选ROI的深度数据。
5.根据权利要求4所述的量测设备的对齐方法，其特征在于，在根据所述深度图像的深度数据，确定所述样本的拟合平面之前，还包括：
采用图像分割工具对深度图像的深度数据进行过滤。
6.根据权利要求5所述的量测设备的对齐方法，其特征在于，在以所述拟合平面为基准面，对所述深度图像进行重构之前，还包括：
将所述深度图像的深度数据转换为点云数据；
根据所述点云数据到所述拟合平面之间的距离，确定所述拟合平面的平面度；
判断所述拟合平面的平面度是否在预设平面度范围内；
若是，则执行以所述拟合平面为基准面，对所述深度图像进行重构的步骤。
7.根据权利要求5所述的量测设备的对齐方法，其特征在于，基于所述标准ROI的标准数据、所述图像坐标系以及所述实物坐标系，确定所述深度图像中的备选坐标，包括：
根据所述图像坐标系和所述实物坐标系，确定所述图像坐标系中第一坐标轴与所述实物坐标系中第一坐标轴之间的第一夹角θ；
根据所述深度图像与所述标准图像之间的像素当量以及所述第一夹角，确定所述深度图像与所述标准图像的系数矩阵K；其中，
Figure FDA0003246370480000031
P为像素当量；
根据所述标准ROI的标准数据和所述系数矩阵，计算所述备选坐标；其中，
Figure FDA0003246370480000032
(x1、y1)为所述备选坐标，(x0，y0)为所述标准ROI的标准数据。
8.根据权利要求1所述的量测设备的对齐方法，其特征在于，根据所述目标ROI的深度数据和所述标准数据，确定所述量测设备的对齐参数，包括：
根据各所述深度图像中目标ROI的深度数据，一一对应地确定各所述目标ROI的欧氏距离；
以KD-tree的方式，标记各所述目标ROI的欧氏距离，以将各所述目标ROI中与所述标准ROI最近邻的所述目标ROI确定为最近邻点；
根据所述最近邻点的位置坐标和所述标准数据，采用最小二乘法，确定所述量测设备的对齐参数。
9.一种量测设备相关性对齐装置，其特征在于，包括：
标准图像获取模块，用于获取样本的标准图像；
标准数据确定模块，用于根据所述标准图像，确定标准ROI的标准数据；
深度图像获取模块，用于基于同一所述量测设备，获取与多个样本一一对应的多个深度图像；
备选ROI确定模块，用于根据所述深度图像和所述标准图像，确定每个所述深度图像中的一组备选ROI和各所述备选ROI的深度数据；其中，每个所述深度图像中的一组备选POI包括阵列排布的N个备选ROI；
方差计算模块，用于计算不同所述深度图像中相关联的各所述备选ROI的深度数据与所述标准数据的方差之和，作为该相关联的各所述备选ROI对应的方差；
目标ROI确定模块，用于根据各所述备选ROI对应的方差，将各组所述备选ROI中的一备选ROI确定为目标ROI；其中，各组所述备选ROI的目标ROI相关联；
对齐参数计算模块，用于根据所述目标ROI的深度数据和所述标准数据，计算所述量测设备的对齐参数。
10.一种量测系统，其特征在于，包括：量测设备和处理器；
所述量测设备用于依次采集多个样本的深度图像，并输出各所述深度数据至所述处理器；
所述处理器用于根据与多个样本一一对应的多个深度图像，执行权利要求1～8任一项所述的量测设备的对齐方法。
CN202111033935.6A 2021-09-03 2021-09-03 量测设备的对齐方法、装置及系统 Active CN113689478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111033935.6A CN113689478B (zh) 2021-09-03 2021-09-03 量测设备的对齐方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111033935.6A CN113689478B (zh) 2021-09-03 2021-09-03 量测设备的对齐方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113689478A true CN113689478A (zh) 2021-11-23
CN113689478B CN113689478B (zh) 2024-02-09

Family

ID=78585272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111033935.6A Active CN113689478B (zh) 2021-09-03 2021-09-03 量测设备的对齐方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113689478B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245879A (zh) * 2023-05-08 2023-06-09 长沙韶光芯材科技有限公司 一种玻璃基板平整度评估方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039871A1 (zh) * 2016-08-29 2018-03-08 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
WO2020211626A1 (zh) * 2019-04-15 2020-10-22 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039871A1 (zh) * 2016-08-29 2018-03-08 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
WO2020211626A1 (zh) * 2019-04-15 2020-10-22 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245879A (zh) * 2023-05-08 2023-06-09 长沙韶光芯材科技有限公司 一种玻璃基板平整度评估方法和系统

Also Published As

Publication number Publication date
CN113689478B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Xu et al. Line structured light calibration method and centerline extraction: A review
Orteu et al. Multiple-camera instrumentation of a single point incremental forming process pilot for shape and 3D displacement measurements: methodology and results
CN111089569B (zh) 一种基于单目视觉的大型箱体测量方法
CN109443209B (zh) 一种基于单应性矩阵的线结构光系统标定方法
CN108876744B (zh) 一种基于区域分割的大尺度点云噪声去噪方法
Wu et al. A novel high precise laser 3D profile scanning method with flexible calibration
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
Belhaoua et al. Error evaluation in a stereovision-based 3D reconstruction system
Ravishankar et al. Automated inspection of aircraft parts using a modified ICP algorithm
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
CN116402792A (zh) 一种基于三维点云的空间孔位对接方法
CN113689478B (zh) 量测设备的对齐方法、装置及系统
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN110864671B (zh) 基于线结构光拟合平面的机器人重复定位精度测量方法
CN114413788A (zh) 基于双目视觉和反向模型重构的零件表面图案检测方法
CN115578429B (zh) 一种基于点云数据的模具在线精度检测方法
CN116385347A (zh) 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法
CN114648544A (zh) 一种亚像素椭圆提取方法
CN111612071B (zh) 一种从曲面零件阴影图生成深度图的深度学习方法
Belhaoua et al. Estimation of 3D reconstruction errors in a stereo-vision system
Spence et al. Automotive sheet metal and grid digitizing solutions
Wang et al. Full Period Three-dimensional (3-D) Reconstruction Method for a Low Cost Singlelayer Lidar.
Zhu et al. Intelligent measuring device and method for large grinding wheel size
Zhang et al. A high-precision vision measurement method based on dimension characteristics of sequential partial images
Ker et al. A Quick Hough Transform Parameter Search algorithm for flexible part inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant