CN116839502A - 一种基于ai技术测量对象长宽高及孔径孔深的方法及装置 - Google Patents

Abstract

本发明揭示了一种基于AI技术测量对象长宽高及孔径孔深的方法及装置，其特征原理是先通过相机设备捕获待测物图像，而后通过计算机对待测物进行三维重建，将捕获到的图像重建为点云图，同时对捕获到的图像利用AI算法提取得到待检测区域的二维轮廓，再将二维轮廓映射到点云图中，最后用测量算法测出匹配后待计算区域的轮廓尺寸。应用本测量方案，通过集成了二维测量和三维测量两个任务，以供不同用户需求选择测量任务，同时应用AI算法落地到实际的测量场景中，显著提速并能获得高精度的特征尺寸。

Description

一种基于AI技术测量对象长宽高及孔径孔深的方法及装置

技术领域

本发明涉及一种计算机三维测量技术，尤其涉及一种基于AI技术测量对象长宽高及孔径、孔深的方法和装置。

背景技术

以3C产品为例，这类产品具有封闭式的结构、轮廓多且复杂等特点，这类产品在装配过程中严格受尺寸的约束，因此针对3C产品的测量是十分重要的。在早期的工业中，通常采用人工测量法，不仅效率低下，而且用人成本高，不能满足现代工业的发展需求。

随着现代检测技术的进步，特别是随着激光技术、计算机技术以及图像处理技术等高新技术的发展，三维测量技术逐步成为人们的研究重点。光学三维测量技术由于非接触、快速测量、精度高等优点在机械、汽车、航空航天等制造工业及服装、玩具、制鞋等民用工业得到广泛的应用。

三维测量技术可分为接触式和非接触式测量两大类。在接触式测量中，典型的代表是坐标测量机。它能够测量各种零件的三维轮廓尺寸，测量精度相对较高。但是测量时操作人员凭手的感觉来保证测头和工件的接触压力，这往往因人而异，并且读数时也很难定量描述。并且早期的坐标测量机大多使用固定刚性测头，这类测头为非反馈式测头，需对测头半径进行三维补偿才能得到真实的实物表面数据。接触式测量的最大的弊端在于无法测量不可触及的表面，如软表面、精密的光滑表面等，且测量效率低下，不适合大范围测量。

在非接触式测量中，典型的代表有3D轮廓扫描仪、3D激光扫描仪等。3D轮廓扫描仪通过扫描待测产品的局部轮廓，根据对此轮廓进行测量相应的尺寸。虽然应用广泛，但是要想测量不同的轮廓需要不断地转动3D轮廓仪，且3D轮廓仪在转动过程中存在抖动，为成像引入了噪声。3D激光扫描仪通过光学发射孔发射出激光、LED光、蓝色光栅等结构光，工业CCD接收反射回来的光信号，测量时间差，根据不同光的传播速度，计算出距离，但是对于一些工件的内部腔体、异形流道、深孔，3D扫描仪是无法采集到的。从有益的技术效果来看，该非接触测量方式具有无损伤、高精度、高速度以及易于在计算机控制下实行自动化测量等特点，可以对物体进行静态或动态的测量。

发明内容

本发明的目的旨在提出一种基于AI技术测量对象长宽高及孔径、孔深的方法和装置，解决3C产品外形及表面特征的测量问题。

本发明实现上述一个目的的技术解决方案是，测量方法先通过相机设备捕获待测物图像，而后通过计算机对待测物进行三维重建，将捕获到的图像重建为点云图，同时对捕获到的图像利用AI算法提取得到待检测区域的二维轮廓，再将二维轮廓映射到点云图中，最后用测量算法测出匹配后待计算区域的轮廓尺寸。

上述测量方法，进一步地包括步骤：S1、获取数据，将待测物置于符合拍摄背光的托盘上，使用光源照亮待测物，利用位于托盘正上方的相机及其镜头对待测物拍照，捕获待测物图像，利用投影仪对待测物投影，并由相机拍摄得到待测物表面的编码图像；

S2、三维重建，对相机和投影仪分别进行系统标定，以获取相机的内外参数和畸变系数，三维重建单元接收得自于相机的编码图像并进行解码，而后基于系统标定的参数重建点云图和深度图；

S3、获取待测物的CAD图，根据所需测量尺寸的位置在CAD图裁剪若干感兴趣区域；

S4、在待测物图像上利用AI算法找到测量区域并提取轮廓，然后将三维重建的点云图转换视角，使之与S3中裁剪所得各个感兴趣区域的视角保持一致，再将提取轮廓的测量区域映射到点云图上，并由此计算对应测量区域下长、宽、高、孔径、孔深中的一个或多个参数。

上述测量方法，更进一步地，S4中对所述待测物图像提取轮廓的方法为采用Canny算子提取结合连通区域拟合，得到连续且完整的待测物轮廓。

上述测量方法，更进一步地，其特征在于：S3中所述感兴趣区域得自于模板匹配，以CAD图所得轮廓为待检测图，以任意视角下待测物图像所得轮廓为模板图像，在待检测图上扫描并计算模板图像与重叠部分的图像的匹配度，并将匹配区域映射回待测物图像中，设为感兴趣区域。

上述测量方法，再进一步地，S3中由CAD图所得感兴趣区域通过Canny算子提取外轮廓及工件内部轮廓。

本发明实现上述另一个目的的技术解决方案是，测量装置包括：

获取数据单元，用于将待测物置于符合拍摄背光的托盘上，使用光源照亮待测物，利用位于托盘正上方的相机及其镜头对待测物拍照，捕获待测物图像，利用投影仪对待测物投影，并由相机拍摄得到待测物表面的编码图像；

三维重建单元，用于对相机和投影仪分别进行系统标定，以获取相机的内外参数和畸变系数，再对接收得自于相机的编码图像并进行解码，而后基于系统标定的参数重建点云图和深度图；

CAD处理单元，用于基于计算机获取待测物的CAD图，并根据所需测量尺寸的位置在CAD图裁剪若干感兴趣区域；

计算单元，用于基于计算机在待测物图像上利用AI算法找到测量区域并提取轮廓，然后将三维重建的点云图转换视角，使之与S3中裁剪所得各个感兴趣区域的视角保持一致，再将提取轮廓的测量区域映射到点云图上，并由此计算对应测量区域下长、宽、高、孔径、孔深中的一个或多个参数。

上述测量装置，进一步地，所述CAD处理单元设有模板匹配器并载入有任意视角下待测物图像所得轮廓的模板图像，用于以CAD图所得轮廓为待检测图，在待检测图上扫描并计算模板图像与重叠部分的图像的匹配度，并将匹配区域映射回待测物图像中，设为感兴趣区域。

上述测量装置，进一步地，所述计算单元中内置有基于Canny算子的边缘检测算法和连通区域拟合算法，用于对所述待测物图像提取并得到连续且完整的待测物轮廓；或用于对CAD图所得感兴趣区域提取外轮廓及工件内部轮廓。

应用本发明的测量方法及装置，具备突出的实质性特点和显著进步性，表现为：

1）、具有较高的普适性，通过集成了二维测量和三维测量两个任务，以供不同用户需求选择测量任务，2）提高了测量过程的速度和精度，应用AI算法落地到实际的测量场景中，显著提速并能获得高精度的特征尺寸。

附图说明

图1是本发明测量装置的实物架构示意图。

图2是本发明测量方法的总体技术路线图。

图3是本发明测量方法中找到待计算区域轮廓的算法流程图。

实施方式

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。

本发明采用非接触式的测量方法，旨在针对3C产品的内外轮廓的长宽高，孔径、孔深进行测量，将AI技术与三维测量相结合，提高测量精度和效率。

首先本发明硬件装置如图1所示，由相机设备、托盘、算法模组三部分组成。其中相机设备负责捕获托盘上的待测物。托盘的位置是固定的且托盘上表面设为全黑色、漫反射，待测物只有放在托盘范围内才会被相机设备捕获到。这便构成了本发明功能含义上的获取数据单元，用于将待测物置于符合拍摄背光的托盘上，使用光源照亮待测物，利用位于托盘正上方的相机及其镜头对待测物拍照，捕获待测物图像，利用投影仪对待测物投影，并由相机拍摄得到待测物表面的编码图像。

上述算法模组包括三维重建算法、图像轮廓提取算法、图像模板匹配算法、三维点云视角转换算法、测量尺寸算法，最终输出测量结果。从功能含义上划分，构成三维重建单元，用于对相机和投影仪分别进行系统标定，以获取相机的内外参数和畸变系数，再对接收得自于相机的编码图像并进行解码，而后基于系统标定的参数重建点云图和深度图，CAD处理单元，用于基于计算机获取待测物的CAD图，并根据所需测量尺寸的位置在CAD图裁剪若干感兴趣区域；以及计算单元，用于基于计算机在待测物图像上利用AI算法找到测量区域并提取轮廓，然后将三维重建的点云图转换视角，使之与S3中裁剪所得各个感兴趣区域的视角保持一致，再将提取轮廓的测量区域映射到点云图上，并由此计算对应测量区域下长、宽、高、孔径、孔深中的一个或多个参数。

再者本发明测量方法的技术路线如图2所示，该装置首先通过相机设备捕获待测物图像，一方面对待测物进行三维重建，将捕获到的图像重建为点云数据；另一方面对捕获到的图像利用AI算法提取到待检测区域的轮廓，之后将二维轮廓映射到点云中，最后用测量算法测出匹配后的轮廓尺寸。

细化步骤来看，S1、相机获取数据：相机设备由相机、镜头、光源和投影仪组成，目的是捕获待测物图像。获取图像时，将待测物置于托盘上，相机一方面于托盘的正上方在光源的作用下捕获图像，一方面在投影仪的作用下捕获编码图像。拍摄到的编码图像会送到三维重建单元进行重建。

S2、三维重建，大致可分为系统标定和重建两步。系统标定主要是为了获取相机设备的内外参和畸变系数，重建是为了建立待测物的点云和深度图。系统标定是指对相机和投影仪的标定，相机的标定是为了采集到正确的图像，投影仪的标定是为了采集到正确编码的图像。投影仪将编码后的图案投射到待测物表面，相机捕获编码图案，然后对编码图案进行解码，最后基于标定参数重建点云和深度图。重建之后的点云图在Z方向的重复精度可达到14微米，另外如果自研的三维重建算法精度不能够满足工业场景中实际精度需求，本装置也支持直接读取高精度点云数据。

S3、获取待测物的CAD图，CAD图是待测物的生产标准图，每一个工件都是根据CAD图纸上的结构和尺寸生产制造出来的，而在加工生产的过程中，由于硬件的磨损等因素会导致生产的工件尺寸有偏差，这时候就需要对工件进行测量，防止次品影响后续装配工作，因此待测物CAD图是最标准的图。

S4、在点云中找到待计算区域的轮廓，在捕获到的待测物图像上利用AI算法找到要测量的区域，并对此区域提取轮廓，然后将三维重建的点云转换视角，使点云视角与图片视角保持一致，最后将图像中的轮廓区域映射到点云图上，以此来计算此区域的长、宽、高、孔径四个参数。

从更进一步细化特征来看，如图3所示是在点云中找到待计算区域轮廓的算法流程图。

S41：获取某个视角下的待测物图像。

S42：获取待测物的CAD图，并明确要计算待测物中的哪些尺寸，然后在CAD图中将感兴趣区域裁剪出来，不同的感兴趣区域用来计算不同的尺寸，因此可能裁取多个感兴趣区域。如要测量待测物的某个面上的长宽，就将这个面当作感兴趣区域。

S43：对S41获得的图像用Canny算子提取轮廓，Canny是一种非常流行的边缘检测算法，它会先对图像进行降噪，目的是增强图像，更好的检测轮廓，然后计算图像的梯度，得到可能的边缘。之后用非极大值抑制，将灰度变化最大的保留下来，其它的则不保留，这样即可剔除掉一些冗余点；最后用双阈值筛选进一步去除冗余点，确保得到的是一个干净的轮廓。但是Canny算子会造成轮廓不连续的问题，所以选择对轮廓做一步连通区域拟合，将不连续的轮廓连接起来，得到一个比较完整的待测物轮廓。

S44：对S42获得的感兴趣区域CAD图也用Canny提取轮廓，与S43不同的是，此处提取到的整体轮廓往往只有感兴趣区域的外轮廓，而且对于工件内部轮廓也能够准确获得。

S45：对S43、S44得到的轮廓数据进行模板匹配，目的是在待测图像上找到感兴趣区域。将S42获得的轮廓当作待检测图，将S43获得的轮廓当作模板图，然后在待检测图像上，从左到右、从上到下计算模板图像与重叠部分的图像的匹配度，匹配程度越大，二者相同的可能性就越大。获取匹配度时，需要先对模板图和重叠部分的图像提取特征，然后根据特征之间的相似度得到匹配度。最后将这个相似度高的区域映射回S41中的待测物图像中，这样就得到待测物图像的感兴趣区域，也就是要测量的区域。如果测量的任务是二维尺寸，比如一个面上的长、宽、圆孔的孔径等。至此就可以直接对匹配得到的感兴趣区域进行测量，但此时无法测量高、孔深等这些立体尺寸的，因此为了测量更多的立体尺寸，需要借助点云信息。

S46：基于三维重建算法，得到一组待测物的点云数据。考虑到若重建的点云精度不高则会影响测量的结果这一因素，在测量任务中选取公差范围在±0.5毫米的元件，这种元件允许有小数点后两位的误差，不会影响工件的装配。若要测量更精密的工件，就需要更高精度的点云数据。

S47：一般情况下，默认主坐标系即为捕获视角，若主坐标系与捕获视角不一致则需要切换点云视角，目的是为了让点云数据的视角与图片一致。具体做法是先对点云进行均匀采样，目的是为了节约计算量，然后记录下主视角下点云的视点、方向向量和上方向，根据这些信息就可以将任意视角下的点云转换到主视角下，使点云的主视角与捕获到的图片一致。

S48：经过上述步骤的操作，得到了一个有感兴趣区域的图片和一个与图片视角一致的点云数据。为了测量尺寸，记录图片中感兴趣区域中轮廓的像素点坐标。因为点云视图与图片一致，将像素点坐标映射到点云中，即可得到感兴趣区域中轮廓的三维坐标，也就是说在点云中找到了待计算的区域。

S49：最后，在点云中感兴趣区域中，找到最大、最小坐标点，即可计算出长宽高、孔径、孔深等尺寸参数的测量结果。

综上关于本发明基于AI技术测量对象长宽高及孔径、孔深的方法和装置介绍及实施例详述可见，本方案相对于现有技术具备显著的进步性：1）、具有较高的普适性，通过集成了二维测量和三维测量两个任务，以供不同用户需求选择测量任务，2）提高了测量过程的速度和精度，应用AI算法落地到实际的测量场景中，显著提速并能获得高精度的特征尺寸。

Claims (8)

1.一种基于AI技术测量对象长宽高及孔径孔深的方法，其特征在于：先通过相机设备捕获待测物图像，而后通过计算机对待测物进行三维重建，将捕获到的图像重建为点云图，同时对捕获到的图像利用AI算法提取得到待检测区域的二维轮廓，再将二维轮廓映射到点云图中，最后用测量算法测出匹配后待计算区域的轮廓尺寸。

2.根据权利要求1所述基于AI技术测量对象长宽高及孔径孔深的方法，其特征在于包括步骤：S1、获取数据，将待测物置于符合拍摄背光的托盘上，使用光源照亮待测物，利用位于托盘正上方的相机及其镜头对待测物拍照，捕获待测物图像，利用投影仪对待测物投影，并由相机拍摄得到待测物表面的编码图像；

S2、三维重建，对相机和投影仪分别进行系统标定，以获取相机的内外参数和畸变系数，三维重建单元接收得自于相机的编码图像并进行解码，而后基于系统标定的参数重建点云图和深度图；

S3、获取待测物的CAD图，根据所需测量尺寸的位置在CAD图裁剪若干感兴趣区域；

S4、在待测物图像上利用AI算法找到测量区域并提取轮廓，然后将三维重建的点云图转换视角，使之与S3中裁剪所得各个感兴趣区域的视角保持一致，再将提取轮廓的测量区域映射到点云图上，并由此计算对应测量区域下长、宽、高、孔径、孔深中的一个或多个参数。

3.根据权利要求2所述基于AI技术测量对象长宽高及孔径孔深的方法，其特征在于：S4中对所述待测物图像提取轮廓的方法为采用Canny算子提取结合连通区域拟合，得到连续且完整的待测物轮廓。

4.根据权利要求2所述基于AI技术测量对象长宽高及孔径孔深的方法，其特征在于：S3中所述感兴趣区域得自于模板匹配，以CAD图所得轮廓为待检测图，以任意视角下待测物图像所得轮廓为模板图像，在待检测图上扫描并计算模板图像与重叠部分的图像的匹配度，并将匹配区域映射回待测物图像中，设为感兴趣区域。

5.根据权利要求2或4所述基于AI技术测量对象长宽高及孔径孔深的方法，其特征在于：S3中由CAD图所得感兴趣区域通过Canny算子提取外轮廓及工件内部轮廓。

6.一种基于AI技术测量对象长宽高及孔径孔深的装置，其特征在于包括：

获取数据单元，用于将待测物置于符合拍摄背光的托盘上，使用光源照亮待测物，利用位于托盘正上方的相机及其镜头对待测物拍照，捕获待测物图像，利用投影仪对待测物投影，并由相机拍摄得到待测物表面的编码图像；

三维重建单元，用于对相机和投影仪分别进行系统标定，以获取相机的内外参数和畸变系数，再对接收得自于相机的编码图像并进行解码，而后基于系统标定的参数重建点云图和深度图；

CAD处理单元，用于基于计算机获取待测物的CAD图，并根据所需测量尺寸的位置在CAD图裁剪若干感兴趣区域；

计算单元，用于基于计算机在待测物图像上利用AI算法找到测量区域并提取轮廓，然后将三维重建的点云图转换视角，使之与S3中裁剪所得各个感兴趣区域的视角保持一致，再将提取轮廓的测量区域映射到点云图上，并由此计算对应测量区域下长、宽、高、孔径、孔深中的一个或多个参数。

7.根据权利要求6所述基于AI技术测量对象长宽高及孔径孔深的装置，其特征在于：所述CAD处理单元设有模板匹配器并载入有任意视角下待测物图像所得轮廓的模板图像，用于以CAD图所得轮廓为待检测图，在待检测图上扫描并计算模板图像与重叠部分的图像的匹配度，并将匹配区域映射回待测物图像中，设为感兴趣区域。

8.根据权利要求6所述基于AI技术测量对象长宽高及孔径孔深的装置，其特征在于：所述计算单元中内置有基于Canny算子的边缘检测算法和连通区域拟合算法，用于对所述待测物图像提取并得到连续且完整的待测物轮廓；或用于对CAD图所得感兴趣区域提取外轮廓及工件内部轮廓。