CN116592776A - 一种基于三维点云的管径尺寸检测方法、装置及电子设备 - Google Patents
一种基于三维点云的管径尺寸检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116592776A CN116592776A CN202310882815.6A CN202310882815A CN116592776A CN 116592776 A CN116592776 A CN 116592776A CN 202310882815 A CN202310882815 A CN 202310882815A CN 116592776 A CN116592776 A CN 116592776A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- pipe diameter
- target
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 229910001141 Ductile iron Inorganic materials 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 229910001018 Cast iron Inorganic materials 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000000498 ball milling Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
- G01B11/12—Measuring arrangements characterised by the use of optical techniques for measuring diameters internal diameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于三维点云的管径尺寸检测方法、装置及电子设备。所述方法包括：基于视觉引导系统获取目标工件管径的初始三维点云；根据初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于最佳位姿进行分区拍照，得到分区局部点云；将分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；提取精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于二维轮廓图计算目标工件管径的内径尺寸。本申请能实现更精准的管径尺寸检测，即使工件存在位置变动和尺寸变动，仍能检测出高精度的管径尺寸。
Description
技术领域
本申请涉及质量检测技术领域，具体而言，本申请涉及一种基于三维点云的管径尺寸检测方法、装置及电子设备。
背景技术
球磨铸铁管是指使用特定的材料，经过离心球墨铸铁机高速离心铸造成的管材。其长度随浇注模具尺寸而定，但是依据品质管控要求，在生产过程中，制造商需要证明球磨铸铁管的各种性能，每生产一定数量球墨铸铁管，就需从中抽取一根并截取一段（约100mm）做性能试验。在这种情况下，球墨铸铁管的实际长度会有变化。
现阶段生产车间的检测工序是由机械臂完成打磨后，经过输送链运转到检测工位。此时的球墨铸铁管存在四个自由度（沿着输送链前进方向和垂直于输送链前进方向的平动，以及绕铸铁管径向和垂直于输送链向上的转动）。单检测工位要满足多种型号的检测要求，检测尺寸变动范围大，且待检测区域为具有一定深度的管径尺寸。
然而现阶段该工位还是由一名工人拿不同尺寸的通规，分别对不同型号的球墨铸铁管进行接触式的尺寸检测，使工作强度高且合格标准非常依赖工人操作经验。而且现阶段的工件存在位置变动和尺寸变动，检测尺寸跨度大，待检测区域还是具有一定深度要求的管径尺寸，检测精度要求高。
发明内容
基于上述技术问题，本发明提供一种基于三维点云的管径尺寸检测方法、装置及电子设备，以更精准地实现管径尺寸的检测。
本发明第一方面提供了一种基于三维点云的管径尺寸检测方法，所述方法包括：
基于视觉引导系统获取目标工件管径的初始三维点云；
根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
在本发明的一些实施例中，所述n个区域包含目标工件管径的整个待检测区域且不同区域之间存在重叠，重叠面积至少为预设面积。
在本发明的一些实施例中，在所述基于ICP精配准进行三维重建之前还包括：
将滤波降噪后的分区局部点云基于所述目标管径依次进行平面拟合及圆柱拟合，得到第一拟合平面和第一拟合圆柱；
利用所述第一拟合平面和第一拟合圆柱进行三维重建。
在本发明的一些实施例中，所述基于ICP精配准进行三维重建，得到精配准的三维重建点云模型包括：
针对所述第一拟合平面和第一拟合圆柱，将滤波降噪后的分区局部点云对应所述n个区域的三维点云分别进行配准，通过所述第一拟合平面和第一拟合圆柱的点集分别求解出旋转矩阵和平移矩阵；
基于最小二乘法对旋转矩阵和平移矩阵进行迭代计算，直至满足构建的误差函数平方和最小；
用迭代计算得到的旋转矩阵和平移矩阵，将所述n个区域的三维点云进行坐标变换，得到精配准的三维重建点云模型。
在本发明的一些实施例中，所述误差函数为：
其中，R表示旋转矩阵，t表示平移矩阵，pi表示目标三维点云，qi表示候选三维点云，i为点云序号，i的取值范围在1和n之间。
在本发明的一些实施例中，提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，包括：
针对精配准的三维重建点云模型，建立工件坐标系，并求解出新的垂直于第一拟合平面且过第一拟合圆柱轴线的平面方程，得到第二拟合平面；
将圆柱区域点云投影到所述第二拟合平面，根据工件坐标系对所述圆柱区域点云进行旋转变换；
针对旋转变换后对应的第二拟合平面，确定目标区域；
根据平面点云的轮廓线计算算法在所述目标区域中提取目标外轮廓点云，并对该外轮廓上的点云按照顺时针或逆时针进行排序，得到二维轮廓图。
在本发明的一些实施例中，基于所述二维轮廓图计算所述目标工件管径的内径尺寸，包括：
根据所述二维轮廓图选取排序后外轮廓的上边缘点或下边缘点，计算相邻两点间的向量与z轴正方向的夹角，若所述夹角小于预设角度，则保留所述相邻两点，直至得到目标点集；
将所述目标点集中的起点与终点间的y轴区域，确定为待直通滤波区域，将所述直通滤波区域映射至所述精配准的三维重建点云模型后进行直通滤波，得到目标三维点云；
获取所述第一拟合圆柱的轴线上一点，将该点和所述目标三维点云投影到所述第二拟合平面中，得到投影中心及投影点集；
根据所述投影中心及投影点集计算所述目标工件管径的内径尺寸。
本发明第二方面提供了一种基于三维点云的管径尺寸检测装置，所述装置包括：
获取模块，被配置为基于视觉引导系统获取目标工件管径的初始三维点云；
分区模块，被配置为根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
配准模块，被配置为将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
计算模块，被配置为提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
本发明第三方面提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明各实施例中的所述基于三维点云的管径尺寸检测方法。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明各实施例中的所述基于三维点云的管径尺寸检测方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请根据初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于最佳位姿进行分区拍照，得到分区局部点云，将分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型，提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸，实现了对管径尺寸的精准检测，即使在工件存在位置变动和尺寸变动使检测尺寸跨度大时，依然能检测出高精度的管径尺寸。另外，本申请减少了对人工操作的依赖，提升了检测管径尺寸效率的同时也提升了对目标尺寸的检测精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请一示例性实施例中的一种基于三维点云的管径尺寸检测方法步骤示意图；
图2示出了本申请一示例性实施例中的视觉引导系统及机械臂示意图；
图3示出了本申请一示例性实施例中的机械臂夹持手机的最佳位姿示意图；
图4示出了本申请一示例性实施例中的一种图像采集区域示意图；
图5示出了本申请一示例性实施例中的一种滤波降噪处理示意图；
图6示出了本申请一示例性实施例中的一种滤波降噪处理后确定的待检测区域示意图；
图7示出了本申请一示例性实施例中的一种RANSAC平面拟合示意图；
图8示出了本申请一示例性实施例中的一种RANSAC圆柱拟合示意图；
图9示出了本申请一示例性实施例中的一种精配准的三维重建点云模型示意图；
图10示出了本申请一示例性实施例中的一种点云的平面映射示意图；
图11示出了本申请一示例性实施例中的一种二维轮廓图示意图；
图12示出了本申请一示例性实施例中的一种目标区域示意图；
图13示出了本申请一示例性实施例中的一种管径求解示意图；
图14示出了本申请一示例性实施例中的一种基于三维点云的管径尺寸检测装置结构示意图；
图15示出了本申请一示例性实施例所提供的一种电子设备的结构示意图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其它的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
下面结合说明书附图1-附图15给出几个实施例来描述根据本申请的示例性实施方式。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
在本申请一些示例性实施例中，提供了一种基于三维点云的管径尺寸检测方法，如图1所示，所述方法包括：
S1、基于视觉引导系统获取目标工件管径的初始三维点云；
S2、根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
S3、将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
S4、提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
在一种优选的实现方式中，可参考图2，采用视觉引导系统对机械臂夹持的相机进行定位，对目标管径进行拍照，得到初始三维点云。然而初始三维点云未必是精确的，如图3所示，需要根据初始三维点云对应的基座标系下的位置确定（图3中的左图）机械臂夹持相机的最佳位姿（图3中的右图），在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2。如图4所示，n个区域包含目标工件管径的整个待检测区域且不同区域之间存在重叠，重叠面积至少为预设面积，优选地，预设面积大于等于每个区域的三分之一，以保证将目标工件管径的整个待检测区域都包含进来，这样得到的分区局部点云能反映目标工件管径的整个待检测区域。
本实施例中，将所述分区局部点云进行滤波降噪处理，参考图5和图6，图5为滤波降噪之前的三维效果，图6为滤波降噪之后确定的待检测区域，可见滤波降噪处理作用较大。滤波降噪处理能抑制外界的噪声，从而使信号变得更加清晰。它可以滤除信号中的某些特定频率的噪声，例如电磁噪声、高频噪声等。此外，滤波降噪处理还可以有效地抑制信号中的抖动，从而使信号变得更加稳定。
在一种优选的实现方式中，在基于ICP精配准进行三维重建之前还包括：将滤波降噪后的分区局部点云基于所述目标管径依次进行平面拟合及圆柱拟合，得到第一拟合平面和第一拟合圆柱；利用所述第一拟合平面和第一拟合圆柱进行三维重建。具体地，对滤波降噪后的分区局部点云中随机选取三点，计算平面方程：
其中，为工件端面的平面拟合待定系数，x，y，z表示x轴、y轴、z轴坐标，对应的平面法向量为/>。
计算第i个区域工件上的所有点到该平面的距离/>：
根据点到平面距离的阈值，将/>分为内点（inliers）和外点（outliers），迭代求解，算出拟合参数/>和/>。对滤波降噪后的分区局部点云基于所述目标管径平面的拟合，得到第一拟合平面。其中，平面拟合示意图参考图7，这里的平面拟合即为对工件的端面进行拟合，如图7所示，目标工件的端面包含有n个平面。
不仅如此，针对滤波降噪之后确定的待检测区域，由圆柱面的几何特征可得，圆柱面（指连接工件端面的圆柱面）上的点到其轴线的距离等于半径，对工件的所述个区域的圆柱面进行拟合（如图8所示）。为确定圆柱面模型参数初始值，分别取n个区域的圆柱端面上任一点作为初始值，并取邻域若干临近点进行遍历，直至选取端面上的所有点，从而得到拟合平面。根据拟合平面得到该平面的法向量。将该法向量进行单位化处理，即为圆柱轴线向量初始值/>。对圆柱进行坐标转换，使圆柱轴线向量/>变换为平行 Z 轴的向量，则圆柱面上的点的/>就是一个平面圆上的点。对上步的点进行圆拟合即可得到圆心坐标/>和半径/>，从而得到圆柱表面的拟合方程：
其中为第i个区域工件上圆柱表面上第j个点/>的坐标，/>为对应区域的圆柱轴线上一点，/>为圆柱轴线方向的向量（由拟合平面的法向量得到），/>为圆柱半径。
将上述公式展开并进一步整理得：
根据上述的圆柱面方程构建最小优化的误差方程：
其中，式中E为误差函数，为第i个区域圆柱的第j个点到圆柱轴线的距离，/>为第i个区域圆柱面的半径。
作为可变换的实施方式，由于误差方程为非线性，为了简化求解过程，可以对误差方程进行线性化处理。线性化处理基于一阶泰勒展开，将误差方程在当前参数估计点处进行线性逼近。通过线性化，可以将非线性优化问题转化为线性最小二乘问题。为保证最优参数的前提，并兼顾。令误差方程为：
对该误差方程进行线性化处理，并根据最小二乘法求解得到拟合的圆柱体参数。
在另一种优选的实现中，基于ICP（全称为 Iterative Closest Point ）精配准进行三维重建，得到精配准的三维重建点云模型包括：针对第一拟合平面和第一拟合圆柱，将滤波降噪后的分区局部点云对应n个区域的三维点云分别进行配准，通过第一拟合平面和第一拟合圆柱的点集分别求解出旋转矩阵和平移矩阵；基于最小二乘法对旋转矩阵和平移矩阵进行迭代计算，直至满足构建的误差函数平方和最小；用迭代计算得到的旋转矩阵和平移矩阵，将n个区域的三维点云进行坐标变换，得到如图9所示精配准的三维重建点云模型，精配准的三维重建点云模型更能促进目标管径尺寸的检测。
其中，误差函数为：
其中，R表示旋转矩阵，t表示平移矩阵，pi表示第一目标三维点云，qi表示候选三维点云，i为点云序号，i的取值范围在1和n之间。此处的候选三维点云其实是滤波降噪之后确定的待检测区域经过平面拟合及圆柱拟合之后所得的结果，而此处的第一目标三维点云为ICP精配准后的目标三维点云。
具体地，在第一目标三维点云中选取；在候选三维点云找出/>，使得值最小；计算旋转矩阵 R 和平移矩阵 t，使得误差函数最小：
根据上步计算得到 R 和 t，对进行变换，得到新点集/>；计算/>与对应点集/>的平均距离/>；若/>小于给定阈值/>或大于迭代次数，则停止计算，否则循环执行上一步骤，直至满足收敛条件。经过ICP精配准，使精配准的三维重建点云模型更加精准地贴合目标工件管径的实际尺寸，从而使最后的检测精确。
在一些实施例中，提取精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，包括：针对精配准的三维重建点云模型，如图10所示，建立工件坐标系，并求解出新的垂直于第一拟合平面且过第一拟合圆柱轴线的平面方程，得到第二拟合平面；将圆柱区域点云投影到第二拟合平面，根据工件坐标系对圆柱区域点云进行旋转变换；针对旋转变换后对应的第二拟合平面，确定目标区域；根据平面点云的轮廓线计算算法在目标区域中提取目标外轮廓点云，并对该外轮廓上的点云按照顺时针或逆时针进行排序，如图11所示，得到二维轮廓图，其中图12示意出所述目标区域。此处的目标区域是为了提取二维轮廓图而得到的区域，如图12所示，目标区域的选取同样是为了二维轮廓图与目标工件的实际管径更贴合，以实现最后管径尺寸检测的高精准度。
在一种优选的实现方式中，基于二维轮廓图计算目标工件管径的内径尺寸，包括：根据二维轮廓图选取排序后外轮廓的上边缘点或下边缘点，计算相邻两点间的向量与z轴正方向的夹角，若夹角小于预设角度θ，则保留相邻两点，直至得到目标点集；将目标点集中的起点与终点间的y轴区域，确定为待直通滤波区域，将直通滤波区域映射至精配准的三维重建点云模型后进行直通滤波，得到第二目标三维点云；获取第一拟合圆柱的轴线上一点，将该点和目标三维点云投影到目标外轮廓点云拟合的平面即所述第二拟合平面中，得到投影中心及投影点集；根据投影中心及投影点集计算目标工件管径的内径尺寸。精配准的三维重建点云模型本已经属于精配准的模型，又经过直通滤波，则更为后续的管径尺寸计算做足了准备。在获取目标点集时，相邻两点例如A点和B点，以A点为基准点，计算A点与B点之间的向量，若夹角小于预设角度θ则保留A点与B点。再以B点为基准点，计算B点与C点之间的向量，若夹角大于等于预设角度θ，则删掉C点。接着以B点为基准点，考察与B点相邻的D点，等等。另外，利用 PCL中的RANSAC圆柱体拟合算法可计算得到圆柱轴线一点，将第二目标三维点云和该点投影到端面拟合的平面（即指代目标外轮廓点云拟合的平面）中，如图13所示，得到投影中心点/>及投影点集/>；计算投影点到投影中心的距离：/>
其中，该尺寸即为内径尺寸。相比于现有技术，本申请利用分区域的精配准操作，对精配准的三维重建点云模型进行检测，实现更精准的管径尺寸检测，即使工件存在位置变动和尺寸变动，仍能检测出高精度的管径尺寸，提升了检测质量和效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
在本申请一些示例性实施例中，还提供了一种基于三维点云的管径尺寸检测装置，执行本申请各实施例中所述的基于三维点云的管径尺寸检测方法，如图14所示，所述装置包括：
获取模块1401，被配置为基于视觉引导系统获取目标工件管径的初始三维点云；
分区模块1402，被配置为根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
配准模块1403，被配置为将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
计算模块1404，被配置为提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
可以理解的是，所述基于三维点云的管径尺寸检测装置实现了对管径尺寸的精准检测，即使在工件存在位置变动和尺寸变动使检测尺寸跨度大，依然能检测出高精度的管径尺寸。另外，本申请减少了对人工操作的依赖，提升了检测管径尺寸效率的同时也提升了对目标尺寸的检测精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
下面请参考图15，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图15所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于三维点云的管径尺寸检测方法。
其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该系统网元与至少一个其它网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于三维点云的管径尺寸检测方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施方式还提供一种与前述实施方式所提供的基于三维点云的管径尺寸检测方法对应的计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于三维点云的管径尺寸检测方法。
另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其它类型的随机存取存储器(RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其它光学、磁性存储介质，在此不再一一赘述。
本申请实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的基于三维点云的管径尺寸检测方法的步骤，所述方法包括：基于视觉引导系统获取目标工件管径的初始三维点云；根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本领域那些技术人员可以理解，本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于三维点云的管径尺寸检测方法，其特征在于，所述方法包括：
基于视觉引导系统获取目标工件管径的初始三维点云；
根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
2.根据权利要求1所述的基于三维点云的管径尺寸检测方法，其特征在于，所述n个区域包含目标工件管径的整个待检测区域且不同区域之间存在重叠，重叠面积至少为预设面积。
3.根据权利要求1所述的基于三维点云的管径尺寸检测方法，其特征在于，在所述基于ICP精配准进行三维重建之前还包括：
将滤波降噪后的分区局部点云基于所述目标管径依次进行平面拟合及圆柱拟合，得到第一拟合平面和第一拟合圆柱；
利用所述第一拟合平面和第一拟合圆柱进行三维重建。
4.根据权利要求3所述的基于三维点云的管径尺寸检测方法，其特征在于，所述基于ICP精配准进行三维重建，得到精配准的三维重建点云模型包括：
针对所述第一拟合平面和第一拟合圆柱，将滤波降噪后的分区局部点云对应所述n个区域的三维点云分别进行配准，通过所述第一拟合平面和第一拟合圆柱的点集分别求解出旋转矩阵和平移矩阵；
基于最小二乘法对旋转矩阵和平移矩阵进行迭代计算，直至满足构建的误差函数平方和最小；
用迭代计算得到的旋转矩阵和平移矩阵，将所述n个区域的三维点云进行坐标变换，得到精配准的三维重建点云模型。
5.根据权利要求4所述的基于三维点云的管径尺寸检测方法，其特征在于，所述误差函数为：
其中，R表示旋转矩阵，t表示平移矩阵，pi表示第一目标三维点云，qi表示候选三维点云，i为点云序号，i的取值范围在1和n之间。
6.根据权利要求3所述的基于三维点云的管径尺寸检测方法，其特征在于，提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，包括：
针对精配准的三维重建点云模型，建立工件坐标系，并求解出新的垂直于第一拟合平面且过第一拟合圆柱轴线的平面方程，得到第二拟合平面；
将圆柱区域点云投影到所述第二拟合平面，根据工件坐标系对所述圆柱区域点云进行旋转变换；
针对旋转变换后对应的第二拟合平面，确定目标区域；
根据平面点云的轮廓线计算算法在所述目标区域中提取目标外轮廓点云，并对该外轮廓上的点云按照顺时针或逆时针进行排序，得到二维轮廓图。
7.根据权利要求6所述的基于三维点云的管径尺寸检测方法，其特征在于，基于所述二维轮廓图计算所述目标工件管径的内径尺寸，包括：
根据所述二维轮廓图选取排序后外轮廓的上边缘点或下边缘点，计算相邻两点间的向量与z轴正方向的夹角，若所述夹角小于预设角度，则保留所述相邻两点，直至得到目标点集；
将所述目标点集中的起点与终点间的y轴区域，确定为待直通滤波区域，将所述直通滤波区域映射至所述精配准的三维重建点云模型后进行直通滤波，得到第二目标三维点云；
获取所述第一拟合圆柱的轴线上一点，将该点和所述第二目标三维点云投影到所述第二拟合平面中，得到投影中心及投影点集；
根据所述投影中心及投影点集计算所述目标工件管径的内径尺寸。
8.一种基于三维点云的管径尺寸检测装置，其特征在于，所述装置包括：
获取模块，被配置为基于视觉引导系统获取目标工件管径的初始三维点云；
分区模块，被配置为根据所述初始三维点云对应的基座标系下的位置确定机械臂夹持相机的最佳位姿，在相机视野下划分n个区域，并基于所述最佳位姿进行分区拍照，得到分区局部点云，其中，n大于2；
配准模块，被配置为将所述分区局部点云进行滤波降噪处理，将滤波降噪后的分区局部点云基于ICP精配准进行三维重建，得到精配准的三维重建点云模型；
计算模块，被配置为提取所述精配准的三维重建点云模型的目标外轮廓点云，得到二维轮廓图，并基于所述二维轮廓图计算所述目标工件管径的内径尺寸。
9.一种电子设备，包括存储器和处理器，其特征在于，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行如权利要求1-7任一所述方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310882815.6A CN116592776B (zh) | 2023-07-19 | 2023-07-19 | 一种基于三维点云的管径尺寸检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310882815.6A CN116592776B (zh) | 2023-07-19 | 2023-07-19 | 一种基于三维点云的管径尺寸检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116592776A true CN116592776A (zh) | 2023-08-15 |
| CN116592776B CN116592776B (zh) | 2023-12-01 |
Family
ID=87595980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310882815.6A Active CN116592776B (zh) | 2023-07-19 | 2023-07-19 | 一种基于三维点云的管径尺寸检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116592776B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252993A (zh) * | 2023-11-16 | 2023-12-19 | 中铁大桥局集团有限公司 | 特征点提取算法的验证方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170132775A1 (en) * | 2015-11-11 | 2017-05-11 | General Electric Company | Method and system for automated shaped cooling hole measurement |
| CN110838115A (zh) * | 2019-11-12 | 2020-02-25 | 武汉大学 | 运用轮廓线提取和四维曲面拟合的古文物三维模型变化检测方法 |
| CN112102272A (zh) * | 2020-09-03 | 2020-12-18 | 常州工学院 | 螺母孔径检测方法及装置、存储介质及终端设备 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| CN113554614A (zh) * | 2021-07-21 | 2021-10-26 | 中国人民解放军陆军工程大学 | 一种用于点云拼接的管道测量系统位姿标定方法 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| US20220148222A1 (en) * | 2019-02-28 | 2022-05-12 | Vr Doctor Medical Technology (Shenzhen) Co., Ltd. | Image three-dimensional measurement method, electronic device, storage medium and program product |
| US20220214159A1 (en) * | 2021-09-28 | 2022-07-07 | Nanjing University Of Aeronautics And Astronautics | Device and method for automatically detecting through-hole rate of honeycomb sandwich composite-based acoustic liner |
| CN115937203A (zh) * | 2023-01-09 | 2023-04-07 | 浙江智慧视频安防创新中心有限公司 | 一种基于模板匹配的视觉检测方法、装置、设备及介质 |
| CN116402866A (zh) * | 2023-03-03 | 2023-07-07 | 西安交通大学 | 基于点云的零件数字孪生几何建模与误差评定方法及系统 |
-
2023
- 2023-07-19 CN CN202310882815.6A patent/CN116592776B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170132775A1 (en) * | 2015-11-11 | 2017-05-11 | General Electric Company | Method and system for automated shaped cooling hole measurement |
| US20220148222A1 (en) * | 2019-02-28 | 2022-05-12 | Vr Doctor Medical Technology (Shenzhen) Co., Ltd. | Image three-dimensional measurement method, electronic device, storage medium and program product |
| CN110838115A (zh) * | 2019-11-12 | 2020-02-25 | 武汉大学 | 运用轮廓线提取和四维曲面拟合的古文物三维模型变化检测方法 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN112102272A (zh) * | 2020-09-03 | 2020-12-18 | 常州工学院 | 螺母孔径检测方法及装置、存储介质及终端设备 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| CN113554614A (zh) * | 2021-07-21 | 2021-10-26 | 中国人民解放军陆军工程大学 | 一种用于点云拼接的管道测量系统位姿标定方法 |
| US20220214159A1 (en) * | 2021-09-28 | 2022-07-07 | Nanjing University Of Aeronautics And Astronautics | Device and method for automatically detecting through-hole rate of honeycomb sandwich composite-based acoustic liner |
| CN115937203A (zh) * | 2023-01-09 | 2023-04-07 | 浙江智慧视频安防创新中心有限公司 | 一种基于模板匹配的视觉检测方法、装置、设备及介质 |
| CN116402866A (zh) * | 2023-03-03 | 2023-07-07 | 西安交通大学 | 基于点云的零件数字孪生几何建模与误差评定方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 任同群;赵悦含;龚春忠;张丽华;: "自由曲面测量的三维散乱点云无约束配准", 光学精密工程, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252993A (zh) * | 2023-11-16 | 2023-12-19 | 中铁大桥局集团有限公司 | 特征点提取算法的验证方法、装置、电子设备及存储介质 |
| CN117252993B (zh) * | 2023-11-16 | 2024-03-26 | 中铁大桥局集团有限公司 | 特征点提取算法的验证方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116592776B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10607371B2 (en) | Camera calibration method, recording medium, and camera calibration apparatus | |
| CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及系统 | |
| CN110348454B (zh) | 匹配局部图像特征描述符 | |
| CN108279670B (zh) | 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质 | |
| CN116592776B (zh) | 一种基于三维点云的管径尺寸检测方法、装置及电子设备 | |
| CN113042939B (zh) | 基于三维视觉信息的工件焊缝定位方法及系统 | |
| JP4905285B2 (ja) | 工具参照面を作成する装置と方法とプログラム | |
| CN112767426B (zh) | 一种目标匹配方法、装置和机器人 | |
| CN113052905A (zh) | 基于双目逆投影变换的圆形目标位姿测量方法和装置 | |
| CN113077521B (zh) | 一种相机标定方法及装置 | |
| CN111433780A (zh) | 车道线检测方法、设备、计算机可读存储介质 | |
| CN113012226A (zh) | 相机位姿的估计方法、装置、电子设备及计算机存储介质 | |
| CN113804100A (zh) | 确定目标对象的空间坐标的方法、装置、设备和存储介质 | |
| CN114332349A (zh) | 一种双目结构光边缘重建方法、系统及存储介质 | |
| CN110926405B (zh) | 一种基于单目视觉灭点检测的arv姿态测量方法 | |
| CN112631200A (zh) | 一种机床轴线测量方法以及装置 | |
| CN113124816B (zh) | 天线工参生成方法、装置、存储介质和计算机设备 | |
| CN113487676A (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 | |
| Zhang et al. | Photogrammetric 3D measurement method applying to automobile panel | |
| CN110060330B (zh) | 一种基于点云图像的三维建模方法、装置和机器人 | |
| CN113538699A (zh) | 基于三维点云的定位方法、装置、设备及存储介质 | |
| CN111210476B (zh) | 一种同时定位与建图的方法及装置 | |
| Zhou et al. | A novel method for reconstructing general 3D curves from stereo images | |
| CN117765047B (zh) | 一种工件配准方法、装置、计算机设备及存储介质 | |
| Jin et al. | Automatic feature-based point cloud alignment and inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230815 Assignee: Institute of Information Technology, Zhejiang Peking University Assignor: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Contract record no.: X2024330000024 Denomination of invention: A pipe diameter size detection method, device, and electronic device based on 3D point cloud Granted publication date: 20231201 License type: Common License Record date: 20240401 |
|
| EE01 | Entry into force of recordation of patent licensing contract |