CN117788476B - 一种基于数字孪生技术的工件缺陷检测方法、装置 - Google Patents
一种基于数字孪生技术的工件缺陷检测方法、装置 Download PDFInfo
- Publication number
- CN117788476B CN117788476B CN202410212085.3A CN202410212085A CN117788476B CN 117788476 B CN117788476 B CN 117788476B CN 202410212085 A CN202410212085 A CN 202410212085A CN 117788476 B CN117788476 B CN 117788476B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- template
- matching
- template matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000012946 outsourcing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 62
- 238000013519 translation Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于数字孪生技术的工件缺陷检测方法、装置，包括：计算模板点云和标准场景点云的特征描述子；根据模板点云和标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合；根据感兴趣区域集合计算每个感兴趣区域对应的外包盒；根据外包盒对实际场景点云进行过滤，得到待检测工件对应的目标点云；根据待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。本发明能够在工件缺陷检测过程中快速、批量的过滤出工件对应的多实例目标点云数据，提高工件缺陷检测的效率和精度。
Description
技术领域
本发明涉及一种基于数字孪生技术的工件缺陷检测方法、装置，属于工件缺陷检测技术领域。
背景技术
在现有的工业产品生产线上，基于激光扫描获得的点云可以用于工业产品的质量检测与缺陷分析。通过将实时采集的点云数据与标准模型进行比对，可以检测出产品表面的缺陷、偏差、变形等问题，并进行精确的缺陷分析与定位。一个工业产品往往由多个小组件组成，在生产过程中需要对其中的部分组件进行缺陷检测，则每个需要检测的小组件可以看作一个检测点，一个完整工业产品可以包含多个检测点，不同的检测点对应的检测标准不相同，因此需要将各个检测点对应的局部点云（也称为目标点云）从场景点云（即完整工业产品的点云）中过滤出来，然后再对过滤出的点云进行数据分析或缺陷评价。但实际情况存在两大难点，第一点为如果模板点云（即检测点的标准点云数据）在场景点云中存在多个实例，鲜有方法可以将多个实例都过滤出来；第二点为工业产品的质量检测与缺陷分析往往需要对大量的模型进行处理，导致同一类模型的同一检测点需要反复地被过滤，最终导致整个检测流程十分地耗时。
针对上述的两个难点急需一种既支持多实例过滤又快速的基于点云数据的工业产品质检方法。
发明内容
本发明的目的是提供一种基于数字孪生技术的工件缺陷检测方法、装置，根据检测需求先通过特征描述子进行模板匹配，得到轴对齐外包盒，在实际的工件缺陷检测过程中，只需要根据外包盒就可以快速过滤出目标点云，本发明可以同时过滤多个实例，且不会对同一检测点进行反复过滤，过滤出的目标点云的准确性更高，能够有效提高工件缺陷检测的效率和检测精度。
为达到上述目的，本发明是采用下述技术方案实现的。
第一方面，本发明提供一种基于数字孪生技术的工件缺陷检测方法，包括如下步骤：
获取待检测工件的模板点云和包含待检测工件的工业产品的标准场景点云；
根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子；
根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合；
根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒；
通过激光设备扫描获取包含待检测工件的工业产品的实际场景点云；
根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云；
根据所述待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。
结合第一方面，进一步的，所述根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子，包括：
根据模板点云和标准场景点云的点云密度，为模板点云和标准场景点云分别选择一个邻域范围；
根据邻域范围，得到模板点云或标准场景点云中每个点的邻域；
将模板点云或标准场景点云中任一点设为主点，以主点为原点建立局部坐标系，遍历主点的邻域内每个相邻点，得到每个相邻点在局部坐标系下的坐标：
；
其中，,/>,/>为局部坐标系下相邻点s的三维坐标，/>为相邻点s对应的法线向量，/>、/>分别为主点t和相邻点s在其对应点云中的三维坐标，/>，/>为主点t邻域内点的总数；
根据每个相邻点在局部坐标系下的坐标，计算主点与相邻点之间的法向量差异和欧氏距离，得到主点的邻域内每个相邻点的特征值：
；
其中，为主点t的法向量与相邻点s的法向量之间的夹角，/>为相邻点s至主点t的连线与相邻点s的法向量之间的夹角，/>为主点t的法向量和相邻点s的法向量所在平面与局部坐标系中v轴和w轴所在平面之间的夹角，/>为相邻点s和主点t之间的欧氏距离，/>为主点t对应的法线向量；
将每个相邻点的四个特征值组成一个四维向量(,/>,/>,/>)，作为该相邻点的特征向量；
根据每个主点的邻域内所有相邻点的特征向量生成一个直方图，作为该主点的特征描述子。
结合第一方面，进一步的，所述根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合，包括：
（1）根据模板点云中每个点的特征描述子与标准场景点云中每个点的特征描述子，计算模板点云与标准场景点云中任意两点之间的相似度；
（2）根据预设的相似阈值对所述相似度进行度量，得到多个匹配点对，其中，每个匹配点对包含一个模板点云中的点和一个标准场景点云中的点；
（3）对所有匹配点对进行一致性筛选，得到筛选后的匹配点对；
（4）从筛选后的匹配点对中随机选择N对匹配点，按来源划分为模板匹配点云和目标匹配点云；
（5）对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域；
（6）将步骤（5）输出的感兴趣区域从标准场景点云中删除，得到更新后的标准场景点云；
（7）返回步骤（1），直至无法匹配出误差小于预设的误差阈值的模板匹配点云，得到多个感兴趣区域，生成感兴趣区域集合。
结合第一方面，进一步的，所述对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域，包括：
（501）计算模板匹配点云和目标匹配点云的中心点，计算公式如下：
；
其中，、/>分别为模板匹配点云和目标匹配点云的中心点，/>表示模板匹配点云中第i个点的三维坐标，/>表示目标匹配点云中第i个点的三维坐标；
（502）根据模板匹配点云和目标匹配点云的中心点对模板匹配点云和目标匹配点云重新中心化，得到新的模板匹配点云和目标匹配点云：
；
其中，、/>分别表示新的模板匹配点云和目标匹配点云中第i个点的三维坐标；
（503）根据新的模板匹配点云和目标匹配点云计算两者之间的协方差矩阵H：
；
（504）通过SVD方法将协方差矩阵H转换成3个矩阵的乘积，令H=U*S*V，其中，U为左奇异向量矩阵，S为奇异值矩阵，V为右奇异向量矩阵的转置；
根据U、V计算模板匹配点云和目标匹配点云之间的旋转矩阵R：
；
（505）通过旋转矩阵R得到转移矩阵T：
；
（506）根据旋转矩阵R和转移矩阵T对模板匹配点云进行旋转和平移，得到旋转平移后的模板匹配点云，根据旋转平移后的模板匹配点云和目标匹配点云，计算N对匹配点之间的差值并求和，得到当前迭代的误差值；
（507）重复步骤（501）~步骤（506），直到满足最大迭代数目，输出最小误差，当最小误差小于预设的误差阈值时，得到最小误差对应的旋转矩阵R和转移矩阵T，以及最小误差对应的旋转平移后的模板匹配点云，将最小误差对应的旋转平移后的模板匹配点云作为一个感兴趣区域。
结合第一方面，进一步的，所述根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒，包括：
初始化外包盒的边界值，将外包盒的最小边界设置为正无穷大，将最大边界/>设置为负无穷大；
针对感兴趣区域集合中每个感兴趣区域，遍历感兴趣区域中每个点的三维坐标，更新外包盒的最小边界和最大边界，得到感兴趣区域对应的外包盒的边界数据；
其中，外包盒的最小边界和最大边界的更新公式为：
；
其中，为感兴趣区域中点的三维坐标；
根据感兴趣区域的点云密度对每个外包盒的边界数据进行增扩处理得到增扩后的外包盒边界数据。
结合第一方面，进一步的，所述根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云，包括：
遍历实际场景点云中所有点，判断每个点的三维坐标是否落入同一个外包盒的边界内，判断方程为：
；
其中，为实际场景点云中点P落入外包盒B的判断方程，/>为实际场景点云中点P在x轴的坐标值，/>为实际场景点云中点P在y轴的坐标值，/>为实际场景点云中点P在z轴的坐标值，/>为外包盒B的最小边界，/>为外包盒B的最大边界；
将落入同一个外包盒边界内的所有点组成一个目标点云。
第二方面，本发明提供一种基于数字孪生技术的工件缺陷检测装置，其特征在于，包括：
标准点云获取模块，用于获取待检测工件的模板点云和包含待检测工件的工业产品的标准场景点云；
特征计算模块，用于根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子；
模板匹配模块，用于根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合；
外包盒计算模块，用于根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒；
实际点云获取模块，用于通过激光设备扫描获取包含待检测工件的工业产品的实际场景点云；
目标点云过滤模块，用于根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云；
工件缺陷检测模块，用于根据所述待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。
结合第二方面，进一步的，所述特征计算模块具体用于：
根据模板点云和标准场景点云的点云密度，为模板点云和标准场景点云分别选择一个邻域范围；
根据邻域范围，得到模板点云或标准场景点云中每个点的邻域；
将模板点云或标准场景点云中任一点设为主点，以主点为原点建立局部坐标系，遍历主点的邻域内每个相邻点，得到每个相邻点在局部坐标系下的坐标：
；
其中，,/>,/>为局部坐标系下相邻点s的三维坐标，/>为相邻点s对应的法线向量，/>、/>分别为主点t和相邻点s在其对应点云中的三维坐标，/>，/>为主点t邻域内点的总数；
根据每个相邻点在局部坐标系下的坐标，计算主点与相邻点之间的法向量差异和欧氏距离，得到主点的邻域内每个相邻点的特征值：
；
其中，为主点t的法向量与相邻点s的法向量之间的夹角，/>为相邻点s至主点t的连线与相邻点s的法向量之间的夹角，/>为主点t的法向量和相邻点s的法向量所在平面与局部坐标系中v轴和w轴所在平面之间的夹角，/>为相邻点s和主点t之间的欧氏距离，/>为主点t对应的法线向量；
将每个相邻点的四个特征值组成一个四维向量(,/>,/>,/>)，作为该相邻点的特征向量；
根据每个主点的邻域内所有相邻点的特征向量生成一个直方图，作为该主点的特征描述子。
结合第二方面，进一步的，所述模板匹配模块具体用于：
（1）根据模板点云中每个点的特征描述子与标准场景点云中每个点的特征描述子，计算模板点云与标准场景点云中任意两点之间的相似度；
（2）根据预设的相似阈值对所述相似度进行度量，得到多个匹配点对，其中，每个匹配点对包含一个模板点云中的点和一个标准场景点云中的点；
（3）对所有匹配点对进行一致性筛选，得到筛选后的匹配点对；
（4）从筛选后的匹配点对中随机选择N对匹配点，按来源划分为模板匹配点云和目标匹配点云；
（5）对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域；
（6）将步骤（5）输出的感兴趣区域从标准场景点云中删除，得到更新后的标准场景点云；
（7）返回步骤（1），直至无法匹配出误差小于预设的误差阈值的模板匹配点云，得到多个感兴趣区域，生成感兴趣区域集合。
结合第二方面，进一步的，所述对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域，包括：
（501）计算模板匹配点云和目标匹配点云的中心点，计算公式如下：
；
其中，、/>分别为模板匹配点云和目标匹配点云的中心点，/>表示模板匹配点云中第i个点的三维坐标，/>表示目标匹配点云中第i个点的三维坐标；
（502）根据模板匹配点云和目标匹配点云的中心点对模板匹配点云和目标匹配点云重新中心化，得到新的模板匹配点云和目标匹配点云：
；
其中，、/>分别表示新的模板匹配点云和目标匹配点云中第i个点的三维坐标；
（503）根据新的模板匹配点云和目标匹配点云计算两者之间的协方差矩阵H：
；
（504）通过SVD方法将协方差矩阵H转换成3个矩阵的乘积，令H=U*S*V，其中，U为左奇异向量矩阵，S为奇异值矩阵，V为右奇异向量矩阵的转置；
根据U、V计算模板匹配点云和目标匹配点云之间的旋转矩阵R：
；
（505）通过旋转矩阵R得到转移矩阵T：
；
（506）根据旋转矩阵R和转移矩阵T对模板匹配点云进行旋转和平移，得到旋转平移后的模板匹配点云，根据旋转平移后的模板匹配点云和目标匹配点云，计算N对匹配点之间的差值并求和，得到当前迭代的误差值；
（507）重复步骤（501）~步骤（506），直到满足最大迭代数目，输出最小误差，当最小误差小于预设的误差阈值时，得到最小误差对应的旋转矩阵R和转移矩阵T，以及最小误差对应的旋转平移后的模板匹配点云，将最小误差对应的旋转平移后的模板匹配点云作为一个感兴趣区域。
与现有技术相比，本发明所达到的有益效果：
本发明提出了一种基于数字孪生技术的工件缺陷检测方法、装置，利用特征描述子对模板点云和标准场景点云中的数据进行描述，通过特征描述子进行模板匹配，能够准确地检测出模板点云在标准场景点云中的所有实例，进而得到轴对齐外包盒，在实际的工件缺陷检测过程中，本发明只需要根据外包盒就可以从实际场景点云中快速过滤出多个目标点云，实现了多实例点云快速过滤，基于过滤出的目标点云进行工件缺陷检测，能够有效提高工件缺陷检测的效率和检测精度。
本发明在模板匹配过程中运用迭代技术，利用支持单实例的模板匹配方法寻找感兴趣区域，再将该区域的点云数据从标准场景点云中去除，对去除后的标准场景点云再次使用单实例模板匹配方法，以此类推最终获取所有感兴趣区域，实现了多实例点云过滤，而且再过滤过程中不会对同一区域进行反复检测，能够有效提高过滤的效率和准确度简化了整个过滤流程。
附图说明
图1所示为本发明实施例提供的一种基于数字孪生技术的工件缺陷检测方法的流程示意图；
图2所示为本发明实施例中特征描述子的计算流程示意图；
图3所示为本发明实施例中根据模板点云在场景点云中计算两点之间法向量误差的示意图；
图4所示为本发明实施例中模板匹配的流程示意图；
图5所示为本发明实施例中待检测工件的目标点云的过滤流程示意图；
图6所示为本发明实施例中目标点云的示意图；
图7所示为本发明实施例提供的一种基于数字孪生技术的工件缺陷检测装置的结构示意图。
具体实施方式
需要说明的是：在实际的工业产品的质量检测与缺陷分析过程中常常需要将不同的检测点过滤成独立的文件，但由于缺乏可靠的技术方案支持，这种需求难以得到满足。为了解决了工业产品缺陷检测过程中多实例的点云过滤问题，本发明将工件缺陷检测分为三个部分，第一部分通过合理的特征描述子设计和运用迭代思想的模板匹配技术，得到轴对齐外包盒，第二部分基于轴对齐外包盒从实际场景点云中过滤出待检测工件的目标点云，第三部分基于目标点云进行工件缺陷检测。
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例一
本实施例介绍一种基于数字孪生技术的工件缺陷检测方法，如图1所示，具体包括如下步骤：
步骤A、根据工业设计图纸等材料，利用专业的涉及软件获取待检测工件的模板点云以及包含待检测工件的工业产品的标准场景点云，模板点云和标准场景点云均不含有缺陷。假设待检测的工件为某厂的工业发动机中的大型齿轮，则根据发动机的设计图纸采集大型齿轮的标准点云数据和发动机的标准点云数据，将大型齿轮的标准点云数据作为感兴趣的模板点云，将发动机的标准点云数据作为待过滤的标准场景点云。
标准场景点云包含模板点云数据，可以通过匹配技术从标准场景点云中过滤出与模板点云匹配的感兴趣区域。
步骤B、分别计算模板点云和标准场景点云的特征描述子，如图2所示，具体操作如下：
步骤B01、根据具体的应用场景和人为设置的点云密度，为模板点云和标准场景点云分别选择一个固定大小的邻域范围，邻域范围可以是一个球体或一个立方体。
步骤B02、根据步骤B01选择的邻域范围，得到模板点云或标准场景点云中每个点的邻域。
步骤B03、为了便于理解，将模板点云或标准场景点云中的点称为主点，将其邻域内的点称为相邻点，则针对每个主点，以主点为原点建立局部坐标系，遍历主点的邻域内每个相邻点，得到每个相邻点在局部坐标系下的坐标。
设主点t的邻域内共有个点，则主点t的邻域内第s个相邻点在局部坐标系下的坐标为：
（1）
其中，,/>,/>为局部坐标系下相邻点s的三维坐标，/>为相邻点s对应的法线向量，/>、/>分别为主点t和相邻点s在其对应点云中的三维坐标，/>。
在本发明实施例中，法线向量可以通过使用最近邻点或基于曲率估计等方法进行计算。常见的法线计算方法包括最小二乘拟合和主成分分析（PCA）。
步骤B04、根据每个相邻点在局部坐标系下的坐标，计算主点与相邻点之间的法向量差异和欧氏距离，从而在局部坐标系下得到主点的邻域内每个相邻点的特征值。具体的，本发明根据主点t的法向量与相邻点s的法向量之间的误差，得到特征值、/>、/>，如图3所示，根据相邻点s和主点t之间的欧氏距离得到特征值/>，以上4个特征值的计算公式如下：
（2）
其中，为主点t的法向量与相邻点s的法向量之间的夹角，/>为相邻点s至主点t的连线与相邻点s的法向量之间的夹角，/>为两个平面之间的夹角，两个平面分别为主点t的法向量和相邻点s的法向量所在平面、局部坐标系中v轴和w轴所在平面，/>为相邻点s和主点t之间的欧氏距离，/>为主点t对应的法线向量。
通过相邻点s的四个特征值组成一个四维向量(,/>,/>,/>)，作为相邻点s的特征向量。
步骤B05、根据每个主点的邻域内所有相邻点的特征向量，生成一个直方图，将该直方图作为该主点用于匹配的特征描述子。直方图的每个bin代表一个特定范围的特征值，可以根据具体需求选择直方图的bin数目。在本实施例中bin的数目为32条。
通过步骤B可以得到模板点云和标准场景点云中每个点的特征描述子。
步骤C、根据模板点云特征描述子和标准场景点云特征描述子进行模板匹配，得到模板点云在标准场景点云内的实例，也即待检测工件在标准场景点云中对应的点云数据，作为感兴趣区域，进而得到感兴趣区域集合。
如图4所示，步骤C包括：
步骤C01、对于模板点云中的每个点，通过计算其特征描述子与标准场景点云中所有点的特征描述子的相似度，找到与模板点云相似的标准场景点云中的点，得到多个匹配点对，每个匹配点对中包含一个模板点云中的点和一个标准场景点云中的点。
在本发明实施例中，相似度可以采用距离或其他能够度量相似性的值，可以使用最近邻搜索方法，如KD树或暴力搜索。
本发明预先设置一个相似阈值来进行相似性度量，只有模板点云特征描述子与标准场景点云特征描述子之间的相似度满足相似阈值的情况下，才认为这是本发明需要的匹配点对。
在本发明实施例中，根据模板点云和标准场景点云的分辨率将阈值设置为0.1。
步骤C02、在理想情况下，从标准场景点云中找到的相似点应该聚拢在一块局部区域，但是实际情况下会存在少量点远远偏离局部区域，因此，本发明对步骤C01过滤出的匹配点对进行一致性筛选。
使用RANSAC（Random Sample Consensus）或其他一致性检测算法，剔除不一致的匹配点对或离群点。这可以通过随机选择一组点对、估计刚体变换模型，并通过迭代选择与模型一致的点对来实现。
步骤C03、从步骤C02筛选后的匹配点对中随机选择N对匹配点，将N对匹配点按照来源划分为模板匹配点云数据（来自模板点云的点）和目标匹配点云数据（来自标准场景点云的点），对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域，并更新标准场景点云。
具体的：
（1）计算模板匹配点云和目标匹配点云的中心点，计算公式如下：
（3）
其中，、/>分别为模板匹配点云和目标匹配点云的中心点，/>表示模板匹配点云中第i个点的三维坐标，/>表示目标匹配点云中第i个点的三维坐标。
（2）为了计算最优旋转矩阵R，需要消除转移矩阵T的影响，因此本发明要先根据模板匹配点云和目标匹配点云的中心点将模板匹配点云和目标匹配点云中的点云数据重新中心化，得到新的模板匹配点云和目标匹配点云，公式如下：
（4）
其中，、/>分别表示重新中心化后新的模板匹配点云和目标匹配点云中第i个点的三维坐标。
（3）根据新的模板匹配点云和目标匹配点云计算两者之间的协方差矩阵H：
（5）
（4）通过SVD方法将协方差矩阵H转换成3个矩阵的乘积，令H=U*S*V，其中，U为左奇异向量矩阵，S为奇异值矩阵，V为右奇异向量矩阵的转置，根据U、V计算模板匹配点云和目标匹配点云之间的旋转矩阵R，计算公式为：
（6）
（5）通过旋转矩阵R得到转移矩阵T：
（7）
（6）根据旋转矩阵R和转移矩阵T对模板匹配点云进行旋转和平移，得到旋转平移后的模板匹配点云；利用旋转平移后的模板匹配点云和目标匹配点云计算误差，具体的：根据旋转平移后的模板匹配点云和目标匹配点云获取N对匹配点，根据每对匹配点的三维坐标计算每对匹配点之间差的绝对值，把所有匹配点差值的绝对值累加起来作为误差值。
（7）重复步骤（1）~步骤（6），直到满足最大迭代数目，输出最小误差，当最小误差小于预设的误差阈值时，得到最小误差对应的旋转矩阵R和转移矩阵T，以及最小误差对应的旋转平移后的模板匹配点云，将最小误差对应的旋转平移后的模板匹配点云作为一个感兴趣区域，并从标准场景点云中删除该感兴趣区域对应的点云数据，完成标准场景点云的更新。
步骤C04、根据更新后的标准场景点云重复步骤C01~步骤C03，直到无法匹配出误差小于误差阈值的模板匹配点云。由于模板点云在一个标准场景点云中可以存在多个实例，所以本发明可以通过重复步骤C01~步骤C03得到多个感兴趣区域，进而根据迭代输出的所有感兴趣区域生成感兴趣区域集合。
步骤D、根据感兴趣区域集合得到每个感兴趣区域对应的外包盒。
步骤D01、初始化外包盒的边界值，将外包盒的最小边界设置为正无穷大（Infinity），将最大边界/>设置为负无穷大（-Infinity）。
步骤D02、针对一个感兴趣区域，遍历感兴趣区域中每个点的三维坐标，通过比较坐标值，更新外包盒的最小边界和最大边界，更新公式为：，，/>，/>，/>，。完成遍历后，得到该感兴趣区域对应的外包盒的最小边界和最大边界。
步骤D03、在本发明中，外包盒的边界数据由多个坐标值组成，根据感兴趣区域的点云密度，对外包盒的边界数据的坐标值进行加减操作，实现外包盒边界的增扩，得到增扩后的外包盒边界数据。
步骤E、通过激光设备扫描获取包含待检测工件的工业产品的实际点云数据，作为待过滤的实际场景点云。
步骤F、将步骤E得到的实际场景点云配准到标准场景点云上，令实际场景点云与标准场景点云的坐标系保持一致，根据步骤D得到的外包盒边界数据对实际场景点云进行过滤操作，得到待检测工件对应的目标点云，如图5所示。
步骤F01、遍历实际场景点云中所有点，判断每个点的三维坐标是否落入同一个外包盒的边界内，判断方程为：
（8）
其中，为实际场景点云中点P落入外包盒B的判断方程，/>为实际场景点云中点P在x轴的坐标值，/>为实际场景点云中点P在y轴的坐标值，/>为实际场景点云中点P在z轴的坐标值，/>为外包盒B的最小边界，/>为外包盒B的最大边界。
步骤F02、根据步骤F01的判断结果，将落入同一个外包盒边界内的所有点组成一个目标点云，如图6所示。
步骤G、根据步骤F得到的目标点云与标准模型进行比对，得到待检测工件的缺陷检测结果。其中，步骤G的具体操作步骤采用现有技术。
实施例2
与实施例1基于相同的发明构思，本实施例介绍一种基于数字孪生技术的工件缺陷检测装置，如图7所示，包括标准点云获取模块、特征计算模块、模板匹配模块、外包盒计算模块、实际点云获取模块、目标点云过滤模块和工件缺陷检测模块。
标准点云获取模块主要用于获取待检测工件的模板点云和包含待检测工件的工业产品的标准场景点云。
特征计算模块主要用于根据不同点之间法向量差异和欧式距离，分别计算模板点云和标准场景点云的特征描述子。
模板匹配模块主要用于根据模板点云和标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合。
外包盒计算模块主要用于根据感兴趣区域集合计算每个感兴趣区域对应的外包盒。
实际点云获取模块主要用于通过激光设备扫描获取包含待检测工件的工业产品的实际场景点云。
目标点云过滤模块主要用于根据外包盒对实际场景点云进行过滤，得到待检测工件对应的目标点云。
工件缺陷检测模块主要用于根据待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。
上述各模块的具体功能实现参考实施例1方法中的相关内容，不予赘述。
综合上述实施例，本发明利用邻域内各点间法向量差异和欧氏距离来生成特征描述子，特征描述子能够准确描述点云数据中每个点，有利于提高后续模板匹配的准确度；在模板匹配过中，本发明提出了支持单实例的模板匹配方法，通过相似性度量、对点云进行旋转平移等操作匹配出模板点云的实例，通过迭代支持单实例的模板匹配方法可以实现多实例过滤。在现有技术中，当点云数据比较简单时，由于难以准确区分不同数据之间的差异，往往会出现匹配错误的情况，但是本发明的特征描述子和模板匹配方法能够更好的区分不同点云数据，匹配出简单的点云。本发明根据模板匹配结果生成外包盒，然后利用外包盒对实际场景点云进行过滤，可以对同一种类的多个工件同时进行点云过滤，过滤过程中不需要再次进行模板匹配，简化了整个过滤流程，能够有效提高点云过滤的效率，同时避免了对同一个点云的反复过滤，提高了点云过滤的准确性。本发明基于第二部分过滤出的目标点云进行工件缺陷检测，能够提高检测效率和检测精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于数字孪生技术的工件缺陷检测方法，其特征在于，包括如下步骤：
获取待检测工件的模板点云和包含待检测工件的工业产品的标准场景点云；
根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子；
根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合；
根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒；
通过激光设备扫描获取包含待检测工件的工业产品的实际场景点云；
根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云；
根据所述待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。
2.根据权利要求1所述的工件缺陷检测方法，其特征在于，所述根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子，包括：
根据模板点云和标准场景点云的点云密度，为模板点云和标准场景点云分别选择一个邻域范围；
根据邻域范围，得到模板点云或标准场景点云中每个点的邻域；
将模板点云或标准场景点云中任一点设为主点，以主点为原点建立局部坐标系，遍历主点的邻域内每个相邻点，得到每个相邻点在局部坐标系下的坐标：
；
其中，,/>,/>为局部坐标系下相邻点s的三维坐标，/>为相邻点s对应的法线向量，/>、/>分别为主点t和相邻点s在其对应点云中的三维坐标，/>，/>为主点t邻域内点的总数；
根据每个相邻点在局部坐标系下的坐标，计算主点与相邻点之间的法向量差异和欧氏距离，得到主点的邻域内每个相邻点的特征值：
；
其中，为主点t的法向量与相邻点s的法向量之间的夹角，/>为相邻点s至主点t的连线与相邻点s的法向量之间的夹角，/>为主点t的法向量和相邻点s的法向量所在平面与局部坐标系中v轴和w轴所在平面之间的夹角，/>为相邻点s和主点t之间的欧氏距离，/>为主点t对应的法线向量；
将每个相邻点的四个特征值组成一个四维向量(,/>,/>,/>)，作为该相邻点的特征向量；
根据每个主点的邻域内所有相邻点的特征向量生成一个直方图，作为该主点的特征描述子。
3.根据权利要求1所述的工件缺陷检测方法，其特征在于，所述根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合，包括：
（1）根据模板点云中每个点的特征描述子与标准场景点云中每个点的特征描述子，计算模板点云与标准场景点云中任意两点之间的相似度；
（2）根据预设的相似阈值对所述相似度进行度量，得到多个匹配点对，其中，每个匹配点对包含一个模板点云中的点和一个标准场景点云中的点；
（3）对所有匹配点对进行一致性筛选，得到筛选后的匹配点对；
（4）从筛选后的匹配点对中随机选择N对匹配点，按来源划分为模板匹配点云和目标匹配点云；
（5）对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域；
（6）将步骤（5）输出的感兴趣区域从标准场景点云中删除，得到更新后的标准场景点云；
（7）返回步骤（1），直至无法匹配出误差小于预设的误差阈值的模板匹配点云，得到多个感兴趣区域，生成感兴趣区域集合。
4.根据权利要求3所述的工件缺陷检测方法，其特征在于，所述对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域，包括：
（501）计算模板匹配点云和目标匹配点云的中心点，计算公式如下：
；
其中，、/>分别为模板匹配点云和目标匹配点云的中心点，/>表示模板匹配点云中第i个点的三维坐标，/>表示目标匹配点云中第i个点的三维坐标；
（502）根据模板匹配点云和目标匹配点云的中心点对模板匹配点云和目标匹配点云重新中心化，得到新的模板匹配点云和目标匹配点云：
；
其中，、/>分别表示新的模板匹配点云和目标匹配点云中第i个点的三维坐标；
（503）根据新的模板匹配点云和目标匹配点云计算两者之间的协方差矩阵H：
；
（504）通过SVD方法将协方差矩阵H转换成3个矩阵的乘积，令H=U*S*V，其中，U为左奇异向量矩阵，S为奇异值矩阵，V为右奇异向量矩阵的转置；
根据U、V计算模板匹配点云和目标匹配点云之间的旋转矩阵R：
；
（505）通过旋转矩阵R得到转移矩阵T：
；
（506）根据旋转矩阵R和转移矩阵T对模板匹配点云进行旋转和平移，得到旋转平移后的模板匹配点云，根据旋转平移后的模板匹配点云和目标匹配点云，计算N对匹配点之间的差值并求和，得到当前迭代的误差值；
（507）重复步骤（501）~步骤（506），直到满足最大迭代数目，输出最小误差，当最小误差小于预设的误差阈值时，得到最小误差对应的旋转矩阵R和转移矩阵T，以及最小误差对应的旋转平移后的模板匹配点云，将最小误差对应的旋转平移后的模板匹配点云作为一个感兴趣区域。
5.根据权利要求1所述的工件缺陷检测方法，其特征在于，所述根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒，包括：
初始化外包盒的边界值，将外包盒的最小边界设置为正无穷大，将最大边界/>设置为负无穷大；
针对感兴趣区域集合中每个感兴趣区域，遍历感兴趣区域中每个点的三维坐标，更新外包盒的最小边界和最大边界，得到感兴趣区域对应的外包盒的边界数据；
其中，外包盒的最小边界和最大边界的更新公式为：
；
其中，为感兴趣区域中点的三维坐标；
根据感兴趣区域的点云密度对每个外包盒的边界数据进行增扩处理得到增扩后的外包盒边界数据。
6.根据权利要求1所述的工件缺陷检测方法，其特征在于，所述根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云，包括：
遍历实际场景点云中所有点，判断每个点的三维坐标是否落入同一个外包盒的边界内，判断方程为：
；
其中，为实际场景点云中点P落入外包盒B的判断方程，/>为实际场景点云中点P在x轴的坐标值，/>为实际场景点云中点P在y轴的坐标值，/>为实际场景点云中点P在z轴的坐标值，/>为外包盒B的最小边界，/>为外包盒B的最大边界；
将落入同一个外包盒边界内的所有点组成一个目标点云。
7.一种基于数字孪生技术的工件缺陷检测装置，其特征在于，包括：
标准点云获取模块，用于获取待检测工件的模板点云和包含待检测工件的工业产品的标准场景点云；
特征计算模块，用于根据点云数据中不同点之间法向量的差异和欧式距离，分别计算所述模板点云和所述标准场景点云的特征描述子；
模板匹配模块，用于根据所述模板点云和所述标准场景点云的特征描述子进行模板匹配，得到多个感兴趣区域，生成感兴趣区域集合；
外包盒计算模块，用于根据所述感兴趣区域集合计算每个感兴趣区域对应的外包盒；
实际点云获取模块，用于通过激光设备扫描获取包含待检测工件的工业产品的实际场景点云；
目标点云过滤模块，用于根据所述外包盒对所述实际场景点云进行过滤，得到待检测工件对应的目标点云；
工件缺陷检测模块，用于根据所述待检测工件对应的目标点云，得到待检测工件的缺陷检测结果。
8.根据权利要求7所述的工件缺陷检测装置，其特征在于，所述特征计算模块具体用于：
根据模板点云和标准场景点云的点云密度，为模板点云和标准场景点云分别选择一个邻域范围；
根据邻域范围，得到模板点云或标准场景点云中每个点的邻域；
将模板点云或标准场景点云中任一点设为主点，以主点为原点建立局部坐标系，遍历主点的邻域内每个相邻点，得到每个相邻点在局部坐标系下的坐标：
；
其中，,/>,/>为局部坐标系下相邻点s的三维坐标，/>为相邻点s对应的法线向量，/>、/>分别为主点t和相邻点s在其对应点云中的三维坐标，/>，/>为主点t邻域内点的总数；
根据每个相邻点在局部坐标系下的坐标，计算主点与相邻点之间的法向量差异和欧氏距离，得到主点的邻域内每个相邻点的特征值：
；
其中，为主点t的法向量与相邻点s的法向量之间的夹角，/>为相邻点s至主点t的连线与相邻点s的法向量之间的夹角，/>为主点t的法向量和相邻点s的法向量所在平面与局部坐标系中v轴和w轴所在平面之间的夹角，/>为相邻点s和主点t之间的欧氏距离，/>为主点t对应的法线向量；
将每个相邻点的四个特征值组成一个四维向量(,/>,/>,/>)，作为该相邻点的特征向量；
根据每个主点的邻域内所有相邻点的特征向量生成一个直方图，作为该主点的特征描述子。
9.根据权利要求7所述的工件缺陷检测装置，其特征在于，所述模板匹配模块具体用于：
（1）根据模板点云中每个点的特征描述子与标准场景点云中每个点的特征描述子，计算模板点云与标准场景点云中任意两点之间的相似度；
（2）根据预设的相似阈值对所述相似度进行度量，得到多个匹配点对，其中，每个匹配点对包含一个模板点云中的点和一个标准场景点云中的点；
（3）对所有匹配点对进行一致性筛选，得到筛选后的匹配点对；
（4）从筛选后的匹配点对中随机选择N对匹配点，按来源划分为模板匹配点云和目标匹配点云；
（5）对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域；
（6）将步骤（5）输出的感兴趣区域从标准场景点云中删除，得到更新后的标准场景点云；
（7）返回步骤（1），直至无法匹配出误差小于预设的误差阈值的模板匹配点云，得到多个感兴趣区域，生成感兴趣区域集合。
10.根据权利要求9所述的工件缺陷检测装置，其特征在于，所述对模板匹配点云进行旋转与平移，计算旋转平移后的模板匹配点云和目标匹配点云之间的误差，通过最小化误差得到一个感兴趣区域，包括：
（501）计算模板匹配点云和目标匹配点云的中心点，计算公式如下：
；
其中，、/>分别为模板匹配点云和目标匹配点云的中心点，/>表示模板匹配点云中第i个点的三维坐标，/>表示目标匹配点云中第i个点的三维坐标；
（502）根据模板匹配点云和目标匹配点云的中心点对模板匹配点云和目标匹配点云重新中心化，得到新的模板匹配点云和目标匹配点云：
；
其中，、/>分别表示新的模板匹配点云和目标匹配点云中第i个点的三维坐标；
（503）根据新的模板匹配点云和目标匹配点云计算两者之间的协方差矩阵H：
；
（504）通过SVD方法将协方差矩阵H转换成3个矩阵的乘积，令H=U*S*V，其中，U为左奇异向量矩阵，S为奇异值矩阵，V为右奇异向量矩阵的转置；
根据U、V计算模板匹配点云和目标匹配点云之间的旋转矩阵R：
；
（505）通过旋转矩阵R得到转移矩阵T：
；
（506）根据旋转矩阵R和转移矩阵T对模板匹配点云进行旋转和平移，得到旋转平移后的模板匹配点云，根据旋转平移后的模板匹配点云和目标匹配点云，计算N对匹配点之间的差值并求和，得到当前迭代的误差值；
（507）重复步骤（501）~步骤（506），直到满足最大迭代数目，输出最小误差，当最小误差小于预设的误差阈值时，得到最小误差对应的旋转矩阵R和转移矩阵T，以及最小误差对应的旋转平移后的模板匹配点云，将最小误差对应的旋转平移后的模板匹配点云作为一个感兴趣区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212085.3A CN117788476B (zh) | 2024-02-27 | 2024-02-27 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212085.3A CN117788476B (zh) | 2024-02-27 | 2024-02-27 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117788476A CN117788476A (zh) | 2024-03-29 |
| CN117788476B true CN117788476B (zh) | 2024-05-10 |
Family
ID=90380130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410212085.3A Active CN117788476B (zh) | 2024-02-27 | 2024-02-27 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788476B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493407A (zh) * | 2018-11-19 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 实现激光点云稠密化的方法、装置及计算机设备 |
| CN109658398A (zh) * | 2018-12-12 | 2019-04-19 | 华中科技大学 | 一种基于三维测量点云的零件表面缺陷识别与评估方法 |
| CN110276790A (zh) * | 2019-06-28 | 2019-09-24 | 易思维（杭州）科技有限公司 | 基于形状约束的点云配准方法 |
| CN111899302A (zh) * | 2020-06-23 | 2020-11-06 | 武汉闻道复兴智能科技有限责任公司 | 一种基于点云数据的视觉检测的方法、装置和系统 |
| US11079748B1 (en) * | 2020-04-29 | 2021-08-03 | Grale Technologies | In-process digital twinning |
| CN114119738A (zh) * | 2021-09-10 | 2022-03-01 | 上海景吾智能科技有限公司 | 水池污渍检测方法及系统 |
| CN115526990A (zh) * | 2022-10-08 | 2022-12-27 | 智道网联科技(北京)有限公司 | 用于数字孪生的目标可视化方法、装置及电子设备 |
| CN115795632A (zh) * | 2023-01-17 | 2023-03-14 | 四川省公路规划勘察设计研究院有限公司 | 一种基于标记点云的自动几何孪生方法和系统 |
| CN115830015A (zh) * | 2023-02-09 | 2023-03-21 | 深圳市威祥五金制品有限公司 | 基于计算机视觉的五金冲压配件质量检测方法 |
| CN116228783A (zh) * | 2022-12-29 | 2023-06-06 | 易思维（天津）科技有限公司 | 一种复杂背景下的工件点云分割方法及其应用 |
| CN116402866A (zh) * | 2023-03-03 | 2023-07-07 | 西安交通大学 | 基于点云的零件数字孪生几何建模与误差评定方法及系统 |
| CN116721156A (zh) * | 2023-06-02 | 2023-09-08 | 佛山显扬科技有限公司 | 工件位置定位方法、装置、计算机设备及存储介质 |
| CN117372552A (zh) * | 2023-10-18 | 2024-01-09 | 南京邮电大学 | 一种面向复杂表面的工业产品的三维点云数据压缩方法 |
| CN117368203A (zh) * | 2023-09-05 | 2024-01-09 | 中核武汉核电运行技术股份有限公司 | 基于点云匹配的复杂形面缺陷识别定位与形状检测方法 |
-
2024
- 2024-02-27 CN CN202410212085.3A patent/CN117788476B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493407A (zh) * | 2018-11-19 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 实现激光点云稠密化的方法、装置及计算机设备 |
| CN109658398A (zh) * | 2018-12-12 | 2019-04-19 | 华中科技大学 | 一种基于三维测量点云的零件表面缺陷识别与评估方法 |
| CN110276790A (zh) * | 2019-06-28 | 2019-09-24 | 易思维（杭州）科技有限公司 | 基于形状约束的点云配准方法 |
| US11079748B1 (en) * | 2020-04-29 | 2021-08-03 | Grale Technologies | In-process digital twinning |
| CN111899302A (zh) * | 2020-06-23 | 2020-11-06 | 武汉闻道复兴智能科技有限责任公司 | 一种基于点云数据的视觉检测的方法、装置和系统 |
| CN114119738A (zh) * | 2021-09-10 | 2022-03-01 | 上海景吾智能科技有限公司 | 水池污渍检测方法及系统 |
| CN115526990A (zh) * | 2022-10-08 | 2022-12-27 | 智道网联科技(北京)有限公司 | 用于数字孪生的目标可视化方法、装置及电子设备 |
| CN116228783A (zh) * | 2022-12-29 | 2023-06-06 | 易思维（天津）科技有限公司 | 一种复杂背景下的工件点云分割方法及其应用 |
| CN115795632A (zh) * | 2023-01-17 | 2023-03-14 | 四川省公路规划勘察设计研究院有限公司 | 一种基于标记点云的自动几何孪生方法和系统 |
| CN115830015A (zh) * | 2023-02-09 | 2023-03-21 | 深圳市威祥五金制品有限公司 | 基于计算机视觉的五金冲压配件质量检测方法 |
| CN116402866A (zh) * | 2023-03-03 | 2023-07-07 | 西安交通大学 | 基于点云的零件数字孪生几何建模与误差评定方法及系统 |
| CN116721156A (zh) * | 2023-06-02 | 2023-09-08 | 佛山显扬科技有限公司 | 工件位置定位方法、装置、计算机设备及存储介质 |
| CN117368203A (zh) * | 2023-09-05 | 2024-01-09 | 中核武汉核电运行技术股份有限公司 | 基于点云匹配的复杂形面缺陷识别定位与形状检测方法 |
| CN117372552A (zh) * | 2023-10-18 | 2024-01-09 | 南京邮电大学 | 一种面向复杂表面的工业产品的三维点云数据压缩方法 |
Non-Patent Citations (5)
| Title |
|---|
| Digital Twin of Intelligent Small Surface Defect Detection with Cyber-manufacturing Systems;YIRUI WU等;《ACM Transactions on Internet Technology》;20231130;第23卷(第4期);1-20 * |
| ROI-cloud: A Key Region Extraction Method for LiDAR Odometry and Localization;Zhibo Zhou等;《2020 IEEE International Conference on Robotics and Automation (ICRA)》;20201231;3312-3318 * |
| 冷弯C型钢构件的随机几何缺陷模拟方法研究;孙晓燕;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20240215(第02期);C038-930 * |
| 基于多频外差的双目三维重构与定位的研究;陶四杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第01期);I140-766 * |
| 基于边缘特征点云配准方法的缺陷检测研究;张泽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230215(第02期);I138-3525 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117788476A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN111222516B (zh) | 印制电路板点云关键轮廓特征提取方法 | |
| JP2014081347A (ja) | ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法 | |
| CN116402866A (zh) | 基于点云的零件数字孪生几何建模与误差评定方法及系统 | |
| CN109508709B (zh) | 一种基于机器视觉的单指针仪表读数方法 | |
| CN106556606B (zh) | 基于机器视觉的大型机械产品总成件的在线质量控制方法 | |
| CN117132630A (zh) | 一种基于二阶空间兼容性度量的点云配准方法 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN115235375A (zh) | 盖板类工件的多圆特征参数测量方法、检测方法和装置 | |
| CN117788476B (zh) | 一种基于数字孪生技术的工件缺陷检测方法、装置 | |
| CN116909208B (zh) | 基于人工智能的壳体加工路径优化方法及系统 | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN117495891A (zh) | 点云边缘检测方法、装置和电子设备 | |
| CN116592776B (zh) | 一种基于三维点云的管径尺寸检测方法、装置及电子设备 | |
| CN112631200A (zh) | 一种机床轴线测量方法以及装置 | |
| CN112687010B (zh) | 一种端框钻模的数字化计量方法 | |
| CN116310355A (zh) | 一种复杂结构件的激光点云去噪和缺陷检测方法 | |
| WO2023060927A1 (zh) | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 | |
| CN112884057B (zh) | 基于点云数据的三维曲面质量分类方法、系统及存储介质 | |
| CN112509018B (zh) | 一种四元数空间优化的三维图像配准方法 | |
| CN111369610B (zh) | 基于可信度信息的点云数据粗差定位和剔除方法 | |
| Svalina et al. | Possibilities of evaluating the dimensional acceptability of workpieces using computer vision | |
| CN114485608B (zh) | 一种用于高精度地图制作的局部点云快速配准方法 | |
| CN113392913B (zh) | 基于边界特征点集的平面图形匹配度评价方法、装置及系统 | |
| CN113643273B (zh) | 一种基于点云数据的缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |