CN117237360A - 一种基于3d视觉的铸件毛刺检测方法和系统 - Google Patents
一种基于3d视觉的铸件毛刺检测方法和系统 Download PDFInfo
- Publication number
- CN117237360A CN117237360A CN202311520655.7A CN202311520655A CN117237360A CN 117237360 A CN117237360 A CN 117237360A CN 202311520655 A CN202311520655 A CN 202311520655A CN 117237360 A CN117237360 A CN 117237360A
- Authority
- CN
- China
- Prior art keywords
- point space
- normal
- cnn model
- sparse
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005266 casting Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- KNQLISSGRPNPCR-UHFFFAOYSA-N n-(dipyridin-2-ylmethylideneamino)furan-2-carboxamide Chemical compound C=1C=COC=1C(=O)NN=C(C=1N=CC=CC=1)C1=CC=CC=N1 KNQLISSGRPNPCR-UHFFFAOYSA-N 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000007547 defect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000005495 investment casting Methods 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
一种基于3D视觉的铸件毛刺检测方法和系统，涉及涉及计算机视觉技术领域，包括如下步骤：S2、接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；S3、计算所述第一点空间的法线和第二点空间的法线；S4、基于所述第一点空间的法线和第二点空间的法线计算法线差。适应多种类型铸件检测，可广泛适用于高精度铸件和设计简单的铸件；不依赖高精度的检测仪器，检测成本可控；基于深度学习提取特征，无需人工参与，实现全自动的铸件毛刺检测；有效应对扫描图像噪声，数据丢失，阴影，几何变化等情况，适应多种生产环境，实用性强。
Description
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种基于3D视觉的铸件毛刺检测方法和系统。
背景技术
铸件毛刺检测是工业铸件加工环节中的重要一环。在铸件加工过程中，肉眼难以发现的毛刺会在铸件表面形成突起，对整个产品造成影响。毛刺检测不仅是对加工工序的质量控制，也是确保生产出高质量铸件的关键环节，及时对铸件的毛刺进行检测并采取相应处理措施，可以提高加工质量和产品的整体性能，减少安全隐患和提升产品的外观美观度。
目前的毛刺检测的方式依赖高精度的摄像系统，显微镜和激光器等精密仪器对铸件进行测量和扫描，这一过程往往需要人工参与，对检测者负担较大。全自动化的毛刺检测不仅有助于避免检测者长期暴露在高噪音和震动环境下工作，还可以提高毛刺检测的效率。
由于工业铸件的复杂性和对精确性的严格要求，全自动化毛刺检测面临着诸多挑战。首先，不同类型的铸件具有各自独特的形状和表面特征，需要开发适用于不同情况的检测算法和技术。其次，由于毛刺往往非常微小，全自动化的检测系统需要具备高度灵敏性和准确性，以确保能够可靠地检测到各种大小的毛刺。此外，对于大规模生产环境，全自动化的毛刺检测系统还需要具备快速检测的能力，以满足生产线的高效率要求。在此同时，检测系统还需要对大量检测数据进行快读处理和分析，实现快速、准确地对毛刺进行分类和判别。
基于此，亟待一种通用的铸件毛刺检测方法，能有效适应多种复杂的精密铸件，实现实际生产中的全自动毛刺检测。
发明内容
（一）申请目的
有鉴于此，本申请的目的在于提供一种基于3D视觉的铸件毛刺检测方法和系统，用于解决如何实现对铸件毛刺进行自动化检测的技术问题。
（二）技术方案
本申请公开了一种基于3D视觉的铸件毛刺检测方法，包括如下步骤：
S2、接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；
S3、计算所述第一点空间的法线和第二点空间的法线；
S4、基于所述第一点空间的法线和第二点空间的法线计算法线差。
在一种可能的实施方式中，所述计算所述第一点空间的法线和第二点空间的法线，包括：
S31、基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；
S32、分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
S33、基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
在一种可能的实施方式中，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
在一种可能的实施方式中，步骤S2之前还包括：S1、基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。
在一种可能的实施方式中，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv / deconv 层均采用 Batch Nor-malization 和 ReLU 作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中，M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
作为本申请的第二方面，还公开了一种基于3D视觉的铸件毛刺检测系统包括：
数据接收模块，用于接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；
法线计算模块，用于计算所述第一点空间的法线和第二点空间的法线；
法线差计算模块，用于基于所述第一点空间的法线和第二点空间的法线计算法线差。
在一种可能的实施方式中，所述法线计算模块包括：
区域分单元，用于基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；
区域点提取单元，用于分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
表面法线计算单元，用于基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
在一种可能的实施方式中，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
；
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
在一种可能的实施方式中，还包括DPFH特征提取模块，用于基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。
在一种可能的实施方式中，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv /deconv层均采用Batch Nor-malization和ReLU作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中，M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
（三）有益效果
1、适应多种类型铸件检测，可广泛适用于高精度铸件和设计简单的铸件；
2、不依赖高精度的检测仪器，检测成本可控；
3、基于深度学习提取特征，无需人工参与，实现全自动的铸件毛刺检测；
4、有效应对扫描图像噪声，数据丢失，阴影，几何变化等情况，适应多种生产环境，实用性强。
本申请的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本申请的实践中得到教导。本申请的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理解为对本申请的保护范围的限制。
图1是本申请的系统流程图；
图2是本申请系统结构图。
其中，1、DPFH特征提取模块；2、数据接收模块；3、法线计算模块；4、法线差计算模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅为本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中为类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的上述描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，本实施例提供了一种基于3D视觉的铸件毛刺检测方法，包括如下步骤：
S1、基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。稀疏 CNN模型来获取鲁棒的FPFH特征，鲁棒的FPFH特征称为DPFH特征，即基于深度学习的FPFH特征，FPFH特征为点特征直方图。
在一些实施例中，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv / deconv 层均采用 Batch Nor-malization 和 ReLU 作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中，M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
在真实应用中，获取铸件毛刺的数据难为困难，并且难以覆盖各种各样铸件的毛刺。因此，本方法仅使用 CAD 模型来训练稀疏 CNN 模型，并将模型应用在真实铸件的Zivid 扫描中，Zivid为一款基于结构光的RGBD扫描仪。通过CAD 模型，能很容易生成大量且具有各种几何变化的铸件模型。本方法仅在CAD模型上进行训练，并在真实铸件的Zivid扫描上应用，因此 CAD和铸件扫描之间的差距需要尽可能小。为此，需要对 CAD 模型应用一系列增强来使训练数据接近真实场景。此外，在训练样本有限的情况下，数据增强还能扩展训练样本的数据量。
基于采用点抖动、随机旋转和平移等对数据进行增强，除此之外，为了接近真实图像，在数据增强时还需要随机生成造成图像点，并改变图像点的密度，在这过程中可以通过随机改变相机位置和方向来生成各种各样的噪声图像点。
基于CAD 模型，可以通过在该平面上添加额外的附加点来模拟毛刺。通过计算CAD点云的外法线，可以将毛刺图像点从分离平面沿着法线方向向外迭代添加，直到达到铸件事先定义的毛刺长度L，毛刺长度L根据铸件的不同存在差异，而分离平面为根据设计的模具生产出的铸件的光滑表面；具体为：
；
L；
其中，是一组沿着分离平面产生的额外毛刺点，/>是分离平面S中的点，/>是该点的外法线，/>为沿着分离平台的额外毛刺点的长度综合，L为事先定义的毛刺长度，表示毛刺点/>沿着外法线的方向的长度。
理想情况下CAD模型的几何特征对于真实扫描的不同数据（图像视点、点密度、噪声、抖动等）具有局部不变性，因此可以用 CAD数据模拟真实扫描数据。但是，传统的点特征直方图 (FPFH)对此类数据增强很敏感，并导致 CAD 和真实扫描数据之间的存在差异。为了解决该问题，需要使传统的 FPFH 特征对噪声、遮挡等具有鲁棒性，对此类数据增强不敏感。
在标记数据缺失的情况下，生成有监督训练所用的大量数据，所有数据均由CAD模型而生成，无需人工参与标记。经过点抖动、随机旋转和平移等方式获取多个训练样本，以适应不同扫描角度的检测样本。此外，还参照真实样本中的毛刺，对CAD模型的毛刺进行随机生成，并模拟真实场景添加噪声、遮挡物，使得数据覆盖各种不同的应用场景。通过数据生成模块能有效获取大量训练样本，减少人工开销，解决标记数据缺失的问题。
S2、接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间。
通过RGBD扫描仪扫描获取待检测铸件CAD中的点云数据所构成的点空间为第一点空间，并将扫描数据传递到稀疏 CNN模型中，以获取其在点空间中的归一化，即DPFH特征归一化后的第二点空间。在整个系统的检测流程中，扫描阶段是唯一需要外部仪器参与的部分，与之前的毛刺检测方案相比，无需依赖各种不同的精密仪器，能大幅节省检测开销。
S3、计算所述第一点空间的法线和第二点空间的法线。
在一种可能的实施方式中，所述计算所述第一点空间的法线和第二点空间的法线，包括：
S31、基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；ROI区域为从CAD模型中分离出的最有可能存在缺陷的空间；
S32、分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
由于铸造毛刺大多出现在CAD模型的分离平面中，基于CAD模型中最有可能出现缺陷的位置的先验信息，可以提取感兴趣区域(ROI)中的点SROI。ROI为从CAD模型中分离出的最有可能存在缺陷的空间，与之相应的扫描图像也会取相同的点空间。
S33、基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
S31-S33具体如下：
划分ROI区域：
；
提取 ROI 区域中的图像点：
；
；
计算法线：
；
SROI为基于先验知识提取的 ROI 区域，这一区域一般是铸件本身的设计模型中的分离层面；r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域；为第一点空间中的ROI区域中具体的图像点，/>为第二点空间中的ROI区域中具体的图像点；/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线。
S4、基于所述第一点空间的法线和第二点空间的法线计算法线差。
通过计算法线的差异可以对毛刺进行识别。对于正常铸件，分别基于扫描点空间和DPFH特征归一化后的点空间计算的两个表面法线的方向几乎相同，为表面的结构不会发生显着变化。相比之下，如果表面上有毛刺，则两个法线的方向可能会相差较大的幅度。
在一些实施例中，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
；
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
基于3D视觉提取图像特征，并将工件数据库中光滑的CAD模型与RGBD扫描到的图像点利用随机一致性和学习到的图像特征实现高精度的毛刺检测。
如图2所示，作为本申请的第二方面，还公开了一种基于3D视觉的铸件毛刺检测系统包括：
数据接收模块2，用于接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；
法线计算模块3，用于计算所述第一点空间的法线和第二点空间的法线；
法线差计算模块4，用于基于所述第一点空间的法线和第二点空间的法线计算法线差。
在一种可能的实施方式中，所述法线计算模块包括：
区域分单元，用于基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；
区域点提取单元，用于分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
表面法线计算单元，用于基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
在一种可能的实施方式中，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
；
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
在一种可能的实施方式中，还包括DPFH特征提取模块1，用于基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。
在一种可能的实施方式中，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv / deconv 层均采用Batch Nor-malization 和 ReLU 作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本申请的实施方式，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于3D视觉的铸件毛刺检测方法，其特征在于，包括如下步骤：
S2、接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；
S3、计算所述第一点空间的法线和第二点空间的法线；
S4、基于所述第一点空间的法线和第二点空间的法线计算法线差。
2.根据权利要求1所述的基于3D视觉的铸件毛刺检测方法，其特征在于，所述计算所述第一点空间的法线和第二点空间的法线，包括：
S31、基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；
S32、分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
S33、基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
3.根据权利要求2所述的基于3D视觉的铸件毛刺检测方法，其特征在于，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
；
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
4.根据权利要求3所述的基于3D视觉的铸件毛刺检测方法，其特征在于，步骤S2之前还包括：S1、基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。
5.根据权利要求4所述的基于3D视觉的铸件毛刺检测方法，其特征在于，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv / deconv 层均采用 Batch Nor-malization 和 ReLU 作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中，M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
6.一种基于3D视觉的铸件毛刺检测系统，其特征在于，包括：
数据接收模块，用于接收扫描待检测铸件获取的第一点空间，并基于稀疏CNN模型对所述第一点空间的DPFH特征归一化获取第二点空间；
法线计算模块，用于计算所述第一点空间的法线和第二点空间的法线；
法线差计算模块，用于基于所述第一点空间的法线和第二点空间的法线计算法线差。
7.根据权利要求6所述的基于3D视觉的铸件毛刺检测系统，其特征在于，所述法线计算模块包括：
区域分单元，用于基于缺陷的位置的先验信息分别将第一点空间和第二点空间分割为多个ROI区域；
区域点提取单元，用于分别提取所述第一点空间和第二点空间相同的ROI区域内的图像点；
表面法线计算单元，用于基于第一点空间和第二点空间的ROI区域的图像点分别构建表面法线。
8.根据权利要求7所述的基于3D视觉的铸件毛刺检测系统，其特征在于，所述第一点空间的法线和第二点空间的法线计算法线差，包括：计算两个点空间对应的ROI区域的表面的法线之间的法线差：
；
其中，为法线差，/>为第一个点空间中的ROI区域的法线，/>为第二个点空间中的ROI区域的法线，r1为第一个点空间中的ROI区域，rq为第二点空间中的ROI区域。
9.根据权利要求8所述的基于3D视觉的铸件毛刺检测系统，其特征在于，铸件毛刺检测系统还包括DPFH特征提取模块，用于基于不同铸件的CAD模型训练稀疏CNN模型，所述稀疏CNN模型用于提取待检测铸件的DPFH特征。
10.根据权利要求9所述的基于3D视觉的铸件毛刺检测系统，其特征在于，所述稀疏CNN模型的基础架构为34层的稀疏残差U-Net结构，具有21个卷积层的编码器网络和13个卷积层和反卷积层的解码器网络，稀疏CNN模型的每个conv/deconv层均采用Batch Nor-malization和ReLU作为激活函数，稀疏CNN模型有3785万个参数，稀疏CNN模型输出预测的DPFH特征，稀疏CNN模型的损失函数具有以下形式：
；
其中，M为图像点总数，y为直方图特征FPFH，为稀疏CNN模型输出预测的DPFH特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311520655.7A CN117237360B (zh) | 2023-11-15 | 2023-11-15 | 一种基于3d视觉的铸件毛刺检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311520655.7A CN117237360B (zh) | 2023-11-15 | 2023-11-15 | 一种基于3d视觉的铸件毛刺检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237360A true CN117237360A (zh) | 2023-12-15 |
| CN117237360B CN117237360B (zh) | 2024-03-01 |
Family
ID=89093388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311520655.7A Active CN117237360B (zh) | 2023-11-15 | 2023-11-15 | 一种基于3d视觉的铸件毛刺检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237360B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118229683A (zh) * | 2024-05-23 | 2024-06-21 | 江苏中科云控智能工业装备有限公司 | 基于tof相机的毛刺检测系统及方法 |
| CN118552428A (zh) * | 2024-07-26 | 2024-08-27 | 广东工业大学 | 一种基于型材横截面图像的去毛刺效果检测方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040153128A1 (en) * | 2003-01-30 | 2004-08-05 | Mitta Suresh | Method and system for image processing and contour assessment |
| CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
| CN113393426A (zh) * | 2021-05-24 | 2021-09-14 | 南京耘瞳科技有限公司 | 一种轧钢板表面缺陷检测方法 |
| CN114119957A (zh) * | 2021-09-27 | 2022-03-01 | 中国铁道科学研究院集团有限公司 | 高速铁路钢轨廓形检测方法及装置 |
| CN116051448A (zh) * | 2021-10-27 | 2023-05-02 | 三星电子株式会社 | 平坦表面检测装置和方法 |
-
2023
- 2023-11-15 CN CN202311520655.7A patent/CN117237360B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040153128A1 (en) * | 2003-01-30 | 2004-08-05 | Mitta Suresh | Method and system for image processing and contour assessment |
| CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
| CN113393426A (zh) * | 2021-05-24 | 2021-09-14 | 南京耘瞳科技有限公司 | 一种轧钢板表面缺陷检测方法 |
| CN114119957A (zh) * | 2021-09-27 | 2022-03-01 | 中国铁道科学研究院集团有限公司 | 高速铁路钢轨廓形检测方法及装置 |
| CN116051448A (zh) * | 2021-10-27 | 2023-05-02 | 三星电子株式会社 | 平坦表面检测装置和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118229683A (zh) * | 2024-05-23 | 2024-06-21 | 江苏中科云控智能工业装备有限公司 | 基于tof相机的毛刺检测系统及方法 |
| CN118229683B (zh) * | 2024-05-23 | 2024-09-10 | 江苏中科云控智能工业装备有限公司 | 基于tof相机的毛刺检测系统及方法 |
| CN118552428A (zh) * | 2024-07-26 | 2024-08-27 | 广东工业大学 | 一种基于型材横截面图像的去毛刺效果检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237360B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117237360B (zh) | 一种基于3d视觉的铸件毛刺检测方法和系统 | |
| US11268881B2 (en) | System and method for fan blade rotor disk and gear inspection | |
| CN106469448B (zh) | 利用3d视觉进行自动化工业检查 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| US20110128354A1 (en) | System and method for obtaining camera parameters from multiple images and computer program products thereof | |
| JP7292979B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR100868884B1 (ko) | 유리 기판 유리 불량 정보 시스템 및 분류 방법 | |
| JP7170605B2 (ja) | 欠陥検査装置、欠陥検査方法、およびプログラム | |
| JP6317725B2 (ja) | 取得された画像内のクラッタを決定するためのシステム及び方法 | |
| JP4925120B2 (ja) | 物体認識装置および物体認識方法 | |
| US20150055754A1 (en) | X-ray inspection method and x-ray inspection device | |
| JP2020106461A (ja) | 画像生成装置及び外観検査装置 | |
| JP2009259036A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム | |
| CN113705669A (zh) | 一种数据匹配方法、装置、电子设备以及存储介质 | |
| WO2021188104A1 (en) | Object pose estimation and defect detection | |
| CN115546153A (zh) | 一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法 | |
| Xia et al. | An efficient and robust target detection algorithm for identifying minor defects of printed circuit board based on PHFE and FL-RFCN | |
| US20240104715A1 (en) | Production-speed component inspection system and method | |
| Piliposyan et al. | Computer vision for hardware trojan detection on a PCB using siamese neural network | |
| CN110288040A (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| JP5036637B2 (ja) | 凹凸文字抽出のための画像処理方法及び画像処理装置 | |
| KR101936628B1 (ko) | Tsom 이미지 획득 방법 및 반도체 장치 검사 방법 | |
| JP2002277409A (ja) | プリント基板パターンの検査装置 | |
| US11640535B2 (en) | Probability acquisition apparatus and probability acquisition method | |
| CN108898590B (zh) | 一种应用于产品外形视觉检测的自身特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |