CN116664575B - 一种基于点云配准的缺陷检测方法、装置以及设备 - Google Patents
一种基于点云配准的缺陷检测方法、装置以及设备 Download PDFInfo
- Publication number
- CN116664575B CN116664575B CN202310945958.7A CN202310945958A CN116664575B CN 116664575 B CN116664575 B CN 116664575B CN 202310945958 A CN202310945958 A CN 202310945958A CN 116664575 B CN116664575 B CN 116664575B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- cloud data
- data
- curvature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000004519 manufacturing process Methods 0.000 claims abstract description 26
- 238000013461 design Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 65
- 238000013519 translation Methods 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于点云配准的缺陷检测方法、装置、设备及存储介质，其包括：获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；确定所述第二点云数据的缺陷点云；根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。能够实现快速检测出小批量、多种类的工业产品缺陷，更好地满足产品快速更新换代的生产需求，实现自动化精细检测的目标。
Description
技术领域
本发明涉及锂电池技术领域，尤其涉及一种基于点云配准的缺陷检测方法、装置以及设备。
背景技术
质检是工业产品生产中的重要一环，确保产品安全，质量合格是企业发展的重中之重。现有的产品质检方式主要由人工质检和自动化检测两种，人工质检方式存在质检人员培养周期长，且主观性强，缺少直观可靠的数据来检验产品，检测规格多变，难以确保产品检测标准化，符合产品需求。而自动化检测可以极大节省企业成本，检测效果稳定可靠，并可以为企业提供准确的产品数据，为企业优化产品生产工艺提供参考。但目前工业生产偏向多种类、小批量生产，产品更新换代快，自动化检测方案却需要专业人员开发，开发周期长，开发成本高，难以满足快速更新的生产需求。
发明内容
有鉴于此，本发明的目的在于提出一种基于点云配准的缺陷检测方法、装置以及设备，旨在解决上述问题。
为实现上述目的，本发明提供一种基于点云配准的缺陷检测方法，所述方法包括：
获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；
获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；
确定所述第二点云数据的缺陷点云；
根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。
优选的，所述确定所述第二点云数据的缺陷点云，包括：
计算所述第二点云数据的质心，基于所述第二点云数据的质心将所述第一点云数据进行平移变换，得到第一变换数据；
将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据；
基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据；
利用最邻近搜索法，通过遍历所述第二点云数据中的每一点在所述匹配点云数据中查找邻近点，并计算两点之间的距离，当距离大于距离阈值时，则将对应的点作为所述缺陷点云。
优选的，所述将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据，包括：
分别计算所述第一变换数据以及所述第二点云数据中每一点的曲率值；
判断所述曲率值大于曲率阈值时，将所述曲率值所对应的点作为强曲率点，否则作为弱曲率点，并根据所述强曲率点以及所述弱曲率点确定对应的强曲率特征区域以及弱曲率特征区域；
确定所述强曲率特征区域以及所述弱曲率特征区域的特征信息，根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域；
基于所述配对区域，对所述第一变换数据进行旋转平移后，得到第二变换数据；
计算所述第二变换数据中每一点与所述第二点云数据中的邻近点的距离误差，若所述距离误差小于误差阈值时，将所述第二变换数据作为所述第三点云数据。
优选的，所述根据所述强曲率点确定强曲率特征区域，包括：
根据分割阈值对所述强曲率点进行分割，将相邻距离小于所述分割阈值的所述强曲率点作为所述强曲率特征区域。
优选的，所述特征信息包括所述强曲率点的点数、质心、曲率平均值；所述根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域，包括：
基于所述第一变换数据的所述强曲率特征区域以及所述弱曲率特征区域，在所述第二点云数据中查找待匹配区域，当所述待匹配区域满足匹配条件时，将所述待匹配区域作为所述配对区域；其中，所述匹配条件包括所述质心的距离小于质心阈值、所述点数小于点数阈值以及所述曲率平均值差小于配准曲率阈值。
优选的，所述基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据，包括：
通过遍历所述第二点云数据的每一点在所述第三点云数据中查找邻近点，得到第一预选配对点；
通过遍历所述第三点云数据的每一点在所述第二点云数据中查找邻近点，得到第二预选配对点；
判断所述第一预选配对点与所述第二预选配对点是否对应相同，若是，则保留所述第一预选配对点并作为目标配对点；
基于所述目标配对点，计算所述第二点云数据和所述第三点云数据的旋转平移变换矩阵，得到第三变换数据；
计算所述第三变换数据中每一点与所述第二点云数据中的邻近点的距离误差之和，若所述距离误差之和小于加和阈值时，将所述第三变化数据作为所述匹配点云数据。
为实现上述目的，本发明还提供一种基于点云配准的缺陷检测装置，所述装置包括：
第一获取单元，用于获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；
第二获取单元，用于获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；
确定单元，用于确定所述第二点云数据的缺陷点云；
检测单元，用于根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。
为了实现上述目的，本发明还提出一种基于点云配准的缺陷检测设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种基于点云配准的缺陷检测方法的步骤。
为了实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种基于点云配准的缺陷检测方法的步骤。
有益效果：
以上方案，通过基于点云配准的缺陷检测方法能够实现快速检测出小批量、多种类的工业产品缺陷，更好地满足产品快速更新换代的生产需求，实现自动化精细检测的目标。
以上方案，通过采用不同的点云配准方式进行配准检测，相比起传统的ICP配准，以曲率区域配准和双向距离配准的方法，可以快速筛选出符合要求的配对点，剔除掉错误的配对点，极大地减少了算法计算量，减少算法耗时，为计算旋转平移变换矩阵提供良好的配对数据，降低配准误差。
以上方案，通过采用基于强弱曲率特征区域配准或双向距离配准，都可以在一定程度上避免噪声的干扰，提供更精细的匹配结果，提高检测精度，保证了产品的生产质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于点云配准的缺陷检测方法的流程示意图。
图2为本发明一实施例提供的一种基于点云配准的缺陷检测装置的结构示意图。
发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
以下结合实施例详细阐述本发明的内容。
参照图1所示为本发明一实施例提供的一种基于点云配准的缺陷检测方法的流程示意图。
本实施例中，该方法包括：
S11，获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据。
S12，获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品。
在本实施例中，通过获取工业产品的标准CAD设计图，作为产品样本，并将产品样本转化为点云，得到产品样本点云数据，记为A。通过相机扫描拍摄生产线上的实际产品，获取实际产品的深度图，并将其转为点云，得到对应的点云数据，记为B。
S13，确定所述第二点云数据的缺陷点云。
进一步的，在步骤S13中，所述确定所述第二点云数据的缺陷点云，包括：
S13-1，计算所述第二点云数据的质心，基于所述第二点云数据的质心将所述第一点云数据进行平移变换，得到第一变换数据；
S13-2，将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据；
S13-3，基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据；
S13-4，利用最邻近搜索法，通过遍历所述第二点云数据中的每一点在所述匹配点云数据中查找邻近点，并计算两点之间的距离，当距离大于距离阈值时，则将对应的点作为所述缺陷点云。
其中，在步骤S13-2中，所述将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据，包括：
S13-2-1，分别计算所述第一变换数据以及所述第二点云数据中每一点的曲率值；
S13-2-2，判断所述曲率值大于曲率阈值时，将所述曲率值所对应的点作为强曲率点，否则作为弱曲率点，并根据所述强曲率点以及所述弱曲率点确定对应的强曲率特征区域以及弱曲率特征区域；
S13-2-3，确定所述强曲率特征区域以及所述弱曲率特征区域的特征信息，根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域；
S13-2-4，基于所述配对区域，对所述第一变换数据进行旋转平移后，得到第二变换数据；
S13-2-5，计算所述第二变换数据中每一点与所述第二点云数据中的邻近点的距离误差，若所述距离误差小于误差阈值时，将所述第二变换数据作为所述第三点云数据。
其中，在步骤S13-2-2中，所述根据所述强曲率点确定强曲率特征区域，包括：
根据分割阈值对所述强曲率点进行分割，将相邻距离小于所述分割阈值的所述强曲率点作为所述强曲率特征区域。
其中，在步骤S13-2-3中，所述特征信息包括所述强曲率点的点数、质心、曲率平均值；所述根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域，包括：
基于所述第一变换数据的所述强曲率特征区域以及所述弱曲率特征区域，在所述第二点云数据中查找待匹配区域，当所述待匹配区域满足匹配条件时，将所述待匹配区域作为所述配对区域；其中，所述匹配条件包括所述质心的距离小于质心阈值、所述点数小于点数阈值以及所述曲率平均值差小于配准曲率阈值。
进一步的，在步骤S13-3中，所述基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据，包括：
S13-3-1，通过遍历所述第二点云数据的每一点在所述第三点云数据中查找邻近点，得到第一预选配对点；
S13-3-2，通过遍历所述第三点云数据的每一点在所述第二点云数据中查找邻近点，得到第二预选配对点；
S13-3-3，判断所述第一预选配对点与所述第二预选配对点是否对应相同，若是，则保留所述第一预选配对点并作为目标配对点；
S13-3-4，基于所述目标配对点，计算所述第二点云数据和所述第三点云数据的旋转平移变换矩阵，得到第三变换数据；
S13-3-5，计算所述第三变换数据中每一点与所述第二点云数据中的邻近点的距离误差之和，若所述距离误差之和小于加和阈值时，将所述第三变化数据作为所述匹配点云数据。
在本实施例中，上述中对于获得点云数据B的缺陷点云的具体过程包括：
步骤10、通过计算点云数据B的质心，将点云数据A进行平移变换，得到（对应第一变换数据），此时/>和点云数据B在质心上重合。其中，质心的计算公式为：
式中，为点云数据B的质心，/>为点云数据B中第个点。
步骤20、基于强弱曲率特征区域的配准方法将和点云数据B进行配准，得到点云数据C（对应第三点云数据），此时点云数据C和点云数据B基本重合。进一步的，上述对于/>和点云数据B的配准过程包括：
步骤20-1、分别计算和点云数据B的每一点的曲率值，将超出曲率阈值的点归为强曲率点，对于低于曲率阈值的点归为弱曲率点；由此利用该曲率阈值以用于区分强弱曲率点。作为强曲率点，可以视为对周边区域有更强的影响力，因此，依次遍历点云和点云数据B内的每一弱曲率点，以每一弱曲率点为网格中心，设置9*9*9个小网格组成的大网格，每个小网格大小与相机分辨率一致，若此大网格内的强曲率点超出比例阈值，则将该点设置为强曲率点（此处通过遍历/>和点云数据B的每一弱曲率点，将不满足曲率阈值、但邻近的强曲率点较多的点设置为强曲率点，进而提高划分精度），曲率值为大网格内所有强曲率点的曲率平均值；随后将强弱曲率点根据分割阈值进行分割，将相邻距离小于分割阈值的强曲率点归为强曲率特征区域，对于弱曲率点同样进行分割阈值的分割，此时得到一系列的强曲率特征区域和弱曲率特征区域。其中，曲率值的计算公式为：
式中，表示为曲率值，/>为点云第i点的邻域（附近25个点为邻域）所求得的协方差矩阵的特征值。
步骤20-2、将每一个的强弱曲率特征区域的点数、质心、曲率平均值作为该特征区域的特征信息，依据此特征信息进行点云配准，在点云B中查找对于点云的配对区域。对于在点云/>的强弱特征区域，若能在点云B中找到某个质心距离小于配准质心阈值、点数差小于配准点数阈值且曲率平均值差（将配对的特征区域的曲率平均值相减即可得出曲率平均值差）小于配准曲率阈值的区域时，将两者对应的区域作为配对区域，由此利用该配准曲率阈值以用于衡量两个特征区域的相似性。
步骤20-3、根据上述步骤得到的一系列配对区域，采用SVD(Singular ValueDecomposition，奇异值分解)方法计算点云和点云B的旋转平移变换矩阵，对点云进行旋转平移后，得到点云/>（对应第二变换数据），计算点云/>每一个点和点云B近邻点之间的距离误差（距离误差可采用欧式距离公式进行计算），若距离误差小于设定的误差阈值，则将点云/>作为基于强弱曲率特征区域的配准方法得到的最终变换点云数据C（对应第三点云数据），否则返回执行步骤20-1，此时步骤20-1中的点云/>为点云/>。
步骤30、为提高检测精度，通过采用基于预设的双向距离配准方法，对点云数据C和点云数据B进行二次匹配，得到点云（对应匹配点云数据），此时/>和点云B有着较高的匹配精度。其中，基于双向距离配准方法具体步骤如下：
步骤30-1、遍历点云B中的每一点，在点云B中查找点云数据C中的每一点的近邻点，计算/>与点云B中的每一点的距离，选取距离最小的点/>作为/>的近邻点，将两个点云的近邻点组成第一组预选配对点/>，其中/>表示为点云B中第i点，/>表示为点云数据C中的第j点。
步骤30-2、同理，遍历点云数据C中每一点，在点云B中查找近邻点，将查找到的近邻点组成第二组预选配对点，其中/>表示为点云B中第n点，/>表示为点云数据C中的第m点。
步骤30-3、对比两组预选配对点，若m=j且n=i，即点云数据C中的一点和点云B中的一点，在步骤30-1、步骤30-2两次配对中都组成了预选配对点，则保留，反之，删除这一对配对点，从而筛选出最终的配对点。
步骤30-4、根据步骤30-3得到的一组配对点，采用SVD方法计算点云B和点云数据C的旋转平移变换矩阵，得到变换后的点云（对应第三变换数据）；计算点云/>中每一点和点云B中近邻点的距离误差之和（距离误差之和可通过计算点云/>的每一点和点云B中的近邻点的欧式距离之和），若距离误差之和小于加和阈值，则点云/>为步骤30的配准结果，得到点云/>，若距离误差之和大于加和阈值，则/>作为步骤30-1中的点云数据C，返回执行步骤30-1。
步骤40、采用最近邻搜索方法，遍历点云B，查找在点云上的近邻点，若两点之间的距离超出距离阈值，则视为缺陷点云，将其归入可疑缺陷点集。
S14，根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。
在本实施例中，根据包围盒计算缺陷点云的缺陷信息，得出对应缺陷的位置、长、宽、高等物理信息；根据检测阈值包括产品参数和检测要求，对缺陷的物理信息进行过滤，得到最终的缺陷。基于上述的缺陷检测方法能够快速检测出小批量多种类的工业产品缺陷，满足产品快速更新换代，实现自动化精细检测。
参照图2所示为本发明一实施例提供的一种基于点云配准的缺陷检测装置的结构示意图。
在本实施例中，该装置20包括：
第一获取单元21，用于获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；
第二获取单元22，用于获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；
确定单元23，用于确定所述第二点云数据的缺陷点云；
检测单元24，用于根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。
该装置20的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
本发明实施例还提供一种设备，该设备包括如上所述的基于点云配准的缺陷检测装置，其中，基于点云配准的缺陷检测装置可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。
所述设备包括：手机、数码相机或平板电脑等具有拍照功能的设备，或者具有图像处理功能的设备，或者具有图像显示功能的设备。所述设备可包括存储器、处理器、输入单元、显示单元、电源等部件。
其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如图像播放功能等)等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器和输入单元对存储器的访问。
输入单元可用于接收输入的数字或字符或图像信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，本实施例的输入单元除了包括摄像头，还可包括触敏表面（例如触摸显示屏）以及其他输入设备。
显示单元可用于显示由用户输入的信息或提供给用户的信息以及设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元可包括显示面板，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现图1所示的基于点云配准的缺陷检测方法。所述计算机可读存储介质可以是只读存储器，磁盘或光盘等。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例、设备实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (6)
1.一种基于点云配准的缺陷检测方法，其特征在于，所述方法包括：获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；
确定所述第二点云数据的缺陷点云；包括：
计算所述第二点云数据的质心，基于所述第二点云数据的质心将所述第一点云数据进行平移变换，得到第一变换数据；
将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据；
基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据；
利用最邻近搜索法，通过遍历所述第二点云数据中的每一点在所述匹配点云数据中查找邻近点，并计算两点之间的距离，当距离大于距离阈值时，则将对应的点作为所述缺陷点云；
根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷；
其中，所述将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据，包括：
分别计算所述第一变换数据以及所述第二点云数据中每一点的曲率值；
判断所述曲率值大于曲率阈值时，将所述曲率值所对应的点作为强曲率点，否则作为弱曲率点，并根据所述强曲率点以及所述弱曲率点确定对应的强曲率特征区域以及弱曲率特征区域；
确定所述强曲率特征区域以及所述弱曲率特征区域的特征信息，根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域；
基于所述配对区域，对所述第一变换数据进行旋转平移后，得到第二变换数据；
计算所述第二变换数据中每一点与所述第二点云数据中的邻近点的距离误差，若所述距离误差小于误差阈值时，将所述第二变换数据作为所述第三点云数据；
其中，所述基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据，包括：
通过遍历所述第二点云数据的每一点在所述第三点云数据中查找邻近点，得到第一预选配对点；
通过遍历所述第三点云数据的每一点在所述第二点云数据中查找邻近点，得到第二预选配对点；
判断所述第一预选配对点与所述第二预选配对点是否对应相同，若是，则保留所述第一预选配对点并作为目标配对点；
基于所述目标配对点，计算所述第二点云数据和所述第三点云数据的旋转平移变换矩阵，得到第三变换数据；
计算所述第三变换数据中每一点与所述第二点云数据中的邻近点的距离误差之和，若所述距离误差之和小于加和阈值时，将所述第三变换数据作为所述匹配点云数据。
2.根据权利要求1所述的一种基于点云配准的缺陷检测方法，其特征在于，所述根据所述强曲率点以及所述弱曲率点确定对应的强曲率特征区域以及弱曲率特征区域，包括：
根据分割阈值对所述强曲率点进行分割，将相邻距离小于所述分割阈值的所述强曲率点作为所述强曲率特征区域。
3.根据权利要求1所述的一种基于点云配准的缺陷检测方法，其特征在于，所述特征信息包括所述强曲率点的点数、质心、曲率平均值；所述根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域，包括：
基于所述第一变换数据的所述强曲率特征区域以及所述弱曲率特征区域，在所述第二点云数据中查找待匹配区域，当所述待匹配区域满足匹配条件时，将所述待匹配区域作为所述配对区域；其中，所述匹配条件包括所述质心的距离小于质心阈值、所述点数小于点数阈值以及所述曲率平均值差小于配准曲率阈值。
4.一种基于点云配准的缺陷检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取工业产品的标准CAD设计图，并转为点云，得到第一点云数据；
第二获取单元，用于获取生产产品的深度图，并转为点云，得到第二点云数据，其中，所述生产产品为通过相机拍摄生产线上的实际产品；确定单元，用于确定所述第二点云数据的缺陷点云；包括：计算所述第二点云数据的质心，基于所述第二点云数据的质心将所述第一点云数据进行平移变换，得到第一变换数据；
将所述第一变换数据与所述第二点云数据进行配准，得到第三点云数据；包括：
分别计算所述第一变换数据以及所述第二点云数据中每一点的曲率值；
判断所述曲率值大于曲率阈值时，将所述曲率值所对应的点作为强曲率点，否则作为弱曲率点，并根据所述强曲率点以及所述弱曲率点确定对应的强曲率特征区域以及弱曲率特征区域；
确定所述强曲率特征区域以及所述弱曲率特征区域的特征信息，根据所述特征信息在所述第二点云数据中查找对应所述第一变换数据的配对区域；
基于所述配对区域，对所述第一变换数据进行旋转平移后，得到第二变换数据；
计算所述第二变换数据中每一点与所述第二点云数据中的邻近点的距离误差，若所述距离误差小于误差阈值时，将所述第二变换数据作为所述第三点云数据；
基于预设双向距离配准法将所述第三点云数据与所述第二点云数据进行二次匹配，得到匹配点云数据；包括：
通过遍历所述第二点云数据的每一点在所述第三点云数据中查找邻近点，得到第一预选配对点；
通过遍历所述第三点云数据的每一点在所述第二点云数据中查找邻近点，得到第二预选配对点；
判断所述第一预选配对点与所述第二预选配对点是否对应相同，若是，则保留所述第一预选配对点并作为目标配对点；
基于所述目标配对点，计算所述第二点云数据和所述第三点云数据的旋转平移变换矩阵，得到第三变换数据；
计算所述第三变换数据中每一点与所述第二点云数据中的邻近点的距离误差之和，若所述距离误差之和小于加和阈值时，将所述第三变换数据作为所述匹配点云数据；
利用最邻近搜索法，通过遍历所述第二点云数据中的每一点在所述匹配点云数据中查找邻近点，并计算两点之间的距离，当距离大于距离阈值时，则将对应的点作为所述缺陷点云；
检测单元，用于根据包围盒计算所述缺陷点云的缺陷信息，根据检测阈值对所述缺陷信息进行过滤，得到目标缺陷。
5.一种基于点云配准的缺陷检测设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至3任意一项所述的一种基于点云配准的缺陷检测方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至3任意一项所述的一种基于点云配准的缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310945958.7A CN116664575B (zh) | 2023-07-31 | 2023-07-31 | 一种基于点云配准的缺陷检测方法、装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310945958.7A CN116664575B (zh) | 2023-07-31 | 2023-07-31 | 一种基于点云配准的缺陷检测方法、装置以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664575A CN116664575A (zh) | 2023-08-29 |
| CN116664575B true CN116664575B (zh) | 2023-11-03 |
Family
ID=87712218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310945958.7A Active CN116664575B (zh) | 2023-07-31 | 2023-07-31 | 一种基于点云配准的缺陷检测方法、装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664575B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955939A (zh) * | 2014-05-16 | 2014-07-30 | 重庆理工大学 | 三维扫描系统中点云拼接用边界特征点配准方法 |
| CN105678689A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术（北京）有限公司 | 高精地图数据配准关系确定方法及装置 |
| CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
| CN109345523A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学院苏州生物医学工程技术研究所 | 表面缺陷检测和三维建模方法 |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| WO2021232463A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 多源移动测量点云数据空地一体化融合方法、存储介质 |
| CN114202470A (zh) * | 2021-11-12 | 2022-03-18 | 江苏核电有限公司 | 一种压力容器主螺栓孔螺纹三维重建及缺陷自动识别方法 |
| CN116309026A (zh) * | 2023-03-20 | 2023-06-23 | 辽宁工程技术大学 | 一种基于统计局部特征描述与匹配的点云配准方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11692930B2 (en) * | 2019-08-06 | 2023-07-04 | Triad National Security, Llc | Standoff inspection using geometry-informed full-wavefield response measurements |
-
2023
- 2023-07-31 CN CN202310945958.7A patent/CN116664575B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955939A (zh) * | 2014-05-16 | 2014-07-30 | 重庆理工大学 | 三维扫描系统中点云拼接用边界特征点配准方法 |
| CN105678689A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术（北京）有限公司 | 高精地图数据配准关系确定方法及装置 |
| CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
| CN109345523A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学院苏州生物医学工程技术研究所 | 表面缺陷检测和三维建模方法 |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| WO2021232463A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 多源移动测量点云数据空地一体化融合方法、存储介质 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| CN114202470A (zh) * | 2021-11-12 | 2022-03-18 | 江苏核电有限公司 | 一种压力容器主螺栓孔螺纹三维重建及缺陷自动识别方法 |
| CN116309026A (zh) * | 2023-03-20 | 2023-06-23 | 辽宁工程技术大学 | 一种基于统计局部特征描述与匹配的点云配准方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于 IVCCS 的三维点云配准算法;王春阳 等;红外与激光工程;第51卷(第6期);469-480 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664575A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023077404A1 (zh) | 缺陷检测方法、装置和系统 | |
| Deng et al. | Automatic indoor construction process monitoring for tiles based on BIM and computer vision | |
| Jovančević et al. | Automated exterior inspection of an aircraft with a pan-tilt-zoom camera mounted on a mobile robot | |
| CN113421263B (zh) | 零件缺陷检测方法、设备、介质及计算机程序产品 | |
| JP6078234B2 (ja) | 荷電粒子線装置 | |
| JP6089886B2 (ja) | 領域分割方法および検査装置 | |
| Qu et al. | Lining seam elimination algorithm and surface crack detection in concrete tunnel lining | |
| WO2015074521A1 (en) | Devices and methods for positioning based on image detection | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| US11741683B2 (en) | Apparatus for processing labeled data to be used in learning of discriminator, method of controlling the apparatus, and non-transitory computer-readable recording medium | |
| CN115937167A (zh) | 电池极片陶瓷的缺陷检测方法、装置及电子设备 | |
| CN116664575B (zh) | 一种基于点云配准的缺陷检测方法、装置以及设备 | |
| Zhang et al. | Reading recognition of pointer meter based on pattern recognition and dynamic three-points on a line | |
| CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
| Zong et al. | Building change detection from remotely sensed images based on spatial domain analysis and Markov random field | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| Whinery et al. | Thermal image processing for feature extraction from encapsulated phase change materials | |
| Kost et al. | A generic nuclei detection method for histopathological breast images | |
| Saha et al. | Classification of surface geometry behavior of cultural heritage surfaces based on monitoring change | |
| Le Meur et al. | Practical use of receiver operating characteristic analysis to assess the performances of defect detection algorithms | |
| JP5374225B2 (ja) | ウェハ検査条件決定方法、ウェハ検査条件決定システム及びウェハ検査システム | |
| Du et al. | Bullet hole detection using series Faster-RCNN and video analysis | |
| Teng et al. | A distribution balance-based data augmentation method for light-trap pest detection | |
| Yu et al. | Gesture tracking and locating algorithm based on federated tracking filter | |
| TWI791910B (zh) | 用於孔狀結構之檢測資訊呈現方法、檢測方法、及檢測設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |