CN113643273B - 一种基于点云数据的缺陷检测方法及装置 - Google Patents
一种基于点云数据的缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN113643273B CN113643273B CN202110973889.1A CN202110973889A CN113643273B CN 113643273 B CN113643273 B CN 113643273B CN 202110973889 A CN202110973889 A CN 202110973889A CN 113643273 B CN113643273 B CN 113643273B
- Authority
- CN
- China
- Prior art keywords
- point
- point pair
- matching
- actual
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012216 screening Methods 0.000 claims abstract description 22
- 230000001131 transforming effect Effects 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 28
- 230000002950 deficient Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请的一种基于点云数据的缺陷检测方法,包括:分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;进行局部姿态匹配,得到候选匹配点对;通过约束条件对候选匹配点对进行筛选,得到匹配点对;对由匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态;基于局部匹配姿态对实际采样数据与模型采样数据进行变换,得到变换后的实际采样数据;确定最邻近点对;根据最邻近点对的距离判断待测物是否有缺陷。本申请通过对候选匹配点对增加约束条件的方法,减少点云数据的数据量的目的,提高了实际点云与标准点云的配准效率。本申请还提供一种基于点云数据的缺陷检测装置。
Description
技术领域
本申请涉及缺陷检测技术领域,尤其涉及一种基于点云数据的缺陷检测方法及装置。
背景技术
表面缺陷检测是对待测物表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。表面缺陷检测包括:先通过3D扫描设备采集待测物的实际点云数据和待测物标准件的标准点云;基于点云数据依次进行数据采样、配准,使待测物的实际点云数据和待测物标准件的标准点云数据相匹配,进而再判断待测物有无缺陷。
随着3D扫描设备技术的发展,3D扫描设备的扫描精度越来越高,使得获取的实际点云数据和标准点云数据的数目量也越来越大。因此需要对获取的点云数据进行预处理。现有技术中通常采用数据预处理方法对采集的点云数据进行预处理,该数据预处理方法包括点云去噪声、点云简化、点云配准以及点云补洞等。通过数据预处理方法,可以剔除点云中的噪声和外点。
但采用该数据预处理方法将噪声或外点剔除之后,还仍然保留有大量的点云数据。当点云数据的数目较大时,将影响配准效率。
发明内容
本申请提供了一种基于点云数据的缺陷检测方法及装置,能够对匹配过程中生成的部分点云数据进行剔除,进而减小点云数据的数目量,提高配准效率。
本申请采用的技术方案如下:
一种基于点云数据的缺陷检测方法,包括以下步骤:
分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;
基于所述实际采样数据与所述模型采样数据进行局部姿态匹配,得到候选匹配点对;
通过约束条件对所述候选匹配点对进行筛选,得到匹配点对;
对由所述匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态;
基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据进行变换,得到变换后的实际采样数据;
在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算所述最邻近点对的距离;
在所述距离大于或等于预设距离阈值的情况下,判定所述待测物有缺陷。
进一步地,基于所述实际采样数据与所述模型采样数据进行局部姿态匹配,得到候选匹配点对,包括:
基于所述模型采样数据计算模型点对的3D几何特征,所述模型点对是所述模型采样数据中的模型点之间两两组合得到的;
建立所述3D几何特征与对应所述模型点对之间的查找表,所述查找表中包含索引值;
计算实际采样数据中实际点对的3D几何特征,所述实际点对是所述实际采样数据中的实际点之间两两组合得到的;
根据所述实际点对的3D几何特征计算所述实际点对的key值;
在所述查找表中,搜索与所述key值相同的索引值,得到候选匹配点对,其中,所述候选匹配点对在所述key值与所述索引值相同时,所述key值所对应的实际点对与所述索引值所对应的模型点对所组成的点对。
进一步地,通过约束条件对所述候选匹配点对进行筛选,得到匹配点对,具体包括:
所述约束条件包括第一约束条件;
通过所述第一约束条件对所述候选匹配点对进行筛选的情况,得到匹配点对,包括:
计算所述候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,其中所述点对距离是所述候选匹配点对中,所述实际点对中两个实际点之间的距离或所述模型点对中两个模型点之间的距离;
将所述点对距离大于μ+3δ的所述候选匹配点对剔除,所述点对距离小于或等于μ+3δ的所述候选匹配点对即为所述匹配点对。
进一步地,当所述待测物有缺陷时,计算所述标准点云数据的平面法向量与所述最邻近点对的向量;
根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致判断缺陷类型:
在所述最邻近点对的向量方向与所述平面法向量的方向一致的情况下,判定所述缺陷为凹缺陷;
在所述最邻近点对的向量方向与所述平面法向量的方向不一致的情况下,判定所述缺陷为凸缺陷。
进一步地,所述索引值的计算方法包括以下步骤:
从所述模型采样数据的3D几何特征选取三个3D几何特征:点对距离、曲率特征、法线差异角度;
将所述三个3D几何特征分别进行维度划分:将所述点对距离等分得到S,将所述曲率特征等分得到p1、p2、p3、p4,将法线差异角度等分得到T;
计算每个所述模型点对的3D几何特征(s,p1,p2,p3,p4,t)所对应的索引值的公式为:
式中,s表示点对距离,p表示曲率特征,t表示法线差异角度,表示取下整。
进一步地,基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据依次进行变换,得到变换后的实际采样数据,包括:
采用所述局部匹配姿态对所述实际采样数据进行变换,得到第一次变换后的实际采样数据;
将所述模型采样数据与所述第一次变换后的实际采样数据进行粗配准,得到粗配准刚性变换矩阵;
采用所述粗配准刚性变换矩阵对所述第一次变换后的实际采样数据进行变换,得到第二次变换后的实际采样数据;
将经所述第二次变换后的实际采样数据与所述模型采样数据进行精配准,得到精配准刚性变换矩阵;
采用所述精配准刚性变换矩阵对所述第二次变换后的实际采样数据进行变换,得到经变换后的实际采样数据。
又一方面,本申请还提供一种基于点云数据的缺陷检测装置,所述装置包括:
数据采样单元,用于分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;
候选匹配点对获取模块,用于基于所述实际采样数据与所述模型采样数据进行局部姿态匹配,得到候选匹配点对;
匹配点对获取模块,用于通过约束条件对所述候选匹配点对进行筛选,得到匹配点对;
局部匹配姿态获取模块,用于对由所述匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态;
匹配变换模块,用于基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据进行变换,得到变换后的实际采样数据;
搜索模块,用于在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算模块,用于计算所述最邻近点对的距离;
判断模块,用于在所述距离小于预设距离阈值情况下,判定所述待测物无缺陷,在所述距离大于或等于所述预设距离阈值的情况下,判定所述待测物有缺陷。
进一步地,所述匹配点对获取模块包括第一约束单元,所述第一约束单元包括:
第一计算子单元,计算所述候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,所述点对距离是所述候选匹配点对中,所述实际点对中两个实际点之间的距离或所述模型点对中两个模型点之间的距离;
第一匹配点对获取子单元,用于将所述点对距离大于μ+3δ的所述候选匹配点对剔除,所述点对距离小于或等于μ+3δ的所述候选匹配点对即为所述匹配点对。
又一方面,本申请还提供一种计算机设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或者多个处理器实现如权利要求1至6任意一项所述的基于点云数据的缺陷检测方法。
又一方面,本申请还提供一种计算机可读介质,其上储存有计算机程序,所述程序被处理器执行时实现如权利要求1至6任意一项所述的基于点云数据的缺陷检测方法。
采用本申请的技术方案的有益效果如下:
本申请先通过数据采样获得实际采样数据和模型采样数据,再依次采样局部姿态匹配、粗配准和精配准对进行配准和变换,得到变换后的实际采样数据;最后以变换后的实际采样数据为依据判断待测物是否存在缺陷。
本申请通过对候选匹配点对增加约束条件的方法,起到了减少点云数据的数据量的目的,提高了目标点云与模型点云的配准效率,提高了缺陷检测效率;
本申请在确定存在缺陷之后,还依据向量之间的关系,判断了缺陷的类型,有利于为调整待测物的生产工艺提供理论支持。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的基于点云数据的缺陷检测方法的流程图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1,为本申请实施例所提供的基于点云数据的缺陷检测方法的流程图。
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”。
本申请提供的一种基于点云数据的缺陷检测方法,包括以下步骤:
对待测物和待测物标准件进行拍摄、扫描,获取待测物的实际点云数据和待测物标准件的标准点云数据。
S1.通常应用场景数据样本过大,因此只抽取少部分样本来训练或验证,不仅可以节约计算机资源,在特定情况下也会提升实验效果。数据采样就是按照某种规则从原始数据集中挑选出采样数据,得到实际采样数据和模型采样数据。
本实施例分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,具体方法包括但不限于以下方式:
基于索引的采样:设定点云的索引为0、1、2、……、n-1,步长为k,则采样后的数据索引为:0、k、2k、……、mk(mk小于n中最大值)。
基于体素的采样:设体素大小为l×w×h,点云的最小包围立方体大小为L*W*H,则点云可被划分为个小的体素(/>表示取上整),为保证采样后的采样数据是原始点云的子集和均匀性,这里选择每个体素内数据最靠近体素中心的点作为采样点。
基于曲率的采样:曲率可以表示物体表面的弯曲程度,设点云数据的曲率为p1、p2、……、pn,最大比较数目为N,曲率差异阈值为Th,随机或者指定一个数据pk作为起始点,接着,从p1开始依次与pk进行比较,若pm与pk的差异大于Th,或pm是第N个比较点,则保留pm;然后,再以pm作为比较点,从pm之后的点依次与pm进行比较,重复上面的过程,直到所有点云数据比较完毕,则保留的点即为采样数据。
基于密度的采样:密度表示点云局部的疏密程度,基于密度的采样方法与基于曲率的方法类似,仅是将比较曲率替换为了密度,最终保留点即为采样数据。
基于采样距离的采样:设采样距离为S,随机或者指定一个数据pk作为起始点,接着,从p1开始依次计算与pk的距离,若pm与pk的距离大于S,则保留pm;然后,再以pm作为比较点,从pm之后的点依次与pm计算距离,重复上面的过程,直到所有点云数据比较完毕,则保留的点即为采样数据。
S2.基于实际采样数据与模型采样数据进行局部姿态匹配,得到候选匹配点对,具体包括:
基于模型采样数据计算模型点对的3D几何特征,模型点对是模型采样数据中的模型点之间两两组合得到的。需要说明的是,3D几何特征包括模型点对或实际点对的点对距离、曲率特征、法线差异角度和轴线法线角度;
建立3D几何特征与对应模型点对之间的查找表,查找表中包含索引值;
计算实际采样数据中实际点对的3D几何特征,实际点对是实际采样数据中的实际点之间两两组合得到的;
根据实际点对的3D几何特征计算实际点对的key值;
在查找表中,搜索与key值相同的索引值,得到候选匹配点对,候选匹配点对是在key值与索引值相同时,key值所对应的实际点对与索引值所对应的模型点对所组成的点对。
其中,本实施例还提供了计算3D几何特征的方法,包括但不限于:
计算点对距离的方法:设点p和点q构成点对,则点p和点q之间的距离s构成点对距离。
计算曲率的方法:这里主要是计算点p和点q的主曲率Kp1、Kp2和Kq1、Kq2,曲率可以用于曲面的分类,例如:Kp1=Kp2>0表示球体;Kp1=Kp2=0表示平面;Kp1=0且Kp2>0表示圆柱等。
计算法线差异角度:设点p和点q的法线向量为n和m,则向量n和m构成的夹角即为法线差异角度。
计算轴线法线角度的方法:设点p和点q构成点对,对应法线向量为n和m,pq构成轴线,则法线向量与pq可构成2个轴线法线角度。
在计算曲率、法线差异角度和轴线法线角度时,需要寻找邻域点,故为提高邻域信息的查找效率,在离线阶段会预先建立好KDTree或八叉树等。为提高投票效率,基于Hash思想,分别计算出查找表的索引值和目标点对的3D几何特征所对应key值,就可将目标点对的3D几何特征快速与查找表中类似的3D几何特征进行匹配,节省了与将每个特征逐一比较的过程。
进一步地,本实施例还提供一种计算索引值的方法,包括但不限于以下步骤:
从模型采样数据的3D几何特征选取三个3D几何特征:点对距离、曲率特征、法线差异角度;
将三个3D几何特征分别进行维度划分:将点对距离等分得到S,将曲率特征等分得到p1、p2、p3、p4,将法线差异角度等分得到T;
计算每个模型点对的3D几何特征(s,p1,p2,p3,p4,t)所对应的索引值的公式为:
式中,s表示点对距离,p表示曲率特征,t表示法线差异角度,表示取下整。
需要说明的是,从模型采样数据的3D几何特征选取出的三个3D几何特征,除了可以是点对距离、曲率特征、法线差异角度,还可以是点对距离、曲率特征、轴线法线角度,还可以是曲率特征、法线差异角度、轴线法线角度,还可以是点对距离、法线差异角度、轴线法线角度。以上四种几何特征的组合虽不同,但计算key值采用的方法与上述方法相似。再者,根据实际点对的3D几何特征计算实际点对的key值的方法与计算索引值的方法相同,在此不再赘述。
由于环境的干扰和设备的缺陷等因素,点云数据通常含有大量不同尺度的噪声。噪声的存在将扰乱采样数据的局部几何结构,干扰特征的精准表达。因此,本实施例还包括对实际采样数据和模型采样数据进行采样数据预处理,该数据预处理方法包括点云去噪声、点云简化、点云配准以及点云补洞等。通过数据预处理方法,可以剔除这两种采样数据中的噪声和外点。为了进一步减小采样数据的数据量,以及提高采样数据的可用率,本实施例采用增加约束条件的方法剔除部分点云数据。
S3.通过约束条件对候选匹配点对进行筛选,得到匹配点对。
本实施例设定了三种约束条件:第一约束条件、第二约束条件和第三约束条件,在对匹配点对进行筛选时,可以选择三种约束条件中的任意一种、任意两种或全部。
通过第一约束条件对候选匹配点对进行筛选的情况,得到匹配点对,包括:
计算候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,其中点对距离是候选匹配点对中,实际点对中两个实际点之间的距离或模型点对中两个模型点之间的距离;
将点对距离大于μ+3δ的候选匹配点对剔除,点对距离小于或等于μ+3δ的候选匹配点对即为匹配点对。
计算候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,其中点对距离是候选匹配点对中,实际点对中两个实际点之间的距离或模型点对中两个模型点之间的距离;
将点对距离大于μ+3δ的候选匹配点对剔除,点对距离小于或等于μ+3δ的候选匹配点对即为匹配点对。
通过第二约束条件对候选匹配点对进行筛选,得到匹配点对,包括:
计算候选匹配点对中的点对距离;
选取最大点对距离;
将点对距离大于点对距离阈值的候选匹配点对剔除,点对距离小于或等于点对距离阈值的候选匹配点对即为匹配点对,点对距离阈值为最大点对距离与点对距离倍数阈值之积;
通过第三约束条件对候选匹配点对进行筛选,得到匹配点对,包括:
比较候选匹配点对中实际点对与对应模型点对的3D几何特征之间的差异值;
将差异值大于差异值阈值的候选匹配点对剔除,差异值小于或等于差异值阈值的候选匹配点对即为匹配点对。
为了提高变换时的精准度,还需要对匹配点对进行进一步的筛选。
S4.确定匹配点对之后,对由匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态。
S5.基于局部匹配姿态对实际采样数据与模型采样数据进行变换,得到变换后的实际采样数据,变换过程中具体包括:
采用局部匹配姿态对实际采样数据进行变换,得到第一次变换后的实际采样数据;
将模型采样数据与第一次变换后的实际采样数据进行粗配准,得到粗配准刚性变换矩阵;
采用粗配准刚性变换矩阵对第一次变换后的实际采样数据进行变换,得到第二次变换后的实际采样数据;
将经第二次变换后的实际采样数据与模型采样数据进行精配准,得到精配准刚性变换矩阵。
经过以上的粗配准和精配准过程,得到获得精配准刚性变换矩阵后,再采用精配准刚性变换矩阵对第二次变换后的实际采样数据进行变换,使得实际采样数据与模型采样数据实现匹配。
S6.在变换后的实际采样数据中,搜索与模型采样数据的模型点距离最近的实际点,模型点与实际点构成最邻近点对。
S7.计算最邻近点对的距离。
S8.在距离大于或等于预设距离阈值的情况下,判定待测物有缺陷。为了使工业检测结果能够对生产工艺的调整做出实质性的指导,仅判断存在缺陷是远远不够的,还需要判断缺陷的类型。
因此,本实施例在判断存在缺陷的基础上,继续判断缺陷的类型,包括:
当判定待测物有缺陷时,计算待测物标准件的标准点云数据中的平面法向量与最邻近点对的向量;
根据最邻近点对的向量方向与平面法向量的方向是否一致判断缺陷类型:
在最邻近点对的向量方向与平面法向量的方向一致的情况下,判定缺陷为凹缺陷;
在最邻近点对量方向与平面法向量的方向不一致的情况下,判定缺陷为凸缺陷。
进一步地,本实施例将粗配准和精配准过程进行详细说明。
S52通过粗配准方法将模型采样数据与第一次变换后的实际采样数据进行粗配准,得到粗配准刚性变换矩阵,具体包括以下步骤:
S521在第一次变换后的实际采样数据P中取点集pi;
S522在模型采样数据Q中找出与点集pi对应的点集qi,pi与qi满足min=||qi-pi||;
S523计算对应点集p′i与qi之间的旋转矩阵R和平移矩阵T,使得误差函数最小,误差函数为E(R,T):
其中,n为最近邻点对的个数;
S524使用所述旋转矩阵R和平移矩阵T对点集pi执行刚性变换,得到新的点集p′i;
S525计算点集p′i到点集qi的平均距离;
S526判断是否满足收敛条件:若满足至少一个收敛条件,则停止迭代计算,否则重复S522~S526,直到满足收敛条件为止;
所述收敛条件为平均距离小于给定阈值、或者迭代次数大于预设最大迭代次数、或者两次刚体变换矩阵之间的差值小于预设差值阈值,
S527输出粗配准刚体变换矩阵:所述旋转矩阵R和平移矩阵T;
S53采用粗配准刚性变换矩阵对第一次变换后的实际采样数据进行变换,得到第二次变换后的实际采样数据;
S54将经第二次变换后的实际采样数据与模型采样数据进行精配准,得到精配准刚性变换矩阵。具体包括:
S541在经第二次变换后的实际采样数据中取点集p′i,并作为精配准的初始点集;
S542在点集qi中找出与点集p′i对应的点集q′i,p′i与q′i满足min=||q′i-p′i||;
S543计算对应点集p′i与q′i之间的旋转矩阵R和平移矩阵T,使得误差函数最小,误差函数为E(R,T):
其中,n为最近邻点对的个数;
S544使用所述旋转矩阵R和平移矩阵T对点集p′i进行刚性变换,得到新的点集p″i;
S545计算点集p″i到点集q′i的平均距离;
S546判断是否满足收敛条件:若满足至少一个收敛条件,则停止迭代计算,否则重复S542~S546,直到满足收敛条件为止;
S547输出精配准刚体变换矩阵,所述精配准刚体变换矩阵为所述最佳匹配姿态。
本实施例还提供一种基于点云数据的缺陷检测装置,包括:
数据采样单元,用于分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;
候选匹配点对获取模块,用于基于实际采样数据与模型采样数据进行局部姿态匹配,得到候选匹配点对;
匹配点对获取模块,用于通过约束条件对候选匹配点对进行筛选,得到匹配点对;
局部匹配姿态获取模块,用于对由匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态;
匹配变换模块,用于基于局部匹配姿态对实际采样数据与模型采样数据进行变换,得到变换后的实际采样数据;
搜索模块,用于在变换后的实际采样数据中,搜索与模型采样数据的模型点距离最近的实际点,模型点与实际点构成最邻近点对;
计算模块,用于计算最邻近点对的距离;
判断模块,用于在距离小于预设距离阈值情况下,判定待测物无缺陷,在距离大于或等于预设距离阈值的情况下,判定待测物有缺陷。
进一步地,候选匹配点对获取模块还包括第一约束单元、第二约束单元、第三约束单元中的任意一个、任意两个或全部。
第一约束单元包括:
第一计算子单元,计算候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,点对距离是候选匹配点对中,实际点对中两个实际点之间的距离或模型点对中两个模型点之间的距离;
第一匹配点对获取子单元,用于将点对距离大于μ+3δ的候选匹配点对剔除,点对距离小于或等于μ+3δ的候选匹配点对即为匹配点对。
第二约束单元包括:
第二计算子单元,用于计算候选匹配点对中的点对距离;
选取子单元,用于选取最大点对距离;
第二匹配点对获取子单元,用于将点对距离大于点对距离阈值的候选匹配点对剔除,点对距离小于或等于点对距离阈值的候选匹配点对即为匹配点对,其中点对距离阈值为最大点对距离与点对距离倍数阈值之积;
第三约束单元包括:
比较子单元,用于比较候选匹配点对中实际点对与对应模型点对的3D几何特征之间的差异值;
第三匹配点对获取子单元,用于将差异值大于差异值阈值的候选匹配点对剔除,差异值小于或等于差异值阈值的候选匹配点对即为匹配点对。
本申请实施例还包括一种计算机设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或者多个处理器实现上述的基于点云数据的缺陷检测方法。
进一步地,还包括一种计算机可读介质,其上储存有计算机程序,程序被处理器执行时实现上述的基于点云数据的缺陷检测方法。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (7)
1.一种基于点云数据的缺陷检测方法,其特征在于,包括以下步骤:
分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;
基于所述实际采样数据与所述模型采样数据进行局部姿态匹配,得到候选匹配点对;
基于所述模型采样数据计算模型点对的3D几何特征,所述模型点对是所述模型采样数据中的模型点之间两两组合得到的;
建立所述3D几何特征与对应所述模型点对之间的查找表,所述查找表中包含索引值;
计算实际采样数据中实际点对的3D几何特征,所述实际点对是所述实际采样数据中的实际点之间两两组合得到的;
根据所述实际点对的3D几何特征计算所述实际点对的key值;
在所述查找表中,搜索与所述key值相同的索引值,得到候选匹配点对,其中,所述候选匹配点对在所述key值与所述索引值相同时,所述key值所对应的实际点对与所述索引值所对应的模型点对所组成的点对;
通过约束条件对所述候选匹配点对进行筛选,得到匹配点对;
所述约束条件包括第一约束条件;
通过所述第一约束条件对所述候选匹配点对进行筛选的情况,得到匹配点对,包括:
计算所述候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,其中所述点对距离是所述候选匹配点对中,所述实际点对中两个实际点之间的距离或所述模型点对中两个模型点之间的距离;
将所述点对距离大于μ+3δ的所述候选匹配点对剔除,所述点对距离小于或等于μ+3δ的所述候选匹配点对即为所述匹配点对;
通过第二约束条件对所述候选匹配点对进行筛选,得到匹配点对,包括:
计算所述候选匹配点对中的点对距离;
选取最大点对距离;
将所述点对距离大于点对距离阈值的候选匹配点对剔除,所述点对距离小于或等于点对距离阈值的候选匹配点对即为匹配点对,所述点对距离阈值为最大点对距离与点对距离倍数阈值之积;
通过第三约束条件对所述候选匹配点对进行筛选,得到匹配点对,包括:
比较所述候选匹配点对中实际点对与对应模型点对的3D几何特征之间的差异值;
将所述差异值大于差异值阈值的所述候选匹配点对剔除,所述差异值小于或等于差异值阈值的所述候选匹配点对即为所述匹配点对;
对由所述匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态;
基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据进行变换,得到变换后的实际采样数据;
在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算所述最邻近点对的距离;
在所述距离大于或等于预设距离阈值的情况下,判定所述待测物有缺陷。
2.根据权利要求1所述的基于点云数据的缺陷检测方法,其特征在于,
当所述待测物有缺陷时,计算所述标准点云数据的平面法向量与所述最邻近点对的向量;
根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致判断缺陷类型:
在所述最邻近点对的向量方向与所述平面法向量的方向一致的情况下,判定所述缺陷为凹缺陷;
在所述最邻近点对的向量方向与所述平面法向量的方向不一致的情况下,判定所述缺陷为凸缺陷。
3.根据权利要求1所述的基于点云数据的缺陷检测方法,其特征在于,
所述索引值的计算方法包括以下步骤:
从所述模型采样数据的3D几何特征选取三个3D几何特征:点对距离、曲率特征、法线差异角度;
将所述三个3D几何特征分别进行维度划分:将所述点对距离等分得到S,将所述曲率特征等分得到p1、p2、p3、p4,将法线差异角度等分得到T;
计算每个所述模型点对的3D几何特征(s,p1,p2,p3,p4,t)所对应的索引值的公式为:
式中,s表示点对距离,p表示曲率特征,t表示法线差异角度,表示取下整。
4.根据权利要求1-3任意一项所述的基于点云数据的缺陷检测方法,其特征在于,
基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据依次进行变换,得到变换后的实际采样数据,包括:
采用所述局部匹配姿态对所述实际采样数据进行变换,得到第一次变换后的实际采样数据;
将所述模型采样数据与所述第一次变换后的实际采样数据进行粗配准,得到粗配准刚性变换矩阵;
采用所述粗配准刚性变换矩阵对所述第一次变换后的实际采样数据进行变换,得到第二次变换后的实际采样数据;
将经所述第二次变换后的实际采样数据与所述模型采样数据进行精配准,得到精配准刚性变换矩阵;
采用所述精配准刚性变换矩阵对所述第二次变换后的实际采样数据进行变换,得到经变换后的实际采样数据。
5.一种基于点云数据的缺陷检测装置,其特征在于,所述装置包括:
数据采样单元,用于分别对待测物的实际点云数据和待测物标准件的标准点云数据进行数据采样,得到实际采样数据和模型采样数据;
候选匹配点对获取模块,用于基于所述实际采样数据与所述模型采样数据进行局部姿态匹配,得到候选匹配点对;
匹配点对获取模块,用于通过约束条件对所述候选匹配点对进行筛选,得到匹配点对;
所述匹配点对获取模块包括第一约束单元、第二约束单元、第三约束单元;
所述第一约束单元包括:
第一计算子单元,计算所述候选匹配点对中的点对距离、点对距离均值μ和点对距离标准差δ,所述点对距离是所述候选匹配点对中,所述实际点对中两个实际点之间的距离或所述模型点对中两个模型点之间的距离;
第一匹配点对获取子单元,用于将所述点对距离大于μ+3δ的所述候选匹配点对剔除,所述点对距离小于或等于μ+3δ的所述候选匹配点对即为所述匹配点对;
所述第二约束单元包括:
第二计算子单元,用于计算所述候选匹配点对中的点对距离;
选取子单元,用于选取最大点对距离;
第二匹配点对获取子单元,用于将所述点对距离大于点对距离阈值的所述候选匹配点对剔除,所述点对距离小于或等于点对距离阈值的所述候选匹配点对即为所述匹配点对,其中所述点对距离阈值为最大点对距离与点对距离倍数阈值之积;
所述第三约束单元包括:
比较子单元,用于比较所述候选匹配点对中实际点对与对应模型点对的3D几何特征之间的差异值;
第三匹配点对获取子单元,用于将所述差异值大于差异值阈值的所述候选匹配点对剔除,所述差异值小于或等于差异值阈值的所述候选匹配点对即为所述匹配点对;
局部匹配姿态获取模块,用于对由所述匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态;
匹配变换模块,用于基于所述局部匹配姿态对所述实际采样数据与所述模型采样数据进行变换,得到变换后的实际采样数据;
搜索模块,用于在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算模块,用于计算所述最邻近点对的距离;
判断模块,用于在所述距离小于预设距离阈值情况下,判定所述待测物无缺陷,在所述距离大于或等于所述预设距离阈值的情况下,判定所述待测物有缺陷。
6.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或者多个处理器实现如权利要求1至4任意一项所述的基于点云数据的缺陷检测方法。
7.一种计算机可读介质,其上储存有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至4任意一项所述的基于点云数据的缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973889.1A CN113643273B (zh) | 2021-08-24 | 2021-08-24 | 一种基于点云数据的缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973889.1A CN113643273B (zh) | 2021-08-24 | 2021-08-24 | 一种基于点云数据的缺陷检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113643273A CN113643273A (zh) | 2021-11-12 |
CN113643273B true CN113643273B (zh) | 2024-05-03 |
Family
ID=78423602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110973889.1A Active CN113643273B (zh) | 2021-08-24 | 2021-08-24 | 一种基于点云数据的缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113643273B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
CN109345523A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学院苏州生物医学工程技术研究所 | 表面缺陷检测和三维建模方法 |
CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
CN113205486A (zh) * | 2021-04-08 | 2021-08-03 | 南京汇川图像视觉技术有限公司 | 基于三维点云的表面缺陷检测方法、装置及存储介质 |
-
2021
- 2021-08-24 CN CN202110973889.1A patent/CN113643273B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
CN109345523A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学院苏州生物医学工程技术研究所 | 表面缺陷检测和三维建模方法 |
WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
CN113205486A (zh) * | 2021-04-08 | 2021-08-03 | 南京汇川图像视觉技术有限公司 | 基于三维点云的表面缺陷检测方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113643273A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5677798B2 (ja) | 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法 | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
CN113643270B (zh) | 一种基于点云数据的图像配准方法及装置 | |
Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
CN110930456A (zh) | 基于pcl点云库的钣金零件的三维立体识别及定位方法 | |
CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN105118059A (zh) | 一种多尺度坐标轴夹角特征的点云快速配准方法 | |
CN107240130B (zh) | 遥感影像配准方法、装置及系统 | |
CN113516695B (zh) | 激光轮廓仪平面度测量中的点云配准策略 | |
CN109270079B (zh) | 一种基于点云模型的工件表面缺陷精确检测方法 | |
CN111060881B (zh) | 一种毫米波雷达外参数在线标定方法 | |
CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
WO2018131163A1 (ja) | 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体 | |
CN113168729A (zh) | 一种基于局部参考坐标系的3d形状匹配方法及装置 | |
CN105139013A (zh) | 一种融合形状特征和兴趣点的物体识别方法 | |
CN110942077A (zh) | 基于权重局部变化度和l1中值优化的特征线提取方法 | |
CN113643273B (zh) | 一种基于点云数据的缺陷检测方法及装置 | |
CN112884057B (zh) | 基于点云数据的三维曲面质量分类方法、系统及存储介质 | |
CN115082547B (zh) | 一种基于点云数据的轮廓度测量方法、存储介质 | |
CN115147471A (zh) | 一种基于曲率密度特征的激光点云自动配准方法 | |
CN115797414A (zh) | 一种考虑测头半径的复杂曲面测量点云数据配准方法 | |
US20240078691A1 (en) | Model alignment method | |
CN112465756B (zh) | 一种子区内像点初值估计方法、装置、介质及计算机设备 | |
CN112465757B (zh) | 一种子区内像点初值估计方法、装置、介质及计算机设备 | |
CN113658166B (zh) | 一种基于网格模型的点云缺陷检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |