CN113658166B - 一种基于网格模型的点云缺陷检测方法和装置 - Google Patents
一种基于网格模型的点云缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN113658166B CN113658166B CN202110978513.XA CN202110978513A CN113658166B CN 113658166 B CN113658166 B CN 113658166B CN 202110978513 A CN202110978513 A CN 202110978513A CN 113658166 B CN113658166 B CN 113658166B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- actual
- point
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 233
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000001131 transforming effect Effects 0.000 claims abstract description 20
- 230000005477 standard model Effects 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请的一种基于网格模型的点云缺陷检测方法,包括:将待测工件的标准模型网格化得到网格模型;计算网格模型中每个三角面片的平面法向量;分别对网格模型、待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;基于采样数据进行匹配和变换,得到变换后的实际采样数据;在变换后的实际采样数据中,搜索与模型采样数据的模型点距离最近的实际点;根据最邻近点对的向量方向与平面法向量的方向是否一致,判断待测物的缺陷类型。本申请通过网格模型计算各三角面片的平面法向量,并与最邻近点对的向量方向进行比较,能够判断出待测物的缺陷类型,为调整产品的生产工艺提供依据。本申请还包括一种基于网格模型的精确点云缺陷检测装置。
Description
技术领域
本申请涉及缺陷检测技术领域,尤其涉及一种基于网格模型的点云缺陷检测方法及装置。
背景技术
工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响,生产企业利用表面缺陷检测方法对产品进行缺陷检测,避免了因作业条件、主观判断等影响检测结果的准确性。
目前,常用的表面缺陷检测方法具体包括:先将待测工件的CAD标准模型与实时采集的待测工件点云数据进行匹配和变换,获得最邻近点对;再计算最邻近点对的距离;根据最邻近点对的距离与距离阈值的大小关系,判断待测工件是否有缺陷:在该最邻近点对的距离大于或等于距离阈值的情况下,判定待测物有缺陷。
现有的表面缺陷检测方法的仅能判断出产品存在缺陷,并不能进一步对缺陷的类型进行判断。而生产企业对工件的表面进行缺陷检测时,不仅要求筛选出有缺陷的工件,还要求判断出缺陷的类型,以缺陷的类型为依据才能有针对性地对产品的生产工艺进行调整。由于现有的表面缺陷检测方法并不能满足生产企业的这种要求,因此为了能够对工件缺陷的类型进行判断,本申请提供一种基于网格模型的点云缺陷检测方法和装置。
发明内容
本申请提供一种基于网格模型的点云缺陷检测方法及装置,能够判断缺陷的类型。
本申请采用的技术方案如下:
一种基于网格模型的点云缺陷检测方法,所述方法包括:
将待测工件的标准模型网格化得到网格模型,所述标准模型是由待测工件标准件的点云数据生成的模型;
计算所述网格模型中每个三角面片的平面法向量;
分别对所述网格模型、所述待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;
基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据;
在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算所述最邻近点对的向量方向;
根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致,判断待测物的缺陷类型。
进一步地,分别对所述网格模型、所述待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据,包括:
采用不同采样标准对所述网格模型的点云数据进行数据采样,得到模型采样数据,所述模型采样数据包括第一组模型采样数据和第二组模型采样数据;所述第一组模型采样数据中模型点的数目量小于所述第二组模型采样数据中模型点的数目量;
采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,所述实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量。
进一步地,基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据,包括:
将第一组实际采样数据的3D几何特征与第一组模型采样数据的3D几何特征进行局部匹配,得到局部匹配姿态;
采用所述局部匹配姿态对所述第一组实际采样数据进行变换,得到经所述局部匹配姿态变换后的第一组实际采样数据;
将第一组模型采样数据与经所述局部匹配姿态变换后的第一组实际采样数据进行匹配,得到粗配准刚性变换矩阵;
采用所述粗配准刚性变换矩阵对第二组实际采样数据进行变换,得到经所述粗配准刚性变换矩阵变换后的第二组实际采样数据;
将经所述粗配准刚性变换矩阵变换后的第二组实际采样数据与所述第二组模型采样数据进行匹配,得到精配准刚性变换矩阵;
采用精配准刚性变换矩阵对第二组实际采样数据进行变换,得到所述变换后的实际采样数据。
进一步地,将第一组实际采样数据的3D几何特征与第一组模型采样数据的3D几何特征进行局部匹配,得到局部匹配姿态,包括:
基于第一组模型采样数据计算各模型点对的3D几何特征,所述模型点对是所述第一组模型采样数据中的模型点之间两两组合得到的;
建立所述3D几何特征与对应所述模型点对之间的查找表,所述查找表中包含索引值;
计算第一组实际采样数据中各实际点对的3D几何特征,所述实际点对是所述第一组实际采样数据中的实际点之间两两组合得到的;
根据所述索引值及各所述实际点对的3D几何特征计算各所述实际点对的key值;
在所述查找表中,搜索与所述key值相同的索引值,得到候选匹配点对,所述候选匹配点对包括key值与索引值相同时所对应的实际点对与模型点对;
对由所述候选匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态。
进一步地,还包括对所述局部匹配姿态中的匹配点对增加约束条件,所述约束条件包括第一约束条件;
对所述局部匹配姿态中的所述匹配点对增加约束条件包括:
计算所述匹配点对中各实际点对及各模型点对的点对距离、点对距离均值μ和点对距离标准差δ;
将所述匹配点对中,点对距离大于μ+3δ的实际点对或模型点对剔除;
将所述匹配点对中,点对距离小于或等于μ+3δ的实际点对或模型点对保留。
进一步地,根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致判断所述待测物的缺陷类型,包括:
若所述最邻近点对的向量方向与所述平面法向量的方向一致,则所述待测工件有凹缺陷;
若所述最邻近点对的向量方向与所述平面法向量的方向不一致,则所述待测工件有凸缺陷。
又一方面,本申请还提供一种基于网格模型的精确点云缺陷检测装置,所述装置包括:
网格化模块,用于将待测工件的标准模型网格化得到网格模型,所述标准模型是由待测工件标准件的点云数据生成的模型;
第一计算模块,用于计算所述网格模型中每个三角面片的平面法向量;
数据采样模块,用于分别对所述网格模型、所述待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;
匹配变换模块,用于基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据;
搜索模块,用于在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
第二计算模块,用于计算所述最邻近点对的向量方向;
判断模块,用于根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致,判断所述待测物的缺陷类型。
进一步地,所述数据采样模块包括:
第一数据采样单元,用于采用不同采样标准对所述网格模型的点云数据进行数据采样,得到模型采样数据,所述模型采样数据包括第一组模型采样数据和第二组模型采样数据;所述第一组模型采样数据中模型点的数目量小于所述第二组模型采样数据中模型点的数目量;
第二数据采样单元,用于采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,所述实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量。
又一方面,本申请还提供一种计算机设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或者多个处理器实现上述的基于网格模型的点云缺陷检测方法。
又一方面,本申请还提供一种计算机可读介质,其上储存有计算机程序,所述程序被处理器执行时实现上述的基于网格模型的点云缺陷检测方法。
采用本申请的技术方法的有益效果如下:
本申请通过网格模型计算各三角面片的平面法向量,并与最邻近点对的向量方向进行比较,能够判断出待测物的缺陷类型,为调整产品的生产工艺提供依据;
本申请采用不同采样标准进行采样,获得两组模型采样数据和两组实际采样数据,在局部匹配、粗配准中使用数目量较少的采样数据进行匹配,在精配准中使用数目量较多的采样数据进行匹配,能够在有效提高局部匹配、粗配准的匹配效率的基础上,还不影响精配准的匹配精度;
本申请通过查找表中的索引值搜索实际采样数据中的key值得到候选匹配姿态的方法,以及对候选匹配姿态中的匹配点对增加约束条件的方法,均起到了减少点云数据的数据量的作用,提高了目标点云与模型点云的匹配效率的效果。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于网格模型的点云缺陷检测方法的流程图;
图2为本申请实施例提供的对候选局部匹配姿态进行投票的示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1,为本申请实施例提供的一种基于网格模型的点云缺陷检测方法的流程图;参见图2,为本申请实施例提供的对候选局部匹配姿态进行投票的示意图。
本申请提供的一种基于网格模型的点云缺陷检测方法,方法包括:
S1将待测工件的标准模型网格化得到网格模型,标准模型是由待测工件标准件的点云数据生成的模型;
S2计算网格模型中每个三角面片的平面法向量。网格模型数据大多是三角网格的,但也有矩形或多边形的网格,由于网格之间彼此相接连,导致网格顶点有重复,会出现一个顶点属于多个网格的情况,这使得顶点的法向量难以精确计算。为解决上述问题,且便于后续实时匹配,这里将每个网格看成一个平面,网格法向量即为平面法向量,网格顶点的中心点即为平面必经点,网格模型就是带有平面法向量信息的点云数据。
S3由于环境的干扰和设备的缺陷等因素,点云数据通常含有大量不同尺度的噪声。噪声的存在将扰乱采样数据的局部几何结构,干扰特征的精准表达。因此,本实施例还包括对实际采样数据和模型采样数据进行采样数据预处理,该数据预处理方法包括点云去噪声、点云简化、点云配准以及点云补洞等。通过数据预处理方法,可以剔除这两种采样数据中的噪声和外点。去除噪声和外点之后,在进行数据采样。
S4通常应用场景数据样本过大,因此只抽取少部分样本来训练或验证,不仅可以节约计算机资源,在特定情况下也会提升实验效果。数据采样就是按照某种规则从原始数据集中挑选出采样数据,因此需要分别对网格模型、待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据。
为了加快匹配时的速度,本实施例采用不同采样标准对点云数据进行数据采样,获得两组不同数量的采样数据。具体如下:
采用不同采样标准对网格模型的点云数据进行数据采样,得到模型采样数据,模型采样数据包括第一组模型采样数据和第二组模型采样数据;第一组模型采样数据中模型点的数目量小于第二组模型采样数据中模型点的数目量;
采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量。
本实施例提供对网格模型的点云数据进行数据采样,得到第一组模型采样数据的方法,包括但不限于以下方式:
基于索引的采样:设定点云的索引为0、1、2、……、n-1,步长为k,则采样后的数据索引为:0、k、2k、……、mk(mk小于n中最大值)。
基于体素的采样:设体素大小为l×w×h,点云的最小包围立方体大小为L*W*H,则点云可被划分为个小的体素(/>表示取上整),为保证采样后的采样数据是原始点云的子集和均匀性,这里选择每个体素内数据最靠近体素中心的点作为采样点。
基于曲率的采样:曲率可以表示物体表面的弯曲程度,设点云数据的曲率为p1、p2、……、pn,最大比较数目为N,曲率差异阈值为Th,随机或者指定一个数据pk作为起始点,接着,从p1开始依次与pk进行比较,若pm与pk的差异大于Th,或pm是第N个比较点,则保留pm;然后,再以pm作为比较点,从pm之后的点依次与pm进行比较,重复上面的过程,直到所有点云数据比较完毕,则保留的点即为采样数据。
基于密度的采样:密度表示点云局部的疏密程度,基于密度的采样方法与基于曲率的方法类似,仅是将比较曲率替换为了密度,最终保留点即为采样数据。
基于采样距离的采样:设采样距离为S,随机或者指定一个数据pk作为起始点,接着,从p1开始依次计算与pk的距离,若pm与pk的距离大于S,则保留pm;然后,再以pm作为比较点,从pm之后的点依次与pm计算距离,重复上面的过程,直到所有点云数据比较完毕,则保留的点即为采样数据。
对待测工件的点云数据进行数据采样,得到第一组实际采样数据的方法与上述方法相同。与上述方法的不同,获取第二组模型采样数据或第二组实际采样数据的方法在于:选择不同的采样标准。
如为获取第二组模型采样数据或第二组实际采样数据,基于索引的采样时,设定的步长要小于k;基于体素的采样时,设定的体素要小于l×w×h;基于曲率的采样,设定的曲率差异值要小于Th;基于密度的采样,设定的密度差异值要小于上述的密度差异值;基于采样距离的采样,设定的采样距离要小于S。
第一组采样数据的数目量少于第二组采样数据,第一组采样数据用于粗配准,数目量少的时候有利于减小运算量,加快粗配准速度;第二组采样数据用于精配准,数目量较多,比粗配准的精准度高。第一组采样数据和第二组采样数据分别应用于粗配准和精配准,在提高匹配速度的同时,又不影响匹配结果的准确度。
S5基于实际采样数据与模型采样数据进行匹配和变换,得到变换后的实际采样数据。匹配和变换的过程包括但不限于以下四个步骤:
S51将第一组实际采样数据的3D几何特征与第一组模型采样数据的3D几何特征进行局部匹配,得到局部匹配姿态。
本实施例还提供了得到局部匹配姿态的过程,包括:
S511基于第一组模型采样数据计算各模型点对的3D几何特征,模型点对是第一组模型采样数据中的模型点之间两两组合得到的,3D几何特征包括各模型点对或各实际点对的点对距离S、曲率特征C、法线差异角度T和轴线法线角度K。
其中,本实施例还提供了计算3D几何特征的方法,包括但不限于:
计算点对距离的方法:设点p和点q构成点对,则点p和点q之间的距离s构成点对距离。
计算曲率的方法:这里主要是计算点p和点q的主曲率Kp1、Kp2和Kq1、Kq2,曲率可以用于曲面的分类,例如:Kp1=Kp2>0表示球体;Kp1=Kp2=0表示平面;Kp1=0且Kp2>0表示圆柱等。
计算法线差异角度:设点p和点q的法线向量为n和m,则向量n和m构成的夹角即为法线差异角度。
计算轴线法线角度的方法:设点p和点q构成点对,对应法线向量为n和m,pq构成轴线,则法线向量与pq可构成2个轴线法线角度。
在计算曲率、法线差异角度和轴线法线角度时,需要寻找邻域点,故为提高邻域信息的查找效率,在离线阶段会预先建立好KDTree或八叉树等。为提高投票效率,基于Hash思想,分别计算出查找表的索引值和实际点对的3D几何特征所对应key值,就可将实际点对的3D几何特征快速与查找表中类似的3D几何特征进行匹配,节省了与将每个特征逐一比较的过程。
S512建立3D几何特征与对应模型点对之间的查找表,查找表中包含索引值;
S513计算第一组实际采样数据中各实际点对的3D几何特征,实际点对是第一组实际采样数据中的实际点之间两两组合得到的;
S514根据索引值及各实际点对的3D几何特征计算各实际点对的key值;
S515在查找表中,搜索与key值相同的索引值,得到候选匹配点对,候选匹配点对包括key值与索引值相同时所对应的实际点对与模型点对;
S516对由候选匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态。参见图2,具体包括:
设候选匹配点对中的实际点对为F(sr,si)、模型点对为F(mr,mi),实际点对F(sr,si)的key值与模型点对F(mr,mi)的索引值相同;
将实际点sr或模型点mr平移至原点;
将实际点sr或模型点mr的法向量旋转至X轴正半轴,并表示为综合变换T;
将实际点sr或模型点mr的法向量绕X轴旋转α,并表示为旋转变换Rx(α);
将实际点对F(sr,si)与模型点对F(mr,mi)之间的转换关系表示为:
式中,si、mi为特征点齐次坐标(xs,ys,zs,1)、(xm,ym,zm,1);为旋转矩阵;Tmgmi表示为:
式中,Ry(β)为模型点对F(mr,mi)绕Y轴旋转β的旋转变换,Rz(γ)为模型点对F(mr,mi)绕Z轴旋转γ的旋转变换;
Tsgsi表示为:
式中,Ry(θ)为实际点对F(sr,si)绕Y轴旋转θ的旋转变换,为实际点对F(sr,si)绕Z轴旋转/>的旋转变换;
对转换关系进行求解,得到旋转角度α;
对旋转角度α进行投票;
选取投票数大于票数阈值的旋转角度α所对应的候选匹配局部姿态即为匹配局部姿态。
S52采用局部匹配姿态对第一组实际采样数据进行变换,得到经局部匹配姿态变换后的第一组实际采样数据;
S53将第一组模型采样数据与经局部匹配姿态变换后的第一组实际采样数据进行匹配,得到粗配准刚性变换矩阵,具体包括以下步骤:
S531在经局部匹配姿态变换后的第一组实际采样数据中取点集pi;
S532在第一组模型采样数据中找出与点集pi对应的点集qi,pi与qi满足min=||qi-pi||;
S533计算对应点集p′i与qi之间的旋转矩阵R和平移矩阵T,使得误差函数最小,误差函数为E(R,T):
其中,n为最近邻点对的个数;
S534使用旋转矩阵R和平移矩阵T对点集pi执行刚性变换,得到新的点集p′i;
S535计算点集p′i到点集qi的平均距离;
S536判断是否满足收敛条件:若满足至少一个收敛条件,则停止迭代计算,否则重复S532~S536,直到满足收敛条件为止;
收敛条件为平均距离小于给定阈值、或者迭代次数大于预设最大迭代次数、或者两次刚体变换矩阵之间的差值小于预设差值阈值;
S537输出粗配准刚体变换矩阵:旋转矩阵R和平移矩阵T;
S54采用粗配准刚性变换矩阵对第二组实际采样数据进行变换,得到经粗配准刚性变换矩阵变换后的第二组实际采样数据S55将经粗配准刚性变换矩阵变换后的第二组实际采样数据与第二组模型采样数据进行匹配,得到精配准刚性变换矩阵,具体包括:
S551在经粗配准刚性变换矩阵变换后的第二组实际采样数据中取点集p′i,并作为精配准的初始点集;
S552在第二组模型采样数据中找出与点集p′i对应的点集q′i,p′i与q′i满足min=||q′i-p′i||;
S553计算对应点集p′i与q′i之间的旋转矩阵R和平移矩阵T,使得误差函数最小,误差函数为E(R,T):
其中,n为最近邻点对的个数;
S554使用旋转矩阵R和平移矩阵T对点集p′i进行刚性变换,得到新的点集p″i;
S555计算点集p″i到点集q′i的平均距离;
S556判断是否满足收敛条件:若满足至少一个收敛条件,则停止迭代计算,否则重复S552~S556,直到满足收敛条件为止;
S557输出精配准刚体变换矩阵,精配准刚体变换矩阵为最佳匹配姿态。
S6采用精配准刚性变换矩阵对第二组实际采样数据进行变换,得到变换后的实际采样数据。
经过局部姿态匹配、粗配准和精配准过程,使实际采样数据与模型采样数据经过旋转、平移等变换,最终实现匹配。
S7在变换后的实际采样数据中,搜索与模型采样数据的模型点距离最近的实际点,模型点与实际点构成最邻近点对。
S8计算最邻近点对的向量方向。
S9根据最邻近点对的向量方向与平面法向量的方向是否一致,判断待测物的缺陷类型。
根据最邻近点对的向量方向与平面法向量的方向是否一致判断待测物的缺陷类型,包括:
若最邻近点对的向量方向与平面法向量的方向一致,则待测工件有凹缺陷;
若最邻近点对的向量方向与平面法向量的方向不一致,则待测工件有凸缺陷。
实施例二
在去除噪声和外点的前提下,为了进一步减小采样数据的数据量,以及提高采样数据的可用率,在实施例一的基础上,本实施例采用增加约束条件的方法剔除部分点云数据,具体为:
对局部匹配姿态中的匹配点对增加约束条件,此处的匹配点对是候选匹配点对中的、能构成局部匹配姿态中的点对。约束条件包括第一约束条件、第二约束条件和第三约束条件中的任意一个、任意两个或全部;
对局部匹配姿态中的匹配点对增加第一约束条件包括:
计算匹配点对中各实际点对及各模型点对的点对距离、点对距离均值μ和点对距离标准差δ;
将匹配点对中,点对距离大于μ+3δ的实际点对或模型点对剔除;
将匹配点对中,点对距离小于或等于μ+3δ的实际点对或模型点对保留,用于参与下一步的投票或以增加约束条件的方式继续被筛选;
第二约束条件包括:计算匹配点对中各实际点对及各模型点对的点对距离;
选取最大点对距离;
将匹配点对中点对距离小于预设点对距离阈值的实际点对或模型点对进行保留,用于参与下一步的投票或以增加约束条件的方式继续被筛选;
将匹配点对中点对距离大于或等于预设点对距离阈值的实际点对或模型点对剔除,预设点对距离阈值为最大点对距离与预设点对距离倍数之积;
第三约束条件包括:比较匹配点对中实际点对与对应模型点对的3D几何特征之间的差异值;
将匹配点对中差异值小于或等于预设差异值的实际点对和对应模型点对保留,用于参与下一步的投票或以增加约束条件的方式继续被筛选;
将匹配点对中差异值大于预设差异值的实际点对和对应模型点对剔除。
实施例三
在实施例一或二的基础上,本实施例提供一种计算索引值的方法,包括但不限于以下方式:
选取3D几何特征:点对距离S、曲率特征C和法线差异角度T;
将点对距离S进行等分,得到s;
将曲率特征C进行等分,得到c1、c2、c3和c4;
将法线差异角度T进行等分,得到t1、t2和t3;
计算每个模型点对的3D几何特征(s,t1,t2,t3,c1,c2,c3,c4)所对应的索引值为:
表示取下整。
需要说明的是,从模型采样数据的3D几何特征选取出的三个3D几何特征,除了可以是点对距离、曲率特征、法线差异角度,还可以是点对距离、曲率特征、轴线法线角度,还可以是曲率特征、法线差异角度、轴线法线角度,还可以是点对距离、法线差异角度、轴线法线角度。以上四种几何特征的组合虽不同,但计算key值采用的方法与上述方法相似。再者,根据实际点对的3D几何特征计算实际点对的key值的方法与计算索引值的方法相同,在此不再赘述。
本申请还提供一种基于网格模型的精确点云缺陷检测装置,装置包括:
网格化模块,用于将待测工件的标准模型网格化得到网格模型,标准模型是由待测工件标准件的点云数据生成的模型;
第一计算模块,用于计算网格模型中每个三角面片的平面法向量;
数据采样模块,用于分别对网格模型、待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;
匹配变换模块,用于基于实际采样数据与模型采样数据进行匹配和变换,得到变换后的实际采样数据;
搜索模块,用于在变换后的实际采样数据中,搜索与模型采样数据的模型点距离最近的实际点,模型点与实际点构成最邻近点对;
第二计算模块,用于计算最邻近点对的向量方向;
判断模块,用于根据最邻近点对的向量方向与平面法向量的方向是否一致,判断待测物的缺陷类型。
其中,数据采样模块包括:
第一数据采样单元,用于采用不同采样标准对网格模型的点云数据进行数据采样,得到模型采样数据,模型采样数据包括第一组模型采样数据和第二组模型采样数据;第一组模型采样数据中模型点的数目量小于第二组模型采样数据中模型点的数目量;
第二数据采样单元,用于采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量。
本申请还提供一种计算机设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或者多个处理器实现上述的基于网格模型的点云缺陷检测方法。
以及一种计算机可读介质,其上储存有计算机程序,程序被处理器执行时实现如上述的基于网格模型的点云缺陷检测方法。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (8)
1.一种基于网格模型的点云缺陷检测方法,其特征在于,所述方法包括:
将待测工件的标准模型网格化得到网格模型,所述标准模型是由待测工件标准件的点云数据生成的模型;
计算所述网格模型中每个三角面片的平面法向量;
分别对所述网格模型、所述待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;
采用不同采样标准对所述网格模型的点云数据进行数据采样,得到模型采样数据,所述模型采样数据包括第一组模型采样数据和第二组模型采样数据;所述第一组模型采样数据中模型点的数目量小于所述第二组模型采样数据中模型点的数目量;
采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,所述实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量;
基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据;
在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
计算所述最邻近点对的向量方向;
根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致,判断待测物的缺陷类型。
2.根据权利要求1所述的基于网格模型的点云缺陷检测方法,其特征在于,基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据,包括:
将第一组实际采样数据的3D几何特征与第一组模型采样数据的3D几何特征进行局部匹配,得到局部匹配姿态;
采用所述局部匹配姿态对所述第一组实际采样数据进行变换,得到经所述局部匹配姿态变换后的第一组实际采样数据;
将第一组模型采样数据与经所述局部匹配姿态变换后的第一组实际采样数据进行匹配,得到粗配准刚性变换矩阵;
采用所述粗配准刚性变换矩阵对第二组实际采样数据进行变换,得到经所述粗配准刚性变换矩阵变换后的第二组实际采样数据;
将经所述粗配准刚性变换矩阵变换后的第二组实际采样数据与所述第二组模型采样数据进行匹配,得到精配准刚性变换矩阵;
采用精配准刚性变换矩阵对第二组实际采样数据进行变换,得到所述变换后的实际采样数据。
3.根据权利要求2所述的基于网格模型的点云缺陷检测方法,其特征在于,
将第一组实际采样数据的3D几何特征与第一组模型采样数据的3D几何特征进行局部匹配,得到局部匹配姿态,包括:
基于第一组模型采样数据计算各模型点对的3D几何特征,所述模型点对是所述第一组模型采样数据中的模型点之间两两组合得到的;
建立所述3D几何特征与对应所述模型点对之间的查找表,所述查找表中包含索引值;
计算第一组实际采样数据中各实际点对的3D几何特征,所述实际点对是所述第一组实际采样数据中的实际点之间两两组合得到的;
根据所述索引值及各所述实际点对的3D几何特征计算各所述实际点对的key值;
在所述查找表中,搜索与所述key值相同的索引值,得到候选匹配点对,所述候选匹配点对包括key值与索引值相同时所对应的实际点对与模型点对;
对由所述候选匹配点对的3D几何特征所构成的候选局部匹配姿态进行投票,得到局部匹配姿态,所述局部匹配姿态为投票数大于投票数阈值的候选局部匹配姿态。
4.根据权利要求3所述的基于网格模型的点云缺陷检测方法,其特征在于,
还包括对所述局部匹配姿态中的匹配点对增加约束条件,所述约束条件包括第一约束条件;
对所述局部匹配姿态中的匹配点对增加约束条件包括:
计算所述匹配点对中各实际点对及各模型点对的点对距离、点对距离均值μ和点对距离标准差δ;
将所述匹配点对中,点对距离大于μ+3δ的实际点对或模型点对剔除;
将所述匹配点对中,点对距离小于或等于μ+3δ的实际点对或模型点对保留。
5.根据权利要求1-4任意一项所述的基于网格模型的点云缺陷检测方法,其特征在于,
根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致判断所述待测物的缺陷类型,包括:
若所述最邻近点对的向量方向与所述平面法向量的方向一致,则所述待测工件有凹缺陷;
若所述最邻近点对的向量方向与所述平面法向量的方向不一致,则所述待测工件有凸缺陷。
6.一种基于网格模型的点云缺陷检测装置,其特征在于,所述装置包括:
网格化模块,用于将待测工件的标准模型网格化得到网格模型,所述标准模型是由待测工件标准件的点云数据生成的模型;
第一计算模块,用于计算所述网格模型中每个三角面片的平面法向量;
数据采样模块,用于分别对所述网格模型、所述待测工件的点云数据进行数据采样,得到模型采样数据和实际采样数据;
所述数据采样模块包括:
第一数据采样单元,用于采用不同采样标准对所述网格模型的点云数据进行数据采样,得到模型采样数据,所述模型采样数据包括第一组模型采样数据和第二组模型采样数据;所述第一组模型采样数据中模型点的数目量小于所述第二组模型采样数据中模型点的数目量;
第二数据采样单元,用于采用不同采样标准对待测工件的点云数据进行数据采样,得到实际采样数据,所述实际采样数据包括第一组实际采样数据和第二组实际采样数据;第一组实际采样数据中实际点的数目量小于第二组实际采样数据中实际点的数目量;
匹配变换模块,用于基于所述实际采样数据与所述模型采样数据进行匹配和变换,得到变换后的实际采样数据;
搜索模块,用于在所述变换后的实际采样数据中,搜索与所述模型采样数据的模型点距离最近的实际点,所述模型点与所述实际点构成最邻近点对;
第二计算模块,用于计算所述最邻近点对的向量方向;
判断模块,用于根据所述最邻近点对的向量方向与所述平面法向量的方向是否一致,判断待测物的缺陷类型。
7.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或者多个处理器实现如权利要求1至5任意一项所述的基于网格模型的点云缺陷检测方法。
8.一种计算机可读介质,其上储存有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5任意一项所述的基于网格模型的点云缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110978513.XA CN113658166B (zh) | 2021-08-24 | 2021-08-24 | 一种基于网格模型的点云缺陷检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110978513.XA CN113658166B (zh) | 2021-08-24 | 2021-08-24 | 一种基于网格模型的点云缺陷检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658166A CN113658166A (zh) | 2021-11-16 |
CN113658166B true CN113658166B (zh) | 2024-04-12 |
Family
ID=78481868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110978513.XA Active CN113658166B (zh) | 2021-08-24 | 2021-08-24 | 一种基于网格模型的点云缺陷检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658166B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN108445007A (zh) * | 2018-01-09 | 2018-08-24 | 深圳市华汉伟业科技有限公司 | 一种基于图像融合的检测方法及其检测装置 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
CN110120013A (zh) * | 2019-05-15 | 2019-08-13 | 深圳市凌云视迅科技有限责任公司 | 一种点云拼接方法及装置 |
CN110473239A (zh) * | 2019-08-08 | 2019-11-19 | 刘秀萍 | 一种三维激光扫描的高精度点云配准方法 |
CN111627008A (zh) * | 2020-05-27 | 2020-09-04 | 深圳市华汉伟业科技有限公司 | 一种基于图像融合的物体表面检测方法及系统、存储介质 |
CN112381862A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 一种cad模型与三角网格全自动配准方法和装置 |
CN112669460A (zh) * | 2020-12-31 | 2021-04-16 | 新拓三维技术(深圳)有限公司 | 一种工件缺陷检测方法、系统及计算机可读存储介质 |
CN112767461A (zh) * | 2020-12-31 | 2021-05-07 | 武汉大学 | 激光点云与序列全景影像自动配准方法 |
CN113192112A (zh) * | 2021-04-29 | 2021-07-30 | 浙江大学计算机创新技术研究院 | 一种基于学习采样的部分对应点云配准方法 |
CN113205486A (zh) * | 2021-04-08 | 2021-08-03 | 南京汇川图像视觉技术有限公司 | 基于三维点云的表面缺陷检测方法、装置及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4686762B2 (ja) * | 2005-06-07 | 2011-05-25 | 独立行政法人産業技術総合研究所 | 三次元形状の位置あわせ方法及びプログラム |
EP2385483B1 (en) * | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
-
2021
- 2021-08-24 CN CN202110978513.XA patent/CN113658166B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN108445007A (zh) * | 2018-01-09 | 2018-08-24 | 深圳市华汉伟业科技有限公司 | 一种基于图像融合的检测方法及其检测装置 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
CN110120013A (zh) * | 2019-05-15 | 2019-08-13 | 深圳市凌云视迅科技有限责任公司 | 一种点云拼接方法及装置 |
CN110473239A (zh) * | 2019-08-08 | 2019-11-19 | 刘秀萍 | 一种三维激光扫描的高精度点云配准方法 |
CN111627008A (zh) * | 2020-05-27 | 2020-09-04 | 深圳市华汉伟业科技有限公司 | 一种基于图像融合的物体表面检测方法及系统、存储介质 |
CN112381862A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 一种cad模型与三角网格全自动配准方法和装置 |
CN112669460A (zh) * | 2020-12-31 | 2021-04-16 | 新拓三维技术(深圳)有限公司 | 一种工件缺陷检测方法、系统及计算机可读存储介质 |
CN112767461A (zh) * | 2020-12-31 | 2021-05-07 | 武汉大学 | 激光点云与序列全景影像自动配准方法 |
CN113205486A (zh) * | 2021-04-08 | 2021-08-03 | 南京汇川图像视觉技术有限公司 | 基于三维点云的表面缺陷检测方法、装置及存储介质 |
CN113192112A (zh) * | 2021-04-29 | 2021-07-30 | 浙江大学计算机创新技术研究院 | 一种基于学习采样的部分对应点云配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113658166A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | The iterative closest point registration algorithm based on the normal distribution transformation | |
CN109919984A (zh) | 一种基于局部特征描述子的点云自动配准方法 | |
CN113643270B (zh) | 一种基于点云数据的图像配准方法及装置 | |
CN107767457A (zh) | 一种基于点云快速重建的stl数模生成方法 | |
CN112669385B (zh) | 基于三维点云特征的工业机器人工件识别与位姿估计方法 | |
CN113516695B (zh) | 激光轮廓仪平面度测量中的点云配准策略 | |
CN112328715B (zh) | 视觉定位方法及相关模型的训练方法及相关装置、设备 | |
CN112381862A (zh) | 一种cad模型与三角网格全自动配准方法和装置 | |
CN115797418A (zh) | 一种基于改进icp的复杂机械零件测量点云配准方法及系统 | |
CN109345571B (zh) | 一种基于扩展高斯图像的点云配准方法 | |
CN113658166B (zh) | 一种基于网格模型的点云缺陷检测方法和装置 | |
CN117253062A (zh) | 一种任意姿态下的继电器触点图像特征快速匹配方法 | |
CN115935447B (zh) | 一种基于离散Morse理论特征识别的混合建模方法 | |
CN113496230A (zh) | 图像匹配方法和系统 | |
CN112509018B (zh) | 一种四元数空间优化的三维图像配准方法 | |
CN114926488A (zh) | 基于广义Hough模型和改进金字塔搜索加速的工件定位方法 | |
CN111009004B (zh) | 一种加速图像匹配的硬件优化方法 | |
CN112884057A (zh) | 基于点云数据的三维曲面质量分类方法、系统及存储介质 | |
CN112991402A (zh) | 一种基于改进差分进化算法的文物点云配准方法及系统 | |
Tang et al. | Robust pose estimation for ship block assembly feature based on large-scale scanning | |
KR100344917B1 (ko) | 선박용 1차곡면 외판의 가공정보 산출방법 | |
CN112435342A (zh) | 一种异型曲面的区域划分方法及系统 | |
CN113643273B (zh) | 一种基于点云数据的缺陷检测方法及装置 | |
CN114004952B (zh) | 基于统计流形曲率的带高密度噪声点云的数据处理方法 | |
CN114742838B (zh) | 基于聚类算法的体素化平面分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |