CN115290650A - 基于点云的复材壁板孔特征的检测方法及其系统 - Google Patents

基于点云的复材壁板孔特征的检测方法及其系统 Download PDF

Info

Publication number
CN115290650A
CN115290650A CN202211194846.4A CN202211194846A CN115290650A CN 115290650 A CN115290650 A CN 115290650A CN 202211194846 A CN202211194846 A CN 202211194846A CN 115290650 A CN115290650 A CN 115290650A
Authority
CN
China
Prior art keywords
point cloud
hole
cloud model
plane
wall plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211194846.4A
Other languages
English (en)
Other versions
CN115290650B (zh
Inventor
汪俊
张凯钧
李红卫
吴斯帛
李子宽
张沅
贾文茹
易程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211194846.4A priority Critical patent/CN115290650B/zh
Publication of CN115290650A publication Critical patent/CN115290650A/zh
Application granted granted Critical
Publication of CN115290650B publication Critical patent/CN115290650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数字化检测技术领域，解决了对于较大规模孔特征的检测，采用人工逐个检查的方式进行验收的效率和准确率均较低的技术问题，尤其涉及一种基于点云的复材壁板孔特征的检测方法，包括以下过程：S1、获取复材壁板的点云数据构成点云模型M；S2、将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E；S3、将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面。本发明实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。

Description

基于点云的复材壁板孔特征的检测方法及其系统
技术领域
本发明涉及数字化检测技术领域，尤其涉及一种基于点云的复材壁板孔特征的检测方法及其系统。
背景技术
设置大量阵列孔的复合材料壁板常被用于飞机发动机的结构件中，此类孔直径小且数量多，在制造、运输及使用过程中会产生多余物堵塞孔的情况，这会影响材料的使用效果，因此通孔率被作为一个重要的验收指标，即需要明确复材壁板上孔特征的是否满足要求。但由于孔的数量大，若采用人工逐个检查的方式进行验收效率和准确率均较低，会严重影响生产节奏和交付进度，产品验收具有较大难度。
发明内容
针对现有技术的不足，本发明提供了一种基于点云的复材壁板孔特征的检测方法及其系统，解决了对于较大规模孔特征的检测，采用人工逐个检查的方式进行验收的效率和准确率均较低的技术问题，实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。
为解决上述技术问题，本发明提供了如下技术方案：一种基于点云的复材壁板孔特征的检测方法，包括以下过程：
S1、获取复材壁板的点云数据构成点云模型M，使用激光扫描仪采集复材壁板的信息，生成高精度的表面完整的点云数据，在点云数据下形成该复材壁板的点云模型，点云模型的构成通过现有已知的点云数据采集设备即可获得；
S2、将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E；
S3、将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面；
S4、计算每个孔的容积，设置孔容积阈值V进行通孔检测。
进一步地，在步骤S2中，将复材壁板点云模型M生成二维表示的具体步骤包括：
S211、采用最小二乘法对点云模型M进行平面拟合，得到复材壁板的板面所在平面的方程
Figure 21796DEST_PATH_IMAGE001
所包含的系数A，B，C，D；
S212、计算点云模型M绕x轴、y轴、z轴的逆时针旋转角度
Figure 238014DEST_PATH_IMAGE002
、
Figure 323781DEST_PATH_IMAGE003
、
Figure 941845DEST_PATH_IMAGE004
以及坐标变换矩阵
Figure 87655DEST_PATH_IMAGE005
，使板面所在平面法向与z轴重合，旋转后的复材壁板点云模型记为N；
S213、基于复材壁板点云模型N生成平面
Figure 791169DEST_PATH_IMAGE006
上的二维渲染图
Figure 211786DEST_PATH_IMAGE007
；
S214、基于复材壁板点云模型N生成在平面
Figure 887618DEST_PATH_IMAGE006
法向上的二维高度图
Figure 266647DEST_PATH_IMAGE008
。
进一步地，在步骤S2中，采用区域分类网络HRCNet提取阵列孔的具体步骤包括：
S221、将二维渲染图
Figure 395140DEST_PATH_IMAGE007
和二维高度图
Figure 885027DEST_PATH_IMAGE009
输入区域分类网络HRCNet中；
S222、通过区域分类网络HRCNet对二维渲染图
Figure 149786DEST_PATH_IMAGE007
和二维高度图
Figure 434137DEST_PATH_IMAGE009
进行特征提取单元、场注意力单元和分类单元后输出分类结果，记为图像E。
进一步地，区域分类网络HRCNet包括用于对阵列孔特征提取的特征提取单元，
和用于将提取得到的特征进行映射串联操作聚合的FAU单元，
以及用于输出孔特征提取的分类图像的分类单元。
进一步地，
特征提取单元包括两个用于特征提取的主干网络CNN1，主干网络CNN1由两个卷积层组成，两个卷积层权重相同，卷积层的后续连接层为用于降低输入数据的维度的最大池化层；
FAU单元由三个卷积层和softmax层构成；
分类单元该包含一个卷积层和一个全连接层。
进一步地，在步骤S3中，将二维表示上提取到的阵列孔映射到点云模型M中的具体步骤包括：
S311、设分类结果图像E中复材壁板左上角和右下角的坐标分别为
Figure 112243DEST_PATH_IMAGE010
和
Figure 343504DEST_PATH_IMAGE011
；
S312、设点云模型N中复材壁板左上角和右下角点云坐标为
Figure 790666DEST_PATH_IMAGE012
和
Figure 180672DEST_PATH_IMAGE013
；
S313、通过坐标变换将分类结果图像E和点云模型N对齐，将分类结果图像E中阵列孔的分类结果映射到点云模型N中，得到每个孔的区域点集
Figure 346074DEST_PATH_IMAGE014
，
Figure 115447DEST_PATH_IMAGE015
，n为检测到的孔的数量。
进一步地，在步骤S3中，将阵列孔部分的点云P栅格化并投影至板面所在的平面
Figure 682694DEST_PATH_IMAGE006
的具体步骤包括：
S321、基于点云密度设置栅格密度，对板面所在的平面
Figure 43268DEST_PATH_IMAGE006
栅格化，每个栅格代表一片点云区域；
S322、将孔的区域点集
Figure 633650DEST_PATH_IMAGE014
投影到平面
Figure 269030DEST_PATH_IMAGE006
，以栅格中的点集距平面
Figure 362888DEST_PATH_IMAGE006
的最小值作为该栅格的值
Figure 159943DEST_PATH_IMAGE016
；
S323、在孔的区域点集
Figure 34358DEST_PATH_IMAGE014
的栅格中，若存在空栅格，则将其赋予一定值h，作为该孔的底面。
进一步地，在步骤S4中，计算每个孔的容积
Figure 411113DEST_PATH_IMAGE017
，设置孔容积阈值V进行通孔检测的具体步骤包括：
S41、通过公式计算孔的容积
Figure 687373DEST_PATH_IMAGE017
，计算公式为：
Figure 858592DEST_PATH_IMAGE018
上式中，s为每个栅格的面积，m为该孔所含栅格数量，
Figure 220303DEST_PATH_IMAGE016
为第i个栅格的值；
S42、设置孔容积阈值V，若计算所得孔的容积小于阈值V，则认为该孔堵塞，若计算所得孔的容积大于阈值V，则认为该孔不堵塞。
该技术方案还提供了一种用于实现上述通孔率检测方法的系统，包括：
点云模型构成模块，所述点云模型构成模块用于获取复材壁板的点云数据构成点云模型M；
分类结果图像得出模块，所述分类结果图像得出模块用于将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E；
栅格化、投影模块，所述栅格化、投影模块用于将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面；
通孔检测模块，所述通孔检测模块用于计算每个孔的容积，设置孔容积阈值V进行通孔检测。
借由上述技术方案，本发明提供了一种基于点云的复材壁板孔特征的检测方法及其系统，至少具备以下有益效果：
1、本发明通过利用复材壁板的点云模型，对点云数据进行处理分析进行孔特征的检测，实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。
2、对于较大规模孔特征的检测，采用人工逐个检查的方式进行验收的效率和准确率均较低，会严重影响生产节奏和交付进度，产品验收具有较大难度。本发明针对现有技术中的不足，提出一种孔特征检测网络HRCNet，通过对点云数据进行处理分析来进行孔特征的检测，提高检测效率和准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明孔特征的检测方法的流程图；
图2为本发明区域分类网络HRCNet的结构原理图；
图3为本发明含阵列孔的复材壁板点云模型的示意图；
图4为本发明含阵列孔的复材壁板点云模型的渲染图；
图5为本发明含阵列孔的复材壁板点云模型的高度图；
图6为本发明孔特征的检测系统的原理框图。
图中：100、点云模型构成模块；200、分类结果图像得出模块；300、栅格化、投影模块；400、通孔检测模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图6，示出了本实施例的一种具体实施方式，本实施例通过利用复材壁板的点云模型，对点云数据进行处理分析进行孔特征的检测，实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。
请参照图1，一种基于点云的复材壁板孔特征的检测方法，包括以下过程：
S1、获取复材壁板的点云数据构成点云模型M，使用激光扫描仪采集复材壁板的信息，生成高精度的表面完整的点云数据，在点云数据下形成该复材壁板的点云模型，点云模型的构成通过现有已知的点云数据采集设备即可获得。
S2、将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E。
请参照图3，在步骤S2中，将复材壁板点云模型M生成二维表示的具体步骤包括：
S211、采用最小二乘法对点云模型M进行平面拟合，得到复材壁板的板面所在平面的方程
Figure 135169DEST_PATH_IMAGE001
所包含的系数A，B，C，D。
S212、计算点云模型M绕x轴、y轴、z轴的逆时针旋转角度
Figure 265936DEST_PATH_IMAGE002
、
Figure 608056DEST_PATH_IMAGE003
、
Figure 191484DEST_PATH_IMAGE004
以及坐标变换矩阵
Figure 706779DEST_PATH_IMAGE005
，使板面所在平面法向与z轴重合，旋转后的复材壁板点云模型记为N。
点云模型M绕x轴、y轴、z轴的逆时针旋转角度
Figure 895315DEST_PATH_IMAGE002
、
Figure 470653DEST_PATH_IMAGE003
、
Figure 744639DEST_PATH_IMAGE004
的计算公式分别为：
Figure 63625DEST_PATH_IMAGE019
上式中，A，B，C分别为复材壁板的板面所在平面的方程
Figure 903405DEST_PATH_IMAGE001
所包含的系数。
坐标变换矩阵
Figure 587327DEST_PATH_IMAGE005
的计算公式为：
Figure 145348DEST_PATH_IMAGE020
Figure 205708DEST_PATH_IMAGE021
上式中，坐标变换矩阵
Figure 165573DEST_PATH_IMAGE005
点云模型M绕x轴、y轴、z轴的逆时针旋转角度
Figure 20397DEST_PATH_IMAGE002
、
Figure 331292DEST_PATH_IMAGE003
、
Figure 929764DEST_PATH_IMAGE004
经坐标转换后得出的值，x轴坐标转换后对应
Figure 478557DEST_PATH_IMAGE022
，y轴坐标转换后对应y轴，z轴坐标转换后对应
Figure 832178DEST_PATH_IMAGE023
。
S213、基于复材壁板点云模型N生成平面
Figure 302474DEST_PATH_IMAGE006
上的二维渲染图
Figure 766953DEST_PATH_IMAGE007
。
S214、基于复材壁板点云模型N生成在平面
Figure 373515DEST_PATH_IMAGE006
法向上的二维高度图
Figure 898037DEST_PATH_IMAGE008
。
给定平面
Figure 652366DEST_PATH_IMAGE006
上的一个点
Figure 861150DEST_PATH_IMAGE024
，我们首先得到其r半径的相邻点集
Figure 384535DEST_PATH_IMAGE025
，通过主成分分析拟合，得到对应于最小特征值的特征向量的平面向量
Figure 17641DEST_PATH_IMAGE026
，即平面
Figure 259267DEST_PATH_IMAGE006
的法向量。点
Figure 3232DEST_PATH_IMAGE014
的高度可通过如下式计算：
Figure 912282DEST_PATH_IMAGE027
上式中，
Figure 450711DEST_PATH_IMAGE028
为点
Figure 445212DEST_PATH_IMAGE014
的高度，
Figure 727288DEST_PATH_IMAGE024
平面
Figure 490845DEST_PATH_IMAGE006
上给定的一个点，
Figure 200175DEST_PATH_IMAGE026
最小特征值的特征向量的平面向量。
请参照图4和图5，为复材壁板点云模型的渲染图和高度图，以实际成果作为示例，在步骤S2中，采用区域分类网络HRCNet提取阵列孔的具体步骤包括：
S221、将二维渲染图
Figure 416393DEST_PATH_IMAGE007
和二维高度图
Figure 564477DEST_PATH_IMAGE009
输入区域分类网络HRCNet中。
S222、通过区域分类网络HRCNet对二维渲染图
Figure 120224DEST_PATH_IMAGE029
和二维高度图
Figure 328351DEST_PATH_IMAGE008
进行特征提取单元、场注意力单元和分类单元后输出分类结果，记为图像E。
请参照图2，二维渲染图
Figure 969548DEST_PATH_IMAGE007
和二维高度图
Figure 655744DEST_PATH_IMAGE009
经过特征提取单元、FAU单元和分类单元后输出分类结果，记为图像E。二维映射图像集
Figure 331576DEST_PATH_IMAGE030
输入用于特征提取的主干网络CNN1，生成响应的特征映射集
Figure 179447DEST_PATH_IMAGE031
，特征提取网络CNN1由两个卷积层组成，两个卷积层权重相同，每一层后面有一个最大池化层，用于降低输入数据的维度。特征映射F由FAU单元生成的权重进行缩放，然后通过特征映射串联操作进行聚合，FAU单元由三个卷积层和softmax层构成，
Figure 370256DEST_PATH_IMAGE032
为两个二维场映射的学习权重集，FAU可以表示为：
Figure 797827DEST_PATH_IMAGE033
Figure 390482DEST_PATH_IMAGE034
为经过FAU输出的第
Figure 878095DEST_PATH_IMAGE035
个特征，最终聚合特征计算为：
Figure 290622DEST_PATH_IMAGE036
最后通过第三个组件分类部分处理生成的特征
Figure 318621DEST_PATH_IMAGE037
，分类单元该包含一个卷积层和一个全连接层，其输出表示是否为孔区域的可能性，设定判断阈值后输出孔特征提取的图像E。
S3、将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面
Figure 703466DEST_PATH_IMAGE006
。
在步骤S3中，将二维表示上提取到的阵列孔映射到点云模型M中的具体步骤包括：
S311、设分类结果图像E中复材壁板左上角和右下角的坐标分别为
Figure 424297DEST_PATH_IMAGE010
和
Figure 527382DEST_PATH_IMAGE011
。
S312、设点云模型N中复材壁板左上角和右下角点云坐标为
Figure 359072DEST_PATH_IMAGE012
和
Figure 598424DEST_PATH_IMAGE013
。
S313、通过坐标变换将分类结果图像E和点云模型N对齐，将分类结果图像E中阵列孔的分类结果映射到点云模型N中，得到每个孔的区域点集
Figure 224577DEST_PATH_IMAGE014
，
Figure 877275DEST_PATH_IMAGE015
，n为检测到的孔的数量。
在步骤S3中，将阵列孔部分的点云P栅格化并投影至板面所在的平面
Figure 184760DEST_PATH_IMAGE006
的具体步骤包括：
S321、基于点云密度设置栅格密度，对板面所在的平面
Figure 606514DEST_PATH_IMAGE006
栅格化，每个栅格代表一片点云区域。
S322、将孔的区域点集
Figure 606831DEST_PATH_IMAGE014
投影到平面
Figure 481246DEST_PATH_IMAGE006
，以栅格中的点集距平面
Figure 654738DEST_PATH_IMAGE006
的最小值作为该栅格的值
Figure 131332DEST_PATH_IMAGE028
。
S323、在孔的区域点集
Figure 99288DEST_PATH_IMAGE014
的栅格中，若存在空栅格，则将其赋予一定值h，作为该孔的底面。
S4、计算每个孔的容积
Figure 398682DEST_PATH_IMAGE017
，设置孔容积阈值V进行通孔检测。
在步骤S4中，计算每个孔的容积
Figure 110286DEST_PATH_IMAGE017
，设置孔容积阈值V进行通孔检测的具体步骤包括：
S41、通过公式计算孔的容积
Figure 444315DEST_PATH_IMAGE017
，计算公式为：
Figure 848752DEST_PATH_IMAGE038
上式中，s为每个栅格的面积，m为该孔所含栅格数量，
Figure 635442DEST_PATH_IMAGE028
为第
Figure 885158DEST_PATH_IMAGE035
个栅格的值。
S42、设置孔容积阈值V，若计算所得孔的容积小于阈值V，则认为该孔堵塞，若计算所得孔的容积大于阈值V，则认为该孔不堵塞。
通孔率K为复材壁板上不堵塞的阵列孔总数G除以复材壁板上阵列孔的总数H，计算公式为：
Figure 136011DEST_PATH_IMAGE039
通过步骤S42可得到不堵塞孔的总数，而阵列孔的总数为已知数，整个计算过程较为常规，在此不在详细赘述。
本实施例通过利用复材壁板的点云模型，对点云数据进行处理分析进行孔特征的检测，实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。
请参照图6，本实施例还提供了一种用于实现孔特征的检测方法的系统，包括：
点云模型构成模块100，点云模型构成模块100用于获取复材壁板的点云数据构成点云模型M。
分类结果图像得出模块200，分类结果图像得出模块200用于将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E。
栅格化、投影模块300，栅格化、投影模块300用于将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面
Figure 649032DEST_PATH_IMAGE006
。
通孔检测模块400，通孔检测模块400用于计算每个孔的容积
Figure 985335DEST_PATH_IMAGE017
，设置孔容积阈值V进行通孔检测。
对于较大规模孔特征的检测，采用人工逐个检查的方式进行验收的效率和准确率均较低，会严重影响生产节奏和交付进度，产品验收具有较大难度。本发明针对现有技术中的不足，提出一种孔特征检测网络HRCNet，通过对点云数据进行处理分析来进行孔特征的检测，提高检测效率和准确率。
本发明通过利用复材壁板的点云模型，对点云数据进行处理分析进行孔特征的检测，实现了对壁板类部件上的阵列孔通孔率的检测，提升检验的效率和产品的交付进度，具有较好的实用性，提高对阵列孔的检测效率以及准确率。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于点云的复材壁板孔特征的检测方法，其特征在于，包括以下过程：
S1、获取复材壁板的点云数据构成点云模型M；
S2、将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E；
S3、将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面；
S4、计算每个孔的容积，设置孔容积阈值V进行通孔检测。
2.根据权利要求1所述的孔特征的检测方法，其特征在于：在步骤S2中，将复材壁板点云模型M生成二维表示的具体步骤包括：
S211、采用最小二乘法对点云模型M进行平面拟合，得到复材壁板的板面所在平面的方程
Figure 545990DEST_PATH_IMAGE001
所包含的系数A，B，C，D；
S212、计算点云模型M绕x轴、y轴、z轴的逆时针旋转角度
Figure 651349DEST_PATH_IMAGE002
、
Figure 335271DEST_PATH_IMAGE003
、
Figure 893292DEST_PATH_IMAGE004
以及坐标变换矩阵
Figure 953651DEST_PATH_IMAGE005
，使板面所在平面法向与z轴重合，旋转后的复材壁板点云模型记为N；
S213、基于复材壁板点云模型N生成平面
Figure 913517DEST_PATH_IMAGE006
上的二维渲染图
Figure 768341DEST_PATH_IMAGE007
；
S214、基于复材壁板点云模型N生成在平面
Figure 813657DEST_PATH_IMAGE006
法向上的二维高度图
Figure 474446DEST_PATH_IMAGE008
。
3.根据权利要求1所述的孔特征的检测方法，其特征在于：在步骤S2中，采用区域分类网络HRCNet提取阵列孔的具体步骤包括：
S221、将二维渲染图
Figure 226501DEST_PATH_IMAGE007
和二维高度图
Figure 580122DEST_PATH_IMAGE009
输入区域分类网络HRCNet中；
S222、通过区域分类网络HRCNet对二维渲染图
Figure 50417DEST_PATH_IMAGE007
和二维高度图
Figure 249318DEST_PATH_IMAGE009
进行特征提取单元、场注意力单元和分类单元后输出分类结果，记为图像E。
4.根据权利要求1或3所述的孔特征的检测方法，其特征在于：区域分类网络HRCNet包括用于对阵列孔特征提取的特征提取单元，
和用于将提取得到的特征进行映射串联操作聚合的FAU单元，
以及用于输出孔特征提取的分类图像的分类单元。
5.根据权利要求4所述的孔特征的检测方法，其特征在于：
特征提取单元包括两个用于特征提取的主干网络CNN1，主干网络CNN1由两个卷积层组成，两个卷积层权重相同，卷积层的后续连接层为用于降低输入数据的维度的最大池化层；
FAU单元由三个卷积层和softmax层构成；
分类单元该包含一个卷积层和一个全连接层。
6.根据权利要求1所述的孔特征的检测方法，其特征在于：在步骤S3中，将二维表示上提取到的阵列孔映射到点云模型M中的具体步骤包括：
S311、设分类结果图像E中复材壁板左上角和右下角的坐标分别为
Figure 121459DEST_PATH_IMAGE010
和
Figure 645981DEST_PATH_IMAGE011
；
S312、设点云模型N中复材壁板左上角和右下角点云坐标为
Figure 134731DEST_PATH_IMAGE012
和
Figure 340585DEST_PATH_IMAGE013
；
S313、通过坐标变换将分类结果图像E和点云模型N对齐，将分类结果图像E中阵列孔的分类结果映射到点云模型N中，得到每个孔的区域点集
Figure 129549DEST_PATH_IMAGE014
，
Figure 500006DEST_PATH_IMAGE015
，n为检测到的孔的数量。
7.根据权利要求1所述的孔特征的检测方法，其特征在于：在步骤S3中，将阵列孔部分的点云P栅格化并投影至板面所在的平面
Figure 7211DEST_PATH_IMAGE006
的具体步骤包括：
S321、基于点云密度设置栅格密度，对板面所在的平面
Figure 751176DEST_PATH_IMAGE006
栅格化，每个栅格代表一片点云区域；
S322、将孔的区域点集
Figure 394647DEST_PATH_IMAGE014
投影到平面
Figure 198655DEST_PATH_IMAGE006
，以栅格中的点集距平面
Figure 927576DEST_PATH_IMAGE006
的最小值作为该栅格的值
Figure 271970DEST_PATH_IMAGE016
；
S323、在孔的区域点集
Figure 973210DEST_PATH_IMAGE014
的栅格中，若存在空栅格，则将其赋予一定值h，作为该孔的底面。
8.根据权利要求1所述的孔特征的检测方法，其特征在于：在步骤S4中，计算每个孔的容积
Figure 744857DEST_PATH_IMAGE017
，设置孔容积阈值V进行通孔检测的具体步骤包括：
S41、通过公式计算孔的容积
Figure 164337DEST_PATH_IMAGE017
，计算公式为：
Figure 312421DEST_PATH_IMAGE018
上式中，s为每个栅格的面积，m为该孔所含栅格数量，
Figure 868168DEST_PATH_IMAGE019
为第i个栅格的值；
S42、设置孔容积阈值V，若计算所得孔的容积小于阈值V，则认为该孔堵塞，若计算所得孔的容积大于阈值V，则认为该孔不堵塞。
9.一种用于实现上述权利要求1-8任一项所述的孔特征的检测方法的系统，其特征在于，包括：
点云模型构成模块（100），所述点云模型构成模块（100）用于获取复材壁板的点云数据构成点云模型M；
分类结果图像得出模块（200），所述分类结果图像得出模块（200）用于将复材壁板点云模型M生成二维表示，采用区域分类网络HRCNet提取阵列孔并得出分类结果图像E；
栅格化、投影模块（300），所述栅格化、投影模块（300）用于将二维表示上提取到的阵列孔映射到点云模型M中，将阵列孔部分的点云P栅格化并投影至板面所在的平面；
通孔检测模块（400），所述通孔检测模块（400）用于计算每个孔的容积，设置孔容积阈值V进行通孔检测。
CN202211194846.4A 2022-09-29 2022-09-29 基于点云的复材壁板孔特征的检测方法及其系统 Active CN115290650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211194846.4A CN115290650B (zh) 2022-09-29 2022-09-29 基于点云的复材壁板孔特征的检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211194846.4A CN115290650B (zh) 2022-09-29 2022-09-29 基于点云的复材壁板孔特征的检测方法及其系统

Publications (2)

Publication Number Publication Date
CN115290650A true CN115290650A (zh) 2022-11-04
CN115290650B CN115290650B (zh) 2023-01-17

Family

ID=83833792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211194846.4A Active CN115290650B (zh) 2022-09-29 2022-09-29 基于点云的复材壁板孔特征的检测方法及其系统

Country Status (1)

Country Link
CN (1) CN115290650B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953589A (zh) * 2023-03-13 2023-04-11 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法
CN116011107A (zh) * 2023-01-10 2023-04-25 南京航空航天大学 大型复合材料构件孔特征提取方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN110222767A (zh) * 2019-06-08 2019-09-10 西安电子科技大学 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110781937A (zh) * 2019-10-16 2020-02-11 广州大学 一种基于全局视角的点云特征提取方法
CN112763486A (zh) * 2020-11-30 2021-05-07 成都飞机工业（集团）有限责任公司 一种基于线激光扫描的复材壁板阵列孔检测方法
CN112907528A (zh) * 2021-02-09 2021-06-04 南京航空航天大学 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
CN114486889A (zh) * 2022-01-14 2022-05-13 成都飞机工业（集团）有限责任公司 一种复材壁板微小阵列孔通孔率检测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN110222767A (zh) * 2019-06-08 2019-09-10 西安电子科技大学 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110781937A (zh) * 2019-10-16 2020-02-11 广州大学 一种基于全局视角的点云特征提取方法
CN112763486A (zh) * 2020-11-30 2021-05-07 成都飞机工业（集团）有限责任公司 一种基于线激光扫描的复材壁板阵列孔检测方法
CN112907528A (zh) * 2021-02-09 2021-06-04 南京航空航天大学 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
CN114486889A (zh) * 2022-01-14 2022-05-13 成都飞机工业（集团）有限责任公司 一种复材壁板微小阵列孔通孔率检测系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011107A (zh) * 2023-01-10 2023-04-25 南京航空航天大学 大型复合材料构件孔特征提取方法、装置及系统
CN115953589A (zh) * 2023-03-13 2023-04-11 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法
CN115953589B (zh) * 2023-03-13 2023-05-16 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法

Also Published As

Publication number Publication date
CN115290650B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN115290650B (zh) 基于点云的复材壁板孔特征的检测方法及其系统
CN111062282B (zh) 基于改进yolov3模型的变电站指针式仪表识别方法
CN109685152B (zh) 一种基于dc-spp-yolo的图像目标检测方法
CN110533022A (zh) 一种目标检测方法、系统、装置及存储介质
CN107918761A (zh) 一种基于多流形核鉴别分析的单样本人脸识别方法
CN106355646B (zh) 应用于图像处理的表面细化方法、装置以及系统
CN109376787A (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
CN103839074B (zh) 一种基于素描线段信息和空间金字塔匹配的图像分类方法
CN115526847A (zh) 一种基于半监督学习的主板表面缺陷检测方法
CN114898327A (zh) 一种基于轻量化深度学习网络的车辆检测方法
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
Qian et al. Classification of rice seed variety using point cloud data combined with deep learning
CN115409815A (zh) 一种基于三维可变形transformer的肺结节检测方法
CN105868496A (zh) 一种面向装配的矩形平面形状误差评价参数确定方法
CN109697442A (zh) 一种字符识别模型的训练方法和装置
Xiao et al. Fine coordinate attention for surface defect detection
CN115546205B (zh) 一种基于密度场感知的平面点云轮廓线生成方法
CN117788810A (zh) 一种无监督语义分割的学习系统
Zhang et al. Multicontext 3D residual CNN for false positive reduction of pulmonary nodule detection
CN117253188A (zh) 基于改进的YOLOv5的变电站接地线状态目标检测方法
CN116863271A (zh) 一种基于改进yolo v5的轻量级红外火焰检测方法
Chen et al. Normalized-cut algorithm for hierarchical vector field data segmentation
CN105404899A (zh) 基于多方向上下文信息和稀疏编码模型的图像分类方法
EP2852918B1 (en) Method and apparatus for generating shape descriptor of a model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Jun

Inventor after: Wu Sibo

Inventor after: Li Hongwei

Inventor after: Zhang Kaijun

Inventor after: Li Zikuan

Inventor after: Zhang Yuan

Inventor after: Jia Wenru

Inventor after: Yi Cheng

Inventor before: Wang Jun

Inventor before: Zhang Kaijun

Inventor before: Li Hongwei

Inventor before: Wu Sibo

Inventor before: Li Zikuan

Inventor before: Zhang Yuan

Inventor before: Jia Wenru

Inventor before: Yi Cheng

GR01 Patent grant
GR01 Patent grant