CN114037675A - 一种飞机样板缺陷检测方法及装置 - Google Patents

一种飞机样板缺陷检测方法及装置 Download PDF

Info

Publication number
CN114037675A
CN114037675A CN202111303325.3A CN202111303325A CN114037675A CN 114037675 A CN114037675 A CN 114037675A CN 202111303325 A CN202111303325 A CN 202111303325A CN 114037675 A CN114037675 A CN 114037675A
Authority
CN
China
Prior art keywords
point cloud
point
target
sample
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111303325.3A
Other languages
English (en)
Other versions
CN114037675B (zh
Inventor
汪俊
黄淳亮
李红卫
杨建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111303325.3A priority Critical patent/CN114037675B/zh
Publication of CN114037675A publication Critical patent/CN114037675A/zh
Priority to US17/981,594 priority patent/US20230090846A1/en
Application granted granted Critical
Publication of CN114037675B publication Critical patent/CN114037675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种飞机样板缺陷检测方法及装置,方法包括扫描样板;构建样板点云的局部坐标系;拟合目标局部点云的平面参数;获取目标局部点云中所有点的法矢量均值;计算目标局部点云中所有点的高度;计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角;将样板点云图像二值化;获取样板的三维数模;将三维数模和结果点云对齐;判断结果点云中的点对应的实际距离是否超过预设距离阈值;如果否,确定样板合格;如果是,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;如果否,确定样板合格;如果是,确定样板不合格。本发明避免依靠人工目检样板,降低样板检测的成本,提高样板检验效率和检验精度。

Description

一种飞机样板缺陷检测方法及装置
技术领域
本发明属于样板检测技术领域,尤其涉及一种飞机样板缺陷检测方法及装置。
背景技术
模线样板技术是连接飞机设计和制造的桥梁。模线样板技术的工作方法是首先根据飞机图样绘制出真实形状,然后按标准制造各种工艺装备,再按工艺装备制造出零件。模线样板技术包括模线和样板两部分内容,模线是将飞机的零件及结构按1:1的实际尺寸画在图板上,这一真实图形称为模线;样板是一种平面量具,是加工和检验带曲面外形的零件、装配件和相应工艺装备的依据。模线样板设计就是根据飞机结构图样和制造要求,按实物大小精确地作出整体零件或组合件的外形。
绘制在钢板上的模线保证了准确性与唯一性。但是,由于钢板笨重、不透明,在样板加工检查过程中不能直接加工检查内部划线,需要借助辅助工具或模具定位测量。而聚酯薄膜具有一定的硬度,较好的透明度,不易老化并可以卷弯,与立体样板样件进行贴合使用,因此,聚酯薄膜成为了绘制模线数据的基本介质。最初绘制在聚酯薄膜上的模线用于样板的加工及检验,样板加工后直接交检,在检验过程中发现样板和模线不符,则按照模线返修样板。
然而,样板检验过程是依靠人工目检的方法,目视精度低,人工成本和聚酯薄膜成本较高,检验效率和检验精度较低。
发明内容
本发明提供一种飞机样板缺陷检测方法及装置,可解决现有技术中依靠人工目检的方法,目视精度低,人工成本和聚酯薄膜成本较高,检验效率和检验精度较低的问题。
第一方面,本发明提供一种飞机样板缺陷检测方法,包括:
扫描样板,得到零均值化的样板点云;
根据零均值化的样板点云,构建样板点云的局部坐标系;
对样板点云进行栅格化划分,得到多块局部点云;
拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点;
获取目标局部点云中所有点的法矢量均值;
根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点;
计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线;
将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓;
合并所有样板的刻线点和外轮廓点,得到结果点云;
获取样板的三维数模;
将三维数模和结果点云对齐;
计算三维数模中目标点与结果点云中对应点的距离,得到实际距离;
判断结果点云中的点对应的实际距离是否超过预设距离阈值;
如果否,确定样板合格;
如果是,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;
如果否,确定样板合格;
如果是,确定样板不合格。
进一步地,所述根据零均值化的样板点云,构建样板点云的局部坐标系,包括:
计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量;
计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
进一步地,所述根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点,包括:
根据以下公式计算目标局部点云中所有点的高度:
Figure BDA0003339155920000021
其中,
Figure BDA0003339155920000022
为目标局部点云j中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度;
设置目标高度阈值,目标局部点云中高度小于目标高度阈值对应的点为下沉点。
进一步地,所述计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线,包括:
根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure BDA0003339155920000031
其中,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量;
设置目标角度阈值,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点。
进一步地,所述将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓,包括:
计算样板点云中目标点和距目标点最近的点的距离;
根据以下公式计算样板点云空间分辨率:
Figure BDA0003339155920000032
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离;
将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均设为0;
遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素;
遍历二值图像中所有0值像素,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素;
遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素;
将轮廓像素对应栅格中的点作为样板的外轮廓点。
第二方面,本发明提供一种飞机样板缺陷检测装置,包括:
样板扫描模块,用于扫描样板,得到零均值化的样板点云;
坐标系构建模块,用于根据零均值化的样板点云,构建样板点云的局部坐标系;
划分模块,用于对样板点云进行栅格化划分,得到多块局部点云;
平面拟合模块,用于拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点;
第一获取模块,用于获取目标局部点云中所有点的法矢量均值;
第一计算模块,用于根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点;
第二计算模块,用于计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线;
图像二值化模块,用于将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓;
合并模块,用于合并所有样板的刻线点和外轮廓点,得到结果点云;
第二获取模块,用于获取样板的三维数模;
对齐模块,用于将三维数模和结果点云对齐;
第三计算模块,用于计算三维数模中目标点与结果点云中对应点的距离,得到实际距离;
第一判断模块,用于判断结果点云中的点对应的实际距离是否超过预设距离阈值;
第一确定模块,用于在第一判断模块确定结果点云中的点对应的实际距离没有超过预设距离阈值时,确定样板合格;
第二判断模块,用于在第一判断模块确定结果点云中的点对应的实际距离超过预设距离阈值时,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;
第二确定模块,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量没有超过预设数量阈值时,确定样板合格;
第三确定模块,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量超过预设数量阈值时,确定样板不合格。
进一步地,所述坐标系构建模块包括:
第一计算单元,用于计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量;
第二计算单元,用于计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
构建单元,用于将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
进一步地,所述第一计算模块包括:
第三计算单元,用于根据以下公式计算目标局部点云中所有点的高度:
Figure BDA0003339155920000051
其中,
Figure BDA0003339155920000052
为目标局部点云j中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度;
高度阈值设置单元,用于设置目标高度阈值,目标局部点云中高度小于目标高度阈值对应的点为下沉点。
进一步地,所述第二计算模块包括:
第四计算单元,用于根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure BDA0003339155920000053
其中,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量;
角度阈值设置单元,用于设置目标角度阈值,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点。
进一步地,所述图像二值化模块包括:
第五计算单元,用于计算样板点云中目标点和距目标点最近的点的距离;
第六计算单元,用于根据以下公式计算样板点云空间分辨率:
Figure BDA0003339155920000054
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离;
栅格划分单元,用于将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均为0;
第一像素设置单元,用于遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素;
第二像素设置单元,用于遍历二值图像中所有0值像素,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素;
轮廓像素提取单元,用于遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素;
外轮廓点提取点,用于将轮廓像素对应栅格中的点作为样板的外轮廓点。
本发明提供一种飞机样板缺陷检测方法及装置,其中方法包括扫描样板,得到零均值化的样板点云;根据零均值化的样板点云,构建样板点云的局部坐标系;对样板点云进行栅格化划分,得到多块局部点云;拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点;获取目标局部点云中所有点的法矢量均值;根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点;计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线;将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓;合并所有样板的刻线点和外轮廓点,得到结果点云;获取样板的三维数模;将三维数模和结果点云对齐;计算三维数模中目标点与结果点云中对应点的距离,得到实际距离;判断结果点云中的点对应的实际距离是否超过预设距离阈值;如果否,确定样板合格;如果是,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;如果否,确定样板合格;如果是,确定样板不合格。采用上述方案,避免依靠人工目检样板,降低样板检测的成本,提高样板检验效率和检验精度。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种飞机样板缺陷检测方法的流程示意图;
图2为本发明实施例提供的样板点云进行栅格化划分示意图;
图3为本发明实施例提供的目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角示意图;
图4为本发明实施例提供的0值像素周围8个像素分布示意图;
图5为本发明实施例提供的一种飞机样板缺陷检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种飞机样板缺陷检测方法,如图1所示,所述检测方法包括:
步骤S101,扫描样板,得到零均值化的样板点云。
本步骤中,利用三维测量仪器,扫描样板,输出原始样板点云。计算原始样板点云的坐标均值,将原始样板点云中所有点的坐标减去坐标均值,得到零均值化的样板点云P={p1,p2,p3,...,pn}。
步骤S102,根据零均值化的样板点云,构建样板点云的局部坐标系。
本步骤中,计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量;
计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
步骤S103,对样板点云进行栅格化划分,得到多块局部点云。
本步骤中,如图2所示,因为整块样板不是绝对平整的,可能会存在微小弧度,可在X1O1Y1平面上作间隔为5mm的正方形栅格,将样板点云P={p1,p2,p3,...,pn}划分为多块局部点云,减小后续步骤的计算误差。
步骤S104,拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点。
本步骤中,采用RANSAC算法拟合一块目标局部点云的平面参数,获取目标局部点云在样板点云平面的法矢量vj和在样板点云平面上的任意一点p0
步骤S105,获取目标局部点云中所有点的法矢量均值。
本步骤中,同样的利用RANSAC算法获取目标局部点云中所有点的法矢量均值。
步骤S106,根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点。
本步骤中,根据以下公式计算目标局部点云中所有点的高度:
Figure BDA0003339155920000081
其中,
Figure BDA0003339155920000082
为目标局部点云j中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度。
设置目标高度阈值,目标高度阈值t0通常取-0.03mm,目标局部点云中高度小于目标高度阈值对应的点为下沉点,即将目标局部点云中hji<t0的点确定为下沉点。
步骤S107,计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线。
本步骤中,根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure BDA0003339155920000083
如图3所示,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量。
设置目标角度阈值,目标角度阈值β0通常取5°,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点,即将rji<β0的点确定为刻线点。参见图4,浅色区域为下沉点,深色区域为刻线点,下沉点所在区域比刻线点所在区域宽,可准确提取样板刻线。
步骤S108,将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓。
本步骤中,遍历样板点云P={p1,p2,p3,...,pn}中每一个点,计算样板点云中目标点和距目标点最近的点的距离。
根据以下公式计算样板点云空间分辨率:
Figure BDA0003339155920000091
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离。
将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均设为0;
遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素;
遍历二值图像中所有0值像素,如图4所示,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素;其中目标数量不超过8个,可选5个。
遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素。
将轮廓像素对应栅格中的点作为样板的外轮廓点。
步骤S109,合并所有样板的刻线点和外轮廓点,得到结果点云。
步骤S110,获取样板的三维数模。
步骤S111,将三维数模和结果点云对齐。
步骤S112,计算三维数模中目标点与结果点云中对应点的距离,得到实际距离。
步骤S113,判断结果点云中的点对应的实际距离是否超过预设距离阈值。
步骤S114,如果否,确定样板合格。
步骤S115,如果是,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值。
步骤S116,如果否,确定样板合格。
步骤S117,如果是,确定样板不合格。
步骤S109-S117中,利用Polyworks测量软件,导入样板的三维数模和结果点云并将三维数模和结果点云对齐,计算三维数模中目标点与结果点云中对应点的距离,得到实际距离dri,同时将dri>1mm的点去除。遍历三维数模中的每一个点,根据模线样板航空工业标准HB-240-89,对三维数模中目标点设置允许公差,即预设距离阈值。
如图5所示,本发明实施例还提供一种飞机样板缺陷检测装置,包括:
样板扫描模块10,用于扫描样板,得到零均值化的样板点云。
坐标系构建模块20,用于根据零均值化的样板点云,构建样板点云的局部坐标系。
划分模块30,用于对样板点云进行栅格化划分,得到多块局部点云。
平面拟合模块40,用于拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点。
第一获取模块50,用于获取目标局部点云中所有点的法矢量均值。
第一计算模块60,用于根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点。
第二计算模块70,用于计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线。
图像二值化模块80,用于将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓。
合并模块90,用于合并所有样板的刻线点和外轮廓点,得到结果点云。
第二获取模块100,用于获取样板的三维数模。
对齐模块110,用于将三维数模和结果点云对齐。
第三计算模块120,用于计算三维数模中目标点与结果点云中对应点的距离,得到实际距离。
第一判断模块130,用于判断结果点云中的点对应的实际距离是否超过预设距离阈值。
第一确定模块140,用于在第一判断模块确定结果点云中的点对应的实际距离没有超过预设距离阈值时,确定样板合格。
第二判断模块150,用于在第一判断模块确定结果点云中的点对应的实际距离超过预设距离阈值时,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值。
第二确定模块160,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量没有超过预设数量阈值时,确定样板合格。
第三确定模块170,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量超过预设数量阈值时,确定样板不合格。
可选的,所述坐标系构建模块包括:
第一计算单元,用于计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量。
第二计算单元,用于计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
构建单元,用于将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
可选的,所述第一计算模块包括:
第三计算单元,用于根据以下公式计算目标局部点云中所有点的高度:
Figure BDA0003339155920000111
其中,
Figure BDA0003339155920000112
为目标局部点云j中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度。
高度阈值设置单元,用于设置目标高度阈值,目标局部点云中高度小于目标高度阈值对应的点为下沉点。
可选的,所述第二计算模块包括:
第四计算单元,用于根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure BDA0003339155920000113
其中,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量。
角度阈值设置单元,用于设置目标角度阈值,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点。
可选的,所述图像二值化模块包括:
第五计算单元,用于计算样板点云中目标点和距目标点最近的点的距离。
第六计算单元,用于根据以下公式计算样板点云空间分辨率:
Figure BDA0003339155920000121
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离。
栅格划分单元,用于将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均为0。
第一像素设置单元,用于遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素。
第二像素设置单元,用于遍历二值图像中所有0值像素,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素。
轮廓像素提取单元,用于遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素。
外轮廓点提取点,用于将轮廓像素对应栅格中的点作为样板的外轮廓点。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上结合具体实施方式和范例性实例对本发明进行了详细说明,不过这些说明并不能理解为对本发明的限制。本领域技术人员理解,在不偏离本发明精神和范围的情况下,可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims (10)

1.一种飞机样板缺陷检测方法,其特征在于,包括:
扫描样板,得到零均值化的样板点云;
根据零均值化的样板点云,构建样板点云的局部坐标系;
对样板点云进行栅格化划分,得到多块局部点云;
拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点;
获取目标局部点云中所有点的法矢量均值;
根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点;
计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线;
将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓;
合并所有样板的刻线点和外轮廓点,得到结果点云;
获取样板的三维数模;
将三维数模和结果点云对齐;
计算三维数模中目标点与结果点云中对应点的距离,得到实际距离;
判断结果点云中的点对应的实际距离是否超过预设距离阈值;
如果否,确定样板合格;
如果是,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;
如果否,确定样板合格;
如果是,确定样板不合格。
2.根据权利要求1所述的飞机样板缺陷检测方法,其特征在于,所述根据零均值化的样板点云,构建样板点云的局部坐标系,包括:
计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量;
计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
3.根据权利要求1所述的飞机样板缺陷检测方法,其特征在于,所述根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点,包括:
根据以下公式计算目标局部点云中所有点的高度:
Figure FDA0003339155910000021
其中,
Figure FDA0003339155910000022
为目标局部点云j中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度;
设置目标高度阈值,目标局部点云中高度小于目标高度阈值对应的点为下沉点。
4.根据权利要求1所述的飞机样板缺陷检测方法,其特征在于,所述计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线,包括:
根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure FDA0003339155910000023
其中,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量;
设置目标角度阈值,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点。
5.根据权利要求1所述的飞机样板缺陷检测方法,其特征在于,所述将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓,包括:
计算样板点云中目标点和距目标点最近的点的距离;
根据以下公式计算样板点云空间分辨率:
Figure FDA0003339155910000024
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离;
将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均设为0;
遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素;
遍历二值图像中所有0值像素,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素;
遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素;
将轮廓像素对应栅格中的点作为样板的外轮廓点。
6.一种飞机样板缺陷检测装置,其特征在于,包括:
样板扫描模块,用于扫描样板,得到零均值化的样板点云;
坐标系构建模块,用于根据零均值化的样板点云,构建样板点云的局部坐标系;
划分模块,用于对样板点云进行栅格化划分,得到多块局部点云;
平面拟合模块,用于拟合一块目标局部点云的平面参数,得到目标局部点云在样板点云平面的法矢量和在样板点云平面上的任意一点;
第一获取模块,用于获取目标局部点云中所有点的法矢量均值;
第一计算模块,用于根据目标局部点云中所有点的法矢量均值,计算目标局部点云中所有点的高度,得到目标局部点云中的下沉点;
第二计算模块,用于计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角,得到样板的刻线点;其中,所有样板的刻线点构成样板刻线;
图像二值化模块,用于将样板点云图像二值化,得到样板的外轮廓点,所述外轮廓点构成样板外轮廓;
合并模块,用于合并所有样板的刻线点和外轮廓点,得到结果点云;
第二获取模块,用于获取样板的三维数模;
对齐模块,用于将三维数模和结果点云对齐;
第三计算模块,用于计算三维数模中目标点与结果点云中对应点的距离,得到实际距离;
第一判断模块,用于判断结果点云中的点对应的实际距离是否超过预设距离阈值;
第一确定模块,用于在第一判断模块确定结果点云中的点对应的实际距离没有超过预设距离阈值时,确定样板合格;
第二判断模块,用于在第一判断模块确定结果点云中的点对应的实际距离超过预设距离阈值时,判断结果点云中实际距离超过预设距离阈值对应点的数量是否超过预设数量阈值;
第二确定模块,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量没有超过预设数量阈值时,确定样板合格;
第三确定模块,用于在第二判断模块确定结果点云中实际距离超过预设距离阈值对应点的数量超过预设数量阈值时,确定样板不合格。
7.根据权利要求6所述的飞机样板缺陷检测装置,其特征在于,所述坐标系构建模块包括:
第一计算单元,用于计算零均值化样板点云排列成3×n的矩阵和零均值化样板点云排列成3×n的矩阵的转置矩阵的乘积,得到协方差矩阵;其中,n为零均值化样板点云中点的数量;
第二计算单元,用于计算协方差矩阵的三个相互正交的特征向量a1,a2,a3,其中a1,a2,a3分别对应的特征值λ1、λ2、λ3满足λ1>λ2>λ3
构建单元,用于将特征向量a1,a2,a3分别作为局部坐标系的X1轴、Y1轴、Z1轴的方向,零点O1为坐标系原点,构建样板点云的局部坐标系。
8.根据权利要求6所述的飞机样板缺陷检测装置,其特征在于,所述第一计算模块包括:
第三计算单元,用于根据以下公式计算目标局部点云中所有点的高度:
Figure FDA0003339155910000041
其中,
Figure FDA0003339155910000042
为目标局部点云中所有点的法矢量均值;vj为目标局部点云j在样板点云平面的法矢量;pji为目标局部点云j中第i个点;pj0为目标局部点云j中任意一点;hji为目标局部点云j中第i个点的高度;
高度阈值设置单元,用于设置目标高度阈值,目标局部点云中高度小于目标高度阈值对应的点为下沉点。
9.根据权利要求6所述的飞机样板缺陷检测装置,其特征在于,所述第二计算模块包括:
第四计算单元,用于根据以下公式计算目标下沉点的法矢量与目标下沉点所在样板点云平面的法矢量的夹角:
Figure FDA0003339155910000051
其中,rji为目标局部点云j中第i个下沉点的法矢量与第i个下沉点所在样板点云平面的法矢量的夹角;vj为目标局部点云j在样板点云平面的法矢量;vji为目标局部点云j中第i个下沉点的法矢量;
角度阈值设置单元,用于设置目标角度阈值,目标局部点云中夹角小于目标角度阈值对应的下沉点为刻线点。
10.根据权利要求6所述的飞机样板缺陷检测装置,其特征在于,所述图像二值化模块包括:
第五计算单元,用于计算样板点云中目标点和距目标点最近的点的距离;
第六计算单元,用于根据以下公式计算样板点云空间分辨率:
Figure FDA0003339155910000052
其中,l为样板点云空间分辨率;n为样板点云中点的总数;di为样板点云中第i个点和距第i个点最近的点的距离;
栅格划分单元,用于将X1O1Y1平面划分为多个以空间分辨率为间距的栅格,得到二值图像;其中每个栅格为二值图像的一个像素,二值图像中所有像素初始值均为0;
第一像素设置单元,用于遍历样板点云中所有的点,将遍历到样板点云中的点所在的栅格对应的像素设置为1值像素;
第二像素设置单元,用于遍历二值图像中所有0值像素,将周围8个像素中超过目标数量的1值像素的目标0值像素设置为1值像素;
轮廓像素提取单元,用于遍历二值图像中所有1值像素,将邻接有0值像素的1值像素作为轮廓像素;
外轮廓点提取点,用于将轮廓像素对应栅格中的点作为样板的外轮廓点。
CN202111303325.3A 2021-11-05 2021-11-05 一种飞机样板缺陷检测方法及装置 Active CN114037675B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111303325.3A CN114037675B (zh) 2021-11-05 2021-11-05 一种飞机样板缺陷检测方法及装置
US17/981,594 US20230090846A1 (en) 2021-11-05 2022-11-07 Method and device for detecting defects in aircraft template

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111303325.3A CN114037675B (zh) 2021-11-05 2021-11-05 一种飞机样板缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN114037675A true CN114037675A (zh) 2022-02-11
CN114037675B CN114037675B (zh) 2022-12-06

Family

ID=80136260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111303325.3A Active CN114037675B (zh) 2021-11-05 2021-11-05 一种飞机样板缺陷检测方法及装置

Country Status (2)

Country Link
US (1) US20230090846A1 (zh)
CN (1) CN114037675B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937069A (zh) * 2022-03-24 2023-04-07 北京小米移动软件有限公司 零件检测方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188458B (zh) * 2023-04-19 2023-07-21 惠州市凯默金属制品有限公司 一种汽车配件压铸模具表面形变异常智能识别方法
CN116168351B (zh) * 2023-04-26 2023-09-08 佰聆数据股份有限公司 电力设备巡检方法及装置
CN116797704B (zh) * 2023-08-24 2024-01-23 山东云海国创云计算装备产业创新中心有限公司 点云数据处理方法、系统、装置、电子设备及存储介质
CN117197170B (zh) * 2023-11-02 2024-02-09 佛山科学技术学院 一种单目相机视场角测量方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106091984A (zh) * 2016-06-06 2016-11-09 中国人民解放军信息工程大学 一种基于线激光的三维点云数据获取方法
JP2017062178A (ja) * 2015-09-25 2017-03-30 大同特殊鋼株式会社 製品の欠陥検出方法
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
CN108549087A (zh) * 2018-04-16 2018-09-18 北京瑞途科技有限公司 一种基于激光雷达的在线检测方法
CN111311576A (zh) * 2020-02-14 2020-06-19 易思维(杭州)科技有限公司 基于点云信息的缺陷检测方法
CN113377066A (zh) * 2021-05-25 2021-09-10 北京工业大学 一种针对nurbs曲面五轴加工刀具路径快速干涉检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062178A (ja) * 2015-09-25 2017-03-30 大同特殊鋼株式会社 製品の欠陥検出方法
CN106091984A (zh) * 2016-06-06 2016-11-09 中国人民解放军信息工程大学 一种基于线激光的三维点云数据获取方法
CN107038717A (zh) * 2017-04-14 2017-08-11 东南大学 一种基于立体栅格自动分析3d点云配准误差的方法
CN108549087A (zh) * 2018-04-16 2018-09-18 北京瑞途科技有限公司 一种基于激光雷达的在线检测方法
CN111311576A (zh) * 2020-02-14 2020-06-19 易思维(杭州)科技有限公司 基于点云信息的缺陷检测方法
CN113377066A (zh) * 2021-05-25 2021-09-10 北京工业大学 一种针对nurbs曲面五轴加工刀具路径快速干涉检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪俊: "飞机结构件反求建模关键技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937069A (zh) * 2022-03-24 2023-04-07 北京小米移动软件有限公司 零件检测方法、装置、电子设备及存储介质
CN115937069B (zh) * 2022-03-24 2023-09-19 北京小米移动软件有限公司 零件检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20230090846A1 (en) 2023-03-23
CN114037675B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN114037675B (zh) 一种飞机样板缺陷检测方法及装置
CN107798326B (zh) 一种轮廓视觉检测方法
CN109658398B (zh) 一种基于三维测量点云的零件表面缺陷识别与评估方法
CN109489591B (zh) 基于机器视觉的平面划痕长度非接触测量方法
Liu et al. An improved online dimensional measurement method of large hot cylindrical forging
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
CN102135417B (zh) 一种全自动三维特征提取方法
CN112614098B (zh) 一种基于增强现实的毛坯定位与加工余量分析方法
CN111047588A (zh) 一种轴型小零件尺寸的图像化测量方法
CN113112496B (zh) 一种基于自适应阈值的亚像素轴类零件尺寸测量方法
CN114119488B (zh) 一种面向工厂化的预制叠合板尺寸质量智能检测方法
CN105783786A (zh) 一种基于结构光视觉的零件倒角测量方法与装置
CN111369607A (zh) 一种基于图片解析的预制构件拼装匹配方法
CN111539446A (zh) 一种基于模板匹配的2d激光孔位检测方法
CN115060452A (zh) 一种应用于大型风洞喷管型面全景误差检测方法
Wankhede et al. A low cost surface strain measurement system using image processing for sheet metal forming applications
Wang et al. Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production.
CN113902894A (zh) 一种基于图像处理的条式水平仪自动读数识别方法
CN115578429B (zh) 一种基于点云数据的模具在线精度检测方法
CN116385356A (zh) 一种基于激光视觉的正六边形孔特征的提取方法和系统
Yang et al. Gap volume prediction for aircraft wing assembly
CN113240637B (zh) 一种基于机器学习的墙面平整度信息化检测方法和系统
CN112414316A (zh) 一种应变片敏感栅尺寸参数测量方法
Park et al. Robust inspection technique for detection of flatness defects of oil pans
CN110070528B (zh) 一种应用于模具镶块工件加工在线定位的二维检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant