CN116385347A - 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法 - Google Patents

一种基于变形分析的飞机蒙皮曲面图案视觉检测方法 Download PDF

Info

Publication number
CN116385347A
CN116385347A CN202310013594.9A CN202310013594A CN116385347A CN 116385347 A CN116385347 A CN 116385347A CN 202310013594 A CN202310013594 A CN 202310013594A CN 116385347 A CN116385347 A CN 116385347A
Authority
CN
China
Prior art keywords
point cloud
point
processed
contour
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310013594.9A
Other languages
English (en)
Inventor
李中伟
钟凯
汪勇
张攀
余恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310013594.9A priority Critical patent/CN116385347A/zh
Publication of CN116385347A publication Critical patent/CN116385347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于变形分析的飞机蒙皮曲面图案视觉检测方法，应用等距离特征映射算法，在曲面弯曲变形后点间测地距离不变的前提下，将曲面轮廓点云降维至二维平面，克服了因弯曲变形导致的误差检测错误并使得数据比对更加直观。借助小型矩阵乘积的形式对大型的测地距离矩阵进行近似，并采用对轮廓点云先采样后插值恢复的思路，在确保了最终计算精度的条件下，极大提高了算法的计算效率和并减少了内存使用。在依据灰度梯度提取初始轮廓中心线的基础上，获取亚像素精度级的轮廓中心线，基于相位信息实现对应点的精确匹配，克服传统被动双目算法依赖极线匹配而造成的大量错误匹配问题，且较传统测头只多出一个投影仪，可实现性高，应用简单。

Description

一种基于变形分析的飞机蒙皮曲面图案视觉检测方法
技术领域
本发明属于视觉检测领域，更具体地，涉及一种基于变形分析的飞机蒙皮曲面图案视觉检测方法。
背景技术
飞机结构中的大型薄壁零件通常采用化铣方式加工，其中化铣零件最终精度的关键就在于化铣胶膜刻线的加工精度，它直接影响了铣切区域的正确性。传统的化铣胶膜刻线的加工精度检测方式是，在刻线后，将蒙皮曲面放在固定位置，用夹具将加工曲面和样板固定，人工判断刻线的加工是否合格，无法获取加工误差数据以优化刻线的工艺参数。该方法效率低下，受人为因素影响大，难以保证加工精度检测的准确性。
视觉检测技术作为一种非接触式测量手段，是当下化铣胶膜刻线的加工精度检测的一种有效方法，通过被动双目视觉重建，重建出零件加工图案的三维轮廓，将之与标准模板进行比对，较模板比对方法更为直观，且能获取误差数据。然而，传统被动双目方法难以准确提取待测加工图案轮廓的中心线并完成对应点匹配。由于大型蒙皮曲面容易发生弯曲变形，测量时需将蒙皮曲面放置在固定位置并用夹具固定，影响检测效率，且此时曲面仍不可避免的存在变形，为精度检测引入巨大误差。
为此，亟需一种蒙皮曲面表面加工图案的视觉检测方法，能够在无需夹具固定的条件下，克服曲面变形的影响，提高加工精度检测的效率和准确性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于变形分析的飞机蒙皮曲面图案视觉检测方法，由此解决现有检测方法检测精度和效率有待提高的技术问题。
为实现上述目的，按照本发明的第一方面，提供了一种基于变形分析的飞机蒙皮曲面图案视觉检测方法，包括：
S1，根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb；
S2，左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到；
S3，分别将对Pb和Pc进行栅格化采样得到的Pb`和Pc`作为第一待处理点云执行第一操作得到网格化标准点云Pbw及测量点云Pcw；所述第一操作包括：基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云；
S4，分别将Pb`和Pc`作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面后进行插值处理，得到平面点云；
S5，将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
按照本发明的第二方面，提供了一种基于变形分析的飞机蒙皮曲面图案视觉检测装置，包括：
标准点云获取模块，用于根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb；
测量点云获取模块，用于使左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到；
第一处理模块，用于分别将对Pb和Pc进行栅格化采样得到的Pb`和Pc`作为第一待处理点云执行第一操作得到网格化标准点云Pbw及测量点云Pcw；所述第一操作包括：基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云；
第二处理模块，用于分别将Pb`和Pc`作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面得到平面点云，并进行插值处理；
检测模块，用于将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
按照本发明的第三方面，提供了一种基于变形分析的飞机蒙皮曲面图案视觉检测系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明提供的基于变形分析的飞机蒙皮曲面图案视觉检测方法，应用等距离特征映射算法，在曲面弯曲变形后点间测地距离不变的前提下，将曲面轮廓点云降维至二维平面，克服了因弯曲变形导致的误差检测错误并使得数据比对更加直观。
2、本发明提供的基于变形分析的飞机蒙皮曲面图案视觉检测方法，借助小型矩阵乘积的形式对大型的测地距离矩阵进行近似，并采用对轮廓点云先采样后插值恢复的思路，在确保了最终计算精度的条件下，极大提高了算法的计算效率和并减少了内存使用。
3、本发明提供的基于变形分析的飞机蒙皮曲面图案视觉检测方法，在依据灰度梯度提取初始轮廓中心线的基础上，基于Steger算法获取亚像素精度级的轮廓中心线，基于相位信息实现对应点的精确匹配，克服传统被动双目算法依赖极线匹配而造成的大量错误匹配问题，且较传统测头只多出一个投影仪，可实现性高，应用简单。
4、本发明提供的基于变形分析的飞机蒙皮曲面图案视觉检测方法，采用样条插值法，利用轮廓点云重建出轮廓所在的蒙皮曲面，通过插值法获得均匀化的曲面点云，构建出完整的曲面三角网格，应用MMP三角网格测地线算法，解决了轮廓中任意两点之间测地距离难以精确计算的关键问题。
附图说明
图1为本发明提供的的基于变形分析的飞机蒙皮曲面图案视觉检测方法流程图；
图2中(a)、(b)为一个测量视点下采集到的灰度图和光栅图；
图3为轮廓点的网格化模型图；
图4为曲面轮廓点云到平面轮廓的算法流程图；
图5为曲面轮廓点云及对应的平面轮廓点云示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供一种基于变形分析的飞机蒙皮曲面图案视觉检测方法，如图1所示，包括：
S1，根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb。
具体地，根据飞机蒙皮曲面加工路径进行轮廓采样，得到激光刻型图案(即加工图案)的轮廓标准点云模型。
读取加工文件提取加工路径，获得每个加工点的坐标。由于加工点分布较为稀疏两点间距过大，影响后续配准的精度，需进行轮廓采样才能获取完整点额轮廓点云模型。将加工点坐标放入轮廓数组，结合轮廓形状约束，遍历轮廓数组，当加工点距离超过设定阈值且未横跨两个轮廓，则进行采样，插入一点至轮廓数组，反之不进行操作，得到完整的轮廓标准点云模型。
S2，左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到。
优选地，所述从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓，包括：
从左相机的均匀光照图中提取各加工图案的初始轮廓，采用Steger中心线提取算法或灰度重心法对所述初始轮廓进行处理得到所述各加工图案的亚像素精度轮廓。
具体地，采集蒙皮曲面表面灰度图和光栅图，如图2中(a)、(b)所示，实现高精度立体匹配和三维重建，得到各个测量视点的单个轮廓点云数据，拼接得到激光刻型图案的测量点云；
其中，获取激光刻型图案的测量点云具体流程为：基于线结构光测得的蒙皮曲面轮廓点云进行分区视点规划，基于规划路径，利用搭载相机和投影仪的机器臂采集每个视点下相应轮廓的均匀光照灰度图和光栅灰度图；提取初始目标轮廓后采用Steger中心线提取算法获取亚像素精度的轮廓，结合相位信息进行对应点匹配，实现被测轮廓的高精度三维重建，得到单个轮廓的测量点云；采用基于视觉跟踪的多相机位姿测量技术，实现测头多次测量数据的精确拼接得到激光刻型图案的测量点云，包括：
S21，将蒙皮曲面放置在测量平面，基于线结构光测得的轮廓点云，进行分区视点规划；基于规划路径，搭载测头的机器臂的依次运动到相应规划视点的位置，投影光栅，左右相机获取该视点下相应轮廓的均匀光照灰度图和光栅灰度图。
S22，对采集的均匀光照灰度图和光栅灰度图进行畸变校正和极线校正。基于灰度梯度分割和形态学处理从左相机的均匀光照灰度图中提取初始目标轮廓，采用Steger中心线提取算法对初始目标轮廓进行处理，获取亚像素精度的轮廓，结合相位信息进行对应点匹配，基于轮廓亚像素点ia(即亚像素精度轮廓上的像素点)的坐标(x,y)，计算出ia在左相机绝对相位图上的绝对相位值；然后基于此绝对相位值在右相机绝对相位图的第x行进行匹配(其中，x轴的方向向下，y轴的方向向右)，寻找出与ia对应的匹配点ib(ia和ib的绝对相位值相等)，组成匹配点对，实现被测轮廓的高精度三维重建，得到蒙皮曲面上各激光刻型图案的测量点云。其中，左右相机的绝对相位图根据校正后的左右相机的光栅灰度图进行计算得到。
S23，将各激光刻型图案的测量点云转换到同一坐标系下。
将标志点阵列(即粘贴有标志点的刚性框架)与测头固连，通过扫描系统得到标志点阵列坐标系，再使用多相机测量系统(包括多个单目相机)跟踪标志点，通过多个单目相机的耦合实现大范围测头的实时位姿测量，最终将测头测量数据拼合到多相机系统坐标系下。
S3，分别将对Pb和Pc进行栅格化采样得到的Pb`和Pc`作为第一待处理点云执行第一操作得到网格化标准点云Pbw及测量点云Pcw；所述第一操作包括：基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云。
优选地，所述均匀化处理，包括：
采用薄板样条插值法或多项式插值法重建出所述第一待处理点云所在的曲面，在所述曲面上插值获得均匀点云(即均匀化处理的述第一待处理点云)。
优选地，所述基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云，包括：
基于所述第一待处理点云及均匀化处理后的第一待处理点云，采用Bowyer-Watson算法，构建三角网格，得到网格化点云。
具体地，分别针对标准点云和测量点云，重建曲面并得到曲面的均匀化点云数据，将曲面均匀化点云和轮廓点云构成新点云并将其网格化，得到网格化的标准点云数据和测量点云。
构建网格化点云数据具体流程为：针对标准轮廓点云和测量轮廓点云，分别对其进行以下操作：基于轮廓点云数据进行曲面拟合，通过均匀插值，在曲面上获得离散的点，得到曲面的均匀化点云，对轮廓点云进行等间距均匀采样得到稀疏的采样点云，将轮廓采样点云和曲面的均匀化点云构成新点云，使用Bowyer-Watson算法将点云三角网格化，得到如图3所示的网格化点云数据，包括：
S31，分别针对标准轮廓点云Pb和测量轮廓点云Pc，采用薄板样条插值法或多项式插值法重建出轮廓所在的曲面，在曲面上插值获得均匀化的离散点云数据Kb、Kc。
S32，为减少后续计算量，节省内存空间，分别对标准点云Pb及测量轮廓点云Pc进行栅格采样，得到较稀疏的轮廓点云Pb`和Pc`。
S33，将Pc`与Kc组成点云，采用Bowyer-Watson算法，构建三角网格，获得网格化的测量轮廓点云数据Pcw；类似地，将Pb`与Kb组成点云，采用Bowyer-Watson算法，构建三角网格，获得网格化的标准轮廓点云数据Pbw。
S4，分别将Pb`和Pc`作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面后进行插值处理，得到平面点云。
优选地，所述测地距离矩阵
Figure BDA0004038537430000081
其中，M为m个采样点到第二待处理点云中各点的测地距离矩阵，大小为n×m，n为第二待处理点云的数量，所述m个采样点为对网格化点云进行最远点采样得到；
所述平面点云
Figure BDA0004038537430000091
其中，Q为对CM进行QR分解得到的Q矩阵，
Figure BDA0004038537430000092
J为所有元素都为1的矩阵；Λ2和V2分别为对/>
Figure BDA0004038537430000093
进行特征值分解得到的2个最大的特征值及对应的特征向量，R为对CM进行QR分解得到的R矩阵，Ms为M与MT重合的部分。
具体地，分别计算网格化后的标准点云、测量点云的测地距离矩阵
Figure BDA0004038537430000094
Figure BDA0004038537430000095
利用等距离特征映射算法将采样后的测量轮廓点云Pc`及标准轮廓点云Pb`降维至二维平面，得到Zb`、Zc`，再分别对Zb`、Zc`进行插值处理得到与Pb对应的平面点云Zb，以及与Pc对应的平面点云Zc。
进一步地，计算网格点之间的测地距离，构建点云的测地距离矩阵具体流程为：基于MMP三角网格测地线算法，计算网格点之间的测地距离，构建点云的测地距离矩阵，基于曲面弯曲变形前后，曲面点之间测地距离不变的前提，利用等距离特征映射算法，将曲面点云降维至平面，并保持点与点之间的测地距离不变，相当于将曲面展开成平面，如图4所示，包括(步骤S41-S43是分别以Pbw、Pcw作为处理对象)：
S41，对网格化后的轮廓点云进行最远点采样，得到m个采样点。
S42，基于MMP三角网格测地线算法或CH算法，计算m个源点到栅格化采用后的点集P`(若S41中的处理对象为Pbw，则此处为Pb`；若S41中的处理对象为Pcw，则此处为Pc`)中所有点的测地距离，获得m个列向量，构成大小为n×m的矩阵M，其中n为点集P`的大小。
S43，利用已知的M矩阵，借助小型矩阵乘积的形式对大型的n×n测地距离矩阵D进行近似，以提高计算效率和降低内存使用。
其中，借助小型矩阵乘积的形式近似替代完整测地距离矩阵D的原因在于，矩阵D的计算占用巨大的内存空间且需要大量计算时间，可行性差，近似替代在牺牲可允许范围的精度条件下，能极大提高计算效率。
选取测地距离矩阵D的m列，构成大小为n×m的矩阵M，因此只需要计算m个源点到轮廓点云所有点的测地距离。兼顾轮廓点云的分布特征并使得m个源点尽量均匀，采用最远点采样得到m个测地源点。对于m个源点，使用MMP三角网格测地线算法计算每个源点到其他所有点的测地距离，由此构建出矩阵M。
利用等距离特征映射算法，将曲面点云降维至平面具体包括：
对于网格曲面上的轮廓点集合P＝{p1,p2,p2,…,pn},计算任意两点pi和pj之间的测地距离dij，其表示两点沿网格曲面的最短路径的长度，由此构建出n×n的测地距离矩阵D，其中
Figure BDA0004038537430000101
具体的，借助小型矩阵乘积的形式对大型的n×n测地距离矩阵D进行近似包括：
设近似的测地距离矩阵
Figure BDA0004038537430000102
其满足以下的目标函数
Figure BDA0004038537430000103
基于矩阵D的已知部分M求取矩阵H，引入矩阵T，其作用是将一个矩阵除前m行以外的部分置空。目标函数变为
Figure BDA0004038537430000104
将M与MT重合的部分记为Ms，则目标函数变为
Figure BDA0004038537430000105
目标函数的解为
Figure BDA0004038537430000106
为减少/>
Figure BDA0004038537430000107
矩阵的较小特征值的的影响，对/>
Figure BDA0004038537430000108
进行特征值分解，选取最大的m1个特征值及对应的特征向量，即
Figure BDA0004038537430000109
由此将大型矩阵D近似为小矩阵的乘积形式
Figure BDA0004038537430000111
具体的，利用等距离特征映射算法，将曲面点云降维至平面具体包括：
对于降维后的平面点集X＝{x1,x2,x2,…,xn}，由于测地距离不发生改变，则意两点xi和xj之间的欧氏距离为dij，即：
Figure BDA0004038537430000112
为方便后续计算，利用中心化矩阵C将点集X进行处理，
Z＝CX
使得点集中心移动到坐标原点，得到点集Z，则
Figure BDA0004038537430000113
其中
Figure BDA0004038537430000114
其中J为所有元素都为1的矩阵。
将点集Z转换为矩阵形式Z，计算内积矩阵
Figure BDA0004038537430000115
将测地距离矩阵用小型矩阵的乘积替代，有
Figure BDA0004038537430000116
避免对n×n的矩阵直接进行特征值分解，降低计算效率，对矩阵CM先进行QR分解：
CM＝QR
内积矩阵变为：
Figure BDA0004038537430000117
对
Figure BDA0004038537430000118
进行特征值分解：
Figure BDA0004038537430000121
由于将点云数据降维至平面二维空间，选取2个最大的特征值及对应的特征向量构成
Figure BDA0004038537430000122
则：
Figure BDA0004038537430000123
由此得到
Figure BDA0004038537430000124
至此，得到了曲面轮廓点云和对应的平面点云数据Z`，即分别对Pc`和Pb`执行上述操作，得到Zb`和Zc`。
分别利用插值法对平面点云数据Zb`和Zc`进行处理，得到完整的标准点云和测量点云对应的平面点云Zb和Zc，将Zb和Zc进行点云配准和数据比对，用于评估轮廓的加工误差。
优选地，所述插值处理包括：
在第一待处理点云中查找pi1、pi2、pi3；其中，pi1、pi2、pi3为与pi距离最近的三个点，pi为栅格化采样之前的第一待处理点云中的点；
令pi＝αipi1+βipi2+γipi3，求解pi的差值系数αi、βi、γi，根据zi＝αizi1+βizi2+γizi2对Z中的点zi进行插值；其中，zi1、zi2、zi3为将第二待处理点云降维至二维平面得到的平面点云Z`中与点zi距离最近的点。
具体地，以对Zc`进行插值处理得到Zc为例，所述利用插值法得到完整轮廓点对应的平面点云具体包括：
S51，对于采样前的完整轮廓点集Pc中一点pci，采用KdTree近邻点搜索查找其在点集P`中最近的三个点pi1、pi2、pi3。
S52，将pci表示为三个点的线性组合，即pci＝αipi1+βipi2+βipi3，根据各个点(pci及pi1、pi2、pi3)的x、y、z坐标，列出相应方程组，求解出每个点对应的插值系数αi、βi、γi。
进一步地，
Figure BDA0004038537430000131
其中
Figure BDA0004038537430000132
S53，对于采样前的完整轮廓点集Pc所对应的平面映射点集Zc中一点zci，可用插值系数αi、βi、γi表示为pi1、pi2、pi3对应的平面点zi1、zi2、zi2的线性组合。遍历计算得到点集Pc对应的平面轮廓点Zc，计算公式为zci＝αizi1+βizi2+γizi2，也即，根据zci＝αizi1+βizi2+γizi2对Zc`中的点zci进行插值，得到Zc。
S5，将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
优选地，所述将Zb和Zc进行配准并剔除错误匹配，包括：
采用ICP配准算将Zb和Zc进行配准后，若Zc中的任一点zci`与其目标点之间的距离大于阈值，则认为所其存在错误匹配，将其剔除；其中，所述目标点为Zb中与zci`距离最近的点。
具体地，采用ICP配准算法将标准轮廓点云对应的平面点云(即平面标准轮廓点云)和测量轮廓点云(即平面测量轮廓点云)对应的平面点云配准，并剔除错误匹配：对于平面测量轮廓点云中的每个点，查找平面标准轮廓点云中与其最近的平面标准轮廓点，如果两者距离超过阈值，则剔除平面测量轮廓点。
如图5所示，对于平面测量轮廓点云的每个点，查找平面标准轮廓点云中与其距离最近的平面标准轮廓点，将二者的距离作为该平面标准轮廓点的加工误差值。进行数据比对，评估轮廓的加工误差。
本发明提供的方法，根据飞机蒙皮曲面加工路径进行轮廓采样，得到轮廓标准点云模型；基于线结构光测得的蒙皮曲面轮廓点云进行分区视点规划，基于视点路径利用机器臂搭载相机和投影仪采集蒙皮曲面表面灰度图和光栅图，实现高精度立体匹配和三维重建，得到各个测量视点的单个轮廓点云数据；基于视觉跟踪的多相机位姿测量技术，实现测头多次测量数据的精确拼接，得到激光刻型图案的测量点云；针对标准点云和测量点云，重建曲面并得到曲面的均匀化点云数据，对轮廓点云进行采样并与曲面点云和构成新点云并将其网格化；基于MMP三角网格测地线算法计算采样后的标准点云和测量点云的测地距离矩阵，利用等距离特征映射算法将曲面上采样后的轮廓点云数据在保持测地距离不变的情况下降维至二维平面；利用插值法得到完整的标准点云和测量点云对应的平面点云，最后采用ICP配准算法将标准点云和测量点云对应的平面点云配准，并进行数据比对，评估轮廓的加工误差。本发明能够克服蒙皮曲面变形的影响，实现了飞机蒙皮曲面激光刻型加工精度的无夹具，自动化、高精度检测。
下面对本发明提供的基于变形分析的飞机蒙皮曲面图案视觉检测装置进行描述，下文描述的基于变形分析的飞机蒙皮曲面图案视觉检测装置与上文描述的基于变形分析的飞机蒙皮曲面图案视觉检测方法可相互对应参照。
本发明实施例提供一种基于变形分析的飞机蒙皮曲面图案视觉检测装置，包括：
标准点云获取模块，用于根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb；
测量点云获取模块，用于使左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到；
第一处理模块，用于分别将Pb和Pc作为第一待处理点云执行第一操作得到各加工图案轮廓的网格化标准点云Pbw及测量点云Pcw；所述第一操作包括：将所述第一待处理点云进行均匀化得到均匀点云，基于所述第一待处理点云及均匀点云构建三角网格得到网格化点云；
第二处理模块，用于分别将Pbw和Pcw作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面后进行插值处理，得到平面点云；
检测模块，用于将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
本发明实施例提供一种基于变形分析的飞机蒙皮曲面图案视觉检测系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于变形分析的飞机蒙皮曲面图案视觉检测方法，其特征在于，包括：
S1，根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb；
S2，左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到；
S3，分别将对Pb和Pc进行栅格化采样得到的Pb`和Pc`作为第一待处理点云执行第一操作得到网格化的标准点云Pbw及测量点云Pcw；所述第一操作包括：基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云；
S4，分别将Pb`和Pc`作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面后进行插值处理，得到平面点云；
S5，将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
2.如权利要求1所述的方法，其特征在于，所述测地距离矩阵
Figure FDA0004038537420000011
Figure FDA0004038537420000012
其中，M为基于MMP三角网格测地线算法计算得到的m个采样点到第二待处理点云中各点的测地距离矩阵，大小为n×m，n为第二待处理点云的数量，所述m个采样点为对网格化点云进行最远点采样得到；
所述平面点云
Figure FDA0004038537420000021
其中，Q为对CM进行QR分解得到的Q矩阵，/>
Figure FDA0004038537420000022
J为所有元素都为1的矩阵；Λ2和V2分别为对/>
Figure FDA0004038537420000023
进行特征值分解得到的2个最大的特征值及对应的特征向量，R为对CM进行QR分解得到的R矩阵，Ms为M与MT重合的部分。
3.如权利要求2所述的方法，其特征在于，所述插值处理包括：
在第一待处理点云中查找pi1、pi2、pi3；其中，pi1、pi2、pi3为与pi距离最近的三个点，pi为栅格化采样之前的第一待处理点云中的点；
令pi＝αipi1+βipi2+γipi3，求解pi的差值系数αi、βi、γi，根据zi＝αizi1+βizi2+γizi2对Z中的点zi进行插值；其中，zi1、zi2、zi3为将第二待处理点云降维至二维平面得到的平面点云Z`中与点zi距离最近的点。
4.如权利要求1所述的方法，其特征在于，所述均匀化处理，包括：
采用薄板样条插值法或多项式插值法重建出所述第一待处理点云所在的曲面，在所述曲面上插值获均匀点云。
5.如权利要求1所述的方法，其特征在于，所述从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓，包括：
从左相机的均匀光照图中提取各加工图案的初始轮廓，采用Steger中心线提取算法或灰度重心法对所述初始轮廓进行处理得到所述各加工图案的亚像素精度轮廓。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云，包括：
基于所述第一待处理点云及均匀化处理后的第一待处理点云，采用Bowyer-Watson算法，构建三角网格，得到网格化点云。
7.如权利要求1所述的方法，其特征在于，所述将Zb和Zc进行配准并剔除错误匹配，包括：
采用ICP配准算将Zb和Zc进行配准后，若Zc中的任一点zci`与其目标点之间的距离大于阈值，则认为所其存在错误匹配，将其剔除；其中，所述目标点为Zb中与zci`距离最近的点。
8.一种基于变形分析的飞机蒙皮曲面图案视觉检测装置，其特征在于，包括：
标准点云获取模块，用于根据蒙皮曲面的加工路径，获取所述蒙皮曲面表面各加工图案轮廓的标准点云Pb；
测量点云获取模块，用于使左右相机同步获取各加工图案的均匀光照图及光栅图，从左相机的均匀光照图中提取各加工图案的亚像素精度轮廓；根据所述亚像素精度轮廓上的像素点在左相机的绝对相位图中的相位信息，将所述像素点与右相机的绝对相位图中的像素点进行匹配得到的匹配点对进行三维重建得到各加工图案轮廓的测量点云，并将其进行坐标转换得到在同一坐标系下的各加工图案轮廓的测量点云Pc；其中，所述绝对相位图根据光栅图计算得到；
第一处理模块，用于分别将对Pb和Pc进行栅格化采样得到的Pb`和Pc`作为第一待处理点云执行第一操作得到网格化标准点云Pbw及测量点云Pcw；所述第一操作包括：基于所述第一待处理点云及均匀化处理后的第一待处理点云构建三角网格，得到网格化点云；
第二处理模块，用于分别将Pb`和Pc`作为第二待处理点云执行第二操作得到各加工图案轮廓的标准平面点云Zb及测量平面点云Zc；所述第二操作包括：根据网格化点云的测地距离矩阵，采用等距离特征映射算法将第二待处理点云降维至二维平面后进行插值处理，得到平面点云；
检测模块，用于将Zc和Zb进行配准并剔除错误匹配后，在Zc中查找与Zb中的点zbi距离最近的点zci，将二者之间的距离作为所述点zbi的加工误差。
9.一种基于变形分析的飞机蒙皮曲面图案视觉检测系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如权利要求1-7任一项所述的方法。
CN202310013594.9A 2023-01-05 2023-01-05 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法 Pending CN116385347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310013594.9A CN116385347A (zh) 2023-01-05 2023-01-05 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310013594.9A CN116385347A (zh) 2023-01-05 2023-01-05 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法

Publications (1)

Publication Number Publication Date
CN116385347A true CN116385347A (zh) 2023-07-04

Family

ID=86973854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310013594.9A Pending CN116385347A (zh) 2023-01-05 2023-01-05 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法

Country Status (1)

Country Link
CN (1) CN116385347A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494534A (zh) * 2024-01-03 2024-02-02 南京航空航天大学 一种基于点云与有限元分析的飞机蒙皮修配方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494534A (zh) * 2024-01-03 2024-02-02 南京航空航天大学 一种基于点云与有限元分析的飞机蒙皮修配方法
CN117494534B (zh) * 2024-01-03 2024-03-22 南京航空航天大学 一种基于点云与有限元分析的飞机蒙皮修配方法

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN109584156B (zh) 显微序列图像拼接方法及装置
CN102376089B (zh) 一种标靶校正方法及系统
CN109919984A (zh) 一种基于局部特征描述子的点云自动配准方法
CN106408609B (zh) 一种基于双目视觉的并联机构末端运动位姿检测方法
CN110480075B (zh) 基于点云数据的工件曲面轮廓补偿系统及方法及介质
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN105716542A (zh) 一种基于柔性特征点的三维数据拼接方法
CN114413788B (zh) 基于双目视觉和反向模型重构的零件表面图案检测方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN114081471B (zh) 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
CN101639947A (zh) 基于图像的植物三维形态测量与重建方法及系统
CN113834625B (zh) 一种飞行器模型表面压力测量方法及系统
CN109657607A (zh) 一种基于人脸识别的人脸目标测距方法、装置及存储介质
CN109974618A (zh) 多传感器视觉测量系统的全局标定方法
CN115100294B (zh) 基于直线特征的事件相机标定方法、装置及设备
CN116385347A (zh) 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN117197241A (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN116952154A (zh) 基于机器视觉的传爆管装配体口部深度测量方法及系统
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN113689478B (zh) 量测设备的对齐方法、装置及系统
CN110458951A (zh) 一种电网杆塔的建模数据获取方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination