CN117649564B - 一种飞机舱位装配偏差识别装置及量化评估方法 - Google Patents

一种飞机舱位装配偏差识别装置及量化评估方法 Download PDF

Info

Publication number
CN117649564B
CN117649564B CN202410119414.XA CN202410119414A CN117649564B CN 117649564 B CN117649564 B CN 117649564B CN 202410119414 A CN202410119414 A CN 202410119414A CN 117649564 B CN117649564 B CN 117649564B
Authority
CN
China
Prior art keywords
cabin
diagram
dimension index
template
aircraft cabin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410119414.XA
Other languages
English (en)
Other versions
CN117649564A (zh
Inventor
周佳
钟学敏
黄燃东
楚王伟
唐健钧
陆乔
石芹芹
金钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202410119414.XA priority Critical patent/CN117649564B/zh
Publication of CN117649564A publication Critical patent/CN117649564A/zh
Application granted granted Critical
Publication of CN117649564B publication Critical patent/CN117649564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器视觉数字化智能检测技术领域，具体地说，涉及一种飞机舱位装配偏差识别装置及量化评估方法；基于该装置对图像进行采集；该方法首先将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，计算对比图维度指标；然后根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型；最后将对比图维度指标作为待测特征向量输入至分类模型中，预测飞机舱位偏差等级，并生成评估报告，通过比对像素级别差异，实现了飞机装配偏差的检测、可视化表征以及量化评估。

Description

一种飞机舱位装配偏差识别装置及量化评估方法
技术领域
本发明涉及机器视觉数字化智能检测技术领域，具体地说，涉及一种飞机舱位装配偏差识别装置及量化评估方法。
背景技术
飞机总装质量直接影响飞行相关的各系统功能及性能，飞机舱位装配作为总装的关键环节之一，需要协调安装大量的、多种规格的电子成品、高频/低频线缆、燃油管、液压管、氧气管、辅助用品，如卡箍、扎带、防磨包布等对象，受限于有限的操作空间和安装对象的复杂性，而目视检测作为检测的重要途径，存在易主观、效率低、易漏检、难量化、问题追溯难等问题，由于种类多、数量大、缺陷形式多样，长时间高强度工作产生视觉疲劳，此外，在批产情况下，由于部分对象如线缆的安装具有一定的柔性，多架次之间必然存在不同程度的装配偏差，而目视检测难以对于一致性进行准确量化评估，因此，传统的目视检测方式，最终检测结果有效性不能得到保证，容易导致质量缺陷流转，甚至影响飞行安全。目视检测手段已无法满足现代飞机高质量、高精度、高效率的舱位装配检测需求。
发明内容
本发明针对现有的检测方法无法对装配偏差进行准配量化和表征的问题，提出一种飞机舱位装配偏差识别装置及量化评估方法，基于该装置对图像进行采集；该方法首先将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，计算对比图维度指标；然后根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型；最后将对比图维度指标作为待测特征向量输入至分类模型中，预测飞机舱位偏差等级，并生成评估报告，通过比对像素级别差异，实现了飞机装配偏差的检测、可视化表征以及量化评估。
本发明具体实现内容如下：
一种飞机舱位装配偏差识别装置，其特征在于，包括工业相机、快换支座、外壳、电源、供电模块、AI图像计算卡、触屏显示器、开关；
所述快换支座设置在所述外壳上，所述工业相机安装在所述快换支座上；
所述开关设置在所述外壳上，且与所述电源连接；
所述供电模块设置在所述外壳内与所述电源、AI图像计算卡、触屏显示器连接；
所述飞机舱位装配偏差识别装置，用于采集待测舱位图B。
一种飞机舱位装配偏差量化评估方法，具体包括以下步骤：
步骤1：将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，并计算预处理后的所述飞机舱位标注模板图A和所述待测舱位图B的对比图维度指标；
步骤2：根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型；
步骤3：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，预测飞机舱位偏差等级，并生成评估报告。
为了更好地实现本发明，进一步地，所述步骤1具体包括以下步骤：
步骤11：判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致，若不一致，则以所述飞机舱位标注模板图A为基准缩放所述待测舱位图B；
步骤12：将所述飞机舱位标注模板图A与所述待测舱位图B进行特征点匹配，计算RT矩阵；
步骤13：根据所述RT矩阵，投射变换所述待测舱位图B，得到配准重合图C；
步骤14：在所述配准重合图C的像素坐标下，提取所述飞机舱位标注模板图A和所述待测舱位图B的重叠局域，构建图像掩膜mask；
步骤15：根据所述图像掩膜mask，裁剪所述飞机舱位标注模板图A和所述待测舱位图B，得到飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0；
步骤16：将所述飞机舱位标注模板裁剪图A0和所述待测舱位裁剪图B0转换为灰度图，得到飞机舱位标注模板灰度图A0_gray和待测舱位灰度图B0_gray，并在所述飞机舱位标注模板裁剪图A0的坐标系下，逐一计算所述飞机舱位标注模板灰度图A0_gray和所述待测舱位灰度图B0_gray像素点的灰度值差值，得到超出设定阈值的坐标点集合；
步骤17：利用聚类算法聚类并编号所述坐标点集合，得到差异区域，确定m个聚簇点，并以所述聚簇点为圆心，得到m个圆作为m个掩膜，得到掩膜集合maskm；
步骤18：根据所述掩膜集合maskm，裁剪所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0中m个圆形差异区域，得到m组对比图，并计算所述m组对比图的对比图维度指标。
为了更好地实现本发明，进一步地，所述判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致前包括：利用通用视觉标定板进行标定，获取像元距离与实物距离比值系数K，构建飞机舱位标注模板图A。
为了更好地实现本发明，进一步地，步骤18中所述对比图维度指标包括第一维度指标、第二维度指标、第三维度指标、第四维度指标、第五维度指标、第六维度指标、第七维度指标、第八维度指标；
所述第一维度指标为采用OpenCV结构计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S1；
所述第二维度指标为采用OpenCV的ORB算法计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S2；
所述第三维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的平均哈希值S3；
所述第四维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的差值哈希值S4；
所述第五维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的感知哈希值S5；
所述第六维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的三直方图相似度值S6；
所述第七维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的单直方图相似度S7；
所述第八维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的图像余弦相似度值S8。
为了更好地实现本发明，进一步地，所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标和所述第七维度指标的阈值范围为[0,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为0，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差；
所述第八维度指标的阈值范围为[-1,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为-1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差。
为了更好地实现本发明，进一步地，所述步骤2具体包括以下步骤：
步骤21：采集模板图T和n张人为制造的具有不同装配偏差的样本图Q；
步骤22：将所述样本图Q进行划分得到指标等级，根据所述模板图T计算所述样本图Q的对比图维度指标；
步骤23：根据所述指标等级和所述样本图Q的对比图维度指标，构建数据集；
步骤24：将所述数据集进行AI分类模型训练，得到分类模型。
为了更好地实现本发明，进一步地，所述步骤3具体包括以下步骤：
步骤31：计算所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标、所述第七维度指标和所述第八维度指标的指标系数；
步骤32：根据所述指标系数设置综合量化值P；
步骤33：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，根据综合量化值P预测飞机舱位偏差等级，并生成评估报告。
本发明具有以下有益效果：
（1）本发明通过将对比图维度指标输入至建立的分类模型中，通过像素级别的对比，检测出偏差区域，克服了漏检的问题。
（2）本发明通过8维度特征值量化偏差区域，并评估偏差等级，弥补了目视检测无法进行偏差程度准确量化的问题。
附图说明
图1为本发明实例提供的飞机舱位装配偏差识别装置结构示意图。
图2是本发明实施例提供的飞机舱位装配偏差量化评估方法流程图。
1、外壳，2、触屏显示器，3、AI图像计算卡，4、工业相机，5、快换支座，6、电源，7、供电模块，8、开关。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出一种飞机舱位装配偏差量化评估方法，具体包括以下步骤：
步骤1：将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，并计算预处理后的所述飞机舱位标注模板图A和所述待测舱位图B的对比图维度指标。
所述步骤1具体包括以下步骤：
步骤11：判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致，若不一致，则以所述飞机舱位标注模板图A为基准缩放所述待测舱位图B。
进一步地，所述判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致前包括：利用通用视觉标定板进行标定，获取像元距离与实物距离比值系数K，构建飞机舱位标注模板图A。
步骤12：将所述飞机舱位标注模板图A与所述待测舱位图B进行特征点匹配，计算RT矩阵。
步骤13：根据所述RT矩阵，投射变换所述待测舱位图B，得到配准重合图C。
步骤14：在所述配准重合图C的像素坐标下，提取所述飞机舱位标注模板图A和所述待测舱位图B的重叠局域，构建图像掩膜mask。
步骤15：根据所述图像掩膜mask，裁剪所述飞机舱位标注模板图A和所述待测舱位图B，得到飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0。
步骤16：将所述飞机舱位标注模板裁剪图A0和所述待测舱位裁剪图B0转换为灰度图，得到飞机舱位标注模板灰度图A0_gray和待测舱位灰度图B0_gray，并在所述飞机舱位标注模板裁剪图A0的坐标系下，逐一计算所述飞机舱位标注模板灰度图A0_gray和所述待测舱位灰度图B0_gray像素点的灰度值差值，得到超出设定阈值的坐标点集合。
步骤17：利用聚类算法聚类并编号所述坐标点集合，得到差异区域，确定m个聚簇点，并以所述聚簇点为圆心，得到m个圆作为m个掩膜，得到掩膜集合maskm。
步骤18：根据所述掩膜集合maskm，裁剪所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0中m个圆形差异区域，得到m组对比图，并计算所述m组对比图的对比图维度指标。
进一步地，步骤18中所述对比图维度指标包括第一维度指标、第二维度指标、第三维度指标、第四维度指标、第五维度指标、第六维度指标、第七维度指标、第八维度指标。
所述第一维度指标为采用OpenCV结构计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S1。
所述第二维度指标为采用OpenCV的ORB算法计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S2。
所述第三维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的平均哈希值S3。
所述第四维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的差值哈希值S4。
所述第五维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的感知哈希值S5。
所述第六维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的三直方图相似度值S6。
所述第七维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的单直方图相似度S7。
所述第八维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的图像余弦相似度值S8。
进一步地，所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标和所述第七维度指标的阈值范围为[0,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为0，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差。
所述第八维度指标的阈值范围为[-1,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为-1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差。
步骤2：根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型。
进一步地，所述步骤2具体包括以下步骤：
步骤21：采集模板图T和n张人为制造的具有不同装配偏差的样本图Q；
步骤22：将所述样本图Q进行划分得到指标等级，根据所述模板图T计算所述样本图Q的对比图维度指标；
步骤23：根据所述指标等级和所述样本图Q的对比图维度指标，构建数据集；
步骤24：将所述数据集进行AI分类模型训练，得到分类模型。
步骤3：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，预测飞机舱位偏差等级，并生成评估报告。
进一步地，所述步骤3具体包括以下步骤：
步骤31：计算所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标、所述第七维度指标和所述第八维度指标的指标系数。
步骤32：根据所述指标系数设置综合量化值P。
步骤33：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，根据综合量化值P预测飞机舱位偏差等级，并生成评估报告。
工作原理：本实施例首先将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，计算对比图维度指标；然后根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型；最后将对比图维度指标作为待测特征向量输入至分类模型中，预测飞机舱位偏差等级，并生成评估报告，通过比对像素级别差异，实现了飞机装配偏差的检测、可视化表征以及量化评估。
实施例2：
本实施例在上述实施例1的基础上，如图2所示，以一个具体的实施例进行说明。
步骤一：构建飞机舱位标注模板图，作为装配偏差的比对基准，采用本发明所提供的一种基于视觉的飞机舱位装配偏差识别装置进行模板图数据采集，记为图A，图为RGB三通道图，采集前进行相机标定，获取像元距离与实物距离比值系数K。
步骤二：采用步骤一所述装置对待测舱位图进行图像采集，记为待测图B，图为RGB三通道图。
步骤三：以图A作为基准，采用尺度不变特征变换（Scale-invariant featuretransform，SIFT），将图A与图B进行特征点匹配，计算出旋转、平移矩阵（RT矩阵）。
步骤四：基于步骤三计算出的RT矩阵，对图B进行透射变换，实现两图配准（以图A为基准），获取配准后的重合图，记为图C，尽可能消除相机在拍摄图A与图B时的小范围空间角度误差。
步骤五：在图C的像素坐标下，提取图A与图B的重叠局域，制作图像掩膜mask。
步骤六：基于掩膜mask，将图A与图B分别裁剪，获得模板图A0与待测图B0，保证图A0与图B0具备相同的分辨率。如果分辨率不等，则将图B0基于A0再次进行基于矩形图像4角点的仿射变换，以消除分辨率误差。
步骤七：将图A0与图B0进行灰度，得到灰度图A0_gray、灰度图B0_gray。
步骤八：在图A0的坐标系下，逐一计算灰度图A0_gray与灰度图B0_gray各像素点的灰度值差值，若超出阈值范围[阈值下限,阈值上限]，记录差异点的坐标构建二维坐标值的集合，记为（Xn，Yn）（n=1,2,3……n）。
步骤九：利用OpenCV中的Meanshift算法对差异区域进行划分，寻找出m个聚簇点，即划分为m个差异区域，并按顺序标记差异区，记为区域1、区域2、区域3……区域m。
步骤十：以各圆心及其对应半径画圆，并按差异区编号进行标识，获得偏差区域的可视化检测与标识。
步骤十一：将画出的m个圆制作为m个掩膜，记为掩膜集合maskm。
步骤十二：基于集合maskm，分别裁剪出图A0与B0中m个圆形差异区域，形成m组对比图。
步骤十三：计算m组对比图中的各组对比图指标：
指标1：基于OpenCV结构相似度SSIM(Structural Similarity)值，记为S1；
其中，x表示飞机舱位标注模板裁剪图A0，y表示待测舱位裁剪图B0，μx、μy分别表示x和y的平均值，δx2、δy2分别表示x和y的方差，δxy表示x和y的协方差，C1、C2为用于避免分母为0的常数；μx2表示μx的平方，μy2表示μy的平方。
指标2：基于OpenCV的ORB算法的相似度值，记为S2；
其中，orb计算关键步骤为：
Step1：利用cv2.ORB_create()函数构造矩阵；
Step2：利用orb.detectAndCompute()计算两图关键点；
Step3：定义匹配对象并基于两图关键点进行匹配，得到匹配组合，并计数为N；
Step4：计算各组匹配点的距离，筛选出距离小于50像素的组合，并计数为n；
Step5：计算n与N的比值，作为ORB的值。
指标3：平均哈希算法（aHash），记为S3；
其中，ahash的计算关键步骤为：
Step1：按8*8对原图进行缩放；
Step2：将RGB图像转为256阶的灰度图；
Step3：遍历各像素点的值并累加；
Step4：求平均灰度值；
Step5：利用平均值作为图像二值化阈值，大于阈值则将对该点值赋值1，否则为0；
Step6：遍历待测图与模板图所分别生成的8*8矩阵，逐一比对各点数值，对数值相同的组合的个数记为Sub1，则：
指标4：差值哈希算法（dHash），记为S4；
Step1：按10*11对原图进行缩放；
Step2：将RGB图像转为256阶的灰度图，
Step3：按行计算每行前一个像素与后一个像素的差值，大于0则将前一个像素赋值为1，否则为0；
Step4：构建差值hash矩阵；
Step5：遍历待测图与模板图差值hash矩阵，逐一比对各点数值，对数值相同的组合的个数记为Sub2，则：
指标5：感知哈希算法（pHash），记为S5；
计算S5的关键步骤为：
Step1：按32*32对原图进行缩放；
Step2：将RGB图像转为256阶灰度图，并计算DCT，取左上角点，形成8*8矩阵；
Step3：遍历各像素点的值并累加；
Step4：求8*8矩阵中所有像素点的平均灰度值；
Step5：利用平均值作为图像二值化阈值，大于阈值则将对该点值赋值1.否则为0；
Step6：对每个图计算后分别得到8*8矩阵，
Step7：遍历待测图与模板图所分别生成的8*8矩阵，逐一比对各点数值，对数值相同的组合的个数记为Sub3，则：
指标6：三直方图相似度，记为S6；
计算S6的关键步骤为：
Step1：基于OpenCV的cv2.calcHist()函数分别计算各图的直方图；
Step2：基于OpenCV的cv2.compareHist()比较两直方图的相似度，得到S6。
指标7：单直方图相似度，记为S7；
计算S7的关键步骤为：
Step1：分类RGB的三个通道；
Step2：基于OpenCV的cv2.calcHist()函数分别计算各图各通道的直方图；
Step3：基于OpenCV的cv2.compareHist()比较两直方图的相似度，得到S6。
指标8：图像余弦相似度值（基于64区域划分），记为S8。
计算S8的关键过程为：
Step1：按比例对图像缩小，提升运算速度；
Step2：将RGB图像转为256阶灰度图；
Step3：按8*8将灰度图像分块为64块；
Step4：计算每块的平均灰度值，按对应顺序构建8*8矩阵；
Step5：以从左到右，自上而下的顺序构建64维向量；
Step6：计算模板图与待测图的向量交角余弦值；
进一步的，n维向量的交角余弦计算公式为：
其中，模板图A0的64维向量为：（）
待测图B0的64维向量为：（）
进一步的，S1-S7，取值范围0~1，1意为完全一致，0意为最大程度偏差。
S8取值范围-1~1，1意为完全一致，-1意为最大程度偏差。
步骤十四：以S1-S8构建8维特征向量，将相应对比组进行人工标注装配偏差评估等级，如下表1示例：
表1 指标与偏差等级对应表
步骤十五：基于步骤十四的数据集，进行多种AI模型分类训练，如SVM、KNN等，取分类模型M作为评估模型。
步骤十六：采集新的待测舱位图像X，重复步骤一至步骤十三，基于模板A，将计算所得的S1-S8共8个指标作为一组待测特征向量，利用训练好的分类模型M给出评价结果，评价等级包含：“优秀、合格、超差”。并将评价等级与偏差区域编号匹配显示在舱位装配图像X上。
可选的，定义偏差等级的综合量化值P，通过专家评议对各样本的偏差值有等级转化为0~100的数值。如下表2所示。
表2 指标与综合量化值对应表
定义综合量化值P计算公式：
P=K1*S1+K2*S2+K3*S3+K4*S4+K5*S5+K6*S6+K7*S7+K8*S8
其中，K1、K2、K3、K4、K5、K6、K7、K8为各指标系数
通过一般线性模型拟合后，计算出K1-K8共8项系数。并以此作为计算公式计算综合量化值P，从而实现对装配偏差的数值量化。
步骤十七：自动生产图文评估报告，信息包含：
飞机舱位制造信息：机型、架次、装配大纲编号、工序号、区域序号、检测时间、检测人。
检测信息：舱位模板图、待测图、偏差区域标识图、8维特征偏差量化表、各对比区域的偏差等级评估。
进一步地，所述步骤十六所涉及的分类模型的建立包括训练阶段和测试阶段；
其中训练阶段步骤包括：
Step1：采集模板图T共1张；
Step2：采集人为制造的具有不同装配偏差的样本图n张，
优选的，对于投影面积小于2㎡的单个飞机舱位，n最小不低于100张；
Step3：采用专家组评议方式，对n张图进行装配偏差人工评级，等级划分一般为三级：“优秀”、“合格”、“超差”，注意不仅限于此种划分方式。
Step4：基于模板图T分别计算n个样本图的S1、S2、S3、S4、S5、S6、S7、S8，
Step5：将S1-S8以及人工偏差等级标签按下表3构建数据集：
表3 预测值与响应等级对应表
Step6：进行多种预训练的AI分类模型进行训练，常见的如SVM、KNN等，取最优模型C作为评估模型。
优选的，以KNN为初始分类模型，且k取2；
其中测试阶段步骤包括：
Step1：采集新的样本图，并按训练阶段所述方式进行人工标记偏差等级；
Step2：调用训练获得的分类模型C，读入新样本并输出装配偏差等级；
Step3：根据测试结果，制定调参策略，继续训练和测试，得到设定精度则结束。
工作原理：本实施例通过比对飞机舱位装配模板图像，利用机器视觉特征提取技术以及深度学习的聚类、实例分割、分类技术实现舱位图像差异的识别及可视化标识，通过计算结构相似度、哈希值、图像余弦角等方式，实现对飞机舱位装配偏差进行数值量化，并自动化输出评估报告，提升检测精度和效率，客服传统人工目视检测易主观、效率低、易漏检、难量化、问题追溯难等不足。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1-实施例2任一项的基础上，如图1所示，提出一种飞机舱位装配偏差识别装置，并利用该装置进行待测舱位图的采集。
如图1所示，该装置包括工业相机4、快换支座5、外壳1、电源6、供电模块7、AI图像计算卡3、触屏显示器2、开关8。
步骤一：依据拍摄需求选择合适的工业相机4；工业相机4安装到快换支座5上，并安装到外壳1中；
步骤二：打开开关8，电源6接通供电模块7并为工业相机4及AI图像计算卡3以及触屏显示器2供电；
步骤三：调整拍摄空间角度及距离，利用通用视觉标定板进行标定，获取像元距离与实物距离比值系数K；
步骤四：构建飞机舱位标注模板图，作为装配偏差的比对基准，记为图A，图为RGB三通道图，
步骤五：采用上一步骤所述装置对待测舱位图进行图像采集，记为待测图B，图为RGB三通道图；
步骤六：以图A作为基准，采用尺度不变特征变换（Scale-invariant featuretransform，SIFT），将图A与图B进行特征点匹配，计算出旋转、平移矩阵（RT矩阵）；
步骤七：基于上一步计算出的RT矩阵，对图B进行透射变换，实现两图配准（以图A为基准），获取配准后的重合图，记为图C，尽可能消除相机在拍摄图A与图B时的小范围空间角度误差；
步骤八：在图C的像素坐标下，提取图A与图B的重叠局域，制作图像掩膜mask；
步骤九：基于掩膜mask，将图A与图B分别裁剪，获得模板图A0与待测图B0，保证图A0与图B0具备相同的分辨率。如果分辨率不等，这将图B0基于A0再次进行基于矩形图像4角点的仿射变换，以消除分辨率误差；
步骤十：计算图A0与B0进行灰度图A0_gray、B0_gray；
步骤十一：在图A0坐标系下，逐一计算图A0_gray与图B0_gray各像素点的灰度值差值，若超出阈值范围[阈值下限,阈值上限]，记录差异点的坐标构建二维坐标值的集合，记为（Xn，Yn）（n=1,2,3……n）；
步骤十二：利用OpenCV中的Meanshift算法对差异区域进行划分，寻找出m个聚簇点，即划分为m个差异区域，并按顺序标记差异区，记为区域1、区域2、区域3……区域m；
分别以各圆心及其对应半径画圆，并按差异区编号进行标识，获得偏差区域的可视化检测与标识；
步骤十三：将画出的m个圆制作为m个掩膜，记为掩膜集合maskm；
步骤十四：基于集合maskm，分别裁剪出图A0与B0中m个圆形差异区域，形成m组对比图；
步骤十五：计算各组对比图指标；
指标1：基于OpenCV结构相似度SSIM(Structural Similarity)值，记为S1；
指标2：基于OpenCV的ORB算法的相似度值，记为S2；
指标3：平均哈希算法（aHash），记为S3；
指标4：差值哈希算法（dHash），记为S4；
指标5：感知哈希算法（pHash），记为S5；
指标6：三直方图相似度，记为S6；
指标7：单直方图相似度，记为S7；
指标8：图像余弦相似度值（基于64区域划分），记为S8。
其中：S1-S7，取值范围0~1，1为完全一致，0为最大程度偏差；S8取值范围-1~1，1为完全一致，-1为最大程度偏差。
步骤十六：将计算所得的S1-S8共8个指标作为一组待测特征向量，利用训练好的分类模型进行预测，给出评价结果，评价等级包含：“优秀、合格、超差”。并将评价等级与偏差区域编号匹配显示在舱位待测装配图B0上加显示。
步骤十七：自动生产图文评估报告。
进一步地，报告信息包含：
飞机舱位制造信息：机型、架次、装配大纲编号、工序号、区域序号、检测时间、检测人检测信息：舱位模板图、待测图、偏差区域标识图、8维特征偏差量化表、各对比区域的偏差等级评估。
进一步地，所述步骤十六所涉及的分类模型的建立包括训练阶段和测试阶段；
其中训练阶段步骤包括：
Step1：采集模板图T共1张；
Step2：采集人为制造的具有不同装配偏差的样本图n张，
优选的，对于投影面积小于2㎡的单个飞机舱位，n最小不低于100张；
Step3：采用专家组评议方式，对n张图进行装配偏差人工评级，等级划分一般为三级：“优秀”、“合格”、“超差”，注意不仅限于此种划分方式。
Step4：基于模板图T分别计算n个样本图的S1、S2、S3、S4、S5、S6、S7、S8。
Step5：将S1-S8以及人工偏差等级标签构建数据集。
Step6：进行多种预训练的AI分类模型进行训练，常见的如SVM、KNN等，取最优模型C作为评估模型。
优选的，以Fine KNN为初始分类模型，且k取2；
其中测试阶段步骤包括：
Step1：采集新的样本图，并按训练阶段所述方式进行人工标记偏差等级；
Step2：调用训练获得的分类模型C，读入新样本并输出装配偏差等级；
Step3：根据测试结果，制定调参策略，继续训练和测试，直至模型具有预期精度，并将该模型最为最终采用的模型。
工作原理：本实施例为了弥补飞机舱位装配目视检测的劣势，提出的一种飞机舱位装配偏差识别装置；解决了飞机舱位装配过程目视检测因留证不便而导致发生质量问题时溯源困难的问题，通过设计一套便携式图像检测装置，方便对舱位进行图像采集，并自动将图像按飞机机型、架次、舱位号、区域号、工序号等信息分类整理和存档。
本实施例所述工业相机4可以是黑白相机或彩色相机，具备自动调光、补光功能，
所述工业相机4可以还可以是单目相机或双目相机，可以二维成像或三维成像。
所述快换支座5，一端为通用插销，可与外壳1相连，一端可适配配套的工业相机4并固定，快换插销能实现不同型号的工业相机4的快速更换。
所述电源6，为高聚合物锂电池，能支持该装置的所以供电需求，满负荷运行状态下，整体续航不低于6小时。
所述的供电模块7，能通过控制电压、电流对各电子模块合理分配电能。
所述的AI图像计算卡3，能对静态图像或视频流进行图像处理，可用于AI（人工智能）模型进行训练、部署、测试。
所述的触屏显示器2，能实现该装置所搭载的检测系统的人机交互。
所述的开关8，用于设备启动与关闭。
本实施例所提供的飞机舱位装配偏差识别装置，可以实现飞机舱位装配图像的采集与实时处理；能实现基于模板图进行像素级的差异检测并对差异区域进行图像可视化标识；能解决目视检测无法量化飞机舱位装配偏差程度的问题；能自动化地生成装配偏差评估报告，可以快速定位偏差区域，及时反馈生产人员进行修正。
本实施例的其他部分与上述实施例1-实施例2任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种飞机舱位装配偏差量化评估方法，其特征在于，具体包括以下步骤：
步骤1：将构建的飞机舱位标注模板图A和采集的待测舱位图B进行预处理，并计算预处理后的所述飞机舱位标注模板图A和所述待测舱位图B的对比图维度指标；
步骤2：根据采集的飞机舱位模板图T和包含人为制造装配偏差的样本图Q，建立分类模型；
步骤3：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，预测飞机舱位偏差等级，并生成评估报告；
所述步骤1具体包括以下步骤：
步骤11：判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致，若不一致，则以所述飞机舱位标注模板图A为基准缩放所述待测舱位图B；
步骤12：将所述飞机舱位标注模板图A与所述待测舱位图B进行特征点匹配，计算RT矩阵；
步骤13：根据所述RT矩阵，投射变换所述待测舱位图B，得到配准重合图C；
步骤14：在所述配准重合图C的像素坐标下，提取所述飞机舱位标注模板图A和所述待测舱位图B的重叠局域，构建图像掩膜mask；
步骤15：根据所述图像掩膜mask，裁剪所述飞机舱位标注模板图A和所述待测舱位图B，得到飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0；
步骤16：将所述飞机舱位标注模板裁剪图A0和所述待测舱位裁剪图B0转换为灰度图，得到飞机舱位标注模板灰度图A0_gray和待测舱位灰度图B0_gray，并在所述飞机舱位标注模板裁剪图A0的坐标系下，逐一计算所述飞机舱位标注模板灰度图A0_gray和所述待测舱位灰度图B0_gray像素点的灰度值差值，得到超出设定阈值的坐标点集合；
步骤17：利用聚类算法聚类并编号所述坐标点集合，得到差异区域，确定m个聚簇点，并以所述聚簇点为圆心，得到m个圆作为m个掩膜，得到掩膜集合maskm；
步骤18：根据所述掩膜集合maskm，裁剪所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0中m个圆形差异区域，得到m组对比图，并计算所述m组对比图的对比图维度指标。
2.根据权利要求1所述的一种飞机舱位装配偏差量化评估方法，其特征在于，所述判断构建的飞机舱位标注模板图A和采集的待测舱位图B的分辨率是否一致前包括：利用通用视觉标定板进行标定，获取像元距离与实物距离比值系数K，构建飞机舱位标注模板图A。
3.根据权利要求2所述的一种飞机舱位装配偏差量化评估方法，其特征在于，步骤18中所述对比图维度指标包括第一维度指标、第二维度指标、第三维度指标、第四维度指标、第五维度指标、第六维度指标、第七维度指标、第八维度指标；
所述第一维度指标为采用OpenCV结构计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S1；
所述第二维度指标为采用OpenCV的ORB算法计算的所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的相似度值S2；
所述第三维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的平均哈希值S3；
所述第四维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的差值哈希值S4；
所述第五维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的感知哈希值S5；
所述第六维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的三直方图相似度值S6；
所述第七维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的单直方图相似度S7；
所述第八维度指标为所述飞机舱位标注模板裁剪图A0和待测舱位裁剪图B0的图像余弦相似度值S8。
4.根据权利要求3所述的一种飞机舱位装配偏差量化评估方法，其特征在于，所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标和所述第七维度指标的阈值范围为[0,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为0，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差；
所述第八维度指标的阈值范围为[-1,1]，若对比图维度指标为1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0完全一致，若对比图维度指标为-1，则表示所述待测舱位裁剪图B0和所述飞机舱位标注模板裁剪图A0为最大程度偏差。
5.根据权利要求1所述的一种飞机舱位装配偏差量化评估方法，其特征在于，所述步骤2具体包括以下步骤：
步骤21：采集模板图T和n张人为制造的具有不同装配偏差的样本图Q；
步骤22：将所述样本图Q进行划分得到指标等级，根据所述模板图T计算所述样本图Q的对比图维度指标；
步骤23：根据所述指标等级和所述样本图Q的对比图维度指标，构建数据集；
步骤24：将所述数据集进行AI分类模型训练，得到分类模型。
6.根据权利要求2所述的一种飞机舱位装配偏差量化评估方法，其特征在于，所述步骤3具体包括以下步骤：
步骤31：计算所述第一维度指标、所述第二维度指标、所述第三维度指标、所述第四维度指标、所述第五维度指标、所述第六维度指标、所述第七维度指标和所述第八维度指标的指标系数；
步骤32：根据所述指标系数设置综合量化值P；
步骤33：将所述对比图维度指标作为待测特征向量，输入至所述分类模型中，根据综合量化值P预测飞机舱位偏差等级，并生成评估报告。
7.一种飞机舱位装配偏差识别装置，用于执行权利要求1-6任一项所述的方法；其特征在于，包括工业相机（4）、快换支座（5）、外壳（1）、电源（6）、供电模块（7）、AI图像计算卡（3）、触屏显示器（2）、开关（8）；
所述快换支座（5）设置在所述外壳（1）上，所述工业相机（4）安装在所述快换支座（5）上；
所述开关（8）设置在所述外壳（1）上，且与所述电源（6）连接；
所述供电模块（7）设置在所述外壳（1）内与所述电源（6）、AI图像计算卡（3）、触屏显示器（2）连接；
所述飞机舱位装配偏差识别装置，用于采集待测舱位图B。
CN202410119414.XA 2024-01-29 2024-01-29 一种飞机舱位装配偏差识别装置及量化评估方法 Active CN117649564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410119414.XA CN117649564B (zh) 2024-01-29 2024-01-29 一种飞机舱位装配偏差识别装置及量化评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410119414.XA CN117649564B (zh) 2024-01-29 2024-01-29 一种飞机舱位装配偏差识别装置及量化评估方法

Publications (2)

Publication Number Publication Date
CN117649564A CN117649564A (zh) 2024-03-05
CN117649564B true CN117649564B (zh) 2024-05-14

Family

ID=90043724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410119414.XA Active CN117649564B (zh) 2024-01-29 2024-01-29 一种飞机舱位装配偏差识别装置及量化评估方法

Country Status (1)

Country Link
CN (1) CN117649564B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057204A (ja) * 1998-06-01 2000-02-25 Hitachi Electronics Service Co Ltd 画像処理システム、画像処理方法ならびにデ―タおよびプログラムを記録した記録媒体
CN112529847A (zh) * 2020-11-25 2021-03-19 麦格纳（太仓）汽车科技有限公司 标志灯与镜片对位装配中图像位置偏差补偿处理的方法、系统、装置、处理器及存储介质
CN113706501A (zh) * 2021-08-26 2021-11-26 成都飞机工业（集团）有限责任公司 一种飞机装配的智能监测方法
WO2023272985A1 (zh) * 2021-06-30 2023-01-05 兰剑智能科技股份有限公司 智能堆垛机及托盘位置异常的识别方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057204A (ja) * 1998-06-01 2000-02-25 Hitachi Electronics Service Co Ltd 画像処理システム、画像処理方法ならびにデ―タおよびプログラムを記録した記録媒体
CN112529847A (zh) * 2020-11-25 2021-03-19 麦格纳（太仓）汽车科技有限公司 标志灯与镜片对位装配中图像位置偏差补偿处理的方法、系统、装置、处理器及存储介质
WO2023272985A1 (zh) * 2021-06-30 2023-01-05 兰剑智能科技股份有限公司 智能堆垛机及托盘位置异常的识别方法、装置和设备
CN113706501A (zh) * 2021-08-26 2021-11-26 成都飞机工业（集团）有限责任公司 一种飞机装配的智能监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dimensional and geometrical deviations of an assembly with a lattice structure manufactured by a material extrusion process: numerical and experimental results;Polini Wilma等;《The International Journal of Advanced Manufacturing Technology》;20230518;第127卷(第1-2期);689–701 *
航空发动机多轴加载试验系统与装配偏差识别研究;李琳等;《航空制造技术》;20220915;第65卷(第18期);86-91 *

Also Published As

Publication number Publication date
CN117649564A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN110705639B (zh) 一种基于深度学习的医学精子图像识别系统
CN111223133A (zh) 一种异源图像的配准方法
CN113706495B (zh) 一种在传送带上自动检测锂电池参数的机器视觉检测系统
CN111292321A (zh) 一种输电线路绝缘子缺陷图像识别方法
CN112465809A (zh) 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置
CN117152648B (zh) 一种基于增强现实的辅助教学识图装置
CN117677969A (zh) 一种缺陷检测的方法和装置
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
CN113873229A (zh) 一种图像坏点检测方法、系统及装置
CN114049589A (zh) 一种基于人工智能的变电站监测系统
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
CN115984210A (zh) 无人机遥感多光谱影像的车辆实时检测方法、检测系统
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
CN113269234B (zh) 一种基于目标检测的连接件装配检测方法和系统
CN114170449A (zh) 一种基于深度学习的人工智能图像识别装置
CN117649564B (zh) 一种飞机舱位装配偏差识别装置及量化评估方法
CN116597029B (zh) 一种针对色盲的图像重着色方法
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN112468721A (zh) 一种具有自动调焦功能的视觉采集方法及装置
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN114677670B (zh) 一种身份证篡改自动识别与定位的方法
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant