CN113706501B - 一种飞机装配的智能监测方法 - Google Patents
一种飞机装配的智能监测方法 Download PDFInfo
- Publication number
- CN113706501B CN113706501B CN202110989035.2A CN202110989035A CN113706501B CN 113706501 B CN113706501 B CN 113706501B CN 202110989035 A CN202110989035 A CN 202110989035A CN 113706501 B CN113706501 B CN 113706501B
- Authority
- CN
- China
- Prior art keywords
- image
- acquired
- gray
- brightness
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种飞机装配的智能监测方法，首先采集需要检测的飞机零部件的样本图像，并对采集的样本图像物体的特征进行提取、标记，并得到飞机装配图像数据。建立图像识别算法模型，并采用飞机装配图像数据对图像识别算法模型进行训练得到训练好的识别检测模型。采集零部件实物图像，使用训练好的识别检测模型对物体识别和状态监测，并将检测结果在前端页面进行展示。本发明改变了当前依赖人力进行舱内检查容易出现纰漏的现状，最大限度地排除质量隐患，防止产品使用中出现安全事故，避免造成巨额经济损失，从而提高了飞机装配质量，具有较好的实用性。
Description
技术领域
本发明属于飞机装配设备的技术领域，具体涉及一种飞机装配的智能监测方法。
背景技术
飞机装配过程中可能出现漏装、错装和遗留多余物等问题，会对产品质量、可靠性等造成不利影响，甚至造成严重后果。目前解决该问题的方法是人工进行舱内检查，但人工检查作为单一检查手段容易因疲劳、懈怠等因素造成遗漏。为了改变检查手段单一的现状，有必要发明一种飞机装配过程智能监测方法，自动对各舱段内部装配状态进行监测和识别。
图像识别技术已经在自动物流搬运、小物件分拣等场景得到应用。目前飞机装配行业内也有类似的应用，但应用面不广，且仅限于简单的铆钉等小型件的缺陷自动识别和分拣。对于飞机装配过程中的舱体检查，国内外公开的文献资料中尚无类似或相近的应用案例。通过研究飞机装配过程智能监测方法，有助于回避当前依赖人力进行飞机舱体装配状态检查的弊端，最大限度地排除质量隐患。
发明内容
本发明的目的在于提供一种飞机装配的智能监测方法，旨在解决上述问题。
本发明主要通过以下技术方案实现：
一种飞机装配的智能监测方法，包括以下步骤：
步骤S01：采集需要检测的飞机零部件的样本图像；
步骤S02：对采集的样本图像物体的特征进行提取、标记，并得到飞机装配图像数据；
步骤S03：建立图像识别算法模型，并采用飞机装配图像数据对图像识别算法模型进行训练得到训练好的识别检测模型；
步骤S04：采集零部件实物图像，使用训练好的识别检测模型对物体识别和状态监测；
步骤S05：将检测结果在前端页面进行展示。
为了更好地实现本发明，进一步地，所述步骤S01中需要对采集的图像的亮度进行均匀化处理，包括以下步骤：
S011：在飞机待检舱体上设置测量基准，通过固定在六自由度工业机器人上的相机调姿定位子系统将相机调整到指定位置姿态的拍摄点，在拍摄点下使用线控光源与工业相机结合进行采集样本图像；将光源亮度设置为[0,50,100,150,200]5个亮度等级，并在各亮度下通过工业相机采集得到各拍摄点的采集图像；
S012：在一个拍摄点的采集图像中，选择清晰度最高的图像所在亮度等级位置，选择前后连续的三个亮度等级，以对焦微调的二项式求解极值的方式计算获取最佳亮度值；然后，在最佳亮度值所在的一个相对较小的领域内，重定义一组可选光源亮度等级，在具体图像采集时，使用定义的可选光源亮度，对待检物进行一系列的图像采集；然后对采集到的图像，进行局部清晰度计算，局部清晰度按下式计算：
其中：
R(x,y)为清晰度矩阵；
Gray(x,y)为像素点位置的灰度值，灰度是一个二维矩阵，其中Gradx、Grady分别为x、y维度梯度；
则对每张图像，都可以获得一个清晰度矩阵R(x,y)，并获取图像上各像素点位置的灰度值Gray(x,y)与亮度值Bright(x,y)；均匀化亮度的图像Even_Img按下式从获取的图像集Imgs进行获取：
其中：
argmax是指取得最大参数值的索引，argmax imgs是指这个括号取值最大的那张图片的索引，外面再加imgs就得到了那张图片；
以imgs作为上标，标识处这个值的取值范围，在imgs这个之前采集的图片集合下进行。
Imgs是指多亮度条件下对同一目标拍摄获取的图像集合。
为图像集合的清晰度矩阵；
为图像集合的像素点位置的灰度值；
Bright(x,y)为亮度值；
参考多幅图像所产生的清晰度矩阵与灰度矩阵，选择出各拍摄点采集图像中质量较好的图像，并将图像进行拼合后得到样本图像；
S013：采集完成后将样本图像进行上传至服务端进行数据化存储。
在步骤S01中，由于相机距离被摄目标较近，使光源分散的效果较弱，且待检物是表面光滑的金属，对光线具有较强的反射能力，导致被摄物的光线亮度不均匀，因此对图像的亮度进行均匀化处理。
为了更好地实现本发明，进一步地，所述步骤S012中所述灰度值为图像转为灰度图后像素的取值，所述亮度值表示该像素位置所在的一个邻域上的平均灰度，所述平均灰度使用矩形平滑滤波核对图像进行滤波后获取。
为了更好地实现本发明，进一步地，所述步骤S02包括以下步骤：
S021：对采集的样本图像的影像内容、特征、结构、关系、纹理及灰度的特征进行预处理；
S022：使用标注软件对样本图像进行标注并得到图片的标注信息，标识出样本图像中被识别出的所有可检测目标，形成飞机装配图像数据。
所述步骤S021中采用halcon软件对样本图像进行预处理，以降低干扰，预处理功能为软件自带功能，为现有技术，故不再赘述。
为了更好地实现本发明，进一步地，所述步骤S03包括以下步骤：
S031：搭建基于迁移学习模型的图像识别算法模型，通过项目所采集到的飞机装配图像数据对模型进行在训练，从而完成模型从预训练数据集到本数据集的迁移识别效果；
S032：利用尺度不变特征的多图像模板匹配方法，基于所采集的飞机装配图像的内容、特征、结构、关系、纹理及灰度的对应关系，进行图像相似性和一致性的分析，寻找相似图像目标并进行多图像融合，并跟已有的装配图像模板进行比对识别，从而建立图像识别算法模型。
为了更好地实现本发明，进一步地，所述步骤S04包括以下步骤：
S041：完成六自由度工业机器人垂直姿态的调整后，使用所采集到的待检部件装配图像和装配图像样本进行比对计算，从而调整工业机器人达到最佳采集点，采集当前产品舱体的实物图像信息并上传至平台服务端；
S042：对所采集的实物图像进行超像素块分割得到超像素块集合数据，基于此数据计算出相关的图像匹配变换矩阵集合，并将变换矩阵用于图像缝合计算得到不同的偏差能量，最终获得最优缝合线的拼接图像；采用部署在服务端的训练好的识别检测模型自动对拼接图像展开识别检测，进行检测图像判别。
为了更好地实现本发明，进一步地，所述步骤S05包括以下步骤：
S051：对所有检测结果进行查询，以查询以下内容：对待测对象采集的所有原始单张图像，以及拼接的全景图像；图像展示同时调出参考图像进行比对，并进行对应结果说明及提示信息的精准叠加显示；
S052：向操作者反馈检测结果，指导操作者排除被监测舱体的质量隐患。
本发明的有益效果：
(1)本发明改变了当前依赖人力进行舱内检查容易出现纰漏的现状，最大限度地排除质量隐患，防止产品使用中出现安全事故，避免造成巨额经济损失，从而提高飞机装配质量，具有较好的实用性；
(2)本发明建立了飞机装配过程图像样本数据库，掌握先进的图像识别和机器学习技术，可推广应用于飞机制造各过程的物体识别和定位，促进飞机生产的自动化与智能化，具有较好的实用性；
(3)本发明通过步骤S011-步骤S012对图像的亮度进行均匀化处理，有效降低了样本图像对于亮度的干扰，具有较好的实用性。
附图说明
图1为本发明的流程图；
图2为六自由度工业机器人上的相机调姿定位子系统的结构示意图。
具体实施方式
实施例1：
一种飞机装配的智能监测方法，包括以下步骤：
步骤S01：采集需要检测的飞机零部件的样本图像；
步骤S02：对采集的样本图像物体的特征进行提取、标记，并得到飞机装配图像数据；
步骤S03：建立图像识别算法模型，并采用飞机装配图像数据对图像识别算法模型进行训练得到训练好的识别检测模型；
步骤S04：采集零部件实物图像，使用训练好的识别检测模型对物体识别和状态监测；
步骤S05：将检测结果在前端页面进行展示。
实施例2：
本实施例是在实施例1的基础上进行优化，所述步骤S01包括以下步骤：
S011：由于相机距离被摄目标较近，使光源分散的效果较弱，且待检物是表面光滑的金属，对光线具有较强的反射能力，导致被摄物的光线亮度不均匀，因此对图像的亮度进行均匀化处理。
如图2所示，在飞机待检舱体上设置测量基准，通过固定在六自由度工业机器人上的相机调姿定位子系统将相机调整到指定位置姿态的拍摄点，在该拍摄点下使用线控光源与工业相机结合进行。将光源亮度设置为[0,50,100,150,200]5个亮度等级，并在各亮度下采集图像。在采集的图像中，选择清晰度最高的图像所在亮度等级位置，选择最近的三个亮度等级，以对焦微调的二项式求解极值方式计算获取最佳亮度值。然后，在最佳亮度值所在的一个相对较小的领域内，重定义一组可选光源亮度等级。在具体图像采集时，使用定义的可选光源亮度，对待检物进行一系列的图像采集。
然后对采集到的图像，进行局部清晰度计算，局部清晰度按下式计算：
其中：
R(x,y)为清晰度矩阵；
Gray(x,y)为像素点位置的灰度值，灰度是一个二维矩阵，其中Gradx、Grady分别为x、y维度梯度；
则对每张图像都可以获得一个清晰度矩阵R(x,y)，并获取图像上各像素点位置的灰度值Gray(x,y)与亮度值Bright(x,y)；所述灰度值为图像转为灰度图后像素的取值，所述亮度值表示该像素位置所在的一个邻域上的平均灰度，所述平均灰度使用矩形平滑滤波核对图像进行滤波后获取。均匀化亮度的图像Even_Img按下式从获取的图像集Imgs进行获取：
其中：
argmax是指取得最大参数值的索引，argmax imgs是指这个括号取值最大的那张图片的索引，外面再加imgs就得到了那张图片。
以imgs作为上标，标识处这个值的取值范围，在imgs这个之前采集的图片集合下进行。
Imgs是指多亮度条件下对同一目标拍摄获取的图像集合。
为图像集合的清晰度矩阵；
为图像集合的像素点位置的灰度值；
Bright(x,y)为亮度值；
参考多幅图像所产生的清晰度矩阵与灰度矩阵，选择各图像中质量较好的像素，再将这些像素进行拼合后得到样本图像；
S012：采集完成后将样本图像进行上传至服务端进行数据化存储。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，所述步骤S02包括以下步骤：
S021：在halcon软件中对采集的样本图像的影像内容、特征、结构、关系、纹理及灰度的特征进行预处理；
S022：使用标注软件对样本图像进行标注并得到图片的标注信息，标识出样本图像中被识别出的所有可检测目标，形成飞机装配图像数据。
所述步骤S021中采用halcon软件对样本图像进行预处理，以降低干扰，预处理功能为软件自带功能，为现有技术，故不再赘述。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例是在实施例1-3任一个的基础上进行优化，所述步骤S03包括以下步骤：
S031：基于深度学习的图像识别技术和基于模板的图像匹配技术是本项目在实施过程中采用的主要算法结构。利用深度神经网络技术中的卷积神经网络在图像识别领域的研究成果，搭建基于迁移学习模型的图像识别算法，通过项目所采集到的飞机装配图像数据对模型进行在训练，从而完成模型从预训练数据集到本数据集的迁移识别效果。同时利用尺度不变特征等多图像模板匹配方法，基于所采集的飞机装配图像的内容、特征、结构、关系、纹理及灰度等的对应关系，进行图像相似性和一致性的分析，寻找相似图像目标并进行多图像融合，并跟已有的装配图像模板进行比对识别，从而建立图像识别模型。并在实际工程中自动化择优选取识别效果最好的算法模型进行图像识别验证，提高图像识别的准确性和可靠性，是本项目在工程实践中的创新，从而突破单一传统图像识别算法在应用中的局限性，使工程在实施方面具有双保险效果。
本实施例的其他部分与上述实施例1-3任一个相同，故不再赘述。
实施例5：
本实施例是在实施例1-4任一个的基础上进行优化，所述步骤S04包括以下步骤：
S041：完成六自由度工业机器人垂直姿态的调整后，监测系统移动至目标工位后，相机难以保持垂直位置，对后续多角度采集图像及识别过程不利。为此需要在拖曳机器人后对机器人进行自动调姿，以使机器人在对准采集目标位置不变的前提下调整为相机垂直下的姿态。具体实施方式如下：
工业机器人位姿表示：
UR机器人系统使用笛卡尔坐标系与旋转矢量联合表示其端头TCP位姿，其形式为一六维矢量。
pos＝[x,y,z,Rx,Ry,Rz]
其中[x,y,z]为机器人端头TCP在原点固定于机器人基座的坐标系C1下的空间定位。
[Rx,Ry,Rz]是端头处坐标系C2与原点固定于TCP端头，平行于C1的坐标系C1′之间变换的旋转矢量形式表达。一般的，一个矢量在坐标系中的旋转变换可以用旋转矩阵Rm表示。这里使用了齐次表达方法。
旋转矢量Rv可以转化为旋转矩阵，在OpenCV中提供了Rodrigues函数实现了两者的变换，具体数学公式：
Rm＝Rodrigues(Rv)
在系统前端配置“产品”、“装配状态”、“工位”等信息后，完成六自由度工业机器人垂直姿态的调整，使用所采集到的待检部件装配图像和装配图像样本进行比对计算，从而调整工业机器人达到最佳采集点，采集当前产品舱体图像信息并上传至平台服务端；
S042：对所采集的图像进行超像素块分割得到超像素块集合数据，基于此数据计算出相关的图像匹配变换矩阵集合，并将变换矩阵用于图像缝合计算得到不同的偏差能量，最终获得最优缝合线的拼接图像。部署在服务端的识别检测模型自动对图像展开识别检测，进行检测图像判别。
进一步地，所述步骤S05包括以下步骤：
S051：对所有检测结果进行查询，以查询以下内容：对待测对象采集的所有原始单张图像，以及拼接的全景图像；图像展示同时调出参考图像进行比对，并进行对应结果说明及提示信息的精准叠加显示；
S052：向操作者反馈检测结果，指导操作者排除被监测舱体的质量隐患。
自此，便可得到飞机舱位内部装配状态，对装配过程中漏装、错装、多余物等质量问题进行预警。
改变当前依赖人力进行舱内检查容易出现纰漏的现状，最大限度地排除质量隐患，防止产品使用中出现安全事故，避免造成巨额经济损失，从而提高飞机装配质量。
同时建立飞机装配过程图像样本数据库，掌握先进的图像识别和机器学习技术，可推广应用于飞机制造各过程的物体识别和定位，促进飞机生产的自动化与智能化。
本实施例的其他部分与上述实施例1-4任一个相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (6)
1.一种飞机装配的智能监测方法，其特征在于，包括以下步骤：
步骤S01：采集需要检测的飞机零部件的样本图像；
步骤S02：对采集的样本图像物体的特征进行提取、标记，并得到飞机装配图像数据；
步骤S03：建立图像识别算法模型，并采用飞机装配图像数据对图像识别算法模型进行训练得到训练好的识别检测模型；
步骤S04：采集零部件实物图像，使用训练好的识别检测模型对物体识别和状态监测；
步骤S05：将检测结果在前端页面进行展示；
所述步骤S01中需要对采集的图像的亮度进行均匀化处理，包括以下步骤：
S011：在飞机待检舱体上设置测量基准，通过固定在六自由度工业机器人上的相机调姿定位子系统将相机调整到指定位置姿态的拍摄点，在拍摄点下使用线控光源与工业相机结合进行采集样本图像；将光源亮度设置为[0,50,100,150,200]5个亮度等级，并在各亮度下通过工业相机采集得到各拍摄点的采集图像；
S012：在一个拍摄点的采集图像中，选择清晰度最高的图像所在亮度等级位置，选择前后连续的三个亮度等级，以对焦微调的二项式求解极值的方式计算获取最佳亮度值；然后，在最佳亮度值所在的一个相对较小的领域内，重定义一组可选光源亮度等级，在具体图像采集时，使用定义的可选光源亮度，对待检物进行一系列的图像采集；然后对采集到的图像，进行局部清晰度计算，局部清晰度按下式计算：
其中：
R(x,y)为清晰度矩阵；
Gray(x,y)为像素点位置的灰度值，灰度是一个二维矩阵，其中、分别为x、y维度梯度；
则对每张图像，都可以获得一个清晰度矩阵R(x,y)，并获取图像上各像素点位置的灰度值Gray(x,y)与亮度值Bright(x,y)；均匀化亮度的图像Even_Img按下式从获取的图像集Imgs进行获取：
其中：
argmax是指取得最大参数值的索引，argmax imgs是指这个括号取值最大的那张图片的索引，外面再加imgs就得到了那张图片；
以imgs作为上标，标识处这个值的取值范围，在imgs这个之前采集的图片集合下进行；
Imgs 是指多亮度条件下对同一目标拍摄获取的图像集合；
为图像集合的清晰度矩阵；
为图像集合的像素点位置的灰度值；
Bright(x,y)为亮度值；
参考多幅图像所产生的清晰度矩阵与灰度矩阵，选择出各拍摄点采集图像中质量较好的图像，并将图像进行拼合后得到样本图像；
S013：采集完成后将样本图像进行上传至服务端进行数据化存储。
2.根据权利要求1所述的一种飞机装配的智能监测方法，其特征在于，所述步骤S012中所述灰度值为图像转为灰度图后像素的取值，所述亮度值表示该像素位置所在的一个邻域上的平均灰度，所述平均灰度使用矩形平滑滤波核对图像进行滤波后获取。
3.根据权利要求1所述的一种飞机装配的智能监测方法，其特征在于，所述步骤S02包括以下步骤：
S021：对采集的样本图像的影像内容、特征、结构、关系、纹理及灰度的特征进行预处理；
S022：使用标注软件对样本图像进行标注并得到图片的标注信息，标识出样本图像中被识别出的所有可检测目标，形成飞机装配图像数据。
4.根据权利要求1所述的一种飞机装配的智能监测方法，其特征在于，所述步骤S03包括以下步骤：
S031：搭建基于迁移学习模型的图像识别算法模型，通过项目所采集到的飞机装配图像数据对模型进行在训练，从而完成模型从预训练数据集到本数据集的迁移识别效果；
S032：利用尺度不变特征的多图像模板匹配方法，基于所采集的飞机装配图像的内容、特征、结构、关系、纹理及灰度的对应关系，进行图像相似性和一致性的分析，寻找相似图像目标并进行多图像融合，并跟已有的装配图像模板进行比对识别，从而建立图像识别算法模型。
5.根据权利要求1所述的一种飞机装配的智能监测方法，其特征在于，所述步骤S04包括以下步骤：
S041：完成六自由度工业机器人垂直姿态的调整后，使用所采集到的待检部件装配图像和装配图像样本进行比对计算，从而调整工业机器人达到最佳采集点，采集当前产品舱体的实物图像信息并上传至平台服务端；
S042：对所采集的实物图像进行超像素块分割得到超像素块集合数据，基于此数据计算出相关的图像匹配变换矩阵集合，并将变换矩阵用于图像缝合计算得到不同的偏差能量，最终获得最优缝合线的拼接图像；采用部署在服务端的训练好的识别检测模型自动对拼接图像展开识别检测，进行检测图像判别。
6.根据权利要求1所述的一种飞机装配的智能监测方法，其特征在于，所述步骤S05包括以下步骤：
S051：对所有检测结果进行查询，以查询以下内容：对待测对象采集的所有原始单张图像，以及拼接的全景图像；图像展示同时调出参考图像进行比对，并进行对应结果说明及提示信息的精准叠加显示；
S052：向操作者反馈检测结果，指导操作者排除被监测舱体的质量隐患。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110989035.2A CN113706501B (zh) | 2021-08-26 | 2021-08-26 | 一种飞机装配的智能监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110989035.2A CN113706501B (zh) | 2021-08-26 | 2021-08-26 | 一种飞机装配的智能监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706501A CN113706501A (zh) | 2021-11-26 |
| CN113706501B true CN113706501B (zh) | 2024-03-19 |
Family
ID=78655292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110989035.2A Active CN113706501B (zh) | 2021-08-26 | 2021-08-26 | 一种飞机装配的智能监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706501B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115310870B (zh) * | 2022-09-29 | 2023-01-31 | 成都飞机工业（集团）有限责任公司 | 航空离散制造质量监测方法、装置、设备、介质及产品 |
| CN117649564B (zh) * | 2024-01-29 | 2024-05-14 | 成都飞机工业（集团）有限责任公司 | 一种飞机舱位装配偏差识别装置及量化评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102928435A (zh) * | 2012-10-15 | 2013-02-13 | 南京航空航天大学 | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN110207951A (zh) * | 2019-05-23 | 2019-09-06 | 北京航空航天大学 | 一种基于视觉的飞机线缆支架装配状态检测方法 |
| CN111242902A (zh) * | 2020-01-02 | 2020-06-05 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络的零件识别与检测方法、系统及设备 |
| CN111340754A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
| CN112215795A (zh) * | 2020-09-02 | 2021-01-12 | 苏州超集信息科技有限公司 | 一种基于深度学习的服务器部件智能检测方法 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087173B2 (en) * | 2018-12-27 | 2021-08-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Using image pre-processing to generate a machine learning model |
-
2021
- 2021-08-26 CN CN202110989035.2A patent/CN113706501B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102928435A (zh) * | 2012-10-15 | 2013-02-13 | 南京航空航天大学 | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN110207951A (zh) * | 2019-05-23 | 2019-09-06 | 北京航空航天大学 | 一种基于视觉的飞机线缆支架装配状态检测方法 |
| CN111242902A (zh) * | 2020-01-02 | 2020-06-05 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络的零件识别与检测方法、系统及设备 |
| CN111340754A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
| CN112215795A (zh) * | 2020-09-02 | 2021-01-12 | 苏州超集信息科技有限公司 | 一种基于深度学习的服务器部件智能检测方法 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的目标检测技术的研究综述;罗元;半导体光电;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706501A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706501B (zh) | 一种飞机装配的智能监测方法 | |
| CN110314854B (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN113822840A (zh) | 车辆车底的检查系统及方法 | |
| KR102043898B1 (ko) | 물류 센터의 피킹 자동화 시스템 및 이를 이용한 피킹 자동화 방법 | |
| CN108090896B (zh) | 木板平整度检测及其机器学习方法、装置及电子设备 | |
| CN113146172A (zh) | 一种基于多视觉的检测与装配系统及方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN110910350A (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN111626995B (zh) | 一种针对工件的智能嵌件检测方法和装置 | |
| CN105023018A (zh) | 一种喷码检测方法及系统 | |
| CN114913346A (zh) | 一种基于产品颜色及形状识别的智能分拣系统及方法 | |
| CN117817111A (zh) | 激光焊接智能识别匹配工艺参数的方法及系统 | |
| Huang et al. | Robotic arm grasping and placing using edge visual detection system | |
| CN117381793A (zh) | 一种基于深度学习的物料智能检测视觉系统 | |
| CN108074264A (zh) | 一种分级多目视觉定位方法、系统及装置 | |
| CN112109374A (zh) | 一种基于计算机视觉系统定位及控制折弯模具装卸的方法 | |
| CN110334818B (zh) | 一种管路自动识别的方法及系统 | |
| CN112989881A (zh) | 一种无监督可迁移的3d视觉物体抓取方法 | |
| CN105095897B (zh) | 一种基于梯度图像和相似度加权的数字识别方法 | |
| CN111539951A (zh) | 一种陶瓷砂轮头轮廓尺寸视觉检测方法 | |
| DE102012203134A1 (de) | Verfahren und Vorrichtung zum Aufnehmen eines Konturteils | |
| CN111275756A (zh) | 线轴定位方法及装置 | |
| CN113706610B (zh) | 基于rgb-d相机的栈板位姿计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |