CN113450304A - 一种铺层异常检测方法、装置、云服务器和介质 - Google Patents

一种铺层异常检测方法、装置、云服务器和介质 Download PDF

Info

Publication number
CN113450304A
CN113450304A CN202010223960.XA CN202010223960A CN113450304A CN 113450304 A CN113450304 A CN 113450304A CN 202010223960 A CN202010223960 A CN 202010223960A CN 113450304 A CN113450304 A CN 113450304A
Authority
CN
China
Prior art keywords
image
seam
range
splicing
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010223960.XA
Other languages
English (en)
Other versions
CN113450304B (zh
Inventor
栾英伟
刘奎
徐鹏
陈智超
王琳琳
汪敏
王世杰
高龙飞
徐东坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Shanghai Aircraft Manufacturing Co Ltd
Original Assignee
Commercial Aircraft Corp of China Ltd
Shanghai Aircraft Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd, Shanghai Aircraft Manufacturing Co Ltd filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN202010223960.XA priority Critical patent/CN113450304B/zh
Publication of CN113450304A publication Critical patent/CN113450304A/zh
Application granted granted Critical
Publication of CN113450304B publication Critical patent/CN113450304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28—Shaping operations therefor
    • B29C70/30—Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/38—Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
    • B29C70/386—Automated tape laying [ATL]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Composite Materials (AREA)
  • Geometry (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例公开了一种铺层异常检测方法、装置、云服务器和介质。所述方法包括：获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。本发明实施例通过获取铺带机搭载的拍摄设备采集的，当前铺层与已完成铺层之间的拼缝区域方向的图像，并对该图像进行识别确定拼缝范围，若拼缝范围拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常，实现了通过图像识别技术自动对拼缝宽度进行检测，提高了检测效率以及检测精度。

Description

一种铺层异常检测方法、装置、云服务器和介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种铺层异常检测方法、装置、云服务器和介质。
背景技术
随着提高生产效率和降低制造成本需求的不断提升，自动化铺贴成为目前复材成型的重要工艺过程。自动铺带机被广泛地应用在目前航空复材的零件制造中，其铺贴精度是铺贴过程中最重要的工艺参数，直接影响到最终的零件质量。若铺层之间的拼缝宽度过大，那么该拼缝就可能成为诱发高孔隙率的危险区域。
现有对拼缝宽度的检测，通常是由现场人员目视检查，检查时间通常是实际铺贴时间的数倍，严重影响了铺贴效率，此外，目视检查难以保证严格的高精度。
发明内容
本发明实施例提供一种铺层异常检测方法、装置、云服务器和介质，以解决现有通过人工方式对铺层进行检测，导致检测效率及检测精度较低的问题。
第一方面，本发明实施例提供了一种铺层异常检测方法，所述方法包括：
获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
第二方面，本发明实施例提供了一种铺层异常检测装置，所述装置包括：
第一图像获取模块，用于获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
拼缝范围确定模块，用于对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
拼缝异常检测模块，用于若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
第三方面，本发明实施例提供了一种云服务器，所述云服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的铺层异常检测方法。
第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的铺层异常检测方法。
本发明实施例通过获取铺带机搭载的拍摄设备采集的，当前铺层与已完成铺层之间的拼缝区域方向的图像，并对该图像进行识别确定拼缝范围，若拼缝范围拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常，实现了通过图像识别技术自动对拼缝宽度进行检测，提高了检测效率以及检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一提供的一种铺层异常检测方法的流程图；
图2A为本发明实施例二提供的一种铺层异常检测方法的流程图；
图2B为本发明实施例二提供的一种拼缝范围的示意图；
图3A为本发明实施例三提供的一种铺层异常检测方法的流程图；
图3B为本发明实施例三提供的一种异物范围的示意图；
图4A为本发明实施例四提供的一种铺带机的侧面结构示意图；
图4B为本发明实施例四提供的一种夹具的结构示意图；
图4C为本发明实施例四提供的一种夹具的结构示意图；
图4D为本发明实施例四提供的一种夹具的结构示意图；
图4E为本发明实施例四提供的一种夹具的结构示意图；
图4F为本发明实施例四提供的一种铺带机的正面结构示意图；
图5为本发明实施例五提供的一种铺层异常检测装置的结构示意图；
图6为本发明实施例四提供的一种云服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的结构而非全部结构。
当铺带机在目标物体表层进行铺贴时，各铺层之间的拼缝宽度需收到严格控制，如果拼缝宽度过大，该拼缝位置可能成为诱发高孔隙率的危险区域，虽然复合材料树脂基体在成型压实和固化过程中会软化流动和填充该位置，但该位置没有纤维增强相存在，会成为强度薄弱区而无法满足制造质量要求；同时，每一铺层的表面上不能有任何形式的多余物存在，如果有多余物存在，该位置可能成为诱发缺陷和零件失效的危险区域，造成严重的质量问题。
目前铺层异常检测多是由现场人员目视检查，及时发现不合格的产品，检查时间通常是实际铺贴时间的数倍，严重影响了铺贴效率。此外，目视检测难以保证严格的高精度，对于很大的零件，拼缝宽度很难准确的识别，以及当多余物非常小时，很难发现多余物的存在。国内目前尚无专门针对铺带机拼缝检测和多余物检测的系统，国外的设备供应商也在研发这一系统的过程中。
实施例一
图1是本发明实施例一提供的一种铺层异常检测方法的流程图。本实施例适用于铺带机运行时，对当前铺层与已完成铺层之间拼缝宽度进行检测的情况，该方法可以由本发明实施例提供的铺层异常检测装置来执行，所述铺层异常检测装置可以由软件和/或硬件的方式来实现。如图1所示，该方法可以包括：
步骤101、获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向。
其中，铺带机是当今世界广泛发展和应用的自动化设备，集预浸带剪裁、定位、铺叠和压实等功能于一体，且具有工艺参数控制和质量检测功能的集成化数控成型设备。在本实施例中，铺带机搭载有至少一个拍摄设备，以采集铺带机当前铺层与已完成铺层之间的拼缝区域方向的第一图像。拍摄设备包括但不限于摄像机、照相机或者其它具有图像采集功能的设备，优选的拍摄设备为全局式快门的工业相机。
具体的，当铺带机的转轴开始旋转，即铺带机开始进行铺贴时，铺带机上搭载的第一方向拍摄设备启动工作，并根据预设的曝光时间采集当前铺层与已完成铺层之间的拼缝区域方向的图像，作为第一图像。进而铺带机利用宽带线缆或者是无线网络，向云服务器传输采集的第一图像传输，云服务器相应的获取所述第一图像，并将该第一图像进行缓存。
在本实施例中，可选的，所述铺带机用于飞行设备复合材料零件的铺贴。其中，飞行设备包括飞机、飞艇或载人航天器等；复合材料包括但不限于碳纤维树脂复合材料、玻璃纤维树脂复合材料等等。
通过获取铺带机上搭载的第一方向拍摄设备所采集的第一图像，实现了对拼缝区域图像的采集，且为后续对所述第一图像进行图像识别，以确定第一图像中的拼缝范围，奠定了基础。
步骤102、对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围。
具体的，云服务器获取到第一图像后，根据预设的边缘检测算法，例如基于像素灰度值的边缘检测算法、基于像素梯度强度的边缘检测算法和基于像素色彩度的边缘检测算法等，对第一图像进行图像识别，以确定第一图像中的拼缝范围的拼缝边界，最终根据确定的拼缝边界得到第一图像中的拼缝范围。
可选的，在云服务器获取到第一图像后，首先对第一图像进行预处理，例如数模转换和图像降噪等。接下来根据预设的宽度值对第一图像进行裁切，保留第一图像正中间的特征图像，例如通常情况下拼缝宽度为0～5mm，第一图像尺寸为10cm×10cm，预设的宽度值为2cm，则将第一图像进行裁切，得到第一图像正中间的2cm×10cm的特征图像，以减少后续图像识别的计算量，由于第一方向拍摄设备是位于拼缝区域方向的正上方，因此可以保证裁切得到的特征图像包含有拼缝范围。最终云服务器根据预设的边缘检测算法对特征图像进行图像识别，以确定特征图像中的拼缝范围的拼缝边界，最终根据确定的拼缝边界得到特征图像中的拼缝范围，即第一图像中的拼缝范围。
可选的，据预设的边缘检测算法对第一图像/特征图像进行图像识别时，通过细化局部和局部提高曝光的方式，进一步提高识别拼缝边界的精准度，相应的也提高了识别拼缝范围的精准度。
通过对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围，实现了根据图像处理技术，自动识别拼缝范围的效果，为后续根据拼缝范围的拼缝宽度与第一设定阈值的大小关系，确定铺层是否拼缝异常，奠定了基础。
步骤103、若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
其中，第一设定阈值可根据不同业务领域对拼缝宽度的要求相应的设置，例如在航空领域，第一设定阈值可选的为2毫米。
具体的，云服务器根据拼缝范围确定相应的拼缝宽度，并将拼缝宽度与第一设定阈值进行比较，若拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常，并生成报警信息并反馈至铺带机，铺带机相应的根据报警信息控制报警灯蜂鸣或闪烁，并在搭载的显示器上显示“NG”。若拼缝宽度没有超过第一设定阈值，则铺带机搭载的显示器上显示“OK”。
可选的，所述拼缝宽度为所述两条拼缝边界之间的距离。
具体的，在拼缝范围的两条拼缝边界上取对称的若干组像素点，并计算这些对称像素点之间的距离，最终将得到的距离的平均距离作为两条拼缝边界之间的距离。其中，若有对称像素点之间的距离超过平均距离一定的阈值，则说明该组对称像素点收到图像噪声影响，因此剔除掉该组对称像素点之间的距离，并重新计算平均距离。
可选的，步骤103还包括：将所述拼缝宽度进行存储，供后续用户对存储的拼缝宽度进行追溯，以及利用大数据算法分析存储的拼缝宽度以生成质量分析报告。用户可在铺带机的软件交互界面中，实时的调取存储的拼缝宽度以及质量分析报告。
通过若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常，实现了通过图像识别技术自动对拼缝宽度进行检测。
本发明实施例提供的技术方案，通过获取铺带机搭载的拍摄设备采集的，当前铺层与已完成铺层之间的拼缝区域方向的图像，并对该图像进行识别确定拼缝范围，若拼缝范围拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常，从而大大节省铺带过程中的检查时间，提升铺贴质量检查效率，降低人工检查带来的误检率，提高铺贴缺陷出现时的应对和处理能力，提升设备使用率和使用水平，从而保证铺贴的质量。实验结果表明，本实施例中的铺层异常检测方法可实现在铺带机速度达到50m/min时仍可满足要求的检测精度。
实施例二
图2A为本发明实施例二提供的一种铺层异常检测方法的流程图。本实施例为上述实施例提供了一种可选的实现方式，如图2A所示，该方法可以包括：
步骤201、获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向。
步骤202、比较所述第一图像中相邻像素点之间的灰度值，并将所述第一图像中与相邻像素点灰度值不同的像素点，作为边界像素点。
具体的，通过调用包括imread等函数，来获取第一图像中各像素点的RBG分量，并根据浮点算法、整数方法、移位方法、平均值法和仅取绿色法等，得到第一图像中各像素点的灰度值。进而将第一图像中相邻像素点的灰度值进行比较，并将第一图像中与任一相邻像素点灰度值不同的像素点，作为边界像素点。
步骤203、根据所述边界像素点确定所述拼缝范围的两条拼缝边界，并将所述两条拼缝边界以内的图像区域，作为所述拼缝范围。
具体的，将确定的边界像素点进行高曝光处理，进而各边界像素点连接成两条直线即拼缝范围的两条拼缝边界，最终将两条拼缝边界以内的图像区域，作为所述拼缝范围。图2B为一种拼缝范围的示意图，其中，20和21分别表示拼缝边界，22表示拼缝边界20和拼缝边界21构成的拼缝范围。
步骤204、若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
本发明实施例提供的技术方案，通过获取铺带机搭载的拍摄设备采集的，当前铺层与已完成铺层之间的拼缝区域方向的第一图像，并比较第一图像中相邻像素点之间的灰度值，将与相邻像素点灰度值不同的像素点，作为边界像素点，进而根据边界像素点确定拼缝范围的两条拼缝边界，并将两条拼缝边界以内的图像区域，作为所述拼缝范围，实现了根据图像像素点的灰度值确定第一图像中拼缝范围的技术效果。
实施例三
图3A为本发明实施例三提供的一种铺层异常检测方法的流程图。本实施例为上述实施例提供了一种可选的实现方式，如图3A所示，该方法可以包括：
步骤301、获取铺带机上搭载的第二方向拍摄设备所采集的第二图像；其中，所述第二方向包括当前铺层已铺贴方向。
其中，在本实施例中，铺带机搭载有至少一个拍摄设备，以采集铺带机的当前铺层已铺贴方向的第二图像。拍摄设备包括但不限于摄像机、照相机或者其它具有图像采集功能的设备，优选的拍摄设备为全局式快门的工业相机。
具体的，当铺带机的转轴开始旋转，即铺带机开始进行铺贴时，铺带机上搭载的第二方向拍摄设备启动工作，并根据预设的曝光时间采集铺带机的当前铺层已铺贴方向的图像，作为第二图像。进而铺带机利用宽带线缆或者是无线网络，向云服务器传输采集的第二图像传输，云服务器相应的获取所述第二图像，并将该第二图像进行缓存。
步骤302、对所述第二图像进行图像识别，确定所述第二图像中是否存在异物范围。
具体的，云服务器获取到第二图像后，根据预设的边缘检测算法，例如基于像素灰度值的边缘检测算法、基于像素梯度强度的边缘检测算法和基于像素色彩度的边缘检测算法等，对第二图像进行图像识别，以确定第二图像中的异物范围的异物边界，最终根据确定的异物边界得到第二图像中的异物范围。
可选的，据预设的边缘检测算法对第二图像进行图像识别时，通过细化局部和局部提高曝光的方式，进一步提高识别异物边界的精准度，相应的也提高了识别异物范围的精准度。
可选的，步骤302包括：
1)比较所述第二图像中相邻像素点之间的灰度值，并将所述第二图像中与相邻像素点灰度值不同的像素点，作为边界像素点。
具体的，通过调用包括imread等函数，来获取第二图像中各像素点的RBG分量，并根据浮点算法、整数方法、移位方法、平均值法和仅取绿色法等，得到第二图像中各像素点的灰度值。进而将第二图像中相邻像素点的灰度值进行比较，并将第二图像中与任一相邻像素点灰度值不同的像素点，作为边界像素点。
2)根据所述边界像素点确定异物边界，并将所述异物边界以内的图像区域，作为所述异物范围。
具体的，将确定的边界像素点进行高曝光处理，进而各边界像素点首尾连接成线条即异物范围的异物边界，最终将异物边界以内的图像区域，作为所述异物范围。图3B为一种异物范围的示意图，其中，30表示异物边界，31表示异物边界30构成的异物范围。
步骤303、若存在，且所述异物范围的面积超过第二设定阈值，则确定铺层存在异物异常。
其中，第二设定阈值可根据不同业务领域对异物面积的要求相应的设置，例如在航空领域，第二设定阈值可选的为1平方毫米。
具体的，云服务器根据异物范围中的像素点数量确定异物范围的面积，并将异物范围的面积与第二设定阈值进行比较，若异物范围的面积超过第二设定阈值，则确定铺层存在异物异常，并生成报警信息并反馈至铺带机，铺带机相应的根据报警信息控制报警灯蜂鸣或闪烁，并在搭载的显示器上显示“NG”。若异物范围的面积没有超过第二设定阈值，则铺带机搭载的显示器上显示“OK”。
可选的，步骤303还包括：将所述异物范围的面积进行存储，供后续用户对存储的异物范围的面积进行追溯，以及利用大数据算法分析存储的异物范围的面积以生成质量分析报告。用户可在铺带机的软件交互界面中，实时的调取存储的异物范围的面积以及质量分析报告。
本发明实施例提供的技术方案，通过获取铺带机搭载的拍摄设备采集的，当前铺层已铺贴方向的图像，并对该图像进行识别确定异物范围，若异物范围的面积超过第二设定阈值，则确定铺层存在异物异常，从而大大节省铺带过程中的检查时间，提升铺贴质量检查效率，降低人工检查带来的误检率，提高铺贴缺陷出现时的应对和处理能力，提升设备使用率和使用水平，从而保证铺贴的质量。实验结果表明，本实施例中的铺层异常检测方法可实现在铺带机速度达到50m/min时仍可满足要求的检测精度。
实施例四
图4A为本发明实施例四提供的一种铺带机的侧面结构示意图，包括铺带机40、第一方向拍摄设备41、第一方向拍摄设备42、第二方向拍摄设备43、照明设备44、照明设备45、照明设备46。
其中，第一方向拍摄设备41和第一方向拍摄设备42用于采集当前铺层与已完成铺层之间的拼缝区域方向的图像，以进行拼缝异常检测；第二方向拍摄设备43用于采集当前铺层已铺贴方向的图像，以进行异物异常检测。第一方向拍摄设备41、第一方向拍摄设备42和第二方向拍摄设备43均采用全局式快门工业相机，搭载16mm的镜头，曝光时间设置为15ms。第一方向拍摄设备41和第一方向拍摄设备42的分辨率最低为500万像素，第二方向拍摄设备43的分辨率最低为200万像素。第一方向拍摄设备41和第一方向拍摄设备42的视野面积控制为100cm2，该视野内，即使铺贴表面随工装曲率发生变化，即拍照距离发生微调，也至少可以获得15mm2的有效采集面积，经测试，该面积可以满足拼缝异常检测的需求；第二方向拍摄设备43的视野面积控制为250cm2，该视野内，即使铺贴表面随工装曲率发生变化，即拍照距离发生微调，也至少可以获得15mm2的有效采集面积，经测试，该面积可以满足异物异常检测的需求。
铺带机40上搭载有照明设备44、照明设备45、照明设备46，照明设备44和照明设备45用于增强第一方向拍摄设备41和第一方向拍摄设备42采集的第一图像的亮度，所述照明设备46用于增强第二方向拍摄设备43采集的第二图像的亮度。由于零件表层存在直线型纹理，在普通的光线条件下，这些纹理产生的反光会对拼缝异常检测和异物异常检测的结果造成干扰。因此需要搭载照明设备，减少测量的误差。照明设备需以小于与平面45度的角度射向零件表层，照明设备44、照明设备45、照明设备46均采用多排光点密排且聚焦能力强的LED条形光源，具体角度和距离可以根据现场情况进行适当调整。
第一方向拍摄设备41、第一方向拍摄设备42、第二方向拍摄设备43、照明设备44、照明设备45和照明设备46通过夹具固定在铺带机40上。夹具是根据铝板或不锈钢制成的，通过打孔和拧紧螺丝的方式安装在铺带机40的承力梁上。图4B为一种夹具的结构示意图，用于安装第一方向拍摄设备41和第一方向拍摄设备42；图4C为一种夹具的结构示意图，用于安装第二方向拍摄设备43；图4D为一种夹具的结构示意图，用于安装照明设备44和照明设备45；图4E为一种夹具的结构示意图，用于安装照明设备46。
图4F为本发明实施例四提供的一种铺带机的正面结构示意图，包括铺带机40、第一方向拍摄设备41、第一方向拍摄设备42、照明设备44、照明设备45、转轴47、承力梁48、激光编码器49。
其中，转轴47在铺带机40开启后进行旋转，以实现铺贴功能。
激光编码器49设置在铺带机40的内部，并与转轴47、第一方向拍摄设备41和第一方向拍摄设备42导线连接，用于检测转轴47是否正在旋转，若是则向第一方向拍摄设备41和第一方向拍摄设备42发送控制信号，以控制第一方向拍摄设备41和第一方向拍摄设备42进行图像采集。
承力梁48固定在铺带机40上，用于搭载安装有第一方向拍摄设备41、第一方向拍摄设备42、第二方向拍摄设备43、照明设备44、照明设备45和照明设备46的夹具。可选的，第一方向拍摄设备41和第一方向拍摄设备42距离铺层175mm；照明设备44和照明设备45距离铺层90mm。
实施例五
图5为本发明实施例五提供的一种铺层异常检测装置的结构示意图，可执行本发明任一实施例所提供的一种铺层异常检测方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置可以包括：
第一图像获取模块51，用于获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
拼缝范围确定模块52，用于对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
拼缝异常检测模块53，用于若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
在上述实施例的基础上，所述装置还包括异物异常检测模块，具体用于：
获取铺带机上搭载的第二方向拍摄设备所采集的第二图像；其中，所述第二方向包括当前铺层已铺贴方向；
对所述第二图像进行图像识别，确定所述第二图像中是否存在异物范围；
若存在，且所述异物范围的面积超过第二设定阈值，则确定铺层存在异物异常。
在上述实施例的基础上，所述拼缝范围确定模块52，具体用于：
比较所述第一图像中相邻像素点之间的灰度值，并将所述第一图像中与相邻像素点灰度值不同的像素点，作为边界像素点；
根据所述边界像素点确定所述拼缝范围的两条拼缝边界，并将所述两条拼缝边界以内的图像区域，作为所述拼缝范围。
在上述实施例的基础上，所述拼缝宽度为所述两条拼缝边界之间的距离。
在上述实施例的基础上，所述异物异常检测模块，具体还用于：
比较所述第二图像中相邻像素点之间的灰度值，并将所述第二图像中与相邻像素点灰度值不同的像素点，作为边界像素点；
根据所述边界像素点确定异物边界，并将所述异物边界以内的图像区域，作为所述异物范围。
在上述实施例的基础上，所述铺带机用于飞行设备零件表层的复合材料铺贴。
在上述实施例的基础上，所述铺带机上搭载有照明设备，用于增强所述第一图像和所述第二图像的亮度。
本发明实施例所提供的一种铺层异常检测装置，可执行本发明任一实施例所提供的一种铺层异常检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任一实施例提供的一种铺层异常检测方法。
实施例六
图6为本发明实施例六提供的一种云服务器的结构示意图。图6示出了适于用来实现本发明实施方式的示例性云服务器600的框图。图6显示的云服务器600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，云服务器600以通用计算云服务器的形式表现。云服务器600的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。
总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
云服务器600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被云服务器600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。云服务器600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。
云服务器600也可以与一个或多个外部云服务器609(例如键盘、指向云服务器、显示器610等)通信，还可与一个或者多个使得用户能与该云服务器600交互的云服务器通信，和/或与使得该云服务器600能与一个或多个其它计算云服务器进行通信的任何云服务器(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，云服务器600还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器612通过总线603与云服务器600的其它模块通信。应当明白，尽管图中未示出，可以结合云服务器600使用其它硬件和/或软件模块，包括但不限于：微代码、云服务器驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的铺层异常检测方法，包括：
获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种铺层异常检测方法，该方法包括：
获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种铺层异常检测方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种铺层异常检测方法，其特征在于，所述方法包括：
获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取铺带机上搭载的第二方向拍摄设备所采集的第二图像；其中，所述第二方向包括当前铺层已铺贴方向；
对所述第二图像进行图像识别，确定所述第二图像中是否存在异物范围；
若存在，且所述异物范围的面积超过第二设定阈值，则确定铺层存在异物异常。
3.根据权利要求1所述的方法，其特征在于，对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围，包括：
比较所述第一图像中相邻像素点之间的灰度值，并将所述第一图像中与相邻像素点灰度值不同的像素点，作为边界像素点；
根据所述边界像素点确定所述拼缝范围的两条拼缝边界，并将所述两条拼缝边界以内的图像区域，作为所述拼缝范围。
4.根据权利要求3所述的方法，其特征在于，所述拼缝宽度为所述两条拼缝边界之间的距离。
5.根据权利要求2所述的方法，其特征在于，对所述第二图像进行图像识别，确定所述第二图像中是否存在异物范围，包括：
比较所述第二图像中相邻像素点之间的灰度值，并将所述第二图像中与相邻像素点灰度值不同的像素点，作为边界像素点；
根据所述边界像素点确定异物边界，并将所述异物边界以内的图像区域，作为所述异物范围。
6.根据权利要求1所述的方法，其特征在于，所述铺带机用于飞行设备零件表层的复合材料铺贴。
7.根据权利要求2所述的方法，其特征在于，所述铺带机上搭载有照明设备，用于增强所述第一图像和所述第二图像的亮度。
8.一种铺层异常检测装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取铺带机上搭载的第一方向拍摄设备所采集的第一图像；其中，所述第一方向包括当前铺层与已完成铺层之间的拼缝区域方向；
拼缝范围确定模块，用于对所述第一图像进行图像识别，确定所述第一图像中的拼缝范围；
拼缝异常检测模块，用于若所述拼缝范围的拼缝宽度超过第一设定阈值，则确定铺层存在拼缝异常。
9.一种云服务器，其特征在于，所述云服务器还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的铺层异常检测方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的铺层异常检测方法。
CN202010223960.XA 2020-03-26 2020-03-26 一种铺层异常检测方法、装置、云服务器和介质 Active CN113450304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223960.XA CN113450304B (zh) 2020-03-26 2020-03-26 一种铺层异常检测方法、装置、云服务器和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223960.XA CN113450304B (zh) 2020-03-26 2020-03-26 一种铺层异常检测方法、装置、云服务器和介质

Publications (2)

Publication Number Publication Date
CN113450304A true CN113450304A (zh) 2021-09-28
CN113450304B CN113450304B (zh) 2024-05-10

Family

ID=77807144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223960.XA Active CN113450304B (zh) 2020-03-26 2020-03-26 一种铺层异常检测方法、装置、云服务器和介质

Country Status (1)

Country Link
CN (1) CN113450304B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179538A (zh) * 1996-09-26 1998-04-22 波音公司 用于检测和测量复合材料中间隙和搭接的方法及装置
CN103413314A (zh) * 2013-08-19 2013-11-27 合肥师范学院 基于纹理梯度的纺织品缺陷检测算法
CN104794683A (zh) * 2015-05-05 2015-07-22 中国人民解放军国防科学技术大学 基于围绕渐变拼缝区域平面扫描的视频拼接方法
CN104915635A (zh) * 2014-03-10 2015-09-16 波音公司 多个层的复合检查和结构检验
CN105487486A (zh) * 2014-10-06 2016-04-13 波音公司 用于在制造期间检测复合零件的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179538A (zh) * 1996-09-26 1998-04-22 波音公司 用于检测和测量复合材料中间隙和搭接的方法及装置
CN103413314A (zh) * 2013-08-19 2013-11-27 合肥师范学院 基于纹理梯度的纺织品缺陷检测算法
CN104915635A (zh) * 2014-03-10 2015-09-16 波音公司 多个层的复合检查和结构检验
CN105487486A (zh) * 2014-10-06 2016-04-13 波音公司 用于在制造期间检测复合零件的系统和方法
CN104794683A (zh) * 2015-05-05 2015-07-22 中国人民解放军国防科学技术大学 基于围绕渐变拼缝区域平面扫描的视频拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林胜;: "自动铺带机/铺丝机(ATL/AFP)-现代大型飞机制造的关键设备(上)", 世界制造技术与装备市场, no. 04 *
罗永涛;王艳;张红民;: "结合最佳缝合线和改进渐入渐出法的图像拼接算法", 红外技术, no. 04, 18 April 2018 (2018-04-18) *

Also Published As

Publication number Publication date
CN113450304B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
US11035802B2 (en) Surface defect detection system and method thereof
US20200357109A1 (en) Method for detecting display screen quality, apparatus, electronic device and storage medium
US11676257B2 (en) Method and device for detecting defect of meal box, server, and storage medium
EP2918400B1 (en) Composite inspection and structural check of multiple layers
US7495758B2 (en) Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
US11341626B2 (en) Method and apparatus for outputting information
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
US10607107B2 (en) Identifying temporal changes of industrial objects by matching images
CN102937599B (zh) 一种通过x射线检测含金属被测物的无损检测系统和方法
KR20200004822A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
CN112115927A (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN110118777A (zh) 一种控制系统系统集成智能检验台
KR20200004823A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
CN114812398B (zh) 一种基于无人机的高精度实时裂缝检测平台
Gu et al. Railway insulator defect detection with deep convolutional neural networks
CN113450304B (zh) 一种铺层异常检测方法、装置、云服务器和介质
Xuan et al. Intelligent identification method of insulator defects based on CenterMask
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
CN113358659B (zh) 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN110826473A (zh) 一种基于神经网络的绝缘子图像自动识别方法
EP4170327A1 (en) Method and system for detecting optical defects within a glass windshield
CN117058078A (zh) 缺陷检测系统及方法、存储介质、电子设备
CN115471457A (zh) 一种基于电子纸表面缺陷高准确性的检测方法及系统
CN117314850A (zh) 基于图像和激光点云检测钢箱梁桥病害的穿戴式设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant