CN116087217A - 基于机器视觉的工业流水线动态质量检测模块及方法 - Google Patents

基于机器视觉的工业流水线动态质量检测模块及方法 Download PDF

Info

Publication number
CN116087217A
CN116087217A CN202310368878.XA CN202310368878A CN116087217A CN 116087217 A CN116087217 A CN 116087217A CN 202310368878 A CN202310368878 A CN 202310368878A CN 116087217 A CN116087217 A CN 116087217A
Authority
CN
China
Prior art keywords
product
camera module
module
quality inspection
finished product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310368878.XA
Other languages
English (en)
Other versions
CN116087217B (zh
Inventor
周先军
郭旋
刘航
张�浩
廖浩成
张炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202310368878.XA priority Critical patent/CN116087217B/zh
Publication of CN116087217A publication Critical patent/CN116087217A/zh
Application granted granted Critical
Publication of CN116087217B publication Critical patent/CN116087217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
    • G01N2021/891—Edge discrimination, e.g. by signal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开基于机器视觉的工业流水线动态质量检测模块及方法，涉及视觉检测产品质量技术领域，包括至少两个状态确定摄像组件、摄像控制器和基于图像特征算法的质检组件，所述状态确定摄像组件设置在工业流水线的产品成品输送段，产品成品输送段为直线段。本发明基于前置拍摄的第一状态摄像模组拍摄的产品成品画面进行图像特征识别，可以高效获得产品成品的规格信息和质检标准，还可以剔除明显的不合格品；后续的拍摄画面，同样进行特征识别后的线条轮廓处理图，并基于特征线条轮廓图进行测量，得到测量数据，为后续合格品数据对比提供尺寸数据，可以在工业流水线上实现对产品成品六个面的动态质检。

Description

基于机器视觉的工业流水线动态质量检测模块及方法
技术领域
本发明涉及视觉检测产品质量技术领域，尤其是涉及基于机器视觉的工业流水线动态质量检测模块及方法。
背景技术
视觉检测就是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品，即图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。
目前，工业化生产中采用质检人员对产品质量进行检测的比例在大幅减小，越来越多的自动化生产线匹配了视觉检测技术来实现产品的部分或者全部质检项目的自动质检。
然而，不管是人工质检还是视觉质检，一般都需要将生产线停下来或者暂停来实现，这样为了质检就会打断流水线的节拍，降低生产效率。
因此，设计一种可以实现匹配流水线生产节拍的动态质量检测模块，是亟需解决的技术问题。
发明内容
为了解决采用机器视觉实现流水线产品动态质检的技术问题，本发明提供基于机器视觉的工业流水线动态质量检测模块及方法。采用如下的技术方案：
基于机器视觉的工业流水线动态质量检测模块，包括至少两个状态确定摄像组件、摄像控制器和基于图像特征算法的质检组件，所述状态确定摄像组件设置在工业流水线的产品成品输送段，产品成品输送段为直线段，所述状态确定摄像组件包括第一状态摄像模组、第二状态摄像模组、左侧摄像模组和右侧摄像模组，所述第一状态摄像模组和第二状态摄像模组分别通过龙门支架设置在产品成品输送段的上方，用于拍摄产品成品的上表面画面，所述第二状态摄像模组的拍摄中心点位于第一状态摄像模组拍摄中心点沿流水线输送方向的后方200-500mm，所述左侧摄像模组和右侧摄像模组分别设置在龙门支架上，分别位于第二状态摄像模组的左侧和右侧，分别用于拍摄产品成品的左侧和右侧画面，所述第一状态摄像模组、第二状态摄像模组、左侧摄像模组和右侧摄像模组的视频数据输出端分别与质检组件通信连接，质检组件根据第一状态摄像模组、第二状态摄像模组、左侧摄像模组的画面数据对产品成品的质量进行检测，并输出质量检测结果，所述摄像控制器与质检组件通信连接，并根据质检组件输出的第一状态摄像模组与第二状态摄像模组比较结果，分别控制第二状态摄像模组、左侧摄像模组和右侧摄像模组的开关。
通过采用上述技术方案，采用第一状态摄像模组进行前置产品成品的拍摄，所拍摄的画面作用可以是对于产品成品的规格进行判断，还可以对明显不合格的产品进行前置识别，能提前剔除明显不合格品，还有规格错误的产品，前置拍摄画面在获取到规格参数后，产品成品被工业流水线输送到第二状态摄像模组下方，第二状态摄像模组、左侧摄像模组和右侧摄像模组开启可以对产品的成品的上、左、右三个面进行拍摄，拍摄的画面传输给质检组件，质检组件根据产品成品的规格参数，对三个面进行特征识别，并进行拍摄比例下的尺寸计算，对于计算结果与规格参数进行对比，对比结果即是质检结果，当所有尺寸的对比结果均在产品成品的合格范围内，则可以判定该产品成品为合格产品，反之为不合格品。
摄像控制器可以控制第二状态摄像模组、左侧摄像模组和右侧摄像模组打开与否，当第一状态摄像模组拍摄的产品成品上表面画面被质检组件直接判定为不合格，则摄像控制器控制第二状态摄像模组、左侧摄像模组和右侧摄像模组关闭，不需要进行后续的拍摄，也减少了质检组件的计算负荷。
采用至少两个状态确定摄像组件来进行拍摄布置，第二个状态确定摄像组件可以设置在工业流水线的产品翻面机构后方，这样就可以实现在工业流水线上对产品成品的六个面进行质检。
可选的，所述第二状态摄像模组、左侧摄像模组和右侧摄像模组分别设置曝光灯，所述曝光灯的功率大于800瓦。
通过采用上述技术方案，经过大功率的曝光灯的曝光处理后，第二状态摄像模组、左侧摄像模组和右侧摄像模组所拍摄的画面的特征明暗差异较大，更加适合图像特征识别算法进行特征识别提取。
可选的，质检组件包括视频数据采集器、AI视觉芯片、主控芯片、存储器和显示器，所述视频数据采集器的数据输入端分别与第一状态摄像模组、第二状态摄像模组、左侧摄像模组和右侧摄像模组的视频数据输出端通信连接，视频数据采集器的数据输出端与存储器通信连接，所述AI视觉芯片与存储器通信连接，所述存储器预设视觉质检算法软件、标准产品图像数据库和标准产品质检数据库，AI视觉芯片根据视觉质检算法软件分析图像数据，所述主控芯片分别与AI视觉芯片、摄像控制器和显示器通信连接。
通过采用上述技术方案，质检组件主要依靠AI视觉芯片来对产品成品的画面进行特征识别，并基于特征识别进行基于拍摄位置比例的数据测量，最终主控芯片将数据测量结果与存储器中预存的标准产品质检数据库中的对应规格产品数据进行对比，对比结果就可以对产品进行是否合格的判断，并最终通过显示器显示质检结果。
可选的，所述质检组件还包括录入模块，所述录入模块与存储器通信连接，用于更新修改视觉质检算法软件、标准产品图像数据库和标准产品质检数据库。
可选的，所述录入模块是USB数据接口。
通过采用上述技术方案，USB数据接口可以对存储器中存储的视觉质检算法软件、标准产品图像数据库和标准产品质检数据库进行更新修改操作，便于产品的换产。
可选的，摄像控制器包括单片机和电控开关，所述单片机与质检组件通信连接，单片机通过电控开关控制第二状态摄像模组、左侧摄像模组和右侧摄像模组的开关。
通过采用上述技术方案，单片机可与质检组件进行通信，根据质检组件对第一状态摄像模组拍摄的产品成品画面的特征分析结果来选择是否打开第二状态摄像模组、左侧摄像模组和右侧摄像模组进行后续拍摄。
基于机器视觉的工业流水线动态质量检测方法，具体方法是：
步骤1，第一状态摄像模组在时间T1先拍摄到产品成品完整的上表面画面，记为F1，AI视觉芯片对F1运行图像特征识别算法，获取F1至少3个关键特征，所述关键特征包括边缘特征、孔特征、凸台特征，对各个关键特征分别进行几何中心点处理，得到基于关键特征的中心点分布图，AI视觉芯片将中心点分布图与标准产品图像数据库中所有标准产品的中心点分布图进行逐一对比，得到相似度最高的标准产品中心点分布图，对应的标准产品型号规格即为产品成品的型号规格；
步骤2，AI视觉芯片根据步骤1中确定产品成品的型号规格，调取存储器中标准产品质检数据库中的质检数据，质检数据包括轮廓尺寸、孔尺寸、孔间距和凸台尺寸，产品成品在工业流水线被输送到第二状态摄像模组正下方，第二状态摄像模组拍摄产品成品上表面图像，记为F2，同时单片机通过电控开关控制左侧摄像模组和右侧摄像模组开启拍摄，分别获得产品成品左侧图像和右侧图像，上表面图像、左侧图像和右侧图像分别记为F2、F3、F4，AI视觉芯片分别对F2、F3、F4运行图像特征识别算法，获取F2、F3、F4的所有特征，并将特征进行线条轮廓处理，得到特征线条轮廓图，AI视觉芯片对特征线条轮廓图进行测量，得到测量数据；
步骤3，主控芯片对比测量数据和质检数据，比较结果包括每项测量数据与质检数据的差值、标准公差值和产品成品是否合格。
通过采用上述技术方案，步骤1中的第一状态摄像模组拍摄的画面经过AI视觉芯片经过图像关键特征的识别后，获得中心点分布图，能高效地对比同样进行中心点分布图操作的标准产品中心点分布图，更加匹配工业流水线上传输的动态产品成品的检测，且通过第一状态摄像模组拍摄画面的前置判断，能获得产品成品的规格信息。
后续的第二状态摄像模组、左侧摄像模组和右侧摄像模组的开启拍摄，同样进行特征识别后的线条轮廓处理图，并基于特征线条轮廓图进行测量，得到测量数据，这样就可以高效地实现多个特征的尺寸测量，为后续合格品数据对比提供尺寸数据。
可选的，步骤1中，中心点分布图与标准产品中心点分布图相似度IOU值大于0.95，且相似度最高的标准产品中心点分布图对应的标准产品型号规格即为产品成品的型号规格，若中心点分布图与标准产品中心点分布图进行相似度对比，IOU值均小于等于0.95，则主控芯片直接判定产品成品为不合格品。
通过采用上述技术方案，相似度对比值最大，意味着标准产品库内的标准产品数据与第一状态摄像模组拍摄画面对应的产品成品一致，但是当最大的相似度IOU值都小于等于0.95时，则认为该产品成品与所有标准产品均有较大差异，那么这个产品的上表面有较明显的缺陷存在，要么是产品加工错误导致明显不合格，主控芯片直接判定产品成品为不合格品，可以不进行后续的拍摄和质检环节，减少质检组件的计算负荷。
可选的，步骤3中，当主控芯片判断差值均在标准公差值范围内，则判定产品成品为合格品，反之，判定产品成品为不合格品。
可选的，主控芯片控制显示器显示比较结果。
综上所述，本发明包括以下至少一种有益技术效果：
本发明能提供基于机器视觉的工业流水线动态质量检测模块及方法，基于前置拍摄的第一状态摄像模组拍摄的产品成品画面进行图像特征识别，可以高效获得产品成品的规格信息和质检标准，还可以剔除明显的不合格品；
后续的拍摄画面，同样进行特征识别后的线条轮廓处理图，并基于特征线条轮廓图进行测量，得到测量数据，这样就可以高效地实现多个特征的尺寸测量，为后续合格品数据对比提供尺寸数据，通过多个状态确定摄像组件配合工业流水线的产品翻转机构，可以在工业流水线上实现对产品成品六个面的动态质检。
附图说明
图1是本发明基于机器视觉的工业流水线动态质量检测模块的电器件连接原理示意图；
图2是本发明基于机器视觉的工业流水线动态质量检测模块的质检组件电器件连接原理示意图；
图3是本发明基于机器视觉的工业流水线动态质量检测模块的安装结构示意图；
图4是本发明具体实施例中心点分布图的示意效果图；
图5是本发明具体实施例特征线条轮廓图的示意效果图。
附图标记说明：1、第一状态摄像模组；2、第二状态摄像模组；3、左侧摄像模组；4、右侧摄像模组；5、摄像控制器；51、单片机；52、电控开关；6、质检组件；61、视频数据采集器；62、AI视觉芯片；63、主控芯片；64、存储器；65、显示器；66、录入模块；7、曝光灯；100、工业流水线；101、龙门支架。
实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开基于机器视觉的工业流水线动态质量检测模块及方法。
参照图1－图5，基于机器视觉的工业流水线动态质量检测模块，包括至少两个状态确定摄像组件、摄像控制器5和基于图像特征算法的质检组件6，状态确定摄像组件设置在工业流水线100的产品成品输送段，产品成品输送段为直线段，状态确定摄像组件包括第一状态摄像模组1、第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4，第一状态摄像模组1和第二状态摄像模组2分别通过龙门支架101设置在产品成品输送段的上方，用于拍摄产品成品的上表面画面，第二状态摄像模组2的拍摄中心点位于第一状态摄像模组1拍摄中心点沿流水线输送方向的后方200-500mm，左侧摄像模组3和右侧摄像模组4分别设置在龙门支架101上，分别位于第二状态摄像模组2的左侧和右侧，分别用于拍摄产品成品的左侧和右侧画面，第一状态摄像模组1、第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4的视频数据输出端分别与质检组件6通信连接，质检组件6根据第一状态摄像模组1、第二状态摄像模组2、左侧摄像模组3的画面数据对产品成品的质量进行检测，并输出质量检测结果，摄像控制器5与质检组件6通信连接，并根据质检组件6输出的第一状态摄像模组1与第二状态摄像模组2比较结果，分别控制第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4的开关。
采用第一状态摄像模组1进行前置产品成品的拍摄，所拍摄的画面作用可以是对于产品成品的规格进行判断，还可以对明显不合格的产品进行前置识别，能提前剔除明显不合格品，还有规格错误的产品，前置拍摄画面在获取到规格参数后，产品成品被工业流水线100输送到第二状态摄像模组2下方，第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4开启可以对产品的成品的上、左、右三个面进行拍摄，拍摄的画面传输给质检组件6，质检组件6根据产品成品的规格参数，对三个面进行特征识别，并进行拍摄比例下的尺寸计算，对于计算结果与规格参数进行对比，对比结果即是质检结果，当所有尺寸的对比结果均在产品成品的合格范围内，则可以判定该产品成品为合格产品，反之为不合格品。
摄像控制器5可以控制第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4打开与否，当第一状态摄像模组1拍摄的产品成品上表面画面被质检组件6直接判定为不合格，则摄像控制器5控制第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4关闭，不需要进行后续的拍摄，也减少了质检组件6的计算负荷。
采用至少两个状态确定摄像组件来进行拍摄布置，第二个状态确定摄像组件可以设置在工业流水线100的产品翻面机构后方，这样就可以实现在工业流水线100上对产品成品的六个面进行质检。
第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4分别设置曝光灯7，曝光灯7的功率大于800瓦。
经过大功率的曝光灯7的曝光处理后，第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4所拍摄的画面的特征明暗差异较大，更加适合图像特征识别算法进行特征识别提取。
质检组件6包括视频数据采集器61、AI视觉芯片62、主控芯片63、存储器64和显示器65，视频数据采集器61的数据输入端分别与第一状态摄像模组1、第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4的视频数据输出端通信连接，视频数据采集器61的数据输出端与存储器64通信连接，AI视觉芯片62与存储器64通信连接，存储器64预设视觉质检算法软件、标准产品图像数据库和标准产品质检数据库，AI视觉芯片62根据视觉质检算法软件分析图像数据，主控芯片63分别与AI视觉芯片62、摄像控制器5和显示器65通信连接。
质检组件6主要依靠AI视觉芯片62来对产品成品的画面进行特征识别，并基于特征识别进行基于拍摄位置比例的数据测量，最终主控芯片63将数据测量结果与存储器64中预存的标准产品质检数据库中的对应规格产品数据进行对比，对比结果就可以对产品进行是否合格的判断，并最终通过显示器65显示质检结果。
质检组件6还包括录入模块66，录入模块66与存储器64通信连接，用于更新修改视觉质检算法软件、标准产品图像数据库和标准产品质检数据库。
录入模块66是USB数据接口。
USB数据接口可以对存储器64中存储的视觉质检算法软件、标准产品图像数据库和标准产品质检数据库进行更新修改操作，便于产品的换产。
摄像控制器5包括单片机51和电控开关52，单片机51与质检组件6通信连接，单片机51通过电控开关52控制第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4的开关。
单片机51可与质检组件6进行通信，根据质检组件6对第一状态摄像模组1拍摄的产品成品画面的特征分析结果来选择是否打开第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4进行后续拍摄。
基于机器视觉的工业流水线动态质量检测方法，具体方法是：
步骤1，第一状态摄像模组1在时间T1先拍摄到产品成品完整的上表面画面，记为F1，AI视觉芯片62对F1运行图像特征识别算法，获取F1至少3个关键特征，关键特征包括边缘特征、孔特征、凸台特征，对各个关键特征分别进行几何中心点处理，得到基于关键特征的中心点分布图，AI视觉芯片62将中心点分布图与标准产品图像数据库中所有标准产品的中心点分布图进行逐一对比，得到相似度最高的标准产品中心点分布图，对应的标准产品型号规格即为产品成品的型号规格；
步骤2，AI视觉芯片62根据步骤1中确定产品成品的型号规格，调取存储器64中标准产品质检数据库中的质检数据，质检数据包括轮廓尺寸、孔尺寸、孔间距和凸台尺寸，产品成品在工业流水线100被输送到第二状态摄像模组2正下方，第二状态摄像模组2拍摄产品成品上表面图像，记为F2，同时单片机51通过电控开关52控制左侧摄像模组3和右侧摄像模组4开启拍摄，分别获得产品成品左侧图像和右侧图像，上表面图像、左侧图像和右侧图像分别记为F2、F3、F4，AI视觉芯片62分别对F2、F3、F4运行图像特征识别算法，获取F2、F3、F4的所有特征，并将特征进行线条轮廓处理，得到特征线条轮廓图，AI视觉芯片62对特征线条轮廓图进行测量，得到测量数据；
步骤3，主控芯片63对比测量数据和质检数据，比较结果包括每项测量数据与质检数据的差值、标准公差值和产品成品是否合格。
步骤1中的第一状态摄像模组1拍摄的画面经过AI视觉芯片62经过图像关键特征的识别后，获得中心点分布图，能高效地对比同样进行中心点分布图操作的标准产品中心点分布图，更加匹配工业流水线100上传输的动态产品成品的检测，且通过第一状态摄像模组1拍摄画面的前置判断，能获得产品成品的规格信息。
后续的第二状态摄像模组2、左侧摄像模组3和右侧摄像模组4的开启拍摄，同样进行特征识别后的线条轮廓处理图，并基于特征线条轮廓图进行测量，得到测量数据，这样就可以高效地实现多个特征的尺寸测量，为后续合格品数据对比提供尺寸数据。
步骤1中，中心点分布图与标准产品中心点分布图相似度IOU值大于0.95，且相似度最高的标准产品中心点分布图对应的标准产品型号规格即为产品成品的型号规格，若中心点分布图与标准产品中心点分布图进行相似度对比，IOU值均小于等于0.95，则主控芯片63直接判定产品成品为不合格品。
相似度对比值最大，意味着标准产品库内的标准产品数据与第一状态摄像模组1拍摄画面对应的产品成品一致，但是当最大的相似度IOU值都小于等于0.95时，则认为该产品成品与所有标准产品均有较大差异，那么这个产品的上表面有较明显的缺陷存在，要么是产品加工错误导致明显不合格，主控芯片63直接判定产品成品为不合格品，可以不进行后续的拍摄和质检环节，减少质检组件6的计算负荷。
步骤3中，当主控芯片63判断差值均在标准公差值范围内，则判定产品成品为合格品，反之，判定产品成品为不合格品。
主控芯片63控制显示器65显示比较结果。
本发明实施例基于机器视觉的工业流水线动态质量检测模块及方法的实施原理为：
具体的某工业生产线的动态质检场景下，产品为数控机床加工后的钢制外壳，该钢制外壳的轮廓为“凸”字形，上表面有一个长方形孔，上表面四个角处有四个安装圆孔，质检主要是轮廓尺寸、长方形孔的尺寸和四个安装圆孔的尺寸及相互位置关系。
某时刻加工完成后的钢制外壳从工业流水线100输送到第一状态摄像模组1的下方，第一状态摄像模组1在时间T1拍摄到产品成品完整的上表面画面，记为F1，AI视觉芯片62对F1运行图像特征识别算法，获取F1的3个关键特征，分别为钢制外壳边缘轮廓特征、长方形孔特征和四个安装圆孔特征，对各个关键特征分别进行几何中心点处理，得到基于关键特征的中心点分布图，其中“凸”字形轮廓特征的几何中心点为四个角连线的交点，AI视觉芯片62将中心点分布图与标准产品图像数据库中所有标准产品的中心点分布图进行逐一对比，得到相似度最高的标准产品中心点分布图，且相似度IOU值为0.99，相似度对比采用YOLOV5算法进行，标准产品中心点分布图对应的标准产品型号规格即为钢制外壳的型号规格；
AI视觉芯片62根据步骤1中确定钢制外壳的型号规格，调取存储器64中标准产品质检数据库中的质检数据，质检数据包括“凸”字轮廓尺寸、方孔尺寸，方孔与边缘间距、四个安装圆孔尺寸和孔间距，钢制产品在工业流水线100被输送到第二状态摄像模组2正下方，第二状态摄像模组2拍摄产品成品上表面图像，记为F2，同时单片机51通过电控开关52控制左侧摄像模组3和右侧摄像模组4开启拍摄，分别获得产品成品左侧图像和右侧图像，上表面图像、左侧图像和右侧图像分别记为F2、F3、F4，AI视觉芯片62分别对F2、F3、F4运行图像特征识别算法，获取F2、F3、F4的所有特征，并将特征进行线条轮廓处理，得到特征线条轮廓图，AI视觉芯片62对特征线条轮廓图进行测量，得到测量数据；
主控芯片63对比测量数据和质检数据，对比结果显示所有测量数据均在质检数据的差值允许范围内，当主控芯片63判断该钢制外壳为合格品，主控芯片63控制显示器65显示比较结果，并显示该产品为合格品。
以上均为本发明的较佳实施例，并非以此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.基于机器视觉的工业流水线动态质量检测模块，其特征在于：包括至少两个状态确定摄像组件、摄像控制器（5）和基于图像特征算法的质检组件（6），所述状态确定摄像组件设置在工业流水线（100）的产品成品输送段，产品成品输送段为直线段，所述状态确定摄像组件包括第一状态摄像模组（1）、第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4），所述第一状态摄像模组（1）和第二状态摄像模组（2）分别通过龙门支架（101）设置在产品成品输送段的上方，用于拍摄产品成品的上表面画面，所述第二状态摄像模组（2）的拍摄中心点位于第一状态摄像模组（1）拍摄中心点沿流水线输送方向的后方200-500mm，所述左侧摄像模组（3）和右侧摄像模组（4）分别设置在龙门支架（101）上，分别位于第二状态摄像模组（2）的左侧和右侧，分别用于拍摄产品成品的左侧和右侧画面，所述第一状态摄像模组（1）、第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）的视频数据输出端分别与质检组件（6）通信连接，质检组件（6）根据第一状态摄像模组（1）、第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）的画面数据对产品成品的质量进行检测，并输出质量检测结果，所述摄像控制器（5）与质检组件（6）通信连接，并根据质检组件（6）输出的第一状态摄像模组（1）与第二状态摄像模组（2）比较结果，分别控制第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）的开关。
2.根据权利要求1所述的基于机器视觉的工业流水线动态质量检测模块，其特征在于：所述第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）分别设置曝光灯（7），所述曝光灯（7）的功率大于800瓦。
3.根据权利要求2所述的基于机器视觉的工业流水线动态质量检测模块，其特征在于：质检组件（6）包括视频数据采集器（61）、AI视觉芯片（62）、主控芯片（63）、存储器（64）和显示器（65），所述视频数据采集器（61）的数据输入端分别与第一状态摄像模组（1）、第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）的视频数据输出端通信连接，视频数据采集器（61）的数据输出端与存储器（64）通信连接，所述AI视觉芯片（62）与存储器（64）通信连接，所述存储器（64）预设视觉质检算法软件、标准产品图像数据库和标准产品质检数据库，AI视觉芯片（62）根据视觉质检算法软件分析图像数据，所述主控芯片（63）分别与AI视觉芯片（62）、摄像控制器（5）和显示器（65）通信连接。
4.根据权利要求3所述的基于机器视觉的工业流水线动态质量检测模块，其特征在于：所述质检组件（6）还包括录入模块（66），所述录入模块（66）与存储器（64）通信连接，用于更新修改视觉质检算法软件、标准产品图像数据库和标准产品质检数据库。
5.根据权利要求4所述的基于机器视觉的工业流水线动态质量检测模块，其特征在于：所述录入模块（66）是USB数据接口。
6.根据权利要求3所述的基于机器视觉的工业流水线动态质量检测模块，其特征在于：摄像控制器（5）包括单片机（51）和电控开关（52），所述单片机（51）与质检组件（6）通信连接，单片机（51）通过电控开关（52）控制第二状态摄像模组（2）、左侧摄像模组（3）和右侧摄像模组（4）的开关。
7.基于机器视觉的工业流水线动态质量检测方法，其特征在于：采用权利要求6所述的基于机器视觉的工业流水线动态质量检测模块实现产品动态质检，具体方法是：
步骤1，第一状态摄像模组1在时间T1先拍摄到产品成品完整的上表面画面，记为F1），AI视觉芯片（62）对F1运行图像特征识别算法，获取F1至少3个关键特征，所述关键特征包括边缘特征、孔特征、凸台特征，对各个关键特征分别进行几何中心点处理，得到基于关键特征的中心点分布图，AI视觉芯片（62）将中心点分布图与标准产品图像数据库中所有标准产品的中心点分布图进行逐一对比，得到相似度最高的标准产品中心点分布图，对应的标准产品型号规格即为产品成品的型号规格；
步骤2，AI视觉芯片（62）根据步骤1中确定产品成品的型号规格，调取存储器（64）中标准产品质检数据库中的质检数据，质检数据包括轮廓尺寸、孔尺寸、孔间距和凸台尺寸，产品成品在工业流水线（100）被输送到第二状态摄像模组（2）正下方，第二状态摄像模组（2）拍摄产品成品上表面图像，记为F2，同时单片机（51）通过电控开关（52）控制左侧摄像模组（3）和右侧摄像模组（4）开启拍摄，分别获得产品成品左侧图像和右侧图像，上表面图像、左侧图像和右侧图像分别记为F2、F3、F4，AI视觉芯片（62）分别对F2、F3、F4运行图像特征识别算法，获取F2、F3、F4的所有特征，并将特征进行线条轮廓处理，得到特征线条轮廓图，AI视觉芯片（62）对特征线条轮廓图进行测量，得到测量数据；
步骤3，主控芯片（63）对比测量数据和质检数据，比较结果包括每项测量数据与质检数据的差值、标准公差值和产品成品是否合格。
8.根据权利要求7所述的基于机器视觉的工业流水线动态质量检测方法，其特征在于：步骤1中，中心点分布图与标准产品中心点分布图相似度IOU值大于0.95，且相似度最高的标准产品中心点分布图对应的标准产品型号规格即为产品成品的型号规格，若中心点分布图与标准产品中心点分布图进行相似度对比，IOU值均小于等于0.95，则主控芯片（63）直接判定产品成品为不合格品。
9.根据权利要求7所述的基于机器视觉的工业流水线动态质量检测方法，其特征在于：步骤3中，当主控芯片（63）判断差值均在标准公差值范围内，则判定产品成品为合格品，反之，判定产品成品为不合格品。
10.根据权利要求7所述的基于机器视觉的工业流水线动态质量检测方法，其特征在于：主控芯片（63）控制显示器（65）显示比较结果。
CN202310368878.XA 2023-04-10 2023-04-10 基于机器视觉的工业流水线动态质量检测模块及方法 Active CN116087217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310368878.XA CN116087217B (zh) 2023-04-10 2023-04-10 基于机器视觉的工业流水线动态质量检测模块及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310368878.XA CN116087217B (zh) 2023-04-10 2023-04-10 基于机器视觉的工业流水线动态质量检测模块及方法

Publications (2)

Publication Number Publication Date
CN116087217A true CN116087217A (zh) 2023-05-09
CN116087217B CN116087217B (zh) 2023-06-30

Family

ID=86210518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310368878.XA Active CN116087217B (zh) 2023-04-10 2023-04-10 基于机器视觉的工业流水线动态质量检测模块及方法

Country Status (1)

Country Link
CN (1) CN116087217B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118323793A (zh) * 2024-05-17 2024-07-12 湖北华武重工集团有限公司 基于工业视觉的智能输送皮带及视觉控制方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130714A (ja) * 1995-11-01 1997-05-16 Canon Inc 画像情報抽出装置および方法
EP1681533A1 (de) * 2005-01-14 2006-07-19 Leica Geosystems AG Verfahren und geodätisches Gerät zur Vermessung wenigstens eines Zieles
CN101565109A (zh) * 2008-04-23 2009-10-28 上海新先锋药业有限公司 基于机器视觉的药品粉针剂生产中铝盖包装在线检测系统
CN102033068A (zh) * 2009-09-24 2011-04-27 苏州维世迅机器视觉技术有限公司 产品在线检测仪
CN103293718A (zh) * 2012-02-22 2013-09-11 尼克斯特业有限公司 Lcd 面板检测装置
CN106197273A (zh) * 2016-07-19 2016-12-07 广东水利电力职业技术学院 一种随动回转式视觉检测装置
CN205981097U (zh) * 2016-07-19 2017-02-22 广东水利电力职业技术学院 一种随动回转式视觉检测装置
CN106596562A (zh) * 2016-12-23 2017-04-26 广东锐视智能检测有限公司 基于机器视觉的磁环外观质量在线检测装置及方法
CN107884415A (zh) * 2017-11-07 2018-04-06 深圳市鑫联拓展科技有限公司 缺陷产品的识别方法、装置和工业相机
CN209764739U (zh) * 2018-12-25 2019-12-10 深圳市智能机器人研究院 一种动态的表面缺陷光学检测系统
CN110672007A (zh) * 2019-09-24 2020-01-10 佛山科学技术学院 一种基于机器视觉的工件表面质量检测方法及系统
CN111579558A (zh) * 2020-05-28 2020-08-25 珠海格力智能装备有限公司 产品的视觉检测方法、视觉检测装置及视觉检测生产线
CN113109348A (zh) * 2021-03-12 2021-07-13 华南理工大学 一种基于机器视觉的桨影移印缺陷识别方法
CN113847881A (zh) * 2021-01-06 2021-12-28 西华大学 一种基于机器视觉的自由曲面轮廓度检测方法
CN115228769A (zh) * 2022-08-12 2022-10-25 江西省智能产业技术创新研究院 一种电池自动分拣系统及方法
CN115390509A (zh) * 2022-10-27 2022-11-25 上海航天壹亘智能科技有限公司 基于视觉控制的控制方法及数控机床

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130714A (ja) * 1995-11-01 1997-05-16 Canon Inc 画像情報抽出装置および方法
EP1681533A1 (de) * 2005-01-14 2006-07-19 Leica Geosystems AG Verfahren und geodätisches Gerät zur Vermessung wenigstens eines Zieles
CN101565109A (zh) * 2008-04-23 2009-10-28 上海新先锋药业有限公司 基于机器视觉的药品粉针剂生产中铝盖包装在线检测系统
CN102033068A (zh) * 2009-09-24 2011-04-27 苏州维世迅机器视觉技术有限公司 产品在线检测仪
CN103293718A (zh) * 2012-02-22 2013-09-11 尼克斯特业有限公司 Lcd 面板检测装置
CN106197273A (zh) * 2016-07-19 2016-12-07 广东水利电力职业技术学院 一种随动回转式视觉检测装置
CN205981097U (zh) * 2016-07-19 2017-02-22 广东水利电力职业技术学院 一种随动回转式视觉检测装置
CN106596562A (zh) * 2016-12-23 2017-04-26 广东锐视智能检测有限公司 基于机器视觉的磁环外观质量在线检测装置及方法
CN107884415A (zh) * 2017-11-07 2018-04-06 深圳市鑫联拓展科技有限公司 缺陷产品的识别方法、装置和工业相机
CN209764739U (zh) * 2018-12-25 2019-12-10 深圳市智能机器人研究院 一种动态的表面缺陷光学检测系统
CN110672007A (zh) * 2019-09-24 2020-01-10 佛山科学技术学院 一种基于机器视觉的工件表面质量检测方法及系统
CN111579558A (zh) * 2020-05-28 2020-08-25 珠海格力智能装备有限公司 产品的视觉检测方法、视觉检测装置及视觉检测生产线
CN113847881A (zh) * 2021-01-06 2021-12-28 西华大学 一种基于机器视觉的自由曲面轮廓度检测方法
CN113109348A (zh) * 2021-03-12 2021-07-13 华南理工大学 一种基于机器视觉的桨影移印缺陷识别方法
CN115228769A (zh) * 2022-08-12 2022-10-25 江西省智能产业技术创新研究院 一种电池自动分拣系统及方法
CN115390509A (zh) * 2022-10-27 2022-11-25 上海航天壹亘智能科技有限公司 基于视觉控制的控制方法及数控机床

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佟喜峰等: "《图像处理与识别技术 应用与实践》", 哈尔滨工业大学出版社, pages: 127 *
张晶;刘东明;: "基于机器视觉的工件检测系统研究", 硅谷, no. 09 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118323793A (zh) * 2024-05-17 2024-07-12 湖北华武重工集团有限公司 基于工业视觉的智能输送皮带及视觉控制方法

Also Published As

Publication number Publication date
CN116087217B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
KR102378186B1 (ko) 와이어링 하네스용 인공지능 외관검사 시스템
CN111982921B (zh) 孔缺陷的检测方法、装置、传送平台及存储介质
JP2017096750A (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
TW201702586A (zh) 光學薄膜缺陷辨識方法及其系統
CN103364398A (zh) 接头检查装置
CN107895362A (zh) 一种微型接线端子质量检测的机器视觉方法
EP2793172A1 (en) Image processing apparatus, image processing method and program
US20200090319A1 (en) Machine learning method implemented in aoi device
CN116718600B (zh) 一种用于对线束产品进行智能化检测的检测装置
KR101969368B1 (ko) 컬러-기반 외부 물체 검출 시스템
CN114972825B (zh) 一种mmi按键图标矩阵自动检测的实现方法
CN117664991A (zh) 一种缺陷检测系统
CN115876086A (zh) 一种高密度连接器的检测方法及检测系统
CN116087217B (zh) 基于机器视觉的工业流水线动态质量检测模块及方法
CN113139943B (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
CN117309766B (zh) 一种产品表面缺陷的视觉检测方法及系统
CN111307817B (zh) 一种智能产线pcb生产过程的在线检测方法及系统
CN112304965A (zh) 一种多场景保险丝盒视觉检测系统
CN206684071U (zh) 一种快速大面积透明基片双表面缺陷视觉检测装置
CN114311572B (zh) Smd led注塑支架在线检测装置及其检测方法
CN105548210A (zh) 基于机器视觉的美标电源延长线的检测方法
CN112598632B (zh) 一种压接连接器接触件外观检测方法及装置
CN110807817B (zh) 一种适应光照变化的目标颜色识别的机器视觉方法
CN112036222A (zh) 脸部辨识系统及方法
KR102599785B1 (ko) Ai비전 결함탐지 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant