CN116128853A - 一种产线装配检测方法、系统、计算机及可读存储介质 - Google Patents

一种产线装配检测方法、系统、计算机及可读存储介质 Download PDF

Info

Publication number
CN116128853A
CN116128853A CN202310148697.6A CN202310148697A CN116128853A CN 116128853 A CN116128853 A CN 116128853A CN 202310148697 A CN202310148697 A CN 202310148697A CN 116128853 A CN116128853 A CN 116128853A
Authority
CN
China
Prior art keywords
assembly
standard
tested
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310148697.6A
Other languages
English (en)
Inventor
危振
何志芬
陈韬
赵迪
曹燕杰
杨德宸
薛蕙蓉
胡凌燕
邱志斌
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Intelligent Industry Technology Innovation Research Institute
Original Assignee
Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Intelligent Industry Technology Innovation Research Institute filed Critical Jiangxi Intelligent Industry Technology Innovation Research Institute
Priority to CN202310148697.6A priority Critical patent/CN116128853A/zh
Publication of CN116128853A publication Critical patent/CN116128853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供一种产线装配检测方法、系统、计算机及可读存储介质，该方法包括以下步骤：采集待测装配件的图像数据，以识别并判断待测装配件是否为易区分零部件；若否，对图像数据进行矫正处理及OCR识别，以获取实际零部件数据；从数据库中获取与当前装配工位对应的标准零部件数据，并将标准零部件数据与实际零部件数据进行比对，判断待测装配件是否存在装配异常。通过对完成装配的零部件进行识别，相对于现有技术在装配前对零部件逐一比对的方式，提高了生产效率，同时针对不易区分的零部件，通过对图像数据进行矫正处理及OCR识别，基于零件标识码得到实际零部件数据，来判断待测装配件是否存在装配异常，保证检测准确度。

Description

一种产线装配检测方法、系统、计算机及可读存储介质
技术领域
本发明涉及产线检测技术领域，特别涉及一种产线装配检测方法、系统、计算机及可读存储介质。
背景技术
一般汽车约由一万个不可拆解独立部件组装而成，加之同款不同配置车型，工件之多、配件之相似，须确保每一个零部件正确装配到汽车的正确的位置，对车间工作人员、成品质检及车企都是一个巨大的挑战。
现有技术当中，通常是通过设置视觉检测系统，对装配好的部件进行图像识别检测，但该方式针对于相似度较高的各类零部件，视觉检测系统难以区分，识别准确度较差；或者通过人工对装配前的单个零部件进行逐一检测比对，比对成功后才执行下一步装配，但这种检测方式极大增加了人工成本，降低了生产效率。
发明内容
针对现有技术的不足，本发明的目的在于提供一种产线装配检测方法、系统、计算机及可读存储介质旨在解决现有技术中，产线检测效率较低的技术问题。
为了实现上述目的，本发明是通过如下技术方案来实现的：一种产线装配检测方法，包括以下步骤：
获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息，储存所述标准零部件数据、所述图像特征及所述类别信息以建立数据库；
采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件；
若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像；
对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据；
从所述数据库中获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
与现有技术相比，本发明的有益效果在于：首先通过获取各个标准装配件的标准零部件数据，并基于标准装配件的图像特征将各个标准装配件进行分类别处理，得到各个标准装配件的类别信息，在检测过程中，通过采集待测装配件的图像数据，并对图像数据进行实例分割处理，得到待测装配件的零部件构成，以对应得到待测装配件的类别信息，通过根据上述类别信息判断待测装配件是否为易区分零部件，针对不易区分的零部件，通过对图像数据进行矫正处理，得到去除光照因素影响的矫正图像，然后通过对矫正图像进行OCR识别，基于待测装配件的零件标识码得到实际零部件数据，然后将实际零部件数据与标准零部件数据进行比对，来判断待测装配件是否存在装配异常，保证检测准确度。
根据上述技术方案的一方面，所述基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息的步骤具体包括：
根据各个所述标准装配件的图像数据的外观相似度，对所述标准装配件进行一次分类别处理，得到区分类别信息，所述区分类别信息包括易区分零部件组及非易区分零部件组。
根据上述技术方案的一方面，基于所述类别信息判断所述待测装配件是否为易区分零部件的步骤之后，所述方法还包括：
根据所述易区分零部件组中各标准装配件的外观特征，对所述易区分零部件组进行二次分类别处理，得到具体类别信息，所述具体类别信息包括与所述易区分零部件组中各标准装配件对应的标准零部件数据；
若所述待测装配件为易区分零部件，根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；
将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
根据上述技术方案的一方面，所述对所述图像数据进行矫正处理的步骤具体包括：
利用实例分割处理得到的mask图与所述图像数据进行掩膜处理，得到ROI图；
对所述ROI图进行直方图分析处理，并基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正。
根据上述技术方案的一方面，所述将所述mask图与所述图像数据进行掩膜处理，得到ROI图的步骤具体包括：
将所述mask图与所述图像数据按以下公式进行处理，得到ROI图：
Figure BDA0004090006840000031
式中，Q(i,j)为所述ROI图，S(i,j)为所述图像数据，M(i,j)为所述mask图，i与j分别表示图片的第i行、第j列。
根据上述技术方案的一方面，所述对所述ROI图进行直方图分析处理的步骤具体包括：
计算所述ROI图中所有像素点的像素值，并统计各个所述像素值的数量，形成直方图，以计算得到所述直方图的中位数。
根据上述技术方案的一方面，所述基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正的步骤具体包括：
将像素点取值范围划分为第一像素区间及第二像素区间；
当所述中位数处于所述第一像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000041
当所述中位数处于所述第二像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000042
式中，Vout表示校正结果，A表示膨胀系数，Vin表示待校正的输入值，γ表示校正系数。
另一方面，本发明还提供了一种产线装配检测系统，包括：
构建模块，用于获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息，储存所述标准零部件数据、所述图像特征及所述类别信息以建立数据库；
判断模块，用于采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件；
矫正模块，用于若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像；
识别模块，用于对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据；
第一检测模块，用于从所述数据库中获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
根据上述技术方案的一方面，所述构建模块具体包括：
分组单元，用于根据各个所述标准装配件的图像数据的外观相似度，对所述标准装配件进行一次分类别处理，划分形成易区分零部件组及非易区分零部件组。
根据上述技术方案的一方面，所述产线装配检测系统还包括：
分类单元，用于根据所述易区分零部件组中各标准装配件的外观特征，对所述易区分零部件组进行二次分类别处理，并根据所述二次分类别处理结果绑定对应的标准零部件数据；
获取模块，用于若所述待测装配件为易区分零部件，根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；
第二检测模块，用于将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
根据上述技术方案的一方面，所述矫正模块具体包括：
掩膜处理单元，用于利用实例分割处理得到的mask图与所述图像数据进行掩膜处理，得到ROI图；
矫正单元，用于对所述ROI图进行直方图分析处理，并基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正。
根据上述技术方案的一方面，所述矫正模块还包括：
处理单元，用于将所述mask图与所述图像数据按以下公式进行处理，得到ROI图：
Figure BDA0004090006840000051
式中，Q(i,j)为所述ROI图，S(i,j)为所述图像数据，M(i,j)为所述mask图，i与j分别表示图片的第i行、第j列。
根据上述技术方案的一方面，所述矫正单元具体用于：
计算所述ROI图中所有像素点的像素值，并统计各个所述像素值的数量，形成直方图，以计算得到所述直方图的中位数。
根据上述技术方案的一方面，所述矫正单元还用于：将像素点取值范围划分为第一像素区间及第二像素区间；
当所述中位数处于所述第一像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000061
当所述中位数处于所述第二像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000062
式中，Vout表示校正结果，A表示膨胀系数，Vin表示待校正的输入值，γ表示校正系数。
另一方面，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述技术方案中所述的产线装配检测方法。
另一方面，本发明还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述技术方案中所述的产线装配检测方法。
附图说明
图1为本发明第一实施例中产线装配检测方法的流程图；
图2为本发明第二实施例中产线装配检测系统的结构框图；
图3为本发明第二实施例中产线装配检测系统的立体结构示意图；
图4为本发明第二实施例中产线装配检测系统的正视结构示意图；
图5为图4中A部放大图；
图6为本发明第四实施例中数据处理设备的结构示意图。
主要元件符号说明：
构建模块 100 判断模块 200
矫正模块 300 识别模块 400
第一检测模块 500 获取模块 600
第二检测模块 700 生产流水线 1
纯色背景板 3 待测装配件 4
图像处理单元 5 固定装置 6
警报器 7 图像传感器 8
照明光源 9 处理器 10
存储器 20 计算机程序 30
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例中的产线装配检测方法的流程图，包括以下步骤：
步骤S100，获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息。
优选地，在本实施例中，上述步骤S100中基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息的步骤具体包括：
步骤S101，根据各个所述标准装配件的图像数据的外观相似度，对所述标准装配件进行一次分类别处理，得到区分类别信息，所述区分类别信息包括易区分零部件组及非易区分零部件组。便于理解地，由于装配件的样式不同，在对待检测装配件进行比对识别之前，需要先将正确的各类标准装配件信息进行储存形成数据库，各类装配件中存在易区分识别的零部件和不易区分识别的零部件，由于产线的环境容易被多方面的因素影响，图像传感器采集的图片往往较暗或者由于金属反光问题，导致获取到的待测装配件图像的清晰度不佳，针对易区分零部件由于其特征明显容易识别，但不易区分零部件之间难以识别是否存在错装。为便于提高识别效率，在本实施例的一些应用场景中，对于不易区分零部件可以归为一类，比如，A1和A2零部件只是材质不一样，其外表几乎相同，标注时可以将A1和A2标注为A。
步骤S110，采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件。具体来说，在本实施例中，上述基于所述类别信息判断所述待测装配件是否为易区分零部件的步骤之后，所述方法还包括：
步骤S111，根据所述易区分零部件组中各标准装配件的外观特征，对所述易区分零部件组进行二次分类别处理，得到具体类别信息，所述具体类别信息包括与所述易区分零部件组中各标准装配件对应的标准零部件数据。便于理解地，上述二次分类别处理，即将易区分零部件组中的各零件进行细分，绑定对应的零部件数据，便于后续通过图像数据直接获取对应的零部件数据进行比对。
步骤S112，若所述待测装配件为易区分零部件，根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；
步骤S113，将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
此外，具体来说，在本实施例的一些应用场景中，上述待测装配件的图像数据通过设置于产线上的图像传感器进行获取，优选地，上述图像传感器部署在零部件装配完成之后的位置，即后验部署，图像传感器的设置位置需要尽可能拍全、拍准待防错目标(如果具有多个目标，但又拍摄质量不佳可考虑增加图像传感器数量)，同时设置光源提供稳定照明，优选可以在待测装配件一侧设置纯色背景板以便于待测装配件的图像与外界环境分离，便于后续图像处理，进一步通过分割标注工具进行标注，执行训练以获得分割模型，实例分割处理将获取到的待测装配件的多个零部件进行标注，再根据步骤S100中的分类信息进行对该装配件的类别进行判断。
步骤S120，若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像。可以理解地，在本实施例中，若识别出待测装配件为易区分零部件，则可以跳过上述步骤S120中的矫正处理步骤，直接根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
具体来说，在本实施例中，上述步骤S120中的对所述图像数据进行矫正处理的步骤具体包括：
步骤S121，对实例分割处理得到的mask图(mask图表示只包含false与true的图片)与所述图像数据进行掩膜处理，得到ROI图。优选地，在本实施例中，上述将所述mask图与所述图像数据进行掩膜处理，得到ROI图的步骤具体包括：
将所述mask图与所述图像数据按以下公式进行处理，得到ROI图：
Figure BDA0004090006840000091
式中，Q(i,j)为所述ROI图，S(i,j)为所述图像数据，M(i,j)为所述mask图，i与j分别表示图片的第i行、第j列。
步骤S122，对所述ROI图进行直方图分析处理，并基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正。优选地，在本实施例中，上述对所述ROI图进行直方图分析处理的步骤具体包括：计算所述ROI图中所有像素点的像素值，并统计各个所述像素值的数量，形成直方图，以计算得到所述直方图的中位数；上述基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正的步骤具体包括：
将像素点取值范围划分为第一像素区间及第二像素区间；
当所述中位数处于所述第一像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000101
当所述中位数处于所述第二像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000102
式中，Vout表示校正结果，A表示膨胀系数，Vin表示待校正的输入值，γ表示校正系数。
在本实施例的一些应用场景中，针对于直方图分析，即将上述掩膜处理获取的图片执行直方图操作。特别注意的是，该步骤只对目标区域的像素进行统计。像素的取值范围是[0,255]，直方图操作即为统计各个像素值在被统计图片中的数量，通过计算直方图的中位数，记为m，并将像素取值范围分五个区间，即第一个区间[0,50]，第二个区间[51,100]，第三个区间[101,150]，第四个区间[151,200]，及第五个区间[201,255]。如果中位数m落在上述第一像素区间，即第一、二个区间表示偏暗，落在上述第二像素区间，即第四、五个区间表示偏亮；在本实施例的一些应用场景中，针对gamma校正，上述膨胀系数A优选取值为1，对于较暗图片γ应取小于1但大于0的数，且越暗越靠近0；对于较亮图片γ应取大于1的数，且越亮值越大。本发明结合当前场景，对于中位数落在第一、二区间的图片γ取值分别为0.40，0.67；对于中位数落在第四、五区间的图片γ取值分别为2.5，4.8。
步骤S130，对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据。具体来说，在本步骤中，上述实际零部件数据即标准零部件数据(信息包含当前零部件型号，及类别信息及属性信息)，针对于以区分零部件仅需对类别信息比对；上述对矫正图像进行OCR识别之前需要建立端到端字符识别模型，将矫正图像输入端到端字符识别模型中，获取识别结果；针对端到端字符识别系统构建，本发明字符识别属于自然场景文字识别，可能会出现字符倾斜、倒立等情况，在数据采集、及训练需特别注意，此外，在本发明的一些应用场景中，该模型通常只针对英文字母、数字及特殊字符识别，不需要汉字数据，原始数据处理时，与普通目标检测数据标注不同的是，标注点不再是两点标注，而是多点多边形，至少是四点标注，与此同时，标注点的位置信息记录后，还需将标注点框起的字符标明；针对模型的训练，可以使用通用模型作为预训练模型，使用少量标注数据进行迁移学习，获得端到端字符识别模型。在基于于MES系统获取与所述标识码对应的待测装配件的实际零部件数据的过程中，需要先比对类别信息，再比对类别零部件属性信息，以区分不同工艺或材质零部件。
步骤S140，获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。在本实施例的一些应用场景中，如果比对成功，则不作处理，若比对不成功则执行报警操作。
综上，本发明上述实施例当中的产线装配检测方法，首先通过获取各个标准装配件的标准零部件数据，并基于标准装配件的图像特征将各个标准装配件进行分类别处理，得到各个标准装配件的类别信息，在检测过程中，通过采集待测装配件的图像数据，并对图像数据进行实例分割处理，得到待测装配件的零部件构成，以对应得到待测装配件的类别信息，通过根据上述类别信息判断待测装配件是否为易区分零部件，针对不易区分的零部件，通过对图像数据进行矫正处理，得到去除光照因素影响的矫正图像，然后通过对矫正图像进行OCR识别，基于待测装配件的零件标识码得到实际零部件数据，然后将实际零部件数据与标准零部件数据进行比对，来判断待测装配件是否存在装配异常，保证检测准确度，针对易区分的零部件，可以跳过图像矫正处理的步骤直接通过识别类别信息进行判断是否错装漏装，通过后验部署的检测方式，相对于先检测再装配的方式，减少了人工成本，提高了生产效率。
如图2所示，本发明的第二实施例提供了一种产线装配检测系统，包括：
构建模块100，用于获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息，储存所述标准零部件数据、所述图像特征及所述类别信息以建立数据库；
判断模块200，用于采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件；
矫正模块300，用于若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像；
识别模块400，用于对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据；
第一检测模块500，用于从所述数据库中获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
优选地，在本实施例中，上述构建模块100具体包括：
分组单元，用于根据各个所述标准装配件的图像数据的外观相似度，对所述标准装配件进行一次分类别处理，得到区分类别信息，所述区分类别信息包括易区分零部件组及非易区分零部件组。
优选地，在本实施例中，上述产线装配检测系统还包括：
分类单元，用于根据所述易区分零部件组中各标准装配件的外观特征，对所述易区分零部件组进行二次分类别处理，得到具体类别信息，所述具体类别信息包括与所述易区分零部件组中各标准装配件对应的标准零部件数据；
获取模块600，用于若所述待测装配件为易区分零部件，根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；
第二检测模块，用于将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
具体来说，在本实施例中，上述矫正模块300具体包括：
掩膜处理单元，用于利用实例分割处理得到的mask图与所述图像数据进行掩膜处理，得到ROI图；
矫正单元，用于对所述ROI图进行直方图分析处理，并基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正。
进一步地，在本实施例中，上述矫正模块300还包括：
处理单元，用于将所述mask图与所述图像数据按以下公式进行处理，得到ROI图：
Figure BDA0004090006840000131
式中，Q(i,j)为所述ROI图，S(i,j)为所述图像数据，M(i,j)为所述mask图，i与j分别表示图片的第i行、第j列。
进一步地，在本实施例中，上述矫正单元具体用于：
计算所述ROI图中所有像素点的像素值，并统计各个所述像素值的数量，形成直方图，以计算得到所述直方图的中位数。
更进一步地，在本实施例中，上述矫正单元还用于：将像素点取值范围划分为第一像素区间及第二像素区间；
当所述中位数处于所述第一像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000141
当所述中位数处于所述第二像素区间时根据以下公式对所述目标参数进行校正：
Figure BDA0004090006840000142
式中，Vout表示校正结果，A表示膨胀系数，Vin表示待校正的输入值，γ表示校正系数。
便于理解地，如图3-5所示，为本实施例的一些应用场景中产线设备的结构示意图，上述判断模块200包括设于生产流水线1一侧的图像传感器8及设于图像传感器8一侧的照明光源9，图像传感器8的一侧还设有用于对待测装配件4的图像数据进行处理的图像处理单元5及用于对比错误时报警的警报器7，生产流水线1一侧设有用于固定上述元器件的固定装置6，生产流水线1远离图像传感器8的一侧设有纯色背景板3，以便于后续图像的矫正处理，在本实施例中上述纯色背景板的颜色优选为白色。
综上，本实施例中的产线装配检测系统，通过设置构建模块100获取各个标准装配件的标准零部件数据，并基于标准装配件的图像特征将各个标准装配件进行分类别处理，得到各个标准装配件的类别信息，在检测过程中，通过判断模块200采集待测装配件的图像数据，并对图像数据进行实例分割处理，得到待测装配件的零部件构成，以对应得到待测装配件的类别信息，通过根据上述类别信息判断待测装配件是否为易区分零部件，针对不易区分的零部件，通过矫正模块300对图像数据进行矫正处理，得到去除光照因素影响的矫正图像，然后通过识别模块400对矫正图像进行OCR识别，基于待测装配件的零件标识码得到实际零部件数据，然后通过第一检测模块500将实际零部件数据与标准零部件数据进行比对，来判断待测装配件是否存在装配异常，保证检测准确度，针对易区分的零部件，可以跳过图像矫正处理的步骤直接通过获取模块600及第二检测模块识别类别信息进行判断是否错装漏装，通过后验部署的检测方式，相对于先检测再装配的方式，减少了人工成本，提高了生产效率。
本发明第三实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的方法。
本发明第四实施例提供了一种计算机设备，请参阅图6，所示为本发明第四实施例当中的数据处理设备，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器执行所述程序时实现上述的方法。
其中，处理器10在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是数据处理设备的内部存储单元，例如该数据处理设备的硬盘。存储器20在另一些实施例中也可以是数据处理设备的外部存储装置，例如数据处理设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器20还可以既包括数据处理设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于数据处理设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图6示出的结构并不构成对数据处理设备的限定，在其它实施例当中，该数据处理设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种产线装配检测方法，其特征在于，包括以下步骤：
获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息，储存所述标准零部件数据、所述图像特征及所述类别信息以建立数据库；
采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件；
若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像；
对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据；
从所述数据库中获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
2.根据权利要求1所述的产线装配检测方法，其特征在于，所述基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息的步骤具体包括：
根据各个所述标准装配件的图像数据的外观相似度，对所述标准装配件进行一次分类别处理，得到区分类别信息，所述区分类别信息包括易区分零部件组及非易区分零部件组。
3.根据权利要求2所述的产线装配检测方法，其特征在于，基于所述类别信息判断所述待测装配件是否为易区分零部件的步骤之后，所述方法还包括：
根据所述易区分零部件组中各标准装配件的外观特征，对所述易区分零部件组进行二次分类别处理，得到具体类别信息，所述具体类别信息包括与所述易区分零部件组中各标准装配件对应的标准零部件数据；
若所述待测装配件为易区分零部件，根据所述具体类别信息获取与所述待测装配件对应的实际零部件数据，并从所述数据库中获取与当前装配工位对应的标准零部件数据；
将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
4.根据权利要求1所述的产线装配检测方法，其特征在于，所述对所述图像数据进行矫正处理的步骤具体包括：
利用实例分割处理得到的mask图与所述图像数据进行掩膜处理，得到ROI图；
对所述ROI图进行直方图分析处理，并基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正。
5.根据权利要求4所述的产线装配检测方法，其特征在于，所述将所述mask图与所述图像数据进行掩膜处理，得到ROI图的步骤具体包括：
将所述mask图与所述图像数据按以下公式进行处理，得到ROI图：
Figure FDA0004090006820000021
式中，Q(i,j)为所述ROI图，S(i,j)为所述图像数据，M(i,j)为所述mask图，i与j分别表示图片的第i行、第j列。
6.根据权利要求4所述的产线装配检测方法，其特征在于，所述对所述ROI图进行直方图分析处理的步骤具体包括：
计算所述ROI图中所有像素点的像素值，并统计各个所述像素值的数量，形成直方图，以计算得到所述直方图的中位数。
7.根据权利要求6所述的产线装配检测方法，其特征在于，所述基于直方图分析处理的结果对所述ROI图的目标参数进行gamma校正的步骤具体包括：
将像素点取值范围划分为第一像素区间及第二像素区间；
当所述中位数处于所述第一像素区间时根据以下公式对所述目标参数进行校正：
Figure FDA0004090006820000031
当所述中位数处于所述第二像素区间时根据以下公式对所述目标参数进行校正：
Figure FDA0004090006820000032
式中，Vout表示校正结果，A表示膨胀系数，Vin表示待校正的输入值，γ表示校正系数。
8.一种产线装配检测系统，其特征在于，包括：
构建模块，用于获取各个标准装配件的标准零部件数据，基于所述标准装配件的图像特征对各个所述标准装配件进行分类别处理，得到各个所述标准装配件的类别信息，储存所述标准零部件数据、所述图像特征及所述类别信息以建立数据库；
判断模块，用于采集待测装配件的图像数据，并对所述图像数据进行实例分割处理，以识别所述待测装配件的类别信息，并基于所述类别信息判断所述待测装配件是否为易区分零部件；
矫正模块，用于若所述待测装配件为不易区分零部件，对所述图像数据进行矫正处理，得到去除光照因素影响的矫正图像；
识别模块，用于对所述矫正图像进行OCR识别，以获取所述待测装配件的零件标识码，并基于MES系统获取与所述标识码对应的待测装配件的实际零部件数据；
第一检测模块，用于从所述数据库中获取与当前装配工位对应的标准零部件数据，并将所述标准零部件数据与所述实际零部件数据进行比对，以判断所述待测装配件是否存在装配异常。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的产线装配检测方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的产线装配检测方法。
CN202310148697.6A 2023-02-22 2023-02-22 一种产线装配检测方法、系统、计算机及可读存储介质 Pending CN116128853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310148697.6A CN116128853A (zh) 2023-02-22 2023-02-22 一种产线装配检测方法、系统、计算机及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310148697.6A CN116128853A (zh) 2023-02-22 2023-02-22 一种产线装配检测方法、系统、计算机及可读存储介质

Publications (1)

Publication Number Publication Date
CN116128853A true CN116128853A (zh) 2023-05-16

Family

ID=86304544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310148697.6A Pending CN116128853A (zh) 2023-02-22 2023-02-22 一种产线装配检测方法、系统、计算机及可读存储介质

Country Status (1)

Country Link
CN (1) CN116128853A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452840A (zh) * 2023-06-19 2023-07-18 济宁联威车轮制造有限公司 一种基于数控机床的汽车零部件组装位置视觉校对系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452840A (zh) * 2023-06-19 2023-07-18 济宁联威车轮制造有限公司 一种基于数控机床的汽车零部件组装位置视觉校对系统
CN116452840B (zh) * 2023-06-19 2023-08-18 济宁联威车轮制造有限公司 一种基于数控机床的汽车零部件组装位置视觉校对系统

Similar Documents

Publication Publication Date Title
CN109829914B (zh) 检测产品缺陷的方法和装置
CN110705405B (zh) 目标标注的方法及装置
CN111179251A (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN101751572A (zh) 一种图案检测方法、装置、设备及系统
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN113095444B (zh) 图像标注方法、装置及存储介质
CN111583180A (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
CN116128853A (zh) 一种产线装配检测方法、系统、计算机及可读存储介质
CN115439411A (zh) 电路板元器件极性的检测方法、装置、介质和电子设备
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN111460198B (zh) 一种图片时间戳的审核方法及装置
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN115631169A (zh) 产品检测方法、装置、电子设备及存储介质
CN111126286A (zh) 车辆动态检测方法、装置、计算机设备及存储介质
CN113591548B (zh) 靶环识别方法及系统
CN111402185A (zh) 一种图像检测方法及装置
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN111428796B (zh) 一种基于深度学习的通用物品检测方法及系统
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN107976319B (zh) 一种轿车加装脚踏板的智能检测系统及方法
EP4358020A1 (en) Method of detecting errors in the placement of elements in the pcb
US20240135527A1 (en) Method of detecting errors in the placement of elements in the pcb
CN112818973B (zh) 一种用于表计识别的定位及读数的复查方法
CN114283413B (zh) 一种巡检场景下数字仪表读数的识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination