CN116485748A - 孔槽识别检测方法、系统、设备及介质 - Google Patents

孔槽识别检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN116485748A
CN116485748A CN202310440401.8A CN202310440401A CN116485748A CN 116485748 A CN116485748 A CN 116485748A CN 202310440401 A CN202310440401 A CN 202310440401A CN 116485748 A CN116485748 A CN 116485748A
Authority
CN
China
Prior art keywords
hole
slot
image
basic information
information frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310440401.8A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lyric Robot Boluo Intelligent Machinery Co ltd
Guangdong Lyric Robot Automation Co Ltd
Original Assignee
Lyric Robot Boluo Intelligent Machinery Co ltd
Guangdong Lyric Robot Intelligent Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lyric Robot Boluo Intelligent Machinery Co ltd, Guangdong Lyric Robot Intelligent Automation Co Ltd filed Critical Lyric Robot Boluo Intelligent Machinery Co ltd
Priority to CN202310440401.8A priority Critical patent/CN116485748A/zh
Publication of CN116485748A publication Critical patent/CN116485748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种孔槽识别检测方法、系统、设备及介质,其中，孔槽识别检测方法包括如下的步骤：获取待测图像；建立第一标准数据库和第二标准数据库；利用第一标准数据库识别获取待测图像中单个孔槽的基本信息框；利用第二标准数据库校正基本信息框内的孔槽信息；将校正后的孔槽信息与目标数据库进行检测匹配。本发明能实现清晰准确地识别出孔槽的类型和尺寸，避免出现错检、误判的问题，减少检测过程中的数据处理量，同时能够实现对模糊图像进行精准定位、检测尺寸，满足后续对比或匹配检测需求。

Description

孔槽识别检测方法、系统、设备及介质
技术领域
本发明属于机械加工检测技术领域，特别涉及一种孔槽识别检测方法、系统、设备及介质。
背景技术
在工业智能制造过程中，对板材或组件进行检测是验证产品质量的一道重要工序。因设计或后续的工序需求，在板材或组件上加工出各种各样(类型、尺寸不同)的孔槽。然而，工作人员在研究过程中发现，在对孔槽进行检测的过程中，存在着如下的技术问题：
(1)在低配置的图像采集环境下，采集后的图像经常出现曝光、图像噪音大以及图像清晰度不足的情况，因无法清楚地识别而造成视觉检测工作出现错检或检测效果差的现象。
(2)对于图像噪音大的孔槽，孔槽的类别因视觉检测出现误判，从而导致工序匹配错误。
(3)若单独采用YOLO，则数据处理量大，检测速度慢；若直接采用U-Net，则无法处理高分辨率的图像。
发明内容
本发明目的在于提供一种孔槽识别检测方法、系统、设备及介质，能实现清晰准确地识别出孔槽的类型和尺寸，避免出现错检、误判的问题，减少检测过程中的数据处理量，同时能够实现对模糊图像进行精准定位、检测尺寸，满足后续对比或匹配检测需求。
为解决上述技术问题所采用的技术方案：
第一方面，本发明提供一种孔槽识别检测方法，包括如下的步骤：
获取待测图像；
建立第一标准数据库和第二标准数据库；
利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框；
利用所述第二标准数据库校正所述基本信息框内的孔槽信息；
将校正后的所述孔槽信息与目标数据库进行检测匹配。
本发明提供的孔槽识别检测方法至少具有如下的有益效果：通过所建立的第一标准数据库对所获取的待测图像进行处理，清楚识别出待测图像中每个孔槽的位置，从而获取与孔槽相对应的基本信息框；然后，借助第二标准数据库对所获取的每个基本信息框进行处理，将基本信息框内的孔槽信息进行校正，消除图像噪音，以获得准确的孔槽信息；通过将校正后的孔槽信息与目标数据库中的标准数据进行比对匹配，以剔除出不能匹配的待测件，从而完成检测匹配工序；而且，还能够减少检测过程中的数据处理量，提升检测速度，很好地解决了现有技术中容易出现错检、误判、检测效果差和效率慢的问题。
作为上述技术方案的进一步改进，所述建立第一标准数据库，包括如下的步骤：
获取孔槽数据集和YOLO预训练模型；
根据所述孔槽数据集对所述YOLO预训练模型进行训练并测试，以获得作为第一标准数据库的YOLO目标检测模型。
在第一标准数据库的建立工作中，先获取已建立的孔槽数据集和已构造的YOLO预训练模型，然后借助孔槽数据集进行训练并测试，从而生成YOLO目标检测模型，将YOLO目标检测模型作为第一标准数据库，对待测图像进行识别检测，以获得单个孔槽对应的基本信息框。
作为上述技术方案的进一步改进，所述YOLO预训练模型的训练次数大于300次，所述YOLO目标检测模型的IOU参数的标准值为：0.95＜IOU≤1。
如此设置，能够提高YOLO目标检测模型的目标检测准确程度，避免出现误判问题而导致工序匹配错误。
作为上述技术方案的进一步改进，在利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框之前，还包括如下的步骤：对所述YOLO目标检测模型的置信度参数进行设置，其中，所述置信度参数大于或等于所述IOU参数的标准值。
将YOLO目标检测模型内置的置信度参数调整到大于或等于IOU参数的标准值，能够消除待测图像中不完整孔槽图像特征的干扰，从而能够对待测图像中的孔槽图像的基本信息进行准确预测，输出预测孔槽图像的位置，并获得孔槽图像对应的基本信息框。
作为上述技术方案的进一步改进，所述利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框，包括如下的步骤：
通过YOLO目标检测模型识别所述待测图像中的单个孔槽信息，并输出预测所述单个孔槽的基本信息框；
获取所述基本信息框的位置信息；
根据所述位置信息将所述基本信息框剪裁。
利用所生成的YOLO目标检测模型处理待测图像，能对单个孔槽的位置和尺寸进行目标性识别，从而能获得单个孔槽的基本信息框的位置信息；然后根据基本信息框的位置信息，将包含单个孔槽的基本信息框进行准确剪裁，以便给第二标准数据库提供待处理图像。
作为上述技术方案的进一步改进，所述获取所述基本信息框的位置信息，包括如下的步骤：
获取基本信息框的中心点坐标、高和宽；
根据所述基本信息框的中心坐标、高和宽算出基本信息框的对角坐标。
在利用YOLO目标检测模型对待测图像进行孔槽的目标检测时，能够获得孔槽对应的基本信息框的基本信息，包括其中心点坐标、高和宽，通过反归一化处理，能够获取基本信息框的对角坐标，从而确定基本信息框的位置和轮廓，完成基本信息框的位置信息获取。
作为上述技术方案的进一步改进，所述建立第二标准数据库，包括如下的步骤：
获取孔槽数据集和U-Net预训练模型；
根据所述孔槽数据集对所述U-Net预训练模型进行训练并测试，以获得作为第二标准数据库的U-Net语义分割模型。
在U-Net语义分割模型的建立过程中，在获取已创建的孔槽数据集和已构建的U-Net预训练模型后进行训练和测试，能够得到U-Net语义分割模型，然后将U-Net语义分割模型作为第二标准数据库，对基本信息框内的单个孔槽进行细节特征处理，从而获得准确的孔槽信息如孔槽类型、孔槽尺寸，以便与目标数据库的标准数据进行对比匹配。
作为上述技术方案的进一步改进，所述U-Net预训练模型的训练次数大于300次，所述U-Net语义分割模型的MIOU参数的标准值为：0.95＜MIOU≤1。
如此设置，能够提高U-Net语义分割模型的检测精准度，有助于获取孔槽的准确信息包括尺寸数据，从而提升检测匹配效果。
作为上述技术方案的进一步改进，所述利用所述第二标准数据库校正所述基本信息框内的孔槽信息，包括如下的步骤：
通过U-Net语义分割模型处理所述基本信息框，并获取孔槽轮廓清晰的目标图像；
提取所述目标图像的孔槽轮廓特征，并获取所述孔槽轮廓的尺寸信息。
U-Net语义分割模型能够对基本信息框内的单个孔槽进行去噪或加深优化处理，从而能使基本信息框内的单个孔槽轮廓达到清晰易辨别的程度，然后，能容易对孔槽轮廓进行特征提取，获得孔槽轮廓的准确尺寸信息，从而完成对图像噪音大、模糊的单个孔槽图像的校正处理。
作为上述技术方案的进一步改进，在所述获取孔槽数据集之前，包括如下的步骤：
采集若干张待测图像；
确定每张所述待测图像上的单个孔槽信息，并为所述单个孔槽信息添加标签，以建立孔槽数据集。
在孔槽数据集建立的过程中，先收集若干张待测图像，然后针对每张待测图像上的单个孔槽信息如孔槽类型、位置等进行人为识别并打标签，从而完成孔槽数据集的创建工作。
第二方面，本发明提供一种孔槽识别检测系统，包括：
获取模块，用于获取待测图像；
数据库建立模块，用于建立第一标准数据库和第二标准数据库；
识别获取模块，用于利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框；
校正模块，用于利用所述第二标准数据库校正所述基本信息框内的孔槽信息；
检测匹配模块，用于将校正后的所述孔槽信息与目标数据库进行检测匹配。
第三方面，本发明提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如上述技术方案中任一所述的孔槽识别检测方法。
第四方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述技术方案中任一所述的孔槽识别检测方法。
附图说明
下面结合附图和实施例对本发明做进一步的说明；
图1是本发明实施例所提供的孔槽识别检测方法的流程示意图；
图2是本发明实施例所提供的孔槽识别检测方法中的建立第一标准数据库的流程示意图；
图3是本发明实施例所提供的孔槽识别检测方法中的第一标准数据库进行识别前的流程示意图；
图4是本发明实施例所提供的孔槽识别检测方法中的步骤S300的细化流程示意图；
图5是本发明实施例所提供的孔槽识别检测方法中的步骤S320的细化流程示意图；
图6是本发明实施例所提供的孔槽识别检测方法中的建立第二标准数据库的细化流程示意图；
图7是本发明实施例所提供的孔槽识别检测方法中的步骤S400的细化流程示意图；
图8是本发明实施例所提供的孔槽识别检测方法中的创建孔槽数据集的细化流程示意图；
图9是本发明实施例所提供的孔槽识别检测系统的组成结构示意图；
图10是剪裁后单个孔槽的图像的示意图；
图11是孔槽轮廓清晰的黑白图像的示意图；
图12是经过YOLO目标检测模型和U-Net语义分割模型处理后的目标检测效果图。
附图中标记如下：610、获取模块；620、数据库建立模块；630、识别获取模块；640、校正模块；650、检测匹配模块。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个及以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二、第三只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1至图12，下面对本发明的孔槽识别检测方法、系统、设备及介质举出若干实施例。
如图1所示，本发明实施例一提供了一种孔槽识别检测方法，能够应用于带有不同类型尺寸的孔槽的板材或组件的检测匹配工作中，能实现清晰准确地识别获取板材或组件上孔槽的类型及尺寸，并与数据库中的标准数据进行比对，以判断板材或组件是否与后续的工序相匹配，从而完成孔槽的检测工作，避免出现错检、误判的问题，减少检测过程中的数据处理量，提升检测速度。
孔槽识别检测方法能够实现对模糊图像进行精准定位、检测尺寸，满足后续对比或匹配检测需求，很好地解决了现有技术中容易出现错检、误判、检测效果差和效率慢的问题。
该孔槽识别检测方法包括如下的步骤：
步骤S100：获取待测图像。
步骤S200：建立第一标准数据库和第二标准数据库。
步骤S300：利用第一标准数据库识别获取待测图像中单个孔槽的基本信息框。
步骤S400：利用第二标准数据库校正基本信息框内的孔槽信息。
步骤S500：将校正后的孔槽信息与目标数据库进行检测匹配。
在使用该孔槽识别检测方法时，通过所建立的第一标准数据库对所获取的待测图像进行处理，清楚识别出待测图像中每个孔槽的位置，从而获取与孔槽相对应的基本信息框；然后，借助第二标准数据库对所获取的每个基本信息框进行处理，将基本信息框内的孔槽信息进行校正，消除图像噪音，以获得准确的孔槽信息；通过将校正后的孔槽信息与目标数据库中的标准数据进行比对匹配，以剔除出不能匹配的待测件，从而完成检测匹配工序。
其中，如图1所示，关于步骤S100，具体的，可以采用相机来对待测件进行拍照，由于是针对待测件上的孔槽特征进行检测，因此，对待测件上的设有孔槽的表面进行拍照处理，以获取高分辨率的彩色图像，然后，将彩色图像作为待测图像，并传输至孔槽识别检测系统中。在本实施例中，可以利用机器视觉系统来完成待测图像的采集工作。
如图1所示，关于步骤S200，第一标准数据库和第二标准数据库的建立次序不限定。由于第一标准数据库需要对待测图像中的单个孔槽进行识别，具体的，能够识别出孔槽的类型以及基本坐标位置，并得到包含单个孔槽的基本信息框，因此，需要构建具有如此功能的第一标准数据库。在本实施例中，将YOLO目标检测模型作为第一标准数据库。
如图2所示，建立第一标准数据库，也就是获得YOLO目标检测模型，具体的步骤包括：
步骤S210：获取孔槽数据集和YOLO预训练模型。
步骤S220：根据孔槽数据集对YOLO预训练模型进行训练并测试，以获得作为第一标准数据库的YOLO目标检测模型。
其中，在获取孔槽数据集的步骤之前，包括如下的步骤：
步骤S201：采集若干张待测图像。
可以理解的是，在创建孔槽数据集的工作中，需要收集整理好相关素材。具体的，收集若干数量的待测图像，此时“若干”表示待测图像的数量足够多，增大训练样本的容量，旨在提高YOLO目标检测模型的检测精度，比如，可以收集成百上千张待测图像来作为孔槽数据集。可以通过相机等图像采集设备来收集带孔槽的待测图像，每个待测图像上的孔槽在数量、位置、类型及尺寸可以是相同或不同。
需要检测匹配的孔槽类型包括圆形孔槽、矩形通孔和腰形通孔中的任意组合。其中，圆形孔槽可划分为圆形通孔和圆形盲孔。比如，可以只针对圆形孔槽和腰形通孔进行检测匹配。又如，针对圆形孔槽、腰形通孔和矩形通孔进行检测。
步骤S202：确定每张待测图像上的单个孔槽信息，并为单个孔槽信息添加标签，以建立孔槽数据集。
在完成待测图像的采集工作后，工作人员需要对每张待测图像进行打标签处理。YOLO目标检测模型能够识别出待测图像中的孔槽信息如孔槽类型、孔槽位置，因此，采用人工方式对每张待测图像中所显示的所有孔槽进行孔槽信息如类型特征、位置特征的识别、确定，然后添加相应的标签。在YOLO神经网络技术中，使用矩形框去选择需要的标签。
举个例子来说明，待测图像中的孔槽图像包括矩形通孔图像、腰形通孔图像，那么，可以利用现有的labelimg软件对相应的孔槽图像进行打标签，以便YOLO预训练模型能区分孔槽的类型，从而创建出孔槽数据集。
可以理解的是，所创建的数据集可以划分为训练集、验证集和测试集，这样更加方便YOLO预训练模型的训练和测试。至于训练集、验证集和测试集之间的划分比例，可以根据实际情况进行调整。比如，可以按照6:2:2的比例划分为训练集、验证集和测试集。
关于获取YOLO预训练模型的步骤以及步骤S220，由于YOLO神经网络训练技术已经很成熟，可以在网上下载YOLO预训练模型(也即YOLO的源代码)，然后，将准备好的孔槽数据集添加至YOLO预训练模型中并配置代码参数，进行模型训练。完成模型训练后，通过测试集进行测试，从而获取能作为第一标准数据库的YOLO目标数据模型。
可以理解的是，基于训练模型标准与IOU参数值，完成YOLO预训练模型的训练。其中，训练模型标准是指通过训练次数确定训练的深度和广度，将YOLO预训练模型的训练次数大于300次。
由于YOLO预训练模型的每一轮训练都会产生一个IOU(全称：intersection overunion，也就是交并比)参数值，IOU参数值常用来衡量目标检测任务中预测结果位置信息的准确程度，因此，随着训练次数的增加，其准确度越高；随着训练次数的增加，IOU参数值会趋近不变，此时，则达到IOU参数值的收敛状态，取该收敛状态时的IOU参数值为IOU参数的标准值，其对应的数据模型为检测孔槽类型的YOLO目标检测模型。在所构建的YOLO目标检测模型中，IOU参数的标准值可以根据实际情况设置，但要满足以下的条件：0.95＜IOU≤1。
采用YOLO算法通过对图像深度训练后，获得IOU参数的优化，能够提高YOLO目标检测模型的检测准确程度，避免出现误判问题而导致工序匹配错误。
可以理解的是，在YOLO的设计理念遵循端到端训练和实时检测。YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box(也即边界框)的位置及其所属的类别。具体的，YOLO会将输入图像划分为S*S个网格，如果一个物体的中心落在某网格内，则相应的网格负责检测该物体。在训练和测试时，每个网格预测出B个boundingbox(也即边界框)，这个bounding box对应5个预测参数，分别是bounding box的中心位置和它的高和宽，以及这次预测的置信度。在本实施例中，将bounding box设为基本信息框。每个网格不仅只预测B个bounding box，还要负责预测这个bounding box中的物体是什么类别的，比如，预测孔槽的类型。
如图1和图3所示，在执行步骤S300之前，还包括步骤S290：对YOLO目标检测模型的置信度参数进行设置，其中，置信度参数大于或等于所述IOU参数的标准值。
在获得训练好的YOLO目标检测模型后，对置信度参数进行适当调整设置，将置信度参数大于或等于IOU参数的标准值。比如，将YOLO目标检测模型的IOU参数的标准值设置为0.96，那么，置信度参数可以设置为0.97。当然，在利用YOLO目标检测模型对待测图像进行目标识别检测时，可以根据YOLO目标检测模型输出预测的结果去调整下置信度参数，而且，确保将置信度参数大于或等于IOU参数的标准值。
通过将置信度参数调整到大于或等于IOU参数的标准值，能够消除待测图像中不完整的孔槽图像特征的干扰，从而能够实现YOLO目标检测模型对待测图像中的孔槽图像的基本信息进行准确预测，输出预测孔槽图像的位置，并获得孔槽图像对应的基本信息框。
如图1和图4所示，关于步骤S300，具体包括如下的步骤：
步骤S310：通过YOLO目标检测模型识别待测图像中的单个孔槽信息，并输出预测单个孔槽的基本信息框。
步骤S320：获取基本信息框的位置信息。
步骤S330：根据位置信息将基本信息框剪裁。
其中，如图5所示，步骤S320具体包括如下的步骤：
步骤S321：获取基本信息框的中心点坐标、高和宽。
步骤S322：根据基本信息框的中心坐标、高和宽算出基本信息框的对角坐标。
在利用YOLO目标检测模型对待测图像中的单个孔槽图像进行目标检测时，会输出预测单个孔槽的边界框，并能够获得边界框的基本信息，包括边界框的中心点坐标(x，y)、高h和宽w以及所属的类型。在本实施例中，基本信息框为边界框，因此，经过YOLO目标检测模型处理后，可以获得基本信息框的中心点坐标、高和宽以及孔槽图像的类型。然后，通过反归一化处理，能够获取基本信息框的对角坐标，从而确定基本信息框的位置信息，以便后续沿着基本信息框的边沿进行裁切处理，从而能够获得单个孔槽的图像。
可以理解的是，基本信息框所选中的图像为单个孔槽的图像，孔槽轮廓位于基本信息框内。通过将待测图像中的所有孔槽图像的类型和位置进行识别，以便对每个基本信息框进行剪裁以得到单个孔槽的图像，进而能够利用第二标准数据库对单个孔槽图像中的孔槽轮廓进行识别检测。
比如，设定基本信息框的左上角坐标为(x1，y1)，右下角坐标为(x2，y2)，那么，可以根据如下的公式计算出基本信息框的左上角坐标和右下角坐标，并以左上角坐标(x1，y1)和右下角坐标(x2，y2)来确定基本信息框的位置。其中，x1＝x-w/2，y1＝y-h/2；x2＝x+w/2，y2＝y+h/2。当然，也可以使用左下角坐标(x1，y2)和右上角坐标(x2，y1)来确定基本信息框的位置。
在进行孔槽识别检测时，首先，通过YOLO目标检测模型对待测图像进行处理，利用YOLO目标检测模型所具有的高像素色彩优势，能够清楚识别出待测图像中孔槽图像的类型及基本坐标位置，并对孔槽图像的位置和尺寸进行目标性识别，从而确定与孔槽图像相对应的基本信息框。
在待测图像中确定了基本信息框的位置后，根据基本信息框的位置信息，通过裁切处理方式对基本信息框进行剪裁，从而得到单个孔槽的图像，将单个孔槽的图像定义为待优化图像，如图10所示。图10只是示出部分剪裁出来的待优化图像，此时的待优化图像具有图像噪音大、图像清晰度不足的缺点，导致孔槽轮廓不易被清楚识别而无法准确获取孔槽信息如尺寸数据。因此，接下来使用第二标准数据库对待优化图像进行细节特征处理，具体的，进行去噪或加深优化处理。在本实施例中，第二标准数据库采用U-Net语义分割模型。
如图1和图6所示，建立第二标准数据库，也就是获得U-Net语义分割模型，具体步骤包括：
步骤S230：获取孔槽数据集和U-Net预训练模型。
步骤S240：根据孔槽数据集对U-Net预训练模型进行训练并测试，以获得作为第二标准数据库的U-Net语义分割模型。
可以理解的是，U-Net是一个语义分割模型，首先利用卷积进行下采样，然后提取出一层又一层的特征，利用这一层又一层的特征，其再进行上采样，最后得出一个每个像素点对应其种类的图像。本领域技术人员应当理解U-Net的网络组成结构及原理，在此不展开说明。
其中，在建立孔槽数据集的步骤中，可以使用在建立YOLO目标检测模型的步骤中所所收集的待测图像，也可以重新获取新的待测图像。具体的，如图8所示，可以按照步骤S201和步骤S202来进行。可以理解的是，U-Net对应的孔槽数据集和YOLO对应的孔槽数据集在打标签方式上是不同的，在U-Net中，一般采用不规则的形状去打标签。
同样的，U-Net神经网络训练技术目前很成熟，可以通过网上下载U-Net预训练模型(也即U-Net的源代码)，接着将创建的孔槽数据集和U-Net预训练模型传输至孔槽识别检测系统中，利用孔槽数据集进行U-Net预训练模型的训练，并通过测试集进行测试，进而获得U-Net语义分割模型。
可以理解的是，基于训练模型标准和MIOU参数值，完成U-Net预训练模型的训练。其中，训练模型标准是指通过训练次数确定训练的深度和广度，将U-Net预训练模型的训练次数大于300次。
由于U-Net预训练模型的每一轮训练都会产生一个MIOU(也即Mean Intersectionover Union，平均交并比)参数值，MIOU参数值常用来衡量目标检测任务中预测结果位置信息的准确程度，因此，随着训练次数的增加，其准确度越高；随着训练次数的增加，MIOU参数值会趋近不变，此时，则达到MIOU参数值的收敛状态，取该收敛状态时的MIOU参数值为MIOU参数的标准值，其对应的数据模型为U-NET语义分割模型。在所构建的U-Net语义分割模型中，MIOU参数的标准值可以根据实际情况设定，但是要满足如下的条件：0.95＜MIOU≤1。如此设置，能够提高U-Net语义分割模型的检测精准度，有助于获取孔槽的准确尺寸，从而提升检测匹配效果。
如图1和图7所示，关于步骤S400，具体包括如下的步骤：
步骤S410：通过U-Net语义分割模型处理基本信息框，并获取孔槽轮廓清晰的目标图像。
步骤S420：提取目标图像的孔槽轮廓特征，并获取孔槽轮廓的尺寸信息。
对基本信息框施以剪裁处理后，可以得到能满足U-Net语义分割模型处理的待优化图像，然后通过训练好的U-Net语义分割模型对待优化图像进行匹配数据，把色彩置换成黑白，同时消除图像轮廓噪音，从而获得孔槽轮廓加深的黑白图像，也即利用U-Net语义分割模型将待优化图像转换为二值化图像，如图11所示，使得孔槽的轮廓在检测过程中能更加容易被识别，以便容易准确地获取孔槽轮廓的尺寸数据，因此，U-Net语义分割模型能够很好地完成基本信息框内的孔槽信息校正处理。
可以理解的是，U-Net语义分割模型会对待优化图像的每一个像素点进行分类、去除噪点、黑边特征，进而获得仅含特征和黑色背景的黑白图像。另外，每个待测图像中的孔槽图像数量不限于一个、两个。
如图12所示，图12为目标检测效果图，经过U-Net语义分割模型处理后的黑白图像放置到原始的待测图像中，此时，孔槽轮廓清晰易识别。
可以理解的是，U-Net语义分割模型作为第二标准数据库，在剪裁得到待优化图像后，能够对孔槽图像的细节特征进行去噪或加深的优化处理，从而获得孔槽轮廓清晰的黑白图像，使得在检测过程中更加容易识别出孔槽轮廓的结构，从而能快速准确地获取孔槽的准确尺寸。
在获得孔槽轮廓清晰的黑白图像后，可以对黑白图像进行特征提取，以获取孔槽轮廓的尺寸数据。比如，如图11所示，可以利用轮廓提取算法来获取孔槽轮廓及其外接矩形，进而获得孔槽的尺寸数据。然后，将所获得的孔槽轮廓的尺寸数据与数据库中的标准的尺寸数据进行比对，判断是否匹配，从而剔除出存在孔槽图像位置或孔槽尺寸不合格的待测件，完成检测匹配工序。
在本发明实施例所提供的孔槽识别检测方法，通过将YOLO目标检测模型和U-Net语义分割模型进行巧妙的有机结合，采用卷积算法与传统视觉算法相结合，对待测件(如板材或组件)的高分辨率彩色图像进行分步处理，实现清楚准确地识别获取到彩色图像中孔槽的类型和尺寸，从而完成对模糊图像进行精准定位、检测尺寸，满足后续对比或匹配检测需求，很好地解决在视觉检测过程中无法清楚识别而导致出现误判、错检、检测效果差的问题，同时，能减少检测过程中的数据处理量，提升整个检测匹配工作的速度，克服现有技术中所存在的检测速度慢或无法处理高分辨率图像的缺点。
如图1和图9所示，基于与上述孔槽识别检测方法同样的发明构思，本发明实施例还提供一种孔槽识别检测系统，具体包括：
获取模块610，用于获取待测图像；
数据库建立模块620，用于建立第一标准数据库和第二标准数据库；
识别获取模块630，用于利用第一标准数据库识别获取待测图像中单个孔槽的基本信息框；
校正模块640，用于利用第二标准数据库校正基本信息框内的孔槽信息；
检测匹配模块650，用于将校正后的孔槽信息与目标数据库进行检测匹配。
另外，本发明实施例还提供一种电子设备，该电子设备包括：存储器、处理器。
处理器和存储器可以通过总线或者其他方式进行连接，实现数据传输。存储器用于存储计算机程序。处理器执行该计算机程序实现如上述实施例的孔槽识别检测方法。
本发明实施例还提供一种计算机可读存储介质。
该计算机可读存储介质用于存储有计算机程序。该计算机程序被处理器运行时执行如上述实施例的孔槽识别检测方法。
本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例的孔槽识别检测方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。
此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。
更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：移动硬盘、U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (13)

1.一种孔槽识别检测方法，其特征在于，包括如下的步骤：
获取待测图像；
建立第一标准数据库和第二标准数据库；
利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框；
利用所述第二标准数据库校正所述基本信息框内的孔槽信息；
将校正后的所述孔槽信息与目标数据库进行检测匹配。
2.根据权利要求1所述的孔槽识别检测方法，其特征在于，所述建立第一标准数据库，包括如下的步骤：
获取孔槽数据集和YOLO预训练模型；
根据所述孔槽数据集对所述YOLO预训练模型进行训练并测试，以获得作为第一标准数据库的YOLO目标检测模型。
3.根据权利要求2所述的孔槽识别检测方法，其特征在于，所述YOLO预训练模型的训练次数大于300次，所述YOLO目标检测模型的IOU参数的标准值为：0.95＜IOU≤1。
4.根据权利要求3所述的孔槽识别检测方法，其特征在于，在利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框之前，还包括如下的步骤：对所述YOLO目标检测模型的置信度参数进行设置，其中，所述置信度参数大于或等于所述IOU参数的标准值。
5.根据权利要求2所述的孔槽识别检测方法，其特征在于，所述利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框，包括如下的步骤：
通过YOLO目标检测模型识别所述待测图像中的单个孔槽信息，并输出预测所述单个孔槽的基本信息框；
获取所述基本信息框的位置信息；
根据所述位置信息将所述基本信息框剪裁。
6.根据权利要求5所述的孔槽识别检测方法，其特征在于，所述获取所述基本信息框的位置信息，包括如下的步骤：
获取基本信息框的中心点坐标、高和宽；
根据所述基本信息框的中心坐标、高和宽算出基本信息框的对角坐标。
7.根据权利要求1所述的孔槽识别检测方法，其特征在于，所述建立第二标准数据库，包括如下的步骤：
获取孔槽数据集和U-Net预训练模型；
根据所述孔槽数据集对所述U-Net预训练模型进行训练并测试，以获得作为第二标准数据库的U-Net语义分割模型。
8.根据权利要求7所述的孔槽识别检测方法，其特征在于，所述U-Net预训练模型的训练次数大于300次，所述U-Net语义分割模型的MIOU参数的标准值为：0.95＜MIOU≤1。
9.根据权利要求7所述的孔槽识别检测方法，其特征在于，所述利用所述第二标准数据库校正所述基本信息框内的孔槽信息，包括如下的步骤：
通过U-Net语义分割模型处理所述基本信息框，并获取孔槽轮廓清晰的目标图像；
提取所述目标图像的孔槽轮廓特征，并获取所述孔槽轮廓的尺寸信息。
10.根据权利要求2或7所述的孔槽识别检测方法，其特征在于，在所述获取孔槽数据集之前，包括如下的步骤：
采集若干张待测图像；
确定每张所述待测图像上的单个孔槽信息，并为所述单个孔槽信息添加标签，以建立孔槽数据集。
11.一种孔槽识别检测系统，其特征在于，包括：
获取模块，用于获取待测图像；
数据库建立模块，用于建立第一标准数据库和第二标准数据库；
识别获取模块，用于利用所述第一标准数据库识别获取所述待测图像中单个孔槽的基本信息框；
校正模块，用于利用所述第二标准数据库校正所述基本信息框内的孔槽信息；
检测匹配模块，用于将校正后的所述孔槽信息与目标数据库进行检测匹配。
12.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如权利要求1至10中任一所述的孔槽识别检测方法。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10中任一所述的孔槽识别检测方法。
CN202310440401.8A 2023-04-21 2023-04-21 孔槽识别检测方法、系统、设备及介质 Pending CN116485748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310440401.8A CN116485748A (zh) 2023-04-21 2023-04-21 孔槽识别检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310440401.8A CN116485748A (zh) 2023-04-21 2023-04-21 孔槽识别检测方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN116485748A true CN116485748A (zh) 2023-07-25

Family

ID=87211406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310440401.8A Pending CN116485748A (zh) 2023-04-21 2023-04-21 孔槽识别检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116485748A (zh)

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108182383B (zh) 一种车窗检测的方法及设备
CN113240623B (zh) 一种路面病害检测方法及装置
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114972191A (zh) 一种耕地变化检测方法和装置
CN110378254B (zh) 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
JP2024050880A (ja) 文字分割方法、装置、および、コンピュータ可読記憶媒体
CN113820333B (zh) 电池极片异常检测方法、装置、上位机及检测系统
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113192013A (zh) 一种反光表面缺陷检测方法、系统及电子设备
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN116798036A (zh) 用于识别和校验答题卡客观题识别结果的方法及装置
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN117237371A (zh) 基于实例感知扩散模型的结肠组织学图像腺体分割方法
CN114627113B (zh) 一种印制电路板缺陷检测方法及系统及装置及介质
CN115100656B (zh) 空白答题卡识别方法、系统、存储介质及计算机设备
CN116485748A (zh) 孔槽识别检测方法、系统、设备及介质
CN113284158B (zh) 一种基于结构约束聚类的图像边缘提取方法及系统
CN111932515B (zh) 产品残留类缺陷的短路检测方法及系统及缺陷分类系统
CN114240924A (zh) 一种基于数字化技术的电网设备质量评估方法
CN114677552A (zh) 用于深度学习的指纹细节数据库标注方法和系统
CN115424062B (zh) 一种自动识别斜线网的方法及装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination