CN116310424A - 基于图像识别的设备质量评估方法、装置、终端和介质 - Google Patents

基于图像识别的设备质量评估方法、装置、终端和介质 Download PDF

Info

Publication number
CN116310424A
CN116310424A CN202310552120.1A CN202310552120A CN116310424A CN 116310424 A CN116310424 A CN 116310424A CN 202310552120 A CN202310552120 A CN 202310552120A CN 116310424 A CN116310424 A CN 116310424A
Authority
CN
China
Prior art keywords
marker
image
risk
equipment
matching degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310552120.1A
Other languages
English (en)
Other versions
CN116310424B (zh
Inventor
张发恩
贲圣兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chuangxin Qizhi Technology Group Co ltd
Original Assignee
Qingdao Chuangxin Qizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Chuangxin Qizhi Technology Group Co ltd filed Critical Qingdao Chuangxin Qizhi Technology Group Co ltd
Priority to CN202310552120.1A priority Critical patent/CN116310424B/zh
Publication of CN116310424A publication Critical patent/CN116310424A/zh
Application granted granted Critical
Publication of CN116310424B publication Critical patent/CN116310424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像识别的设备质量评估方法、装置、终端和介质，属于设备质量评估技术领域，方法包括：获取待评估设备的外观图像并识别出多个检测点，并识别出若干标志物，获得各标志物对应的标志物轮廓；根据标志物轮廓对外观图像进行分割，获得对应标志物图像；将各标志物图像与预设图像进行匹配，并分别计算各标志物图像对应的匹配度，基于匹配度确定是否存在风险并识别风险类型。本申请相比现有技术，对外观缺陷引起的质量异常进行识别，降低了对数据库及样本数据的依赖性，提高了检测精度；此外，可以确定异常风险是外界因素引起的还是设备内部因素引起的，以解决如何实现对设备外观缺陷反映的质量异常进行精细评估的问题。

Description

基于图像识别的设备质量评估方法、装置、终端和介质
技术领域
本发明涉及设备质量评估领域，尤其涉及一种基于图像识别的设备质量异常评估方法、装置、终端设备和计算机可读存储介质。
背景技术
设备与产品的生产制造息息相关。而设备的质量会直接影响到生产制造的效率。当设备的产生质量异常、缺陷甚至出现故障时，可能会导致生产工序的停止，进而导致产品的生产制造受到影响；严重时，甚至可能会产生连环效应，例如影响到产品后续其他工艺的正常运行，或影响到其他产品的生产制造。
对设备质量的考核指标主要由生产性、可靠性、节能型、维修性、耐用性和环保型等。其中，机器设备的生产系效率又被称为生产率，通常表现为功率、行程和速率等一系列技术参数。而在某些设备的质量出现异常或者出现故障时，这些问题在一定程度上会反映到设备的外观，例如设备出现漏油的问题，或者其外观上出现了一定程度的破损等。现有技术对设备的外观进行检测主要是通过深度卷积神经网络对设备外观图像进行特征提取，与图像数据库进行比对，以确定其是否存在外观缺陷。但是，这种现有技术较为依赖样本本身的质量，因此对数据库具有一定的依赖性；此外，其并不能较好地识别外观缺陷的类型或缺陷引起的风险的来源，不利于设备的管理人员对风险进行排查，因此，其并没有实现对设备外观缺陷反映的质量异常进行精细评估。
发明内容
本发明提供了一种基于图像识别的设备质量异常评估方法、装置、终端设备和计算机可读存储介质，可以确定异常风险是外界因素引起的还是设备内部因素引起的，以解决现有技术无法实现对设备外观缺陷反映的质量异常进行精细评估的技术问题。
为了解决上述技术问题，本发明实施例提供了一种基于图像识别的设备质量异常评估方法，包括：
获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓；
根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型；
将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
作为优选方案，在所述将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，还包括：
通过所述标志物轮廓获得各标志物对应的唯一像素坐标；
所述设备质量异常评估方法还包括：
在所述待评估设备存在由外界因素引起的异常风险时，将第一预警信息发送至管理人员终端；其中，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像；
在所述待评估设备存在由设备内部因素引起的异常风险时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率，计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
作为优选方案，所述通过所述标志物轮廓获得各标志物对应的唯一像素坐标，具体为：
当识别的标志物为规则形状时，将标志物的中心像素坐标作为所述唯一像素坐标；
当识别的标志物为非规则形状时，从对应的标志物轮廓中，按照该标志物的类型，选取标志物的若干轮廓点作为对应的轮廓点集合；其中，每种标志物的类型对应一种轮廓点选取规则；
针对每个轮廓点集合，分别计算集合中各轮廓点之间的D8距离，从D8距离最短的两个轮廓点中任意选择一个轮廓点，将该轮廓点对应的坐标作为所述标志物的唯一像素坐标。
作为优选方案，所述按照该标志物的类型，选取标志物的若干轮廓点作为对应的轮廓点集合，具体为：
通过预设的特征提取模型，从该标志物对应的标志物图像的多个尺度的特征层中分别设置一个轮廓点选取窗口；
按照该标志物的类型，分别设定各特征层对应的轮廓点选取概率，将概率最大的轮廓点选取概率与其对应的轮廓点选取窗口进行关联设置；
通过关联设置的轮廓点选取窗口，在该标志物对应的标志物轮廓中，结合预设的选取概率阈值，选择若干的轮廓点作为所述轮廓点集合。
作为优选方案，所述根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像，具体为：
围绕所述标志物轮廓且确保所述标志物轮廓得到保留的情况下，对所述外观图像进行第一次分割；
将经过第一次分割的外观图像转换为灰度图；
将灰度值大于128的像素的像素值设置为255，将灰度值小于128的像素的像素值设置为1；
基于像素的连通性，获取所有的灰度值为128的像素形成的连续的第一区域；获取所有的灰度值为255的像素形成的连续的第二区域；获取所有的灰度值为1的像素形成的连续的第三区域；
对所有的第一区域、第二区域和第三区域进行筛选处理，将像素数量小于预设像素数量阈值的区域进行剔除；
分别计算保留的各第一区域、各第二区域和各第三区域的最小外接旋转矩形的面积；
基于面积最大的最小外接旋转矩形对应的区域对所述外观图像进行第二次分割，获得与标志物对应的标志物图像。
作为优选方案，所述分别计算各标志物图像对应的匹配度，具体为：
通过预设的特征提取模型，对所有标志物图像、所有外部风险图像和所有内部风险图像进行特征提取，获得各图像对应的特征向量；
根据下式计算标志物图像对应的匹配度
Figure SMS_1
：
Figure SMS_2
；
其中，pi代表标志物图像的第i个特征向量，qi代表外部风险图像或内部风险图像的第i个特征向量，n为特征向量的总数。
作为优选方案，在所述从所述外观图像中识别出多个检测点之前，还包括：对所述外观图像进行去噪、空间变换和校正，获得经过预处理的所述外观图像。
作为优选方案，所述从所述外观图像中识别出多个检测点，具体为：
获取所述外观图像经过二值化处理的梯度方向图；
在所述外观图像上生成包含所述待评估设备的边界框，并基于所述边界框与所述待评估设备的相对位置，计算所述边界框的偏差值；
在所述边界框的偏差值小于预设的偏差阈值时，生成若干根不同角度的扫描线，通过所述扫描线在所述边界框范围内确定所述梯度方向图中连续的0值点数目和连续的1值点数量，从而生成若干向量，进而基于生成的若干向量获取所述多个检测点的位置；其中，每个向量对应一个连续的0值点数量或1值点数量。
相应的，本发明实施例还提供了一种基于图像识别的设备质量异常评估装置，包括识别模块、分割模块和匹配模块；其中，
所述识别模块，用于获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓；
所述分割模块，用于根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型；
所述匹配模块，用于将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
作为优选方案，所述设备质量异常评估装置还包括坐标识别模块和预警模块，所述坐标识别模块用于在所述匹配模块将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，通过所述标志物轮廓获得各标志物对应的唯一像素坐标；
所述预警模块用于在所述待评估设备存在由外界因素引起的异常风险时，将第一预警信息发送至管理人员终端；其中，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像；
在所述待评估设备存在由设备内部因素引起的异常风险时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率，计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
相应的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于图像识别的设备质量异常评估方法。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的基于图像识别的设备质量异常评估方法。
附图说明
图1为本发明基于图像识别提供的设备质量异常评估方法的一种实施例的流程示意图。
图2为本发明基于图像识别提供的设备质量异常评估装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
请参照图1，图1为本发明实施例提供的一种基于图像识别的设备质量异常评估方法，包括步骤S1至步骤S3；其中，
步骤S1，获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓。
在本实施例中，采用摄像机等设备，通过拍摄获取待评估设备的外观图像，然后对该外观图像进行去噪、空间变换和校正等处理，获得经过预处理的外观图像，从而提高外观图像的质量，便于后续的识别等步骤，提高设备质量异常评估结果的准确性。
进一步地，在对外观图像进行预处理后，所述从所述外观图像中识别出多个检测点，具体为：
获取该进行了预处理的外观图像梯度方向图，且该梯度方向图经过了二值化处理；在所述外观图像上生成包含所述待评估设备的边界框，并基于所述边界框与所述待评估设备的相对位置，计算所述边界框的偏差值；在所述边界框的偏差值小于预设的偏差阈值（优选为5%或10%）时，生成若干根不同角度的扫描线（例如，任意一条扫描线可以是在竖直方向上，也可以是与竖直方向形成30度的夹角，或者45度夹角等），通过所述扫描线在所述边界框范围内确定所述梯度方向图中连续的0值点数目和连续的1值点数量，从而生成若干向量，每个向量对应一个连续的0值点数量或1值点数量，进而基于生成的若干向量获取所述多个检测点的位置，例如，可以对这些向量进行滤波平滑等处理，然后提取其中的局部点，作为所述检测点。
作为一种优选方案，基于识别出的各检测点的位置，可以获取各检测点的相对位置信息，然后通过现有的卷积神经网络可以识别出若干的标志物；同时，获得各标志物对应的标志物轮廓。优选地，这些标志物可以对应为设备外观上的各元件或实体结构。例如设备外形上的一些凸起的铸件或元件等。此外，该标志物的通常类型一般与设备类型对应。例如，设备类型为A时，此时的元件类型可能有A1、A2和A3；当设备类型为B时，此时的元件类型为B1、B2和B3。因此，通过各检测点的相对位置信息，采用现有的卷积神经网络并结合待评估设备的设备类型，可以识别并筛选出数量为若干，不少于一类的标志物，该步骤主要是确定标志物的类型的“范围”，具体的标志物类型则是在步骤S2中通过标志物轮廓进行识别。
步骤S2，根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型。
在本实施例中，所述根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像，具体为：
围绕所述标志物轮廓且确保所述标志物轮廓得到保留的情况下，对所述外观图像进行第一次分割；将经过第一次分割的外观图像转换为灰度图（灰度图的灰度级范围为0至255）；将所述灰度图中灰度值大于128的像素对应的像素值设置为255，将灰度值小于128的像素对应的像素值设置为1；基于像素的连通性（图像处理技术中对像素连通性和邻近性的定义），获取所有的灰度值为128的像素形成的连续的第一区域；获取所有的灰度值为255的像素形成的连续的第二区域；获取所有的灰度值为1的像素形成的连续的第三区域；共计获得若干个第一区域、若干个第二区域和若干个第三区域。
对所有的第一区域、第二区域和第三区域进行筛选处理，将像素数量小于预设像素数量阈值的区域（即像素数量小于预设像素数量阈值的第一区域、第二区域和第三区域）进行剔除；例如，该像素数量阈值可以为50、100、200或500，可以根据实际需要确定。
分别计算保留的各第一区域、各第二区域和各第三区域的最小外接旋转矩形的面积；每个最小外接旋转矩形对应一个第一区域、一个第二区域或一个第三区域。
基于面积最大的最小外接旋转矩形对应的区域对所述外观图像进行第二次分割，从而准确、可靠地获得与标志物对应的标志物图像。
然后基于步骤S1获得的标志物轮廓，可以识别并确定标志物具体的类型。
此外，在所述将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，还包括：
通过所述标志物轮廓获得各标志物对应的唯一像素坐标，具体地：
当识别的标志物为规则形状时，将标志物的中心像素坐标作为所述唯一像素坐标；
当识别的标志物为非规则形状时，从对应的标志物轮廓中，按照该标志物的类型，选取标志物的若干轮廓点作为对应的轮廓点集合；其中，每种标志物的类型对应一种预先设定的轮廓点选取规则；
针对每个轮廓点集合，分别计算集合中各轮廓点两两之间的D8距离，从D8距离最短的两个轮廓点中任意选择一个轮廓点，将该轮廓点对应的坐标作为所述标志物的唯一像素坐标。实施本申请实施例，将标志物划分为规则形状和非规则形状两种情况，规则形状选用中心像素作为唯一像素坐标，而作为非规则形状时，通过在轮廓点集合中计算轮廓点两两之间的D8距离，从D8距离最短的两个轮廓点中进行选取，获得对应的唯一像素坐标，在后期管理人员对其进行维护时，可以实现对标志物的准确定位。
其中，D8距离又被称作棋盘距离，以轮廓点P为例，即单位距离为r的情况下，轮廓点形成以P为中心的正方形，点P与点Q的D8距离为：
D8（P，Q）=max（∣xp-xq∣,∣yp-yq∣）；
其中，中心点P的坐标为（xp,yp），Q的坐标为（xq,yq）。
进一步地，所述按照该标志物的类型，选取标志物的若干轮廓点作为对应的轮廓点集合，具体为：
通过预设的特征提取模型，从该标志物对应的标志物图像的多个尺度的特征层中分别设置一个轮廓点选取窗口；
按照该标志物的类型，分别设定各特征层一一对应的轮廓点选取概率，将概率最大的轮廓点选取概率与其对应的轮廓点选取窗口进行关联设置；
通过关联设置的轮廓点选取窗口，在该标志物对应的标志物轮廓中，结合预设的选取概率阈值（例如0.8），选择若干的轮廓点作为所述轮廓点集合。例如当轮廓点选取概率大于所述概率阈值时，则将该轮廓点加入所述轮廓点集合，反之，则将该轮廓点进行排除。
步骤S3，将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；其中，第一匹配阈值和第二匹配阈值可以优选为0.85，需要说明的是，第一匹配阈值和第二匹配阈值在实际应用中可以根据应用场景的需求而进行相应设置。
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
在本实施例中，所述分别计算各标志物图像对应的匹配度，具体为：
通过预设的特征提取模型，对所有标志物图像、所有外部风险图像和所有内部风险图像进行特征提取，获得各图像对应的特征向量；
根据下式计算标志物图像对应的匹配度
Figure SMS_3
：
Figure SMS_4
；
其中，pi代表标志物图像的第i个特征向量，qi代表外部风险图像或内部风险图像的第i个特征向量，n为特征向量的总数。
通过计算得到的匹配度与预设的匹配阈值进行匹配，预设的匹配阈值包括第一匹配阈值和第二匹配阈值。当所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险，此时，将第一预警信息发送至管理人员终端；并且，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像。
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险。此时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率（可以作为类型对应的权重，例如，某一设备的标志物类型包括A、B、C和D，四者可以根据重要性的不同，分别赋予不同的权重，也就是风险贡献率，如果标志物类型的重要性为A＞B＞C＞D，则四者的风险贡献率可以依次为40%、30%、20%和10%），计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值（例如0.6）时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
而如果判定所述待评估设备不存在异常风险，则不需要向管理人员终端发送预警信息，此时说明待评估设备处于正常运行。需要说明的是，外部风险图像针对的主要是例如拉模、气泡、裂纹、毛刺或留痕等外界因素引起的风险类型，内部风险图像则主要围绕标志物（或者说元件）本身内部引起的风险，例如内部的电线断裂、短路、烧毁等对待评估设备造成的由内而外的影响，一般这些类型的问题都是可以反映在设备的外观上的（例如凸起、黑点等），而通过本申请实施例的质量异常评估方法，可以实现对具体风险的来源的识别，尽早识别质量异常，从而有效避免设备故障。
相应的，参照图2，本发明实施例还提供了一种基于图像识别的设备质量异常评估装置，包括识别模块101、分割模块102和匹配模块103；其中，
所述识别模块101，用于获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓；
所述分割模块102，用于根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型；
所述匹配模块103，用于将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
作为一种优选实施方式，所述设备质量异常评估装置还包括坐标识别模块104和预警模块105，所述坐标识别模块104用于在所述匹配模块102将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，通过所述标志物轮廓获得各标志物对应的唯一像素坐标；
所述预警模块105用于在所述待评估设备存在由外界因素引起的异常风险时，将第一预警信息发送至管理人员终端；其中，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像；
在所述待评估设备存在由设备内部因素引起的异常风险时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率，计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
相应的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于图像识别的设备质量异常评估方法。
所述处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端的各种功能。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的基于图像识别的设备质量异常评估方法。
其中，所述基于图像识别的设备质量异常评估装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
相比于现有技术，本发明实施例具有如下有益效果：
本申请实施例相比现有技术通过深度卷积神经网络进行特征提取以确定是否存在外观缺陷的技术方案，可以结合考虑标志物的类型，对外观缺陷引起的质量异常进行识别，进而降低了对数据库及样本数据的依赖性，在同等条件下提高了检测精度；此外，在识别了质量异常以及风险的同时，可以确定异常风险是外界因素引起的还是设备内部因素引起的，以解决如何实现对设备外观缺陷反映的质量异常进行精细评估的问题，为管理人员的维护或维修提供参考和数据支持。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的设备质量异常评估方法，其特征在于，包括：
获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓；
根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型；
将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
2.如权利要求1所述的一种基于图像识别的设备质量异常评估方法，其特征在于，在所述将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，还包括：
通过所述标志物轮廓获得各标志物对应的唯一像素坐标；
所述设备质量异常评估方法还包括：
在所述待评估设备存在由外界因素引起的异常风险时，将第一预警信息发送至管理人员终端；其中，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像；
在所述待评估设备存在由设备内部因素引起的异常风险时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率，计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
3.如权利要求2所述的一种基于图像识别的设备质量异常评估方法，其特征在于，所述通过所述标志物轮廓获得各标志物对应的唯一像素坐标，具体为：
当识别的标志物为规则形状时，将标志物的中心像素坐标作为所述唯一像素坐标；
当识别的标志物为非规则形状时，从对应的标志物轮廓中，按照该标志物的类型，选取标志物的若干轮廓点作为对应的轮廓点集合；其中，每种标志物的类型对应一种轮廓点选取规则；
针对每个轮廓点集合，分别计算集合中各轮廓点之间的D8距离，从D8距离最短的两个轮廓点中任意选择一个轮廓点，将该轮廓点对应的坐标作为轮廓点集合对应的标志物的唯一像素坐标。
4.如权利要求1所述的一种基于图像识别的设备质量异常评估方法，其特征在于，所述分别计算各标志物图像对应的匹配度，具体为：
通过预设的特征提取模型，对所有标志物图像、所有外部风险图像和所有内部风险图像进行特征提取，获得各图像对应的特征向量；
根据下式计算标志物图像对应的匹配度
Figure QLYQS_1
：
Figure QLYQS_2
；
其中，pi代表标志物图像的第i个特征向量，qi代表外部风险图像或内部风险图像的第i个特征向量，n为特征向量的总数。
5.如权利要求1至4任意一项所述的一种基于图像识别的设备质量异常评估方法，其特征在于，在所述从所述外观图像中识别出多个检测点之前，还包括：对所述外观图像进行去噪、空间变换和校正，获得经过预处理的所述外观图像。
6.如权利要求1所述的一种基于图像识别的设备质量异常评估方法，其特征在于，所述从所述外观图像中识别出多个检测点，具体为：
获取所述外观图像经过二值化处理的梯度方向图；
在所述外观图像上生成包含所述待评估设备的边界框，并基于所述边界框与所述待评估设备的相对位置，计算所述边界框的偏差值；
在所述边界框的偏差值小于预设的偏差阈值时，生成若干根不同角度的扫描线，通过所述扫描线在所述边界框范围内确定所述梯度方向图中连续的0值点数目和连续的1值点数量，从而生成若干向量，进而基于生成的若干向量获取所述多个检测点的位置；其中，每个向量对应一个连续的0值点数量或1值点数量。
7.一种基于图像识别的设备质量异常评估装置，其特征在于，包括识别模块、分割模块和匹配模块；其中，
所述识别模块，用于获取待评估设备的外观图像，从所述外观图像中识别出多个检测点，基于各检测点的相对位置信息和所述待评估设备的设备类型识别出若干标志物，并获得各标志物对应的标志物轮廓；
所述分割模块，用于根据所述标志物轮廓对所述外观图像进行分割，获得与各标志物分别对应的标志物图像；并通过所述标志物轮廓获得各标志物的类型；
所述匹配模块，用于将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配，并分别计算各标志物图像对应的匹配度；其中，所述外部风险图像和所述内部风险图像均预先存储在标准图像库中；所述内部风险图像中的标志物和所述标志物图像中的标志物属于同一类型；
在所述匹配度大于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由外界因素引起的异常风险；
在所述匹配度大于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定对应的标志物为风险标志物且所述待评估设备存在由设备内部因素引起的异常风险；
在所述匹配度小于等于预设的第一匹配阈值且所述匹配度为标志物图像与外部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险；以及，在所述匹配度小于等于预设的第二匹配阈值且所述匹配度为标志物图像与内部风险图像之间的匹配度时，判定所述待评估设备不存在异常风险。
8.如权利要求7所述的一种基于图像识别的设备质量异常评估装置，其特征在于，所述设备质量异常评估装置还包括坐标识别模块和预警模块，所述坐标识别模块用于在所述匹配模块将各标志物图像与预设的各外部风险图像和预设的各内部风险图像分别进行匹配之前，通过所述标志物轮廓获得各标志物对应的唯一像素坐标；
所述预警模块用于在所述待评估设备存在由外界因素引起的异常风险时，将第一预警信息发送至管理人员终端；其中，所述第一预警信息包括风险标志物的唯一像素坐标和对应的标志物图像；
在所述待评估设备存在由设备内部因素引起的异常风险时，根据各类型标志物数量、标志物图像与内部风险图像之间的匹配度以及标志物类型对应的预先设定的风险贡献率，计算得到所述待评估设备的质量异常评估结果，当所述质量异常评估结果大于预设评估阈值时，将第二预警信息发送至所述管理人员终端；其中，所述第二预警信息包括所述质量异常评估结果、每个风险标志物的唯一像素坐标和对应的标志物图像。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的基于图像识别的设备质量异常评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的基于图像识别的设备质量异常评估方法。
CN202310552120.1A 2023-05-17 2023-05-17 基于图像识别的设备质量评估方法、装置、终端和介质 Active CN116310424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552120.1A CN116310424B (zh) 2023-05-17 2023-05-17 基于图像识别的设备质量评估方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552120.1A CN116310424B (zh) 2023-05-17 2023-05-17 基于图像识别的设备质量评估方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN116310424A true CN116310424A (zh) 2023-06-23
CN116310424B CN116310424B (zh) 2023-08-18

Family

ID=86798081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552120.1A Active CN116310424B (zh) 2023-05-17 2023-05-17 基于图像识别的设备质量评估方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN116310424B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796202A (zh) * 2023-07-17 2023-09-22 上海朗晖慧科技术有限公司 一种基于大数据的设备数据匹配方法及异常数据处理系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761337A (en) * 1993-05-13 1998-06-02 Sharp Kabushiki Kaisha Method and apparatus for inspection of the appearance of bumps
KR20160087600A (ko) * 2015-01-14 2016-07-22 한화테크윈 주식회사 불량 검사 장치 및 방법
CN107886495A (zh) * 2017-09-30 2018-04-06 北京得华机器人技术研究院有限公司 一种基于相似度匹配的汽车零配件缺陷识别方法
EP3556576A1 (en) * 2018-04-18 2019-10-23 Bridgestone Europe NV/SA Process and system for the detection of defects in a tyre
CN113763355A (zh) * 2021-09-07 2021-12-07 创新奇智(青岛)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN114170168A (zh) * 2021-11-30 2022-03-11 苏州华兴源创科技股份有限公司 显示模组缺陷检测方法、系统及计算机可读存储介质
CN114240924A (zh) * 2021-12-27 2022-03-25 南方电网物资有限公司 一种基于数字化技术的电网设备质量评估方法
CN114937264A (zh) * 2022-07-21 2022-08-23 国网江西省电力物资有限公司 一种基于人工智能的变压器制造组装工艺监测分析系统
CN115144399A (zh) * 2022-08-30 2022-10-04 吉林省信息技术研究所 一种基于机器视觉的装配质量检测方法及装置
CN115439452A (zh) * 2022-09-13 2022-12-06 杭州凯智莆电子有限公司 一种基于数据分析的电容产品检测评估系统
KR20220164124A (ko) * 2021-06-03 2022-12-13 신신화학공업 주식회사 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템
CN115641332A (zh) * 2022-12-01 2023-01-24 中科慧远视觉技术(北京)有限公司 产品边缘外观缺陷的检测方法及装置、介质、设备
CN115797872A (zh) * 2023-01-31 2023-03-14 捷易(天津)包装制品有限公司 基于机器视觉的包装缺陷识别方法、系统、设备及介质
CN115983687A (zh) * 2022-12-22 2023-04-18 广州海秀敏网络科技有限公司 一种冷轧带钢质量智能检测管理系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761337A (en) * 1993-05-13 1998-06-02 Sharp Kabushiki Kaisha Method and apparatus for inspection of the appearance of bumps
KR20160087600A (ko) * 2015-01-14 2016-07-22 한화테크윈 주식회사 불량 검사 장치 및 방법
CN107886495A (zh) * 2017-09-30 2018-04-06 北京得华机器人技术研究院有限公司 一种基于相似度匹配的汽车零配件缺陷识别方法
EP3556576A1 (en) * 2018-04-18 2019-10-23 Bridgestone Europe NV/SA Process and system for the detection of defects in a tyre
KR20220164124A (ko) * 2021-06-03 2022-12-13 신신화학공업 주식회사 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템
CN113763355A (zh) * 2021-09-07 2021-12-07 创新奇智(青岛)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN114170168A (zh) * 2021-11-30 2022-03-11 苏州华兴源创科技股份有限公司 显示模组缺陷检测方法、系统及计算机可读存储介质
CN114240924A (zh) * 2021-12-27 2022-03-25 南方电网物资有限公司 一种基于数字化技术的电网设备质量评估方法
CN114937264A (zh) * 2022-07-21 2022-08-23 国网江西省电力物资有限公司 一种基于人工智能的变压器制造组装工艺监测分析系统
CN115144399A (zh) * 2022-08-30 2022-10-04 吉林省信息技术研究所 一种基于机器视觉的装配质量检测方法及装置
CN115439452A (zh) * 2022-09-13 2022-12-06 杭州凯智莆电子有限公司 一种基于数据分析的电容产品检测评估系统
CN115641332A (zh) * 2022-12-01 2023-01-24 中科慧远视觉技术(北京)有限公司 产品边缘外观缺陷的检测方法及装置、介质、设备
CN115983687A (zh) * 2022-12-22 2023-04-18 广州海秀敏网络科技有限公司 一种冷轧带钢质量智能检测管理系统及方法
CN115797872A (zh) * 2023-01-31 2023-03-14 捷易(天津)包装制品有限公司 基于机器视觉的包装缺陷识别方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADNAN RACHMAT ANOM BESARI 等: "Surface Defect Characterization in Polishing Process Using Contour Dispersion", 《2009 INTERNATIONAL CONFERENCE OF SOFT COMPUTING AND PATTERN RECOGNITION》, pages 707 - 710 *
王海燕: "基于图像识别的飞机蒙皮铆接质量检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 04, pages 031 - 127 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796202A (zh) * 2023-07-17 2023-09-22 上海朗晖慧科技术有限公司 一种基于大数据的设备数据匹配方法及异常数据处理系统

Also Published As

Publication number Publication date
CN116310424B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN108257121B (zh) 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
CN106548147B (zh) 一种快速的噪声鲁棒性图像异物检测方法及teds系统
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN116993744B (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN116310424B (zh) 基于图像识别的设备质量评估方法、装置、终端和介质
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
Zhou et al. Exploring faster RCNN for fabric defect detection
JP6177541B2 (ja) 文字認識装置、文字認識方法及びプログラム
CN113643276B (zh) 一种基于统计分析的纺织物纹理缺陷自动检测方法
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
CN116452580B (zh) 一种笔记本外观质量检测方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN110009615A (zh) 图像角点的检测方法及检测装置
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN111723453A (zh) 用于增材制造机器的重涂器自动化监控系统和方法
JP3661635B2 (ja) 画像処理方法およびその装置
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
CN115564779B (zh) 一种零件缺陷检测方法、装置及存储介质
CN117029733A (zh) 一种基于计算机视觉的螺栓松动检测方法、系统及装置
CN116523922A (zh) 一种轴承表面缺陷识别方法
CN111340788A (zh) 硬件木马版图检测方法、装置、电子设备和可读存储介质
CN115690104A (zh) 一种晶圆裂缝检测方法、装置及存储介质
JP4814116B2 (ja) 実装基板外観検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant