CN114627093A - 质检方法及装置、质检系统、电子设备、可读介质 - Google Patents
质检方法及装置、质检系统、电子设备、可读介质 Download PDFInfo
- Publication number
- CN114627093A CN114627093A CN202210292003.1A CN202210292003A CN114627093A CN 114627093 A CN114627093 A CN 114627093A CN 202210292003 A CN202210292003 A CN 202210292003A CN 114627093 A CN114627093 A CN 114627093A
- Authority
- CN
- China
- Prior art keywords
- detected
- quality inspection
- region
- image
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 62
- 238000000638 solvent extraction Methods 0.000 claims abstract description 15
- 230000007547 defect Effects 0.000 claims description 73
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012372 quality testing Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种质检方法及装置、质检系统、电子设备、可读介质，属于工业设备质检技术领域。该方法包括：对待检测图像进行分区获得至少一个待检测区域；其中，待检测图像是待检测产品的图像；基于瑕疵识别算法和待检测产品的类型对至少一个待检测区域进行分析，获得各待检测区域的第一判断结果；基于瑕疵检测算法和待检测产品的类型对待检测图像进行分析，获得待检测图像中各待检测区域的第二判断结果；基于待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。该方法可以降低漏检和误检的概率，从而提高待检测产品的质检质量。
Description
技术领域
本申请涉及工业设备质检技术领域，具体涉及一种质检方法及装置、质检系统、电子设备、可读介质。
背景技术
随着机器视觉检测技术的发展，使得机器视觉检测技术应用到更多的领域。比如，工业产品的质检领域。在工业产品组装或投向市场之前，通常需要对工业产品进行质检，以判断工业产品是否合格。采用机器视觉对工业产品进行质检的流程主要包括采集待检测工业产品的图像，利用视觉算法分析图像之后，获得质检结果。然而，目前的机器视觉技术存在漏检和误检的情况，影响质检的质量。
发明内容
为此，本申请提供一种质检方法及装置、质检系统、电子设备、可读介质，以解决现有技术中由于机器视觉技术存在漏检和误检而导致的质检质量低的问题。
为了实现上述目的，本申请第一方面提供一种基于机器视觉的质检方法，包括：
对待检测图像进行分区获得至少一个待检测区域；其中，所述待检测图像是待检测产品的图像；
基于瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得各所述待检测区域的第一判断结果；
基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得所述待检测图像中各所述检测区域的第二判断结果；
基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
其中，所述基于瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得对应的第一判断结果，包括：
根据所述待检测产品的类型确定待检测产品的检测点，并将所述待检测区域与所述检测点对应，每个所述待检测区域对应一个所述检测点；
基于所述检测点确定二分类器；其中，不同的检测点对应不同的二分类器，所述二分类器采用的瑕疵识别算法为二分类算法；
利用所述检测点对应的二分类器，对所述检测点对应的所述待检测区域进行分析，获得所述待检测区域的第一判断结果。
其中，所述对所述待检测图像进行分区获得至少一个待检测区域，包括：
基于所述待检测产品的类型对所述待检测图像进行分区，获得与所述待检测产品的类型对应的至少一个待检测区域。
其中，所述基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得不同所述待检测区域的第二判断结果，包括：
基于瑕疵检测算法对所述待检测图像进行分析，获得瑕疵候选框及对应的坐标位置和第二判断结果；
基于所述待检测产品的类型确定所述待检测产品的检测点；
基于所述瑕疵候选框的坐标位置和所述检测点确定所述瑕疵候选框与所述待检测区域的对应关系；其中，每个所述待检测区域对应一个所述检测点；
基于所述瑕疵候选框与所述待检测区域的对应关系确定为所述待检测区域的第二判断结果。
其中，所述第一判断结果和所述第二判断结果分别为第一置信度和第二置信度；
所述基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果，包括：
分别设定所述第一判断结果和所述第二判断结果对应的第一权重值和第二权重值；
基于所述待检测区域对应的第一置信度和第二置信度，以及所述第一置信度和所述第二置信度对应的第一权重值和第二权重值，确定所述待检测区域的瑕疵概率；
基于所述瑕疵概率和预设的瑕疵阈值确定所述待检测区域的瑕疵置信度，所述质检结果包括所述瑕疵置信度。
其中，所述基于所述待检测区域对应的第一判断结果和第二判断结果确定所述待检测区域的质检结果之后，还包括以下步骤中至少之一：
将所述待检测区域的质检结果发送至显示装置，以供所述显示装置显示所述待检测区域的质检结果；
将所述待检测区域的质检结果发送至告警装置，以供所述告警装置根据所述质检结果发出对应的告警光；
将所述待检测区域的质检结果发送至云服务器或企业IDC存储，以备份所述待检测区域的质检结果；
将所述待检测区域的质检结果发送至质检终端，以供对所述待检测产品进行复检；
将所述待检测区域的质检结果发送至标签生成器，以供所述标签生成器生成质检信息；
将所述待检测区域的质检结果发送至传送带控制器，以供所述传送带控制器基于所述质检结果控制传送带的运行状态；其中，所述传送带用于携带所述待检测产品移动。
其中，所述待检测区域的质检结果包括所述待检测区域的位置信息和所述待检测区域的瑕疵置信度。
第二方面，本申请提供一种基于机器视觉的质检装置，包括：
分区模块，用于对所述待检测图像进行分区获得至少一个待检测区域；其中，所述待检测图像是待检测产品的图像；
第一分析模块，用于利用瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得各个所述待检测区域的第一判断结果；其中，每个所述待检测区域对应一个所述检测点；
第二分析模块，用于基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得所述待检测图像中不同所述检测区域的第二判断结果；
确定模块，用于基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
第三方面，本申请提供一种质检系统，包括质检装置，用于基于待检测图像获得质检结果，所述待检测图像是所述待检测产品的图像；所述质检装置采用本申请提供的基于机器视觉的质检装置。
其中，所述质检系统还包括：
图像获取装置，用于获取待检测产品的至少一个待检测图像；并将所述待检测图像传送至所述质检装置；
扫码枪，用于获得所述待检测产品的类型，并将所述待检测产品的类型传送至所述质检装置；
传送带，用于传送所述待检测产品；
传送带控制器，用于控制所述传送带的运行状态；
光传感器，用于检测所述待检测产品的位置，并将位置信息传送至所述传送带控制器、所述扫码枪和所述图像获取装置。
第四方面，本申请提供一种电子设备，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本申请提供的方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
第五方面，本申请提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据本申请提供的方法。
本申请提供的基于机器视觉的质检方法，通过瑕疵识别算法和瑕疵检测算法分别对待检测区域进行分析获得第一判断结果和第二判断结果，再基于第一判断结果和第二判断结果确定待检测区域的质检结果，即通过双重质检机制确定待检测区域的质检结果，可以降低待检测区域漏检和误检的概率，从而提高待检测产品的质检质量。
附图说明
附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。
图1为本申请实施例提供的一种基于机器视觉的质检方法的流程图；
图2为本申请实施例中生成第一判断结果的流程图；
图3为本申请实施例中生成第二判断结果的流程图；
图4为本申请实施例中瑕疵识别模型和瑕疵检测模型的关系图；
图5为本申请实施例提供的一种基于机器视觉的质检装置的结构示意图；
图6为申请实施例提供的一种质检系统的结构示意图；
图7为申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
如本申请所使用的，术语“和/或”包括一个或多个相关列举条目的任何和全部组合。
本申请所使用的术语仅用于描述特定实施例，且不意欲限制本申请。如本申请所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。
当本申请中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本申请所用的全部术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本申请的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本申请明确如此限定。
第一方面，本申请实施例提供一种基于机器视觉的质检方法，该方法可以降低待检测区域漏检和误检的概率，从而提高待检测产品的质检质量。
图1为本申请实施例提供的一种基于机器视觉的质检方法的流程图。如图1所示，基于机器视觉的质检方法包括：
步骤S101，对待检测图像进行分区获得至少一个待检测区域。
其中，待检测图像是待检测产品的图像。
在一些实施例中，待检测图像包括多个图像，每个待检测图像从待检测产品的一个角度获取。例如，从待检测产品四个角度获得四个待检测图像，每个待检测图像对应待检测产品的一个角度。每个待检测产品对应的待检测图像的数量可以根据待检测产品的实际需求确定，在本申请实施例对待检测图像的数量不作限定。
在一些实施例中，当需要从多个角度获得待检测产品的多个待检测图像以检测待检测产品的质量时，可以对每个待检测图像进行分区，获得每个待检测图像的至少一个待检测区域，对每个待检测区域进行判断。
在一些实施例中，利用裁剪模块对待检测图像进行分区，而且，裁剪模块是通过裁剪算法对待检测图像进行分区，分区的区域和数量可以根据待检测产品的型号确定。
步骤S102，利用瑕疵识别算法和待检测产品的类型对多个待检测区域分别进行分析，获得各待检测区域的第一判断结果。
在一些实施例中，瑕疵识别算法是对图像进行图像识别的算法，通过瑕疵识别算法可以分析图像，以确定该图像中是否有瑕疵。
在一些实施例中，待检测产品的类型不仅包括待检测产品的种类，也包括同一种类的待检测产品的不同型号。本申请对待检测产品的类型不作限定。例如，待检测产品可以是空调外机和空调内机等。
步骤S103，基于瑕疵检测算法和待检测产品的类型对待检测图像进行分析，获得待检测图像中各检测区域的第二判断结果。
在一些实施例中，瑕疵检测算法是对待检测图像进行图像识别的算法，通过瑕疵识别算法可以分析待检测图像，以确定该待检测图像中是否有瑕疵。
需要说明的是，瑕疵识别算法和瑕疵检测算法可以是不同的图像识别算法，也可以是相同的图像识别算法。当瑕疵识别算法和瑕疵检测算法采用相同的图像识别算法时，步骤S102和步骤S103的区别在于，步骤S102是对待检测图像进行分区识别，而步骤S103是对待检测图像进行整体识别，即步骤S102和步骤S103采用的是两种不同的图像识别机制。
步骤S104，基于待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
在步骤S102和步骤S103中，通过两种图像识别机制对每个待检测区域进行分析，获得对应的第一判断结果和第二判断结果。对于每个待检测区域，步骤S104基于待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
在一些实施例中，待检测区域的质检结果包括待检测区域的位置信息和待检测区域的瑕疵置信度。
在一些实施例中，当待检测图像包括一个待检测区域时，根据该待检测区域的质检结果确定待检测产品的质检结果。当待检测图像包括多个待检测区域时，根据多个待检测区域的质检结果确定待检测产品的质检结果。
在一些实施例中，当待检测产品包括多个待检测图像时，对每个待检测图像实施步骤S101至步骤S104，获得每个待检测图像中的待检测区域的质检结果，并基于待检测图像对应的待检测区域的质检结果确定待检测图像的质检结果，然后基于待检测图像的质检结果确定待检测产品的质检结果。
本申请实施例提供的基于机器视觉的质检方法，通过瑕疵识别算法和瑕疵检测算法分别对待检测区域进行分析获得第一判断结果和第二判断结果，再基于第一判断结果和第二判断结果确定待检测区域的质检结果，即通过双重质检机制确定待检测区域的质检结果，可以降低待检测区域漏检和误检的概率，从而提高待检测产品的质检质量。
在一些实施例中，步骤S101，对待检测图像进行分区获得至少一个待检测区域，包括：基于待检测产品的类型对待检测图像进行分区，获得与待检测产品的类型对应的至少一个待检测区域。
其中，待检测产品的类型不仅包括待检测产品的种类，还包括同一待检测产品的型号，即不同种类的待检测产品和不同型号的待检测产品均为不同类型的待检测产品。
在一些实施例中，如图2所示，步骤S102，利用瑕疵识别算法和待检测产品的类型对多个待检测区域分别进行分析，获得各待检测区域的第一判断结果，包括：
步骤S201，根据待检测产品的类型确定待检测产品的检测点，并使检测点与待检测区域对应。
在一些实施例中，检测点的位置和数量可以根据待检测产品的类型确定。例如，当待检测产品为空调外机时，每个待检测产品可以包括五个待检测图像，每个待检测图像包括多个检测点，检测点与待检测区域对应，即每个待检测区域对应一个检测点。在一些实施例中，对于不同型号的空调外机也可以设定不同的检测点，本申请实施例对检测点的位置和数量不作限定。
步骤S202，基于检测点确定二分类器。
其中，不同的检测点对应不同的二分类器，二分类器采用的瑕疵识别算法为二分类算法，即瑕疵识别算法可以是二分类算法。
在一些实施例中，不同的检测点对应不同的二分类器，根据检测点调用对应的二分类器。当待检测产品设置n个检测点时，对应n个二分类器。
步骤S203，利用检测点对应的二分类器，对该检测点对应的待检测区域进行分析，获得待检测区域的第一判断结果。
在一些实施例中，待检测区域是根据检测点确定，即根据检测点对待检测图像进行分区。根据检测点确定二分类器后，利用二分类器对待检测区域进行分析，获得第一判断结果。在一些实施例中，第一判断结果是瑕疵置信度。
在一些实施例中，二分类器的输入为待检测区域x，输出为判断结果y，二分类器基于待检测区域x通过二分类算法f获得判断结果y。例如y＝f(x)，其中，x为待检测区域，y为判断结果，f为瑕疵识别算法。
在一些实施例中，待检测图像被划分为m个待检测区域时，将m个待检测区域x1、x2、……、xm分别输入二分类器f1、f2、……、fm，对应地获得m个判别结果为y1，y2，……，ym。
在本实施例中，根据待检测产品的检测点，对多个待检测图像分区，每个待检测图像可以被划分为一个或多个待检测区域，针对不同的检测点选取对应的二分类器，不仅可以提高质检的准确性，而且可以使多个二分类器同步分析，提高分析的效率。
在一些实施例中，如图3所示，步骤S103，基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得待检测图像中各所述待检测区域的第二判断结果，包括：
步骤S301，基于瑕疵检测算法对待检测图像进行分析，获得瑕疵候选框及对应的坐标位置和第二判断结果。
其中，瑕疵检测算法可以是现有任意一种图像识别算法，例如BRISK算法、ORB算法或FREAK算法。瑕疵候选框是经过瑕疵检测算法分析获得的存在瑕疵的区域。
在一些实施例中，利用瑕疵检测算法分析待检测图像，将存在瑕疵的区域标定为瑕疵候选框，并获得该瑕疵候选框的坐标位置。
步骤S302，基于待检测产品的类型确定待检测产品的检测点。
基于待检测产品的类型确定待检测产品的检测点与步骤S201相同，在此不再赘述。
步骤S303，基于瑕疵候选框的坐标位置和检测点确定瑕疵候选框与待检测区域的对应关系，其中，每个待检测区域对应一个检测点。
根据瑕疵候选框的坐标位置和检测点可以确定存在瑕疵的检测点，而且可以确定瑕疵候选框与待检测区域的对应关系。
步骤S304，基于瑕疵候选框与待检测区域的对应关系确定为待检测区域的第二判断结果。
在一些实施例中，第二判断结果用z表示，若存在m个待检测区域，则第二判断结果分别为z1、z2、……、zm。
在一些实施例中，第一判断结果和第二判断结果均以置信度方式表示。如，第一判断结果和第二判断结果分别为第一置信度和第二置信度。
示例地，若检测点未检测到瑕疵，则将对应的待检测区域的第二置信度确定为0。若检测点检测到瑕疵，则将对应的待检测区域的第二置信度确定为1。若瑕疵候选框较大概率(置信度≥0.7，该概率可以根据场景调整)存在瑕疵，但瑕疵候选框的位置与检测点的坐标无法匹配，则认为存在不在检测点处的缺陷，并将该缺陷坐标保存反馈。
步骤S104，基于待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果，包括：分别设定第一判断结果和第二判断结果对应的第一权重值和第二权重值；基于待检测区域对应的第一置信度和第二置信度，以及第一置信度和第二置信度对应的第一权重值和第二权重值，确定待检测区域的瑕疵概率；基于瑕疵概率和预设的瑕疵阈值确定待检测区域的瑕疵置信度，质检结果包括瑕疵置信度。
示例地，对于待检测区域k，假设第一权重值和第二权重值均为0.5，对第一判断结果yk和第二判断结果zk进行加权平均，获得待检测区域k存在瑕疵的概率δk，δk＝0.5*yk+0.5*zk。瑕疵置信度δk为待检测区域k的质检结果。
在一些实施例中，若待检测区域k的置信度δk≥0.7，则认为该待检测区域k有瑕疵；若待检测区域k的置信度δk＜0.1时，则认为待检测区域k无瑕疵，若待检测区域k的置信度0.1≤δ＜0.7，则认为该待检测区域k可能有瑕疵。在一些实施例中，质检结果可以是置信度，也可以是依据置信度确定的具体结论，如有瑕疵、可能有瑕疵、无瑕疵。在一些实施例中，质检结果还包括待检测区域k的位置编号。
在一些实施例中，步骤S104，基于所述待检测区域对应的第一判断结果和第二判断结果确定所述待检测区域的质检结果之后，还包括以下步骤中至少之一：
将待检测区域的质检结果发送至显示装置，以供显示装置显示待检测区域的质检结果。其中，显示装置可以是显示屏等可用于显示的装置。在一些实施例中，质检员根据显示装置的显示信息对待检测产品进行复检，或弥补瑕疵。其中，显示信息包括待检测产品的编号、待检测区域的编号及质检结果，以方便质检员快速、准确定位。
将待检测区域的质检结果发送至告警装置，以供告警装置根据质检结果发出对应的告警光。在一些实施例中，告警光可以是三色光，如红光、黄光和绿光，分别对应不同的质检结果。示例地，当待检测区域的质检结果为有瑕疵时，红灯亮起，发出红光。当待检测区域的质检结果为可能有瑕疵时，黄灯亮起，发出黄光。当待检测区域的质检结果为无瑕疵时，绿灯亮起，发出绿光。
将待检测区域的质检结果发送至云服务器或IDC(Internet Data Center，企业互联网数据中心)，以供备份待检测区域的质检结果，以方便后续复查。
将待检测区域的质检结果发送至质检终端，以供对待检测产品进行复检。在一些实施例中，质检终端由质检员使用，质检员可以根据质检终端收到的信息，得到待检测区域的质检结果，并对存在瑕疵的待检测区域进行复检或修复，并在完成修复后，将修改结果上传IDC或云服务器存储。
将待检测区域的质检结果发送至标签生成器，以供标签生成器生成质检信息。在一些实施例中，标签生成器可以根据质检结果生成质检信息，其中，质检信息包括质检结果、流水线号、机器号、存在缺陷或可能存在缺陷、待检测编号等。质检信息可以打印在质检标签上，质检标签可以粘贴于待检测产品上。在一些实施例中，当待检测区域的质检结果为无瑕疵时，标签生成器可以不生成质检信息。
将待检测区域的质检结果发送至传送带控制器，以供传送带控制器基于质检结果控制传送带的运行状态。在一些实施例中，传送带用于携带待检测产品移动，当质检结果为有瑕疵时，传送带控制器可以暂停传送带运行，以方便质检员进行复检。
在一些实施例中，瑕疵识别算法和瑕疵检测算法可以根据对应的瑕疵识别模型和瑕疵检测模型实现，瑕疵识别模型基于分块后的待检测区域获得第一判断结果，瑕疵检测模型判断检测点出现瑕疵的概率，获得第二判断结果，最后基于第一判断结果和第二判断结果获得检测点的瑕疵判断结果，即获得待检测区域的质检结果。
图4为本申请实施例中瑕疵识别模型和瑕疵检测模型的关系图。如图4所示，基于待检测产品的模板对待检测图像进行裁切，获得至少一个待检测区域(待检测图像中部分区域的图像)，将待检测区域输入瑕疵识别模型获得待检测区域的第一判断结果。通过待检测产品的模板确定待检测图像中的检测点，将检测点对应的待检测区域(图像)输入瑕疵检测模型，获得检测点的第二判断结果。瑕疵检测模型还可以将不在检测点的瑕疵概率和位置发送至云服务器。将每个待检测区域的第一判断结果和第二判断结果获得各待检测区域的质检结果，即每个检测点的质检结果。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
第二方面，本申请实施例还提供一种基于机器视觉的质检装置，该装置可以降低待检测区域漏检和误检的概率，从而提高待检测产品的质检质量。
图5为本申请实施例提供的一种基于机器视觉的质检装置的结构示意图。如图5所示，基于机器视觉的质检装置500包括：
分区模块501，用于对待检测图像进行分区获得至少一个待检测区域；其中，待检测图像是待检测产品的图像。
在一些实施例中，待检测图像包括多个图像，每个待检测图像从待检测产品的一个角度获取。例如，从待检测产品四个角度获得四个待检测图像，每个待检测图像对应待检测产品的一个角度。每个待检测产品对应的待检测图像的数量可以根据待检测产品的实际需求确定，在本申请实施例对待检测图像的数量不作限定。
在一些实施例中，当需要从多个角度获得待检测产品的多个待检测图像以检测待检测产品的质量时，可以对每个待检测图像进行分区，获得每个待检测图像的至少一个待检测区域，对每个待检测区域进行判断。
第一分析模块502，用于利用瑕疵识别算法和待检测产品的类型对至少一个待检测区域进行分析，获得各待检测区域的第一判断结果；其中，每个待检测区域对应一个检测点。
在一些实施例中，瑕疵识别算法是对图像进行图像识别的算法，通过瑕疵识别算法可以分析图像，以确定该图像中是否有瑕疵。
在一些实施例中，待检测产品的类型不仅包括待检测产品的种类，也包括同一种类的待检测产品的不同型号。本申请对待检测产品的类型不作限定。例如，待检测产品可以是空调外机和空调内机等。
第二分析模块503，用于基于瑕疵检测算法和待检测产品的类型对待检测图像进行分析，获得待检测图像中不同检测区域的第二判断结果。
在一些实施例中，瑕疵检测算法是对待检测图像进行图像识别的算法，通过瑕疵识别算法可以分析待检测图像，以确定该待检测图像中是否有瑕疵。
确定模块504，用于基于待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
在一些实施例中，待检测区域的质检结果包括待检测区域的位置信息和待检测区域的瑕疵置信度。
在一些实施例中，当待检测图像包括一个待检测区域时，根据该待检测区域的质检结果确定待检测产品的质检结果。当待检测图像包括多个待检测区域时，根据多个待检测区域的质检结果确定待检测产品的质检结果。
本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文第一方面方法实施例描述的方法，其具体实现和技术效果可参照上文方法实施例的描述，为了简洁，这里不再赘述。
需要说明的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本实施例提供的基于机器视觉的质检装置，第一分析模块采用瑕疵识别算法，第二分析模块采用疵检测算法，分别对待检测区域进行分析获得第一判断结果和第二判断结果，确定模块基于第一判断结果和第二判断结果确定待检测区域的质检结果，该装置通过双重质检机制确定待检测区域的质检结果，可以降低待检测区域漏检和误检的概率，从而提高待检测产品的质检质量。
第三方面，本申请实施例提供一种质检系统，该质检系统包括质检装置，用于基于待检测图像获得质检结果，所述待检测图像是所述待检测产品的图像；质检装置采用本申请实施例提供的基于机器视觉的质检装置。
图6为申请实施例提供的一种质检系统的结构示意图。如图6所示，质检系统600包括：
传送带(图中未示出)，用于传送被检测产品。下文以空调外机为例进行说明。
传送带控制器601，用于控制传送带的运行状态。当传送带控制器601收到质检结果时，依据质检结果控制传送带的运行状态。例如当质检结果为无瑕疵时，传送带控制器601控制传送带运行；当质检结果为有瑕疵或可能有瑕疵时，传送带控制器601控制传送带停止运行。
光传感器602，用于检测待检测产品的位置，并将位置信息传送至传送带控制器601、图像获取装置603和扫码枪604。设置在固定的位置，用于感应空调外机。当检测到空调外机得到指定位置上，光传感器602将感应信号发送至传送带控制器601、图像获取装置603和扫码枪604。
图像获取装置603，用于获取待检测产品的至少一个待检测图像；并将待检测图像传送至质检装置。当图像获取装置603接收到光传感器602的感应信号后，图像获取装置603获取待检测图像。在一些实施例中，设置多个图像获取装置603，以从不同角度获取空调外机的待检测图像。示例地，图像获取装置603可以是工业相机。
扫码枪604，用于获得待检测产品的类型，并将待检测产品的类型传送至质检装置605。
质检装置605，用于基于待检测图像获得待检测区域的质检结果，该质检装置605可以采用本申请实施例中第二方面提供的基于机器视觉的质检装置，执行申请实施例中第一方面提供的基于机器视觉的质检方法，在此不再赘述。在一些实施例中，质检装置605可以为边缘服务器。
显示装置606，用于显示待检测区域的质检结果。在一些实施例中，显示装置606与质检装置605信号连接，用于获取质检装置605的质检结果。
告警装置607，用于根据待检测区域的质检结果发出对应的告警光。告警光可以是三色光，如红光、黄光和绿光，分别对应不同的质检结果。
质检终端608，用于显示质检结果。在一些实施例中，质检终端608由质检员使用，质检员可以根据质检终端收到的信息，得到待检测区域的质检结果，并对存在瑕疵的待检测区域进行复检，并在完成修复后，将修改结果上传IDC或云服务器存储。
云服务器或企业IDC609，用于存储待检测区域的质检结果。在一些实施例中，云服务器或企业IDC609与质检装置605信号连接，用于接收质检装置605发送的质检结果，并将质检结果存储备份。
在一些实施例中，质检终端608和云服务器或企业IDC609通过网络611，如有线网络/5G网络与质检装置605信号连接。
标签生成器612，用于待检测区域的质检结果生成质检信息。在一些实施例中，标签生成器612与质检装置605信号连接，标签生成器根据质检结果生成质检信息，其中，质检信息包括质检结果、流水线号、机器号、存在缺陷或可能存在缺陷、待检测编号等。质检信息可以打印在质检标签上，质检标签可以粘贴于待检测产品上。在一些实施例中，当待检测区域的质检结果为无瑕疵时，标签生成器可以不生成质检信息。
本申请实施例提供的质检系统，通过双重质检机制确定待检测区域的质检结果，可以降低漏检和误检的概率，从而提高待检测产品的质检质量。
第四方面，本申请实施例提供一种电子设备，参照图7，本申请实施例提供一种电子设备，其包括：
一个或多个处理器701；
存储器702，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的基于机器视觉的质检方法；
一个或多个I/O接口703，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器701为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器702为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)703连接在处理器701与存储器702间，能实现处理器701与存储器702的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器701、存储器702和I/O接口703通过总线相互连接，进而与计算设备的其它组件连接。
第五方面，本申请实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本实施例提供的基于机器视觉的质检方法，为避免重复描述，在此不再赘述基于机器视觉的质检方法的具体步骤。
本领域普通技术人员可以理解，上文中所发明方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储器、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本实施例的范围之内并且形成不同的实施例。
可以理解的是，以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式，然而本申请并不局限于此。对于本领域内的普通技术人员而言，在不脱离本申请的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本申请的保护范围。
Claims (12)
1.一种基于机器视觉的质检方法，其特征在于，包括：
对待检测图像进行分区获得至少一个待检测区域；其中，所述待检测图像是待检测产品的图像；
基于瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得各所述待检测区域的第一判断结果；
基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得所述待检测图像中各所述待检测区域的第二判断结果；
基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
2.根据权利要求1所述的方法，其特征在于，所述基于瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得各所述待检测区域的第一判断结果，包括：
根据所述待检测产品的类型确定待检测产品的检测点，并将所述待检测区域与所述检测点对应，每个所述待检测区域对应一个所述检测点；
基于所述检测点确定二分类器；其中，不同的检测点对应不同的二分类器，所述二分类器采用的瑕疵识别算法为二分类算法；
利用所述检测点对应的二分类器，对所述检测点对应的所述待检测区域进行分析，获得所述待检测区域的第一判断结果。
3.根据权利要求2所述的方法，其特征在于，所述对待检测图像进行分区获得至少一个待检测区域，包括：
基于所述待检测产品的类型对所述待检测图像进行分区，获得与所述待检测产品的类型对应的至少一个待检测区域。
4.根据权利要求1所述的方法，其特征在于，所述基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得所述待检测图像中各所述待检测区域的第二判断结果，包括：
基于瑕疵检测算法对所述待检测图像进行分析，获得瑕疵候选框及对应的坐标位置和第二判断结果；
基于所述待检测产品的类型确定所述待检测产品的检测点；
基于所述瑕疵候选框的坐标位置和所述检测点确定所述瑕疵候选框与所述待检测区域的对应关系；其中，每个所述待检测区域对应一个所述检测点；
基于所述瑕疵候选框与所述待检测区域的对应关系确定为所述待检测区域的第二判断结果。
5.根据权利要求1所述的方法，其特征在于，所述第一判断结果和所述第二判断结果分别为第一置信度和第二置信度；
所述基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果，包括：
分别设定所述第一判断结果和所述第二判断结果对应的第一权重值和第二权重值；
基于所述待检测区域对应的第一置信度和第二置信度，以及所述第一置信度和所述第二置信度对应的第一权重值和第二权重值，确定所述待检测区域的瑕疵概率；
基于所述瑕疵概率和预设的瑕疵阈值确定所述待检测区域的瑕疵置信度，所述质检结果包括所述瑕疵置信度。
6.根据权利要求1-5任意一项所述的方法，其特征在于，所述基于所述待检测区域对应的第一判断结果和第二判断结果确定所述待检测区域的质检结果之后，还包括以下步骤中至少之一：
将所述待检测区域的质检结果发送至显示装置，以供所述显示装置显示所述待检测区域的质检结果；
将所述待检测区域的质检结果发送至告警装置，以供所述告警装置根据所述质检结果发出对应的告警光；
将所述待检测区域的质检结果发送至云服务器或企业互联网数据中心IDC存储，以备份所述待检测区域的质检结果；
将所述待检测区域的质检结果发送至质检终端，以供对所述待检测产品进行复检；
将所述待检测区域的质检结果发送至标签生成器，以供所述标签生成器生成质检信息；
将所述待检测区域的质检结果发送至传送带控制器，以供所述传送带控制器基于所述质检结果控制传送带的运行状态；其中，所述传送带用于携带所述待检测产品移动。
7.根据权利要求1所述的方法，其特征在于，所述待检测区域的质检结果包括所述待检测区域的位置信息和所述待检测区域的瑕疵置信度。
8.一种基于机器视觉的质检装置，其特征在于，包括：
分区模块，用于对待检测图像进行分区获得至少一个待检测区域；其中，所述待检测图像是待检测产品的图像；
第一分析模块，用于利用瑕疵识别算法和所述待检测产品的类型对所述至少一个待检测区域进行分析，获得各所述待检测区域的第一判断结果；其中，每个所述待检测区域对应一个检测点；
第二分析模块，用于基于瑕疵检测算法和所述待检测产品的类型对所述待检测图像进行分析，获得所述待检测图像中各所述待检测区域的第二判断结果；
确定模块，用于基于所述待检测区域对应的第一判断结果和第二判断结果确定该待检测区域的质检结果。
9.一种质检系统，包括质检装置，用于基于待检测图像获得质检结果，所述待检测图像是待检测产品的图像；其特征在于，所述质检装置采用权利要求8所述的基于机器视觉的质检装置。
10.根据权利要求9所述的质检系统，其特征在于，所述质检系统还包括：
图像获取装置，用于获取待检测产品的至少一个待检测图像；并将所述待检测图像传送至所述质检装置；
扫码枪，用于获得所述待检测产品的类型，并将所述待检测产品的类型传送至所述质检装置；
传送带，用于传送所述待检测产品；
传送带控制器，用于控制所述传送带的运行状态；
光传感器，用于检测所述待检测产品的位置，并将位置信息传送至所述传送带控制器、所述扫码枪和所述图像获取装置。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-7中任意一项所述的方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
12.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210292003.1A CN114627093A (zh) | 2022-03-23 | 2022-03-23 | 质检方法及装置、质检系统、电子设备、可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210292003.1A CN114627093A (zh) | 2022-03-23 | 2022-03-23 | 质检方法及装置、质检系统、电子设备、可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627093A true CN114627093A (zh) | 2022-06-14 |
Family
ID=81904112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210292003.1A Pending CN114627093A (zh) | 2022-03-23 | 2022-03-23 | 质检方法及装置、质检系统、电子设备、可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627093A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
| WO2021046726A1 (zh) * | 2019-09-10 | 2021-03-18 | 西门子能源国际公司 | 用于检测机械设备零部件的方法和装置 |
| WO2021168733A1 (zh) * | 2020-02-27 | 2021-09-02 | 京东方科技集团股份有限公司 | 缺陷图像的缺陷检测方法、装置及计算机可读存储介质 |
| WO2021232149A1 (en) * | 2020-05-22 | 2021-11-25 | Nidec-Read Corporation | Method and system for training inspection equipment for automatic defect classification |
| CN113850773A (zh) * | 2021-09-18 | 2021-12-28 | 联想(北京)有限公司 | 一种检测方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-03-23 CN CN202210292003.1A patent/CN114627093A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
| WO2021046726A1 (zh) * | 2019-09-10 | 2021-03-18 | 西门子能源国际公司 | 用于检测机械设备零部件的方法和装置 |
| WO2021168733A1 (zh) * | 2020-02-27 | 2021-09-02 | 京东方科技集团股份有限公司 | 缺陷图像的缺陷检测方法、装置及计算机可读存储介质 |
| WO2021232149A1 (en) * | 2020-05-22 | 2021-11-25 | Nidec-Read Corporation | Method and system for training inspection equipment for automatic defect classification |
| CN113850773A (zh) * | 2021-09-18 | 2021-12-28 | 联想(北京)有限公司 | 一种检测方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| DUC M. DINH 等: "Layering Defects Detection in Laser Powder Bed Fusion using Embedded Vision System", 《 COMPUTER-AIDED DESIGN & APPLICATIONS》, vol. 18, no. 5, 31 January 2021 (2021-01-31), pages 1111 - 1118 * |
| 韩济阳 等: "计算机视觉布料瑕疵检测方法综述", 《辽宁石油化工大学学报》, vol. 42, no. 1, 28 February 2022 (2022-02-28), pages 70 - 77 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189019B2 (en) | Method for detecting defects, electronic device, and computer readable medium | |
| KR102168724B1 (ko) | 이미지 검사를 이용한 이상 판별 방법 및 장치 | |
| US11521015B2 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
| CN113095444B (zh) | 图像标注方法、装置及存储介质 | |
| US11538148B2 (en) | Defect detection of a component in an assembly | |
| US20140320638A1 (en) | Electronic device and method for detecting surface flaw of sample | |
| US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
| CN109283182A (zh) | 一种电池焊点缺陷的检测方法、装置及系统 | |
| CN112884743B (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN111951210A (zh) | 数据的处理方法、装置及设备 | |
| US20230096532A1 (en) | Machine learning system, learning data collection method and storage medium | |
| WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
| JP6630912B1 (ja) | 検査装置及び検査方法 | |
| US6807288B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| KR102666787B1 (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN116559170A (zh) | 一种产品质量检测方法及相关系统 | |
| KR20210022278A (ko) | 적외선 카메라를 이용한 불량 부품 검출 장치 및 방법 | |
| WO2021233058A1 (zh) | 监控货架上的物品的方法、计算机和系统 | |
| CN114359161A (zh) | 一种缺陷检测方法、装置、设备和存储介质 | |
| CN114627093A (zh) | 质检方法及装置、质检系统、电子设备、可读介质 | |
| CN113870754B (zh) | 一种面板检测电子信号缺陷判定的方法和系统 | |
| US20230230225A1 (en) | Multi-tier pcba integrity validation process | |
| CN110634124A (zh) | 一种区域检测的方法及设备 | |
| US11508143B2 (en) | Automated salience assessment of pixel anomalies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |