CN113947560A - 产品检测方法、装置、系统和计算机存储介质 - Google Patents

产品检测方法、装置、系统和计算机存储介质 Download PDF

Info

Publication number
CN113947560A
CN113947560A CN202010698910.7A CN202010698910A CN113947560A CN 113947560 A CN113947560 A CN 113947560A CN 202010698910 A CN202010698910 A CN 202010698910A CN 113947560 A CN113947560 A CN 113947560A
Authority
CN
China
Prior art keywords
image
product
detection
type
production line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010698910.7A
Other languages
English (en)
Inventor
刘童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010698910.7A priority Critical patent/CN113947560A/zh
Priority to US17/354,189 priority patent/US11922673B2/en
Publication of CN113947560A publication Critical patent/CN113947560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32201—Build statistical model of past normal proces, compare with actual process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Abstract

本申请提供了一种产品检测方法、装置、系统和计算机存储介质，涉及数据处理领域，所述方法包括：对产品组装生产线进行图像采集，得到产线图像；提取产线图像中包括待检产品的产品图像；提取产品图像中部件检测区域的检测点图像；将检测点图像输入至检测模型，得到检测结果；在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷。本方案减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。

Description

产品检测方法、装置、系统和计算机存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种产品检测方法、装置、系统和计算机存储介质。
背景技术
产品组装生产线是由一些部件搬运设备连接起来的连续生产线，在生产线上会设置有多个工作站点，通过人工或自动化机械传输带上的各种部件依次进行组装得到相应的产品。
现有电视等消费产品组装生产线主要采用人工进行产品检测，不仅需要耗费大量人力成本，而且可能存在因为人为疏忽导致漏检和误检的现象，产品检测的准确率。
发明内容
本申请的实施例提供一种产品检测方法、装置、系统和计算机存储介质，以解决现有技术中通过人力对产品组装生产线上的产品进行检测的方式不仅需要耗费大量人力，而且由于人为疏忽导致产品检验的准确率低的问题。
为达到上述目的，本申请的实施例采用如下技术方案：
一方面，提供了一种产品检测方法，所述方法包括：
对产品组装生产线进行图像采集，得到产线图像；
提取所述产线图像中包括待检产品的产品图像；
提取所述产品图像中部件检测区域的检测点图像；
将所述检测点图像输入至检测模型，得到检测结果；
在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
可选的，所述将所述检测点图像输入至检测模型，得到检测结果，包括：
确定部件检测区域相对应的检测模型的目标类型；
将所述检测点图像输入至所述目标类型的检测模型，得到检测结果；
其中，所述检测模型的目标类型包括：分类器类型、分割器类型、图像模板类型中的任一种。
可选的，在所述检测模型的类型为分类器类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第一图像特征；
将所述第一图像特征输入至分类器类型的检测模型，得到所述第一图像特征为每个检测类型的置信度，
将置信度最大的检测类型所述检测点图像的检测类型，其中，所述检测点图像的检测类型至少包括合规类型或缺陷类型。
可选的，在所述检测模型的类型为分割器类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第二图像特征；
将所述第二图像特征输入至分割器类型的检测模型，得到所述第一图像特征符合颜色阈值的边缘特征点；
将所述边缘特征点的位置作为所述检测点图像的边缘框位置。
可选的，在所述检测模型的类型为图像模板类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第三图像特征，以及从参考部件图像中提取参考图像特征；
将所述第三图像特征与所述参考图像特征进行相似度匹配，获得所述检测点图像与参考部件图像的特征相似度。
可选的，所述提取所述产线图像中包括待检产品的产品图像，包括：
对所述产线图像进行边缘检测，得到所述产线图像中的待检产品的边缘框位置；
将所述待检产品的边缘框位置在第二边缘框位置范围内的产线图像，作为产品图像。
可选的，所述提取所述产线图像中包括待检产品的产品图像，包括：
对所述产线图像进行颜色分割，获取所述产线图像中目标颜色或目标纹理的图像占比；
将所述目标颜色或目标纹理的图像占比大于图像占比阈值的产线图像，作为产品图像。
可选的，在所述提取所述产品图像中部件检测区域的检测点图像之前，还包括：
提取产品图像的第一特征点；
将所述第一特征点与参考产品图像的第二特征点进行相似度比对，得到匹配特征点，所述参考产品图像是预先标注有合规检测点图像以及符合旋转平移要求的产品图像；
根据所述匹配特征点，得到坐标变换参数；
根据所述坐标变换参数对所述产品图像进行图像配准。
可选的，在所述提取所述产线图像中包括待检产品的产品图像之前，还包括：
采用目标方式对所述产线图像进行亮度优化。
可选的，在所述确定所述产品图像中的待检产品存在缺陷之后，还包括：
控制所述产品组装生产线暂停运行，并输出对于缺陷产品的报警提示信息。
另一方面，提供了一种产品检测装置，所述装置包括：
拍摄模块，用于对产品组装生产线进行图像采集，得到产线图像；
第一提取模块，用于提取所述产线图像中包括待检产品的产品图像；
第二提取模块，用于提取所述产品图像中部件检测区域的检测点图像；
处理模块，用于将所述检测点图像输入至检测模型，得到检测结果；
确定模块，用于在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
可选的，所述处理模块，还用于：
确定部件检测区域相对应的检测模型的目标类型；
将所述检测点图像输入至所述目标类型的检测模型，得到检测结果；
其中，所述检测模型的目标类型包括：分类器类型、分割器类型、图像模板类型中的任一种。
可选的，在所述检测模型的类型为分类器类型的情况下，所述处理模块，还用于：
从所述检测点图像中提取第一图像特征；
将所述第一图像特征输入至分类器类型的检测模型，得到所述第一图像特征为每个检测类型的置信度，
将置信度最大的检测类型所述检测点图像的检测类型，其中，所述检测点图像的检测类型至少包括合规类型或缺陷类型。
可选的，在所述检测模型的类型为分割器类型的情况下，所述处理模块，还用于：
从所述检测点图像中提取第二图像特征；
将所述第二图像特征输入至分割器类型的检测模型，得到所述第一图像特征符合颜色阈值的边缘特征点；
将所述边缘特征点的位置作为所述检测点图像的边缘框位置。
可选的，在所述检测模型的类型为图像模板类型的情况下，所述处理模块，还用于：
从所述检测点图像中提取第三图像特征，以及从参考部件图像中提取参考图像特征；
将所述第三图像特征与所述参考图像特征进行相似度匹配，获得所述检测点图像与参考部件图像的特征相似度。
可选的，所述第一提取模块，还用于：
对所述产线图像进行边缘检测，得到所述产线图像中的待检产品的边缘框位置；
将所述待检产品的边缘框位置在第二边缘框位置范围内的产线图像，作为产品图像。
可选的，所述第一提取模块，还用于：
对所述产线图像进行颜色分割，获取所述产线图像中目标颜色或目标纹理的图像占比；
将所述目标颜色或目标纹理的图像占比大于图像占比阈值的产线图像，作为产品图像。
可选的，所述装置，还包括：
配准模块，用于：
提取产品图像的第一特征点；
将所述第一特征点与参考产品图像的第二特征点进行相似度比对，得到匹配特征点，所述参考产品图像是预先标注有合规检测点图像以及符合旋转平移要求的产品图像；
根据所述匹配特征点，得到坐标变换参数；
根据所述坐标变换参数对所述产品图像进行图像配准。
可选的，所述装置，还包括：
预处理模块，还用于采用目标方式对所述产线图像进行亮度优化；
可选的，所述装置，还包括：
报警模块，用于控制所述产品组装生产线暂停运行，并输出对于缺陷产品的报警提示信息。
再一方面，提供了一种产品检测系统，所述系统包括：产品组装生产线、朝向所述产品组装生产线设置的相机以及工控机，所述工控机用于执行上述的产品检测方法。
又一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现上述的产品检测方法。
本申请的实施例提供了一种产品检测方法、装置、系统和计算机存储介质，本方案通过对产品组装生产线拍摄得到的产线图像中提取包含待检产品的产品图像，并从产品图像中提取待检测部件的检测点图像输入至检测模型进行产品检验来识别存在缺陷的待检产品，减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种产品检测方法的流程示意图；
图2为本申请实施例提供的另一种产品检测方法的流程示意图；
图3为本申请实施例提供的一种产品图像提取方法的流程示意图；
图4为本申请实施例提供的另一种产品图像提取方法的流程示意图；
图5为本申请实施例提供的一种检测结果获取方法的步骤流程图；
图6为本申请实施例提供的螺丝的检测结果示意图；
图7为本申请实施例提供的另一种检测结果获取方法的步骤流程图；
图8为本申请实施例提供的胶布和插头的检验结果示意图；
图9为本申请实施例提供的再一种检测结果获取方法的步骤流程图；
图10为本申请实施例提供的一种产品检测装置的结构框图；
图11位本申请实施例提供的一种产品检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
实施例一
参照图1，本申请实施例提供了一种产品检测方法,所述方法包括：
步骤101，对产品组装生产线进行图像采集，得到产线图像。
在本申请实施例中，产品组装生产线是指将产品的各种部件通过传输带传输至负责装配的工作站进行组装，以得到完整的产品的流水线，各工作站的可以是人力装配也可以是自动化机械装配。现有技术中，通常是在产品组装生产线上安排专人负责对组装得到的产品进行检测，这种方式不仅需要耗费大量人力，而且存在由于人为因素出现错检和漏检的现象，降低了产品检测的准确率。产线图像是通过设置在产品组装生产线上的相机对产品组装生产线的传输带进行拍摄得到的图像。
本申请实施例摒弃现有技术中通过人力在产品组装生产线上进行产品检测的方式，通过对产品组装生产线进行图像采集得到的产线图像，以供后续步骤对产品进行检测。需要说明的是，在对产品组装生产线进行图像采集的拍摄频率可以是依据传输带对产品的传输效率确定的，也可以是预设设置的固定拍摄频率，具体可以根据实际需求确定，此处不做限定。
步骤102，提取所述产线图像中包括待检产品的产品图像。
在本申请实施例中，产品图像是指显示内容中包含所需检测产品的图像。待检产品是产品组装生产线通过将各种部件进行装配得到的未进行产品检测的产品。
由于在产品组装生产线上，产品可以是相互间隔一定距离在传输带上进行传输的，也就是传输带上的产品间存在一定的空余区域，因此对产品组装生产线进行拍摄所得到的产线图像中不一定包含产品，或者仅包含部分产品，在进行产品检测前，需要从产线图像中提取包含有需要进行产品检测的待检产品的产品图像，从而避免对不包含待检产品的产线图像进行检测，影响产品检测的效果。
步骤103，提取所述产品图像中部件检测区域的检测点图像。
在本申请实施例中，部件检测区域是指产品图像中需要进行检测的部件所在的图像显示区域，该部件检测区域是用户根据对待检产品实际检测需求预先设置的。检测点图像则是指产品图像中位于该部件检测区域的图像，
需要说明的是，检测点图像可以是产品图像的部分图像，也可以是产品图像的全部图像，具体可以依据待检产品中需要检测的部件在产品图像中的相对大小确定，也就是说若待检测的部件占据了产品图像的大部分图像内容，则该检测点图像可以是产品图像的全部图像，若待检测的部件仅占据了产品图像的小部分图像内容，则该检测点图像可以是产品图像的部分图像，当然检测点图像的与产品图像的相互大小可以根据实际需求设置，以本方案的可实现性为准，此处不做限定。
步骤104，将所述检测点图像输入至检测模型，得到检测结果。
在本申请实施例中，检测模型是用于对检测点图像中待检测的部件进行检测的模型，该检测模型可以是机器学习模型，也可以是数据模型。可以理解，由于待检产品中的待检测的部件是否被合规装配是可通过该待检测的部件所需装配的检测点图像判别的，例如：螺丝漏装，则检测点图像中就不存在该螺丝的图像；或者插头插错位置时，则检测点图像中该插头的所处位置则明显不在合规的插头位置等等。在现有技术中通过人工对产品进行检测也是通过对产品中各检测点的样式进行辨别，因此本申请实施例通过检测模型替代人工对产品进行检测可以减少产品检测所需的人力，以及避免了人为疏忽影响产品检测的准确率的情况。
适应于不同的检测模型，所得到的检测结果也不同。例如；基于深度学习的机器学习模型，可以待检产品的预测结果，即判别待检产品是否存在缺陷；而数据模型所得到的检测结果可能只是检测点图像的例如亮度、色度、对比度等指标参数，仍需要进一步进行分析来判断该检测点图像中的待检产品是否存在缺陷。当然，检测模型具体可以根据实际需求确定，只要能对检测点图像中待检测的部件是否存在缺陷进行判别即可，此处不做限定。
步骤105，在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
在本申请实施例中，检测点图像的检测类型为通过检测模型预测到的检测点图像的类型，而缺陷类型为检测点图像中的待检产品存在缺陷的类型。可以理解，若检测点图像被检测模型识别为缺陷类型，即可确定该检测点图像中的待检产品存在缺陷。
检测点图像的边缘框位置为检测模型从所述检测点图像中提取到的待检产品的边缘框的位置。第一边缘框位置范围为检测点图像中待检产品为合规产品时，其边缘框位置所需处于的边缘框位置范围。可以理解，若该检测点图像中待检产品中目标检测部件所处的边缘框位置超出一定范围，则可以认为该目标检测部件在待检产品的装配位置错误，或者没有检测到待检产品中目标检测部件的边缘框位置，则可以认为该目标检测部件并未被装配，此时均可认为该待检产品存在缺陷。
检测点图像与参考部件图像的特征相似度是指检测点图像与参考部件图像之间图像特征的相似度。而相似度阈值则是检测点图像中的待检产品为合规产品所需与参考部件图像具有的最小特征相似度。可以理解，若检测点图像与参考部件图像的特征相似度过低，则表明检测点图像中的待检产品与合规产品存在较大差异，则可以确定该检测点图像中的待检产品存在缺陷。
进一步的，若该检测结果是多个待检测的部件中不合规的部件的数量，可以是缺陷类型的部件的数据低于数量阈值。当然上述仅是示例性说明，具体根据实际需求确定，此处不做限定。
本申请实施例提供的一种产品检测方法，通过对产品组装生产线拍摄得到的产线图像中提取包含待检产品的产品图像，并从产品图像中提取待检测部件的检测点图像输入至检测模型进行产品检验来识别存在缺陷的待检产品，减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。
实施例二
参照图2，本申请实施例提供了另一种产品检测方法,所述方法包括：
步骤201，对产品组装生产线进行图像采集，得到产线图像。
该步骤可参照步骤101的详细描述，此处不再赘述。
步骤202，采用目标方式对所述产线图像进行亮度优化。
其中，所述目标方式包括：直方图均衡化、伽马校准的至少一项。
在本申请实施例中，由于产品组装生产线所处环境的光线可能分布不均匀，从而导致所得到的产线图像中的部分图像出现过亮或者过暗的情况，从而影响后续产品检测的准确性。因此需要对所采集到的产线图像进行亮度优化，具体可以采用例如直方图均衡化、伽马校正等图像亮度优化方式对产线图像进行处理，直方图均衡化和伽马校正均可采用现有技术中的实现方式，此处不再赘述。当然，还可以采用其他图像亮度优化方式对产线图像进行处理，只要可以提高产线图像的图像亮度质量即可，此处不作赘述。
本申请实施例通过对所采集到的产线图像进行亮度优化，避免了由于产品组装生产线所处环境的光线分布不均匀导致产线图像的图像质量较低的情况。
步骤203，提取所述产线图像中包括待检产品的产品图像。
该步骤可参照步骤102的详细描述，此处不再赘述。
可选的，参照图3，所述步骤203，可以包括：
子步骤2031，对所述产线图像进行边缘检测，得到所述产线图像中的待检产品的边缘框位置。
在本申请实施例中，边缘检测是一种对图像中像素灰度急剧变化的像素点的集合进行检测的常规技术。由于产品组装生产线的传输带和产品的灰度存在明显区别，因此通过对产线图像进行边缘检测，得到产线中像素灰度急剧变化的像素点集合的位置，也就是产线图像中待检产品的边缘框位置。
子步骤2032，将所述待检产品的边缘框位置在第二边缘框位置范围内的产线图像，作为产品图像。
在本申请实施例中，第二边缘框位置范围是指产品图像中待检产品的边缘框位置所需位于的边缘框范围。可以理解，为了后续参与检测的产品图像中包含有待检产品中待检测的部件，因此需要保证产品图像中待检产品的边缘框位置在一定范围内，也就是说若待检产品的边缘框位置在第二边缘框位置范围内，即可确定该产线图像中包含有待检产品的待检测的部件。第二边缘框位置范围具体可以是根据产品检测的实际需求预先确定的，只要保证所得到的产品图像中包含待检产品的待检测的部件即可，此处不做限定。
本申请实施例通过基于边缘检测从产线图像中提取包含待检产品的产品图像，保证了参与产品检测的产品图像的有效性。
可选的，参照图4，所述步骤203，可以包括：
子步骤2033，对所述产线图像进行颜色分割，获取所述产线图像中目标颜色或目标纹理的图像占比。
在本申请实施例中，颜色分割是指基于颜色阈值对图像中的特定颜色或者纹理的图像进行分割的算法，颜色阈值预先根据产品图像中待检产品的目标颜色或目标纹理确定的，目标颜色和目标纹理就是待检产品的颜色和纹理。
通过对产线图像进行颜色分割，得到产线图像中目标颜色或目标纹理所在的目标像素点，从而将该目标像素点的数量与产线图像的像素点的总量的比值，作为产线图像中目标颜色或者目标纹理的图像占比。
子步骤2034，将所述目标颜色或目标纹理的图像占比大于图像占比阈值的产线图像，作为产品图像。
在本申请实施例中，图像占比阈值是指产品图像中目标颜色或目标纹理的像素点所需达到的图像占比，考虑到产品图像中目标颜色或目标纹理的图像不宜过小，因此该占比阈值至少需要大于50％，例如：60％、70％等，从而保证所得到的产品图像中的待检产品，具体也可根据产品检测的实际需求设置，此处不做限定。若产线图像中目标颜色或目标纹理的图像占比大于该图像占比阈值，则可将该产线图像作为后续参与图像检测的产品图像。
本申请实施例通过基于颜色分割从产线图像中提取包含待检产品的产品图像，保证了参与产品检测的产品图像的有效性。
需要说明的是通过颜色分割来提取产品图像对于例如整体呈现绿色的电路板等颜色或者纹理较为明显的产品的效果较好，对于整体颜色或纹理不明显的产品，采用步骤2031至2032中的边缘分割方式的效果较好。
步骤204，提取产品图像的第一特征点。
在本申请实施例中，第一特征点是指产品图像中的图像特征点，可以可以是基于LBP(Local Binary Pattern，局部二值模式)、HOG(Histogram of Oriented Gradient，方向梯度直方图)、SIFT(Scale Invariant Feature Transform，尺度不变特征转换匹配算法)等特征提取算法得到的。
步骤205，将所述第一特征点与参考产品图像的第二特征点进行相似度比对，得到匹配特征点，所述参考产品图像是预先标注有合规检测点图像以及符合旋转平移要求的产品图像。
在本申请实施例中，参考产品图像预先挑选的图像质量较好、旋转平移较小且图像中各检测点的部件装配合格的产品图像，且该参考产品图像中标注有各待检测的部件所在的检测点图像。第二特征点是指参考产品图像中的图像特征点，第二特征点的提取方式与第一特征点类似，具体可参照步骤204中第一特征点提取方式的描述。进一步的，在选取参考产品图像时，参考产品图像的旋转平移参数可以是采用RANSAC(Random SampleConsensus，随机抽样一致性算法)得到的。
通过将第一特征点和第二特征点进行相似度比对，将相似度较高的第一特征点和第二特征点作为匹配特征点。
步骤206，根据所述匹配特征点，得到坐标变换参数。
在本申请实施例中，坐标变换参数是第一特征点向第二特征点进行变换的变换参数。
步骤207，根据所述坐标变换参数对所述产品图像进行图像配准。
在本申请实施例中，基于该坐标变换参数对产品图像中的各像素点进行坐标变换，从而对产品图像进行配准，使得产品图像与参考产品图像中各产品检测区域对齐
本申请实施例通过对所得到的产品图像基于参考产品图像进行配准，使得产品图像中各产品检测区域的位置规范化，从而减少了后续产品检测所需的处理量，提高了产品检测的效率。
步骤208，提取所述产品图像中部件检测区域的检测点图像。
该步骤可参照步骤103的详细描述，此处不再赘述。
步骤209，确定部件检测区域相对应的检测模型的目标类型。
在本申请实施例中，检测模型的目标类型是指不同的部件检测区域所需的检测模型的类型。不同部件检测区域与检测模型的目标类型之间的关联关系是预先配置的，具体可以根据部件检测区域中待检测的部件的类型确定，或者也可以是用户预先根据自身需求自行配置的，具体可以根据实际需求确定，此处不再赘述。部件检测区域与检测模型的目标类型之间的关联关系可以作为配置文件预先存储，待进行文件检测时通过读取该配置文件来确定各部件检测区域相对应的检测模型的目标类型。
步骤210，将所述检测点图像输入至所述目标类型的检测模型，得到检测结果。
其中，所述检测模型的目标类型包括：分类器类型、分割器类型、图像模板类型中的任一种。
在本申请实施例中，分类器类型的检测模型可以是预先通过对包含有缺陷产品和合规产品的样本产品图像进行特征提取后输入至待训练的分类器中进行训练得到的机器学习模型。该分类器类型的检测模型可以是基于SVM(Support Vector Machine，支持向量机)、随机森林(RandomForest)算法等分类器算法实现的，特征提取可以是基于LBP、HOG、SIFT等特征提取算法得到的。
分割器类型的检测模型可以是预先通过包含有缺陷产品和合规产品的样本产品图像进行特征提取后输入至待训练的分割器中进行训练得到的机器学习模型。该分割器可以是采用基于颜色的预置分割集合连通域分析等算法实现的。特征提取与分类器类型的检测模型的特征提取方式类似，此处不再赘述。
图像模板类型的检测模型可是预先通过合规产品的样本产品图像制作的图像相似度检测数据模型，也可以是通过对缺陷产品的样本产品图像制作的图像相似度检测数据模型。
本申请实施例通过将检测点图像输入至与其部件检测区域相对应的目标类型的检测模型中进行产品检测，从而可以通过对部件检测区域和检测模型的目标类型之间的关联关系进行配置来对产品检测的方式进行配置，提高了产品检测的灵活性。
可选的，参照图5，在所述检测模型的类型为分类器类型的情况下，所述210，包括：
子步骤2101，从所述检测点图像中提取第一图像特征。
子步骤2102，将所述第一图像特征输入至分类器类型的检测模型，得到所述第一图像特征为每个检测类型的置信度。
子步骤2103，将置信度最大的检测类型所述检测点图像的检测类型，其中，所述检测点图像的检测类型至少包括合规类型或缺陷类型。
在本申请实施例中，第一图像特征可以是采用特征提取可以是基于LBP、HOG、SIFT等特征提取算法得到的。分类器类型的检测模型可以对检测点图像中待检测的部件的检测类型进行预测，具体可以划分为缺陷类型和合规类型，分类器类型的检测模型的预测结果包括有该检测点图像为各种检测类型的置信度，通常将置信度最大的检测类型作为检测点图像的检测类型可以输出。
在实际应用中，分类器类型的检测模型可以适用于例如螺丝、插头等具有固定形状的部件的产品检测，可以理解，由于固定形状的部件的图像特征较为明显，分类器类型的检测模型可以有效进行区分。示例性的，参照图6，示出某种电子产品中针对不同螺丝的检测结果。其中，A1、B1、C1、D2为检测到的缺陷螺丝，A2、B2、C2、D1为检测到的合规螺丝，可见A1、B1、C1、D2中的螺丝装配位置都未装配相应的螺丝，而A2、B2、C2、D1的螺丝装配位置都合规装配有螺丝。对于螺丝这种具有固定形状的部件，分类器类型的检测模型可有效对进行产品检测。
本申请实施例通过利用分类器类型的检测模型对产品图像进行产品检测，提高了对具有固定形状的部件进行产品检测的准确性。
可选的，参照图7，在所述检测模型的类型为分割器类型的情况下，所述步骤210,包括：
子步骤2104，从所述检测点图像中提取第二图像特征。
子步骤2105，将所述第二图像特征输入至分割器类型的检测模型，得到所述第一图像特征符合颜色阈值的边缘特征点。
子步骤2106，将所述边缘特征点的位置作为所述检测点图像的边缘框位置。
在本申请实施例中，第二图像特征可以是采用特征提取可以是基于LBP、HOG、SIFT等特征提取算法得到的。目标检测部件是指检测点图像中所包含的待检测的部件。第一边缘框位置范围是指目标检测部件的边缘框位置在检测点图像中需要位于的边缘框范围。
具体的，可通过以下公式(1)对第二图像特征进行边缘特征点提取：
Figure BDA0002592313520000141
其中，g(i，j)为边缘特征点的位置的坐标值，f(i，j)第二图像特征的坐标值，T为第一边缘框范围的坐标值。
分割器类型的检测模型可以有效基于颜色阈值从检测点图像中提取到目标检测部件的边缘框。将目标检测部件的边缘框与第二边缘框范围进行比对，若在该第二边缘框范围内可视为合规产品，若超出该第二边缘框范围可视为缺陷产品。当然，若检测点图像中不存在目标检测部件，例如胶布未粘贴等情况下，是检测不到目标检测部件的边缘框的，此时也确定该目标检测部件所属的待检产品为缺陷产品。可见，分类器类型的检测模型可以适用于例如连接线、胶布等颜色较为明显，且形状不固定的部件进行产品检测。
示例性的，参照图8，示出某种电子产品中多种胶布和插头的检测结果。其中，E1和F2为检测到的缺陷胶布，E2和F1位检测到的合规胶布，G1和H2为检测到的缺陷插头，G2和H1为检测到合规插头。可见胶布和插头的形状可能存在差异，而分类器类型的检测模型可以有效对胶布、插头这种形状不固定的部件进行产品检测。
本申请实施例通过利用分割器类型的检测模型对产品图像进行产品检测，提高了对形状不固定的部件进行产品检测的准确性。
可选的，参照图9，在所述检测模型的类型为图像模板类型的情况下，所述步骤210，包括：
子步骤2107，从所述检测点图像中提取第三图像特征，以及从参考部件图像中提取参考图像特征。
子步骤2108，将所述第三图像特征与所述参考图像特征进行相似度匹配，获得所述检测点图像与参考部件图像的特征相似度。
在本申请实施例中，第三图像特征可以是采用特征提取可以是基于LBP、HOG、SIFT等特征提取算法得到的。参考部件图像是预先从参考产品图像中提取的，也就是参考产品图像中各合规部件的图像。通过将待检产品的检测点图像与合规产品的参考部件图像进行相似度比对，在该相似度小于相似度阈值的情况下，则表明该参考部件图像和检测点图像的差异较大，可以确定该检测点图像的待检产品存在缺陷。
具体的，可以通过以下公式(2)获取第三图像特征和参考图像特征相似度：
Figure BDA0002592313520000151
其中，所述R(x，y)为特征相似度，(x，y)为第三图像特征的坐标值，(x′，y′)为参考图像特征的坐标值，T′和I′为相关系数。
进一步的，在检测点图像存在多个的情况下，该可以是与参考部件图像的相似度小于相似度阈值的检测点图像的数量大于小于数据阈值数量阈值，也就是说不合规合规的部件低于超过一定数量的情况下确认该检测点图像中的待检产品存在缺陷。需要说明的是，不同的检测点图像对应有不同的参考部件图像，这是因为不同的检测点图像所包含的部件不同，相应的合规部件的参考部件图像也不同，并且针对不同的检测点图像，相似度阈值可以相同，也可以单独设置，具体可以根据实际需求确定，此处不做限定。
本申请实施例通过利用图像模板类型的检测模型对产品图像进行产品检测，提高了产品检测的准确性。
步骤211，在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
该步骤可参照步骤105的详细描述，此处不再赘述。
步骤212，控制所述产品组装生产线暂停运行，并输出对于缺陷产品的报警提示信息。
在本申请实施例中，在对产品组装生产线上的产品通过本方案进行检测发现待检产品存在缺陷时，可以通过工控机控制产品组装生产线停止运转，并且通过响铃、警示灯闪烁、语音警告、屏幕文字警告灯方式告知产品组装生产线的工作人员，以使得工作人员对缺陷产品进行人工核查、返工维修等相应处理工作。
本申请实施例在检测到缺陷产品后，通过自动停止产品组装生产线并输出报警提示信息以告知工作人员对缺陷产品进行处理，使得工作人员无需时刻关注产品检测结果的情况下也可以及时地发现缺陷产品，节省了产品检测所需的人力成本。
本申请实施例提供的另一种产品检测方法，本方案通过对产品组装生产线拍摄得到的产线图像中提取包含待检产品的产品图像，并从产品图像中提取待检测部件的检测点图像输入至检测模型进行产品检验来识别存在缺陷的待检产品，减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。并且采用分类器类型、分割器类型、图像模板类型的检测模型对不同类型的部件进行检测，进一步提高了产品检测的准确率。并且在对所采集到的产线图像进行处理前对产线图像进行亮度优化以及配准的预处理方式，不仅提高了图像质量，而且减少了后续所需的数据处理量。并且在发现缺陷产品后及时输出报警提示信息告知工作人员，进一步减少了产品检验所需的人力成本。
实施例三
参照图10，本申请实施例提供了一种产品检测装置30，所述装置包括：
拍摄模块301，用于对产品组装生产线进行图像采集，得到产线图像；
第一提取模块302，用于提取所述产线图像中包括待检产品的产品图像；
第二提取模块303，用于提取所述产品图像中部件检测区域的检测点图像；
处理模块304，用于将所述检测点图像输入至检测模型，得到检测结果；
确定模块305，用于在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
可选的，所述处理模块304，还用于：
确定部件检测区域相对应的检测模型的目标类型；
将所述检测点图像输入至所述目标类型的检测模型，得到检测结果；
其中，所述检测模型的目标类型包括：分类器类型、分割器类型、图像模板类型中的任一种。
可选的，在所述检测模型的类型为分类器类型的情况下，所述处理模块304，还用于：
从所述检测点图像中提取第一图像特征；
将所述第一图像特征输入至分类器类型的检测模型，得到所述第一图像特征为每个检测类型的置信度，
将置信度最大的检测类型所述检测点图像的检测类型，其中，所述检测点图像的检测类型至少包括合规类型或缺陷类型。
可选的，在所述检测模型的类型为分割器类型的情况下，所述处理模块304，还用于：
从所述检测点图像中提取第二图像特征；
将所述第二图像特征输入至分割器类型的检测模型，得到所述第一图像特征符合颜色阈值的边缘特征点；
将所述边缘特征点的位置作为所述检测点图像的边缘框位置。
可选的，在所述检测模型的类型为图像模板类型的情况下，所述处理模块304，还用于：
从所述检测点图像中提取第三图像特征，以及从参考部件图像中提取参考图像特征；
将所述第三图像特征与所述参考图像特征进行相似度匹配，获得所述检测点图像与参考部件图像的特征相似度。
可选的，所述第一提取模块30，还用于：
对所述产线图像进行边缘检测，得到所述产线图像中的待检产品的边缘框位置；
将所述待检产品的边缘框位置在第二边缘框位置范围内的产线图像，作为产品图像。
可选的，所述第一提取模块302，还用于：
对所述产线图像进行颜色分割，获取所述产线图像中目标颜色或目标纹理的图像占比；
将所述目标颜色或目标纹理的图像占比大于图像占比阈值的产线图像，作为产品图像。
可选的，所述装置，还包括：
配准模块306，用于：
提取产品图像的第一特征点；
将所述第一特征点与参考产品图像的第二特征点进行相似度比对，得到匹配特征点，所述参考产品图像是预先标注有合规检测点图像以及符合旋转平移要求的产品图像；
根据所述匹配特征点，得到坐标变换参数；
根据所述坐标变换参数对所述产品图像进行图像配准。
可选的，所述装置，还包括：
预处理模块307，还用于采用目标方式对所述产线图像进行亮度优化；
可选的，所述装置，还包括：
报警模块308，用于控制所述产品组装生产线暂停运行，并输出对于缺陷产品的报警提示信息。
对于上述装置的实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请的实施例提供了一种产品检测装置，通过对产品组装生产线拍摄得到的产线图像中提取包含待检产品的产品图像，并从产品图像中提取待检测部件的检测点图像输入至检测模型进行产品检验来识别存在缺陷的待检产品，减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。
实施例四
本申请实施例提供了一种产品检测系统，所述系统包括产品组装生产线、朝向所述产品组装生产线设置的相机以及工控机，所述工控机用于执行实施例一和实施例二中任一所述的产品检测方法。
参照图11，示出本申请实施例提供的一种产品检测系统的结构示意图，其中工控机1控制相机3对产品组装生产线2上的待检产品5进行拍摄以采集产线图像，从而工控机1通过执行上述实施例一或实施例二任一所述的产品检测方法基于所采集到的产线图像对待检产品进行产品检测。进一步的，产品组装生产线2的上方还可以设置有光源4对产品组装生产线2进行照明，从而保证相机3拍摄得到的产线图像的质量。
本申请实施例提供的一种产品检测系统，通过对产品组装生产线拍摄得到的产线图像中提取包含待检产品的产品图像，并从产品图像中提取待检测部件的检测点图像输入至检测模型进行产品检验来识别存在缺陷的待检产品，减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。
实施例五
本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现上述的产品检测方法。
本申请的实施例提供了一种计算机存储介质，通过执行该计算机存储介质的计算机程序，可以实现上述产品检测方法，从而减少了产品组装生产线中产品检验所需的人力成本，避免了由于人为疏漏导致的漏检和误检现象，提高了对产品组装生产线进行产品检测的准确率。
本技术领域技术人员可以理解，本申请包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)的存储介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，该计算机存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流程图中的每个框以及这些结构图和/或框图和/或流程图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其它可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种产品检测方法，其特征在于，所述方法包括：
对产品组装生产线进行图像采集，得到产线图像；
提取所述产线图像中包括待检产品的产品图像；
提取所述产品图像中部件检测区域的检测点图像；
将所述检测点图像输入至检测模型，得到检测结果；
在确认所述检测结果符合以下任一条件的情况下，确定所述产品图像中的待检产品存在缺陷：
所述检测结果中检测点图像的检测类型为缺陷类型；
所述检测结果中检测点图像的的边缘框位置超出第一边缘框位置范围或所述检测点图像的边缘框位置不存在；
所述检测结果中检测点图像与参考部件图像的特征相似度小于相似度阈值。
2.根据权利要求1所述的方法，其特征在于，所述将所述检测点图像输入至检测模型，得到检测结果，包括：
确定部件检测区域相对应的检测模型的目标类型；
将所述检测点图像输入至所述目标类型的检测模型，得到检测结果；
其中，所述检测模型的目标类型包括：分类器类型、分割器类型、图像模板类型中的任一种。
3.根据权利要求2所述的方法，其特征在于，在所述检测模型的类型为分类器类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第一图像特征；
将所述第一图像特征输入至分类器类型的检测模型，得到所述第一图像特征为每个检测类型的置信度，
将置信度最大的检测类型所述检测点图像的检测类型，其中，所述检测点图像的检测类型至少包括合规类型或缺陷类型。
4.根据权利要求2所述的方法，其特征在于，在所述检测模型的类型为分割器类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第二图像特征；
将所述第二图像特征输入至分割器类型的检测模型，得到所述第一图像特征符合颜色阈值的边缘特征点；
将所述边缘特征点的位置作为所述检测点图像的边缘框位置。
5.根据权利要求2所述的方法，其特征在于，在所述检测模型的类型为图像模板类型的情况下，所述将所述检测点图像输入至所述目标类型的检测模型，得到检测结果，包括：
从所述检测点图像中提取第三图像特征，以及从参考部件图像中提取参考图像特征；
将所述第三图像特征与所述参考图像特征进行相似度匹配，获得所述检测点图像与参考部件图像的特征相似度。
6.根据权利要求1所述方法，其特征在于，所述提取所述产线图像中包括待检产品的产品图像，包括：
对所述产线图像进行边缘检测，得到所述产线图像中的待检产品的边缘框位置；
将所述待检产品的边缘框位置在第二边缘框位置范围内的产线图像，作为产品图像。
7.根据权利要求1所述的方法，其特征在于，所述提取所述产线图像中包括待检产品的产品图像，包括：
对所述产线图像进行颜色分割，获取所述产线图像中目标颜色或目标纹理的图像占比；
将所述目标颜色或目标纹理的图像占比大于图像占比阈值的产线图像，作为产品图像。
8.根据权利要求1所述的方法，其特征在于，在所述提取所述产品图像中部件检测区域的检测点图像之前，还包括：
提取产品图像的第一特征点；
将所述第一特征点与参考产品图像的第二特征点进行相似度比对，得到匹配特征点，所述参考产品图像是预先标注有合规检测点图像以及符合旋转平移要求的产品图像；
根据所述匹配特征点，得到坐标变换参数；
根据所述坐标变换参数对所述产品图像进行图像配准。
9.根据权利要求1所述的方法，其特征在于，在所述提取所述产线图像中包括待检产品的产品图像之前，还包括：
采用目标方式对所述产线图像进行亮度优化。
10.根据权利要求1所述的方法，其特征在于，在所述确定所述产品图像中的待检产品存在缺陷之后，还包括：
控制所述产品组装生产线暂停运行，并输出对于缺陷产品的报警提示信息。
11.一种产品检测装置，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现权利要求1-10中任一项所述的产品检测方法。
12.一种产品检测系统，其特征在于，所述系统包括：产品组装生产线、朝向所述产品组装生产线设置的相机以及工控机，所述工控机用于执行权利要求1至10中任一所述的产品检测方法。
13.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现权利要求1-10中任一项所述的产品检测方法。
CN202010698910.7A 2020-07-17 2020-07-17 产品检测方法、装置、系统和计算机存储介质 Pending CN113947560A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010698910.7A CN113947560A (zh) 2020-07-17 2020-07-17 产品检测方法、装置、系统和计算机存储介质
US17/354,189 US11922673B2 (en) 2020-07-17 2021-06-22 Product inspection method and device, producing system and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698910.7A CN113947560A (zh) 2020-07-17 2020-07-17 产品检测方法、装置、系统和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113947560A true CN113947560A (zh) 2022-01-18

Family

ID=79292600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698910.7A Pending CN113947560A (zh) 2020-07-17 2020-07-17 产品检测方法、装置、系统和计算机存储介质

Country Status (2)

Country Link
US (1) US11922673B2 (zh)
CN (1) CN113947560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775251A (zh) * 2023-02-13 2023-03-10 成都睿瞳科技有限责任公司 一种视觉系统的图像处理方法、系统、存储介质及处理器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863249B (zh) * 2023-09-01 2023-11-21 山东拓新电气有限公司 基于人工智能的煤矿传送带跑偏识别方法
CN117078677B (zh) * 2023-10-16 2024-01-30 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201342261A (zh) * 2012-04-02 2013-10-16 Hon Hai Prec Ind Co Ltd 產品品質自動化控管系統及方法
US10198653B2 (en) * 2017-04-26 2019-02-05 Sensors Incorporated System and method for performing production line product identification
US11908122B2 (en) * 2017-04-26 2024-02-20 Sensors Incorporated System and method for performing production line product identification
CN109884074A (zh) * 2017-12-06 2019-06-14 英业达科技有限公司 用于流水线的电路板元件检测的检测装置及其方法
US10706525B2 (en) * 2018-05-22 2020-07-07 Midea Group Co. Ltd. Methods and systems for improved quality inspection
EP3801934B1 (en) * 2018-06-11 2023-08-02 Cryovac, LLC Process and system for in-line inspection of product stream for detection of foreign objects
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775251A (zh) * 2023-02-13 2023-03-10 成都睿瞳科技有限责任公司 一种视觉系统的图像处理方法、系统、存储介质及处理器
CN115775251B (zh) * 2023-02-13 2023-04-07 成都睿瞳科技有限责任公司 一种视觉系统的图像处理方法、系统、存储介质及处理器

Also Published As

Publication number Publication date
US11922673B2 (en) 2024-03-05
US20220020138A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
CN109829914B (zh) 检测产品缺陷的方法和装置
CN113947560A (zh) 产品检测方法、装置、系统和计算机存储介质
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
KR102058427B1 (ko) 검사 장치 및 방법
EP2546781B1 (en) Method and system for identifying illumination fields in an image
WO2017181724A1 (zh) 电子元件漏件检测方法和系统
KR102611224B1 (ko) 전처리를 포함하는 선 결함 감지 시스템 및 방법
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
Thipakorn et al. Egg weight prediction and egg size classification using image processing and machine learning
CN108460344A (zh) 屏幕中的动态区域智能识别系统及智能识别方法
CN115619787B (zh) 一种uv胶缺陷检测方法、系统、设备及介质
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114821274A (zh) 一种用于识别分合指示牌的状态的方法和设备
CN112634274B (zh) 一种基于机器视觉的肥育猪肉肉质评价方法及系统
CN113808153A (zh) 番茄成熟检测方法、装置、计算机设备及存储介质
CN113533372A (zh) 一种纸张缺陷检测方法、系统、装置及计算机存储介质
CN113469944A (zh) 一种产品质检方法、装置和电子设备
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
KR20220026439A (ko) 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치
CN115131355B (zh) 利用电子设备数据检测防水布异常的智能方法
CN111583225A (zh) 缺陷检测方法、装置及存储介质
Jayalakshmi et al. Monitoring Ripeness in Fruits and Vegetables Using the Raspberry Pi
CN115855961A (zh) 一种用于运行中的配电箱故障检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination