CN111833303B - 产品的检测方法、装置、电子设备及存储介质 - Google Patents

产品的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111833303B
CN111833303B CN202010508047.4A CN202010508047A CN111833303B CN 111833303 B CN111833303 B CN 111833303B CN 202010508047 A CN202010508047 A CN 202010508047A CN 111833303 B CN111833303 B CN 111833303B
Authority
CN
China
Prior art keywords
image
product
defect
detection
product image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010508047.4A
Other languages
English (en)
Other versions
CN111833303A (zh
Inventor
赵景
聂磊
刘亚博
黄锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010508047.4A priority Critical patent/CN111833303B/zh
Publication of CN111833303A publication Critical patent/CN111833303A/zh
Application granted granted Critical
Publication of CN111833303B publication Critical patent/CN111833303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请公开了产品的检测方法、装置、电子设备及存储介质，涉及云计算领域，涉及电子部件缺陷检测。具体实现方案为：通过获取产品至少一个投影面的产品图像，并获取产品图像的图像质量指标，当图像质量指标大于预设质量阈值时，提取产品图像的前景图像进行缺陷检测，而当图像质量指标小于或等于预设质量阈值时，将产品图像输入至至少一个缺陷识别模型进行缺陷检测，由此，实现了产品缺陷的自动检测，相较于人工检测方式，节省了人力成本和时间成本，提高了检测效率，并且，产品缺陷的检测不依赖于质检员的主观经验，能够提高检测结果的准确率。

Description

产品的检测方法、装置、电子设备及存储介质
技术领域
本申请的实施例总体上涉及图像处理技术领域，并且更具体地，涉及电子部件缺陷检测领域。
背景技术
3C电子产品是计算机、通信和消费电子产品三类电子产品的简称。3C结构件泛指充电头、电感、单片机等小型电子部件，具有体积小、产量大等特点。在批量生产3C结构件的过程中，难免会产生一些缺陷，比如尺寸不对、线圈外漏、出现裂痕、划伤、多漆等。
目前，通常由质检员人工检测3C结构件所存在的缺陷，不仅耗时耗力，效率低，缺陷检测结果的准确性还依赖于质检员的经验，主观性强，容易导致检测准确率低的问题。
发明内容
本申请提供了一种产品的检测方法、装置、电子设备及存储介质。
根据第一方面，提供了一种产品的检测方法，包括：
获取产品至少一个投影面的产品图像；
获取所述产品图像的图像质量指标；
如果所述图像质量指标大于预设质量阈值，则提取所述产品图像的前景图像，并根据所述产品图像的前景图像进行缺陷检测；以及
如果所述图像质量指标小于或等于所述预设质量阈值，则将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测。
根据第二方面，提供了一种产品的检测装置，包括：
第一获取模块，用于获取产品至少一个投影面的产品图像；
第二获取模块，用于获取所述产品图像的图像质量指标；
第一检测模块，用于如果所述图像质量指标大于预设质量阈值，则提取所述产品图像的前景图像，并根据所述产品图像的前景图像进行缺陷检测；以及
第二检测模块，用于如果所述图像质量指标小于或等于所述预设质量阈值，则将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的产品的检测方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的产品的检测方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的产品的检测方法。
本申请提供的产品的检测方法、装置、电子设备及存储介质，存在如下有益效果：
通过根据产品图像的图像质量指标与预设质量阈值的比较结果，采用对应的检测方式进行缺陷检测，由此，实现了产品缺陷的自动检测，相较于人工检测方式，节省了人力成本和时间成本，提高了检测效率，并且，产品缺陷的检测不依赖于质检员的主观经验，能够提高检测结果的准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的产品的检测方法的流程示意图；
图2是产品存在的厚度缺陷示例图；
图3是根据本申请第二实施例的产品的检测方法的流程示意图；
图4是根据本申请第三实施例的产品的检测方法的流程示意图；
图5是线圈外漏缺陷的示例图；
图6是根据本申请第四实施例的产品的检测方法的流程示意图；
图7是对产品图像进行扶正的过程示例图；
图8是产品表面存在裂缝的示例图；
图9（a）是电极翘曲示例图一；
图9（b）是电极翘曲示例图二；
图10是电极翘曲示例图三；
图11（a）是利用检测框对缺陷进行标识的示例图；
图11（b）是对缺陷进行细轮廓提取后的结果示例图；
图12是实现本申请提供的产品的检测方法的结构框架示例图；
图13是实现本申请提供的产品的检测方法的工程设计示例图；
图14是刀纹缺陷示例图；
图15是产品缺角的缺陷示例图；
图16是根据本申请第五实施例的产品的检测装置的结构示意图；
图17是根据本申请第六实施例的产品的检测装置的结构示意图；
图18是根据本申请第七实施例的产品的检测装置的结构示意图；
图19是根据本申请第八实施例的产品的检测装置的结构示意图；
图20是根据本申请第九实施例的产品的检测装置的结构示意图；
图21是根据本申请第十实施例的产品的检测装置的结构示意图；
图22是根据本申请第十一实施例的产品的检测装置的结构示意图；
图23是根据本申请第十二实施例的产品的检测装置的结构示意图；
图24是根据本申请第十三实施例的产品的检测装置的结构示意图；
图25是根据本申请第十四实施例的产品的检测装置的结构示意图；
图26是用来实现本申请实施例的产品的检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请的产品的检测方法、装置、电子设备及存储介质。
图1是根据本申请第一实施例的产品的检测方法的流程示意图，该方法可以由本申请提供的产品的检测装置执行，也可以由本申请提供的电子设备执行，其中，电子设备可以是台式电脑、平板电脑、智能手机等终端设备，也可以是服务器、中央控制机等设备。下面以由本申请提供的产品的检测装置来执行本申请提供的产品的检测方法为例来解释说明本申请。
如图1所示，该产品的检测方法，可以包括以下步骤：
步骤101，获取产品至少一个投影面的产品图像。
产品通常具有多个投影面，比如，对于一个长方体形状的产品，其包括六个投影面。本实施例中，可以获取产品至少一个投影面的产品图像进行缺陷检测。
实际应用中，可以利用图像采集设备在产品生产线上实时采集产品至少一个投影面的产品图像，以实时对产品的表面质量进行检测判断。由于产品通常具有不止一个投影面，因此可以在产品生产线的不同角度设置多个图像采集设备，以采集产品不同投影面的产品图像。
步骤102，获取产品图像的图像质量指标。
其中，图像质量指标用于衡量产品图像中前景图像与背景图像之间的区分难易程度，可以用前景图像与背景图像的对比度表示。当产品图像中的前景图像与背景图像之间的对比度高时，前景图像和背景图像易区分，可以认为产品图像的图像质量指标较高，当产品图像中的前景图像与背景图像之间的对比度较低时，前景图像和背景图像不易区分，可以认为产品图像的图像质量指标较低。
本实施例中，获取了产品的产品图像后，可以进一步获取产品图像的图像质量指标，比如，获取产品图像中前景图像与背景图像之间的对比度作为图像质量指标。
能够理解的是，对比度是指不同颜色之间的差别，不同颜色之间的差别越大，对比度也越大。从而，本实施例中，可以对获取的产品图像进行图像处理以区分出产品图像中的前景图像和背景图像，接着获取前景图像中的颜色值以及获取背景图像中的颜色值，进而比较前景图像中的颜色值和背景图像中的颜色值之间的差异，根据比较结果确定出前景图像与背景图像之间的对比度，得到产品图像的图像质量指标。
步骤103，如果图像质量指标大于预设质量阈值，则提取产品图像的前景图像，并根据产品图像的前景图像进行缺陷检测。
其中，预设质量阈值可以预先设定，比如，当图像质量指标为前景图像与背景图像之间的对比度时，预设质量阈值可以设置为60。
本实施例中，获取了产品图像的图像质量指标之后，可以将产品图像的图像质量指标与预设质量阈值进行比较，如果比较结果为图像质量指标大于预设质量阈值，则提取产品图像的前景图像，根据前景图像进行缺陷检测。
比如，获取的产品图像的图像质量指标为65，预设质量阈值为60，则可以确定产品图像的图像质量指标大于预设质量阈值，则根据产品图像的前景图像进行缺陷检测。
根据产品图像的前景图像进行缺陷检测时，可以从前景图像中提取出出图像特征，根据图像特征判断与前景图像所属的产品图像对应的产品投影面上是否存在缺陷。
其中，检测的缺陷包括但不限于尺寸检测（比如厚度检测）、线圈外漏、表面是否光滑、多漆、划伤、出现裂痕等。
以检测产品的厚度是否符合标准为例，图2是产品存在的厚度缺陷示例图，其中，厚度超是指检测到的产品的厚度相对于标准产品厚度值厚，厚度低是指检测到的产品的厚度相对于标准产品厚度值薄。在检测时，可以通过二值化处理方式将前景图像上的像素点的灰度值设置为0或255，再通过寻找最大外接矩形的方式，从前景图像中确定出产品的轮廓，计算出轮廓的高度作为产品的厚度，并将检测到的产品的厚度与标准产品厚度值进行比较，当检测到的产品的厚度大于标准产品厚度值时，确定产品存在厚度超的缺陷，当检测到的产品的厚度小于标准产品厚度值时，确定产品存在厚度低的缺陷。此外，由于产品生产过程中难免会出现一些误差，仅当产品的厚度与标准产品厚度值一致时才认为产品合格，可能仅有较少的产品合格，因此，为了提高产品的厚度检测合格率，可以设置当检测到的产品的厚度与标准产品厚度值之间的差异在预设的误差范围内时，认为产品的度与标准产品厚度值一致，产品不存在厚度缺陷。
步骤104，如果图像质量指标小于或等于预设质量阈值，则将产品图像输入至至少一个缺陷识别模型进行缺陷检测。
本实施例中，获取了产品图像的图像质量指标之后，将产品图像的图像质量指标与预设质量阈值进行比较，如果比较结果为图像质量指标小于或等于预设质量阈值，则将产品图像输入至至少一个缺陷识别模型进行缺陷检测。
其中，缺陷识别模型可以预先训练得到，缺陷识别模型可以是训练后的掩膜区域卷积神经网络（Mask Region-based Convolutional Neural Networks，Mask R-CNN）、只看系数网络（You Only Look At CoefficienTs，YOLACT）、高分辨率网络（High-ResolutionNetwork，HRNet）。其中，Mask R-CNN可以实现更加准确地缺陷位置定位；YOLACT网络可以实现快速地定位缺陷，实时性高；HRNet网络可以实现精准定位。实际应用中，可以根据实际需求选择合适的神经网络模型训练得到缺陷识别模型，本申请对此不作限制。
由于每种产品都可能存在不止一种缺陷，且不同的投影面可能存在不同种类的缺陷，相同的投影面也可能存在多种缺陷，因此本实施例中，对于每个产品，可以收集大量的产品缺陷图像并进行缺陷类型标注，将标注后的产品缺陷图像作为训练样本用于模型训练，得到用于检测产品可能存在的缺陷的至少一个缺陷识别模型。
进而，本实施例中，当产品图像的图像质量指标不大于预设质量阈值时，可以将产品图像输入至预先训练好的至少一个缺陷识别模型中，以利用缺陷识别模型识别出产品图像所对应的投影面上存在的缺陷。
本实施例的产品的检测方法，通过获取产品至少一个投影面的产品图像，并获取产品图像的图像质量指标，当图像质量指标大于预设质量阈值时，提取产品图像的前景图像进行缺陷检测，而当图像质量指标小于或等于预设质量阈值时，将产品图像输入至至少一个缺陷识别模型进行缺陷检测，由此，实现了产品缺陷的自动检测，相较于人工检测方式，节省了人力成本和时间成本，提高了检测效率，并且，产品缺陷的检测不依赖于质检员的主观经验，能够提高检测结果的准确率。
由于同一产品的不同投影面所存在的缺陷的种类可能不同，每个投影面具备各自独立的缺陷，因此在本申请实施例一种可能的实现方式中，可以针对不同的投影面预先训练得到对应的至少一个缺陷识别模型，进而根据缺陷识别模型来检测对应投影面的缺陷。下面结合附图3进行详细说明。
图3是根据本申请第二实施例的产品的检测方法的流程示意图，如图3所示，在如图1所示实施例的基础上，步骤104可以包括以下步骤：
步骤201，获取至少一个投影面的产品图像所对应的至少一个缺陷识别模型。
同一产品的不同投影面有各自独立的缺陷，本实施例中，对于每个产品，可以针对该产品的每个投影面可能存在的缺陷，预先训练得到每个投影面对应的至少一个缺陷识别模型，从而，在对产品进行缺陷检测时，针对获取的至少一个投影面的产品图像，获取与产品图像对应的至少一个缺陷识别模型进行缺陷检测。
作为一种示例，可以预先存储每个产品的各个投影面与对应的至少一个缺陷识别模型的对应关系，进而在需要使用缺陷识别模型进行缺陷检测时，根据获取的产品图像对应的投影面，通过查询上述对应关系，即可确定与至少一个投影面的产品图像所对应的至少一个缺陷识别模型。
在本申请实施例一种可能的实现方式中，训练获得缺陷识别模型时，可以先获取缺陷图像，再将获取的缺陷图像叠加至产品图像上以生成缺陷产品样本图像，并对缺陷图像进行标注，进而将标注之后的缺陷产品样本图像输入至缺陷识别模型，以对缺陷识别模型进行训练。
其中，产品图像可以是没有缺陷的图像。
由于图像数据集中可能存在比较少的缺陷，或者，对于产品正常使用时看不到的面（称为产品D面），能够获取的缺陷图像较少，为了增加训练样本的数量以提高缺陷识别模型的学习能力，本实施例中，可以通过泊松融合的图像融合方式，将获取的缺陷图像融合至产品图像上来生成缺陷产品样本图像用于模型训练，由此，实现了缺陷数据集的扩充，有利于训练得到识别准确率高的缺陷识别模型。
此外，在本申请实施例一种可能的实现方式中，训练得到缺陷识别模型时，对于缺陷识别模型对缺陷定位的识别框bbox输出不准的情况，还可以通过提高缺陷识别模型中bbox分支的权重的方式，来提高缺陷识别模型的检测性能。
步骤202，获取产品图像的深层语义特征。
作为一种示例，可以通过深度学习检测模型或者分割模型来提取产品图像的深层语义特征。
步骤203，将产品图像的深层语义特征输入缺陷识别模型以对产品图像之中的缺陷进行缺陷检测。
本实施例中，获取了产品图像的深层语义特征之后，可以将获取的产品图像的深层语义特征输入至少一个投影面的产品图像对应的缺陷识别模型中，缺陷识别模型即可对产品图像中可能存在的缺陷进行缺陷检测，并输出产品存在的缺陷。
本实施例的产品的检测方法，通过获取至少一个投影面的产品图像所对应的至少一个缺陷识别模型，并获取产品图像的深层语义特征，进而将产品图像的深层语义特征输入缺陷识别模型中以对产品图像中的缺陷进行缺陷检测，由此，实现了根据产品图像的深层语义特征进行缺陷检测，能够识别出根据浅层的图像信息无法识别的缺陷，提高了方法的灵活性和适用性。
在本申请实施例一种可能的实现方式中，缺陷识别模型可以为二次回归模型。二次回归模型在实现缺陷定位时的具体过程可以分为两个阶段，第一个阶段会用识别框将产品图像中的缺陷框出来，但是识别框的位置不够准确，第二个阶段则是对识别框进行修正，从而更准确地框出缺陷的位置所在。因此本实施例中，采用二次回归模型作为缺陷识别模型，有利于提高缺陷识别的准确率。
通常，产品的形状是立体的，具体多个不同的投影面，从而，在本申请实施例一种可能的实现方式中，产品具有N个投影面，每个投影面对应一个缺陷检测进程，每个缺陷检测进程将投影面对应的产品图像输入至投影面对应的至少一个缺陷识别模型之中，其中，N为正整数。
本实施例中，通过针对每个投影面设置一个对应的缺陷检测进程，进而利用缺陷检测进程将投影面对应的产品图像输入至投影面对应的至少一个缺陷识别模型中进行缺陷检测，由此，可以实现多进程多模型的同时检测，从而能够提高缺陷检测效率。
进一步地，在本申请实施例一种可能的实现方式中，每个缺陷检测进程从内存之中读取检测参数，并根据检测参数对缺陷识别模型进行设置。从而，本实施例中，产品的检测装置还可以通过设置进程对内存之中的检测参数进行修改。
实际应用中，对于同一产品，不同的生产商对产品存在缺陷的要求标准可能不同。为了实现缺陷检测标准的个性化设置，本实施例中，可以提供前端页面供用户输入产品每个投影面的缺陷的检测参数，用户输入完成后，产品的检测装置通过设置进程，根据前端页面接收的检测参数，对内存中的检测参数进行修改，将内存中的检测参数修改为用户当前在前端页面中输入的检测参数。接着，对每个投影面进行缺陷检测时，缺陷检测进程从内存中读取检测参数并根据读取的检测参数对缺陷识别模型进行设置，以控制缺陷识别模型的输出结果，使得缺陷识别模型能够根据检测参数“放过”某些缺陷。
由此，通过设置进程对内存中的检测参数进行修改，每个缺陷检测进程从内存中读取检测参数并根据检测参数对缺陷识别模型进行设置，能够实现检测参数的个性化设置，从而能够实现缺陷识别模型的输出结果的个性化调节，满足不同用户的个性化需求，提高模型的泛化能力。
由于产品的不同投影面存在的缺陷可能不同，同一投影面也可能存在多个不同的缺陷，为了检测出投影面上可能存在的所有缺陷，每个投影面可以对应多个缺陷识别模型。由于在同一图形处理器（Graphics Processing Unit，GPU）上同时运行多个缺陷识别模型以进行缺陷检测，会造成资源的抢占，从而导致缺陷检测速度慢。因此，在本申请实施例一种可能的实现方式中，缺陷识别模型为多个，多个缺陷识别模型分别运行在多个图形处理器之上，从而，本实施例中，可以先获取多个缺陷识别模型的优先级，进而根据多个识别模型的优先级对缺陷检测进程的检测任务进行控制。
作为一种示例，多个缺陷识别模型的优先级可以根据缺陷识别模型检测的缺陷以及缺陷对产品的影响程度确定。比如，对于尺寸不符和产品表面不光滑两类缺陷，尺寸不符对产品的影响程度大于产品表面不光滑对产品的影响程度，则检测产品尺寸的缺陷识别模型的优先级高于检测产品表面是否光滑的缺陷识别模型的优先级。
本实施例中，根据多个缺陷识别模型的优先级，对缺陷检测进程的检测任务进行控制，使得缺陷检测进程将投影面对应的产品图像输入至不同优先级的缺陷识别模型中，以在不同的GPU上进行缺陷检测，由此，实现了根据缺陷识别模型的优先级对缺陷检测进行控制，通过设置多个缺陷识别模型分别运行在多个图形处理器上，避免了同一图形处理器上同时运行多个缺陷识别模型导致的资源抢占，从而能够提高缺陷检测的速度和效率。
对于产品图像的拍摄质量高，产品图像中前景图像和背景图像之间比较容易区分的情况，进行缺陷检测的检测规则比较单一。在本申请实施例一种可能的实现方式中，当需要检测产品的尺寸是否存在缺陷时，可以将产品图像中前景图像的尺寸与标准尺寸进行比较，以检测产品的尺寸是否符合标准。下面结合附图4进行详细说明。
图4是根据本申请第三实施例的产品的检测方法的流程示意图，如图4所示，在如图1所示实施例的基础上，步骤103中，根据产品图像的前景图像进行缺陷检测，可以包括以下步骤：
步骤301，获取前景图像的尺寸信息。
其中，尺寸信息包括但不限于长度、宽度、厚度、面积等。
本实施例中，获取前景图像的尺寸信息时，可以先对前景图像进行二值化处理，再从二值化处理后的图像中寻找出最大外接矩形，最大外接矩形对应前景图像中产品所在的位置，进而通过获取最大外接矩形的尺寸信息作为前景图像的尺寸信息。
步骤302，将前景图像的尺寸信息与标准尺寸信息进行比对以确定产品图像的缺陷。
其中，标准尺寸信息可以预先设定，标准尺寸信息可以包括但不限于长度、宽度、厚度、面积等。
本实施例中，获取了前景图像的尺寸信息后，可以将获取的尺寸信息与预设的标准尺寸信息进行比对，当获取的尺寸信息与标准尺寸信息不一致时，可以确定产品图像存在尺寸不符合标准的缺陷；或者，也可以预先设置最大允许误差范围（比如设置厚度的最大允许误差范围为-0.1mm~+0.1mm），当获取的尺寸信息与标准尺寸信息之间的差异落在最大允许误差范围内时，可以确定产品图像不存在尺寸不符合标准的缺陷，当获取的尺寸信息与标准尺寸信息之间的差异超出最大允许误差范围时，可以确定产品图像存在尺寸不符合标准的缺陷。
本实施例的产品的检测方法，通过获取前景图像的尺寸信息，将前景图像的尺寸信息与标准尺寸信息进行比对以确定产品图像的缺陷，由此，实现了产品的尺寸缺陷检测，通过将获取的尺寸信息与标准尺寸信息比较来检测产品的缺陷，简化了缺陷检测过程，有利于提高缺陷检测速度和效率。
对于一些缺陷特征明显，颜色信息突出的缺陷，比如产品的线圈外漏的缺陷，如图5所示，图5是线圈外漏缺陷的示例图，图5中，白色虚线内的光亮部分是外漏的线圈。针对这种颜色信息突出的缺陷，可以根据产品图像的前景图像进行缺陷检测，本申请提供了多种可能的实现方式来进行缺陷检测，下面一一进行说明。
作为一种可能的实现方式，根据产品图像的前景图像进行缺陷检测时，可以先对前景图像进行色彩转换，得到与前景图像对应的色彩空间，进而根据色彩空间进行色彩判定以确定产品图像的缺陷。
作为一种示例，可以将前景图像由红绿蓝图像（即RGB图像）转换至色调-饱和度-明度（Hue，Saturation，Value，HSV）色彩空间，在HSV色彩空间中进行色彩判定，根据色彩差异识别出产品图像存在的缺陷。
本实施例中，通过对前景图像进行色彩转换得到对应的色彩空间，再根据色彩空间进行色彩判定以确定产品图像的缺陷，实现了色彩信息突出的缺陷的快速检测，有利于提高缺陷检测效率。
作为一种可能的实现方式，根据产品图像的前景图像进行缺陷检测时，可以将前景图像输入至二分类网络以确定产品图像的缺陷。其中，二分类网络是预先训练得到的分类网络，存在漏线圈等缺陷的为一类，不存在漏线圈等缺陷的为一类，二分类网络的输出结果为产品图像所对应的类别（存在缺陷或不存在缺陷）。
由此，通过将前景图像输入至二分类网络，能够得到对产品图像中是否存在缺陷的分类结果，从而实现了产品图像的缺陷检测。
作为一种可能的实现方式，根据产品图像的前景图像进行缺陷检测时，可以将前景图像输入至缺陷检测网络以确定产品图像的缺陷，其中，缺陷检测网络输出缺陷的位置。
其中，缺陷检测网络可以预先训练得到，训练后的缺陷检测网络能够对图像中存在的缺陷进行定位，输出图像中缺陷所在的具体位置。从而，本实施例中，将前景图像输入至预先训练的缺陷检测网络中，能够检测出缺陷在产品图像中的具体位置。
由此，通过将前景图像输入至缺陷检测网络以确定产品图像的缺陷，缺陷检测网络输出缺陷的位置，不仅实现了缺陷的检测，还实现了缺陷的位置定位。
对于产品图像的拍摄质量差，对比度不明显的情况，为了提高检测结果的准确率，在本申请实施例一种可能的实现方式中，在将产品图像输入至至少一个缺陷识别模型进行缺陷检测之前，可以先对产品图像进行对比度增强。
其中，对比度增强是增强原图像中各部分的反差，在本实施例中，即增强产品图像中各部分的反差。对比度增强可以分为全局对比度增强和局部对比度增强，其中，常用的全局对比度增强算法有直方图均衡化算法、直方图匹配算法等，局部对比度增强算法有邻域直方图均衡算法、邻域直方图匹配算法、邻域统计算法等。
本实施例中，将产品图像输入至少一个缺陷识别模型进行缺陷检测之前，先对产品图像进行对比度增强，能够增强产品图像中各部分的反差，从而有利于提高缺陷检测的准确度。
由于不同的生产商所使用的图像采集设备的设计规则不同，且在长期使用过程中，图像的拍摄角度会发生不同程度的偏转和旋转，这会使得采集的产品图像发生旋转，而图像的旋转对产品质量检测的量化指标有很大影响，从而会导致缺陷检测的结果准确率不高。在本申请实施例一种可能的实现方式中，在获取到产品至少一个投影面的产品图像之后，可以先对获取的产品图像进行扶正。下面结合附图6进行详细说明。
图6是根据本申请第四实施例的产品的检测方法的流程示意图，如图6所示，该产品的检测方法可以包括以下步骤：
步骤401，获取产品至少一个投影面的产品图像。
需要说明的是，本实施例中，对步骤401的描述，可以参见前述实施例中对步骤101的描述，此处不再赘述。
步骤402，获取产品图像的多个定位关键点。
步骤403，根据产品图像的多个定位关键点对产品图像进行扶正。
本实施例中，获取到产品的产品图像后，可以进一步获取产品图像的多个定位关键点。
作为一种示例，当产品的投影面为矩形或正方形时，获取的产品图像中的产品形状为矩形或正方形，从而可以通过四角定位的方式，获取产品图像的四个定位关键点。
接着，获取了产品图像的多个定位关键点之后，即可根据多个定位关键点对产品图像进行扶正。
仍以产品的投影面为矩形或者正方形为例，获取到产品图像的四个定位关键点之后，可以根据四个定位关键点的位置，判断每两个相邻定位关键点之间的连续是否水平或垂直，若相邻两个定位关键点之间的连线既不水平也不垂直，则进一步根据连线与水平方向或垂直方向之间的夹角对产品图像进行旋转，以将产品图像扶正。
步骤404，获取产品图像的图像质量指标。
本实施例中，将产品图像进行扶正之后，可以进一步获取扶正之后的产品图像的图像质量指标。
步骤405，如果图像质量指标大于预设质量阈值，则提取产品图像的前景图像，并根据产品图像的前景图像进行缺陷检测。
步骤406，如果图像质量指标小于或等于预设质量阈值，则将产品图像输入至至少一个缺陷识别模型进行缺陷检测。
需要说明的是，本实施例中，对步骤404-步骤406的描述，可以参见前述实施例中对步骤102-步骤104的描述，此处不再赘述。
本实施例的产品的检测方法，通过在获取到产品至少一个投影面的产品图像之后，进一步获取产品图像的多个定位关键点，进而根据产品图像的多个定位关键点对产品图像进行扶正，之后再根据产品图像的图像质量指标选择对应的检测方式进行缺陷检测，由此，实现了产品图像的扶正，从而能够缓解因图像采集设备的设计规则不同或图像的拍摄角度的偏转和旋转导致的图像旋转问题，有利于提高缺陷检测结果的准确性。
在本申请实施例一种可能的实现方式中，对产品图像进行扶正时，还可以通过提取连通域的方式对产品图像进行扶正。图7是对产品图像进行扶正的过程示例图，其中，产品图像中涉及的产品为包含电极的零件。如图7所示，对该产品图像进行扶正时，可以先进行首次连通域提取，从产品图像中提取出连通域最小的外接矩，并通过仿射变换对产品图像进行旋转，之后进行二次提取连通域外接矩形，获得产品本体的精确边缘，之后外扩边缘获得本体并计算获得电极区域，切出精确图，完成产品图像的扶正。
在一些应用场景中，可能需要判断出缺陷的尺寸大小，采用实例分割方式可能出现分割不准的现象。比如，图8是产品表面存在裂缝的示例图，需要判断裂缝的长度，图8中左图是通过实例分割识别的裂缝，可以看出，左图中的一些裂缝被检测框割断，无法精准定位出裂缝的具体长度。针对这种情况，本实施例中，可以采用语义分割的方式直接进行裂缝的分割。比如，采用HRNet作为算法模型的骨干网络，可以提取出更丰富的特征信息，从而能够实现对缺陷的精细分割。
在一些应用场景中，还可以通过深度学习多模型级联的方式来进行缺陷检测。具体地，先采用模型分割方式从产品图像中切出需要进行判定的部分，再利用训练的二分类网络进行判定，得到缺陷检测结果，其中，二分类网络可以是残差神经网络（ResidualNeural Network，ResNet），如ResNet18、ResNet50等。图9（a）是电极翘曲示例图一，图9（b）是电极翘曲示例图二。图9（a）中，检测框中框出的两条线称为电极，正常情况下，电极贴在本体表面，而从图9（a）可以看出，电极出现翘曲，采用现有方式进行检测无法获得较好的效果。而本实施例中，可以先采用Mask R-CNN算法定位到电极所在的位置，按照左图中的边框进行抠图，抠出的图像如图9（b）所示。接着，将图9（b）的图像输入至训练好的二分类网络中，即可判断出电极是否出现翘曲。其中，二分类网络可以利用从电极正常的良品图中抠出的电极和从缺陷图中抠出的电极训练得到。
此外，在检测电极是否翘曲的应用场景中，还可以将缺陷检测问题转换为数学问题，通过计算本体和电极之间的距离，根据距离来判断是否存在缺陷。具体地，先通过分割或检测方式定位出本体和电极，再计算出本体和电极之间的距离，例如，图10是电极翘曲示例图三，计算出图10中箭头的长度作为本体和电极之间的距离，进而将计算的距离与标准距离进行比较，若计算的距离大于标准距离，则确定电极出现翘曲。
在本申请实施例一种可能的实现方式中，识别出产品图像中存在的缺陷之后，还可以对缺陷进行量化，以提取出亮度、宽度、对比度、梯度、厚度等信息。常用的量化算法比如有骨架算法、索贝尔（Sobel）算子进行边缘检测、最大类间方差法、图像归一化等。具体实现时，可以先利用分割算法提取出存在缺陷的部分，如图11（a）所示，图11（a）中，白色矩形框内框出了缺陷，再通过骨架算法提取出缺陷的细轮廓，如图11（b）所示，进而即可确定缺陷的长度、宽度等信息。
图12是实现本申请提供的产品的检测方法的结构框架示例图。如图12所示，当产品图像中的前景和背景容易区分时，可以对产品图像进行二值化、寻找轮廓、抠图等处理后，基于检测规则进行缺陷检测，比如检测产品图像是否存在厚度低或厚度超的缺陷。当产品图像中的前景和背景不易区分时，可以通过实例分割算法如Mask R-CNN、HRNet、YOLACT，识别出产品图像中存在的缺陷，比如检测产品图像是否存在电极翘曲或电极拱起的缺陷。此外，还可以对识别出的缺陷进行高精度特征提取，以确定长度、宽度、面积等信息，进而确定出缺陷的具体类型（比如面裂）、缺陷的长度、宽度、缺陷位置、缺陷个数等。或者，还可以对识别出的缺陷进行二分类，以检测出缺陷的类别、缺陷分数等。
图13是实现本申请提供的产品的检测方法的工程设计示例图。其中，图13中未示出可编程逻辑控制器（Programmable Logic Controller，PLC）、图像采集设备和数据库，但应当说明的是，PLC控制图像采集设备获取产品图像，并将采集的产品图像存储至数据库中，图13中所示的中控（中央控制系统）从数据库中读取产品图像的图像数据。如图13所示，针对产品的每个面设置对应的进程，以实现多进程多模型同时检测，每个进程对应一个任务管道和一个结果管道，每个进程存储一份日志，并在不同的进程中启动不同面的算法模型。中控将读取的图像数据存储至每个面对应的任务管道中，中央处理器（CentralProcessing Unit，CPU）从对应的任务管道中读取图像数据（图13中的解码字节流），送入算法模型中进行缺陷检测，得到检测结果，进而将检测结果进行编码得到编码结果存在至对应的结果管道中。其中，接着，中控从各结果管道中读取检测结果并发送给PLC，控制PLC进行下料。
图13中，任务管道0用于存储用户在前端页面中设置的针对每个面的缺陷检测阈值，各个面对应的进程通过内存轮询任务管道0以监视缺陷检测阈值的变化，并将读取的缺陷检测阈值应用于对应的算法模型中，由此，有利于调节算法模型输出的结果，通过设置缺陷检测阈值来控制算法模型的返回结果，使得算法模型可能会放过某些缺陷，提高产品的合格率。
如图13所示，算法模型运行在不同的GPU上，能够避免抢占资源，有利于提高缺陷检测速度。此外，前后端（即中控与CPU）之间的数据传输可以如图13所示以任务管道和结果管道为媒介，也可以通过远程过程调用（Remote Procedure Call，RPC）、超文本传输协议（HyperText Transfer Protocol，HTTP）等服务实现，本申请对此不作限制。
具体实现时，在设置质检规则时，可以在实施算法策略前期与客户定义好具体质检规则，并抽象具化到对采集的产品图的标注过程中，作为标注员的标注规则。此外，还可以提供少批量的“限度样”作为最终判定算法性能的依据，其中，“限度样”是指最差的合格品，产品存在缺陷，但是缺陷可以忽略，比限度样严重的就认为产品不合格。
在确定了质检规则后，可以根据质检规则制定不同的算法策略。例如，对于产品图像质量高，前景和背景比较容易区分，质检规则单一化的情况，比如图2所示的厚度超和厚度低的检测，可以通过二值化加寻找最大外接矩的方式，计算出产品图像中产品的厚度与产品标准厚度进行比较以确定缺陷。对于缺陷特征明显，颜色信息突出的情况，比如图5所示的漏线圈的缺陷，可以通过色彩转换后进行色彩判定，或者通过训练的二分类网络，或者通过训练的检测网络等多种方式进行缺陷检测。对于拍摄质量差，对比度不明显，质检规则单一的情况，比如，图14是刀纹缺陷示例图，图14中，矩形框内存在刀纹，可以看出，刀纹在图像中并不明显，可以对图像进行对比度增强，之后再通过判断像素差值来判断图像中是否存在缺陷；或者，也可以使用二次回归模型进行更精准的缺陷位置判定。对于缺陷相对明显，质检规则复杂的情况，比如，图15是产品缺角的缺陷示例图，对于图15中的缺角部分，质检规则要求检出缺陷位置并计算出缺角的面积，则可以使用实例分割模型或语义分割模型实现。
根据本申请的实施例，本申请还提供了一种产品的检测装置。
图16是根据本申请第五实施例的产品的检测装置的结构示意图。如图16所示，该产品的检测装置50包括：第一获取模块510、第二获取模块520、第一检测模块530以及第二检测模块540。
其中，第一获取模块510，用于获取产品至少一个投影面的产品图像；
第二获取模块520，用于获取所述产品图像的图像质量指标；
第一检测模块530，用于如果所述图像质量指标大于预设质量阈值，则提取所述产品图像的前景图像，并根据所述产品图像的前景图像进行缺陷检测；以及
第二检测模块540，用于如果所述图像质量指标小于或等于所述预设质量阈值，则将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测。
在本申请实施例一种可能的实现方式中，缺陷识别模型为二次回归模型。
在本申请实施例一种可能的实现方式中，如图17所示，在如图16所示实施例的基础上，第二检测模块540包括：
第一获取单元541，用于获取所述至少一个投影面的产品图像所对应的至少一个缺陷识别模型；
第二获取单元542，用于获取所述产品图像的深层语义特征；
处理单元543，用于将所述产品图像的深层语义特征输入所述缺陷识别模型以对所述产品图像之中的缺陷进行缺陷检测。
在本申请实施例一种可能的实现方式中，如图18所示，在如图17所示实施例的基础上，该产品的检测装置50，还包括：训练模块500。
本实施例中，训练模块500获取缺陷图像，将所述缺陷图像叠加至产品图像之上以生成缺陷产品样本图像，并对所述缺陷图像进行标注；以及，将标注之后的缺陷产品样本图像输入至所述缺陷识别模型以对所述缺陷识别模型进行训练。
在本申请实施例一种可能的实现方式中，产品具有N个投影面，每个投影面对应一个缺陷检测进程，N为正整数，本实施例中，如图19所示，在如图16所示实施例的基础上，该产品的检测装置50还包括：
缺陷检测进程550，每个所述缺陷检测进程550将所述投影面对应的产品图像输入至所述投影面对应的至少一个缺陷识别模型之中。
本实施例中，每个所述缺陷检测进程从内存之中读取检测参数，并根据所述检测参数对所述缺陷识别模型进行设置，从而，如图19所示，该产品的检测装置50还包括：
设置模块560，用于通过设置进程对所述内存之中的检测参数进行修改。
本实施例中，缺陷识别模型为多个，所述多个缺陷识别模型分别运行在多个图形处理器之上，从而，如图19所示，该产品的检测装置50还包括：
第三获取模块570，用于获取所述多个缺陷识别模型的优先级；以及
控制模块580，用于根据所述多个缺陷识别模型的优先级对所述缺陷检测进程的检测任务进行控制。
在本申请实施例一种可能的实现方式中，如图20所示，在如图16所示实施例的基础上，第一检测模块530包括：
第三获取单元5301，用于获取所述前景图像的尺寸信息；以及
比对单元5302，用于将所述前景图像的尺寸信息与标准尺寸信息进行比对以确定所述产品图像的缺陷。
在本申请实施例一种可能的实现方式中，如图21所示，在如图16所示实施例的基础上，第一检测模块530包括：
转换单元5311，用于对所述前景图像进行色彩转换，得到与所述前景图像对应的色彩空间；以及
判定单元5312，用于根据所述色彩空间进行色彩判定以确定所述产品图像的缺陷。
在本申请实施例一种可能的实现方式中，如图22所示，在如图16所示实施例的基础上，第一检测模块530包括：
确定单元5321，用于将所述前景图像输入至二分类网络以确定所述产品图像的缺陷。
在本申请实施例一种可能的实现方式中，如图23所示，在如图16所示实施例的基础上，第一检测模块530包括：
检测单元5331，用于将所述前景图像输入至缺陷检测网络以确定所述产品图像的缺陷，其中，所述缺陷检测网络输出所述缺陷的位置。
在本申请实施例一种可能的实现方式中，如图24所示，在如图16所示实施例的基础上，该产品的检测装置50还包括：
增强模块590，用于对所述产品图像进行对比度增强。
在本申请实施例一种可能的实现方式中，如图25所示，在如图16所示实施例的基础上，该产品的检测装置50还包括：
第四获取模块5100，用于获取所述产品图像的多个定位关键点；以及
修正模块5110，用于根据所述产品图像的多个定位关键点对所述产品图像进行扶正。
需要说明的是，前述对产品的检测方法实施例的解释说明，也适用于本实施例的产品的检测装置，其实现原理类似，此处不再赘述。
本申请实施例的产品的检测装置，通过获取产品至少一个投影面的产品图像，并获取产品图像的图像质量指标，当图像质量指标大于预设质量阈值时，提取产品图像的前景图像进行缺陷检测，而当图像质量指标小于或等于预设质量阈值时，将产品图像输入至至少一个缺陷识别模型进行缺陷检测，由此，实现了产品缺陷的自动检测，相较于人工检测方式，节省了人力成本和时间成本，提高了检测效率，并且，产品缺陷的检测不依赖于质检员的主观经验，能够提高检测结果的准确率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图26所示，是用来实现本申请实施例的产品的检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图26所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图26中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的产品的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的产品的检测方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的产品的检测方法对应的程序指令/模块（例如，附图16所示的第一获取模块510、第二获取模块520、第一检测模块530以及第二检测模块540）。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的产品的检测方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行产品的检测方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至执行产品的检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行产品的检测方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图26中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与执行产品的检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取产品至少一个投影面的产品图像，并获取产品图像的图像质量指标，当图像质量指标大于预设质量阈值时，提取产品图像的前景图像进行缺陷检测，而当图像质量指标小于或等于预设质量阈值时，将产品图像输入至至少一个缺陷识别模型进行缺陷检测，由此，实现了产品缺陷的自动检测，相较于人工检测方式，节省了人力成本和时间成本，提高了检测效率，并且，产品缺陷的检测不依赖于质检员的主观经验，能够提高检测结果的准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (28)

1.一种产品的检测方法，其中，包括：
获取产品至少一个投影面的产品图像；
获取所述产品图像的前景图像和背景图像；获取所述前景图像中的颜色值以及获取所述背景图像中的颜色值；比较所述前景图像中的颜色值和所述背景图像中的颜色值之间的差异，根据比较结果确定出所述前景图像与所述背景图像之间的对比度，以得到所述产品图像的图像质量指标；
如果所述图像质量指标大于预设质量阈值，则提取所述产品图像的前景图像，并根据所述产品图像的前景图像进行缺陷检测；以及
如果所述图像质量指标小于或等于所述预设质量阈值，则将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测。
2.如权利要求1所述产品的检测方法，其中，所述将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测，包括：
获取所述至少一个投影面的产品图像所对应的至少一个缺陷识别模型；
获取所述产品图像的深层语义特征；
将所述产品图像的深层语义特征输入所述缺陷识别模型以对所述产品图像之中的缺陷进行缺陷检测。
3.如权利要求1所述产品的检测方法，其中，所述缺陷识别模型为二次回归模型。
4.如权利要求2所述产品的检测方法，其中，所述缺陷识别模型通过以下步骤训练获得：
获取缺陷图像；
将所述缺陷图像叠加至产品图像之上以生成缺陷产品样本图像，并对所述缺陷图像进行标注；以及
将标注之后的缺陷产品样本图像输入至所述缺陷识别模型以对所述缺陷识别模型进行训练。
5.如权利要求1所述产品的检测方法，其中，所述产品具有N个投影面，每个投影面对应一个缺陷检测进程，每个所述缺陷检测进程将所述投影面对应的产品图像输入至所述投影面对应的至少一个缺陷识别模型之中，其中，N为正整数。
6.如权利要求5所述产品的检测方法，其中，每个缺陷检测进程从内存之中读取检测参数，并根据所述检测参数对所述缺陷识别模型进行设置，所述方法还包括：
通过设置进程对所述内存之中的检测参数进行修改。
7.如权利要求5所述产品的检测方法，其中，所述缺陷识别模型为多个，所述多个缺陷识别模型分别运行在多个图形处理器之上，所述方法还包括：
获取所述多个缺陷识别模型的优先级；以及
根据所述多个缺陷识别模型的优先级对所述缺陷检测进程的检测任务进行控制。
8.如权利要求1所述产品的检测方法，其中，所述根据所述产品图像的前景图像进行缺陷检测，包括：
获取所述前景图像的尺寸信息；以及
将所述前景图像的尺寸信息与标准尺寸信息进行比对以确定所述产品图像的缺陷。
9.如权利要求1所述产品的检测方法，其中，所述根据所述产品图像的前景图像进行缺陷检测，包括：
对所述前景图像进行色彩转换，得到与所述前景图像对应的色彩空间；以及
根据所述色彩空间进行色彩判定以确定所述产品图像的缺陷。
10.如权利要求1所述产品的检测方法，其中，所述根据所述产品图像的前景图像进行缺陷检测，包括：
将所述前景图像输入至二分类网络以确定所述产品图像的缺陷。
11.如权利要求1所述产品的检测方法，其中，所述根据所述产品图像的前景图像进行缺陷检测，包括：
将所述前景图像输入至缺陷检测网络以确定所述产品图像的缺陷，其中，所述缺陷检测网络输出所述缺陷的位置。
12.如权利要求1所述产品的检测方法，其中，在所述将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测之前，还包括：
对所述产品图像进行对比度增强。
13.如权利要求1所述产品的检测方法，其中，在所述获取产品至少一个投影面的产品图像之后，还包括：
获取所述产品图像的多个定位关键点；以及
根据所述产品图像的多个定位关键点对所述产品图像进行扶正。
14.一种产品的检测装置，其特征在于，包括：
第一获取模块，用于获取产品至少一个投影面的产品图像；
第二获取模块，用于获取所述产品图像的前景图像和背景图像；获取所述前景图像中的颜色值以及获取所述背景图像中的颜色值；比较所述前景图像中的颜色值和所述背景图像中的颜色值之间的差异，根据比较结果确定出所述前景图像与所述背景图像之间的对比度，以得到所述产品图像的图像质量指标；
第一检测模块，用于如果所述图像质量指标大于预设质量阈值，则提取所述产品图像的前景图像，并根据所述产品图像的前景图像进行缺陷检测；以及
第二检测模块，用于如果所述图像质量指标小于或等于所述预设质量阈值，则将所述产品图像输入至至少一个缺陷识别模型进行缺陷检测。
15.如权利要求14所述产品的检测装置，其中，所述第二检测模块，包括：
第一获取单元，用于获取所述至少一个投影面的产品图像所对应的至少一个缺陷识别模型；
第二获取单元，用于获取所述产品图像的深层语义特征；
处理单元，用于将所述产品图像的深层语义特征输入所述缺陷识别模型以对所述产品图像之中的缺陷进行缺陷检测。
16.如权利要求14所述产品的检测装置，其中，所述缺陷识别模型为二次回归模型。
17.如权利要求14所述产品的检测装置，其中，所述装置还包括：训练模块；
所述训练模块获取缺陷图像，将所述缺陷图像叠加至产品图像之上以生成缺陷产品样本图像，并对所述缺陷图像进行标注；以及，将标注之后的缺陷产品样本图像输入至所述缺陷识别模型以对所述缺陷识别模型进行训练。
18.如权利要求14所述产品的检测装置，其中，所述产品具有N个投影面，每个投影面对应一个缺陷检测进程，N为正整数，所述装置还包括：
缺陷检测进程，每个所述缺陷检测进程将所述投影面对应的产品图像输入至所述投影面对应的至少一个缺陷识别模型之中。
19.如权利要求18所述产品的检测装置，其中，每个所述缺陷检测进程从内存之中读取检测参数，并根据所述检测参数对所述缺陷识别模型进行设置，所述装置还包括：
设置模块，用于通过设置进程对所述内存之中的检测参数进行修改。
20.如权利要求18所述产品的检测装置，其中，所述缺陷识别模型为多个，所述多个缺陷识别模型分别运行在多个图形处理器之上，所述装置还包括：
第三获取模块，用于获取所述多个缺陷识别模型的优先级；以及
控制模块，用于根据所述多个缺陷识别模型的优先级对所述缺陷检测进程的检测任务进行控制。
21.如权利要求14所述产品的检测装置，其中，所述第一检测模块，包括：
第三获取单元，用于获取所述前景图像的尺寸信息；以及
比对单元，用于将所述前景图像的尺寸信息与标准尺寸信息进行比对以确定所述产品图像的缺陷。
22.如权利要求14所述产品的检测装置，其中，所述第一检测模块，包括：
转换单元，用于对所述前景图像进行色彩转换，得到与所述前景图像对应的色彩空间；以及
判定单元，用于根据所述色彩空间进行色彩判定以确定所述产品图像的缺陷。
23.如权利要求14所述产品的检测装置，其中，所述第一检测模块，包括：
确定单元，用于将所述前景图像输入至二分类网络以确定所述产品图像的缺陷。
24.如权利要求14所述产品的检测装置，其中，所述第一检测模块，包括：
检测单元，用于将所述前景图像输入至缺陷检测网络以确定所述产品图像的缺陷，其中，所述缺陷检测网络输出所述缺陷的位置。
25.如权利要求14所述产品的检测装置，其中，所述装置还包括：
增强模块，用于对所述产品图像进行对比度增强。
26.如权利要求14所述产品的检测装置，其中，所述装置还包括：
第四获取模块，用于获取所述产品图像的多个定位关键点；以及
修正模块，用于根据所述产品图像的多个定位关键点对所述产品图像进行扶正。
27. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的产品的检测方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-13中任一项所述的产品的检测方法。
CN202010508047.4A 2020-06-05 2020-06-05 产品的检测方法、装置、电子设备及存储介质 Active CN111833303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010508047.4A CN111833303B (zh) 2020-06-05 2020-06-05 产品的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010508047.4A CN111833303B (zh) 2020-06-05 2020-06-05 产品的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111833303A CN111833303A (zh) 2020-10-27
CN111833303B true CN111833303B (zh) 2023-07-25

Family

ID=72898470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010508047.4A Active CN111833303B (zh) 2020-06-05 2020-06-05 产品的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111833303B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836692B (zh) * 2020-11-27 2023-03-24 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备和介质
CN112711603A (zh) * 2020-12-30 2021-04-27 广东粤云工业互联网创新科技有限公司 基于云端的工件检测方法及系统、计算机可读存储介质
CN112950560A (zh) * 2021-02-20 2021-06-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 电子元器件缺陷检测方法、装置及系统
CN113222967A (zh) * 2021-05-28 2021-08-06 长江存储科技有限责任公司 晶圆的检测方法及系统
CN113469944A (zh) * 2021-06-03 2021-10-01 厦门宏泰智能制造有限公司 一种产品质检方法、装置和电子设备
CN114466183A (zh) * 2022-02-21 2022-05-10 江东电子材料有限公司 基于特征光谱的铜箔瑕疵检测方法、装置和电子设备
CN114627114B (zh) * 2022-05-12 2022-08-09 成都数联云算科技有限公司 产品缺陷严重程度测量方法及系统及装置及介质
CN116167992A (zh) * 2023-02-02 2023-05-26 北京百度网讯科技有限公司 缺陷检测方法、装置、电子设备和计算机可读存储介质
CN115931905B (zh) * 2023-02-02 2023-09-26 北京百度网讯科技有限公司 Poy产品的检测方法、装置、电子设备和存储介质
CN116342599B (zh) * 2023-05-29 2023-11-14 宁德时代新能源科技股份有限公司 缺陷检测设备的点检方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的系统和方法
CN106702870A (zh) * 2017-03-14 2017-05-24 深圳汇创联合自动化控制有限公司 一种道路裂缝检测系统
CN108960290A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109472259A (zh) * 2018-10-30 2019-03-15 河北工业大学 基于能量优化的图像协同显著性检测方法
CN110164341A (zh) * 2018-02-14 2019-08-23 精工爱普生株式会社 电路装置、电子设备以及错误检测方法
CN110348499A (zh) * 2019-06-28 2019-10-18 西安理工大学 一种缝纫线迹缺陷检测方法
CN110704687A (zh) * 2019-09-02 2020-01-17 平安科技（深圳）有限公司 文字布局方法、装置及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489420B (zh) * 2012-02-29 2015-06-21 Chroma Ate Inc 表面花紋之檢測方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的系统和方法
CN106702870A (zh) * 2017-03-14 2017-05-24 深圳汇创联合自动化控制有限公司 一种道路裂缝检测系统
CN110164341A (zh) * 2018-02-14 2019-08-23 精工爱普生株式会社 电路装置、电子设备以及错误检测方法
CN108960290A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019233266A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法、计算机可读存储介质和电子设备
CN109472259A (zh) * 2018-10-30 2019-03-15 河北工业大学 基于能量优化的图像协同显著性检测方法
CN110348499A (zh) * 2019-06-28 2019-10-18 西安理工大学 一种缝纫线迹缺陷检测方法
CN110704687A (zh) * 2019-09-02 2020-01-17 平安科技（深圳）有限公司 文字布局方法、装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Quaternion Structural Similarity: A New Quality Index for Color Images;Amir Kolaman etal.;《 IEEE Transactions on Image Processing》;全文 *
面向移动设备的各向异性纹理映射方法;杨柏林等;《计算机辅助设计与图形学学报》;第第19卷卷(第第5期期);全文 *

Also Published As

Publication number Publication date
CN111833303A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833303B (zh) 产品的检测方法、装置、电子设备及存储介质
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN110544258B (zh) 图像分割的方法、装置、电子设备和存储介质
CN107945184B (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US9076221B2 (en) Removing an object from an image
US9454824B2 (en) Pattern processing device, pattern processing method, and pattern processing program
US20180253852A1 (en) Method and device for locating image edge in natural background
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN111597941B (zh) 一种面向大坝缺陷图像的目标检测方法
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
US20200090319A1 (en) Machine learning method implemented in aoi device
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN116468640B (zh) 一种用于互联网教学的视频图像增强方法
CN103530625A (zh) 一种基于数字图像处理的光学字符识别方法
CN111259891A (zh) 一种自然场景下身份证识别方法、装置、设备和介质
WO2023115409A1 (zh) 一种焊盘检测方法、装置、计算机设备及存储介质
CN112184837A (zh) 一种图像检测方法、装置、电子设备及存储介质
AU2011265380B2 (en) Determining transparent fills based on a reference background colour
CN116559177A (zh) 一种缺陷检测方法、装置、设备以及存储介质
CN105678301A (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN110458231B (zh) 一种陶瓷产品检测方法、装置和设备
US8358851B2 (en) Digital image analyzing method and related computer program product
CN107122783B (zh) 一种基于角点检测的装配连接件快速识别方法
CN116342585A (zh) 一种产品缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant