CN114078127A - 物件的缺陷检测及计数方法、装置、设备和存储介质 - Google Patents

物件的缺陷检测及计数方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114078127A
CN114078127A CN202210064077.XA CN202210064077A CN114078127A CN 114078127 A CN114078127 A CN 114078127A CN 202210064077 A CN202210064077 A CN 202210064077A CN 114078127 A CN114078127 A CN 114078127A
Authority
CN
China
Prior art keywords
defect
image
images
counting
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210064077.XA
Other languages
English (en)
Other versions
CN114078127B (zh
Inventor
彭广德
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ligong Industrial Co ltd
Original Assignee
Guangzhou Ligong Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ligong Industrial Co ltd filed Critical Guangzhou Ligong Industrial Co ltd
Priority to CN202210064077.XA priority Critical patent/CN114078127B/zh
Publication of CN114078127A publication Critical patent/CN114078127A/zh
Application granted granted Critical
Publication of CN114078127B publication Critical patent/CN114078127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种物件的缺陷检测及计数方法、装置、设备和存储介质。该方法包括：获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果，若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。采用本方法能够高效且准确地对物件进行缺陷检测和计数。

Description

物件的缺陷检测及计数方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种物件的缺陷检测及计数方法、装置、设备和存储介质。
背景技术
随着计算机技术的不断发展，计算机视觉技术的应用越来越广泛。例如，可以结合传感器控制和计算机视觉技术进行物件的缺陷检测及视觉计数。
相关技术中，物件的缺陷检测及视觉计数是采用人工肉眼与测量称重的方式实现，或者，通过摄像头采集物件图像，并对图像二值化阈值分割后直接进行检测实现。但是，采用人工肉眼与测量称重的方式过于耗时，尤其是不利于对不规则的物件的缺陷检测及计数，导致缺陷检测和计数的效率低，准确率也低；而摄像头采集物件图像的方式因物件在整个图像占比非常小，特别容易漏检和误检，也导致物件的缺陷检测和计数准确率不高。
因此，亟需一种可以高效且准确地对物件进行缺陷检测和计数的方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够高效且准确地对物件进行缺陷检测和计数的物件的缺陷检测及计数方法、装置、设备和存储介质。
第一方面，本申请提供了一种物件的缺陷检测及计数方法，该方法包括：
获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；
若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。
在其中一个实施例中，该方法还包括：
若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。
在其中一个实施例中，获取目标物件的多帧原始图像包括：
获取待计数区域的视频流；视频流包括至少一个物件；
通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
在其中一个实施例中，通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量之前，该方法还包括：
从多帧原始图像中获取各帧原始图像对应的物件区域；
根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
在其中一个实施例中，通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，包括：
通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
在其中一个实施例中，物件缺陷检测模型的构建过程包括：
获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
在其中一个实施例中，物件缺陷分类模型的构建过程包括：
获取样本物件图像中物件的缺陷区域图像；
对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理；
根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
第二方面，本申请还提供了一种缺陷检测及计数装置，该装置包括：
第一处理模块，用于获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
第一统计模块，用于在检测结果为不存在缺陷物件的情况下，则将目标物件统计到正常物件计数结果中；
获取模块，用于在检测结果为存在缺陷物件的情况下，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
第二统计模块，用于在存在缺陷物件的图像数量处于预设范围的情况下，则将目标物件统计到缺陷物件计数结果中。
第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例中的任一项方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例中的任一项方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面实施例中的任一项方法的步骤。
上述物件的缺陷检测及计数方法、装置、设备和存储介质，服务器获取目标物件的多帧原始图像，通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，根据检测结果判断是否存在缺陷物件，若检测结果为不存在缺陷物件，将目标物件统计到正常物件计数结果中；若检测结果为存在缺陷物件，通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，判断存在缺陷物件的图像数量是否处于预设范围，若存在缺陷物件的图像数量处于预设范围，将目标物件统计到缺陷物件计数结果中；若存在缺陷物件的图像数量未处于预设范围，将目标物件统计到正常物件计数结果中。通过预设的物件缺陷检测模型和预设的物件缺陷分类模型能够快速的对同一物件的多帧原始图像进行检测，从而可以高效的对物件进行缺陷检测和计数，将同一批物件的图像作为数据集，通过该数据集训练多个模型来完成缺陷检测和计数任务，该过程具有较强的鲁棒性。相比于传统方法，本方案可以对不同尺寸与不同形状的物件进行快速准确的计数，同时，对于同一物件的多帧原始图像通过预设的物件缺陷检测模型先进行粗略检测，再通过预设的物件缺陷分类模型进行精确的检测，使得物件缺陷检测和计数过程更准确。
附图说明
图1为一个实施例中物件的缺陷检测及计数方法的应用环境图；
图2为一个实施例中目标物件的缺陷检测和计数方法的流程示意图；
图3为一个实施例中获取目标物件的多帧原始图像方法的流程示意图；
图4为一个实施例中去除不合理物件检验框方法的流程示意图；
图5为一个实施例中确定缺陷物件的数量方法的流程示意图；
图6为一个实施例中生成物件缺陷检测模型的流程示意图；
图7为一个实施例中生成物件缺陷分类模型的流程示意图；
图8为一个实施例中物件的缺陷检测及计数方法的流程示意图；
图9为一个实施例中训练物件检测模型和物件缺陷检测模型的流程示意图；
图10为一个实施例中训练物件缺陷分类模型的流程示意图；
图11为一个实施例中物件的计数方法的流程示意图；
图12为一个实施例中物件的缺陷检测及计数装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相关技术中，在对物件进行缺陷检测过程中，最传统的方式是通过人工肉眼观察，区分物件是否存在缺陷，同时对缺陷物件和正常物件进行计数。当物件为同一类物件，且该物件的大小、重量都相同，可以将该物件铺平在计量称上，通过称重的方式计算物件的总质量，物件的总质量与单个质量的比值为物件的个数，但是通过人工肉眼或称重的方式效率低下，对于大小、重量不同的物件，无法通过称重的方式进行计数。
随着工业自动化程度的提高，可以通过可见光摄像头采集物件的图像，通过图像二值化进行阈值分割，根据分割结果检测该图像中是否含有物件，或者，通过阈值分割得到物件和缺陷区域的轮廓，根据物件和缺陷检测区域相交情况判断物件是否为缺陷物件，但是由于物件在整个图像占比非常小，判断物件的过程中特别容易漏检和误检，同时物件上的缺陷区域也无法准确的检测，准确率较低。还可以通过卷积神经网络模型对可见光摄像头采集的图像进行检测，然后将物件区域输入分类器，将物件分为缺陷物件和正常物件。由于缺陷在整个物件区域占比非常小，使用分类器很难对正常物件和缺陷物件进行区分，通过分类器的分类效果不佳，同时卷积神经网络模型需要大量的样本数据进行训练，物件的样本数据不易收集。
因此，针对以上问题，下面结合本申请实施例所应用的场景，对本申请实施例涉及的技术方案进行介绍。
本申请实施例提供的物件的缺陷检测及计数方法，可以应用于如图1所示的应用环境中。其中，拍照设备102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取拍照设备102拍摄的目标物件的多帧原始图像，并通过预设的物件缺陷检测模型和缺陷分类模型对多帧原始图像进行缺陷检测，判断目标物件为正常物件或缺陷物件，将其计数到对应的正常物件或缺陷物件中。其中，拍照设备102可以但不限于是各种智能手机、平板电脑、普通相机和工业相机等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一个目标物件的缺陷检测和计数方法的流程示意图，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S201，获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果。
其中，目标物件可以是各种机械类的零件，例如，机械零件可以包括刀具、带钢、齿轮和轴承等。在这些机械零件加工以及使用过程中，机械零件的缺陷可以是内部缺陷和表面缺陷，由于机械零件的内部缺陷无法直接看到，只能通过机械零件的表面缺陷对机械零件的性能进行评估。机械零件的表面缺陷是指机械零件表面局部物理或化学性质不均匀的区域，例如，物件缺陷可以包括各中机械类的零件上的划痕、斑点和孔洞等。上述物件缺陷检测模型可以将大量的历史缺陷图片作为训练样本，通过卷积神经网络模型训练得到物件缺陷检测模型。
可选的，当机械零件处于固定位置时，可以通过拍照设备来拍摄机械零件各个角度的多帧原始图像，或者，也可以在机械零件移动的过程中通过多个拍照设备拍摄机械零件的多个角度的多帧原始图像，或者，可以通过拍照设备对机械零件的进行各个角度的录像，从得到的录像中截取多帧原始图像。其中，拍照设备可以是手机、平板电脑或者工业电荷耦合器件(Charge Coupled Device，CCD)等设备。拍照设备将拍摄到的多个角度的多帧原始图像发送至服务器，服务器将获取到的多帧原始图像作为缺陷检测模型的输入信号，经过缺陷检测模型计算后，输出多帧原始图像中缺陷图像的数量，根据缺陷图像的数据判断多帧原始图像中是否存在缺陷物件图像。例如，当缺陷检测模型输出结果为0时，表示多帧原始图像中不存在缺陷物件图像，当缺陷检测模型输出结果为除0外的任意正整数时，表示多帧原始图像中存在缺陷物件图像。
S202，若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中。
具体的，同一物件的多帧原始图像经过物件缺陷检测模型得到的检测结果为不存在缺陷，即同一物件多个角度拍摄到的多帧原始图像中不存在划痕、斑点和孔洞等缺陷图像，也就是说该物件的每个表面都不存在划痕、斑点和孔洞等缺陷，因此将该目标物件统计为正常物件。
S203，若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量。
其中，预设的物件缺陷分类模型可以将大量的历史缺陷图片作为训练样本，也可以将大量的历史缺陷图片中的缺陷部位进行多样化变换得到训练样本，通过卷积神经网络模型训练得到预设的物件缺陷分类模型。
具体的，当同一物件的多帧原始图像经过物件缺陷检测模型得到的检测结果为存在缺陷物件，即该物件的某个表面可能存在划痕、斑点和孔洞等缺陷，需要对该物件的多帧原始图像进一步分析，服务器将多帧原始图像作为预设的物件缺陷分类模型的输入信号，通过预设的物件缺陷分类模型的训练，输出同一物件的多帧原始图像中具体缺陷物件的图像数量。例如，通过拍照设备拍摄同一物件各个角度的原始图像共10张，将这10张原始图像输入至预设的物件缺陷分类模型中，若预设的物件缺陷分类模型输出的结果为2，10张原始图片中有2张图片中存在缺陷，即该物件表面可能存在两处缺陷。
S204，若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。
可选的，服务器通过预设的物件缺陷分类模型得到缺陷物件的图像数量后，服务器可以通过判断缺陷物件的图像数量是否处于预设范围内，确定该物件是否对实际生产过程有影响。例如，根据机械零件的历史经验假设机械零件中刀具表面的划痕总数小于2时，对于实际的生产过程基本无影响。对于机械零件中刀具表面的划痕总数大于2的正整数，该机械零件中刀具表面的划痕会对实际的生产过程产生影响，将该机械零件统计到缺陷物件计数结果中。
可选的，若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。示例性的，当缺陷物件的图像数量为1时，缺陷物件的图像数量未处于预设范围内。该物件虽然存在缺陷，但是该缺陷对于实际的生产过程并无影响，因此将该物件统计到正常物件中。
上述物件的缺陷检测及计数方法中，服务器获取目标物件的多帧原始图像，通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，根据检测结果判断是否存在缺陷物件，若检测结果为不存在缺陷物件，将目标物件统计到正常物件计数结果中；若检测结果为存在缺陷物件，通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，判断存在缺陷物件的图像数量是否处于预设范围，若存在缺陷物件的图像数量处于预设范围，将目标物件统计到缺陷物件计数结果中；若存在缺陷物件的图像数量未处于预设范围，将目标物件统计到正常物件计数结果中。通过预设的物件缺陷检测模型和预设的物件缺陷分类模型能够快速的对同一物件的多帧原始图像进行检测，从而可以高效的对物件进行缺陷检测和计数，将同一批物件的图像作为数据集，通过该数据集训练多个模型来完成缺陷检测和计数任务，该过程具有较强的鲁棒性。相比于传统方法，本方案可以对不同尺寸与不同形状的物件进行快速准确的计数，同时，对于同一物件的多帧原始图像通过预设的物件缺陷检测模型先进行粗略检测，再通过预设的物件缺陷分类模型进行精确的检测，使得物件缺陷检测和计数过程更准确。
图3为本申请实施例提供的获取目标物件的多帧原始图像方法的流程示意图。本申请实施例涉及获取目标物件的多帧原始图像的一种可选的实现方式。在图2所示实施例的基础上，如图3所示，上述S201可以包括如下步骤：
S301，获取待计数区域的视频流；视频流包括至少一个物件。
其中，物件可以通过传送带移动，在传送带上设置待计数区域，当物件经过待待计数区域时，拍照设备录制物件移动过程中的视频流。计数区域可以是一个光线充足且需要保证拍照设备对物件进行拍照过程中不反光的区域。例如，可以设置一个暗箱，暗箱中设置发光二极管 (Light Emitting Diode，LED)作为照明设备。
可选的，拍照设备可以在物件自动移动至待计数区域的过程中，或者，可以人工将物件放置在待计数区域中，通过拍照设备自带的旋转装置多个角度录制物件的视频流。本实施例对于获取物件视频流的方式不做限定。在录制过程中，录制画面中可以是一个物件的视频流，也可以是多个物件的视频流。
S302，通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
其中，预设的物件检测模型是通过可以将大量的历史物件图片作为训练样本，该历史物件图片中都对物件区域进行了标注，将已标注物件区域的历史物件图片输入卷积神经网络模型中，通过卷积神经网络模型训练得到预设的物件检测模型。
具体的，通过步骤S301获得的待计数区域的视频流，服务器将该待计数区域的视频流输入至预设的物件检测模型中，根据预设的物件检测模型的计算，筛除掉待计数区域的视频流中没有物件存在的部分视频流，从剩下的视频流中截取存在物件的图像，预设的物件检测模型输出目标物件的多帧原始图像。
上述物件的缺陷检测及计数方法中，服务器通过获取待计数区域中至少一个物件的视频流，从而可以通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像，其中，物件检测模型是基于多种标注了物件区域的物件图像训练得到的，通过训练得到的预设的物件检测模型，能够快速的从物件的视频流中得到目标物件的多帧原始图像，提高了目标物件原始图像的获取效率，通过连续采集图像帧判断，可以避免背景图像疑似物件的物体与正常物件相交的情况，同时拍照设备不局限于工业CCD相机，使用普通的带有拍照、录像功能的终端设备即可完成视频的录制，该过程也可以通过一个计算机设备完成，无需其他硬件设备，硬件成本较低。
图4为本申请实施例提供的去除不合理物件检验框方法的流程示意图。本申请实施例涉及通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量之前，去除不合理物件检验框的一种可选的实现方式。在图2所示实施例的基础上，如图4所示，上述步骤还可以包括如下步骤：
S401，从多帧原始图像中获取各帧原始图像对应的物件区域。
具体的，原始图像中包括背景和物件，服务器可以对多帧原始图像进行去噪、平滑处理，通过阈值分割方法将多帧原始图像划分为背景区域和物件区域，从而可以获取到各帧原始图像对应的物件区域。
S402，根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
具体的，机械零件的表面缺陷为划痕、斑点和孔洞时，根据先验知识可以得到机械零件的表面的划痕、斑点和孔洞的相对大小和位置。由于各帧原始图像对应的物件区域可能存在物件重叠的情况，或者，各帧原始图像对应的物件区域中可能存在部分背景遮挡，将背景部分遮挡误判为物件缺陷。因此，在对原始图像处理之前，需要对各帧原始图像对应的物件区域中物件重叠或物件缺陷误判的情况进行去除，保证得到的原始图像对应的物件区域的物件检测框合理。服务器可以将各帧原始图像对应的物件区域与历史图像对应的物件区域对比，当相似度大于等于预设阈值时，各帧原始图像对应的物件区域的物件检测框合理；当相似度小于预设阈值时，各帧原始图像对应的物件区域的物件检测框不合理，删除各帧原始图像中不合理的物件检测框对应的原始图像。
上述物件的缺陷检测及计数方法中，服务器可以从多帧原始图像中获取各帧原始图像对应的物件区域，从而可以根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框，通过先验知识去除不合理的检验框，为之后的物件缺陷分类提供更合理的原始图像。
图5为本申请实施例提供的确定缺陷物件的数量方法的流程示意图。本申请实施例涉及通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量的一种可选的实现方式。在图2所示实施例的基础上，如图5所示，上述S203可以包括如下步骤：
S501，通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷。
具体的，将多帧原始图像作为输入信号输入至物件缺陷分类模型中，通过物件缺陷分类模型的计算，输出每一帧原始图像对应的缺陷分类结果，该分类结果表示目标物件为存在缺陷或不存在缺陷。例如，将某一帧图像输入到物件缺陷分类模型中，当物件缺陷分类模型输出结果为0时，表明该帧图像没有缺陷；当物件缺陷分类模型输出结果为2时，表明该帧图像中存在两处缺陷。
S502，根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
示例性的，同一物件的多帧原始图像分别对应多个缺陷分类结果，当存在10帧同一物件的原始图像，缺陷分类结果中有8帧图像不存在缺陷，缺陷分类结果中有2帧图像存在缺陷，即多帧原始图像中存在缺陷物件的图像数量的2帧图像。
上述物件的缺陷检测及计数方法中，服务器通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果，每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷，从而可以根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量，由于物件缺陷分类模型在训练的过程中样本数量较多，通过物件缺陷分类模型可以更准确的确定多帧原始图像中存在缺陷的图像数量。
图6为本申请实施例提供的生成物件缺陷检测模型的流程示意图。本申请实施例涉及物件缺陷检测模型的构建过程的一种可选的实现方式。在图2所示实施例的基础上，如图6所示，上述步骤还可以包括如下步骤：
S601，获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框。
具体的，样本物件图像可以包括部分历史物件图像，物件图像中的物件标注框可以通过图像处理软件进行手工标注，缺陷区域的标注框可以通过历史经验进行标注。例如，通过某一机械设备生产出的一批刀具中，将存在划痕、斑点和孔洞的刀具作为样本物件图像，可以将刀具的最小外接矩形作为该刀具的标注框，也可以将刀具的轮廓作为该刀具的标注框，刀具的缺陷区域标注框可以为矩形，也可以为缺陷区域的轮廓。可选的，在对样本物件图像标注前，可以将样本物件图像设置为同一大小。例如，可以将物件图像的分辨率设置为640*640或224*224。
S602，根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
可选的，将样本物件图像输入至卷积神经网络中进行训练，卷积神经网络模型通过若干卷积层提取到各个样本物件图像的第一特征图，再将各个样本物件图像的第一特征图输入至迁移学习模型中得到迁移损失函数，采用随机梯度下降算法对迁移损失函数优化直至迁移损失函数收敛，根据收敛的迁移损失函数对卷积神经网络模型各个层的参数进行优化更新，得到目标卷积神经网络模型，将该目标卷积神经网络模型作为物件缺陷检测模型。
上述物件的缺陷检测及计数方法中，服务器获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框，根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型，该过程物件的样本数据集可以在现场实时采集，根据该样本数据集训练得到的物件缺陷检测模型对物件检测的准确率较高。
图7为本申请实施例提供的生成物件缺陷分类模型的流程示意图。本申请实施例涉及物件缺陷分类模型的构建过程的一种可选的实现方式。在图2所示实施例的基础上，如图7所示，上述步骤还可以包括如下步骤：
S701，获取样本物件图像中物件的缺陷区域图像。
具体的，通过步骤S601获取到的样本物件图像中包括物件标注框和缺陷标注框，服务器可以通过阈值分割算法或Canny算法从样本物件图像中根据缺陷区域标注框删除背景和非缺陷区域，获得样本物件图像中物件的缺陷区域图像。
S702，对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理。
具体的，由于训练神经网络模型中需要用到大量的样本图像数据，可以对已经得到的缺陷图像进行多样化处理，以丰富样本图像数据。通过步骤S701获取到缺陷区域图像后，服务器可以对该缺陷图像进行平移、旋转、放大或缩小变换，或者，也可以将该缺陷图像从RGB空间转换到HSL空间中，通过直方图均衡或自适应直方图均衡化对缺陷图像的亮度进行调节，或者，采用高斯模糊算法对缺陷图像进行模糊变换，将处理后的图像与预先采集的背景图像结合，即可生成大量的新的样本物件图像。例如，采集到的缺陷图像分辨率大小为1920*1080，将图像进行预处理，保持宽高比例缩放并填充至640x640，数值除以255.0，将处理后的图像与背景图像结合，生成新的样本物件图像。
S703，根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
可选的，将新的样本物件图像输入至卷积神经网络中进行训练，卷积神经网络模型通过若干卷积层提取到各个样本物件图像的第一特征图，再将各个样本物件图像的第一特征图输入至迁移学习模型中得到迁移损失函数，采用随机梯度下降算法对迁移损失函数优化直至迁移损失函数收敛，根据收敛的迁移损失函数对卷积神经网络模型各个层的参数进行优化更新，得到目标卷积神经网络模型，将该目标卷积神经网络模型作为物件缺陷分类模型。
上述物件的缺陷检测及计数方法中，服务器通过获取样本物件图像中物件的缺陷区域图像，并对缺陷区域图像进行大小、方向、颜色饱和度等的多样化处理，从而可以根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像，进而可以根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型，通过对缺陷区域图像进行多样化处理，使得样本种类更加丰富，合成的样本数据集可以提高物件的召回率，得到的物件缺陷分类模型可以识别更多的物件缺陷图像，提高了物件缺陷分类模型的精度。
在一个实施例中，如图8所示，为了便于本领域技术人员的理解，以下对物件的缺陷检测及计数方法进行详细介绍，该方法可以包括：
S801，获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
S802，根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型；
S803，获取样本物件图像中物件的缺陷区域图像；
S804，对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；
S805，根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
S806，获取待计数区域的视频流；
S807，通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；
S808，获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
S809，若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；
S810，若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
S811，若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中；
S812，若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。
需要说明的是，针对上述S801-S812中的描述可以参见上述实施例中相关的描述，且其效果类似，本实施例在此不再赘述。
进一步的，图9表示训练物件检测模型和物件缺陷检测模型的流程示意图，通过收集物件的图像数据作为样本数据，对样本数据图像中的物件进行标注，将已经进行物件标注的样本数据作为物件目标检测数据集，同时对样本数据中的物件缺陷区域进行标注，将已经进行缺陷区域标注的样本数据作为物件缺陷检测数据集，将物件目标检测数据集和物件缺陷检测数据集输入至卷积神经网络模型中进行训练，得到物件检测模型和物件缺陷检测模型。
图10表示训练物件缺陷分类模型的流程图，扣出已标注物件缺陷的样本图像中的缺陷区域，改变该缺陷区域的大小、方向以及新增图像噪声等，将处理后的缺陷图像贴在新场景图片中，获得更多的数据图像，将该数据图像作为物件目标检测与分类数据集，将该数据集输入至卷积神经网络模型中进行训练，得到物件缺陷分类模型。
图11表示物件的计数方法的流程示意图，通过拍照设备的摄像头连续采集物件的多帧图像，将多帧图像输入至物件检测模型中，当物件检测模型输出结果为不存在缺陷物件时，将该物件记为正常物件，当物件检测模型输出结果为存在缺陷物件时，通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框，判断缺陷物件的图像数量是否处于预设范围，若存在缺陷物件的图像数量处于预设范围，将目标物件统计到缺陷物件计数结果中；若存在缺陷物件的图像数量未处于预设范围，将目标物件统计到正常物件计数结果中。
上述物件的缺陷检测及计数方法中，先通过预设的物件缺陷检测模型进行物件检测，物件目标较大容易检测，再使用小的网络输入和轻量化物件缺陷分类模型，保证了算法的高速运行，物件缺陷分类模型可以判定多种缺陷，物件缺陷检测模型可以定位缺陷位置及类别，并能实时进行物件计数，通过预设的物件缺陷检测模型和预设的物件缺陷分类模型能够快速的对同一物件的多帧原始图像进行检测，从而可以高效的对物件进行缺陷检测和计数，将同一批物件的图像作为数据集，通过该数据集训练多个模型来完成缺陷检测和计数任务，该过程具有较强的鲁棒性。相比于传统方法，本方案可以对不同尺寸与不同形状的物件进行快速准确的计数，同时，对于同一物件的多帧原始图像通过预设的物件缺陷检测模型先进行粗略检测，再通过预设的物件缺陷分类模型进行精确的检测，使得物件缺陷检测和计数过程更准确，该方法可以应用于各个领域的缺陷检测和计数领域中，通用性较强。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的物件的缺陷检测及计数方法的物件的缺陷检测及计数装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物件的缺陷检测及计数装置实施例中的具体限定可以参见上文中对于物件的缺陷检测及计数方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种物件的缺陷检测及计数装置，包括：第一处理模块11、第一统计模块12、获取模块13和第二统计模块14，其中：
第一处理模块11，用于获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
第一统计模块12，用于在检测结果为不存在缺陷物件的情况下，则将目标物件统计到正常物件计数结果中；
第一获取模块13，用于在检测结果为存在缺陷物件的情况下，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
第二统计模块14，用于在存在缺陷物件的图像数量处于预设范围的情况下，则将目标物件统计到缺陷物件计数结果中。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述装置还包括：第三统计模块，其中：
第三统计模块，用于在存在缺陷物件的图像数量未处于预设范围的情况下，则将目标物件统计到正常物件计数结果中。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述第一处理模块包括：第一获取单元和第二获取单元，其中：
第一获取单元，用于获取待计数区域的视频流；视频流包括至少一个物件；
第二获取单元，用于通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述装置还包括：第二获取模块和去除模块，其中：
第二获取模块，用于从多帧原始图像中获取各帧原始图像对应的物件区域；
去除模块，用于根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述第一获取模块包括：第三获取单元和确定单元，其中：
第三获取单元，用于通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
确定单元，用于根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述装置还包括：第三获取模块和第二处理模块，其中：
第三获取模块，用于获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
第二处理模块，用于根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，上述装置还包括：第四获取模块、第三处理模和第四处理模块，其中：
第四获取模块，用于获取样本物件图像中物件的缺陷区域图像；
第三处理模块，用于对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理；
第四处理模块，用于根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
本实施例提供的物件的缺陷检测及计数装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
上述物件的缺陷检测及计数装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储物件的缺陷检测及计数的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物件的缺陷检测及计数方法。
在本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；
若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标物件的多帧原始图像包括：
获取待计数区域的视频流；视频流包括至少一个物件；
通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量之前，方法还包括：
从多帧原始图像中获取各帧原始图像对应的物件区域；
根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，包括：
通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：物件缺陷检测模型的构建过程包括：
获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在物件缺陷分类模型的构建过程包括：
获取样本物件图像中物件的缺陷区域图像；
对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理；
根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；
若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标物件的多帧原始图像包括：
获取待计数区域的视频流；视频流包括至少一个物件；
通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量之前，方法还包括：
从多帧原始图像中获取各帧原始图像对应的物件区域；
根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，包括：
通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：物件缺陷检测模型的构建过程包括：
获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在物件缺陷分类模型的构建过程包括：
获取样本物件图像中物件的缺陷区域图像；
对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理；
根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对多帧原始图像进行缺陷检测，得到检测结果；
若检测结果为不存在缺陷物件，则将目标物件统计到正常物件计数结果中；
若检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量；
若存在缺陷物件的图像数量处于预设范围，则将目标物件统计到缺陷物件计数结果中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若存在缺陷物件的图像数量未处于预设范围，则将目标物件统计到正常物件计数结果中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标物件的多帧原始图像包括：
获取待计数区域的视频流；视频流包括至少一个物件；
通过预设的物件检测模型，从待计数区域的视频流中获取目标物件的多帧原始图像；物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量之前，方法还包括：
从多帧原始图像中获取各帧原始图像对应的物件区域；
根据物件缺陷信息的先验知识，去除各帧原始图像对应的物件区域中不合理的物件检测框；其中，物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设的物件缺陷分类模型获取多帧原始图像中存在缺陷物件的图像数量，包括：
通过物件缺陷分类模型，分别获取多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
根据多帧原始图像分别对应的缺陷分类结果，确定多帧原始图像中存在缺陷物件的图像数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：物件缺陷检测模型的构建过程包括：
获取样本物件图像，样本物件图像中包括存在缺陷的物件，且样本物件图像中包括物件标注框和缺陷区域标注框；
根据样本物件图像对初始物件缺陷检测模型进行训练，得到物件缺陷检测模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在物件缺陷分类模型的构建过程包括：
获取样本物件图像中物件的缺陷区域图像；
对缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；多样化处理至少包括大小、方向、颜色饱和度处理；
根据新的样本物件图像，对初始物件缺陷分类模型进行训练，得到物件缺陷分类模型。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种物件的缺陷检测及计数方法，其特征在于，所述方法包括：
获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对所述多帧原始图像进行缺陷检测，得到检测结果；
若所述检测结果为不存在缺陷物件，则将所述目标物件统计到正常物件计数结果中；
若所述检测结果为存在缺陷物件，则通过预设的物件缺陷分类模型获取所述多帧原始图像中存在缺陷物件的图像数量；
若所述存在缺陷物件的图像数量处于预设范围，则将所述目标物件统计到缺陷物件计数结果中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述存在缺陷物件的图像数量未处于预设范围，则将所述目标物件统计到所述正常物件计数结果中。
3.根据权利要求1或2所述的方法，其特征在于，所述获取目标物件的多帧原始图像包括：
获取待计数区域的视频流；所述视频流包括至少一个物件；
通过预设的物件检测模型，从所述待计数区域的视频流中获取多帧所述目标物件的原始图像；所述物件检测模型是基于多种标注了物件区域的物件图像训练得到的。
4.根据权利要求1或2所述的方法，其特征在于，所述通过预设的物件缺陷分类模型获取所述多帧原始图像中存在缺陷物件的图像数量之前，所述方法还包括：
从所述多帧原始图像中获取各帧原始图像对应的物件区域；
根据物件缺陷信息的先验知识，去除所述各帧原始图像对应的物件区域中不合理的物件检测框；其中，所述物件缺陷信息表示物件的不同类别缺陷相对大小和相对位置信息。
5.根据权利要求1或2所述的方法，其特征在于，所述通过预设的物件缺陷分类模型获取所述多帧原始图像中存在缺陷物件的图像数量，包括：
通过所述物件缺陷分类模型，分别获取所述多帧原始图像分别对应的缺陷分类结果；每个缺陷分类结果对应表征单帧原始图像中的目标物件存在缺陷或不存在缺陷；
根据所述多帧原始图像分别对应的缺陷分类结果，确定所述多帧原始图像中存在缺陷物件的图像数量。
6.根据权利要求1或2所述的方法，其特征在于，所述物件缺陷检测模型的构建过程包括：
获取样本物件图像，所述样本物件图像中包括存在缺陷的物件，且所述样本物件图像中包括物件标注框和缺陷区域标注框；
根据所述样本物件图像对初始物件缺陷检测模型进行训练，得到所述物件缺陷检测模型。
7.根据权利要求6所述的方法，其特征在于，在所述物件缺陷分类模型的构建过程包括：
获取所述样本物件图像中物件的缺陷区域图像；
对所述缺陷区域图像进行多样化处理，并根据多样化处理后的缺陷区域图像和预先采集的背景图像，生成新的样本物件图像；所述多样化处理至少包括大小、方向、颜色饱和度处理；
根据所述新的样本物件图像，对初始物件缺陷分类模型进行训练，得到所述物件缺陷分类模型。
8.一种物件的缺陷检测及计数装置，其特征在于，所述装置包括：
第一处理模块，用于获取目标物件的多帧原始图像，并通过预设的物件缺陷检测模型对所述多帧原始图像进行缺陷检测，得到检测结果；
第一统计模块，用于在所述检测结果为不存在缺陷物件的情况下，则将所述目标物件统计到正常物件计数结果中；
第一获取模块，用于在所述检测结果为存在缺陷物件的情况下，则通过预设的物件缺陷分类模型获取所述多帧原始图像中存在缺陷物件的图像数量；
第二统计模块，用于在所述存在缺陷物件的图像数量处于预设范围的情况下，则将所述目标物件统计到缺陷物件计数结果中。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210064077.XA 2022-01-20 2022-01-20 物件的缺陷检测及计数方法、装置、设备和存储介质 Active CN114078127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210064077.XA CN114078127B (zh) 2022-01-20 2022-01-20 物件的缺陷检测及计数方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210064077.XA CN114078127B (zh) 2022-01-20 2022-01-20 物件的缺陷检测及计数方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114078127A true CN114078127A (zh) 2022-02-22
CN114078127B CN114078127B (zh) 2022-05-17

Family

ID=80284693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210064077.XA Active CN114078127B (zh) 2022-01-20 2022-01-20 物件的缺陷检测及计数方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114078127B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168034A (zh) * 2023-04-25 2023-05-26 深圳思谋信息科技有限公司 编织物的缺陷检测方法、装置、设备及存储介质
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160054846A (ko) * 2014-11-07 2016-05-17 부산대학교 산학협력단 홀 내부의 결함 검출방법
CN107664644A (zh) * 2017-09-30 2018-02-06 电子科技大学 一种基于机器视觉的物件表观自动检测装置及方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111640112A (zh) * 2020-06-11 2020-09-08 云从科技集团股份有限公司 图像检测方法、系统、平台、设备及介质、图像处理装置
CN111693534A (zh) * 2020-06-12 2020-09-22 北京百度网讯科技有限公司 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN112651297A (zh) * 2020-11-23 2021-04-13 北京旷视机器人技术有限公司 入库管理方法、装置、仓库管理系统和电子系统
CN113538428A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 木材缺陷检测方法、设备、介质及计算机程序产品
CN113674200A (zh) * 2021-07-08 2021-11-19 浙江大华技术股份有限公司 流水线上物品的计数方法及装置、计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160054846A (ko) * 2014-11-07 2016-05-17 부산대학교 산학협력단 홀 내부의 결함 검출방법
CN107664644A (zh) * 2017-09-30 2018-02-06 电子科技大学 一种基于机器视觉的物件表观自动检测装置及方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111640112A (zh) * 2020-06-11 2020-09-08 云从科技集团股份有限公司 图像检测方法、系统、平台、设备及介质、图像处理装置
CN111693534A (zh) * 2020-06-12 2020-09-22 北京百度网讯科技有限公司 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN112651297A (zh) * 2020-11-23 2021-04-13 北京旷视机器人技术有限公司 入库管理方法、装置、仓库管理系统和电子系统
CN113674200A (zh) * 2021-07-08 2021-11-19 浙江大华技术股份有限公司 流水线上物品的计数方法及装置、计算机存储介质
CN113538428A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 木材缺陷检测方法、设备、介质及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜金为等: "焊缝缺陷的超声检测图像识别方法", 《计算机系统应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168034A (zh) * 2023-04-25 2023-05-26 深圳思谋信息科技有限公司 编织物的缺陷检测方法、装置、设备及存储介质
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质
CN117456292B (zh) * 2023-12-26 2024-04-19 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN114078127B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
US11227397B2 (en) Block-matching optical flow and stereo vision for dynamic vision sensors
CN109613002B (zh) 一种玻璃缺陷检测方法、装置和存储介质
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
US20220092856A1 (en) Crack detection, assessment and visualization using deep learning with 3d mesh model
CN115131283B (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN116647644B (zh) 基于数字孪生技术的校园交互式监控方法以及系统
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
WO2024037660A1 (zh) 确定异常分拣区域的方法、装置、电子设备及存储介质
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN115908344A (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
Roslan et al. Real-time plastic surface defect detection using deep learning
Xu et al. The steel surface multiple defect detection and size measurement system based on improved yolov5
JP6788929B1 (ja) 被検物判定用の画像処理装置及び画像処理方法
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN108764040A (zh) 一种图像检测方法、终端及计算机存储介质
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant