CN112634201A - 目标检测方法、装置和电子设备 - Google Patents

目标检测方法、装置和电子设备 Download PDF

Info

Publication number
CN112634201A
CN112634201A CN202011398827.4A CN202011398827A CN112634201A CN 112634201 A CN112634201 A CN 112634201A CN 202011398827 A CN202011398827 A CN 202011398827A CN 112634201 A CN112634201 A CN 112634201A
Authority
CN
China
Prior art keywords
target
detection result
network
detection
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011398827.4A
Other languages
English (en)
Other versions
CN112634201B (zh
Inventor
张辉
高巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202011398827.4A priority Critical patent/CN112634201B/zh
Publication of CN112634201A publication Critical patent/CN112634201A/zh
Priority to PCT/CN2021/124860 priority patent/WO2022116720A1/zh
Application granted granted Critical
Publication of CN112634201B publication Critical patent/CN112634201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标检测方法、装置和电子设备。其中方法包括：将检测图像输入到目标检测模型的第一子网络中，得到所述第一子网络输出的第一检测结果；若所述第一检测结果中存在非显著目标，则将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果；根据所述第一检测结果和所述第二检测结果确定最终检测结果。例如在工业上利用目标检测模型来识别产品缺陷，缺陷可能有大有小，小的缺陷很难通过单一网络得到准确的检测结果，本申请的方案可以实现较高的检测准确度，并且不需要第二子网络对所有目标都进行二次检测，效率也很高。

Description

目标检测方法、装置和电子设备
技术领域
本申请涉及机器视觉技术领域，尤其涉及目标检测方法、装置和电子设备。
背景技术
近年来，国际上对机器视觉的研究日渐重视，以图像处理技术为基础的机器视觉技术主要利用计算机来模拟人或再现与人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制，例如应用于如工业检测、工业探伤、精密测控、自动生产线等方面。用机器视觉检测方法不仅可以大大提高生产效率和生产的自动化程度，而且机器视觉易于实现信息集成，满足数字化、自动化生产的要求。
但是，在工业化的生产线如胶印版材、纸张、铝板带，以及TFT(Thin FilmTransistor，薄膜晶体管)、LCD(Liquid Crystal Display，液晶显示屏)应用广泛的电视、电脑、手机等领域，有时候生产的产品会存在一些低对比度的缺陷，不太容易被检测出来。
发明内容
本申请实施例提供了目标检测方法、装置和电子设备，以能够提高屏幕缺陷等较难检测目标的检测水平。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种目标检测方法，包括：将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果；若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果和第二检测结果确定最终检测结果。
在一些实施例中，第一子网络为目标检测网络，第一检测结果包括目标的位置和第一分类；第二子网络为目标分类网络，第二检测结果包括目标的第二分类；根据第一检测结果和第二检测结果确定最终检测结果包括：以非显著目标的第二分类替换第一分类，作为非显著目标的最终分类。
在一些实施例中，该方法还包括：根据第一检测结果中各目标的位置，计算各目标的面积；若一个目标的面积小于第一阈值，则该目标为非显著目标。
在一些实施例中，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。
在一些实施例中，该方法还包括：在目标检测模型的训练阶段，确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为第一阈值；或者，将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为第二阈值。
在一些实施例中，目标检测网络基于Mask_RCNN算法实现，目标分类网络基于EfficientNet算法实现。
在一些实施例中，该方法还包括：统计第一检测结果中的目标数量，将目标数量赋值给控制变量；若控制变量的值不为0，则选择第一检测结果中一个未被选择过的目标，对本次选择的目标进行是否为非显著目标的判断；若本次选择的目标为非显著目标，则执行将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果的步骤，并将控制变量的值减1；若控制变量的值为0，则执行根据第一检测结果和第二检测结果确定最终检测结果的步骤。
在一些实施例中，目标检测模型是通过如下方式训练的：将第一训练图像输入到第一子网络中，得到第一子网络输出的第一检测结果；确定第一检测结果中的非显著目标，提取各非显著目标在第一训练图像中的对应部分作为第二训练图像；将第二训练图像输入到第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果、第二检测结果和第一训练图像的标注信息确定训练损失值，根据训练损失值对第一子网络和第二子网络的参数进行更新。
第二方面，本申请实施例还提供一种目标检测装置，用于实现如上任一所述目标检测方法。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的目标检测方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行如上任一所述的目标检测方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：利用目标检测模型的第一子网络检测出检测图像中的目标，但这些目标中可能存在着非显著目标，也就是说第一子网络输出的第一检测结果可能不完全准确，此种情况下将非显著目标对应的图像部分输入到第二子网络中，得到第二检测结果，这样将第一检测结果和第二检测结果综合起来，就能够得到更准确的最终检测结果。例如在工业上利用目标检测模型来识别产品缺陷，缺陷可能有大有小，小的缺陷很难通过单一网络得到准确的检测结果，本申请的方案可以实现较高的检测准确度，并且不需要第二子网络对所有目标都进行二次检测，效率也很高。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请一个实施例的一种目标检测方法的流程示意图；
图2示出了根据本申请一个实施例的振膜产品中缺陷检测流程示意图；
图3示出了根据本申请一个实施例的一种目标检测装置的结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的技术构思在于，利用两个子网络构建目标检测模型，第一子网络尽可能检测出所有目标，而第二子网络则对其中非显著目标进行二次检测，兼顾检测准确度和效率。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1示出了根据本申请一个实施例的一种目标检测方法的流程示意图，如图1所示，该方法包括：
步骤S110，将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果。
步骤S120，若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果。
本申请中，要检测的目标可以根据实际需求确定，并且对于屏幕缺陷这种工业上有着迫切需求的目标有着较好的检测效果。
以屏幕缺陷为例，存在着坏点、污渍等多种缺陷类型，有些缺陷的面积较大，有些缺陷的面积较小，较小的缺陷一般难以检测。在本申请的技术方案中，可以将难以检测的目标作为非显著目标，这些目标通常也可以被检测出来，但是误检(比如类型判断错误)的概率较高。因此本申请利用第二子网络再次对非显著目标进行检测以提高检测准确度。
步骤S130，根据第一检测结果和第二检测结果确定最终检测结果。
可见，图1所示的方法，利用目标检测模型的第一子网络检测出检测图像中的目标，但这些目标中可能存在着非显著目标，也就是说第一子网络输出的第一检测结果可能不完全准确，此种情况下将非显著目标对应的图像部分输入到第二子网络中，得到第二检测结果，这样将第一检测结果和第二检测结果综合起来，就能够得到更准确的最终检测结果。例如在工业上利用目标检测模型来识别产品缺陷，缺陷可能有大有小，小的缺陷很难通过单一网络得到准确的检测结果，本申请的方案可以实现较高的检测准确度，并且不需要第二子网络对所有目标都进行二次检测，效率也很高。
在一些实施例中，第一子网络为目标检测网络，第一检测结果包括目标的位置和第一分类；第二子网络为目标分类网络，第二检测结果包括目标的第二分类；根据第一检测结果和第二检测结果确定最终检测结果包括：以非显著目标的第二分类替换第一分类，作为非显著目标的最终分类。
例如，基于检测图像的像素尺寸建立像素坐标系，则第一检测结果中，目标的位置可以用像素坐标来表示，如用矩形框的四个顶点的像素坐标表示，或者用对角的两个顶点的像素坐标表示。第一分类包括目标的类型，具体地还可以包含类型的置信度得分。
一般来说，在能够检测出目标的情况下，目标的位置一般是较为准确的，但目标的分类可能存在错误，也就是误检。因此，利用第二子网络不再重新检测位置以提高检测效率，而是仅对分类进行重新检测，再用非显著目标的第二分类替换第一分类即可，也就是对于非显著目标来说，最终检测结果为第一检测结果中目标的位置和第二检测结果中目标的分类。
对于如何确定非显著目标，本申请给出了两种示例。
对于第一种示例，在一些实施例中，该方法还包括：根据第一检测结果中各目标的位置，计算各目标的面积；若一个目标的面积小于第一阈值，则该目标为非显著目标。
例如，振膜产品中的一些缺陷，特征是尺寸很小，导致分类困难。因此，可以设置第一阈值，如果检测出的缺陷的面积小于第一阈值，那么就认为这个缺陷可能存在分类错误的风险，将其作为非显著目标。
对于第二种示例，在一些实施例中，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。
第一子网络在输出第一检测结果时，实际上是预测该目标属于每个类型的概率，然后将概率最高的类型进行输出。这一概率具体可以以置信度得分的方式来表示。因此如果一个目标的第一分类的置信度得分过低，例如小于第二阈值，说明可能还存在其他置信度得分相近的类型，就有可能存在误分类。
为了减少第一阈值和第二阈值受到人工经验的影响，本申请还提出了根据目标检测模型的训练来确定第一阈值和第二阈值的示例。在一些实施例中，该方法还包括：在目标检测模型的训练阶段，确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为第一阈值；或者，将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为第二阈值。
例如，在训练时，将第一子网络检测出的各目标按照面积或者置信度得分高低进行排序，然后将最后三分之一的目标认为是非显著目标。那么根据排序，就可以将从头开始三分之二处的面积作为第一阈值，将从头开始三分之二处的置信度得分作为第二阈值，这样使得阈值的设置与模型训练相适应，鲁棒性强。
在一些实施例中，目标检测网络基于Mask_RCNN算法实现，目标分类网络基于EfficientNet算法实现。
Mask_RCNN集成了目标检测和实例分割两大功能，可以实现对目标进行分类和确定目标在检测图像中的位置这两个效果，并且具有训练简单和检测效果显著的特点。
而EfficientNet是一种多维度混合的模型放缩算法，将网络深度、网络宽度、图像分辨率这三个维度进行了组合，能够兼顾速度和精度。
本申请的实施例中可以利用这两个算法的优点分别实现目标检测网络和目标分类网络。当然，在其他实施例中也可以选择Faster_RCNN等实现目标检测网络，利用Resnet等实现目标分类网络。
在一些实施例中，该方法还包括：统计第一检测结果中的目标数量，将目标数量赋值给控制变量；若控制变量的值不为0，则选择第一检测结果中一个未被选择过的目标，对本次选择的目标进行是否为非显著目标的判断；若本次选择的目标为非显著目标，则执行将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果的步骤，并将控制变量的值减1；若控制变量的值为0，则执行根据第一检测结果和第二检测结果确定最终检测结果的步骤。
下面结合图2，介绍以振膜产品中的缺陷作为目标，进行目标检测的示例。
步骤一，确定输入到第一子网络中的检测图像。例如可以先通过相机拍照获取到振膜图像image，将image缩放到1778×1778(单位为像素)的预设尺寸(一般是与训练阶段的样本图像相同)，得到缩放图像image_resize作为检测图像。
步骤二，将检测图像(如image_resize)送到第一子网络detect_model中进行缺陷检测，得到检测结果detect_result。
步骤三，统计detect_result中的缺陷instance总数instance_num。
如果instance_num等于0，说明该振膜产品无缺陷；否则，遍历每一个缺陷instance，执行步骤四，直至instance_num等于0，instance_num等于0时，执行步骤六，输出最终检测结果。
步骤四，判断instance中的score(置信度得分)是否大于第二阈值、area(面积)是否大于第一阈值；如果均大于相应阈值，则表明该缺陷已被识别出，继续下一个缺陷的判断；否则，执行步骤五。
步骤五，对于score或area小于相应阈值的缺陷(非显著缺陷)，送入第二子网络classify_model进行单独分类，将分类结果中最高分类的置信度得分，即分类结果中的最高概率值，以及对应的类别号赋予该缺陷。
步骤六、输出最终检测结果。即对于最终的检测缺陷和分类缺陷，根据其左上角和右下角的坐标，将目标缺陷在image中标识出来，输出最终检测结果image_result。
在一些实施例中，目标检测模型是通过如下方式训练的：将第一训练图像输入到第一子网络中，得到第一子网络输出的第一检测结果；确定第一检测结果中的非显著目标，提取各非显著目标在第一训练图像中的对应部分作为第二训练图像；将第二训练图像输入到第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果、第二检测结果和第一训练图像的标注信息确定训练损失值，根据训练损失值对第一子网络和第二子网络的参数进行更新。
例如，获取振膜产品的样本图像，标注出缺陷范围，得到包含第一训练图像的检测数据集detect_data，将detect_data数据集输入到第一子网络detect_model进行初步的目标检测，得到检测结果detect_result；然后，将检测出的每一类缺陷的得分、面积按照从高到低排序，分别设置最后三分之一处的值为得分、面积的阈值，根据得分、面积的阈值，从detect_result中提取出难检测的缺陷数据classify_data，得到第二训练图像；将classify_data数据集输入到第二子网络中，得到第二子网络输出的第二检测结果。之后利用预设的损失函数计算训练损失值，利用反向传播算法等方式进行参数更新，迭代完成目标检测模型的训练。
本申请的实施例还提供了一种目标检测装置，用于实现如上任一所述的目标检测方法。
具体地，图3示出了根据本申请一个实施例的一种目标检测装置的结构示意图。如图3所示，目标检测装置300包括：
第一检测单元310，用于将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果。
第二检测单元320，用于若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果。
确定单元330，用于根据第一检测结果和第二检测结果确定最终检测结果。
在一些实施例中，第一子网络为目标检测网络，第一检测结果包括目标的位置和第一分类；第二子网络为目标分类网络，第二检测结果包括目标的第二分类；确定单元330，用于以非显著目标的第二分类替换第一分类，作为非显著目标的最终分类。
在一些实施例中，第一检测单元310，用于根据第一检测结果中各目标的位置，计算各目标的面积；若一个目标的面积小于第一阈值，则该目标为非显著目标。
在一些实施例中，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。
在一些实施例中，该装置还包括，训练单元，用于在目标检测模型的训练阶段，确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为第一阈值；或者，将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为第二阈值。
在一些实施例中，目标检测网络基于Mask_RCNN算法实现，目标分类网络基于EfficientNet算法实现。
在一些实施例中，第一检测单元310，用于统计第一检测结果中的目标数量，将目标数量赋值给控制变量；若控制变量的值不为0，则选择第一检测结果中一个未被选择过的目标，对本次选择的目标进行是否为非显著目标的判断；若本次选择的目标为非显著目标，则使第二检测单元320将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果，并将控制变量的值减1；若控制变量的值为0，则使确定单元330根据第一检测结果和第二检测结果确定最终检测结果。
在一些实施例中，该装置还包括，训练单元，用于将第一训练图像输入到第一子网络中，得到第一子网络输出的第一检测结果；确定第一检测结果中的非显著目标，提取各非显著目标在第一训练图像中的对应部分作为第二训练图像；将第二训练图像输入到第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果、第二检测结果和第一训练图像的标注信息确定训练损失值，根据训练损失值对第一子网络和第二子网络的参数进行更新。
能够理解，上述目标检测装置，能够实现前述实施例中提供的目标检测方法的各个步骤，关于目标检测方法的相关阐释均适用于目标检测装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果；若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果和第二检测结果确定最终检测结果。
上述如本申请图1所示实施例揭示的目标检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中目标检测装置执行的方法，并实现目标检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标检测装置执行的方法，并具体用于执行：
将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果；若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果和第二检测结果确定最终检测结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标检测方法，包括：
将检测图像输入到目标检测模型的第一子网络中，得到所述第一子网络输出的第一检测结果；
若所述第一检测结果中存在非显著目标，则将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果；
根据所述第一检测结果和所述第二检测结果确定最终检测结果。
2.如权利要求1所述的方法，其特征在于，所述第一子网络为目标检测网络，所述第一检测结果包括目标的位置和第一分类；
所述第二子网络为目标分类网络，所述第二检测结果包括目标的第二分类；
所述根据所述第一检测结果和所述第二检测结果确定最终检测结果包括：以非显著目标的第二分类替换所述第一分类，作为非显著目标的最终分类。
3.如权利要求2所述的方法，其特征在于，该方法还包括：
根据第一检测结果中各目标的位置，计算各目标的面积；
若一个目标的面积小于第一阈值，则该目标为非显著目标。
4.如权利要求2所述的方法，其特征在于，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。
5.如权利要求3或4所述的方法，其特征在于，该方法还包括：
在所述目标检测模型的训练阶段，
确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为所述第一阈值；
或者，
将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为所述第二阈值。
6.如权利要求2所述的方法，其特征在于，所述目标检测网络基于Mask_RCNN算法实现，所述目标分类网络基于EfficientNet算法实现。
7.如权利要求1所述的方法，其特征在于，该方法还包括：
统计第一检测结果中的目标数量，将所述目标数量赋值给控制变量；
若所述控制变量的值不为0，则选择第一检测结果中一个未被选择过的目标，对本次选择的目标进行是否为非显著目标的判断；若本次选择的目标为非显著目标，则执行将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果的步骤，并将所述控制变量的值减1；
若所述控制变量的值为0，则执行根据所述第一检测结果和所述第二检测结果确定最终检测结果的步骤。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述目标检测模型是通过如下方式训练的：
将第一训练图像输入到所述第一子网络中，得到所述第一子网络输出的第一检测结果；
确定第一检测结果中的非显著目标，提取各非显著目标在所述第一训练图像中的对应部分作为第二训练图像；
将第二训练图像输入到所述第二子网络中，得到所述第二子网络输出的第二检测结果；
根据第一检测结果、第二检测结果和第一训练图像的标注信息确定训练损失值，根据训练损失值对第一子网络和第二子网络的参数进行更新。
9.一种目标检测装置，其特征在于，所述目标检测装置用于实现权利要求1～8之任一所述目标检测方法。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述目标检测方法。
CN202011398827.4A 2020-12-02 2020-12-02 目标检测方法、装置和电子设备 Active CN112634201B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011398827.4A CN112634201B (zh) 2020-12-02 2020-12-02 目标检测方法、装置和电子设备
PCT/CN2021/124860 WO2022116720A1 (zh) 2020-12-02 2021-10-20 目标检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011398827.4A CN112634201B (zh) 2020-12-02 2020-12-02 目标检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112634201A true CN112634201A (zh) 2021-04-09
CN112634201B CN112634201B (zh) 2023-12-05

Family

ID=75307573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011398827.4A Active CN112634201B (zh) 2020-12-02 2020-12-02 目标检测方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN112634201B (zh)
WO (1) WO2022116720A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657143A (zh) * 2021-06-25 2021-11-16 中国计量大学 一种基于分类和检测联合判决的垃圾分类方法
WO2022116720A1 (zh) * 2020-12-02 2022-06-09 歌尔股份有限公司 目标检测方法、装置和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311080B (zh) * 2023-05-12 2023-09-12 重庆华悦生态环境工程研究院有限公司深圳分公司 监控影像检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN109635666A (zh) * 2018-11-16 2019-04-16 南京航空航天大学 一种基于深度学习的图像目标快速检测方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN111044525A (zh) * 2019-12-30 2020-04-21 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111414910A (zh) * 2020-03-18 2020-07-14 上海嘉沃光电科技有限公司 基于双重卷积神经网络的小目标增强检测方法和装置
CN111931920A (zh) * 2020-09-25 2020-11-13 北京智芯微电子科技有限公司 基于级联神经网络的目标检测方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348593B1 (ko) * 2017-10-26 2022-01-06 삼성에스디에스 주식회사 기계 학습 기반의 객체 검출 방법 및 그 장치
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN110827247B (zh) * 2019-10-28 2024-03-15 上海万物新生环保科技集团有限公司 一种识别标签的方法及设备
CN110991443A (zh) * 2019-10-29 2020-04-10 北京海益同展信息科技有限公司 关键点检测、图像处理方法、装置、电子设备及存储介质
CN112634201B (zh) * 2020-12-02 2023-12-05 歌尔股份有限公司 目标检测方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN109635666A (zh) * 2018-11-16 2019-04-16 南京航空航天大学 一种基于深度学习的图像目标快速检测方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN111044525A (zh) * 2019-12-30 2020-04-21 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111414910A (zh) * 2020-03-18 2020-07-14 上海嘉沃光电科技有限公司 基于双重卷积神经网络的小目标增强检测方法和装置
CN111931920A (zh) * 2020-09-25 2020-11-13 北京智芯微电子科技有限公司 基于级联神经网络的目标检测方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116720A1 (zh) * 2020-12-02 2022-06-09 歌尔股份有限公司 目标检测方法、装置和电子设备
CN113657143A (zh) * 2021-06-25 2021-11-16 中国计量大学 一种基于分类和检测联合判决的垃圾分类方法
CN113657143B (zh) * 2021-06-25 2023-06-23 中国计量大学 一种基于分类和检测联合判决的垃圾分类方法

Also Published As

Publication number Publication date
WO2022116720A1 (zh) 2022-06-09
CN112634201B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN112634201B (zh) 目标检测方法、装置和电子设备
CN111627009B (zh) 一种屏幕检测方法、装置及头戴显示设备
TWI716008B (zh) 人臉識別方法及裝置
CN111078908B (zh) 一种数据标注的检测方法和装置
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN111860502A (zh) 图片表格的识别方法、装置、电子设备及存储介质
CN113160161B (zh) 目标边缘处缺陷的检测方法和装置
CN112884055A (zh) 一种目标标注方法和一种目标标注装置
CN111882520A (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
US11036967B2 (en) Method and device for face selection, recognition and comparison
CN111311556A (zh) 手机缺陷位置识别方法及设备
CN114638294A (zh) 一种数据增强方法、装置、终端设备及存储介质
TW201911230A (zh) 監控方法、計算裝置及電腦可讀存儲介質
CN111272388A (zh) 一种相机闪光灯的检测方法及设备
CN112884054B (zh) 一种目标标注方法和一种目标标注装置
CN113129298B (zh) 文本图像的清晰度识别方法
CN112533060B (zh) 一种视频处理方法及装置
CN112149693A (zh) 轮廓识别模型的训练方法和目标对象的检测方法
CN109145821B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN113870754B (zh) 一种面板检测电子信号缺陷判定的方法和系统
CN105447839A (zh) 矩形框的合并方法及合并系统
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN111488776A (zh) 对象检测方法、对象检测装置和电子设备
CN113573137B (zh) 视频画布边界检测方法、系统、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant