CN114064958A - 对象检测方法、装置、计算机可读存储介质和处理器 - Google Patents

Abstract

本发明公开了一种对象检测方法、装置、计算机可读存储介质和处理器。其中，该方法包括：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。本发明解决了对对象进行检测的准确度低的技术问题。

Description

对象检测方法、装置、计算机可读存储介质和处理器

技术领域

本发明涉及计算机领域，具体而言，涉及一种对象检测方法、装置、计算机可读存储介质和处理器。

背景技术

目前，需要检测的对象的种类多而杂，纯采用检测算法，无法囊括所有需要检测的对象，比如，输入对象的图像，然后判断图像中包含的对象的分数，该检测算法需要预先定义好所有对象分类的类型，而且对小目标对象的识别效果不好，其对对象进行分类的精度不高，从而存在对对象进行检测的准确度低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种对象检测方法、装置、计算机可读存储介质和处理器，以至少解决对对象进行检测的准确度低的技术问题。

根据本发明实施例的一个方面，提供了一种对象检测方法。该方法可以包括：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

根据本发明实施例的另一方面，还提供了另一种对象检测方法。该方法可以包括：获取待检测物品的目标图像；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到；提取目标子物品的子物品特征；基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型，其中，检索库包括不同物品特征所来自的违禁物品的类型。

根据本发明实施例的另一方面，还提供了另一种对象检测方法。该方法可以包括：获取待检测内容的目标图像；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到；提取目标子内容的子内容特征；基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型，其中，检索库包括不同内容特征所来自的违禁内容的类型。

根据本发明实施例的另一方面，还提供了一种对象检测装置。该装置可以包括：第一获取单元，用于获取待检测对象的目标图像；第一检测单元，用于基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；第一提取单元，用于提取目标子对象的子对象特征；第一检索单元，用于基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

根据本发明实施例的另一方面，还提供了另一种对象检测装置。该装置可以包括：第二获取单元，用于获取待检测物品的目标图像；第二检测单元，用于基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到；第二提取单元，用于提取目标子物品的子物品特征；第二检索单元，用于基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型，其中，检索库包括不同物品特征所来自的违禁物品的类型。

根据本发明实施例的另一方面，还提供了另一种对象检测装置。该装置可以包括：第三获取单元，用于获取待检测内容的目标图像；第三检测单元，用于基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到；第三提取单元，用于提取目标子内容的子内容特征；第三检索单元，用于基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型，其中，检索库包括不同内容特征所来自的违禁内容的类型。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质可以包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的对象检测方法。

根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的对象检测方法。

根据本发明实施例的另一方面，还提供了一种对象检测系统。该对象检测系统可以包括：处理器；存储器，与处理器相连接，用于为处理器提供处理以下处理步骤的指令：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

在本发明实施例中，获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。在相关技术中，需要检测的对象的种类多而杂，纯采用检测算法，无法囊括所有需要检测的对象，并且上述检测算法需要预先定义好所有对象的类型，这样对没有预定义的对象的识别效果并不好，从而对对象进行分类的准确度不高，另外，当有新类型的对象识别需求时，分类模型需要重新收集数据再重新训练分类模型，响应时间慢，重新收集数据也无法保证对对象进行分类的准确度，而在本申请中，由于通过目标检测数据集训练出的检测器具有通用检测能力，可以先采用上述检测器检测出待检测对象的至少一个目标子对象，进而将目标子对象的特征在检索库中进行进一步检索，由于上述检索库包括了不同对象特征所来自的对象的类型，从而在检索库中可以准确出确定出目标子对象的类型，也即，本申请采用了数据检索结合样本集的方式，来确定目标子对象的类型，避免了纯采用检测算法，无法囊括所有需要检测的对象，也避免了需要重新收集数据再重新训练分类模型，难以保证对对象进行检测的准确度，从而解决了对对象进行检测的准确度低的技术问题，达到了提高对对象进行检测的准确度的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种用于实现对象检测方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本发明实施例的一种对象检测方法的流程图；

图3是根据本发明实施例的另一种对象检测方法的流程图；

图4是根据本发明实施例的另一种对象检测方法的流程图；

图5是根据本发明实施例的一种检测器的网络结构示意图；

图6是根据本发明实施例的一种用于细粒度特征提取的特征提取网络的示意图；

图7是根据本发明实施例的一种对象检测的场景示意图

图8是根据本发明实施例的一种对象检测装置的示意图；

图9是根据本发明实施例的另一种对象检测装置的示意图；

图10是根据本发明实施例的另一种对象检测装置的示意图；以及

图11是根据本发明实施例的一种移动终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

卷积神经网络(Convolutional Neural Network，简称为CNN)，为一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元；

目标标注框(Ground Truth)，为通过人工从预先收集的样本中对已有的对象的信息(比如，位置)进行标注的检测框；

非极大值抑制(Non-maximum suppression，NMS)，抑制不是极大值的元素，消除多于的检测框。

实施例1

根据本发明实施例，还提供了一种对象检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本发明实施例的一种用于实现对象检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的对象检测方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对象检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

在图1所示的运行环境下，本申请提供了如图2所示的对象检测方法。需要说明的是，该实施例的数据处理方法以由图1所示实施例的移动终端执行。

图2是根据本发明实施例的一种对象检测方法的流程图。如图2所示，该方法可以包括以下步骤：

步骤S202，获取待检测对象的目标图像。

在本发明上述步骤S202提供的技术方案中，待检测对象可以为需要检测其是否包括满足目标条件的子对象的对象，比如，目标条件的子对象为不合格的子对象，可以为违禁对象等。

该实施例获取待检测对象的目标图像，可以是通过图像采集设备对待检测对象进行拍摄，所得到的图像，该图像可以是图片，动图，也可以是视频中的图像或图像帧，此处不做具体限制。

步骤S204，基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象。

在本发明上述步骤S204提供的技术方案中，在获取待检测对象的目标图像之后，可以将目标图像输入至检测器中，通过检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到。

在该实施例中，检测器可以为通用检测器，其可以是具有一定的网络结构的模型，是通过数据量大于目标阈值的目标检测数据集进行训练得到的，可以将最大的开源的图像数据集(OpenImagesV4)作为检测器的训练数据，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有需要检测的对象。

该实施例基于检测器对目标图像进行检测，输出待检测对象中的至少一个目标子对象，该至少一个目标子对象可以目标图像中所有的符合目标条件的对象，包括潜在的符合目标条件的对象，比如，为不合格的对象，可以是违禁对象。可选地，该实施例的目标子对象可以对应一个检测框。

可选地，该实施例的至少一个目标子对象的目标尺寸可以占目标图像的尺寸很小的比例，该至少一个目标子对象也可以与目标图像背景很相似，该至少一个目标子对象的类型也可以是多样化的，此处不做具体要求。

步骤S206，提取目标子对象的子对象特征。

在本发明上述步骤S206提供的技术方案中，在基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象之后，提取目标子对象的子对象特征。

在该实施例中，目标子对象中包括了子对象特征，该子对象特征用于确定该目标子对象的类型。可选地，该实施例可以使用一个预先训练好的目标特征提取网络来对目标子对象的子对象特征进行提取，进而输出该子对象特征。

需要说明的是，为了准确确定目标子对象的类型，该子对象特征可以为目标子对象的细粒度的特征，其可以用于表征目标子对象的细节特征，以准确在检索库中检索出目标子对象的类型，上述目标特征提取网络是针对细粒度特征的提取需求而训练出的模型，从而可以用于提取出目标子对象的细粒度的特征。

步骤S208，基于子对象特征在检索库中进行检索，得到目标子对象的类型。

在本发明上述步骤S208提供的技术方案中，在提取目标子对象的子对象特征之后，基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

在该实施例中，可以预先建立一个检索库，该检索库也即符合目标条件的对象的检索库，比如，为违禁对象检索库，包括了不同对象特征所来自的对象的类型，其可以是利用信息熵挖掘高不确定样本和高置信度样本进行建立的。该实施例基于目标子对象的子对象特征在检索库中进行检索，可选地，如果检索库中存在子对象特征，则可以将子对象特征在检索库中对应的类型确定为目标子对象的类型。

举例而言，输入一张需要检测的图片，首先经过通用检测器得到该图片中所有违禁品，然后对每个违禁品进行细粒度特征提取，最后将违禁品的特征在检索库中检索，从而得到违禁品的具体类型。

在相关技术中，需要检测的对象的种类多而杂，纯采用检测算法，是无法囊括所有潜在的对象，而且其分类精度不高，从而使得对对象进行检测的准确度低。

而通过本申请上述步骤S202至步骤S208，获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。也就是说，由于通过目标检测数据集训练出的检测器具有通用检测能力，该实施例可以先采用上述检测器检测出待检测对象的至少一个目标子对象，进而将目标子对象的特征在检索库中进行进一步检索，由于上述检索库包括了不同对象特征所来自的对象的类型，从而在检索库中可以准确出确定出目标子对象的类型，也即，本申请采用数据检索结合样本集的方式，来确定目标子对象的类型，避免了纯采用检测算法，无法囊括所有需要检测的对象，也避免了需要重新收集数据再重新训练分类模型，难以保证对对象进行检测的准确度，从而解决了对对象进行检测的准确度低的技术问题，进而达到了提高对对象进行检测的准确度的技术效果。

下面对该实施例的上述方法进行进一步说明。

作为一种可选的实施方式，在步骤S202，获取待检测对象的目标图像之后，该方法还包括：对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子对象。

在该实施例中，在获取待检测对象的目标图像之后，可以对目标图像进行数据增强，该数据增强是针对目标检测任务所进行的一种对数据进行增强的方式，该实施例对目标图像进行数据增强，可以扩充目标图像中的小目标子对象和少数目标子对象的数量，从而缓解数据不平衡问题，还可以丰富目标子对象的尺度信息，也让检测器通过有限的数据学习到更多的数据信息，从而产生更强的鲁棒性。

在对目标图像进行数据增强之后，可以基于检测器对数据增强后的目标图像进行检测，从而得到至少一个目标子对象。

作为一种可选的实施方式，对目标图像进行数据增强，包括：对目标图像进行数据扩充；和/或对目标图像进行数据变换。

在该实施例中，在实现对目标图像进行数据增强时，可以是采用两种方式进行，一种是对目标图像进行数据扩充(instance-balanced)，通过该种方式可以达到上述扩充目标图像中的小目标子对象和少数目标子对象的数量，缓解数据不平衡问题，还可以丰富目标子对象的尺度信息的目的；另一种方式是对目标图像进行数据变换，可以达到上述让检测器通过有限的数据学习到更多的数据信息，产生更强的鲁棒性的目的。

下面对该实施例的对目标图像的数据进行数据扩充的方法进行进一步介绍。

作为一种可选的实施方式，对目标图像的数据进行数据扩充，包括：对目标图像按照目标缩放比例进行缩放；基于目标滑窗在缩放后的目标图像中确定多个滑窗区域；在多个滑窗区域中确定包括目标子对象的至少一个目标滑窗区域。

在该实施例中，可以先确定目标缩放比例，该目标缩放比例为用于对目标图像进行缩放的指定缩放尺度，对目标图像按照目标缩放比例进行缩放，然后使用固定大小的目标滑窗在缩放后的目标图像中进行滑动，从而可以产生大量的滑窗区域。最后在大量的滑窗区域中挑选出包含小目标子对象和少数目标子对象的至少一个目标滑窗区域，该至少一个目标滑窗区域为优选滑窗集，可以将其加入用于训练检测器的训练数据中。

下面对该实施例的对目标图像的数据进行数据变换的方法进行进一步介绍。

作为一种可选的实施方式，对目标图像的数据进行数据变换，包括：基于多组随机变换参数对目标图像的图像数据进行变换。

在该实施例中，可以获取多组随机变换参数，该多组随机变化参数用于对目标图像进行图像变换，可以是控制目标图像进行修剪(Shear)、旋转(Rotate)、均衡(Equalize)、剪掉(Cutout)等图像变换，此处不做具体限制。

作为一种可选的实施方式，基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，包括：基于检测器中的特征提取网络层提取目标图像的图像特征；基于检测器中的第一卷积层对图像特征进行分类和回归，得到目标图像的目标区域，其中，第一卷积层连接于特征提取网络层，目标区域包括目标子对象；在目标区域中检测出目标子对象。

在该实施例中，检测器可以包括特征提取网络层，该特征提取网络层可以是深度神经网络，可以是CNN神经网络，该可以是深度学习卷积神经网络(VGG16网络)，起始网络模型V1～v4(InceptionV1～V4网络)、深度残差网络(ResNet网络)、用于进行分组卷积的模型(ResNeXt)等，此处不做具体限制。该实施例可以将经数据增强后的目标图像输入至上述特征提取网络层中，然后利用特征提取网络层从经数据增强后的目标图像中提取出图像特征，该图像特征可以处于检测器的特征层。可选地，该实施例的检测器可以包括第一卷积层，比如，为3*3卷积，其可以接上述特征层中的若干层图像特征，通过第一卷积层对图像特征进行分类和回归，得到目标图像的初始目标区域，这里的分类可以只区分是目标子对象还是非目标子对象这两类，以得到初始目标区域。可选地，该实施例还可以进行针对上述初始目标区域，进行更加精细的回归以及具体目标类别的分类，可以得到最终目标区域，进而可以在其中检测出目标子对象。

作为一种可选的实施方式，在目标区域中检测出目标子对象，包括：通过检测器中的损失函数对目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框；从多个目标检测框中确定至少一个第一目标检测框，其中，第一目标检测框与预定检测框之间的交并比大于第一阈值；基于至少一个第一目标检测框确定目标子对象。

在该实施例中，检测器中还具有协失函数，该损失函数可以用于对目标图像的目标区域进行数据蒸馏和重叠软取样(Overlap Soft Sampling)，得到多个目标检测框，其中，对目标区域进行数据蒸馏，可以是针对一些已有的检测类型，比如，针对已有的刀具类型、人物类型等，对目标区域进行预测，得到多个预测的检测框，通过每个预测的检测框对应的预测置信度对预测的检测框的损失进行加权处理，得到第一加权结果，另外，在对目标区域进行预测时，由于会得到多个预测的检测框，此时利用重叠软取样的方法，确定每个预测的检测框与预定检测框之间的重叠度(Overlap)，得到多个重叠度，进而对多个重叠度进行加权处理，得到第二加权结果，利用第一加权结果和第二加权结果从多个预测的检测框中确定出多个目标检测框，比如，将符合一定阈值范围的第一加权结果和第二加权结果所对应的检测框确定为目标检测框。其中，预定检测框可以为目标标注框(Ground Truth)，为人工从预先收集的样本中针对已有的对象的信息(比如，位置)进行标注的检测框，而多个目标检测框是基于第一加权结果和第二加权结果从上述多个预测的检测框中确定出的检测框。

该实施例通过检测器中的损失函数对目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框，可以将漏标的真值框(漏标样本)对模型的影响降到最小。该实施例将得到的多个目标检测框进行软化非极大值抑制(Soft Non-maximum suppression，也即SoftNMS)处理。可选地，将多个目标检测框中与预定检测框之间的交并比大于第一阈值的至少一个第一目标检测框确定出来，其中，第一阈值可以是0.5。在从多个目标检测框中确定至少一个第一目标检测框之后，可以基于至少一个第一目标检测框确定目标子对象，下面对该方法进行进一步介绍。

作为一种可选的实施方式，基于至少一个第一目标检测框确定目标子对象，包括：在至少一个第一目标检测框中获取对应的数值最高的第二目标检测框；将多个目标检测框中与第二目标检测框的重叠度大于第二阈值的第三目标检测框对应的数值进行衰减；在多个目标检测框中，去除衰减后的数值低于第三阈值的第三目标检测框，得到至少一个第四目标检测框；在第四目标检测框中确定目标子对象。

在该实施例中，至少一个第一目标检测框具有对应的数值，该数值可以为第一目标检测框的分数，该分数可以用于表征第一目标检测框中包括特定类型的目标子对象的置信度，可以按照每个检测框的分数对至少一个第一目标检测框按照从高到低的顺序进行排序，然后选取分数最高的第二目标检测框，然后在多个目标检测框中确定与第二目标检测框的重叠度大于第二阈值的第三目标检测框，将该第三目标检测框对应的数值进行衰减，也即，对第三目标检测框对应的分数进行衰减，并且设置第三阈值，可以将衰减后的数值低于上述第三阈值的第三目标检测框去除，依次按照上述方法进行下去，直到最后输出所有符合条件的第四目标检测框，进而在第四目标检测框中确定出目标子对象。

需要说明的是，该实施例的对所有目标检测框进行Soft NMS处理仅为本发明实施例的一种举例说明，还可以是非极大值抑制(NMS)，此处不做具体限制。

作为一种可选的实施方式，通过检测器中的损失函数对目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框，包括：通过目标预测模型对目标区域中的数据进行预测，得到多个预测检测框和预测检测框的置信度，其中，目标预测模型为通过公共数据集训练得到，公共数据集包括已确定类型的对象的数据；对预测检测框进行重叠软取样，得到预测检测框的损失度；基于置信度对损失度进行加权，得到预测检测框的目标值；基于目标值从多个预测检测框中确定出多个目标检测框。

在该实施例中，在对目标区域进行数据蒸馏时，可以是通过目标预测模型对目标区域中的数据进行预测，得到多个预测检测框和预测检测框的置信度，其中，目标预测模型是采用公开数据集使用复杂算法训练的复杂模型，用于对已有的数据集进行预测，公开数据集可以包括已确定类型的对象的数据，比如，包括已有的检测类型，可以是刀具(knife)、人物(person)等类型。该实施例可以将预测的目标检测框作为伪目标标注框(PseduoGround Truth)，该伪目标标注框与目标标注框有区别，并非人工从预先收集的样本中针对已有的对象的信息(比如，位置)进行标注的检测框，其相当于为一种伪标签，可以直接通过算法确定出，从而省掉了人工标注，降低了标注成本，其中，预测的置信度用来对伪目标标注框产生的损失进行加权。

该实施例对目标区域进行重叠软取样，可以得到预测检测框的损失度，其中，检测时，会生成很多的预测检测框，每个预测检测框会产生一定的损失度，可以根据其与预定检测框的交并比进行加权。可选地，该实施例基于每个预测检测框的置信度对损失度进行加权，从而得到预测检测框的目标值，进而基于目标值从多个预测检测框中确定出多个目标检测框。

下面对该实施例的提取目标子对象的对象特征的方法进行进一步介绍。

作为一种可选的实施方式，步骤S206，提取目标子对象的子对象特征，包括：基于目标特征提取网络模型提取目标子对象的子对象特征。

在该实施例中，在实现提取目标子对象的子对象特征时，可以是将子对象特征输入至目标特征提取网络模型中，该特征提取网络模型是通过一定的网络结构生成的。该实施例基于目标特征提取网络模型对目标子对象进行处理，得到子对象特征，进而输出该子对象特征。下面对该实施例的基于目标特征提取网络模型提取目标子对象的子对象特征的方法进行进一步说明。

作为一种可选的实施方式，基于目标特征提取网络模型提取目标子对象的子对象特征，包括：基于目标特征提取网络模型中的子特征提取网络模型提取目标子对象的第一子对象特征，其中，子特征提取网络在特征层后接第二卷积层，子对象特征的维度为第二卷积层的维度；基于目标特征提取网络模型中的局部辅助模型对目标子对象的特征图进行辅助识别，得到第二子对象特征，其中，局部辅助模型至少包括第三卷积层、第一池化层、第二池化层和分类层，第一池化层用于对特征图经由第三卷积层进行卷积处理后得到的热度图进行全局最大池化操作，第二池化层用于对目标尺寸的特征图进行平均池化操作；基于第一子对象特征和第二子对象特征确定子对象特征。

在该实施例中，目标特征提取网络模型包括子特征提取网络模型，该子特征提取网络模型可以是深度残差网络50模型(ResNet50网络模型)，该ResNet50在卷积神经网络中使用了残差学习，可以解决目标特征提取网络模型中梯度弥散和精度下降的问题，从而提高了目标特征提取网络模型的精度，又控制其训练速度，可以在其2048维特征层后接一层2048->512的第二卷积层，以减少特征维度，该实施例的子对象特征的维度为第二卷积层的维度，比如，将上述512维特征作为目标对象的最终的第一子对象特征。

该实施例的目标特征提取网络模型可以包括局部辅助模型(Local AssistantModule)，该局部辅助模型可以用于捕获目标子对象的局部信息，以提取出更具有区分度的第二子对象特征。

该实施例的局部辅助模型至少包括第三卷积层、第一池化层、第二池化层和分类层，第三卷积层可以是1*1的卷积，每个1*1的卷积核大小为C*1*1，C可以是目标特征提取网络模型的Conv4_3特征图(feature map)的通道数，可以对Conv4_3特征图进行1*1的卷积。该实施例将第三卷积层作为对目标子对象的特征图的某个部分区域的判别器，该目标子对象的特征图经过上述1*1卷积处理后会生成一个热度图(heatmap)，该热度图上高响应值的区域即为需要寻找的某个类型的patch，再在第一池化层对上述热度图进行全局最大池化(Global Max Pooling)操作，即可以找到上述类型的patch。可选地，该实施例的局部辅助模型中具有卷积层Conv4_3，其特征图大小为C*H*W，H用于标识特征图的高，W用于表示特征图的宽，待识别的类型数是N，可以为每个类型学习k个局部判别器，则1x1的过滤器(filter)的数量为kN，从而局部辅助模型的卷积层Conv6的特征图可以为kN*H*W。

在该实施例中，在第一池化层可以对进行全局最大池化操作的热度图进行GMP处理，经FMP处理后得到的特征图的大小可以为KN*1*1，然后将KN的特征向量再接一个fc层(FC-layer)，可以输出N类的分类层，其还可以再接一个归一化指数(softmax)层。

在该实施例中，由于不能确保P流(P-stream)学习的就是特定分类(class-specific)的判别性检测器，因而该实施例可以在第一池化层后接一个旁支作为1x1判别滤波器的监督信息，主要模块为第二池化层，该第二池化层可以为跨通道池化层(Cross-channel Pooling)，其可以对kN*1*1的特征图进行N组平均池化操作(Average Pooling)，也即，对每一类的k个通道(channel)的特征值进行平均池化操作，最终得到一个N维的特征向量，然后直接对其进行N类的分类，这样能够指导1x1判别滤波器学习每一类的class-specific的特征，以得到第二子对象特征。

该实施例的目标特征提取网络模型中的子特征提取网络模型用于获取目标子对象的主要的第一子对象特征，局部辅助模型用于获取目标子对象的更具有区分度的第二子对象特征，结合第一子对象特征和第二子对象特征生成目标子对象的子对象特征。

作为一种可选的实施方式，局部辅助模型的损失权重小于子特征提取网络模型的损失权重。

在该实施例中，可以对子特征提取网络模型所在的一路损失、第一池化层所在的一路损失以及第二池化层所在的一路损失进行加权求和，其中，局部辅助模块的损失权重相对较小，只用于做辅助识别作用。可选地，该实施例在进行网络前向预测时，可以只取上面一路的子特征提取网络模型的输出，预测时没有增加任何的额外成本。

作为一种可选的实施方式，该方法还包括：对第一子对象特征和第二子对象特征进行聚类，得到聚类中心；获取第一子对象特征与聚类中心的距离和第二子对象特征与聚类中心的距离之和；将和确定为中心距离损失，其中，中心距离损失用于使子对象特征中的同类特征聚合。

在该实施例中，还可以使用中心距离损失对提取的目标子对象的子对象特征进行约束，在该实施例中，可以对第一子对象特征和第二子对象特征中的每一类特征进行聚类，得到聚类中心，然后求取第一子对象特征与聚类中心的距离和第二子对象特征与聚类中心的距离之和，该和即为中心距离损失，该中心距离损失用于使子对象特征中的同类特征更加聚合。

在该实施例中，在对目标特征提取网络进行训练时，可以使用中心距离损失对提取的特征进行约束。在使用批处理样本(batch)训练时，可以将该batch的所有样本的每一类特征进行聚类，然后求每个样本与该类聚类中心的距离，所有距离求和即为中心距离损失。可选地，该实施例的中心距离损失加权后与目标特征提取网络的softmax损失进行求和。

下面对该实施例的检索库的建立方法进行进一步介绍。

作为一种可选的实施方式，在步骤S208，基于子对象特征在检索库中进行检索之前，该方法还包括：获取目标对象样本；基于目标对象样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的对象特征；对对象特征进行量化，得到特征码本；基于特征码本建立检索库。

在该实施例中，可以先获取目标对象样本，该目标对象样本可以是运用主动学习技术从海量的未标注数据中挖掘出的符合目标条件的对象的相关数据，可以基于目标对象样本建立样本库，然后利用上述目标特征提取网络在样本库中提取出需要识别的对象特征，对对象特征进行量化，比如，对对象进行PQ量化，从而得到特征码本，该特征码本可以是违禁品特征码本，进而基于特征码本建立检索库。

作为一种可选的实施方式，在基于目标对象样本建立样本库之前，该方法还包括：基于周期性的学习率对目标特征提取网络进行训练，得到多个网络模型；基于多个网络模型的丢弃层分别对目标对象样本中的多个子样本预测多次，得到多个预测结果；对多个预测结果进行平均，得到目标预测结果。

在该实施例中，在基于目标对象样本建立样本库之前，可以采用快照集成(Snapshot Ensemble)方法进行训练，具体策略可以是采用周期性的学习率，来产生多个网络模型。可选地，该实施例针对未标注的样本，基于多个网络模型的丢弃(dropout)层分别对目标对象样本中的多个子样本预测多次，从而得到多个预测结果，该预测结果可以softmax结果，进而对多个预测结果进行平均，得到目标预测结果，该目标预测结果可以是最终的softmax结果。

下面对该实施例的基于目标对象样本建立样本库的方法进行介绍。

作为一种可选的实施方式，基于目标对象样本建立样本库，包括：基于目标预测结果确定多个子样本的信息熵；从多个子样本中获取目标数量的第一目标子样本，其中，第一目标子样本的信息熵大于多个子样本中除目标数量的第一目标子样本之外的子样本的信息熵；对第一目标子样本中的对象的类型打上标签；将打上标签后的第一目标子样本添加至样本库；对多个子样本中信息熵小于第四阈值的第二目标子样本的对象的类型打上伪标签；对打上伪标签的第二目标子样本通过响应校正操作指令进行校正；将校正后的第二目标子样本添加至样本库。

在该实施例中，可以基于目标预测结果确定多个子样本的信息熵，然后可以对多个子样本的信息熵按照从大到小的顺序进行排序，可以从多个子样本中选取信息熵最大的目标数量的第一目标子样本，对第一目标子样本中的对象的类型打上标签，将打上标签后的第一目标子样本添加至样本库。

可选地，该实施例对于信息熵小于第四阈值的第二目标子样本的对象的类型打上伪标签，对打上伪标签的第二目标子样本通过响应校正操作指令进行校正，也即，人工校正打上伪标签的第二目标子样本，进而将校正后的第二目标子样本添加至样本库。

该实施例采用检索库结合样本库的方式，可以对新类型的对象具有快速覆盖的能力，当新的待检测对象的类型出现时，只需要将新的类型对应的样本添加到样本库，即可快速完成覆盖。

本发明实施例还提供了另一种应用在物品检测场景中的对象检测方法。

图3是根据本发明实施例的另一种对象检测方法的流程图。如图3所示，该方法可以包括以下步骤：

步骤S302，获取待检测物品的目标图像。

在本发明上述步骤S302提供的技术方案中，待检测物品可以为需要检测其是否包括满足目标条件的子物品的物品，比如，目标条件的子物品为不合格的子物品，可以为违禁物品等，比如，违禁成人用品、涉政旗帜、管制器具等，此处不做具体限制。

该实施例获取待检测物品的目标图像，可以是通过图像采集设备对待检测物品进行拍摄，所得到的图像。

步骤S304，基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品。

在本发明上述步骤S304提供的技术方案中，在获取待检测物品的目标图像之后，可以将目标图像输入至检测器中，通过检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到。

在该实施例中，检测器可以为通用检测器，其可以是具有一定的网络结构的模型，是通过数据量大于目标阈值的目标检测数据集进行训练得到的，可以将最大的数据集OpenImagesV4作为检测器的训练数据，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有需要检测的物品。

该实施例基于检测器对目标图像进行检测，输出对象中的至少一个目标子物品，该至少一个目标子物品可以目标图像中所有的符合目标条件的物品，包括潜在的符合目标条件的物品，比如，为不合格的物品，可以是违禁物品。可选地，该实施例的目标子物品可以对应一个检测框。

可选地，该实施例的至少一个目标子物品的目标尺寸可以占目标图像的尺寸很小的比例，该至少一个目标子物品也可以与目标图像背景很相似，该至少一个目标子对象的类型也可以是多样化的，此处不做具体要求。

步骤S306，提取目标子物品的子物品特征。

在本发明上述步骤S306提供的技术方案中，在基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品之后，提取目标子物品的子物品特征。

在该实施例中，目标子物品中包括子物品特征，该子物品特征用于确定该目标子物品的类型。可选地，该实施例可以使用一个预先训练好的目标特征提取网络来对目标子物品的子物品特征进行提取，进而输出该子物品特征，该子物品特征可以为细粒度的特征。

步骤S308，基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型。

在本发明上述步骤S308提供的技术方案中，在提取目标子物品的子物品特征之后，基于子物品特征在检索库中进行检索，得到目标子物品的类型，其中，检索库包括不同物品特征所来自的物品的类型。

下面对该实施例的上述方法进行进一步介绍。

作为一种可选的实施方式，在步骤S302，获取待检测物品的目标图像之后，该方法还包括：对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子物品。其中，对目标图像进行数据增强，包括：对目标图像进行数据扩充；和/或对目标图像进行数据变换。

在该实施例中，在获取待检测对象的目标图像之后，可以对目标图像进行数据增强，该数据增强是针对目标检测任务所进行的一种对数据进行增强的方式，该实施例对目标图像进行数据增强，可以扩充目标图像中的小目标子物品和少数目标子物品的数量，从而缓解数据不平衡问题，还可以丰富目标子对象的尺度信息，也让检测器通过有限的数据学习到更多的数据信息，从而产生更强的鲁棒性。

在对目标图像进行数据增强之后，可以基于检测器对数据增强后的目标图像进行检测，从而得到至少一个目标子物品。

作为一种可选的实施方式，步骤S306，提取目标子物品的子物品特征，包括：基于目标特征提取网络模型提取目标子物品的子物品特征。

在该实施例中，在实现提取目标子物品的子物品特征时，可以是将子物品特征输入至目标特征提取网络模型中。该实施例基于目标特征提取网络模型对目标子物品进行处理，得到子物品特征，进而输出该子物品特征。

作为一种可选的实施方式，在步骤S308，基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品之前，该方法还包括：获取目标物品样本；基于目标物品样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的物品特征；对物品特征进行量化，得到特征码本；基于特征码本建立检索库。

在该实施例中，可以先获取目标物品样本，该目标物品样本可以是运用主动学习技术从海量的未标注数据中挖掘出的符合目标条件的物品的相关数据，可以基于目标物品样本建立样本库，然后利用上述目标特征提取网络在样本库中提取出需要识别的物品特征，对物品特征进行量化，比如，对物品进行PQ量化，从而得到特征码本，该特征码本可以是违禁品特征码本，进而基于特征码本建立检索库。

本发明实施例还提供了另一种内容审核场景中的对象检测方法。

图4是根据本发明实施例的另一种对象检测方法的流程图。如图4所示，该方法可以包括以下步骤：

步骤S402，获取待检测内容的目标图像。

在本发明上述步骤S402提供的技术方案中，待检测内容可以为需要检测其是否包括满足目标条件的子内容的内容，比如，目标条件的子内容为不合格的子内容，可以为违禁内容等，比如，违禁成人用品内容、涉政旗帜内容、管制器具内容等，此处不做具体限制。

该实施例获取待检测内容的目标图像，可以是通过图像采集设备对待检测内容进行拍摄，所得到的图像。

步骤S404，基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容。

在本发明上述步骤S404提供的技术方案中，在获取待检测内容的目标图像之后，可以将目标图像输入至检测器中，通过检测器对目标内容进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有需要检测的物品。

该实施例基于检测器对目标图像进行检测，输出对象中的至少一目标子内容，该至少一目标子内容可以目标图像中所有的符合目标条件的内容，包括潜在的符合目标条件的内容，比如，为不合格的内容，可以是违禁内容。可选地，该实施例的目标子内容可以对应一个检测框。

可选地，该实施例的至少一目标子内容的目标尺寸可以占目标图像的尺寸很小的比例，该至少一目标子内容也可以与目标图像背景很相似，该至少一目标子内容的类型也可以是多样化的，此处不做具体要求。

步骤S406，提取目标子内容的子内容特征。

在本发明上述步骤S406提供的技术方案中，在基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子内容之后，提取目标子内容的子内容特征。

在该实施例中，目标子内容中包括子内容特征，该子内容特征用于确定该目标子内容的类型。可选地，该实施例可以使用一个预先训练好的目标特征提取网络来对目标子内容的子内容特征进行提取，进而输出该子内容特征，该子内容特征可以为细粒度的特征。

步骤S408，基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型。

在本发明上述步骤S408提供的技术方案中，在提取目标子内容的子内容特征之后，基于子内容特征在检索库中进行检索，得到目标子内容的类型，其中，检索库包括不同内容特征所来自的内容的类型。

下面对该实施例的上述方法进行进一步介绍。

作为一种可选的实施方式，在S402，获取待检测内容的目标图像之后，该方法还包括：对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一目标子内容。其中，对目标图像进行数据增强，包括：对目标图像进行数据扩充；和/或对目标图像进行数据变换。

在该实施例中，在获取待检测内容的目标图像之后，可以对目标图像进行数据增强，以扩充目标图像中的小目标子内容和少数目标子内容的数量，从而缓解数据不平衡问题，还可以丰富目标子对象的尺度信息，也让检测器通过有限的数据学习到更多的数据信息，从而产生更强的鲁棒性。

在对目标图像进行数据增强之后，可以基于检测器对数据增强后的目标图像进行检测，从而得到至少一个目标子内容。

作为一种可选的实施方式，S406，提取目标子内容的子内容特征，包括：基于目标特征提取网络模型提取目标子内容的子内容特征。

在该实施例中，在实现提取目标子内容的子内容特征时，可以是将子内容特征输入至目标特征提取网络模型中。该实施例基于目标特征提取网络模型对目标子内容进行处理，得到子内容特征，进而输出该子内容特征。

作为一种可选的实施方式，在S408，基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容之前，该方法还包括：获取目标内容样本；基于目标内容样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的内容特征；对内容特征进行量化，得到特征码本；基于特征码本建立检索库。

在该实施例中，可以先获取目标内容样本，该目标内容样本可以是运用主动学习技术从海量的未标注数据中挖掘出的符合目标条件的内容的相关数据，可以基于目标内容样本建立样本库，然后利用上述目标特征提取网络在样本库中提取出需要识别的内容特征，对内容特征进行量化，比如，对内容进行PQ量化，从而得到特征码本，该特征码本可以是违禁内容特征码本，进而基于特征码本建立检索库。

在相关技术中，对对象进行分类的算法需要预先定义好所有分类的类别，而且对小目标对象的识别效果不好，比如，部分对象占全图的比例很小，部分对象与背景相似，部分对象的特征不明显，并且对象的种类和样式繁多，也无法先验穷举，从而存在对对象进行检测对准确度不够的问题，而该实施例先用检测器检测出潜在对象的目标框，然后再用一个目标特征提取网络来提取对象特征，采用上述目标检测方法能够对小目标对象有很好的检测效果，从而提高了对对象进行检测的准确度。

另外，在相关技术中，对象的种类和样式繁多，相关技术中检测算法的特征用来进行分类，精度不高，无法对新的类型的对象快速覆盖，从而存在对对象进行检测时检测新的类型覆盖的时效慢的问题，而该实施例对检测出来的目标对象，利用加入局部辅助模块的细粒度特征提取网络提取目标对象的对象特征，从而能够对目标对象的对象特征有很强的识别能力，同时该实施例采用了中心距离损失来对目标对象的特征进行约束，使得同类样本的特征更加聚合，识别出的准确度会更高；该实施例利用目前最大的目标检测数据集作为检测器的训练数据，这样训练出来的模型具备通用目标检测能力，几乎能够捕获所有违规目标对象，当新的待检测类型出现时，只需要将新的类型对应的样本添加到样本库，即可快速完成覆盖，解决了对对象进行检测的准确度低的技术问题，达到了提高对对象进行检测的准确度的技术效果。

实施例2

下面结合优选的实施方式对本发明实施例的上述对象检测方法进行进一步介绍，具体以需要检测的对象为违禁品。

违禁品检测识别出图片或视频中是否包含违禁品目标，仍然存在着以下难点：

(1)部分违禁品目标尺寸占全图比例很小；

(2)部分违禁品目标与背景很相似；

(3)部分违禁品目标特征不明显；

(4)违禁品种类和样式繁多，无法先验穷举。

在相关技术中，可以采用输入图片，然后判断图片中包含违禁品的分数，以根据该分数确定出违禁品的类型。该分类算法需要预先定义好所有分类的类型，而且对小目标的识别效果不好。

在另一种相关技术中，可以采用输入图片，然后检测出图片中包含违禁品的具体位置和置信度，以确定违禁品的类型的检测算法。该违禁品的种类和样式繁多，检测算法的特征用来进行分类，精度并不高。

为了解决上述问题，该实施例采用了通用目标检测结合细粒度特征提取与向量检索方法的通用违禁品检测算法。由于违禁品的种类多而杂，纯采用检测算法，无法囊括所有潜在的目标，而且其分类精度不高，而该实施例先用检测器检测出潜在的目标框，然后再用一个目标特征提取特征网络来提取特征。

另外，如果使用分类模型直接进行分类，则可能会存在一个问题，当有新类型的目标识别需求时，分类模型需要收集数据再重新训练，响应时间慢。而该实施例采用向量检索结合样本库的方式，对新类型的目标具有快速覆盖的能力。

图5是根据本发明实施例的一种检测器的网络结构示意图。如图5所示，该实施例可以利用目前最大的开源的图像数据集(OpenImagesV4)作为检测器的网络结构的训练数据，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有违规目标。

S1，对输入的图像进行数据增强。

该实施例可以使用两种方式进行数据增强，数据扩充和数据变换。

该实施例在利用数据扩充对图像进行数据增强时，可以首先将图像按照指定尺度缩放；然后用固定大小的滑窗去缩放后的图像中滑动，产生大量滑窗区域；最后从大量滑窗区域中挑选出包含小目标和少数目标的优选滑窗集加入训练数据中。

上述方法一方面可以是扩充了小目标和少数目标的数量，缓解了数据不平衡问题；另一方面还丰富了目标的尺度信息。

该实施例在利用数据变换对图像进行数据增强时，可以通过多组随机参数控制图像进行修剪(Shear)、旋转(Rotate)、均衡化(Equalize)、剪断(Cutout)等图像变换，从而让检测器通过有限的数据学习到更多的数据信息，以产生更强的鲁棒性。

S2，深度神经网络进行特征提取。

该实施例可以输入经数据增强后的图像，利用CNN深度神经网络对其进行特征提取，其中，深度神经网络可以是VGG16网络。

S3，初始目标区域生成。

在该实施例中，可以选取S2中特征层中的若干层特征，分别接3*3卷积进行分类和回归，其中，该实施例的分类只区分是目标还是非目标两类，以得到初始目标区域。

S4，精细目标区域调整。

在该实施例中，对S3中检测的初始目标区域，进行更加精细的回归以及具体目标类别的分类。

S5，利用损失函数对精细调整后的目标区域至已有的数据集，采用数据蒸馏和重叠软取样(Overlap soft sampling)，将数据集中漏标的真值框对检测器的影响降到最小。

在该实施例中，在实现数据蒸馏时，可以针对一些公开数据集已有的检测类型，比如，刀具、人物等类型，可以采用由公开数据集训练的复杂模型对已有的数据集进行预测，然后将预测的目标检测框作为Pseduo Ground Truth，预测的置信度用来对其产生的损失进行加权。

在实现Overlap soft sampling时，会生成很多检测框，每个检测框产生损失，可以根据其与目标标注框之间的重叠度进行加权。

可选地，该实施例的样本包括与真实对象相交的正样本、由于漏标被判为负样本、与复杂模型生成的正样本，对其进行Overlap soft sampling，可以分别得到权重w₁、w₂、w₃、然后对其产生的损失loss₁、loss₂、loss₃进行加权求和，也即，Loss＝w₁loss₁+w₂loss₂+w₃loss₃。

S6，对生成的所有检测框采用Soft NMS进行处理。

该实施例对于生成的所有检测框，可以将其与Ground Truth的IoU大于0.5的检测框取出来，然后按照对应的分数进行排序，选取分数最高的检测框，然后将与分数最高的检测框之间的重叠度大于阈值的目标检测框的分数进行衰减，然后设置阈值，将衰减后得分低于阈值的目标检测框去除；依次进行下去，直到最后输出所有符合条件的目标检测框，在该目标检测框中检测出违禁品。

可选地，该实施例可以对未标记的数据池进行主动学习，得到有价值样本，然后对其进行人工标注，利用CNN从标注后的有价值样本中提取特征，得到违规样本库，这样当输入图像至另一CNN后，通过另一CNN可以提取对象1、对象2、对象3、对象4的特征，对其按照违规样本库中的特征进行学习和训练，以得到对象1的对象信息11、对象2的对象信息21、对象3的对象信息31。该对象信息可以包括对象的分数以及标号等，此处不做具体限制。

图6是根据本发明实施例的一种用于细粒度特征提取的特征提取网络的示意图。如图6所示，该实施例的特征提取网络涉及以下步骤：

S1，利用特征提取网络的第一路网络结构提取违禁品的目标特征。该实施例可以将上述检测到的每个目违禁品所在的目标区域的图像作为由Conv1_x-Conv4_x、Conv5_x、FC-layer、两个FC-layer、Loss-layer构成的第一路网络结构的输入，从中提取出违禁品品的深度特征。

该实施例可以采用ResNet50网络，可以在其2048维特征层后接了一层2048->512的卷积层，以减少特征维度，将512维特征作为违禁品的最终特征。

S2，该实施例的特征提取网络的第二路网络结构为局部辅助模型。

在该实施例中，对特征提取网络的Conv4_3特征图进行1*1的卷积，每个1*1的卷积核大小可以为C*1*1，C是Conv4_3的通道数。该实施例将其作为特征图某个部分区域的判别器，经过1*1卷积处理后会生成一个heatmap，该heatmap上高响应值的区域即为需要寻找的某个类型的patch，可以对其再用Global Max Pooling操作，即可以找到该类型的patch。假设Conv4_3的feature map大小为C*H*W，待识别的类别数是N，该实施例为每个类别学习k个局部判别器，则1x1的filter个数为kN，从而Conv6的feature map为kN*H*W。在Pool6中进行GMP处理后，特征图大小为KN*1*1，然后将KN的特征向量再接一个FC-layer，就可以输出为N类的分类层，再接一个softmax层。

由于不能确保P-stream学习的就是class-specific的判别性检测器，从而该实施例在pool6层后还接了一个第二路网络结构(旁路)作为1x1判别滤波器的监督信息，主要模块为跨通道池化层，其用于对kN*1*1的特征图进行N组Average Pooling，即每一类的k个通道的特征值进行Average Pooling，最终得到一个N维的向量，然后直接进行N类的分类，这样能够指导1x1判别filter学习每一类的class-specific的特征。

在该实施例中，在训练时，可以将图中三路网络结构的损失加权求和，得到最终损失Loss，其中局部辅助模块的损失权重相对较小，只做辅助识别作用。在网络进行前向预测时，只取上面一路的分类网络的输出，预测时没有增加任何的额外成本。

S3，确定中心距离损失。

该实施例可以使用中心距离损失来对提取的特征进行约束。确定中心距离损失的具体计算步骤：对样本的每一类特征进行聚类，然后求每个样本与该类聚类中心的距离，所有距离求和即为中心距离损失，中心距离损失加权后与分类网络的softmax损失求和。

在该实施例中，需要建立违禁品的检索库。

在该实施例中，可以运用主动学习技术从海量的未标注数据中挖掘出违禁品相关的数据，然后经过特征提取网络提取特征，对提取出的特征进行PQ量化，生成违禁品特征码本，通过特征码本建立违禁品检索库，具体介绍如下：

S1，利用特征提取网络采用Snapshot Ensemble方法进行训练，具体策略就是采用周期性的学习率，产生多个网络模型。

S2，进行蒙特卡罗(Monte Carlo dropout)预测。

该实施例对所有未标注的样本进行以下操作：将多个网络模型的dropout层打开，然后每个模型对每一张样本分别预测多次。将所有预测的softmax结果进行求平均，得到最终的softmax结果。

S3，对S2中的最终的softmax结果计算信息熵，然后对所有样本的信息熵进行排序，选取信息熵最大的M个样本进行打标，将打标后的样本加入样本库；选取信息熵小于某个阈值的所有样本，用算法打上伪标签，然后人工校正是否正确，将校正后的样本添加到样本库。

S4，将所有样本经过特征提取网络提取特征，进行PQ量化，生成违禁品特征码本，然后通过特征码本建立违禁品检索库。

该实施例在具体应用时，可以是输入一张图片，首先经过通用检测器得到所有违禁品目标，然后对每个违禁品目标进行细粒度特征提取，最后将违禁品目标的特征在检索库中检索，以得到违禁品的具体类别。

需要说明的是，该实施例的特征提取网络还可以采用InceptionV1～V4网络、ResNet网络、ResNeXt网络等代替；该实施例的Soft NMS方法可以采用普通NMS方法代替。

在该实施例中，可以采用instance-balanced数据扩充和动数据增强方法针对目标检测任务进行数据增强；用数据蒸馏方法和Overlap soft sampling方法可以降低漏标样本对模型的影响；采用局部辅助模块捕获了违禁品目标的局部信息，提取了更具有区分度的特征；采用中心距离损失对特征进行约束，使得同类样本的特征更加聚合；采用Snapshot Ensemble和Monte Carlo dropout结合的方法挖掘样本；利用信息熵挖掘高不确定样本和高置信度样本，建立检索库。

图7是根据本发明实施例的一种对象检测的场景示意图。如图7所示，计算设备获取待检测对象的目标图像，该待检测对象可以为需要检测其是否包括满足目标条件的子对象的对象，比如，目标条件的子对象为不合格的子对象，可以为违禁对象等。该实施例可以通过图像采集设备对待检测对象进行拍摄，所得待检测对象的目标图像，该目标图像可以是图片，动图，也可以是视频中的图像或图像帧，此处不做具体限制，进而将其输入至计算设备中。

在该实施例中，计算设备中设置有检测器，其可以为通用检测器，可以是具有一定的网络结构的模型，是通过数据量大于目标阈值的目标检测数据集进行训练得到的，可以将OpenImagesV4作为检测器的训练数据，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有需要检测的对象。

该实施例在计算设备中，基于检测器对目标图像进行检测，输出待检测对象中的至少一个目标子对象，该至少一个目标子对象可以目标图像中所有的符合目标条件的对象，包括潜在的符合目标条件的对象，比如，为不合格的对象，可以是违禁对象。可选地，该实施例的目标子对象可以对应一个检测框。可选地，该实施例的至少一个目标子对象的目标尺寸可以占目标图像的尺寸很小的比例，该至少一个目标子对象也可以与目标图像背景很相似，该至少一个目标子对象的类型也可以是多样化的，此处不做具体要求。

在该实施例中，目标子对象中包括了子对象特征，该子对象特征用于确定该目标子对象的类型。可选地，该实施例的计算设备可以使用一个预先训练好的目标特征提取网络来对目标子对象的子对象特征进行提取，进而输出该子对象特征。

在该实施例中，可以在计算设备中预先建立一个检索库，该检索库也即符合目标条件的对象的检索库，比如，为违禁对象检索库，包括了不同对象特征所来自的对象的类型，其可以是利用信息熵挖掘高不确定样本和高置信度样本进行建立的。该实施例基于目标子对象的子对象特征在检索库中进行检索，可选地，如果检索库中存在子对象特征，则可以将子对象特征在检索库中对应的类型确定为目标子对象的类型，进而将其输出至计算设备的显示界面上进行显示。

在相关技术的分类算法中，需要预先定义好所有分类的类别，而且对小目标的识别效果不好，且无法对新的类别快速覆盖。而该实施例先用检测器检测出潜在的目标框，然后再用一个特征提取网络来提取特征的目标检测方法，能够对小目标有很好的检测效果。

违禁品的种类和样式繁多，检测算法的特征用来进行分类，精度不高，无法对新的类别快速覆盖。而该实施例对检测出来的违禁品目标，利用加入局部辅助模块的细粒度特征提取网络提取特征，从而能够有很强的识别能力；同时该实施例采用了中心距离损失对特征进行约束，使得同类样本的特征更加聚合，这样对违禁品的特征识别出的准确度会更高。

该实施例可以利用目前最大的目标检测数据集OpenImagesV4作为检测器的训练数据，这样训练出来的检测器具备通用目标检测能力，几乎能够捕获所有违规目标，当新的待检测类型出现时，只需要将新类型的样本添加到样本库，即可快速完成覆盖。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例3

根据本发明实施例，还提供了一种用于实施上述对象检测方法的数据处理装置。需要说明的是，该实施例的对象检测装置可以用于执行本发明实施例图2所示的对象检测方法。

图8是根据本发明实施例的一种对象检测装置的示意图。如图8所示，该对象检测装置80可以包括：第一获取单元81、第一检测单元82、第一提取单元83和第一检索单元84。

第一获取单元81，用于获取待检测对象的目标图像。

第一检测单元82，用于基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到。

第一提取单元83，用于提取目标子对象的子对象特征。

第一检索单元84，用于基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

此处需要说明的是，上述第一获取单元81、第一检测单元82、第一提取单元83和第一检索单元84对应于实施例1中的步骤S202至步骤S208，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。

根据本发明实施例，还提供了另一种用于实施上述对象检测方法的数据处理装置。需要说明的是，该实施例的对象检测装置可以用于执行本发明实施例图3所示的对象检测方法。

图9是根据本发明实施例的另一种对象检测装置的示意图。如图9所示，该对象检测装置90可以包括：第二获取单元91、第二检测单元92、第二提取单元93和第二检索单元94。

第二获取单元91，用于获取待检测物品的目标图像。

第二检测单元92，用于基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到。

第二提取单元93，用于提取目标子物品的子物品特征。

第二检索单元94，用于基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型，其中，检索库包括不同物品特征所来自的违禁物品的类型。

此处需要说明的是，上述第二获取单元91、第二检测单元92、第二提取单元93和第二检索单元94对应于实施例1中的步骤S302至步骤S308，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。

根据本发明实施例，还提供了另一种用于实施上述对象检测方法的数据处理装置。需要说明的是，该实施例的对象检测装置可以用于执行本发明实施例图4所示的对象检测方法。

图10是根据本发明实施例的另一种对象检测装置的示意图。如图10所示，该对象检测装置100可以包括：第三获取单元101、第三检测单元102、第三提取单元103和第三检索单元104。

第三获取单元101，用于获取待检测内容的目标图像。

第三检测单元102，用于基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到。

第三提取单元103，用于提取目标子内容的子内容特征。

第三检索单元104，用于基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型，其中，检索库包括不同内容特征所来自的违禁内容的类型。

此处需要说明的是，上述第三获取单元101、第三检测单元102、第三提取单元103和第三检索单元104对应于实施例1中的步骤S402至步骤S408，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在该实施例的对象检测装置中，由于通过目标检测数据集训练出的检测器具有通用检测能力，可以先采用上述检测器检测出待检测对象的至少一个目标子对象，进而将目标子对象的特征在检索库中进行进一步检索，由于上述检索库包括了不同对象特征所来自的对象的类型，从而在检索库中可以准确出确定出目标子对象的类型，也即，本申请采用了数据检索结合样本集的方式，来确定目标子对象的类型，避免了纯采用检测算法，无法囊括所有需要检测的对象，也避免了需要重新收集数据再重新训练分类模型，难以保证对对象进行检测的准确度，从而解决了对对象进行检测的准确度低的技术问题，达到了提高对对象进行检测的准确度的技术效果。

实施例4

本发明的实施例可以提供一种计算机终端，该计算机终端可以设置在本发明实施例的对象检测系统中，上述计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行对象检测方法中以下步骤的程序代码：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

可选地，图11是根据本发明实施例的一种移动终端的结构框图。如图11所示，该移动终端A可以包括：一个或多个(图中仅示出一个)处理器1102、存储器1104和传输装置1106。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的对象检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对象检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至移动终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

可选地，上述处理器还可以执行如下步骤的程序代码：在获取待检测对象的目标图像之后，对目标图像进行数据增强；基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子对象。

可选地，上述处理器还可以执行如下步骤的程序代码：对目标图像进行数据扩充；和/或对目标图像进行数据变换。

可选地，上述处理器还可以执行如下步骤的程序代码：对目标图像按照目标缩放比例进行缩放；基于目标滑窗在缩放后的目标图像中确定多个滑窗区域；在多个滑窗区域中确定包括目标子对象的至少一个目标滑窗区域。

可选地，上述处理器还可以执行如下步骤的程序代码：基于多组随机变换参数对目标图像的图像数据进行变换。

可选地，上述处理器还可以执行如下步骤的程序代码：基于检测器中的特征提取网络层提取目标图像的图像特征；基于检测器中的第一卷积层对图像特征进行分类和回归，得到目标图像的目标区域，其中，第一卷积层连接于特征提取网络层，目标区域包括目标子对象；在目标区域中检测出目标子对象。

可选地，上述处理器还可以执行如下步骤的程序代码：通过检测器中的损失函数对目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框；从多个目标检测框中确定至少一个第一目标检测框，其中，第一目标检测框与预定检测框之间的交并比大于第一阈值；基于至少一个第一目标检测框确定目标子对象。

可选地，上述处理器还可以执行如下步骤的程序代码：在至少一个第一目标检测框中获取对应的数值最高的第二目标检测框；将多个目标检测框中与第二目标检测框的重叠度大于第二阈值的第三目标检测框对应的数值进行衰减；在多个目标检测框中，去除衰减后的数值低于第三阈值的第三目标检测框，得到至少一个第四目标检测框；在第四目标检测框中确定目标子对象。

可选地，上述处理器还可以执行如下步骤的程序代码：通过目标预测模型对目标区域中的数据进行预测，得到多个预测检测框和预测检测框的置信度，其中，目标预测模型为通过公共数据集训练得到，公共数据集包括已确定类型的对象的数据；对预测检测框进行重叠软取样，得到预测检测框的损失度；基于置信度对损失度进行加权，得到预测检测框的目标值；基于目标值从多个预测检测框中确定出多个目标检测框。

可选地，上述处理器还可以执行如下步骤的程序代码：基于目标特征提取网络模型提取目标子对象的子对象特征。

可选地，上述处理器还可以执行如下步骤的程序代码：基于目标特征提取网络模型中的子特征提取网络模型提取目标子对象的第一子对象特征，其中，子特征提取网络在特征层后接第二卷积层，子对象特征的维度为第二卷积层的维度；基于目标特征提取网络模型中的局部辅助模型对目标子对象的特征图进行辅助识别，得到第二子对象特征，其中，局部辅助模型至少包括第三卷积层、第一池化层、第二池化层和分类层，第一池化层用于对特征图经由第三卷积层进行卷积处理后得到的热度图进行全局最大池化操作，第二池化层用于对目标尺寸的特征图进行平均池化操作；基于第一子对象特征和第二子对象特征确定子对象特征。

可选地，上述处理器还可以执行如下步骤的程序代码：对第一子对象特征和第二子对象特征进行聚类，得到聚类中心；获取第一子对象特征与聚类中心的距离和第二子对象特征与聚类中心的距离之和；将和确定为中心距离损失，其中，中心距离损失用于使子对象特征中的同类特征聚合。

可选地，上述处理器还可以执行如下步骤的程序代码：在基于子对象特征在检索库中进行检索之前，获取目标对象样本；基于目标对象样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的对象特征；对对象特征进行量化，得到特征码本；基于特征码本建立检索库。

可选地，上述处理器还可以执行如下步骤的程序代码：在基于目标对象样本建立样本库之前，基于周期性的学习率对目标特征提取网络进行训练，得到多个网络模型；基于多个网络模型的丢弃层分别对目标对象样本中的多个子样本预测多次，得到多个预测结果；对多个预测结果进行平均，得到目标预测结果。

可选地，上述处理器还可以执行如下步骤的程序代码：基于目标预测结果确定多个子样本的信息熵；从多个子样本中获取目标数量的第一目标子样本，其中，第一目标子样本的信息熵大于多个子样本中除目标数量的第一目标子样本之外的子样本的信息熵；对第一目标子样本中的对象的类型打上标签；将打上标签后的第一目标子样本添加至样本库；对多个子样本中信息熵小于第四阈值的第二目标子样本的对象的类型打上伪标签；对打上伪标签的第二目标子样本通过响应校正操作指令进行校正；将校正后的第二目标子样本添加至样本库。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待检测物品的目标图像；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到；提取目标子物品的子物品特征；基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型，其中，检索库包括不同物品特征所来自的违禁物品的类型。

可选地，上述处理器还可以执行如下步骤的程序代码：在获取待检测物品的目标图像之后，对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子物品。

可选地，上述处理器还可以执行如下步骤的程序代码：基于目标特征提取网络模型提取目标子物品的子物品特征。

可选地，上述处理器还可以执行如下步骤的程序代码：在基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品之前，获取目标物品样本；基于目标物品样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的物品特征；对物品特征进行量化，得到特征码本；基于特征码本建立检索库。

作为另一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待检测内容的目标图像；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到；提取目标子内容的子内容特征；基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型，其中，检索库包括不同内容特征所来自的违禁内容的类型。

可选地，上述处理器还可以执行如下步骤的程序代码：在获取待检测内容的目标图像之后，对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一目标子内容。

可选地，上述处理器还可以执行如下步骤的程序代码：基于目标特征提取网络模型提取目标子内容的子内容特征。

可选地，上述处理器还可以执行如下步骤的程序代码：在基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容之前，获取目标内容样本；基于目标内容样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的内容特征；对内容特征进行量化，得到特征码本；基于特征码本建立检索库。

采用本发明实施例，提供了一种对象检测方法的方案。获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。也就是说，由于通过目标检测数据集训练出的检测器具有通用检测能力，可以先采用上述检测器检测出待检测对象的至少一个目标子对象，进而将目标子对象的特征在检索库中进行进一步检索，由于上述检索库包括了不同对象特征所来自的对象的类型，从而在检索库中可以准确出确定出目标子对象的类型，也即，本申请采用了数据检索结合样本集的方式，来确定目标子对象的类型，避免了纯采用检测算法，无法囊括所有需要检测的对象，也避免了需要重新收集数据再重新训练分类模型，难以保证对对象进行检测的准确度，从而解决了对对象进行检测的准确度低的技术问题，达到了提高对对象进行检测的准确度的技术效果。

本领域普通技术人员可以理解，图11所示的结构仅为示意，移动终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图11其并不对上述移动终端的结构造成限定。例如，移动终端11还可包括比图11中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图11所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例5

本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的对象检测方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取待检测对象的目标图像；基于检测器对目标图像进行检测，得到待检测对象中的至少一个目标子对象，其中，检测器通过目标检测数据集进行训练得到；提取目标子对象的子对象特征；基于子对象特征在检索库中进行检索，得到目标子对象的类型，其中，检索库包括不同对象特征所来自的对象的类型。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在获取待检测对象的目标图像之后，对目标图像进行数据增强；基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子对象。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：对目标图像进行数据扩充；和/或对目标图像进行数据变换。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：对目标图像按照目标缩放比例进行缩放；基于目标滑窗在缩放后的目标图像中确定多个滑窗区域；在多个滑窗区域中确定包括目标子对象的至少一个目标滑窗区域。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于多组随机变换参数对目标图像的图像数据进行变换。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于检测器中的特征提取网络层提取目标图像的图像特征；基于检测器中的第一卷积层对图像特征进行分类和回归，得到目标图像的目标区域，其中，第一卷积层连接于特征提取网络层，目标区域包括目标子对象；在目标区域中检测出目标子对象。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：通过检测器中的损失函数对目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框；从多个目标检测框中确定至少一个第一目标检测框，其中，第一目标检测框与预定检测框之间的交并比大于第一阈值；基于至少一个第一目标检测框确定目标子对象。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在至少一个第一目标检测框中获取对应的数值最高的第二目标检测框；将多个目标检测框中与第二目标检测框的重叠度大于第二阈值的第三目标检测框对应的数值进行衰减；在多个目标检测框中，去除衰减后的数值低于第三阈值的第三目标检测框，得到至少一个第四目标检测框；在第四目标检测框中确定目标子对象。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：通过目标预测模型对目标区域中的数据进行预测，得到多个预测检测框和预测检测框的置信度，其中，目标预测模型为通过公共数据集训练得到，公共数据集包括已确定类型的对象的数据；对预测检测框进行重叠软取样，得到预测检测框的损失度；基于置信度对损失度进行加权，得到预测检测框的目标值；基于目标值从多个预测检测框中确定出多个目标检测框。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标特征提取网络模型提取目标子对象的子对象特征。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标特征提取网络模型中的子特征提取网络模型提取目标子对象的第一子对象特征，其中，子特征提取网络在特征层后接第二卷积层，子对象特征的维度为第二卷积层的维度；基于目标特征提取网络模型中的局部辅助模型对目标子对象的特征图进行辅助识别，得到第二子对象特征，其中，局部辅助模型至少包括第三卷积层、第一池化层、第二池化层和分类层，第一池化层用于对特征图经由第三卷积层进行卷积处理后得到的热度图进行全局最大池化操作，第二池化层用于对目标尺寸的特征图进行平均池化操作；基于第一子对象特征和第二子对象特征确定子对象特征。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：对第一子对象特征和第二子对象特征进行聚类，得到聚类中心；获取第一子对象特征与聚类中心的距离和第二子对象特征与聚类中心的距离之和；将和确定为中心距离损失，其中，中心距离损失用于使子对象特征中的同类特征聚合。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在基于子对象特征在检索库中进行检索之前，获取目标对象样本；基于目标对象样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的对象特征；对对象特征进行量化，得到特征码本；基于特征码本建立检索库。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在基于目标对象样本建立样本库之前，基于周期性的学习率对目标特征提取网络进行训练，得到多个网络模型；基于多个网络模型的丢弃层分别对目标对象样本中的多个子样本预测多次，得到多个预测结果；对多个预测结果进行平均，得到目标预测结果。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标预测结果确定多个子样本的信息熵；从多个子样本中获取目标数量的第一目标子样本，其中，第一目标子样本的信息熵大于多个子样本中除目标数量的第一目标子样本之外的子样本的信息熵；对第一目标子样本中的对象的类型打上标签；将打上标签后的第一目标子样本添加至样本库；对多个子样本中信息熵小于第四阈值的第二目标子样本的对象的类型打上伪标签；对打上伪标签的第二目标子样本通过响应校正操作指令进行校正；将校正后的第二目标子样本添加至样本库。

作为一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：获取待检测物品的目标图像；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，其中，检测器通过目标检测数据集进行训练得到；提取目标子物品的子物品特征；基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品，且确定目标子物品的类型，其中，检索库包括不同物品特征所来自的违禁物品的类型。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在获取待检测物品的目标图像之后，对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测物品中的至少一个目标子物品，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一个目标子物品。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标特征提取网络模型提取目标子物品的子物品特征。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在基于子物品特征在检索库中进行检索，确定目标子物品为违禁物品之前，获取目标物品样本；基于目标物品样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的物品特征；对物品特征进行量化，得到特征码本；基于特征码本建立检索库。

作为另一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：获取待检测内容的目标图像；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，其中，检测器通过目标检测数据集进行训练得到；提取目标子内容的子内容特征；基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容，且确定目标子内容的类型，其中，检索库包括不同内容特征所来自的违禁内容的类型。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在获取待检测内容的目标图像之后，对目标图像进行数据增强；基于检测器对目标图像进行检测，得到待检测内容中的至少一目标子内容，包括：基于检测器对数据增强后的目标图像进行检测，得到至少一目标子内容。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标特征提取网络模型提取目标子内容的子内容特征。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在基于子内容特征在检索库中进行检索，确定目标子内容为违禁内容之前，获取目标内容样本；基于目标内容样本建立样本库；基于目标特征提取网络在样本库中提取出需要识别的内容特征；对内容特征进行量化，得到特征码本；基于特征码本建立检索库。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (30)

1.一种对象检测方法，其特征在于，包括：

获取待检测对象的目标图像；

基于检测器对所述目标图像进行检测，得到所述待检测对象中的至少一个目标子对象，其中，所述检测器通过目标检测数据集进行训练得到；

提取所述目标子对象的子对象特征；

基于所述子对象特征在检索库中进行检索，得到所述目标子对象的类型，其中，所述检索库包括不同对象特征所来自的对象的类型。

2.根据权利要求1所述的方法，其特征在于，

在获取待检测对象的目标图像之后，所述方法还包括：对所述目标图像进行数据增强；

基于检测器对所述目标图像进行检测，得到所述待检测对象中的至少一个目标子对象，包括：基于所述检测器对数据增强后的所述目标图像进行检测，得到所述至少一个目标子对象。

3.根据权利要求2所述的方法，其特征在于，对所述目标图像进行数据增强，包括：

对所述目标图像进行数据扩充；和/或

对所述目标图像进行数据变换。

4.根据权利要求3所述的方法，其特征在于，对所述目标图像的数据进行数据扩充，包括：

对所述目标图像按照目标缩放比例进行缩放；

基于目标滑窗在缩放后的所述目标图像中确定多个滑窗区域；

在所述多个滑窗区域中确定包括所述目标子对象的至少一个目标滑窗区域。

5.根据权利要求3所述的方法，其特征在于，对所述目标图像的数据进行数据变换，包括：

基于多组随机变换参数对所述目标图像的图像数据进行变换。

6.根据权利要求1所述的方法，其特征在于，基于检测器对所述目标图像进行检测，得到所述待检测对象中的至少一个目标子对象，包括：

基于所述检测器中的特征提取网络层提取所述目标图像的图像特征；

基于所述检测器中的第一卷积层对所述图像特征进行分类和回归，得到所述目标图像的目标区域，其中，所述第一卷积层连接于所述特征提取网络层，所述目标区域包括所述目标子对象；

在所述目标区域中检测出所述目标子对象。

7.根据权利要求6所述的方法，其特征在于，在所述目标区域中检测出所述目标子对象，包括：

通过所述检测器中的损失函数对所述目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框；

从所述多个目标检测框中确定至少一个第一目标检测框，其中，所述第一目标检测框与预定检测框之间的交并比大于第一阈值；

基于所述至少一个第一目标检测框确定所述目标子对象。

8.根据权利要求7所述的方法，其特征在于，基于所述至少一个第一目标检测框确定所述目标子对象，包括：

在所述至少一个第一目标检测框中获取对应的数值最高的第二目标检测框；

将所述多个目标检测框中与所述第二目标检测框的重叠度大于第二阈值的第三目标检测框对应的数值进行衰减；

在所述多个目标检测框中，去除衰减后的数值低于第三阈值的所述第三目标检测框，得到至少一个第四目标检测框；

在所述第四目标检测框中确定所述目标子对象。

9.根据权利要求7所述的方法，其特征在于，通过所述检测器中的损失函数对所述目标区域进行数据蒸馏和重叠软取样，得到多个目标检测框，包括：

通过目标预测模型对所述目标区域中的数据进行预测，得到多个预测检测框和所述预测检测框的置信度，其中，所述目标预测模型为通过公共数据集训练得到，所述公共数据集包括已确定类型的对象的数据；

对所述预测检测框进行重叠软取样，得到所述预测检测框的损失度；

基于所述置信度对所述损失度进行加权，得到所述预测检测框的目标值；

基于所述目标值从所述多个预测检测框中确定出所述多个目标检测框。

10.根据权利要求1所述的方法，其特征在于，提取所述目标子对象的子对象特征，包括：

基于目标特征提取网络模型提取所述目标子对象的所述子对象特征。

11.根据权利要求10所述的方法，其特征在于，基于目标特征提取网络模型提取所述目标子对象的所述子对象特征，包括：

基于所述目标特征提取网络模型中的子特征提取网络模型提取所述目标子对象的第一子对象特征，其中，所述子特征提取网络在特征层后接第二卷积层，所述第一子对象特征的维度为所述第二卷积层的维度；

基于所述目标特征提取网络模型中的局部辅助模型对所述目标子对象的特征图进行辅助识别，得到第二子对象特征，其中，所述局部辅助模型至少包括第三卷积层、第一池化层、第二池化层和分类层，所述第一池化层用于对所述特征图经由所述第三卷积层进行卷积处理后得到的热度图进行全局最大池化操作，所述第二池化层用于对目标尺寸的所述特征图进行平均池化操作；

基于所述第一子对象特征和所述第二子对象特征确定所述子对象特征。

12.根据权利要求11所述的方法，其特征在于，所述局部辅助模型的损失权重小于所述子特征提取网络模型的损失权重。

13.根据权利要求11所述的方法，其特征在于，所述方法还包括：

对所述第一子对象特征和所述第二子对象特征进行聚类，得到聚类中心；

获取所述第一子对象特征与所述聚类中心的距离和所述第二子对象特征与所述聚类中心的距离之和；

将所述和确定为中心距离损失，其中，所述中心距离损失用于使所述子对象特征中的同类特征聚合。

14.根据权利要求10所述的方法，其特征在于，在基于所述子对象特征在检索库中进行检索之前，所述方法还包括：

获取目标对象样本；

基于所述目标对象样本建立样本库；

基于所述目标特征提取网络在所述样本库中提取出需要识别的对象特征；

对所述对象特征进行量化，得到特征码本；

基于所述特征码本建立所述检索库。

15.根据权利要求14所述的方法，其特征在于，在基于所述目标对象样本建立样本库之前，所述方法还包括：

基于周期性的学习率对所述目标特征提取网络进行训练，得到多个网络模型；

基于所述多个网络模型的丢弃层分别对所述目标对象样本中的多个子样本预测多次，得到多个预测结果；

对所述多个预测结果进行平均，得到目标预测结果。

16.根据权利要求15所述的方法，其特征在于，基于所述目标对象样本建立样本库，包括：

基于所述目标预测结果确定所述多个子样本的信息熵；

从所述多个子样本中获取目标数量的第一目标子样本，其中，所述第一目标子样本的信息熵大于所述多个子样本中除所述目标数量的第一目标子样本之外的子样本的信息熵；

对所述第一目标子样本中的对象的类型打上标签；

将打上所述标签后的所述第一目标子样本添加至所述样本库；

对所述多个子样本中信息熵小于第四阈值的第二目标子样本的对象的类型打上伪标签；

对打上所述伪标签的所述第二目标子样本通过响应校正操作指令进行校正；

将校正后的所述第二目标子样本添加至所述样本库。

17.一种对象检测方法，其特征在于，包括：

获取待检测物品的目标图像；

基于检测器对所述目标图像进行检测，得到所述待检测物品中的至少一个目标子物品，其中，所述检测器通过目标检测数据集进行训练得到；

提取所述目标子物品的子物品特征；

基于所述子物品特征在检索库中进行检索，确定所述目标子物品为违禁物品，且确定所述目标子物品的类型，其中，所述检索库包括不同物品特征所来自的违禁物品的类型。

18.根据权利要求17所述的方法，其特征在于，

在获取待检测物品的目标图像之后，所述方法还包括：对所述目标图像进行数据增强；

基于检测器对所述目标图像进行检测，得到所述待检测物品中的至少一个目标子物品，包括：基于所述检测器对数据增强后的所述目标图像进行检测，得到所述至少一个目标子物品。

19.根据权利要求18所述的方法，其特征在于，提取所述目标子物品的子物品特征，包括：

基于目标特征提取网络模型提取所述目标子物品的所述子物品特征。

20.根据权利要求19所述的方法，其特征在于，在基于所述子物品特征在检索库中进行检索，确定所述目标子物品为违禁物品之前，所述方法还包括：

获取目标物品样本；

基于所述目标物品样本建立样本库；

基于所述目标特征提取网络在所述样本库中提取出需要识别的物品特征；

对所述物品特征进行量化，得到特征码本；

基于所述特征码本建立所述检索库。

21.一种对象检测方法，其特征在于，包括：

获取待检测内容的目标图像；

基于检测器对所述目标图像进行检测，得到所述待检测内容中的至少一目标子内容，其中，所述检测器通过目标检测数据集进行训练得到；

提取所述目标子内容的子内容特征；

基于所述子内容特征在检索库中进行检索，确定所述目标子内容为违禁内容，且确定所述目标子内容的类型，其中，所述检索库包括不同内容特征所来自的违禁内容的类型。

22.根据权利要求21所述的方法，其特征在于，

在获取待检测内容的目标图像之后，所述方法还包括：对所述目标图像进行数据增强；

基于检测器对所述目标图像进行检测，得到所述待检测内容中的至少一目标子内容，包括：基于所述检测器对数据增强后的所述目标图像进行检测，得到所述至少一目标子内容。

23.根据权利要求21所述的方法，其特征在于，提取所述目标子内容的子内容特征，包括：

基于目标特征提取网络模型提取所述目标子内容的所述子内容特征。

24.根据权利要求23所述的方法，其特征在于，在基于所述子内容特征在检索库中进行检索，确定所述目标子内容为违禁内容之前，所述方法还包括：

获取目标内容样本；

基于所述目标内容样本建立样本库；

基于所述目标特征提取网络在所述样本库中提取出需要识别的内容特征；

对所述内容特征进行量化，得到特征码本；

基于所述特征码本建立所述检索库。

25.一种对象检测装置，其特征在于，包括：

第一获取单元，用于获取待检测对象的目标图像；

第一检测单元，用于基于检测器对所述目标图像进行检测，得到所述待检测对象中的至少一个目标子对象，其中，所述检测器通过目标检测数据集进行训练得到；

第一提取单元，用于提取所述目标子对象的子对象特征；

第一检索单元，用于基于所述子对象特征在检索库中进行检索，得到所述目标子对象的类型，其中，所述检索库包括不同对象特征所来自的对象的类型。

26.一种对象检测装置，其特征在于，包括：

第二获取单元，用于获取待检测物品的目标图像；

第二检测单元，用于基于检测器对所述目标图像进行检测，得到所述待检测物品中的至少一个目标子物品，其中，所述检测器通过目标检测数据集进行训练得到；

第二提取单元，用于提取所述目标子物品的子物品特征；

第二检索单元，用于基于所述子物品特征在检索库中进行检索，确定所述目标子物品为违禁物品，且确定所述目标子物品的类型，其中，所述检索库包括不同物品特征所来自的违禁物品的类型。

27.一种对象检测装置，其特征在于，包括：

第三获取单元，用于获取待检测内容的目标图像；

第三检测单元，用于基于检测器对所述目标图像进行检测，得到所述待检测内容中的至少一目标子内容，其中，所述检测器通过目标检测数据集进行训练得到；

第三提取单元，用于提取所述目标子内容的子内容特征；

第三检索单元，用于基于所述子内容特征在检索库中进行检索，确定所述目标子内容为违禁内容，且确定所述目标子内容的类型，其中，所述检索库包括不同内容特征所来自的违禁内容的类型。

28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至24中任意一项所述的方法。

29.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至24中任意一项所述的方法。

30.一种对象检测系统，其特征在于，包括：

处理器；

存储器，与所述处理器相连接，用于为所述处理器提供处理以下处理步骤的指令：获取待检测对象的目标图像；基于检测器对所述目标图像进行检测，得到所述待检测对象中的至少一个目标子对象，其中，所述检测器通过目标检测数据集进行训练得到；提取所述目标子对象的子对象特征；基于所述子对象特征在检索库中进行检索，得到所述目标子对象的类型，其中，所述检索库包括不同对象特征所来自的对象的类型。

Images