CN111414936B

CN111414936B - 分类网络的确定方法、图像检测方法、装置、设备及介质

Info

Publication number: CN111414936B
Application number: CN202010113361.2A
Authority: CN
Inventors: 张松阳; 郭烨; 黎泽明
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd
Priority date: 2020-02-24
Filing date: 2020-02-24
Publication date: 2023-08-18
Anticipated expiration: 2040-02-24
Also published as: CN111414936A

Abstract

本发明实施例提供了一种分类网络的确定方法、图像检测方法、装置、设备及介质，所述方法包括：获取多个子类别和多个父类别；确定所述多个子类别与所述多个父类别之间的类别关系；根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类。采用本发明技术方案，不仅可以提高对大样本类别的物体的检测准确度，也能提高对小样本类别的物体的检测准确度。

Description

分类网络的确定方法、图像检测方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种分类网络的确定方法、图像检测方法、装置、设备及介质。

背景技术

利用机器学习对物体进行检测时，面临的主要困难是数据不平衡导致的物体检测准确度不高，特别是在超大规模物体检测任务中(如1000类物体的检测问题)，这个困难被放大，造成大规模长尾分布物体检测问题。

相关技术中，为了解决数据不平衡导致的物体检测准确度不高的问题，一般的解决方案分为三种：基于数据采样的方法、基于损失函数加权的方法以及基于数据增强的方法。

其中，基于数据采样的方法一般分为欠采样和过采样两种，由于物体检测中，一张图片往往包含多个物体的矩形包围框，通常需要手动设计合适的采样策略，算法设计相对复杂，且需要繁复的调参工作，另外基于采样容易过拟合。基于损失函数加权的方法是通过对小样本类别和大样本类别赋以不同的权重，改善优化过程，以提升小样本的性能，这类方法往往性能提升有限，且训练过程不稳定。基于数据增强的方法，需要使用复杂的数据增强策略，针对物体检测任务，数据增强往往需要对于前景物体边界进行平滑操作，一方面目前缺少有效的物体检测数据增强方法，另一方面这类方法计算复杂度和时间占用也比较高，基于数据增强的带来的性能增益也十分有限。

因此，相关技术中仍然存在对物体检测的检测准确度不高、性能不佳的技术问题。

发明内容

鉴于上述问题，提出了一种分类网络的确定方法、图像检测方法、装置、设备及介质，以克服上述问题或者至少部分地解决上述问题。

为了解决上述问题，本发明的第一方面公开了一种分类网络的确定方法，述方法包括：

获取多个子类别和多个父类别；

确定所述多个子类别与所述多个父类别之间的类别关系；

根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类。

可选地，确定所述多个子类别与所述多个父类别之间的类别关系，包括：

对所述多个子类别进行聚类；其中，一个子类别被聚类到一个父类别；

确定每个子类别在被聚类到的父类别中的分配比例，以得到所述类别关系。

可选地，根据所述类别关系，对预设分类网络的参数值进行更新，包括：

根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的参数值，以及每个子类别在被聚类到的父类别中的分配比例，对所述多个子类别各自在所述预设分类网络中的参数值进行更新。

可选地，所述预设分类网络中所述多个父类别各自对应的参数值是按照以下步骤确定的：

根据聚类结果，确定每个父类别包含的各个子类别；

将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值之和，确定为该父类别的参数预估值；

通过全连接网络对每个父类别的参数预估值进行变换，得到每个父类别在所述预设分类网络中的参数值。

可选地，对所述多个子类别进行聚类并确定每个子类别在被聚类到的父类别中的分配比例，包括：

将所述多个子类别输入预先训练的类别处理模型，得到所述类别处理模型输出的聚类结果，以及每个子类别在被聚类到的父类别中的分配比例；

其中，所述类别处理模型是以多个子类别样本为输入，对预设模型进行多次训练后得到的。

本发明是实施例的第二方面、提供了一种图像检测方法，所述方法包括：

对待检测图像中位于标记框内的图像区域进行特征提取，得到所述图像区域的图像特征；

将所述图像特征输入到分类网络中，得到所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数；

根据所述待检测图像中的物体属于每个子类别的分类分数，确定所述待检测图像中的物体的类别；

其中，所述分类网络为根据多个父类别和多个子类别之间的类别关系，对预设分类网络进行更新后的网络。

可选地，所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数，是通过以下步骤得到的：

对所述图像特征进行归一化，并对每个子类别在所述分类网络中的参数值进行归一化；

根据归一化后的特征和归一化后的参数值，按照以下公式，得到所述待检测图像中的物体属于每个子类别的分类分数；

其中，f为所述图像区域的特征，w为每个子类别在所述分类网络中的参数值，γ为每个子类别对应的系数。

可选地，所述分类网络是按照本发明实施例第一方面所述的分类网络的确定方法，对预设分类网络进行处理后得到的。

本发明是实施例的第三方面，提供了一种分类网络的确定装置，所述装置包括：

获取模块，用于获取多个子类别和多个父类别；

类别关系确定模块，用于确定所述多个子类别与所述多个父类别之间的类别关系；

网络更新模块，用于根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类。

本发明是实施例的第四方面，提供了一种图像检测装置，所述装置包括：

特征提取模块，用于对待检测图像中位于标记框内的图像区域进行特征提取，得到所述待检测图像的图像特征；

分类分数确定模块，用于将所述图像特征输入到分类网络中，得到所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数；

类别确定模块，用于根据所述待检测图像中的物体属于每个子类别的分类分数，确定所述待检测图像中的物体的类别；

本发明实施例的第五方面，提供了一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明实施例第一方面所述的分类网络的确定方法或第二方面所述的图像检测方法。

本发明实施例的第六方面，提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例第一方面所述的分类网络的确定方法或第二方面所述的图像检测方法。

本发明实施例包括以下优点：

在本发明实施例中，可以获取多个子类别和多个父类别，并根据多个子类别和多个父类别，确定多个子类别与多个父类别之间的类别关系，之后，根据子类别和父类别之间的类别关系，对预设分类网络的参数值进行更新，以利用更新后的预设分类网络进行子类别的分类。由于确定了子类别和父类别之间的类别关系，根据类别关系可以对子类别在预设分类网络中的参数值进行更新，进而可以使得子类别从父类别中迁移来一些参数，提高了子类别在预设分类网络中的参数值的准确性，继而提高对分类网络对物体的检测准确度。因此，采用本发明的技术方案，不仅可以提高对大样本类别的物体的检测准确度，也能提高对小样本类别的物体的检测准确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图

图1是本发明实施例提出的一种分类网络的确定方法的原理示意图；

图2是本发明实施例提出的一种分类网络的确定方法的步骤流程图；

图3本发明实施例提出的应用更新后的预设分类网络构建的深度神经网络模型的结构示意图；

图4本发明实施例提出的应用更新后的预设分类网络进行图像检测的步骤流程图；

图5是本发明实施例提出的一种分类网络的确定装置的结构示意图；

图6是本发明实施例提出的一种图像检测装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关的物体检测技术，一般通过机器学习的方式创建一个神经网络模型，采用神经网络模型对输入的图片进行识别。其中，在创建神经网络模型的过程中，一般会以多个样本为输入对神经网络进行多次训练。其中，样本的多寡度和样本类别的丰富程度可以影响神经网络模型的识别准确度。

但是，在实际中，一般会存在某一类别的样本数量众多(简称大样本类别)，而其他一些类别的样本数量较少(简称小样本类别)，这样，就造成了样本数据的不平衡，使得神经网络模型对小样本类别的物体识别准确率不高。

鉴于以上问题，本发明申请人提出了以下构思，以至少解决当前的神经网络模型对小样本类别的物体识别准确率不高的问题：通过对一般的分类网络进行修改设计，建模类别与类别间的层次关系，通过类别关系网络学习类别与类别的依赖关系，进而实现从学习样本充足的类别向学习样本不足的类别进行信息传递，帮助小样本类别的性能提升，从而提升物体识别的准确率。

参照图1所示，示出了本发明实施例提出的一种分类网络的确定方法的原理示意图。下面，结合图1对一种分类网络的确定方法进行详细阐述。

参照图2所示，示出了本发明实施例提出的一种分类网络的确定方法的步骤流程图，具体可以包括以下步骤：

步骤S21：获取多个子类别和多个父类别。

本发明实施例中，分类网络可以是指在物体检测中用于对物体按照所属类别进行分类的神经网络。其中，可以从分类网络的分类器中抽取多个子类别，在抽取多个子类别后，可以根据预设的父类别的数量，得到多个父类别。该多个子类别的数量和多个父类别的数量均可以由用户根据需求进行设置。其中，子类别的数量可以大于父类别的数量，例如，设置子类别的数量为1000，父类别的数量为100，则获取1000个子类别后，便根据该1000个子类别得到100个父类别。

在一种实施方式中，可以在获取到多个子类别后，根据预设的父类别的数量，对多个子类别进行聚类，得到多个父类别。其中，在聚类后，每一个父类别可以包括多个子类别，即，多个子类别可以被聚类到同一个父类别。

具体实施时，多个子类别中可以包括小样本类别，即，学习样本不足的子类别。

以图1为例对本实施例进行说明，分类网络中预设了1万个子类别的分类模板，即，分类网络在对一个物体进行分类时，可以在1万个子类别中确定物体的类别。假设需要获取1000个子类别，则设置D为1000，可以从分类网络的分类器中抽取1000个子类别，在该1000个子类别中包括了多个小样本的子类别。又假设这1000个子类别要归属到100个父类别中，则可以设置D_s1为100，进而可以获取到100个父类别，每一个父类别可以包括10个子类别。例如，其中一个父类别是猫科动物，则包括的子类别可以是：猫、老虎、豹子等。

步骤S22：确定所述多个子类别与所述多个父类别之间的类别关系。

本实施例中，类别关系可以是指一个子类别与其所属的父类别之间具有的参数传递关系。具体而言，由于多个子类别可以归属于同一个父类别，则一个子类别与其所属的父类别之间具有依赖关系，即二者具有相似性，这样，一个父类别便与自身包括的各个子类别均具有相似性。因此，一个父类别与其包括的各个子类别之间可以共享部分参数，即具有参数上的可共享性。

这样，在建立一个子类别与一个父类别的类别关系后，便可以建立一个子类别与一个父类别之间的参数传递关系，使得子类别可以从其所属的父类别上共享到参数。

在一种实施方式中，确定所述多个子类别与所述多个父类别之间的类别关系可以包括以下步骤：

步骤S221：对所述多个子类别进行聚类；其中，一个子类别被聚类到一个父类别。

本实施方式中，对多个子类别进行聚类可以是指将多个具有相似属性的子类别聚类为一个父类别。其中，可以设置聚类的数量，如上所述，例如，获取到1000个子类别，设置D_s1为100，则可以对1000个子类别按照100个父类别进行聚类，便得到了100个父类别。这样，每一个子类别便可以被聚类到一个父类别中。实际中，设置的聚类的数量D_s1越大，则父类别的分类越细，反之，则父类别的分类越粗。

步骤S222：确定每个子类别在被聚类到的父类别中的分配比例，以得到所述类别关系。

本实施方式中，在对多个子类别进行聚类后，便可以得到多个子类别与聚类后的多个父类别之间的从属关系。例如，可以确定一个子类别被聚类到哪一父类别，也可以确定一个父类别中包括哪些子类别。实际中，由于同一个父类别可以包括多个子类别，即多个子类别可以被聚类到同一个父类别中，则每一个子类别都具有在所属的父类别中的分配比例。该分配比例可以表征一个子类别在父类别中所能得到的分配分数。

其中，被聚类到同一父类别的多个子类别各自的分配比例之和可以小于或等于1。例如，一个父类别包括10个子类别，则每个子类别的分配比例可以分别都为0.1，当然，在一些实际情况中，10个子类别的分配比例可以各不相同，但是其分配比例之和不大于1。

在一种实施方式中，为了提高确定类别间的分类关系的效率，可以利用类别处理模型，对多个子类别进行聚类并确定每个子类别在被聚类到的父类别中的分配比例，具体可以包括以下步骤：

步骤S221'：将所述多个子类别输入预先训练的类别处理模型，得到所述类别处理模型输出的聚类结果，以及每个子类别在被聚类到的父类别中的分配比例。

本实施方式中，该类别处理模型可以设置在分类网络中，并可以位于分类网络的全连接层。

实际中，该类别处理模型可以包括并列的第一处理模型和第二处理模型，第一处理模型和第二处理模型可以分别为全连接(FC，full connection)层。如图1所示，第一处理模型可以为第一全连接层(记为FC1)，第二处理模型可以为第二全连接层(记为FC2)。具体实施时，可以将多个子类别分别输入到第一处理模型和第二处理模型，进而得到由第一处理模型输出的多个父类别，以及由第二处理模型输出的每个子类别在所属的父类别中的分配比例。

具体实现中，如图1所示，可以将最左上角多个子类别D*1024分别输入到聚类模型FC1和扩散模型FC2。该FC1输出D_s1*D，该D_s1*D可以理解为是聚类矩阵输出的多个父类别。该FC2输出D*D_s1，其中，D*D_s1可以表示每个子类别在被聚类到的父类别中的分配比例。

实际中，由于经FC1输出的是对多个子类别进行聚类后得到的多个父类别，则第一处理模型又可以被称为聚类模型，由于第二处理模型FC2输出的是每个子类别在所属的父类别中的分配比例，则第二处理模型又可以被称为扩散模型。

实际中，类别处理模型中的聚类模型可以是对预设聚类模型进行训练后得到的，同理，扩散模型也可以是对预设扩散模型进行训练后得到的。其中，预设扩散模型和预设聚类模型构成了预设模型，训练后得到的聚类模型和扩散模型并列构成了类别处理模型。该预设模型可以是常用的神经网络模型。具体地，预设模型中的预设聚类模型和预设扩散模型均可以是以多个子类别样本为输入，进行多次训练，进而得到了聚类模型和扩散模型。

步骤S23：根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类。

本实施例中，分类网络的参数值可以理解为是对多个子类别进行分类的模板的参数值，在一个分类网络中，不同数量子类别的模板可以具有不同的参数。其中，模板的参数值可以理解如下：

例如，1000个子类别的模板可以实现在1000个子类别中识别物体所属的子类别，则此种情况下，分类网络的参数便可以对应1000个子类别的模板的参数。5000个子类别的模板可以实现在5000个子类别中识别物体所属的子类别，则此时分类网络的参数便可以对应5000个子类别的模板的参数。

按照上述示例描述，本实施例中，对预设分类网络的参数值进行更新时，预设分类网络中的多个子类别便获得了新的参数值，该新的参数值可以依据上述步骤S22得到的类别关系而确定。

在一种实施方式中，类别关系又可以是指每个子类别在被聚类到的父类别中的分配比例，则在又一种实施方式中，对预设分类网络的参数值进行更新时，可以是根据分配比例，对多个子类别在预设分类网络中的参数值进行更新。具体可以包括以下步骤：

步骤S23'：根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的参数值，以及每个子类别在被聚类到的父类别中的分配比例，对所述多个子类别各自在所述预设分类网络中的参数值进行更新。

本实施方式中，多个子类别各自在预设分类网络中的参数值可以是指在未对子类别进行聚类时，各子类别在预设分类网络中的原始的参数值。由于多个父类别可以是对多个子类别进行聚类而到的类别，则父类别在预设分类网络中的参数值可以用是指对多个子类别进行聚类后，该父类别在预设分类网络中的参数值。

在一种具体实施方式中，父类别在预设分类网络中的参数值可以按照以下步骤确定：

步骤S231：根据聚类结果，确定每个父类别包含的各个子类别。

本实施方式中，对子类别进行聚类得到多个父类别后，每个父类别便可以包括多个子类别。因此，可以确定一个父类别包含的各个子类别。

步骤S232：将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值之和，确定为该父类别的参数预估值。

本实施方式中，子类别在所述预设分类网络中的参数值可以是指子类别在预设分类网络中的原始的参数值。这样，在多个子类别被聚类到同一个父类别时，子类别也可以将自身在预设分类网络中的参数值传递到父类别中，使得父类别在预设分类网络中也可以具有自身的参数值。

具体实现中，可以将父类别所包括的各个子类别在预设分类网络中的原始的参数值之和确定为该父类别在预设分类网络中的参数预估值。

参照图1所示，将最左上角多个子类别D*1024输入到聚类模型FC1后，得到了FC1输出的父类别D_s1*D，进而根据该D_s1*D与多个子类别D*1024，得到了D_s1*1024，该D_s1*1024则可以表示D_s1个父类别在预设分类网络中的参数预估值。

示例地，以父类别为猫科动物为例，该父类别包含的子类别为猫、老虎、狮子、豹子，则猫科动物在预设分类网络中的参数预估值可以是猫、老虎、狮子、豹子在预设分类网络中的原始的参数值之和。

步骤S233：通过全连接网络对每个父类别的参数预估值进行变换，得到每个父类别在所述预设分类网络中的参数值。

本实施方式中，为了提高更新后的预设分类网络的分类准确度，可以将每个父类别的参数预估值输入到全连接层，以通过全连接层输出每个父类别在预设分类网络中的参数值。

参照图1所示，根据多个子类别D*1024以及聚类后得到的父类别D_s1*D，得到了多个父类别在预设分类网络中的参数预估值D_s1*1024，之后，将D_s1*1024输入到全连接层FC中，以对每个父类别在预设分类网络中的参数预估值进行变换，进而得到变换后的D_s1*1024，该变换后的D_s1*1024即为最终确定出的每个父类别在预设分类网络中的参数值。

其中，通过全连接层对每个父类别在预设分类网络中的参数预估值进行变换可以是指：通过全连接层对该父类别所包括的各子类别在预设分类网络中的原始的参数值进行加权求和，从而使得输出的每个父类别在预设分类网络中的参数值能够更加体现该父类别的特征，以提高物体检测的准确性，增强神经网络的性能。

通过上述步骤S231至步骤S233得到每个父类别在预设分类网络中的参数值后，即已知了每个父类别在预设分类网络中的参数值、每个子类别在所属的父类别中的分配比例、以及每个子类别在预设分类网络中的原始的参数值。接下来，便可以对每个子类别在预设分类网络中的原始的参数值进行更新，更新后的参数值可以称为每个子类别在预设分类网络中的新的参数值。

具体实现中，可以按照如下过程确定每个子类别在预设分类网络中的新的参数值：

首先，可以将每个子类别在所属的父类别中的分配比例与该父类别在预设分类网络中的参数值的乘积，确定为每个子类别在预设分类网络中从所属的父类别中迁移到的参数值。进而，使得每个子类别得到了所属的父类别在预设分类网络中的部分参数值。

如图1所示，根据多个父类别在预设分类网络中的参数值D_s1*1024与每个子类别在所属的父类别中的分配比例D*D_s1相乘，得到一个D*1024，该D*1024即是各子类别在预设分类网络中从所属的父类别中迁移到的参数值。

示例地，以父类别为猫科动物为例，该父类别包含的子类别为猫、老虎、狮子、豹子，假设猫的分配比例是0.35、猫科动物在预设分类网络中的参数值为5.1，则猫在预设分类网络中从猫科动物中迁移到的参数值为1.785。需要说明的是，该示例应当理解为是为方便理解本申请实施例而假设的一种情况，其猫的分配比例0.35、猫科动物在预设分类网络中的参数值5.1并不代表是对本申请的限定。

接着，可以将每个子类别在预设分类网络中的原始的参数值与该子类别在预设分类网络中从所属的父类别中迁移到的参数值之和，作为该子类别在预设分类网络中的新的参数值。

如图1所示，将最左上角子类别在预设分类的原始的参数值D*1024以及右下角倒数第二个的分配权重D*1024相加，得到了最右下角的子类别在预设分类的新的参数值D*1024。

这样，使得每个子类别在预设分类网络中的原始的参数值的基础上，又叠加了该子类别在预设分类网站中从所属的父类别中迁移到的参数值。

示例地，假设猫在预设分类网络中的原始的参数值为1.9，猫在预设分类网络中从猫科动物中迁移到的参数值为1.785，则猫在预设分类网络中的新的参数值为3.685。

由于该父类别与其所包括的各个子类别均具有相似性，例如，猫科动物与其所包含的猫、老虎、狮子、豹子具有相似性。这样，子类别从该父类别中迁移到的部分参数值，便可以具有与其他子类别相似的一些参数值，如，猫从猫科动物中迁移到的参数值可以与老虎、狮子、豹子等各自在预设分类网络中的参数值具有相似性。相当于实现了从学习样本充足的类别向学习样本不足的类别进行信息传递，提高了分类网络对小样本类别的识别准确率。

实际中，在得到每个子类别在预设分类网络中新的参数值后，便可以存储当前状态下各个子类别在预设分类网络中新的参数值，进而实现了对分类网络的更新。在一种应用场景中，可以多次重复上述步骤S21至步骤S23，以对预设分类网络的参数值进行多次更新，进而使得更新后的预设分类网络的稳定性越高，每个子类别在预设分类网络中新的参数值越趋稳定。

采用本发明的技术方案，将多个子类别聚合到了一个父类别中，进而可以确定多个子类别与多个父类别之间的类别关系，之后，根据子类别和父类别之间的类别关系，对预设分类网络的参数值进行更新，以利用更新后的预设分类网络进行子类别的分类。

由于先确定了子类别和父类别之间的类别关系，该类别关系具体为每个子类别在所属的父类别中的分配比例，使得根据分配比例、子类别在预设分类网络中的参数值、父类别在预设分类网络中的参数值得到了每个子类别在预设分类网络中的新的参数值。将父类别中的部分参数值迁移到了子类别中，从而使得子类别的新的参数值能更加准确地表征该子类别，从而提高了对该子类别的物体进行识别的准确率，特别是帮助了小样本类别的性能提升，从而在子类别的学习样本数量不够的情况下，可以显著提高小样本类别的物体的检测准确率。

参照图3所示，示出了利用更新后的预设分类网络构建的深度神经网络模型的结构示意图，该深度神经网络模型可以用于对图像中的物体的类别进行识别。如图3所示，该深度神经网络模型可以包括：图片输入模块、神经网络特征提取模块以及神经网络分类模块。

其中，图片输入模块可以位于深度神经网络模型中的输入层、神经网络特征提取模块可以位于深度神经网络模型中的卷积层，神经网络分类模块可以位于深度神经网络模型中的全连接层。其中，神经网络分类模块是更新后的预设分类网络。

在一种具体实现中，图片输入模块、神经网络特征提取模块可以是预先训练好的神经网络模型，这样，可以将分类网络(更新后的预设分类网络)连接在神经网络特征提取模块之后，以对图像进行分类。

在又一种具体实现中，可以利用预设分类网络、图片输入模块和神经网络特征提取模块构建一个初始神经网络，通过对该初始神经网络的训练得到深度神经网络模型，即在本具体实现中，同时完成了对预设分类网络的更新、以及图片输入模块和神经网络特征提取模块的训练。具体地，可以多个图像样本为输入，对初始神经网络进行训练，在对初始神经网络进行训练的过程中，便可以根据上述分类网络的确定方法对预设分类网络进行更新，在训练结束后，便得到了深度神经网络以及分类网络(更新后的预设分类网络)。

结合图3，对利用更新后的预设分类网络进行图像检测进行阐述，参照图4所示，示出了利用更新后的预设分类网络进行图像检测的步骤流程图，具体包括以下步骤：

步骤S41：对待检测图像中位于标记框内的图像区域进行特征提取，得到所述图像区域的图像特征。

本实施例中，该待检测图像是指需要对图像中的物体进行检测以确定物体所属类别的图像，具体实施时，可以对待检测图像中的物体图像区域标记上二维框，进而可以对该待检测图像中被标记上二维框的区域进行特征提取。

具体实施时，可以由图片输入模块获得待检图像，进而由图片输入模块将该待检测图像输入到神经网络特征提取模块，得到由神经网络特征提取模块输出的图像特征，其中，神经网络特征提取模块可以使用resnet(Residual Network，残差网络)结构实现。

步骤S42：将所述图像特征输入到分类网络中，得到所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数。

本实施方式中，可以将神经网络特征提取模块输出的图像特征输入到分类网络中，由于分类网络中是应用分类网络的确定方法而得到的更新后的预设分类网络，则在该分类网络中各个子类别具有对应的新的参数值，分类网络可以根据图像特征和每个子类别在预设分类网络中的新的参数值，确定待检测图像中的物体属于每个子类别的分数。其中，待检测图像中的物体是指位于标记框内的图像区域中的物体。

实际中，图像区域所表征的物体属于每个子类别的分数可以表征该物体属于该子类别的程度，即该物体与该子类别的相似程度。其中，待检测图像中的物体属于每个子类别的分数可以是小于1的分数。

步骤S43：根据所述待检测图像中的物体属于每个子类别的分类分数，确定所述待检测图像中的物体的类别。

本实施方式中，由于得到了与多个子类别分别对应的分类分数，则可以在多个分类分数中，将分数值最大的分类分数所对应的子类别确定为该待检测图像中的物体所对应的类别。

示例地，以子类别为猫、老虎、狗、豹子为例。待检测图像中位于二维标记框内的图像区域所表征的物体为物体A，假设物体A属于猫的分数为0.2，属于老虎的分数为0.8，属于狗的分数为0.9，属于豹子的分数为0.19。则可以表征该物体A的类别为狗。

在一种实施方式中，在具体应用分类网络输出待检测图像中的物体属于每个子类别的分类分数时，该分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数，可以通过以下步骤得到：

步骤S421：对所述图像特征进行归一化，并对每个子类别在所述分类网络中的参数值进行归一化。

本实施方式中，对图像特征进行归一化，可以是指将图像特征转换为0-1之间的值，对每个子类别在分类网络中的参数值进行归一化也可以是指将每个子类别在分类网络中的参数值转换为0-1之间的值。其中，由于分类网络是更新后的预设分类网络，则子类别在分类网络中的参数值可以是指子类别在预设分类网络中的新的参数值。

步骤S422：根据归一化后的特征和归一化后的参数值，按照以下公式(1)，得到所述待检测图像中的物体属于每个子类别的分类分数。

在公式(1)中，f为所述图像区域的特征，w为每个子类别在分类网络中的参数值，γ为每个子类别对应的系数。

其中，是对图像特征进行归一化后的特征值，其是0-1之间的值，/>是对每个子类别在分类网络中的参数值进行归一化后的新权重值，其也是0-1之间的值。

实际中，γ也可以称为可学习的尺度系数，可以是整个深度神经网络模型的参数，具体地，在同时完成对预设分类网络的更新、图片输入模块和神经网络特征提取模块的训练，以得到深度神经网络模型的过程中，可以为预设分类网络、图片输入模块和神经网络特征提取模块构建的初始神经网络设置初始的γ，随着训练次数的增多，γ的值不断被修正，进而得到稳定的γ值，图像检测网络模型被训练完成得到深度神经网络模型时，γ也便确定。

采用本实施方式时，可以将所述待检测图像中的物体属于每个子类别的分数归一化到0-1之间的值，进而可以帮助大规模类别任务上的分类网络的检测效率，优化性能。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

基于同一发明构思，参考图5，示出了本发明实施例的一种分类网络的确定装置的框架示意图，所述装置具体可以包括如下模块：

获取模块51，用于获取多个子类别和多个父类别；

类别关系确定模块52，用于确定所述多个子类别与所述多个父类别之间的类别关系；

网络更新模块53，用于根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类。

可选地，所述类别关系确定模块52，具体可以包括以下单元：

聚类单元，用于对所述多个子类别进行聚类；其中，一个子类别被聚类到一个父类别；

分配比例确定单元，用于确定每个子类别在被聚类到的父类别中的分配比例，以得到所述类别关系。

可选地，所述网络更新模块53，具体可以用于根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的参数值，以及每个子类别在被聚类到的父类别中的分配比例，对所述多个子类别各自在所述预设分类网络中的参数值进行更新。

可选地，所述网络更新模块53可以包括父类别参数值确定单元，所述父类别参数值确定单元具体可以包括以下单元：

第一确定单元，用于根据聚类结果，确定每个父类别包含的各个子类别；

第二确定单元，用于将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值之和，确定为该父类别的参数预估值；

变换单元，用于通过全连接网络对每个父类别的参数预估值进行变换，得到每个父类别在所述预设分类网络中的参数值。

可选地，所述分配比例确定单元，具体可以用于将所述多个子类别输入预先训练的类别处理模型，得到所述类别处理模型输出的聚类结果，以及每个子类别在被聚类到的父类别中的分配比例；

对于分类网络的权重值处理装置实施例而言，由于其与分类网络的确定方法实施例基本相似，所以描述的比较简单，相关之处参见定位方法实施例的部分说明即可。

基于同一发明构思，参考图6，示出了本发明实施例中利用更新后的预设分类网络进行图像检测的图像检测装置的框架示意图，所述装置具体可以包括如下模块：

特征提取模块61，用于对待检测图像中位于标记框内的图像区域进行特征提取，得到所述待检测图像的图像特征；

分类分数确定模块62，用于将所述图像特征输入到分类网络中，得到所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数；

类别确定模块63，用于根据所述待检测图像中的物体属于每个子类别的分类分数，确定所述待检测图像中的物体的类别；

可选地，所述分类分数确定模块62可以包括以下单元：

归一化单元，用于对所述图像特征进行归一化，并对每个子类别在所述分类网络中的参数值进行归一化；

分类分数确定单元，用于根据归一化后的特征和归一化后的参数值，按照以下公式(1)，得到所述待检测图像中的物体属于每个子类别的分类分数；

公式(1)中，f为所述图像区域的特征，w为每个子类别在所述分类网络中的参数值，γ为每个子类别对应的系数。

可选地，所述分类网络是按照本实施例所述的分类网络的确定方法，对预设分类网络进行处理后得到的。

对于图像检测装置实施例而言，由于其与图像检测方法实施例基本相似，所以描述的比较简单，相关之处参见定位方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明实施例所述的分类网络的确定方法或所述的图像检测方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的分类网络的确定方法或所述的图像检测方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种分类网络的确定方法、图像检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种图像检测方法，其特征在于，所述方法包括：

其中，所述分类网络为根据多个父类别和多个子类别之间的类别关系，对预设分类网络进行更新后的网络，所述分类网络是按照以下步骤确定的：

获取多个子类别和多个父类别；

确定每个子类别在被聚类到的父类别中的分配比例，以得到所述子类别与所述父类别之间的类别关系；

根据所述类别关系，对预设分类网络的参数值进行更新，以利用参数值更新后的预设分类网络对所述多个子类别进行分类；

所述对预设分类网络的参数值进行更新，包括：

将每个子类别在被聚类到的父类别中的分配比例与所属的父类别在预设分类网络中的参数值的乘积，确定为所述子类别在所述预设分类网络中从所属的父类别中迁移到的参数值；

将每个子类别在所述预设分类网络中的参数值与所述子类别在所述预设分类网络中从所属的父类别中迁移到的参数值之和，作为所述子类别在预设分类网络中的新的参数值。

2.根据权利要求1所述的方法，其特征在于，所述预设分类网络中所述多个父类别各自对应的参数值是按照以下步骤确定的：

根据聚类结果，确定每个父类别包含的各个子类别；

3.根据权利要求1所述的方法，其特征在于，对所述多个子类别进行聚类并确定每个子类别在被聚类到的父类别中的分配比例，包括：

4.根据权利要求1所述的方法，其特征在于，所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分数，是通过以下步骤得到的：

；

其中，f为所述图像区域的特征，w为每个子类别在所述分类网络中的参数值，为每个子类别对应的系数。

5.一种图像检测装置，其特征在于，所述装置包括：

获取多个子类别和多个父类别；

所述对预设分类网络的参数值进行更新，包括：

6.一种电子设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如权利要求1至4任一项所述的图像检测方法。

7.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至4任一项所述的图像检测方法。