CN111860573A - 模型训练方法、图像类别检测方法、装置和电子设备 - Google Patents

模型训练方法、图像类别检测方法、装置和电子设备 Download PDF

Info

Publication number
CN111860573A
CN111860573A CN202010501581.2A CN202010501581A CN111860573A CN 111860573 A CN111860573 A CN 111860573A CN 202010501581 A CN202010501581 A CN 202010501581A CN 111860573 A CN111860573 A CN 111860573A
Authority
CN
China
Prior art keywords
image
category
class
image samples
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010501581.2A
Other languages
English (en)
Other versions
CN111860573B (zh
Inventor
周博言
魏秀参
崔权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010501581.2A priority Critical patent/CN111860573B/zh
Priority claimed from CN202010501581.2A external-priority patent/CN111860573B/zh
Publication of CN111860573A publication Critical patent/CN111860573A/zh
Application granted granted Critical
Publication of CN111860573B publication Critical patent/CN111860573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Abstract

本申请实施例公开了模型训练方法、图像类别检测方法、装置和电子设备。该方法的实施例包括：获取样本集；基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，并使各类别的图像样本的数量与目标采样概率呈反比；分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。该实施方式提高了模型训练过程中的数据利用率，使模型充分学习到各类别的图像样本的特征，从而提升了图像类别检测模型的检测精度。

Description

模型训练方法、图像类别检测方法、装置和电子设备
技术领域
本申请实施例涉及计算机技术领域，具体涉及模型训练方法、图像类别检测方法、装置和电子设备。
背景技术
图像识别，是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。在采用图像识别技术对图像的类别进行检测时，通常可利用机器学习方法训练一个图像类别检测模型，从而使用该模型对待测图像的类别进行检测。
现有技术中，在训练图像类别检测模型的过程时，通常采用随机采样方式对样本集中的图像样本进行采样，使各图像样本具有相同的采样概率，进而使用依次采样的图像样本进行图像类别检测模型的训练。然而，样本集中的图像样本通常存在长尾问题，即小部分类别的图像样本数量较多，大部分类别的图像样本数量较少，导致样本集中的不同类别的图像样本数量不均衡。这种情况下，对于图像样本数量较少的类别，无法针对这些类别采样到充分的图像样本，从而导致对这些类别的图像样本的特征学习不够充分，进而造成图像类别检测模型的检测精度较低。
发明内容
本申请实施例提出了模型训练方法、图像类别检测方法、装置和电子设备，以提高模型训练过程中的数据利用率，使模型充分学习到各类别的图像样本的特征，从而提升图像类别检测模型的检测精度。
第一方面，本申请实施例提供了一种图像类别检测模型的训练方法，该方法包括：获取样本集，样本集包括具有类别标注的图像样本；基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到初始模型输出的类别检测结果；基于类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于损失值更新初始模型中的参数；当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
第二方面，本申请实施例提供了一种图像类别检测方法，该方法包括：将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息；分别对第一目标特征信息和第二目标特征信息进行加权；将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果；基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。
第三方面，本申请实施例提供了一种图像类别检测模型的训练装置，该装置包括：获取单元，被配置成获取样本集，样本集包括具有类别标注的图像样本；确定单元，被配置成基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；训练单元，被配置成分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到初始模型输出的类别检测结果；基于类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于损失值更新初始模型中的参数；当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
第四方面，本申请实施例提供了一种图像类别检测装置，该装置包括：第一输入单元，被配置成将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息；加权单元，被配置成分别对第一目标特征信息和第二目标特征信息进行加权；第二输入单元，被配置成将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果；确定单元，被配置成基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。
第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中所描述的方法。
第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面中所描述的方法。
本申请实施例提供的模型训练方法、图像类别检测方法、装置和电子设备，通过获取样本集，而后基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，以使各类别的图像样本的数量与目标采样概率呈反比，之后分别以随机采样方式和基于目标采样概率的采样方式采样样本集中的图像样本，从而将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。由此，可同时利用传统的采样方式和基于目标采样概率的采样方式采样图像样本以进行模型训练。由于各类别的图像样本的数量与目标采样概率呈反比，因而同时使用两种采样方式进行图像样本的采样，可使模型充分学习到样本集中各类别图像样本的特征，由此，提高了模型训练过程中的数据利用率，进而提升了图像类别检测模型的检测精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的图像类别检测模型的训练方法的一个实施例的流程图；
图2是根据本申请的初始模型的结构示意图；
图3是根据本申请的图像类别检测方法的一个实施例的流程图；
图4是根据本申请的图像类别检测模型的训练装置的一个实施例的流程图；
图5是根据本申请的图像类别检测装置的一个实施例的流程图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了根据本申请的图像类别检测模型的训练方法的一个实施例的流程100。图像类别检测模型的训练方法的执行主体可以是服务器。服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个设备组成的分布式设备集群，也可以实现成单个设备。当服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
此外，在终端设备具有实现本申请的图像类别检测模型的训练方法的能力时，信息获取方法的执行主体也可以是终端设备。上述终端设备可以是如手机、智能手机、平板电脑、膝上型便携计算机等的电子设备。
该图像类别检测模型的训练方法，包括以下步骤：
步骤101，获取样本集。
在本实施例中，图像类别检测模型的训练方法的执行主体可以通过多种方式来获取样本集。例如，可以通过有线连接方式或无线连接方式，从用于存储样本的另一服务器(例如数据库服务器)中获取存储于其中的现有的样本集。再例如，用户可以通过终端设备来收集样本。这样，上述执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
此处，样本集中可以包括大量的图像样本。各图像样本可以具有用于指示图像类别的类别标注。图像样本的类别可以预先划分为多种，例如：风景、人物、动物等。需要说明的是，本申请实施例对图像的类别划分方式不作限定，可根据需要进行各种设定。
步骤102，基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率。
在本实施例中，上述执行主体可以基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率。此处，每一个类别的图像样本的数量与该类别的图像样本的目标采样概率呈反比。即，图像样本数量越多的类别的目标采样概率越小。
实践中，可以采用多种方式确定各类别的图像样本的目标采样概率。作为示例，可以设置一个用于表征反比关系的关系式，在将某一类别的图像样本的数量代入该公式后，即可得到一个与该类别的图像样本的数量呈反比的数值。在将各个类别的图像样本的数量代入该公式后，即可得到分别与各类别的图像样本的数量呈反比的数值。将所得到的各个数值归一化，即可得到各类别的图像样本的目标采样概率。
在本实施例的一些可选的实现方式中，可以采用如下步骤确定各类别的图像样本的目标采样概率：
第一步，统计上述中各类别的图像样本的数量。此处，第i个类别的图像样本的数量可记为Ni。其中，i为大于或等于1且小于或等于总类别数(可记为C)的整数。
第二步，确定所统计的数量中的最大值与各类别的图像样本的数量的比值。此处，所统计的数量中的最大值，即为数据最多的类别的图像样本的数量，可记为Nmax。所统计的数量中的最大值与第i个类别的图像样本的数量的比值，可记为Wi。由此，可通过如下公式得到Wi：
Figure BDA0002525023460000061
第三步，对所确定的各比值进行求和，得到求和结果。
第四步，对于每一个类别，将该类别的图像样本的数量与上述求和结果的比值，作为该类别的图像样本的目标采样概率。由此，可通过如下公式确定出第i个类别的图像样本的数量Pi：
Figure BDA0002525023460000062
其中，j为大于或等于1且小于或等于C的整数。Wj记为所统计的数量中的最大值与第j个类别的图像样本的数量的比值。
通过上述公式计算各类别的图像样本的目标采样概率，可使图像样本数量越小的类别，采样概率越大，从而针对存在长尾问题的样本不均衡的样本集，也能充分采样到图像样本数量较少的类别中的图像样本，有助于模型充分学习到这些类别的图像特征。
步骤103，分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本。
在本实施例中，上述执行主体可以分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本。此处，随机采样方式可以是单纯随机采样方式，即样本集中的每一个图像样本的采样概率相同。此处，对于某一个类别的图像样本而言，随机采样方式可使该类别的图像样本的采样概率与该类别的图像样本的数量成正比。
若仅以随机采样方式采样样本集中的图像样本，则图像样本数量较少的类别被采样的概率较低，导致在训练图像类别检测模型过程中，无法使模型对这些类别的图像样本的特征得到充分学习，造成对样本集中的数据利用率较低，进而造成图像类别检测模型的检测精度较低。
由于本实施例中分别以随机采样方式和基于目标采样概率的采样方式，同时采样样本集中的图像样本，因而，可以均衡地采样到图像样本，从而可使模型充分学习到样本集中各类别图像样本的特征，由此，提高了模型训练过程中的数据利用率，进而提升了图像类别检测模型的检测精度。
在采集样本后，上述执行主体可以执行包含如下步骤104-步骤107的训练步骤。
步骤104，将以不同采样方式采样的图像样本输入至包含双方分支网络的初始模型中的不同分支网络，得到初始模型输出的类别检测结果。
在本实施例中，上述执行主体可以将以不同采样方式采样的图像样本输入至包含双方分支网络的初始模型中的不同分支网络。作为示例，上述执行主体可将以随机采样方式采样的图像样本输入至其中一个分支网络，将基于目标采样概率采样的图像样本输入至另一个分支网络。
在将将以不同采样方式采样的图像样本输入至不同分支网络后，各分支网络可分别从相应的图像样本中提取特征信息并进行特征处理，得到两个初始的类别检测结果，上述初始模型可将这两个初始的类别检测结果进一步处理，从而输出最终的类别检测结果。
在本实施例的一些可选的实现方式中，初始模型中的双分支网络可以包括第一分支网络和第二分支网络。第一分支网络可以包括第一特征提取网络和第一分类器。第二分支网络包括第二特征提取网络和第二分类器。第一特征提取网络和第二特征提取网络可用于提取图像特征。第一分类器和第二分类器可基于图像特征确定图像类别。
实践中，此处的第一特征提取网络和第二特征提取网络可具有相同的网络结构。例如，可以均为卷积神经网络(Convolutional Neural Network，CNN)。此处的第一分类器和第二分类器也可以具有相同的网络结构，例如，可以均为全连接网络。
作为示例，图2为初始模型的结构示意图。如图2所示，初始模型包含两个分支网络。其中一个分支网络中包含第一特征提取网络，用于对通过随机采用方式采样的图像样本进行特征提取，并输出图像特征fc。同时，该分支网络可采用第一分类器，基于图像特征fc得到第一分类结果。同理，另一分支网络中包含第二特征提取网络，用于对可对基于目标采样概率采样的图像样本进行特征提取，并输出图像特征fr。该分支网络可采用第二分类器，基于图像特征fr得到第二分类结果。模型可将第一分类结果和第二分类结果进行融合，从而输出最终的类别检测结果
Figure BDA0002525023460000081
此处的第一分类结果、第二分类结果和最终的类别检测结果
Figure BDA0002525023460000084
可以均为向量。向量的维数等于图像类别的总数。向量中的每一个数值可对应一个类别。最终的类别检测结果
Figure BDA0002525023460000085
中的每一个数值可表示相应类别的概率。
在本实施例的一些可选的实现方式中，如图2所示，第一特征提取网络和第二特征提取网络分别可以包括隐藏层、残差层和全局平均池化层(Globle Average Pooling，GAP)。第一特征提取网络的隐藏层和上述第二特征提取网络的隐藏层的参数共享。其中，隐藏层可以包括但不限于至少一个卷积层。卷积层可以用于提取图像特征。残差层可以指残差块，用于缓解模型训练过程中由于深度增加而带来的梯度消失问题。全局平局池化层可用于对图像特征进行下采样。
在本实施例的一些可选的实现方式中，可以按照如下子步骤S11至子步骤S14得到初始模型输出的类别检测结果：
子步骤S11，将以随机采样方式采样的图像样本输入至第一特征提取网络，得到第一特征信息(如图2所示的fc)，并将基于采样概率采样的图像样本输入至第二特征提取网络，得到第二特征信息(如图2所示的fr)。
子步骤S12，分别对第一特征信息和第二特征信息进行加权。
此处，各特征信息的权重可以为固定值或非固定值。当设置为非固定值时，可以随着训练周期的增加而变化。例如，可以随着训练周期的增多，将第一特征信息的权重逐渐减小，并同时将第二特征信息的权重逐渐增加。
可选的，上述执行主体可以按照如下步骤确定各特征信息的权重：
第一步，确定当前训练的周期(epoch)数和预设的周期总数。此处，可将确定当前训练的周期数即为T，将周期总数即为Tmax。
第二步，确定上述周期数与上述周期总数的比值的平方数。
第三步，将上述平方数作为上述第二特征信息的权重，将预设数值(例如1)与上述权重的差值作为上述第一特征信息的权重，分别对上述第一特征信息和上述第二特征信息进行加权。此处，可将第一特征信息的权重记为α，则第二特征信息的权重即为1-α。
由此，可按照如下公式确定出第一特征信息的权重α：
Figure BDA0002525023460000091
由于输入至第一分支网络的图像样本通过常规的随机采样方式采样得到，因而这种权重设置方式可以在训练前期侧重于对大部分图像样本(即样本数量较多的类别的图像样本)的特征的学习，即侧重于对特征提取网络的训练，使模型具备对大部分图像(即样本数量较多的类别的图像)的识别能力。
由于输入至第二分支网络的图像样本基于目标采样概率采样得到，且长尾类别(即图像样本数量较少的类别)的图像样本的目标采样概率较大，因而这种权重设置方式可以在已训练的特征提取网络的基础上，在训练后期侧重于分类器的训练，以使分类器具备对长尾类别的图像的识别能力。从而，合理地平衡了图像特征的学习以及对长尾类别的图像的检测能力的训练。
子步骤S13，将加权后的第一特征信息输入至第一分类器，得到第一分类结果，并将加权后的第二特征信息输入至第二分类器，得到第二分类结果。
子步骤S14，将第一分类结果和第二分类结果进行融合，输出类别检测结果。
此处，可以采用多种方式进行第一分类结果和第二分类结果进行融合，输出类别检测结果。例如，第一分类结果和第二分类结果均为向量。上述执行主体可以将这两个向量按元素相加，得到目标向量。从而将目标向量输入至预设的归一化指数函数(如图2所示的“softmax”)，得到类别检测结果(如图2所示的
Figure BDA0002525023460000092
)。该类别检测结果也为向量形式，可称为分类向量。实践中，softmax函数可将向量转换为各元素数值均位于数值区间[0，1]的向量。
步骤105，基于类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于上述损失值更新上述初始模型中的参数。
在本实施例中，可以预先构建损失函数。损失函数可以是用来估量初始模型的预测值(如输出的预测结果，即分类向量)与真实值(如输入至初始模型的图像样本的真实类别，即类别标注所指示的类别)差异程度。通过将类别检测结果和所采样的图像样本的类别标注输入至损失函数，即可得到损失值。实践中，损失函数是一个非负实值函数，损失函数的值(即损失值)越小，鲁棒性越好。损失函数可以根据实际需求来设置。
在确定出损失值后，上述执行主体可以基于所确定的损失值，更新初始模型中的参数，此处，可以利用反向传播算法求得损失值相对于模型参数的梯度，而后利用梯度下降算法基于梯度更新模型参数。
在本实施例的一些可选的实现方式中，可以按照如下步骤确定损失值：
第一步，将类别检测结果(即分类向量，可记为
Figure BDA0002525023460000101
)和以随机采样方式采样的图像样本的类别标注(也可以向量形式表示，可记为yc)输入至预设的第一交叉熵损失函数，得到第一损失值。
第二步，将类别检测结果和基于采样概率采样的图像样本的类别标注(也可以向量形式表示，可记为yr)输入至预设的第二交叉熵损失函数，得到第二损失值。此处，第一交叉熵损失函数和第二交叉熵损失函数均为交叉熵损失函数(Cross Entropy Loss)，均可用E表示。
第三步，对第一损失值和第二损失值进行加权求和，得到最终的损失值。实践中，此处的第一损失值的权重可以等于上述第一特征信息的权重(可记为α)，上述第二损失值的权重可以等于上述第二特征信息的权重(可记为1-α)。由此，可通过如下公式确定出最终的损失值Loss：
Figure BDA0002525023460000102
由此，可同时基于输入至两个分支网络的图像样本的标注信息得到最终的损失值。此外，由于损失值可用于指导模型进行参数更新，因而以此方式设置各损失值的权重，可在训练前期侧重对特征提取网络的训练；并在前期已训练的特征提取网络的基础上，在训练后期侧重于分类器的训练，以使分类器具备对长尾类别的图像的识别能力。从而，合理地平衡了图像特征的学习以及对长尾类别的图像的检测能力的训练。
步骤106，当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
在本实施例中，上述执行主体可以在执行步骤105后，检测初始模型是否训练完成，若训练完成，可将训练后的初始模型确定为图像类别检测模型。此处，可采用各种方式检测初始模型是否训练完成。例如，可检测训练周期数是否达到预设的总周期数。若达到，可确定初始模型训练完成。再例如，还可同时将损失值与目标值进行比较，根据比较结果确定初始模型是否训练完成。此处的目标值一般可用于表示类别检测结果与真实值之间的不一致程度的理想情况。也就是说，当损失值小于目标值时，可以认为类别检测结果接近或近似真实的类别。目标值可以根据实际需求来设置。
需要说明的是，确定初始模型是否训练完成的具体方式不限于上述示例，还可根据需要进行其他设定，本实施例不作限定。
还需要说明的是，在初始模型训练完成前，即在步骤105执行后初始模型尚未训练完成，可以重新以上述不同采样方式(即分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本)采样样本集中的图像样本，并使用更新参数后的初始模型和所重新采样的图像样本，继续执行上述训练步骤，即从步骤104起执行，直至训练完成。
本申请的上述实施例提供的方法，通过获取样本集，而后基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，以使各类别的图像样本的数量与目标采样概率呈反比，之后分别以随机采样方式和基于目标采样概率的采样方式采样样本集中的图像样本，从而将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。由此，可同时利用传统的采样方式和基于目标采样概率的采样方式采样图像样本以进行模型训练。由于各类别的图像样本的数量与目标采样概率呈反比，因而同时使用两种采样方式进行图像样本的采样，可使模型充分学习到样本集中各类别图像样本的特征，由此，提高了模型训练过程中的数据利用率，进而提升了图像类别检测模型的检测精度。
进一步地，基于训练周期数(epoch)实时更新两个分支网络所提取的特征信息的权重以及相应损失值的权重，可以在训练前期侧重于对大部分图像样本(即样本数量较多的类别的图像样本)的特征的学习，即侧重于对特征提取网络的训练，使模型具备对大部分图像(即样本数量较多的类别的图像)的识别能力。同时，在前期已训练的特征提取网络的基础上，这种权重设置方式可在模型训练后期更侧重于对分类器的训练，以使分类器具备对长尾类别(即图像样本数量较少的类别)的图像的识别能力。从而，合理地平衡了图像特征的学习以及对长尾类别的图像的检测能力的训练。
进一步参考图3，其示出了图像类别检测方法的一个实施例的流程300。图像类别检测方法的执行主体可以是各种电子设备，如服务器、手机、平板电脑、台式机、可穿戴设备等。
该图像类别检测方法的流程300，包括以下步骤：
步骤301，将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息。
在本实施例中，图像类别检测模型可图1对应实施例中的方式训练得到。图像类别检测模型的结构可参见1对应实施例中的描述。例如，可以包括双分支网络。其中，第一分支网络包括第一特征提取网络和第一分类器。第二分支网络包括第二特征提取网络和第二分类器。
图像类别检测方法的执行主体可以将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络，得到待测图像的第一目标特征信息。同时，可以将待测图像输入至第二特征提取网络，得到待测图像的第二目标特征信息。此处的待测图像可以是待进行类别检测的任一图像。
步骤302，分别第一目标特征信息和第二目标特征信息进行加权。
在本实施例中，待测图像的第一特征信息和第二特征信息的权重可以设定为固定值，如均设定为0.5。由此，可分别基于该权重，对第一目标特征信息和第二目标特征信息进行加权。
步骤303，将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果。
步骤304，基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。
在本实施例中，上述执行主体可以基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。作为示例，第一类别检测结果和第二类别检测结果中可以包含用于表征待测图像属于各类别的概率，此时，可以将属于同一类别的概率求平均的方式，得到最终类别检测结果，即待测图像属于各类别的最终概率。
在本实施例的一些可选的实现方式中，第一类别检测结果和第二类别检测结果可以均为向量。向量的维数可以等于总类别数。向量中的每一个数对应一个类别。上述执行主体可以首先将上述第一类别检测结果和上述第二类别检测结果按元素相加，得到目标向量。而后，可以将目标向量输入至预设的归一化指数函数(即softmax函数)，得到分类向量。上述分类向量的维数可以等于总类别数。上述分类向量中的不同位置的元素用于表征不同类别的概率。最后，可以将上述分类向量中的最大的元素值对应的类别作为上述待测图像的终类别检测结果。
需要说明的是，本实施例用于检测视频类别的方法可以用于测试上述实施例所生成的图像类别检测模型。进而根据测试结果可以不断地优化图像类别检测模型。该方法也可以是上述实施例所生成的图像类别检测模型的实际应用方法。采用上述实施例所生成的图像类别检测模型，来进行图像类别检测，有助于提高图像类别检测的性能。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种图像类别检测模型的训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例所述的图像类别检测模型的训练装置400包括：获取单元401，被配置成获取样本集，上述样本集包括具有类别标注的图像样本；确定单元402，被配置成基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；训练单元403，被配置成分别以随机采样方式和基于上述目标采样概率的采样方式，采样上述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到上述初始模型输出的类别检测结果；基于上述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于上述损失值更新上述初始模型中的参数；当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
在本实施例的一些可选的实现方式中，上述装置执行单元，被配置成在初始模型训练完成前，重新以上述不同采样方式采样上述样本集中的图像样本，并使用更新参数后的初始模型和所重新采样的图像样本，继续执行上述训练步骤。
在本实施例的一些可选的实现方式中，上述确定单元402，进一步被配置成：统计上述样本集中各类别的图像样本的数量；确定所统计的数量中的最大值与各类别的图像样本的数量的比值；对所确定的各比值进行求和，得到求和结果；对于每一个类别，将该类别的图像样本的数量与上述求和结果的比值，作为该类别的图像样本的目标采样概率。
在本实施例的一些可选的实现方式中，上述双分支网络包括第一分支网络和第二分支网络，第一分支网络包括第一特征提取网络和第一分类器，上述第二分支网络包括第二特征提取网络和第二分类器；以及，上述训练单元403，进一步被配置成：将以随机采样方式采样的图像样本输入至上述第一特征提取网络，得到第一特征信息，并将基于上述采样概率采样的图像样本输入至上述第二特征提取网络，得到第二特征信息；分别对上述第一特征信息和上述第二特征信息进行加权；将加权后的第一特征信息输入至上述第一分类器，得到第一分类结果，并将加权后的第二特征信息输入至上述第二分类器，得到第二分类结果；将上述第一分类结果和上述第二分类结果进行融合，输出类别检测结果。
在本实施例的一些可选的实现方式中，上述训练单元403，进一步被配置成：确定当前训练的周期数和预设的周期总数；确定上述周期数与上述周期总数的比值的平方数；将上述平方数作为上述第二特征信息的权重，将预设数值与上述权重的差值作为上述第一特征信息的权重，分别对上述第一特征信息和上述第二特征信息进行加权。
在本实施例的一些可选的实现方式中，上述第一分类结果和上述第二分类结果均为向量；以及，上述训练单元403，进一步被配置成：将上述第一分类结果和上述第二分类结果按元素相加，得到目标向量；将上述目标向量输入至预设的归一化指数函数，得到类别检测结果。
在本实施例的一些可选的实现方式中，上述第一特征提取网络和上述第二特征提取网络分别包括隐藏层、残差层和全局平均池化层，上述隐藏层包括至少一个卷积层，上述第一特征提取网络的隐藏层和上述第二特征提取网络的隐藏层的参数共享。
在本实施例的一些可选的实现方式中，上述训练单元403，进一步被配置成：将上述类别检测结果和以随机采样方式采样的图像样本的类别标注输入至预设的第一交叉熵损失函数，得到第一损失值；将上述类别检测结果和基于上述采样概率采样的图像样本的类别标注输入至预设的第二交叉熵损失函数，得到第二损失值；对上述第一损失值和上述第二损失值进行加权求和，得到最终的损失值，其中，上述第一损失值的权重等于上述第一特征信息的权重，上述第二损失值的权重等于上述第二特征信息的权重。
本申请的上述实施例提供的装置，通过获取样本集，而后基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，以使各类别的图像样本的数量与目标采样概率呈反比，之后分别以随机采样方式和基于目标采样概率的采样方式采样样本集中的图像样本，从而将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。由此，可同时利用传统的采样方式和基于目标采样概率的采样方式采样图像样本以进行模型训练。由于各类别的图像样本的数量与目标采样概率呈反比，因而同时使用两种采样方式进行图像样本的采样，可使模型充分学习到样本集中各类别图像样本的特征，由此，提高了模型训练过程中的数据利用率，进而提升了图像类别检测模型的检测精度。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图像类别检测模型的训练装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的图像类别检测模型的训练装置500包括：第一输入单元501，被配置成将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息；加权单元502，被配置成分别对第一目标特征信息和第二目标特征信息进行加权；第二输入单元503，被配置成将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果；确定单元504，被配置成基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。
在本实施例的一些可选的实现方式中，上述第一类别检测结果和上述第二类别检测结果均为向量；以及，上述确定单元504，进一步被配置成：将上述第一类别检测结果和上述第二类别检测结果按元素相加，得到目标向量；将上述目标向量输入至预设的归一化指数函数，得到分类向量，上述分类向量中的不同位置的元素用于表征不同类别的概率；将上述分类向量中的最大的元素值对应的类别作为上述待测图像的终类别检测结果。
可以理解的是，该装置500中记载的诸单元与参考图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取样本集，所述样本集包括具有类别标注的图像样本；基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；分别以随机采样方式和基于所述目标采样概率的采样方式，采样所述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果；基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于所述损失值更新所述初始模型中的参数；当所述初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种图像类别检测模型的训练方法，其特征在于，所述方法包括：
获取样本集，所述样本集包括具有类别标注的图像样本；
基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；
分别以随机采样方式和基于所述目标采样概率的采样方式，采样所述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果；基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于所述损失值更新所述初始模型中的参数；当所述初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述初始模型训练完成前，重新以所述不同采样方式采样所述样本集中的图像样本，并使用更新参数后的初始模型和所重新采样的图像样本，继续执行所述训练步骤。
3.根据权利要求1所述的方法，其特征在于，所述基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，包括：
统计所述样本集中各类别的图像样本的数量；
确定所统计的数量中的最大值与各类别的图像样本的数量的比值；
对所确定的各比值进行求和，得到求和结果；
对于每一个类别，将该类别的图像样本的数量与所述求和结果的比值，作为该类别的图像样本的目标采样概率。
4.根据权利要求1所述的方法，其特征在于，所述双分支网络包括第一分支网络和第二分支网络，第一分支网络包括第一特征提取网络和第一分类器，所述第二分支网络包括第二特征提取网络和第二分类器；以及，
所述将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果，包括：
将以随机采样方式采样的图像样本输入至所述第一特征提取网络，得到第一特征信息，并将基于所述采样概率采样的图像样本输入至所述第二特征提取网络，得到第二特征信息；
分别对所述第一特征信息和所述第二特征信息进行加权；
将加权后的第一特征信息输入至所述第一分类器，得到第一分类结果，并将加权后的第二特征信息输入至所述第二分类器，得到第二分类结果；
将所述第一分类结果和所述第二分类结果进行融合，输出类别检测结果。
5.根据权利要求4所述的方法，其特征在于，所述分别对所述第一特征信息和所述第二特征信息进行加权，包括：
确定当前训练的周期数和预设的周期总数；
确定所述周期数与所述周期总数的比值的平方数；
将所述平方数作为所述第二特征信息的权重，将预设数值与所述权重的差值作为所述第一特征信息的权重，分别对所述第一特征信息和所述第二特征信息进行加权。
6.根据权利要求4所述的方法，其特征在于，所述第一分类结果和所述第二分类结果均为向量；以及，
所述将所述第一分类结果和所述第二分类结果进行融合，得到所述初始模型输出的类别检测结果，包括：
将所述第一分类结果和所述第二分类结果按元素相加，得到目标向量；
将所述目标向量输入至预设的归一化指数函数，得到类别检测结果。
7.根据权利要求4所述的方法，其特征在于，所述第一特征提取网络和所述第二特征提取网络分别包括隐藏层、残差层和全局平均池化层，所述隐藏层包括至少一个卷积层，所述第一特征提取网络的隐藏层和所述第二特征提取网络的隐藏层的参数共享。
8.根据权利要求4所述的方法，其特征在于，所述基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，包括：
将所述类别检测结果和以随机采样方式采样的图像样本的类别标注输入至预设的第一交叉熵损失函数，得到第一损失值；
将所述类别检测结果和基于所述采样概率采样的图像样本的类别标注输入至预设的第二交叉熵损失函数，得到第二损失值；
对所述第一损失值和所述第二损失值进行加权求和，得到最终的损失值，其中，所述第一损失值的权重等于所述第一特征信息的权重，所述第二损失值的权重等于所述第二特征信息的权重。
9.一种图像类别检测方法，其特征在于，所述方法包括：
将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到所述待测图像的第一目标特征信息和第二目标特征信息；
分别对所述第一目标特征信息和所述第二目标特征信息进行加权；
将加权后的第一目标特征信息输入至所述图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至所述图像类别检测模型中的第二分类器，得到第二类别检测结果；
基于所述第一类别检测结果和所述第二类别检测结果，确定所述待测图像的最终类别检测结果。
10.根据权利要求9所述的方法，其特征在于，所述第一类别检测结果和所述第二类别检测结果均为向量；以及，
所述基于所述第一类别检测结果和所述第二类别检测结果，确定所述待测图像的最终类别检测结果，包括：
将所述第一类别检测结果和所述第二类别检测结果按元素相加，得到目标向量；
将所述目标向量输入至预设的归一化指数函数，得到分类向量，所述分类向量中的不同位置的元素用于表征不同类别的概率；
将所述分类向量中的最大的元素值对应的类别作为所述待测图像的最终类别检测结果。
11.一种图像类别检测模型的训练装置，其特征在于，所述装置包括：
获取单元，被配置成获取样本集，所述样本集包括具有类别标注的图像样本；
确定单元，被配置成基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；
训练单元，被配置成分别以随机采样方式和基于所述目标采样概率的采样方式，采样所述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果；基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于所述损失值更新所述初始模型中的参数；当所述初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。
12.一种图像类别检测装置，其特征在于，所述装置包括：
第一输入单元，被配置成将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到所述待测图像的第一目标特征信息和第二目标特征信息；
加权单元，被配置成分别对所述第一目标特征信息和所述第二目标特征信息进行加权；
第二输入单元，被配置成将加权后的第一目标特征信息输入至所述图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至所述图像类别检测模型中的第二分类器，得到第二类别检测结果；
确定单元，被配置成基于所述第一类别检测结果和所述第二类别检测结果，确定所述待测图像的最终类别检测结果。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN202010501581.2A 2020-06-04 模型训练方法、图像类别检测方法、装置和电子设备 Active CN111860573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501581.2A CN111860573B (zh) 2020-06-04 模型训练方法、图像类别检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501581.2A CN111860573B (zh) 2020-06-04 模型训练方法、图像类别检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111860573A true CN111860573A (zh) 2020-10-30
CN111860573B CN111860573B (zh) 2024-05-10

Family

ID=

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质
CN112633369A (zh) * 2020-12-21 2021-04-09 浙江大华技术股份有限公司 图像匹配方法、装置、电子设备、计算机可读存储介质
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113111960A (zh) * 2021-04-25 2021-07-13 北京文安智能技术股份有限公司 图像处理方法和装置以及目标检测模型的训练方法和系统
CN113222043A (zh) * 2021-05-25 2021-08-06 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113240032A (zh) * 2021-05-25 2021-08-10 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113255824A (zh) * 2021-06-15 2021-08-13 京东数科海益信息科技有限公司 训练分类模型和数据分类的方法和装置
CN113420792A (zh) * 2021-06-03 2021-09-21 阿波罗智联(北京)科技有限公司 图像模型的训练方法、电子设备、路侧设备及云控平台
CN113657530A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种采用检测及分类模型对多目标大图像进行处理的方法及装置
CN114330573A (zh) * 2021-12-30 2022-04-12 济南博观智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN114399669A (zh) * 2022-03-25 2022-04-26 江苏智云天工科技有限公司 目标检测方法和装置
CN114581751A (zh) * 2022-03-08 2022-06-03 北京百度网讯科技有限公司 图像识别模型的训练方法和图像识别方法、装置
CN114863193A (zh) * 2022-07-07 2022-08-05 之江实验室 基于混合批归一化的长尾学习图像分类、训练方法及装置
WO2023273570A1 (zh) * 2021-06-28 2023-01-05 北京有竹居网络技术有限公司 一种目标检测模型训练方法、目标检测方法及其相关设备
CN116433989A (zh) * 2023-06-08 2023-07-14 深圳大学 特征增强方法、装置、计算机设备和存储介质
CN116486197A (zh) * 2023-03-29 2023-07-25 北京百度网讯科技有限公司 图像检测模型的训练方法、图像检测方法和图像标注方法
CN116524339A (zh) * 2023-07-05 2023-08-01 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN116821966A (zh) * 2023-08-25 2023-09-29 杭州海康威视数字技术股份有限公司 机器学习模型训练数据集隐私保护方法、装置及设备
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置
CN114581751B (zh) * 2022-03-08 2024-05-10 北京百度网讯科技有限公司 图像识别模型的训练方法和图像识别方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109191453A (zh) * 2018-09-14 2019-01-11 北京字节跳动网络技术有限公司 用于生成图像类别检测模型的方法和装置
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109191453A (zh) * 2018-09-14 2019-01-11 北京字节跳动网络技术有限公司 用于生成图像类别检测模型的方法和装置
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋佳蓉;杨忠;张天翼;韩家明;朱家远;: "基于卷积神经网络和多类SVM的交通标志识别", 应用科技, no. 05 *
王博威;潘宗序;胡玉新;马闻;: "少量样本下基于孪生CNN的SAR目标识别", 雷达科学与技术, no. 06 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509036B (zh) * 2020-12-01 2022-06-07 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质
CN112633369A (zh) * 2020-12-21 2021-04-09 浙江大华技术股份有限公司 图像匹配方法、装置、电子设备、计算机可读存储介质
CN112633369B (zh) * 2020-12-21 2023-04-07 浙江大华技术股份有限公司 图像匹配方法、装置、电子设备、计算机可读存储介质
CN113111960B (zh) * 2021-04-25 2024-04-26 北京文安智能技术股份有限公司 图像处理方法和装置以及目标检测模型的训练方法和系统
CN113111960A (zh) * 2021-04-25 2021-07-13 北京文安智能技术股份有限公司 图像处理方法和装置以及目标检测模型的训练方法和系统
CN113222043A (zh) * 2021-05-25 2021-08-06 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113240032A (zh) * 2021-05-25 2021-08-10 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113222043B (zh) * 2021-05-25 2024-02-02 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113240032B (zh) * 2021-05-25 2024-01-30 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113420792A (zh) * 2021-06-03 2021-09-21 阿波罗智联(北京)科技有限公司 图像模型的训练方法、电子设备、路侧设备及云控平台
CN113095304B (zh) * 2021-06-08 2021-09-03 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113255824A (zh) * 2021-06-15 2021-08-13 京东数科海益信息科技有限公司 训练分类模型和数据分类的方法和装置
CN113255824B (zh) * 2021-06-15 2023-12-08 京东科技信息技术有限公司 训练分类模型和数据分类的方法和装置
WO2023273570A1 (zh) * 2021-06-28 2023-01-05 北京有竹居网络技术有限公司 一种目标检测模型训练方法、目标检测方法及其相关设备
CN113657530A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种采用检测及分类模型对多目标大图像进行处理的方法及装置
CN113657530B (zh) * 2021-08-24 2024-04-05 凌云光技术股份有限公司 一种采用检测及分类模型对多目标大图像进行处理的方法及装置
CN114330573A (zh) * 2021-12-30 2022-04-12 济南博观智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN114581751B (zh) * 2022-03-08 2024-05-10 北京百度网讯科技有限公司 图像识别模型的训练方法和图像识别方法、装置
CN114581751A (zh) * 2022-03-08 2022-06-03 北京百度网讯科技有限公司 图像识别模型的训练方法和图像识别方法、装置
CN114399669A (zh) * 2022-03-25 2022-04-26 江苏智云天工科技有限公司 目标检测方法和装置
CN114863193A (zh) * 2022-07-07 2022-08-05 之江实验室 基于混合批归一化的长尾学习图像分类、训练方法及装置
CN116486197A (zh) * 2023-03-29 2023-07-25 北京百度网讯科技有限公司 图像检测模型的训练方法、图像检测方法和图像标注方法
CN116486197B (zh) * 2023-03-29 2024-03-19 北京百度网讯科技有限公司 图像检测模型的训练方法、图像检测方法和图像标注方法
CN116433989A (zh) * 2023-06-08 2023-07-14 深圳大学 特征增强方法、装置、计算机设备和存储介质
CN116433989B (zh) * 2023-06-08 2023-12-01 深圳大学 特征增强方法、装置、计算机设备和存储介质
CN116524339B (zh) * 2023-07-05 2023-10-13 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN116524339A (zh) * 2023-07-05 2023-08-01 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN116821966B (zh) * 2023-08-25 2023-12-19 杭州海康威视数字技术股份有限公司 机器学习模型训练数据集隐私保护方法、装置及设备
CN116821966A (zh) * 2023-08-25 2023-09-29 杭州海康威视数字技术股份有限公司 机器学习模型训练数据集隐私保护方法、装置及设备
CN117036869B (zh) * 2023-10-08 2024-01-09 之江实验室 一种基于多样性和随机策略的模型训练方法及装置
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN109344908B (zh) 用于生成模型的方法和装置
CN111191791B (zh) 基于机器学习模型的图片分类方法、装置及设备
JP7331171B2 (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN109800732B (zh) 用于生成漫画头像生成模型的方法和装置
CN109492128B (zh) 用于生成模型的方法和装置
CN110458107B (zh) 用于图像识别的方法和装置
CN108427939B (zh) 模型生成方法和装置
CN108280477B (zh) 用于聚类图像的方法和装置
CN109376267B (zh) 用于生成模型的方法和装置
CN109447156B (zh) 用于生成模型的方法和装置
CN109446990B (zh) 用于生成信息的方法和装置
CN109360028B (zh) 用于推送信息的方法和装置
CN109308490B (zh) 用于生成信息的方法和装置
CN112784778B (zh) 生成模型并识别年龄和性别的方法、装置、设备和介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN113255819B (zh) 用于识别信息的方法和装置
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN111259698A (zh) 用于获取图像的方法及装置
CN115631370A (zh) 一种基于卷积神经网络的mri序列类别的识别方法及装置
CN111860573A (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN114387465A (zh) 图像识别方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant