CN111539452A - 多任务属性的图像识别方法、装置、电子设备及存储介质 - Google Patents
多任务属性的图像识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111539452A CN111539452A CN202010225826.3A CN202010225826A CN111539452A CN 111539452 A CN111539452 A CN 111539452A CN 202010225826 A CN202010225826 A CN 202010225826A CN 111539452 A CN111539452 A CN 111539452A
- Authority
- CN
- China
- Prior art keywords
- image
- task
- network
- sample
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010187 selection method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241000405070 Percophidae Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种多任务属性的图像识别方法、装置、电子设备及存储介质，所述方法包括：获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；基于所述任务图像特征进行任务结果分类，得到属性识别结果。节省时间与计算开销，加快模型运算速度，降低了多属性识别的费效比。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种多任务属性的图像识别方法、装置、电子设备及存储介质。
背景技术
随着对人工智能的深入研究，图像识别技术不断落地。在图像识别技术中，用户建立一个初始图像识别网络，然后通过标注好的数据集不断训练该初始图像识别网络，使该初始图像识别网络对图像的分类结果越来越接近标注好的数据结果，从而得到对应的图像识别网络。在图像识别网络中，通常一个识别任务作为一个模型进行图像识别，这样，在需要进行多属性识别时，则需要对单独的属性设计网络以及准备单独的训练数据，从而导致模型数据量多，参数计算时间长、计算开销大以及训练过程麻烦。因此，现有的图像识别技术中，由于多属性识别通过多个识别网络进行，使得多属性识别需要对应训练多个识别网络，进而多个训练数据集，花费较高，收效较低，因此存在费效比较高的问题。
发明内容
本发明实施例提供一种多任务属性的图像识别方法，能够降低多属性识别时，识别网络的费效比。
第一方面，本发明实施例提供一种多任务属性的图像识别方法，包括：
获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
基于所述任务图像特征进行任务结果分类，得到属性识别结果。
可选的，获取需要输入到目标识别网络的待识别图像之前，所述方法还包括：
获取未标注的图像样本池，所述图像样本池中的图像样本与所述待识别图像的类型相同；
通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集；
基于所述标注样本集对所述多任务属性识别网络进行训练。
可选的，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
根据所述任务网络所对应的属性，通过主动学习方法选取对应属性的困难图像样本，得到所有属性对应的样本子集；
计算得到所述所有属性对应的样本子集的交集；
将所述交集对应的困难图像样本进行标注，得到标注数据集。
可选的，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度；
获取每个任务网络的困难度权值；
基于所述难易程度以及所述每个任务网络的困难度权值，计算得到每个样本的困难度分数；
基于所述困难度分数，选取困难图像样本；
将所述困难图像样本进行标注，得到标注数据集。
可选的，所述获计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度，包括：
获取每个任务网络下的子属性分类对当前图像样本的预测值；
基于所述每个子属性分类对当前图像样本的预测值，计算得到对应任务网络对当前图像样本的难易程度。
可选的，所述主动学习方法至少包括两种，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
通过所述任务网络所对应的属性以及所述至少两种主动学习方法，得到所述至少两种主动学习方法对应的至少两个困难图像样本集；
计算所述至少两个困难样本集的交集，得到目标困难图像样本集，选取所述困难图像样本集进行标注，得到标注样本集。
可选的，所述主动学习方法包括：批量随机抽样返回方法、最小边距/最高不确定性返回方法、基于多样性标准返回方法、熵最大返回方法中至少两项。
第二方面，本发明实施例提供一种多任务属性的图像识别装置，包括：
第一获取模块，用于获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
第一特征抽取模块，用于将待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
第二特征抽取模块，用于将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
分类模块，用于基于所述任务图像特征进行任务结果分类，得到属性识别结果。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的多任务属性的图像识别方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的多任务属性的图像识别方法中的步骤。
本发明实施例中，获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；基于所述任务图像特征进行任务结果分类，得到属性识别结果。通过共享网络抽取公共图像特征，可以节省多个模型分别进行计算所需要的时间与计算开销，加快模型的运算速度，通过共享网络进行公共图像特征的抽取，能够挖掘不同属性识别任务之间隐藏的公共信息以及特征之间的相关性，提升了识别性能，同时，减轻了数据标注量，使数据集的准备工作也变得简单，在人工以及硬件方面的投入更少，因此，降低了多属性识别的费效比。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多任务属性的图像识别方法的流程图；
图2是本发明实施例提供的一种多任务属性识别网络的示意图；
图3是本发明实施例提供的一种多任务属性识别网络的训练方法的流程图；
图4是本发明实施例提供的第一种选取方法的流程图；
图5是本发明实施例提供的第二种选取方法的流程图；
图6是本发明实施例提供的另一种多任务属性的图像识别方法的流程图；
图7是本发明实施例提供的一种多任务属性的图像识别装置的结构示意图；
图8是本发明实施例提供的另一种多任务属性的图像识别装置的结构示意图；
图9是本发明实施例提供的一种标注模块的结构示意图；
图10是本发明实施例提供的另一种标注模块的结构示意图；
图11是本发明实施例提供的另一种标注模块的结构示意图；
图12是本发明实施例提供的另一种标注模块的结构示意图；
图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种多任务属性的图像识别方法的流程图，如图1所示，包括以下步骤：
101、获取需要输入到目标识别网络的待识别图像。
其中，上述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到。
上述的待识别图像可以是人脸图像、人员全身图像、车辆图像或其他需要进行识别的图像。
上述的多任务属性识别为对多个属性进行识别，以人脸属性识别来说，比如：年龄属性识别、饰品属性识别、表情属性识别、性别属性识别等。
如图2所示，上述的多任务属性识别网络包括共享网络以及任务网络，其中，共享网络可以后接一个或多个任务网络，使共享网络的输出可以用作任务网络的输入。比如，以人脸图像的多任务属性识别来说，在共享网络中，提取到的公共图像特征隐含有年龄、饰品、表情、性别等各个属性的特征，从而可以在任务网络中被分别抽取出来。
上述目标识别网络包括训练好的用于抽取公共图像特征的共享网络，以及训练好的用于抽取任务图像特征的多个任务网络。通过对多任务属性识别网络进行训练，得到对应的训练好的共享网络与任务网络。
上述的主动学习为根据样本难易程度进行学习的方法，网络模型对于简单样本的学习很快，对困难样本的学习较慢。比如，对于简单样本，经过少量次数的训练，网络模型就可以在精度上满足使用要求，但这样训练出来的网络模型鲁棒性很低，要求输入的图像与训练样本的图像复杂度相差不大，假设简单样本为清晰正脸，则训练得到的网络模型可以处理较为清晰、人脸较正的人脸图像，对于模糊度高、人脸偏斜程度高的人脸图像，则识别准确度大为降低，容易出现误识别。
通过主动学习，可以将困难图像与简单图像进行分离，在训练过程中，通过困难图像对模型进行训练，使模型的识别能力得到极大的提升。在训练过程中，可以通过少量的简单样本与较多的困难样本，训练得到识别能力较强、鲁棒性较高的网络模型。
如图3所示，图3为本发明实施例提供的一种多任务属性识别网络的训练方法，包括以下步骤：
301、获取未标注的图像样本池。
其中，上述图像样本池中的图像样本与所述待识别图像的类型相同。
图像样本池可以通过网上获取未标注图像来进行建立，也可以通过各种图像采集设备进行图像获取来建立。需要说明的是，上述图像样本池中的未标注图像样本数量应越多越好。
上述未标注的图像样本池中的图像样本应与上述多任务属性识别网络的任务属性相同或相连，比如，上述多任务属性识别网络的多个任务分别为表情识别、年龄识别、性别识别时，则上述的图像样本中应当包括人脸。
302、通过任务网络所对应的属性以及主动学习方法，选取图像样本池中的图像样本进行标注，得到标注样本集。
在本发明实施例中，一个任务网络可以用于识别一个属性，以人脸多属性识别为例，一个任务网络用于识别年龄，则对应的属性为年龄或年龄编码；另一个任务网络用于识别性别，则对应的属性为性别或性别编码。
对于一张图像的不同属性，其困难程度也是不一样的，因此，可以通过不同的属性之间的主动学习，来确定最终选取的图像样本。比如，选取综合困难程度最高的K个图像样本作为最终选取的图像样本，即TOP-K个图像样本。
在本发明实施例中，由于存在多个任务网络，每个样本对于每个任务的困难度都不一样，比如，一张带鸭嘴帽的人脸侧面图中，对于年龄属性的识别而言，其困难度较大，而对于帽子属性的识别，其困难度较小。因此，在选取图像样本时，要在兼顾属性的同时，考虑各个属性对应的困难度。
本发明实施例提供两种图像样本选取方法，如图4所示，第一种选取方法的步骤包括：
401、根据任务网络所对应的属性，通过主动学习方法选取对应属性的困难图像样本，得到所有属性对应的样本子集。
在该步骤中，可以理解为将多任务网络看成独立的单任务网络的集合，用传统的基于单任务网络的主动学习方法分别挑选出对各个任务来说最高TOP-Ki个困难度的样本，在这些高困难度的样本中取交集，则这些交集部分的样本对于所有任务来说都是具有较高困难度的样本。其中，上述的Ki表示不同任务网络或属性所取的最高困难度的样本个数，不同的任务网络或属性可以取不同个最高困难度的样本个数。比如，年龄属性(或年龄识别任务网络)取TOP-1000，性别属性取500个等。
在一种可能的实施例中，可以根据属性的相关程度进行TOP-Ki的选取，属性相近的，可以选取数量差异较小的TOP-Ki个最高困难度样本，属性差异较大的，可选取数量差异较大的TOP-Ki个最高困难度样本。比如，针对性别与年龄属性差异较小，则可以选取数量差异较小的TOP-Ki个最高困难度样本，而性别与帽子的属性差异较大，则可以选取数量差异较大的TOP-Ki个最高困难度样本。
上述的困难度为主动学习所得到的参数。主动学习也可以理解为一种查询策略，查询样本的信息量，样本的信息量越大，其不确定性和多样性就越高，而不定性和多样性就越高，其对于模型识别的困难度就越高，也就是说，对于该样本图像，模型识别的准确率很低。
困难度的衡量可从不确定性与多样性进行，具体的，基于不确定性衡量可以理解为选取模型预测结果不准确的图像样本作为困难度高的图像样本。基于多样性可以理解为从图像样本间的相似性进行，从未标注的图像样本中选取与预标注样本差异大的，图像样本作为困难度高的图像样本。可以是只基于不确定性或只基于多样性对图像样本困难度进行衡量，也可以不确定性与多样性结合对图像样本困难度进行衡量。
对于每个任务网络，选取困难度最高的TOP-Ki个最高困难度样本，形成对应属性(等同于任务网络)的样本子集。
402、计算得到所有属性对应的样本子集的交集。
上述的样本子集中包括对应属性的TOP-Ki个最高困难度样本，每个样本子集中的图像样本对于对应属性的任务网络而言，都是包含大量信息，并难以正确识别的。
因此，计算所有属性对应的样本子集的交集，可以得到对所有任务网络而言都是困难度高的图像样本，称为困难图像样本。
403、将交集对应的困难图像样本进行标注，得到标注数据集。
在得到交集的困难图像样本后，可以将困难图像样本进行专家标注。上述的专家标注指的是人工标注，通过专家标注，得到对应困难图像样本的准确标注信息，并加入到标注数据集中，通过标注数据集对模型进行训练。
在标注数据集中，由于存在目前网络模型还较难识别的困难图像样本以及专家标注的准确信息，使得网络模型在后续的训练过程中，不断增加模型的识别能力，直到对困难样本的识别准确性达到一定的条件时，该网络模型被训练成功。
如图5所示，第二种选取方法的步骤包括：
501、计算图像样本池中的各个图像样本在各个任务网络的难易程度。
可以获取每个任务网络下的子属性分类，并计算每个子属性分类对当前图像样本的预测值；可以对所述每个子属性分类的预测值进行求和，得到对应任务网络的难易程度。上述的难易程度也可以称为不确定值或不确定度。
上述的子属性分类可以为某个属性的具体子属性的分类，比如年龄属性的子属性可以是各个年龄段，可以是0－10，10－20，20－30，30－40，40－50，50－60等年龄段，又比如：性别属性的子属性可以是男或女，还比如：帽子属性的子属性可以是颜色、款式等。
具体的，可以通过下述的公式进行计算：
其中，上述式中的H为图像样本xi对于当前任务的难易程度，P(Cj|xi)表示图像样本xi为当前任务第j类子属性的预测值，j表示当前任务中的第j类子属性，Cj表示当前任务下子属性分类的类别总数，上述公式总体表示图像样本xi在当前任务从第j类子属性到第Cj类子属性的预测值与预测值对数之积的累加和，用于表示图像样本xi对于当前任务的难易程度。
502、获取每个任务网络的困难度权值。
可以根据每个任务网络的重要程度，对不同的任务网络设置不同的困难度权值，困难度权值越大，说明该任务网络需要更多的困难图像样本进行训练，是比较重要的任务网络，反之，困难度权值越小，说明该任务网络需要的困难图像样本不多，困难样本对于识别精度的影响不大。比如表情属性识别的任务网络所需要较多的困难图像样本，而眼镜属性的识别则不会需要如属性一般数量的困难图像样本。
503、基于难易程度以及每个任务网络的困难度权值，计算得到每个样本的困难度分数。
具体的，通过计算困难度权值与难易程度的加权求和结果，得到当前样本对于各个任务的困难度分数，当前样本的困难度分数可以通过下述的公式进行计算：
其中，N为任务网络的总数，上述式中的H(li)为图像样本xi对于第i个任务网络到第N个任务网络的难易程度，当i＝1时，则H(li)为图像样本xi对于所有任务网络的难易程度，ωi为第i个任务的困难度权值，P(Cj|xi)表示图像样本xi为第i个任务中第j类子属性的预测值，j表示第i个任务中的第j类子属性，Cj表示第i个任务下子属性分类的类别总数，上述公式总体表示图像样本xi在第i个任务网络到第N个任务网络的难易程度的累加和，当i＝1时，则表示图像样本xi在所有任务网络中的难易程度的累加和。
504、基于困难度分数，选取困难图像样本。
可以选取困难度分数最高的TOP-K个图像样本作为困难图像样本。
505、将困难图像样本进行标注，得到标注数据集。
该步骤中的标注与步骤403相类似，在此不再另行赘述。
在图4实施例与图5实施例中，都能在大量未标注的图像样本池中选出对各个任务网络而言，都有贡献的困难图像样本，不用对每个任务都构建图像数据集，从而达到以最少的人力，选出最少的样本，训练网络模型的图像数据集不再冗余，在保证提升精确度的前提下，训练速度相比单任务主动学习各自挑选困难图像样本这种方法，也会有很大的提升。
在一种可能的实施例中，步骤302中的主动学习方法可以包括两种或两种以上的主动学习方法，通过不同的主动学习方法，可以更有效的挖掘困难图像样本。
具体的，通过任务网络所对应的属性以及至少两种主动学习方法，得到至少两种主动学习方法对应的至少两个困难图像样本集；计算至少两个困难样本集的交集，得到目标困难图像样本集，选取困难图像样本集进行标注，得到标注样本集。该可能的实施例可以与图4或图5实施例进行结合，在图4或图5实施例的基础上，进一步增加困难样本的选取准确度。
可选的，上述主动学习方法可以包括：批量随机抽样返回方法(英文：uniform)、最小边距/最高不确定性返回方法(英文：margin)、基于多样性标准返回方法(英文：informative_diverse)、熵最大返回方法中至少两项(英文：uncertain)。
其中，批量随机抽样返回方法，返回批量随机抽样的样本数据点。需要说明的是，在训练过程中，仅用于选择第一次多任务属性识别网络的训练样本。
最小边距/最高不确定性返回方法，返回具有最小边距/最高不确定性的批量样本数据点。对于二分类，可以只取每个样本数据点的决策边界的绝对距离。对于多属性分类，必须考虑前两个最可能属性类别的距离之间的差距。
基于多样性标准返回方法，根据信息丰富且多样化的标准选择批量样本数据点。返回最高不确定性最低边际点，同时在整个样本数据集上保持与集群相同的分布。使用k-means，根据标签的属性类别数进行聚类，得到每个属性类别的比例，选择图像样本时，首先根据不确定性选择图像样本，然后从这些图像样本中按聚类比例挑选困难图像样本。
熵最大返回方法，返回熵最大的批量数据点，根据熵来进行采样，熵越大，数据越不稳定，包含的信息也就越多。
303、基于标注样本集对多任务属性识别网络进行训练。
在标注数据集中，由于存在目前网络模型还较难识别的困难图像样本以及专家标注的准确信息，使得网络模型在后续的训练过程中，不断增加模型的识别能力，直到对困难样本的识别准确性达到一定的条件时，该网络模型被训练成功。
进一步的，本发明实施例使用上述的四种主动学习方法进行困难图像样本挖掘，在使用上述主动学习方法挖掘了难样本之后，为了使得挖掘的图像样本是具有代表性的困难图像样本，对上述方法挖掘的困难图像样本计算交集，也就是使用上述四种主动学习方法挖掘困难图像样本，如果有大于等于预设种方法选择了某个图像样本，则可以认为该样本是具有挖根生的困难图像样本。比如，四种主动学习方法挖掘到困难样本后，有三种方法选择了某个样本，我们就认为该样本是具有代表性的困难图像样本，并将其作为最终的困难图像样本，将其送给专家进行标注，之后加入标注数据集(训练数据)，用以训练模型。
如图6所示，图6为本发明实施例的另一种多任务属性识别网络的训练方法，具体的，通过标注数据集对多任务属性识别网络进行迭代训练一定次数后，通过测试集对训练后的多任务属性识别网络进行测试，得到测试结果，测试结果可以包括识别速度与识别精确度。当测试结果不满足预设条件时，通过主动学习从图像样本池中再次选取未标记的困难图像样本，然后再次进行专家标注，得到新的标注数据集，再次训练多任务属性识别网络，循环上述的步骤，直到测试结果满足预设条件。上述的预设条件可以包括预设的识别速度与预设的识别精确度。
需要说明的是，上述的测试集中包括困难图像样本，测试集中的困难图像样本不参与多任务属性识别网络的训练过程，避免模型作弊。
102、将待识别图像输入到共享网络进行图像特征抽取，得到待识别图像的公共图像特征。
在模型训练完成后，得到目标识别网络，该目标识别网络中包括训练好的共享网络以及多个训练好的任务网络，任务网络后接于共享网络。
通过共享网络，可以抽取到待识别图像的公共图像特征。
103、将公共图像特征输入到任务网络进行任务特征抽取，得到待识别图像的任务图像特征。
在共享网络抽取到公共图像特征后，将公共图像特征输入到各个任务网络中进行对应属性特征的抽取，得到各个属性识别任务所对应的任务图像特征。
104、基于任务图像特征进行任务结果分类，得到属性识别结果。
在该步骤中，任务图像特征通过各个任务网络中的分类器进行属性的分类，得到各个任务网络的属性识别结果。
将属性识别结果进行输出，完成待识别图像的前向推理。
需要说明的是，上述的公共图像特征包括各个属性所需要的隐含信息，相当于各个任务图像特征的隐含特征集群，因此，可以通过公共图像特征抽取出各个属性的任务图像特征。
在本发明实施例中，获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；基于所述任务图像特征进行任务结果分类，得到属性识别结果。通过共享网络抽取公共图像特征，可以节省多个模型分别进行计算所需要的时间与计算开销，加快模型的运算速度，通过共享网络进行公共图像特征的抽取，能够挖掘不同属性识别任务之间隐藏的公共信息以及特征之间的相关性，提升了识别性能，同时，减轻了数据标注量，使数据集的准备工作也变得简单，在人工以及硬件方面的投入更少，因此，降低了多属性识别的费效比。
需要说明的是，本发明实施例提供的多任务属性的图像识别方法可以应用于需要进行图像属性识别的手机、监控器、计算机、服务器等设备。
请参见图7，图7是本发明实施例提供的一种多任务属性的图像识别装置的结构示意图，如图7所示，所述装置包括：
第一获取模块701，用于获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
第一特征抽取模块702，用于将待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
第二特征抽取模块703，用于将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
分类模块704，用于基于所述任务图像特征进行任务结果分类，得到属性识别结果。
可选的，如图8所示，所述装置还包括，包括：
第二获取模块801，用于获取未标注的图像样本池，所述图像样本池中的图像样本与所述待识别图像的类型相同；
标注模块802，用于通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集；
训练模块，用于基于所述标注样本集对所述多任务属性识别网络进行训练。
可选的，如图9所示，所述标注模块802包括：
第一选取子模块8021，用于根据所述任务网络所对应的属性，通过主动学习方法选取对应属性的困难图像样本，得到所有属性对应的样本子集；
第一计算子模块8022，用于计算得到所述所有属性对应的样本子集的交集；
第一标注子模块8023，用于将所述交集对应的困难图像样本进行标注，得到标注数据集。
可选的，如图10所示，所述标注模块802包括：
第二计算子模块8024，用于计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度；
第一获取子模块8025，用于获取每个任务网络的困难度权值；
第三计算子模块8026，用于基于所述难易程度以及所述每个任务网络的困难度权值，计算得到每个样本的困难度分数；
第二选取子模块8027，用于基于所述困难度分数，选取困难图像样本；
第二标注子模块8028，用于将所述困难图像样本进行标注，得到标注数据集。
可选的，如图11所示，所述第二计算子模块8024包括：
获取单元80241，用于获取每个任务网络下的子属性分类对当前图像样本的预测值；
计算单元80242，用于基于所述每个子属性分类对当前图像样本的预测值，计算得到对应任务网络对当前图像样本的难易程度。
可选的，如图12所示，所述主动学习方法至少包括两种，所述标注模块802包括：
处理子模块8029，用于通过所述任务网络所对应的属性以及所述至少两种主动学习方法，得到所述至少两种主动学习方法对应的至少两个困难图像样本集；
第三标注子模块80210，用于计算所述至少两个困难样本集的交集，得到目标困难图像样本集，选取所述困难图像样本集进行标注，得到标注样本集。
可选的，所述主动学习方法包括：批量随机抽样返回方法、最小边距/最高不确定性返回方法、基于多样性标准返回方法、熵最大返回方法中至少两项。
需要说明的是，本发明实施例提供的多任务属性的图像识别装置可以应用于需要进行图像属性识别的手机、监控器、计算机、服务器等设备。
本发明实施例提供的多任务属性的图像识别装置能够实现上述方法实施例中多任务属性的图像识别方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图13，图13是本发明实施例提供的一种电子设备的结构示意图，如图13所示，包括：存储器1302、处理器1301及存储在所述存储器1302上并可在所述处理器1301上运行的计算机程序，其中：
处理器1301用于调用存储器1302存储的计算机程序，执行如下步骤：
获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
基于所述任务图像特征进行任务结果分类，得到属性识别结果。
可选的，获取需要输入到目标识别网络的待识别图像之前，所述处理器1301还执行包括：
获取未标注的图像样本池，所述图像样本池中的图像样本与所述待识别图像的类型相同；
通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集；
基于所述标注样本集对所述多任务属性识别网络进行训练。
可选的，处理器1301执行的所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
根据所述任务网络所对应的属性，通过主动学习方法选取对应属性的困难图像样本，得到所有属性对应的样本子集；
计算得到所述所有属性对应的样本子集的交集；
将所述交集对应的困难图像样本进行标注，得到标注数据集。
可选的，处理器1301所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度；
获取每个任务网络的困难度权值；
基于所述难易程度以及所述每个任务网络的困难度权值，计算得到每个样本的困难度分数；
基于所述困难度分数，选取困难图像样本；
将所述困难图像样本进行标注，得到标注数据集。
可选的，处理器1301所述获计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度，包括：
获取每个任务网络下的子属性分类对当前图像样本的预测值；
基于所述每个子属性分类对当前图像样本的预测值，计算得到对应任务网络对当前图像样本的难易程度。
可选的，所述主动学习方法至少包括两种，处理器1301所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
通过所述任务网络所对应的属性以及所述至少两种主动学习方法，得到所述至少两种主动学习方法对应的至少两个困难图像样本集；
计算所述至少两个困难样本集的交集，得到目标困难图像样本集，选取所述困难图像样本集进行标注，得到标注样本集。
可选的，所述主动学习方法包括：批量随机抽样返回方法、最小边距/最高不确定性返回方法、基于多样性标准返回方法、熵最大返回方法中至少两项。
需要说明的是，上述电子设备可以是可以应用于需要进行图像属性识别的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中多任务属性的图像识别方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的多任务属性的图像识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种多任务属性的图像识别方法，其特征在于，包括以下步骤：
获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
将所述待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
基于所述任务图像特征进行任务结果分类，得到属性识别结果。
2.如权利要求1所述的方法，其特征在于，所述获取需要输入到目标识别网络的待识别图像之前，所述方法还包括：
获取未标注的图像样本池，所述图像样本池中的图像样本与所述待识别图像的类型相同；
通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集；
基于所述标注样本集对所述多任务属性识别网络进行训练。
3.如权利要求2所述的方法，其特征在于，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
根据所述任务网络所对应的属性，通过主动学习方法选取对应属性的困难图像样本，得到所有属性对应的样本子集；
计算得到所述所有属性对应的样本子集的交集；
将所述交集对应的困难图像样本进行标注，得到标注数据集。
4.如权利要求2所述的方法，其特征在于，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度；
获取每个任务网络的困难度权值；
基于所述难易程度以及所述每个任务网络的困难度权值，计算得到每个样本的困难度分数；
基于所述困难度分数，选取困难图像样本；
将所述困难图像样本进行标注，得到标注数据集。
5.如权利要求4所述的方法，其特征在于，所述获计算所述图像样本池中的各个图像样本在所述各个所述任务网络的难易程度，包括：
获取每个任务网络下的子属性分类对当前图像样本的预测值；
基于所述每个子属性分类对当前图像样本的预测值，计算得到对应任务网络对当前图像样本的难易程度。
6.如权利要求2所述的方法，其特征在于，所述主动学习方法至少包括两种，所述通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集，包括：
通过所述任务网络所对应的属性以及所述至少两种主动学习方法，得到所述至少两种主动学习方法对应的至少两个困难图像样本集；
计算所述至少两个困难样本集的交集，得到目标困难图像样本集，选取所述困难图像样本集进行标注，得到标注样本集。
7.一种多任务属性的图像识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取需要输入到目标识别网络的待识别图像，其中，所述目标识别网络为通过主动学习方法得到的样本数据对多任务属性识别网络进行训练得到，所述目标识别网络包括用于抽取公共图像特征的共享网络，以及用于抽取任务图像特征的多个任务网络；
第一特征抽取模块，用于将待识别图像输入到所述共享网络进行图像特征抽取，得到所述待识别图像的公共图像特征；
第二特征抽取模块，用于将所述公共图像特征输入到所述任务网络进行任务特征抽取，得到所述待识别图像的任务图像特征；
分类模块，用于基于所述任务图像特征进行任务结果分类，得到属性识别结果。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取未标注的图像样本池，所述图像样本池中的图像样本与所述待识别图像的类型相同；
标注模块，用于通过所述任务网络所对应的属性以及主动学习方法，选取所述图像样本池中的图像样本进行标注，得到标注样本集；
训练模块，用于基于所述标注样本集对所述多任务属性识别网络进行训练。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的多任务属性的图像识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多任务属性的图像识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225826.3A CN111539452B (zh) | 2020-03-26 | 2020-03-26 | 多任务属性的图像识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225826.3A CN111539452B (zh) | 2020-03-26 | 2020-03-26 | 多任务属性的图像识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539452A true CN111539452A (zh) | 2020-08-14 |
| CN111539452B CN111539452B (zh) | 2024-03-26 |
Family
ID=71978424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010225826.3A Active CN111539452B (zh) | 2020-03-26 | 2020-03-26 | 多任务属性的图像识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539452B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813532A (zh) * | 2020-09-04 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 一种基于多任务机器学习模型的图像管理方法及装置 |
| CN112668509A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
| CN113128345A (zh) * | 2021-03-22 | 2021-07-16 | 深圳云天励飞技术股份有限公司 | 多任务属性识别方法及设备、计算机可读存储介质 |
| CN113344079A (zh) * | 2021-06-11 | 2021-09-03 | 中科海微(北京)科技有限公司 | 一种图像标签半自动标注方法、系统、终端及介质 |
| CN113762108A (zh) * | 2021-08-23 | 2021-12-07 | 浙江大华技术股份有限公司 | 一种目标识别方法及装置 |
| CN116912921A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN109522872A (zh) * | 2018-12-04 | 2019-03-26 | 西安电子科技大学 | 一种人脸识别方法、装置、计算机设备及存储介质 |
| CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-26 CN CN202010225826.3A patent/CN111539452B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN109522872A (zh) * | 2018-12-04 | 2019-03-26 | 西安电子科技大学 | 一种人脸识别方法、装置、计算机设备及存储介质 |
| CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813532A (zh) * | 2020-09-04 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 一种基于多任务机器学习模型的图像管理方法及装置 |
| CN112668509A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
| CN112668509B (zh) * | 2020-12-31 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
| CN113128345A (zh) * | 2021-03-22 | 2021-07-16 | 深圳云天励飞技术股份有限公司 | 多任务属性识别方法及设备、计算机可读存储介质 |
| CN113344079A (zh) * | 2021-06-11 | 2021-09-03 | 中科海微(北京)科技有限公司 | 一种图像标签半自动标注方法、系统、终端及介质 |
| CN113344079B (zh) * | 2021-06-11 | 2024-05-14 | 中科海微(北京)科技有限公司 | 一种图像标签半自动标注方法、系统、终端及介质 |
| CN113762108A (zh) * | 2021-08-23 | 2021-12-07 | 浙江大华技术股份有限公司 | 一种目标识别方法及装置 |
| CN116912921A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
| CN116912921B (zh) * | 2023-09-12 | 2024-02-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539452B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539452B (zh) | 多任务属性的图像识别方法、装置、电子设备及存储介质 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| Zhu et al. | Visual7w: Grounded question answering in images | |
| Whitehill et al. | Whose vote should count more: Optimal integration of labels from labelers of unknown expertise | |
| CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
| CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
| CN113505586A (zh) | 一种融合语义分类与知识图谱的坐席辅助问答方法与系统 | |
| CN109829478B (zh) | 一种基于变分自编码器的问题分类方法和装置 | |
| WO2018196718A1 (zh) | 图像消歧方法、装置、存储介质和电子设备 | |
| CN110659665A (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
| CN106294344A (zh) | 视频检索方法和装置 | |
| CN108804577B (zh) | 一种资讯标签兴趣度的预估方法 | |
| CN113505200B (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN109213853A (zh) | 一种基于cca算法的中文社区问答跨模态检索方法 | |
| CN109977213B (zh) | 一种面向智能问答系统的最优答案选择方法 | |
| CN110689091A (zh) | 弱监督细粒度物体分类方法 | |
| Uehara et al. | Visual question generation for class acquisition of unknown objects | |
| KR20200010672A (ko) | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 | |
| CN113177612A (zh) | 一种基于cnn少样本的农业病虫害图像识别方法 | |
| CN109409231B (zh) | 基于自适应隐马尔可夫的多特征融合手语识别方法 | |
| CN111708890A (zh) | 一种搜索词确定方法和相关装置 | |
| CN108428234B (zh) | 基于图像分割结果评价的交互式分割性能优化方法 | |
| CN116363712B (zh) | 一种基于模态信息度评估策略的掌纹掌静脉识别方法 | |
| CN116935411A (zh) | 一种基于字符分解和重构的部首级古文字识别方法 | |
| Fujii et al. | Hierarchical group-level emotion recognition in the wild |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |