CN111814538B - 目标对象的类别识别方法、装置、电子设备及存储介质 - Google Patents
目标对象的类别识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111814538B CN111814538B CN202010450852.6A CN202010450852A CN111814538B CN 111814538 B CN111814538 B CN 111814538B CN 202010450852 A CN202010450852 A CN 202010450852A CN 111814538 B CN111814538 B CN 111814538B
- Authority
- CN
- China
- Prior art keywords
- category
- word
- target object
- vector
- word vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 276
- 238000013507 mapping Methods 0.000 claims abstract description 50
- 238000013145 classification model Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000282832 Camelidae Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本公开关于一种目标对象的类别识别方法、装置、电子设备及存储介质,其中,所述方法包括:分别获取待识别的图像的目标对象的目标类别特征向量、图像的场景信息的第一词向量和多个第一类别的多个第二词向量;根据目标类别特征向量和映射参数生成目标对象的第三词向量;根据第一词向量、多个第二词向量和第三词向量识别出目标对象的类别。本公开引入了待识别的图像的场景信息。某些目标对象经常出现在对应的场景中。因此,在目标对象的类别未知的情况下,若确定了待识别的图像的场景信息,则可以将待识别的图像中的目标对象的类别缩小到与待识别的图像的场景信息相关的范围内,进而提升目标对象的类别的识别准确率。
Description
技术领域
本公开涉及深度学习技术领域,尤其涉及一种目标对象的类别识别方法、装置、电子设备及存储介质。
背景技术
深度学习在人工智能领域已经取得了非常优秀的成就,使用深度学习算法训练海量的带标签的样本数据,可以达到前所未有的识别精确度。但是,由于对海量数据的标注工作成本昂贵,对罕见类别获取海量数据难度较大,所以如何识别在训练过程中少见或从未见过的未知类别仍然是一个严峻的问题。
零样本目标对象的类别识别表示在已知类别上训练目标对象识别模型,要求目标对象识别模型能够用于识别待识别的图像中未知类别的目标对象。相关技术中,在目标对象识别模型的训练过程中,样本数据中不包含未知类别的目标对象,因此,现有的零样本目标对象的类别识别方案的识别准确率较差。
发明内容
本公开提供了一种目标对象的类别识别方法、装置、电子设备及存储介质,以至少解决相关技术零样本目标对象的类别识别方案的识别准确率较差的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供了一种目标对象的类别识别方法,包括:分别获取待识别的图像中包含的目标对象的目标类别特征向量、所述图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量;根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量;根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别。
可选地,所述根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量,包括:将所述目标类别特征向量和所述映射参数进行矩阵相乘得到所述第三词向量。
可选地,所述根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别,包括:根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别;根据多个所述第二类别的多个第四词向量和所述第三词向量识别出所述目标对象的类别。
可选地,所述根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别,包括:分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别。
可选地,所述根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别,包括:分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别。
可选地,所述映射参数的生成步骤,包括:在预设的第一分类模型的训练过程中,根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数。
可选地,所述根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数,包括:基于所述第五词向量和所述样本类别特征向量,利用岭回归算法生成所述映射参数。
根据本公开实施例的第二方面,提供了一种目标对象的类别识别装置,包括:获取模块,被配置为分别获取待识别的图像中包含的目标对象的目标类别特征向量、所述图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量;生成模块,被配置为根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量;识别模块,被配置为根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别。
可选地,所述生成模块,被配置为将所述目标类别特征向量和所述映射参数进行矩阵相乘得到所述第三词向量。
可选地,所述识别模块,包括:类别筛选模块,被配置为根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别;类别识别模块,被配置为根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别。
可选地,所述类别筛选模块,包括:第一计算模块,被配置为分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;第一确定模块,被配置为将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别。
可选地,所述类别识别模块,包括:第二计算模块,被配置为分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;第二确定模块,被配置为将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别。
可选地,所述装置还包括:训练模块,被配置为生成所述映射参数,所述训练模块,被配置为在预设的第一分类模型的训练过程中,根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数。
可选地,所述训练模块,被配置为基于所述第五词向量和所述样本类别特征向量,利用岭回归算法生成所述映射参数。
根据本公开实施例的第三方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的目标对象的类别识别方法。
根据本公开实施例的第四方面,提供了一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面所述的目标对象的类别识别方法。
根据本公开实施例的第五方面,提供了一种计算机程序产品,包括可读性程序代码,所述可读性程序代码可由电子设备的处理器执行以完成上述第一方面所述的目标对象的类别识别方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开的实施例中,分别获取待识别的图像的目标对象的目标类别特征向量、场景信息的第一词向量和预设的多个第一类别的多个第二词向量。然后,根据目标类别特征向量和预设的映射参数生成目标对象的第三词向量。接下来,根据第一词向量、多个第二词向量和第三词向量识别出目标对象的类别。
在公开的实施例在识别目标对象的类别时,引入了待识别的图像的场景信息。基于常识性的观察可知,某些目标对象经常出现在对应的场景中,例如骆驼经常出现在沙漠场景里;鱼经常出现在水场景里;风筝经常出现在天空场景里。因此,在待识别的图像中的目标对象的类别未知的情况下,若确定了待识别的图像的场景信息,则可以将待识别的图像中的目标对象的类别缩小到与待识别的图像的场景信息相关的范围内,进而提升目标对象的类别的识别准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种标目标对象的类别识别方法的流程图。
图2是根据一示例性实施例示出的目标对象的类别识别过程的步骤流程图。
图3是根据一示例性实施例示出的一种目标对象的类别识别装置的框图。
图4是根据一示例性实施例示出的一种目标对象的类别识别电子设备的框图。
图5是根据一示例性实施例示出的一种用于对目标对象的类别进行识别的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种目标对象的类别识别方法的流程图,如图1所示,该目标对象的类别识别方法可以包括以下步骤。
在步骤S11中,分别获取待识别的图像中包含的目标对象的目标类别特征向量、图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量。
在本公开的实施例中,待识别的图像中可以包含一个或多个目标对象,一个或多个目标对象的类别可以已知也可以未知。本公开实施例主要针对目标对象的类别未知的情况下,对目标对象的类别进行识别。在实际应用中,目标对象的类别可以为动物、植物、建筑等等,本公开的实施例对目标对象的类别不作具体限制。
在获取目标对象的目标类别特征向量时,可以将待识别的图像输入至训练完毕的第一分类模型,进而提取出第一分类模型中全连接层的特征作为目标类别特征向量。全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层常出现在第一分类模型的最后一层或最后几层,用于对前面的特征做加权处理。比如前面的卷积层和池化层相当于做特征工程,后面的全连接相当于做特征加权。全连接层中的每个神经元与其前一层的所有神经元进行全连接.全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。因此,全连接层的特征可以作为类别特征向量。第一分类模型的训练方式可以为:基于给定的样本数据,利用残差神经网络101(Residual Neural Network101,ResNet101)等深度学习网络进行模型训练。对样本数据训练一定次数,直至损失函数的数值不再明显下降时,表示第一分类模型训练完毕。其中,样本数据可以包括样本类别和样本图像。损失函数可以为深度学习常用的损失函数,如交叉熵函数等。
词向量(Word embedding),又叫词嵌入式自然语言处理中的一组语言建模和特征学习技术的统称,来自词汇表的单词或短语被映射到实数的向量。从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。在获取待识别的图像的场景信息的第一词向量时,可以先获取待识别的图像的场景信息,然后再获取场景信息的第一词向量。当获取待识别的图像的场景信息时,可以基于place365(一种图像分类数据集)这一公开场景数据集训练所得的第二分类模型,将待识别的图像输入至第二分类模型,输出待识别的图像的场景信息。当获取场景信息的第一词向量时,可以基于变压器的双向编码器模型(Bidirectional Encoder Representation from Transformers,bert)或者word2vec(一群用来产生词向量的相关模型)等词向量模型,将待识别的图像的场景信息输入至词向量模型中,输出场景信息的第一词向量。
预设的多个第一类别可理解为零样本目标对象的类别识别中的推测类别,即待识别的图像中的目标对象可能属于的类别。在获取多个第一类别的第二词向量时,也可以将多个第一类别分别输入至bert或者word2vec等词向量模型,输出各第一类别对应第二词向量。每个第一类别具有对应的文字表示,若第一类别A的文字表示为“dog”,则将“dog”输入至词向量模型中,输出一个300维或者768维的第二词向量。
在步骤S12中,根据目标类别特征向量和预设的映射参数生成目标对象的第三词向量。
在本公开的实施例中,预设的映射参数的生成步骤可以为:在上述第一分类模型的训练过程中,根据样本数据中样本类别的第五词向量和样本数据中样本图像的样本对象的样本类别特征向量生成映射参数。在实际应用中,可以参照上述确定第一词向量、第二词向量的方法,将样本数据中的样本类别输入至词向量模型(该词向量模型可以为上述输出第一词向量、第二词向量的模型,也可以为其他词向量模型,本公开的实施例对词向量模型所采用的网络模型的结构、参数、训练过程、训练样本、训练条件等不作具体限制。但是,本公开的实施例偏向于利用同一个词向量模型输出第一词向量、第二词向量、第五词向量等等,以减少确定各词向量的来源差别),输出第五词向量,并提取样本图像在第一分类模型中的全连接层的特征,作为样本对象的样本类别特征向量。然后,基于第五词向量和样本类别特征向量,利用岭回归算法生成映射参数。其中,岭回归算法是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。利用岭回归算法生成映射参数,通过损失无偏性,来换取高的数值稳定性,从而得到较高的映射参数的计算精度。映射参数的作用在于,样本图像输入至第一分类模型,第一分类模型的全连接层的特征(样本类别特征向量)经过映射参数映射后可以尽可能近似于样本图像中样本对象的词向量。也可以理解为,样本图像输入至第一分类模型,第一分类模型的全连接层的特征(样本类别特征向量)经过映射参数映射后得到新的词向量,该新的词向量与对应的样本图像中样本对象的词向量之间的均方差损失最小化。
在生成目标对象的第三词向量时,可以将目标类别特征向量与映射参数进行矩阵相乘得到第三词向量。例如,目标类别特征向量为1*M维的特征向量,映射参数为M*N维的特征向量,则目标类别特征向量与映射参数进行矩阵相乘后得到1*N维的特征向量即第三词向量。第三向量的行数等于目标类别特征向量的行数,第三向量的列数等于映射参数的列数。
在步骤S13中,根据第一词向量、多个第二词向量和第三词向量识别出目标对象的类别。
在本公开的一种示例性实施例中,如图2所示,步骤S13的执行过程可以包括如下步骤:
在步骤S21中,根据第一词向量和多个第二词向量从多个第一类别中筛选出图像的多个第二类别。
在筛选出多个第二类别时,可以计算第一词向量分别与每个第二词向量之间的余弦距离,对计算得到的多个余弦距离按照从小到大的顺序进行排序,在排序后的余弦距离中选择出最小的L个余弦距离,将选择出的L个余弦距离对应的第二词向量对应的第一类别确定为第二类别。其中,L表示预设数量,L的取值可以根据实际情况进行设定,本公开实施例对N的取值等不作具体限制。即选择与第一词向量最接近的L个第二词向量,将选择出的L个第二词向量对应的第一类别作为筛选出的第二类别。可以理解为从多个第一类别中筛选出与待识别的图像的场景最接近、最相关的第二类别。也就是说,通过第一词向量与第二词向量之间的余弦距离的排序,确定出与待识别的图像的场景信息关联性最强的目标对象可能属于的类别。
在步骤S22中,根据多个第二类别的多个第四词向量和第三词向量识别出目标对象的类别。
在选择出多个第二类别之后,可以将多个第二类别输入至词向量模型(该词向量模型可以为上述输出第一词向量、第二词向量、第五词向量的模型,也可以为其他词向量模型,本公开的实施例对词向量模型所采用的网络模型的结构、参数、训练过程、训练样本、训练条件等不作具体限制。但是,本公开的实施例偏向于利用同一个词向量模型输出第一词向量、第二词向量、第三词向量、第五词向量等等,以减少确定各词向量的来源差别)中输出多个第二类别的多个第四词向量。进一步,计算每个第四词向量与第三词向量之间的余弦距离,对计算得到的多个余弦距离按照从小到大的顺序进行排序,在排序后的余弦距离中选择出最小的一个余弦距离,将选择出的一个余弦距离对应的第四词向量对应的第二类别确定为目标对象的类别。即选择与第三词向量最接近的一个第四词向量,将选择出的一个第四词向量对应的第二类别作为待识别的图像中的目标对象的类别。
本公开的实施例中,第一词向量、第二词向量、第三词向量、第四词向量和第五词向量均为词向量,在实际应用中,每个词向量均可以通过一个字符串表示。第一分类模型可以用于识别图像中包含的对象的类别,第二分类模型可以用于识别图像中包含的对象所在的场景。第一分类模型的全连接层可以位于第一分类模型的倒数第二层。从全连接层提取到的目标类别特征向量或者样本类别特征向量可以为1024维或2048维的特征向量,本公开的实施例对目标类别特征向量或样本类别特征向量的维度的数值、含义等不作具体限制。
本公开的实施例可以应用于零样本目标对象的类别识别任务中,例如,已知一用于模型训练的数据集T,该数据集T中包含三个类别(L1、L2和L3)的样本图像。但是,待识别的数据集P中包含四个类别(L1、L2、L3和L4)的待识别图像。利用数据集T训练一分类模型m01,再利用分类模型m01识别出数据集P中的待识别图像所属的类别即零样本目标对象的类别识别任务所要解决的问题。在本公开的实施例中,分别获取待识别的图像的目标对象的目标类别特征向量、场景信息的第一词向量和预设的多个第一类别的多个第二词向量。然后,根据目标类别特征向量和预设的映射参数生成目标对象的第三词向量。接下来,根据第一词向量、多个第二词向量和第三词向量识别出目标对象的类别。
在公开的实施例在识别目标对象的类别时,引入了待识别的图像的场景信息。基于常识性的观察可知,某些目标对象经常出现在对应的场景中,例如骆驼经常出现在沙漠场景里;鱼经常出现在水场景里;风筝经常出现在天空场景里。因此,在待识别的图像中的目标对象未知的情况下,若确定了待识别的图像的场景信息,则可以缩小目标对象的类别的识别范围,进而提升目标对象的类别的识别准确率。
本公开的实施例在训练第一分类模型的过程中,基于第一分类模型的全连接层的特征向量和样本类别的词向量,利用岭回归算法生成映射参数,生成该映射参数的目的在于令损失函数,如均方差损失函数最小化,即第一分类模型的全连接层的特征向量经过映射参数映射之后可以尽可能的近似于样本类别的词向量。也就是说,利用映射参数建立目标类别特征向量与目标类别的词向量之间的映射关系,将特征向量映射为词向量,以便统一根据词向量识别出目标对象的类别。
本公开的实施例先从预设的多个第一类别中确定出与待识别的图像的场景信息的第一词向量最接近的多个第二类别,即先识别场景方面最接近的类别;再从多个第二类别中确定出与待识别的图像的目标对象的第三词向量最接近的目标对象的类别,即后识别目标对象方面最接近的类别。本公开的实施例将场景方面的类别识别与目标对象方面的类别识别结合起来,借助场景信息提升零样本目标对象的类别的识别准确率。
图3是根据一示例性实施例示出的一种目标对象的类别识别装置的框图。所述装置具体可以包括如下模块。
获取模块31,被配置为分别获取待识别的图像中包含的目标对象的目标类别特征向量、所述图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量;
生成模块32,被配置为根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量;
识别模块33,被配置为根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别。
在本公开的一种示例性实施例中,所述生成模块32,被配置为将所述目标类别特征向量和所述映射参数进行矩阵相乘得到所述第三词向量。
在本公开的一种示例性实施例中,所述识别模块33,包括:
类别筛选模块,被配置为根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别;
类别识别模块,被配置为根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别。
在本公开的一种示例性实施例中,所述类别筛选模块,包括:
第一计算模块,被配置为分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;
第一确定模块,被配置为将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别。
在本公开的一种示例性实施例中,所述类别识别模块,包括:
第二计算模块,被配置为分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;
第二确定模块,被配置为将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别。
在本公开的一种示例性实施例中,所述装置还包括:训练模块,被配置为生成所述映射参数,所述训练模块,被配置为在预设的第一分类模型的训练过程中,根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数。
在本公开的一种示例性实施例中,所述训练模块,被配置为基于所述第五词向量和所述样本类别特征向量,利用岭回归算法生成所述映射参数。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种目标对象的类别识别电子设备400的框图。例如,电子设备400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,电子设备400可以包括以下一个或多个组件:处理组件402,存储器404,电力组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制电子设备400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图像,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为电子设备400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当电子设备400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为电子设备400提供各个方面的状态评估。例如,传感器组件414可以检测到电子设备400的打开/关闭状态,组件的相对定位,例如所述组件为电子设备400的显示器和小键盘,传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变,用户与电子设备400接触的存在或不存在,电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器404,上述指令可由电子设备400的处理器420执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括可读性程序代码,该可读性程序代码可由电子设备400的处理器420执行以完成上述方法。可选地,该程序代码可以存储在电子设备400的存储介质中,该存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图5是根据一示例性实施例示出的一种用于对目标对象的类别进行识别的电子设备500的框图。例如,电子设备500可以被提供为一服务器。参照图5,电子设备500包括处理组件522,其进一步包括一个或多个处理器,以及由存储器532所代表的存储器资源,用于存储可由处理组件522的执行的指令,例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件522被配置为执行指令,以执行上述目标对象的类别识别方法。
电子设备500还可以包括一个电源组件526被配置为执行电子设备500的电源管理,一个有线或无线网络接口550被配置为将电子设备500连接到网络,和一个输入输出(I/O)接口558。电子设备500可以操作基于存储在存储器532的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种目标对象的类别识别方法,其特征在于,包括:
分别获取待识别的图像中包含的目标对象的目标类别特征向量、所述图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量;
根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量;
根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别;
根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别,包括:分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别;
根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别,包括:分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量,包括:
将所述目标类别特征向量和所述映射参数进行矩阵相乘得到所述第三词向量。
3.根据权利要求1所述的方法,其特征在于,所述映射参数的生成步骤,包括:
在预设的第一分类模型的训练过程中,根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数,包括:
基于所述第五词向量和所述样本类别特征向量,利用岭回归算法生成所述映射参数。
5.一种目标对象的类别识别装置,其特征在于,包括:
获取模块,被配置为分别获取待识别的图像中包含的目标对象的目标类别特征向量、所述图像的场景信息的第一词向量和预设的多个第一类别的多个第二词向量;
生成模块,被配置为根据所述目标类别特征向量和预设的映射参数生成所述目标对象的第三词向量;
识别模块,被配置为根据所述第一词向量、多个所述第二词向量和所述第三词向量,根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别,包括:分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别;根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别,包括:分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别;根据所述第一词向量、多个所述第二词向量和所述第三词向量识别出所述目标对象的类别。
6.根据权利要求5所述的装置,其特征在于,所述生成模块,被配置为将所述目标类别特征向量和所述映射参数进行矩阵相乘得到所述第三词向量。
7.根据权利要求5所述的装置,其特征在于,所述识别模块,包括:
类别筛选模块,被配置为根据所述第一词向量和多个所述第二词向量从多个所述第一类别中筛选出所述图像的多个第二类别;
类别识别模块,被配置为根据多个所述第二类别的第四词向量和所述第三词向量识别出所述目标对象的类别。
8.根据权利要求7所述的装置,其特征在于,所述类别筛选模块,包括:
第一计算模块,被配置为分别计算所述第一词向量和多个所述第二词向量之间的余弦距离;
第一确定模块,被配置为将余弦距离最少的预设数量的多个所述第二词向量对应的多个所述第一类别确定为多个所述第二类别。
9.根据权利要求7所述的装置,其特征在于,所述类别识别模块,包括:
第二计算模块,被配置为分别计算多个所述第四词向量和所述第三词向量之间的余弦距离;
第二确定模块,被配置为将余弦距离最少的所述第四词向量对应的所述第二类别确定为所述目标对象的类别。
10.根据权利要求5所述的装置,其特征在于,所述装置还包括:训练模块,被配置为生成所述映射参数,所述训练模块,被配置为在预设的第一分类模型的训练过程中,根据所述第一分类模型的样本数据中样本类别的第五词向量和所述样本数据中样本图像的样本对象的样本类别特征向量生成所述映射参数。
11.根据权利要求10所述的装置,其特征在于,所述训练模块,被配置为基于所述第五词向量和所述样本类别特征向量,利用岭回归算法生成所述映射参数。
12.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的目标对象的类别识别方法。
13.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至4中任一项所述的目标对象的类别识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450852.6A CN111814538B (zh) | 2020-05-25 | 2020-05-25 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450852.6A CN111814538B (zh) | 2020-05-25 | 2020-05-25 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814538A CN111814538A (zh) | 2020-10-23 |
CN111814538B true CN111814538B (zh) | 2024-03-05 |
Family
ID=72848027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010450852.6A Active CN111814538B (zh) | 2020-05-25 | 2020-05-25 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814538B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818995A (zh) * | 2021-01-27 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
CN114202709B (zh) * | 2021-12-15 | 2023-10-10 | 中国电信股份有限公司 | 对象识别方法、装置及存储介质 |
CN114627443B (zh) * | 2022-03-14 | 2023-06-09 | 小米汽车科技有限公司 | 目标检测方法、装置、存储介质、电子设备及车辆 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108482A (zh) * | 2018-01-05 | 2018-06-01 | 重庆邮电大学 | 一种文景转换中实现场景真实性增强的方法 |
CN109992781A (zh) * | 2019-04-02 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 文本特征的处理、装置、存储介质和处理器 |
CN110162627A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技(深圳)有限公司 | 数据增量方法、装置、计算机设备及存储介质 |
WO2020010547A1 (zh) * | 2018-07-11 | 2020-01-16 | 深圳前海达闼云端智能科技有限公司 | 字符识别方法、装置、存储介质及电子设备 |
CN110781323A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 多媒体资源的标签确定方法、装置、电子设备及存储介质 |
CN110807472A (zh) * | 2019-10-12 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN110991533A (zh) * | 2019-12-03 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像识别方法、识别装置、终端设备及可读存储介质 |
WO2020073507A1 (zh) * | 2018-10-11 | 2020-04-16 | 平安科技(深圳)有限公司 | 一种文本分类方法及终端 |
-
2020
- 2020-05-25 CN CN202010450852.6A patent/CN111814538B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108482A (zh) * | 2018-01-05 | 2018-06-01 | 重庆邮电大学 | 一种文景转换中实现场景真实性增强的方法 |
WO2020010547A1 (zh) * | 2018-07-11 | 2020-01-16 | 深圳前海达闼云端智能科技有限公司 | 字符识别方法、装置、存储介质及电子设备 |
WO2020073507A1 (zh) * | 2018-10-11 | 2020-04-16 | 平安科技(深圳)有限公司 | 一种文本分类方法及终端 |
CN109992781A (zh) * | 2019-04-02 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 文本特征的处理、装置、存储介质和处理器 |
CN110162627A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技(深圳)有限公司 | 数据增量方法、装置、计算机设备及存储介质 |
CN110807472A (zh) * | 2019-10-12 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN110781323A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 多媒体资源的标签确定方法、装置、电子设备及存储介质 |
CN110991533A (zh) * | 2019-12-03 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像识别方法、识别装置、终端设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
基于词向量特征的文本分类模型研究;张敬谊;张亚红;李静;;信息技术与标准化(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814538A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516745B (zh) | 图像识别模型的训练方法、装置及电子设备 | |
CN111524521B (zh) | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 | |
CN111814538B (zh) | 目标对象的类别识别方法、装置、电子设备及存储介质 | |
CN112258381B (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
CN111368796B (zh) | 人脸图像的处理方法、装置、电子设备及存储介质 | |
CN109961094B (zh) | 样本获取方法、装置、电子设备及可读存储介质 | |
CN107133354B (zh) | 图像描述信息的获取方法及装置 | |
CN111160448B (zh) | 一种图像分类模型的训练方法及装置 | |
CN110781323A (zh) | 多媒体资源的标签确定方法、装置、电子设备及存储介质 | |
CN109255128B (zh) | 多层级标签的生成方法、装置和存储介质 | |
CN112148980B (zh) | 基于用户点击的物品推荐方法、装置、设备和存储介质 | |
CN111046927B (zh) | 标注数据的处理方法、装置、电子设备及存储介质 | |
CN112035651B (zh) | 语句补全方法、装置及计算机可读存储介质 | |
CN116611482B (zh) | 模型训练方法、装置、电子设备及介质 | |
CN110941727B (zh) | 一种资源推荐方法、装置、电子设备及存储介质 | |
CN112948565A (zh) | 人机对话方法、装置、电子设备及存储介质 | |
CN110738267B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
CN116310633A (zh) | 一种关键点检测模型训练方法及关键点检测方法 | |
CN113923517B (zh) | 一种背景音乐生成方法、装置及电子设备 | |
CN115424044A (zh) | 基于多模态的图像标注方法、装置及电子设备 | |
CN109711386B (zh) | 获取识别模型的方法、装置、电子设备及存储介质 | |
CN110659726A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN111915021B (zh) | 图像处理模型的训练和使用方法、装置、服务器及介质 | |
CN112036507B (zh) | 图像识别模型的训练方法、装置、存储介质和电子设备 | |
CN113822020B (zh) | 文本处理方法、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |