CN111914844A - 一种图像识别方法、装置、电子设备及存储介质 - Google Patents
一种图像识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111914844A CN111914844A CN201910374159.2A CN201910374159A CN111914844A CN 111914844 A CN111914844 A CN 111914844A CN 201910374159 A CN201910374159 A CN 201910374159A CN 111914844 A CN111914844 A CN 111914844A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- recognized
- component
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像识别方法、装置、电子设备及存储介质,所述方法包括:获取待识别图像,待识别图像中包括待识别对象;将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域;根据待识别对象对应的分割标签,提取待识别对象的部件图像特征;将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像识别方法、装置、电子设备及存储介质。
背景技术
图像识别在各个领域的应用非常广泛,在现今图像处理领域占有非常重要的地位,对于维护公共治安、打击各类犯罪活动具有重要的意义。例如,在行人重识别技术中,需要从不同的监控视频中查找到同一目标人物,便需要对监控视频图像进行图像识别。
目前图像识别的过程一般为:获取待识别图像,然后提取待识别图像中对象的图像特征,再将提取的图像特征与预先提取的各个对象的图像特征进行比对,寻找最接近的图像特征,进而确定待识别图像中对象的身份、出行记录等信息,完成图像识别。
在上述图像识别的过程中,关注的是需要识别的对象整体,也就是说,预先提取的各个对象的图像特征均为整个对象的图像特征。然而,由于摄像头盲区、复杂场景等因素的干扰,会出现待识别图像中的对象并不完整的情况。例如,预先提取的对象的图像特征是行走状态的行人的整体的图像特征,而待识别图像中的对象是骑车状态的行人,由于车身遮挡了行人下半身,骑车状态的行人的图像特征与行走状态的行人的图像特征会存在较大差异,此时通过上述图像识别方式并不能得到准确的识别结果。
发明内容
本发明实施例的目的在于提供一种图像识别方法、装置、电子设备及存储介质,以提高图像识别结果的准确度。具体技术方案如下:
第一方面,本发明实施例提供了一种图像识别方法,所述方法包括:
获取待识别图像,其中,所述待识别图像中包括待识别对象;
将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签,其中,所述图像分割网络为基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域;
根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可选的,所述根据所述待识别图像对应的分割标签,提取所述待识别对象的部件图像特征的步骤,包括:
从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
可选的,所述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,包括:
将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
基于所述相似度确定所述待识别对象的识别结果。
可选的,所述分割标签还用于标识图像中对象部件的类别;
所述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,包括:
根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可选的,所述特征存储库的建立方式,包括:
获取各对象的图像;
将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
可选的,所述图像分割网络的训练方式,包括:
获取初始图像分割网络模型及多个图像样本;
按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
第二方面,本发明实施例提供了一种图像识别装置,所述装置包括:
待识别图像获取模块,用于获取待识别图像,其中,所述待识别图像中包括待识别对象;
分割标签确定模块,用于将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签,其中,所述图像分割网络为模型训练模块基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域;
图像特征提取模块,用于根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
图像识别模块,用于将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可选的,所述图像特征提取模块包括:
区域分割单元,用于从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
图像特征提取单元,用于将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
可选的,所述图像识别模块包括:
相似度确定单元,用于将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
识别结果确定单元,用于基于所述相似度确定所述待识别对象的识别结果。
可选的,所述分割标签还用于标识图像中对象部件的类别;
所述图像识别模块包括:
目标特征存储库确定单元,用于根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与特征存储库建立模块预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
图像识别单元,用于将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可选的,所述特征存储库建立模块包括:
图像获取单元,用于获取各对象的图像;
标签确定单元,用于将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
部件图像确定单元,用于根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
图像特征获取单元,用于将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
图像特征存储单元,用于按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
可选的,所述模型训练模块包括:
图像样本获取单元,用于获取初始图像分割网络模型及多个图像样本;
图像样本标记单元,用于按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
预测标签确定单元,用于将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
模型训练单元,用于基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的图像识别方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的图像识别方法步骤。
本发明实施例所提供的方案中,电子设备可以获取待识别图像,其中,待识别图像中包括待识别对象,将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,其中,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域,然后根据待识别对象对应的分割标签,提取待识别对象的部件图像特征,进而,将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。由于电子设备可以根据图像分割网络输出的分割标签提取分割标签对应的区域的待识别对象的部件图像特征,并且预先存储了部件图像特征,所以,即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种图像识别方法的流程图;
图2(a)为本发明实施例所提供的待识别图像的一种示意图;
图2(b)为本发明实施例所提供的部件图像的一种示意图;
图3为本发明实施例所提供的分割标签的一种示意图;
图4为本发明实施例所提供的特征存储库的建立方式的一种流程图;
图5为本发明实施例所提供的图像分割网络的训练方式的一种流程图;
图6为本发明实施例所提供的一种图像识别装置的结构示意图;
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高图像识别结果的准确度,本发明实施例提供了一种图像识别方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种图像识别方法进行介绍。
本发明实施例所提供的一种图像识别方法可以应用于任意需要对图像进行识别的电子设备,例如,可以为电脑、手机、图像处理器等,在此不做具体限定。为了描述方便,以下简称电子设备。
如图1所示,一种图像识别方法,所述方法包括:
S101,获取待识别图像;
其中,所述待识别图像中包括待识别对象。
S102,将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签;
其中,所述图像分割网络为基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域。
S103,根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
S104,将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可见,本发明实施例所提供的方案中,电子设备可以获取待识别图像,其中,待识别图像中包括待识别对象,将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,其中,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域,然后根据待识别对象对应的分割标签,提取待识别对象的部件图像特征,进而,将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。由于电子设备可以根据图像分割网络输出的分割标签提取分割标签对应的区域的待识别对象的部件图像特征,并且预先存储了部件图像特征,所以,即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
在上述步骤S101中,电子设备可以获取待识别图像,该待识别图像即为需要进行图像识别的图像,其中包括待识别对象,待识别对象可以为人、车、建筑物等,在此不做具体限定。待识别对象的数量可以为一个或多个,在此不做具体限定。
在一种实施方式中,待识别图像可以是图像采集设备采集并发送至电子设备的,例如,在行人重识别等监控应用场景下,图像采集设备可以采集待识别图像并实时发送至电子设备,以对待识别图像中的待识别对象进行识别。在另一种实施方式中,电子设备可以获取本地存储的图像,作为待识别图像,也可以获取其他电子设备存储的图像,作为待识别图像,这都是合理的。
获取待识别图像后,为了确定待识别图像中待识别对象所在区域,电子设备可以将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,也就是执行上述步骤S102。
其中,分割标签用于标识图像中对象的部件在图像中的区域,也就是标识图像中对象的部件在图像中的像素范围。分割标签可以为图像、矩阵等形式,在此不做具体限定,只要可以标识图像中对象的部件在图像中的区域即可。
对象的部件即为组成一个完整的对象的组成部分,例如,假设对象为人,那么对象的部件可以包括上半身和下半身;或者,可以包括头、躯干、四肢等。假设对象为车,那么对象的部件可以包括车身及车轮。
上述图像分割网络为基于图像样本及其分割标签预先训练完成的,用于对输入的图像进行处理,确定图像中对象的各部件在图像中的区域。图像分割网络的输入数据为图像,输出数据为该图像中对象对应的分割标签。图像分割网络可以为卷积神经网络等深度学习模型,对于其卷积层的数量、卷积核等结构在此不做具体限定。
在上述步骤S103中,电子设备可以根据待识别对象对应的分割标签,提取待识别对象的部件图像特征。由于分割标签标识了待识别对象的部件在待识别图像中的区域,所以电子设备可以提取该区域的图像特征,也就是待识别对象的部件图像特征。提取图像特征的方式可以采用图像处理技术中任意提取图像特征的方式,在此不做具体限定及说明。
接下来,电子设备便可以将待识别对象的部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果,也就是执行上述步骤S104。为了能够对待识别对象并不完整的图像也能进行准确识别,可以预先获取各对象的部件图像特征并进行存储,以便进行图像识别。
例如,待识别对象为人,待识别对象的部件包括上半身及下半身,那么可以预先获取大量的人的上半身的图像特征及下半身的图像特征,作为部件图像特征进行存储。这样,在对待识别图像中的待识别对象进行识别时,提取待识别对象的部件图像特征后,便可以将其与预先存储的上半身的图像特征及下半身的图像特征进行比对,进而确定待识别对象的识别结果,例如,待识别对象为张三等。即使提取待识别对象的部件图像特征仅为上半身的图像特征或下半身的图像特征,也可以对待识别对象进行准确识别。
其中,对于预先存储的部件图像特征的具体时间本发明实施例在此不做具体限定,可以根据实际应用场景等因素确定。例如,如果上述图像识别方法应用于行人重识别场景下,由于人的穿着打扮每天都可能变化,又会对图像特征的提取带来较大的影响,所以电子设备可以在每天的固定时间段获取各对象的部件图像特征并进行存储,例如,每天的早上6点至8点等,在此不做具体限定。这样,在当天其他时间段内,行人出现在其他地点时便可以被识别出来。
作为本发明实施例的一种实施方式,上述根据所述待识别图像对应的分割标签,提取所述待识别对象的部件图像特征的步骤,可以包括:
从所述待识别图像中分割出目标分割标签对应的区域;将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
电子设备可以将目标分割标签对应的区域从待识别图像中分割出来,得到部件图像,其中,目标分割标签可以为待识别对象对应的分割标签中的一个或多个。这样,得到的部件图片只包括待识别对象的部件。例如,待识别对象对应的分割标签为两个,分别对应待识别对象的头部和上半身身体部分,那么,目标分割标签可以为其中一个或者两个。
例如,如图2(a)所示的待识别图像,电子设备可以将目标分割标签对应的区域从待识别图像中分割出来,得到部件图像图2(b),可以看出,部件图像图2(b)中只包含待识别对象的上半身图像。
接下来,电子设备可以将所分割出的区域输入预先训练完成的特征提取网络,得到待识别对象的部件图像特征。其中,特征提取网络可以为卷积神经网络等深度学习模型,只要可以对部件图像进行图像特征的提取即可,在此不做具体限定。
在对特征提取网络进行训练时,首先可以获取初始特征提取网络模型及大量的部件图像,然后基于该大量的部件图像对初始特征提取网络模型进行训练,不断调整初始特征提取网络模型的参数,直到其可以输出准确的图像特征结果。调整初始特征提取网络模型的参数时可以采用梯度下降算法等方式,在此不做具体限定及说明。
在一种实施方式中,上述大量的部件图像可以利用上述图像分割网络获得,具体来说,电子设备可以获取大量包括对象的图像,然后将这些图像输入上述图像分割网络,得到每个图像对应的分割标签,然后根据分割标签对应的区域,从每个图像中分割出部件图像,进而获得大量部件图像。
可见,在本实施例中,电子设备可以从待识别图像中分割出目标分割标签对应的区域,进而将所分割出的区域输入预先训练完成的特征提取网络,得到待识别对象的部件图像特征。这样,可以准确地获得待识别对象的部件图像特征,提高图像识别结果的准确度。
作为本发明实施例的一种实施方式,上述分割标签还可以用于标识图像中对象部件的类别。
由于图像中的对象往往包括多个部件,而待识别图像中的待识别对象可能只包括一个部件或者几个部件,那么为了方便图像特征的比对,在设定分割标签时,上述分割标签还可以用于标识图像中对象部件的类别。
例如,如果分割标签为图像,那么可以利用不同颜色表示不同的部件类别,如图3所示的分割标签,可以称之为掩码图,其中区域301为人的上半身部件对应的区域,区域302为人的下半身部件对应的区域,为了标识部件的类别,区域301可以用红色表示,区域302可以用蓝色表示。
该掩码图的大小与待识别图像相同,背景为纯色,掩码图与待识别图像的像素点一一对应,这样,区域301对应的待识别图像中的区域即为待识别对象的上半身区域,区域302对应的待识别图像中的区域即为待识别对象的下半身区域。
相应的,上述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库;将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
为了方便进行图像特征的比对,可以预先建立的多个特征存储库,该多个特征存储库中分别存储有各类别的部件图像特征。也就是说,一个特征存储库钟存储一个类别的部件图像特征。例如,对于待识别对象为人的情况来说,可以预先建立多个特征存储库,每个特征存储库中存储人的一个部件对应的部件图像特征。
这样,电子设备在得到待识别图像的分割标签后,可以确定待识别图像对应的分割标签所标识的部件的目标类别,进而,便可以根据该目标类别以及预设的类别与多个特征存储库的对应关系,从多个特征存储库中,确定目标类别对应的目标特征存储库。
例如,特征存储库1-特征存储库4分别存储有类别为A-D的部件图像特征,如果待识别图像对应的分割标签所标识的部件的目标类别为B,那么电子设备便可以确定特征存储库2为目标特征存储库。
确定了上述目标特征存储库后,电子设备便可以将待识别图像的部件图像特征与目标特征存储库中存储的部件图像特征进行比对,确定待识别对象的识别结果。
可见,在本实施例中,上述分割标签还可以用于标识图像中对象部件的类别,电子设备可以根据待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从多个特征存储库中,确定目标类别对应的目标特征存储库,将部件图像特征与目标特征存储库中存储的部件图像特征进行比对,确定待识别对象的识别结果。这样,可以减少图像特征比对的数量,提高图像识别效率。
作为本发明实施例的一种实施方式,上述将所述部件图像特征与预先存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与预先存储的每一部件图像特征的相似度;基于所述相似度确定所述待识别对象的识别结果。
由于待识别对象的部件图像特征与预先存储的部件图像特征的相似性越高,说明二者属于同一对象的可能性越高,所以电子设备可以将待识别对象的部件图像特征与上述预先存储的所有部件图像特征逐一进行比对,得到该部件图像特征与预先存储的每一部件图像特征的相似度。
进而,电子设备也就可以基于得到的各个相似度确定待识别对象的识别结果。在一种实施方式中,电子设备可以将得到的各个相似度按照从高到低的顺序进行排序,那么相似度排在第一位置,说明该预先存储的部件图像特征与待识别对象的部件图像特征最为相似,那么便可以确定该预先存储的部件图像特征对应的对象与待识别对象为同一对象,得到识别结果。
在另一种实施方式中,为了减少计算量,在得到上述各个相似度后,电子设备可以将相似度小于预设阈值的相似度去除,然后将剩下的各个相似度按照从高到低的顺序进行排序。其中,预设阈值可以根据识别结果的精确度需求等因素确定,例如,可以为50%、60%、75%等,在此不做具体限定。
可见,在本实施例中,电子设备可以将待识别对象的部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到待识别对象的部件图像特征与预先存储的每一部件图像特征的相似度,进而基于相似度确定待识别对象的识别结果。这样可以基于图像特征的相似度,准确确定待识别对象的识别结果。
作为本发明实施例的一种实施方式,如图4所示,上述特征存储库的建立方式,可以包括:
S401,获取各对象的图像;
首先,电子设备可以获取各对象的图像,其中,各对象的图像可以为包括完整对象的图像,也可以为包括部分部件的图像。例如,假设在行人重识别场景下,那么在每天预设时间段建立特征存储库时,电子设备获取的各行人的图像中可能包含完整的行人,也可能包含行人的部分部件。
S402,将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
接下来,电子设备可以将上述各对象的图像输入上述图像分割网络,图像分割网络可以基于自身的参数对各对象的图像进行处理,确定各对象的图像中所包括的对象的部件所在区域及类别,也就得到各对象对应的分割标签。
各对象的图像中包括对象的哪个部件,那么其对应的分割标签也就标识哪个部件在图像中的区域及该部件类别。如果对象的图像中包括的对象是完整的,那么其对应的分割标签也就标识该对象的所有部件在图像中的区域及类别。
S403,根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
确定了各图像对应的分割标签后,电子设备便可以根据每个图像对应的分割标签,从对应的图像中分割出部件图像。作为一种实施方式,由于待识别图像中的待识别对象也可能是完整的,在这种情况下,如果特征存储库中存储有完整的对象的图像特征,那么在进行图像特征比对时,可以更加快速并且准确地确定识别结果,所以,此时电子设备从对应的图像中分割出的部件图像可以为对象的完整图像。对象的完整图像也属于部件图像,其是包括所有部件的部件图像。
S404,将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
获得上述部件图像后,电子设备可以将部件图像输入预先训练完成的特征提取网络,以对部件图像进行图像特征的提取,得到每个部件图像的部件图像特征。
如果部件图像为对象的一个或一部分部件的图像,那么提取得到的便是该部件或者该部分部件的图像特征;如果部件图像为完整对象的图像,那么提取得到的便是该完整对象的图像特征。
S405,按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
进而,电子设备可以按照每个图像对应的分割标签所标识的部件的类别,将上述部件图像的部件图像特征进行存储。由于每个图像对应的部件的类别可能不同,所以便可以得到多个特征存储库,特征存储库的类别即为其存储的部件图像特征对应的分割标签所标识的部件的类别。
例如,部件图像特征a-部件图像特征e对应的图像的分割标签所标识的部件的类别分别为A1、A2、A1、A3及A3,那么电子设备便可以将部件图像特征a及部件图像特征c存储于特征存储库S1,特征存储库S1对应的类别即为A1。可以将部件图像特征d及部件图像特征e存储于特征存储库S2,特征存储库S2对应的类别即为A3。可以将部件图像特征b存储于特征存储库S3,特征存储库S3对应的类别即为A2。
可见,在本实施例中,电子设备可以获取各对象的图像,将各对象的图像输入图像分割网络,得到每个对象对应的分割标签,根据每个对象对应的分割标签,从对应的图像中分割出部件图像,将部件图像输入预先训练完成的特征提取网络,得到部件图像的部件图像特征,进而按照每个图像对应的分割标签所标识的部件的类别,将部件图像的部件图像特征进行存储,得到多个特征存储库。这样,可以对应于对象的各部件的类别,预先建立多个特征存储库,在进行图像特征比对时确保得到准确的识别结果。
作为本发明实施例的一种实施方式,上述待识别对象可以为人,针对这种情况而言,上述预先建立的多个特征存储库可以包括人体上半身特征存储库、人体下半身特征存储库及人体全身特征存储库。
人体上半身特征存储库所存储的部件图像特征即为人体的上半身图像的图像特征,人体下半身特征存储库所存储的部件图像特征即为人体的下半身图像的图像特征,人体全身特征存储库所存储的部件图像特征即为人体的全身图像的图像特征。
如果待识别图像对应的分割标签所标识的部件的类别为“上半身”,那么电子设备便可以将待识别对象的部件图像特征与人体上半身特征存储库所存储的部件图像特征进行比对,进而确定识别结果。
如果待识别图像对应的分割标签所标识的部件的类别为“下半身”,那么电子设备便可以将待识别对象的部件图像特征与人体下半身特征存储库所存储的部件图像特征进行比对,进而确定识别结果。
如果待识别图像对应的分割标签所标识的部件的类别为“全身”,那么电子设备便可以将待识别对象的部件图像特征与人体全身特征存储库所存储的部件图像特征进行比对,进而确定识别结果。
可见,在本实施例中,在对包括人的待识别图像进行图像识别时,无论待识别图像中的人是完整的,还是只包括上半身或者下半身,电子设备均可以准确地对待识别图像进行识别。
作为本发明实施例的一种实施方式,如图5所示,上述图像分割网络的训练方式,可以包括:
S501,获取初始图像分割网络模型及多个图像样本;
首先,电子设备可以获取初始图像分割网络模型及多个图像样本。其中,初始图像分割网络模型的参数可以随机初始化,在此不做具体限定。多个图像样本中包括的对象可以是完整的,也可以是不完整的。
S502,按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
接下来,电子设备可以按照预设规则,标记每个图像样本中对象的各部件在图像样本中的区域,也就可以得到每个图像样本的分割标签。其中,预设规则可以根据训练难易程度等因素确定。
当图像分割网络输出的分割标签需要标识图像中部件的类别时,电子设备可以同时标记每个图像样本中对象的各部件的类别,那么各部件的类别及其在图像样本中的区域也就共同构成图像样本的分割标签。
例如,假设分割标签为图像,那么部件类别可以采用不同颜色表示,示例性的,上半身部件对应的区域可以采用黄色像素点表示,下半身部件对应的区域可以采用绿色像素点表示等。
S503,将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
得到上述图像样本后,可以将图像样本输入初始图像分割网络模型,初始图像分割网络模型会根据自身当前的参数对图像样本进行处理,确定图像样本中对象的部件所在区域及类别,即得到预测标签。
S504,基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
初始图像分割网络模型的参数为达到最优之前,初始图像分割网络模型输出的预测标签与图像样本的分割标签会存在差异,电子设备便可以基于预测标签及其对应的图像样本的分割标签的差异,调整初始图像分割网络模型的参数,以使初始图像分割网络模型输出的预测标签越来越准确。调整初始图像分割网络模型的参数的方式可以梯度下降算法等方式,在此不做具体限定及说明。
在不断调整初始图像分割网络模型的参数的同时,初始图像分割网络模型可以逐渐学习图像样本的图像特征与图像样本中对象的各部件的类别及其在图像样本中的区域之间的对应关系,所以初始图像分割网络模型的输出结果会越来越准确。
当初始图像分割网络模型的迭代次数达到预设次数,或者,初始图像分割网络模型输出的预测标签的准确度达到预设值时,说明此时初始图像分割网络模型已经能够对图像进行处理,得到准确的分割标签,那么便可以停止训练,此时的初始图像分割网络模型便可以作为上述图像分割网络使用。
可见,在本实施例中,电子设备可以获取初始图像分割网络模型及多个图像样本,按照预设规则标记每个图像样本中对象的各部件的类别及其在图像样本中的区域,得到每个图像样本的分割标签,将图像样本输入所述初始图像分割网络模型,得到预测标签,进而,基于预测标签及其对应的图像样本的分割标签,调整初始图像分割网络模型的参数,得到图像分割网络。通过该训练方式可以得到能够输出准确的分割标签的图像分割网络,进一步提高图像识别结果的准确度。
相应于上述图像识别方法,本发明实施例还提供了一种图像识别装置。下面对本发明实施例所提供的一种图像识别装置进行介绍。
如图6所示,一种图像识别装置,所述装置包括:
待识别图像获取模块610,用于获取待识别图像;
其中,所述待识别图像中包括待识别对象。
分割标签确定模块620,用于将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签;
其中,所述图像分割网络为模型训练模块(图6中未示出)基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域。
图像特征提取模块630,用于根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
图像识别模块640,用于将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可见,本发明实施例所提供的方案中,电子设备可以获取待识别图像,其中,待识别图像中包括待识别对象,将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,其中,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域,然后根据待识别对象对应的分割标签,提取待识别对象的部件图像特征,进而,将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。由于电子设备可以根据图像分割网络输出的分割标签提取分割标签对应的区域的待识别对象的部件图像特征,并且预先存储了部件图像特征,所以,即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
作为本发明实施例的一种实施方式,上述图像特征提取模块630可以包括:
区域分割单元(图6中未示出),用于从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
图像特征提取单元(图6中未示出),用于将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
作为本发明实施例的一种实施方式,上述图像识别模块640可以包括:
相似度确定单元(图6中未示出),用于将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
识别结果确定单元(图6中未示出),用于基于所述相似度确定所述待识别对象的识别结果。
作为本发明实施例的一种实施方式,上述分割标签还可以用于标识图像中对象部件的类别;
上述图像识别模块640可以包括:
目标特征存储库确定单元(图6中未示出),用于根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与特征存储库建立模块(图6中未示出)预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库;
其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征。
图像识别单元(图6中未示出),用于将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
作为本发明实施例的一种实施方式,上述特征存储库建立模块可以包括:
图像获取单元(图6中未示出),用于获取各对象的图像;
标签确定单元(图6中未示出),用于将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
部件图像确定单元(图6中未示出),用于根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
图像特征获取单元(图6中未示出),用于将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
图像特征存储单元(图6中未示出),用于按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
作为本发明实施例的一种实施方式,上述待识别对象可以为人,上述预先建立的多个特征存储库可以包括人体上半身特征存储库、人体下半身特征存储库及人体全身特征存储库。
作为本发明实施例的一种实施方式,上述模型训练模块可以包括:
图像样本获取单元(图6中未示出),用于获取初始图像分割网络模型及多个图像样本;
图像样本标记单元(图6中未示出),用于按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
预测标签确定单元(图6中未示出),用于将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
模型训练单元(图6中未示出),用于基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
本发明实施例还提供了一种电子设备,如图7所示,电子设备可以包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现如下步骤:
获取待识别图像,
其中,所述待识别图像中包括待识别对象。
将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签;
其中,所述图像分割网络为基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域。
根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可见,本发明实施例所提供的方案中,电子设备可以获取待识别图像,其中,待识别图像中包括待识别对象,将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,其中,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域,然后根据待识别对象对应的分割标签,提取待识别对象的部件图像特征,进而,将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。由于电子设备可以根据图像分割网络输出的分割标签提取分割标签对应的区域的待识别对象的部件图像特征,并且预先存储了部件图像特征,所以,即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中,上述根据所述待识别图像对应的分割标签,提取所述待识别对象的部件图像特征的步骤,可以包括:
从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
其中,上述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
基于所述相似度确定所述待识别对象的识别结果。
其中,上述分割标签还可以用于标识图像中对象部件的类别;
上述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
其中,上述特征存储库的建立方式,可以包括:
获取各对象的图像;
将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
其中,上述待识别对象可以为人,上述预先建立的多个特征存储库可以包括人体上半身特征存储库、人体下半身特征存储库及人体全身特征存储库。
其中,上述图像分割网络的训练方式,可以包括:
获取初始图像分割网络模型及多个图像样本;
按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待识别图像,
其中,所述待识别图像中包括待识别对象。
将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签;
其中,所述图像分割网络为基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域。
根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
可见,本发明实施例所提供的方案中,计算机程序被处理器执行时,可以获取待识别图像,其中,待识别图像中包括待识别对象,将待识别图像输入图像分割网络,得到待识别对象对应的分割标签,其中,图像分割网络为基于图像样本及其分割标签预先训练完成的,分割标签用于标识图像中对象的部件在图像中的区域,然后根据待识别对象对应的分割标签,提取待识别对象的部件图像特征,进而,将部件图像特征与预先存储的部件图像特征进行比对,确定待识别对象的识别结果。由于电子设备可以根据图像分割网络输出的分割标签提取分割标签对应的区域的待识别对象的部件图像特征,并且预先存储了部件图像特征,所以,即使待识别图像中的待识别对象不是完整的,电子设备也可以基于待识别对象的部件图像特征及预先存储的部件图像特征,对待识别对象进行准确的识别,大大提高图像识别的准确度。
其中,上述根据所述待识别图像对应的分割标签,提取所述待识别对象的部件图像特征的步骤,可以包括:
从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
其中,上述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
基于所述相似度确定所述待识别对象的识别结果。
其中,上述分割标签还可以用于标识图像中对象部件的类别;
上述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,可以包括:
根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
其中,上述特征存储库的建立方式,可以包括:
获取各对象的图像;
将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
其中,上述待识别对象可以为人,上述预先建立的多个特征存储库可以包括人体上半身特征存储库、人体下半身特征存储库及人体全身特征存储库。
其中,上述图像分割网络的训练方式,可以包括:
获取初始图像分割网络模型及多个图像样本;
按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
需要说明的是,对于上述装置、电子设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部件互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种图像识别方法,其特征在于,所述方法包括:
获取待识别图像,其中,所述待识别图像中包括待识别对象;
将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签,其中,所述图像分割网络为基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域;
根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
2.如权利要求1所述的方法,其特征在于,所述根据所述待识别图像对应的分割标签,提取所述待识别对象的部件图像特征的步骤,包括:
从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
3.如权利要求1所述的方法,其特征在于,所述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,包括:
将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
基于所述相似度确定所述待识别对象的识别结果。
4.如权利要求1所述的方法,其特征在于,所述分割标签还用于标识图像中对象部件的类别;
所述将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果的步骤,包括:
根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
5.如权利要求4所述的方法,其特征在于,所述特征存储库的建立方式,包括:
获取各对象的图像;
将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
6.如权利要求1-3任一项所述的方法,其特征在于,所述图像分割网络的训练方式,包括:
获取初始图像分割网络模型及多个图像样本;
按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
7.一种图像识别装置,其特征在于,所述装置包括:
待识别图像获取模块,用于获取待识别图像,其中,所述待识别图像中包括待识别对象;
分割标签确定模块,用于将所述待识别图像输入图像分割网络,得到所述待识别对象对应的分割标签,其中,所述图像分割网络为模型训练模块基于图像样本及其分割标签预先训练完成的,所述分割标签用于标识图像中对象的部件在所述图像中的区域;
图像特征提取模块,用于根据所述待识别对象对应的分割标签,提取所述待识别对象的部件图像特征;
图像识别模块,用于将所述部件图像特征与预先存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
8.如权利要求7所述的装置,其特征在于,所述图像特征提取模块包括:
区域分割单元,用于从所述待识别图像中分割出目标分割标签对应的区域,其中,所述目标分割标签为所述待识别对象对应的分割标签中的一个或多个;
图像特征提取单元,用于将所分割出的区域输入预先训练完成的特征提取网络,得到所述待识别对象的部件图像特征。
9.如权利要求7所述的装置,其特征在于,所述图像识别模块包括:
相似度确定单元,用于将所述部件图像特征与预先存储的所有部件图像特征逐一进行比对,得到所述部件图像特征与每一预先存储的部件图像特征的相似度;
识别结果确定单元,用于基于所述相似度确定所述待识别对象的识别结果。
10.如权利要求7所述的装置,其特征在于,所述分割标签还用于标识图像中对象部件的类别;
所述图像识别模块包括:
目标特征存储库确定单元,用于根据所述待识别图像对应的分割标签所标识的部件的类别,以及预设的类别与特征存储库建立模块预先建立的多个特征存储库的对应关系,从所述多个特征存储库中,确定目标类别对应的目标特征存储库,其中,所述目标类别为所述待识别图像对应的分割标签所标识的部件的类别,所述多个特征存储库中分别存储有各类别的部件图像特征;
图像识别单元,用于将所述部件图像特征与所述目标特征存储库中存储的部件图像特征进行比对,确定所述待识别对象的识别结果。
11.如权利要求10所述的装置,其特征在于,所述特征存储库建立模块包括:
图像获取单元,用于获取各对象的图像;
标签确定单元,用于将所述各对象的图像输入所述图像分割网络,得到每个对象对应的分割标签;
部件图像确定单元,用于根据所述每个对象对应的分割标签,从对应的图像中分割出部件图像;
图像特征获取单元,用于将所述部件图像输入预先训练完成的特征提取网络,得到所述部件图像的部件图像特征;
图像特征存储单元,用于按照所述每个图像对应的分割标签所标识的部件的类别,将所述部件图像的部件图像特征进行存储,得到多个特征存储库。
12.如权利要求7-9任一项所述的装置,其特征在于,所述模型训练模块包括:
图像样本获取单元,用于获取初始图像分割网络模型及多个图像样本;
图像样本标记单元,用于按照预设规则标记每个图像样本中对象的各部件在所述图像样本中的区域,得到每个图像样本的分割标签;
预测标签确定单元,用于将所述图像样本输入所述初始图像分割网络模型,得到预测标签;
模型训练单元,用于基于所述预测标签及其对应的图像样本的分割标签,调整所述初始图像分割网络模型的参数,直到所述初始图像分割网络模型的迭代次数达到预设次数,或,所述初始图像分割网络模型输出的预测标签的准确度达到预设值,停止训练,得到所述图像分割网络。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910374159.2A CN111914844A (zh) | 2019-05-07 | 2019-05-07 | 一种图像识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910374159.2A CN111914844A (zh) | 2019-05-07 | 2019-05-07 | 一种图像识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111914844A true CN111914844A (zh) | 2020-11-10 |
Family
ID=73241659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910374159.2A Pending CN111914844A (zh) | 2019-05-07 | 2019-05-07 | 一种图像识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111914844A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116274170A (zh) * | 2023-03-27 | 2023-06-23 | 中建三局第一建设工程有限责任公司 | 一种激光清洗设备的控制方法、系统及相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268583A (zh) * | 2014-09-16 | 2015-01-07 | 上海交通大学 | 基于颜色区域特征的行人重识别方法及系统 |
CN107341446A (zh) * | 2017-06-07 | 2017-11-10 | 武汉大千信息技术有限公司 | 基于查询自适应部件特征组合的特定行人追踪方法及系统 |
US10108850B1 (en) * | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
CN108717520A (zh) * | 2018-04-10 | 2018-10-30 | 新智数字科技有限公司 | 一种行人重识别方法及装置 |
CN109344842A (zh) * | 2018-08-15 | 2019-02-15 | 天津大学 | 一种基于语义区域表达的行人重识别方法 |
CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技(深圳)有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
CN109558904A (zh) * | 2018-11-21 | 2019-04-02 | 咪咕文化科技有限公司 | 图像局部特征的分类方法、装置和存储介质 |
-
2019
- 2019-05-07 CN CN201910374159.2A patent/CN111914844A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268583A (zh) * | 2014-09-16 | 2015-01-07 | 上海交通大学 | 基于颜色区域特征的行人重识别方法及系统 |
US10108850B1 (en) * | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
CN107341446A (zh) * | 2017-06-07 | 2017-11-10 | 武汉大千信息技术有限公司 | 基于查询自适应部件特征组合的特定行人追踪方法及系统 |
CN108717520A (zh) * | 2018-04-10 | 2018-10-30 | 新智数字科技有限公司 | 一种行人重识别方法及装置 |
CN109344842A (zh) * | 2018-08-15 | 2019-02-15 | 天津大学 | 一种基于语义区域表达的行人重识别方法 |
CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技(深圳)有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
CN109558904A (zh) * | 2018-11-21 | 2019-04-02 | 咪咕文化科技有限公司 | 图像局部特征的分类方法、装置和存储介质 |
Non-Patent Citations (1)
Title |
---|
王丽;: "融合底层和中层字典特征的行人重识别", 中国光学 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116274170A (zh) * | 2023-03-27 | 2023-06-23 | 中建三局第一建设工程有限责任公司 | 一种激光清洗设备的控制方法、系统及相关装置 |
CN116274170B (zh) * | 2023-03-27 | 2023-10-13 | 中建三局第一建设工程有限责任公司 | 一种激光清洗设备的控制方法、系统及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10248860B2 (en) | System and method for object re-identification | |
CN109740478B (zh) | 车辆检测及识别方法、装置、计算机设备及可读存储介质 | |
CN109325964B (zh) | 一种人脸追踪方法、装置及终端 | |
WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
US8792722B2 (en) | Hand gesture detection | |
CN108268867B (zh) | 一种车牌定位方法及装置 | |
US8750573B2 (en) | Hand gesture detection | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
CN109558823B (zh) | 一种以图搜图的车辆识别方法及系统 | |
JP6330385B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
CN111325769B (zh) | 一种目标对象检测方法及装置 | |
US11321945B2 (en) | Video blocking region selection method and apparatus, electronic device, and system | |
CN111178120B (zh) | 一种基于作物识别级联技术的害虫图像检测方法 | |
CN103810473A (zh) | 一种基于隐马尔科夫模型的人体对象的目标识别方法 | |
CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
Jagtap et al. | Multi-style license plate recognition using artificial neural network for Indian vehicles | |
CN112766218A (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
Aziz et al. | Bengali Sign Language Recognition using dynamic skin calibration and geometric hashing | |
CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
CN111914844A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN111402185B (zh) | 一种图像检测方法及装置 | |
Amin et al. | An automatic number plate recognition of Bangladeshi vehicles | |
AU2013263838A1 (en) | Method, apparatus and system for classifying visual elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |