CN111144378B - 一种目标对象的识别方法及装置 - Google Patents
一种目标对象的识别方法及装置 Download PDFInfo
- Publication number
- CN111144378B CN111144378B CN201911423553.7A CN201911423553A CN111144378B CN 111144378 B CN111144378 B CN 111144378B CN 201911423553 A CN201911423553 A CN 201911423553A CN 111144378 B CN111144378 B CN 111144378B
- Authority
- CN
- China
- Prior art keywords
- target object
- identified
- target
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001815 facial effect Effects 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims description 98
- 238000012549 training Methods 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 8
- 241000282326 Felis catus Species 0.000 description 42
- 230000037308 hair color Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Abstract
本发明公开了一种目标对象的识别方法及装置,该方法包括:从待识别目标对象的图片中提取待识别目标对象不同部位的目标特征以及待识别目标对象的分类类别,目标特征至少包括脸部特征和身体特征;根据目标特征以及注册对象相应的特征分别计算获取多个目标特征与注册对象的多个特征相似度;根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果。本发明通过综合考虑待识别目标对象身上的多个属性特征,对目标对象进行识别,可以提高识别的准确度。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种目标对象的识别方法及装置。
背景技术
近年来,随着人们消费水平的提升和消费观念的改变,越来越多的人开始饲养宠物,如宠物狗和宠物猫等。同时,人们对宠物意外伤害和疾病医疗上的开销越来越大。保险公司也都相继推出了宠物险,同时也伴随着保险金欺诈问题的出现。保险金欺诈行为包括虚构保险标的或将不合格标的伪称为合格标的等,一般存在以下几种情况:在宠物医疗险中典型的情况一种是带病投保(即宠物已经生病了才投保),另一种是理赔的宠物与投保时不一致,例如,假设一个人养了3只猫,只投保一份保险,如果没有验证机制,任意一只猫出险都可以理赔。
现阶段,对于宠物身份识别主要通过拍摄动物身上具有生理唯一性的特征的方法来进行比对。对于宠物猫和宠物狗而言,鼻纹是一种类似人类指纹的唯一性特征。因此,在宠物狗身份的识别应用中,鼻纹比对是常见的技术方案。但是对于宠物猫而言,由于猫的个体相对于狗来说通常都较小,较难拍摄出清晰的鼻纹。而通过人工智能和图像技术进行宠物猫个体识别的方式处于起步阶段,相关研究极少且准确度较低。单独使用猫脸这一类特征作为猫身份识别的判断依据目前技术上尚不成熟。
因此,继续提出一种新的目标对象的识别方案,以用于识别类似猫这一类不方便通过鼻纹来识别的动物。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种目标对象的识别方法及装置,以克服现有技术中单个特征识别目标对象技术不成熟,导致目标对象识别准确度低等问题。
为解决上述一个或多个技术问题,本发明采用的技术方案是:
一方面,提供了一种目标对象的识别方法,该方法包括如下步骤:
从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征;
根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度;
根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果。
进一步的,所述从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别包括:
利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及所述待识别目标对象的分类类别;
利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
进一步的,所述待识别目标对象包括体表有毛的动物,所述身体特征的分类至少包括纯色、条纹以及花斑,所述根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度包括:
当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致,若一致,则采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
进一步的,所述根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果包括:
将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体;
若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
进一步的,所述方法还包括实例分割模型的训练过程,包括:
对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图;
采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
另一方面,提供了一种目标对象的识别装置,所述装置包括:
图片处理模块,用于从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征;
相似度计算模块,用于根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度;
结果识别模块,用于根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果。
进一步的,所述图片处理模块包括:
实例分割单元,用于利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及所述待识别目标对象的分类类别;
特征提取单元,用于利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
进一步的,所述相似度计算模块包括:
分类判断单元,用于当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致;
相似度计算单元,用于采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
进一步的,所述结果识别模块包括:
类别比较单元,用于将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体;
阈值比较单元,用于若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
进一步的,所述装置还包括模型训练模块,包括:
标签添加单元,用于对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图;
模型训练单元,用于采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的目标对象的识别方法及装置,通过从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征,根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度,根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果,针对类似猫这一类不方便通过鼻纹来识别的动物,综合考虑目标对象(如猫)身上的多个属性特征,对目标对象进行识别,可以提高识别的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的目标对象的识别方法的流程图;
图2是根据一示例性实施例示出的从待识别目标对象的图片中提取待识别目标对象不同部位的目标特征以及待识别目标对象的分类类别的流程图;
图3是根据一示例性实施例示出的根据多个特征相似度以及分类类别获取待识别目标对象的识别结果的流程图;
图4是根据一示例性实施例示出的实例分割模型的训练过程的流程图;
图5是根据一示例性实施例示出的目标对象的识别装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的目标对象的识别方法可以应用于待识别目标对象与注册对象的匹配(即1对1匹配)。例如,客户为自己的宠物在某保险公司投保了某宠物险,在发起理赔时,验证理赔的宠物(待识别目标对象)与投保时的宠物(注册对象)是否一致。
图1是根据一示例性实施例示出的目标对象的识别方法的流程图,参照图1所示,该方法包括如下步骤:
S1:从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征。
具体的,本发明实施例提供的目标对象的识别方法是基于图像分割技术的,因此,在对待识别目标对象进行识别时,需要先获取待识别目标对象的图片,具体在获取时,可以通过直接接收用户上传的待识别目标对象的图片的方式,也可以通过从用户上传的视频中截取包含待识别目标对象的图片的方式。
同时,为了解决现有技术中存在的一些目标对象(如猫等)通过单个特征识别技术不成熟,导致目标对象识别准确度低等问题,提高识别的准确度,本发明实施例中提供的目标对象的识别方法还采用了多特征决策的识别方式。因此,在获取到待识别目标对象的图片后,需要从该图片中提取多个特征。本发明实施例中提取的是待识别目标对象不同部位的目标特征以及待识别目标对象的分类类别,其中,提取的目标特征至少包括脸部特征和身体特征。
S2:根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度。
具体的,注册对象是指待识别对象需要去匹配的对象,例如当待识别目标对象为理赔的宠物时,注册对象则为投保时的宠物。本发明实施例中,在判定待识别目标对象与注册对象是否匹配时,采用的是计算待识别目标对象与注册对象的相似度的方式,具体实施时,可以根据目标特征以及注册对象相应的特征分别计算获取多个目标特征与注册对象的多个特征相似度。例如,根据目标特征中的脸部特征与注册对象的脸部特征计算待识别对象与注册对象的脸部特征相似度,以及根据目标特征中的身体特征与注册对象的身体特征计算待识别对象与注册对象的身体特征相似度等。
S3:根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果。
具体的,本发明实施例中,在获取到待识别目标对象与注册对象的多个特征相似度以及待识别目标对象的分类类别后,采用了多特征决策来对以上特征进行综合决策,获得最终的待识别目标对象的识别结果。这里需要说明的是,本发明实施例中,在进行多特征决策时,将待识别目标对象与注册对象的多个特征相似度以及待识别目标对象的分类类别均纳入为用于决策的特征。
图2是根据一示例性实施例示出的从待识别目标对象的图片中提取待识别目标对象不同部位的目标特征以及待识别目标对象的分类类别的流程图,参照图2所示,作为一种较优的实施方式,本发明实施例中,所述从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别包括:
S101:利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及所述待识别目标对象的分类类别。
具体的,本发明实施例中,预先训练好一实例分割模型,利用该实例分割模型对接收到的待识别目标对象的图片进行实例分割处理,可以获取到待识别目标对象不同部位的多个分割图,例如脸部分割图、身体分割图等,这里不做限制,可以根据实际需求进行设置。另外,通过该实例分割模型还可以获取到该待识别目标对象的分类类别。例如,假设待识别目标对象为猫,那么分类类别可以为猫的细分类别(又称品种),如英国短毛猫、美国短毛猫、布偶猫、暹罗猫、狸花猫、波斯猫、金吉拉猫、苏格兰折耳猫、俄罗斯蓝猫、加菲猫、缅因猫、伯曼猫、孟买猫等,这里不再一一列举。
S102:利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
具体的,本发明实施例中,会针对目标对象的不同部位预先设置对应的特征提取方法,然后采用这些特征提取方法从相应的分割图中提取出对应的目标特征,其中,本发明实施例中,提取出的目标特征至少包括脸部特征和身体特征。
作为一种较优的示例,本发明实施例中,目标特征中的脸部特征的提取方法可以采用类似人脸识别的方案,进行脸部特征向量的提取,可以使用常见的脸部图像嵌入空间变换器利用目标对象(如猫)的脸部图像进行调优来实现。当待识别目标对象为类似猫这一类身体有毛且毛色品种较多的动物时,在提取目标特征中的身体特征时,将毛色分为纯色和非纯色两种类别,因此,特征提取方法采用两阶段的方案。第一阶段,先识别身体特征的毛色类别,识别其是纯色还是非纯色,这个识别模型可以利用通用的计算机视觉分类模型进行调优获得,这里不再赘述。第二阶段,针对纯色的待识别目标对象,预先建立白平衡稳定的毛色提取模型,通过该模型提取身体特征;针对非纯色的待识别目标对象,利用类似指纹识别的方案,自动提取诸如条纹、花斑这一类有区分度的特征区域的图像特征(例如,HOG特征等),记录对应的图像特征。
作为一种较优的实施方式,本发明实施例中,所述待识别目标对象包括动物,所述身体特征的分类至少包括纯色、条纹以及花斑,所述根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度包括:
当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致,若一致,则采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
具体的,本发明实施例中,待识别目标对象包括体表有毛的动物,当待识别对象为体表有毛的动物时,身体特征的分类至少包括纯色、条纹以及花斑。此时,在根据目标特征中的身体特征以及注册对象的身体特征计算获取两者的特征相似度时,首先需要比对待识别目标对象与注册对象的身体特征的分类,如果两者不一致,则直接返回待识别目标对象与注册对象不匹配,结束识别流程。
本发明实施例中,针对毛色是纯色和非纯色分别设置了对应相似度计算方法来计算待识别目标对象与注册对象的身体特征相似度。当待识别目标对象与注册对象的身体特征的分类一致时,若是毛色是纯色,则首先将毛色区域的图像由RGB色彩空间转换为HSV色彩空间,再计算待识别目标对象与注册对象的毛色的相似度。若是毛色是非纯色,意味着待识别目标对象身体上有可用于配准的特征,则将上述步骤提取到的待识别目标对象的身体特征与注册对象的身体特征进行配准。由于待识别对象的形态固定,配准可以基于SIFT特征采用随机采样一致性方法(RANSAC)进行。对于配准后重合的区域,比对图像特征(指身体特征)相似度。身体特征相似度可以采用欧式距离(Euclidean Distance)或余弦距离(Cosine Distance)等计算方法计算得到,这里不做限制。以余弦距离为例,设两者特征之间余弦距离为D2,则两者特征相似度为A2=1-D2,其中,A2的取值范围为[-1,1]。
另外,本发明实施例中,根据目标特征中的脸部特征以及注册对象的脸部特征计算获取待识别目标对象与注册对象的脸部特征相似度也可以采用欧式距离或余弦距离等计算方法计算得到。以余弦距离为例,设两者特征之间余弦距离为D1,则两者特征相似度为A1=1-D1,其中A1取值范围为[-1,1]。
图3是根据一示例性实施例示出的根据多个特征相似度以及分类类别获取待识别目标对象的识别结果的流程图,参照图3所示,作为一种较优的实施方式,本发明实施例中,所述根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果包括:
S201:将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体。
具体的,本发明实施例中,为了提高识别的准确度,在获取到待识别目标对象与注册对象之间的多个特征相似度(如脸部特征相似度、身体特征相似度)以及待识别目标对象的分类类别后,通过多特征决策来对以上特征进行综合决策,获取最终识别结果。
具体在实施时,先比对将待识别目标对象的分类类别与注册对象的分类类别,如果比对结果是不一致,则说明待识别目标对象与注册对象是两个不同的个体,此时,不需要在比对其他特征,直接结束流程,同时返回待识别目标对象与注册对象为不同个体的识别结果。以猫为例,若是待识别目标对象的分类类别为布偶猫,而注册对象的类别暹罗猫,则直接可以说明两者肯定不是同一个猫,此时,也就没有必要继续比对其他特征了。
S202:若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
具体的,如果比对出将待识别目标对象的分类类别与注册对象的分类类别一致,此时,继续进行其他特征的比对(即进行多个特征相似度的比对)。本发明实施例中,为每个特征相似度预先设置一阈值,当所有特征相似度都满足其预设阈值时,则判定待识别目标对象与注册对象为相同个体,否则,只要有一个特征相似度不满足预设阈值,就判定该待识别目标对象与注册对象为不同个体。
这里需要说明的是,本发明实施例中,特征相似度满足预设阈值是指特征相似度的值大于该预设阈值。例如,给定脸部特征相似度的阈值为T1,身体特征相似度的阈值为T2,如果待识别目标对象与注册对象的脸部特征相似度大于T1并且身体特征相似度大于T2,则将两者判定为相同个体,否则,将两者判定为不同个体。
图4是根据一示例性实施例示出的实例分割模型的训练过程的流程图,参照图4所示,作为一种较优的实施方式,本发明实施例中,所述方法还包括实例分割模型的训练过程,包括:
S301:对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图。
具体的,本发明实施例中,采用的实例分割模型是经过改进的,该模型不仅能够预测待识别目标对象的分类类别,还能够将图片中待识别目标对象的不同部位(如脸部、身体等)的精确区域的掩膜(Mask)分割出来。作为一种较优的实施方式,可以采用改进的MaskRCNN模型作为本发明实施例的实例分割模型。由于实例分割模型需要能够预测待识别目标对象的分类类别并且能够将图片中待识别目标对象的不同部位分割出来,因此,模型的训练输入除了需要训练图片之外,还需要训练图片中对象的分类类别和实例分割图。
在训练数据的准备过程中,需要对训练集中的训练图片添加上标签,标签至少要包括训练图片中对象的分类类别和实例分割图,其中实例分割图至少包括脸部分割图和身体分割图。
S302:采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
具体的,本方实施例中,引入多任务学习的训练方式同时训练分类类别和分割图两个目标。这样模型表示(representation)提取诸如脸部、身体(包括花纹)等特征既可以用于定位分割也可以用于品种判断,两个任务协同训练可以相互约束、协助,提高训练效率。例如,当待识别目标对象为猫时,模型的输入为宠物猫的图片,模型的输出是宠物猫的分类类别Ci(i=1,...,K),K为类别总数,以及宠物猫部分分割图M=[M0,M1,M2],其中M0为图片中除宠物猫之外的背景分割图,M1为宠物猫脸部分割图,M2为宠物猫身体分割图。
这里需要说明的是,由于实例分割和分类类别的样本标注难度有显著差异,因此在数据集准备过程中,本发明实施例中可以准备相对大量的用于分类类别的样本,和相对较小数量的实例分割样本。对应的,在模型的训练方法上可以使用多阶段训练的方式,具体如下:
首先,利用大规模的通用分类数据集进行基础网络的预训练,使得网络具备提取各层级视觉特征的能力;其次,利用相对大量的通用对象检测与分割数据集训练一个基础的实例分割模型;最后,利用既有分类类别标签又有分割标签(掩膜图像)的目标对象数据集进行多任务学习,通过精调(finetune)方式来训练实例分割任务。
图5是根据一示例性实施例示出的目标对象的识别装置的结构示意图,参照图5所示,该装置包括:
图片处理模块,用于从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征;
相似度计算模块,用于根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度;
结果识别模块,用于根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果。
作为一种较优的实施方式,本发明实施例中,所述图片处理模块包括:
实例分割单元,用于利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及所述待识别目标对象的分类类别;
特征提取单元,用于利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
作为一种较优的实施方式,本发明实施例中,所述相似度计算模块包括:
分类判断单元,用于当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致;
相似度计算单元,用于采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
作为一种较优的实施方式,本发明实施例中,所述结果识别模块包括:
类别比较单元,用于将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体;
阈值比较单元,用于若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
作为一种较优的实施方式,本发明实施例中,所述装置还包括模型训练模块,包括:
标签添加单元,用于对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图;
模型训练单元,用于采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
综上所述,本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的目标对象的识别方法及装置,通过从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征,根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度,根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果,针对类似猫这一类不方便通过鼻纹来识别的动物,综合考虑目标对象(如猫)身上的多个属性特征,对目标对象进行识别,可以提高识别的准确度。
需要说明的是:上述实施例提供的目标对象的识别装置在触发识别业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标对象的识别装置与目标对象的识别方法实施例属于同一构思,即该装置是基于该目标对象的识别方法的,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种目标对象的识别方法,其特征在于,所述方法包括如下步骤:
从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征;
根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度;
根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果;
其中,若所述分类类别与所述注册对象的分类类别一致,则根据多个所述特征相似度是否均满足预设阈值,判断所述待识别目标对象与所述注册对象是否为相同个体。
2.根据权利要求1所述的目标对象的识别方法,其特征在于,所述从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别包括:
利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及所述待识别目标对象的分类类别;
利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
3.根据权利要求1或2所述的目标对象的识别方法,其特征在于,所述待识别目标对象包括体表有毛的动物,所述身体特征的分类至少包括纯色、条纹以及花斑,所述根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度包括:
当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致,若一致,则采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
4.根据权利要求1或2所述的目标对象的识别方法,其特征在于,所述根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果包括:
将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体;
若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
5.根据权利要求2所述的目标对象的识别方法,其特征在于,所述方法还包括实例分割模型的训练过程,包括:
对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图;
采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
6.一种目标对象的识别装置,其特征在于,所述装置包括:
图片处理模块,用于从待识别目标对象的图片中提取所述待识别目标对象不同部位的目标特征以及所述待识别目标对象的分类类别,所述目标特征至少包括脸部特征和身体特征;
相似度计算模块,用于根据所述目标特征以及注册对象相应的特征分别计算获取多个所述目标特征与所述注册对象的多个特征相似度;
结果识别模块,用于根据多个所述特征相似度以及所述分类类别获取所述待识别目标对象的识别结果;
其中,结果识别模块包括类别比较单元和阈值比较单元;
类别比较单元,用于将所述分类类别与所述注册对象的分类类别进行比较,若不一致,则判定所述待识别目标对象与所述注册对象为不同个体;
阈值比较单元,用于若所述分类类别与所述注册对象的分类类别一致,则判断多个所述特征相似度是否均满足预设阈值,若满足,则判定所述待识别目标对象与所述注册对象为相同个体,否则判定所述待识别目标对象与所述注册对象为不同个体。
7.根据权利要求6所述的目标对象的识别装置,其特征在于,所述图片处理模块包括:
实例分割单元,用于利用实例分割模型对接收到的待识别目标对象的图片进行实例分割,获取所述待识别目标对象不同部位的多个分割图以及
所述待识别目标对象的分类类别;
特征提取单元,用于利用预设的特征提取方法分别从多个所述分割图中提取出对应的目标特征,所述目标特征至少包括脸部特征和身体特征。
8.根据权利要求6或7所述的目标对象的识别装置,其特征在于,所述相似度计算模块包括:
分类判断单元,用于当所述目标特征为身体特征时,判断所述身体特征与所述注册对象的身体特征的分类是否一致;
相似度计算单元,用于采用对应的相似度计算方法计算获取所述身体特征与所述注册对象的身体特征的身体特征相似度。
9.根据权利要求7所述的目标对象的识别装置,其特征在于,所述装置还包括模型训练模块,包括:
标签添加单元,用于对训练集中的训练图片添加上标签,所述标签包括所述训练图片中对象的分类类别和实例分割图,所述实例分割图至少包括脸部分割图和身体分割图;
模型训练单元,用于采用多任务学习的训练方式使用所述训练图片以及所述标签训练预先构建的实例分割模型,获取最终的实例分割模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911423553.7A CN111144378B (zh) | 2019-12-30 | 2019-12-30 | 一种目标对象的识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911423553.7A CN111144378B (zh) | 2019-12-30 | 2019-12-30 | 一种目标对象的识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144378A CN111144378A (zh) | 2020-05-12 |
CN111144378B true CN111144378B (zh) | 2023-10-31 |
Family
ID=70523155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911423553.7A Active CN111144378B (zh) | 2019-12-30 | 2019-12-30 | 一种目标对象的识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144378B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679189A (zh) * | 2012-09-14 | 2014-03-26 | 华为技术有限公司 | 场景识别的方法和装置 |
CN108171274A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于识别动物的方法和装置 |
CN108776819A (zh) * | 2018-06-05 | 2018-11-09 | Oppo广东移动通信有限公司 | 一种目标识别方法、移动终端及计算机可读存储介质 |
CN109117857A (zh) * | 2018-08-28 | 2019-01-01 | 苏州芯德锐信息科技有限公司 | 一种生物属性的识别方法、装置及设备 |
CN109173263A (zh) * | 2018-08-31 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和装置 |
CN109548691A (zh) * | 2018-12-26 | 2019-04-02 | 北京量子保科技有限公司 | 一种宠物识别方法、装置、介质和电子设备 |
CN109558810A (zh) * | 2018-11-12 | 2019-04-02 | 北京工业大学 | 基于部位分割与融合目标人物识别方法 |
WO2019061662A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技(深圳)有限公司 | 电子装置、投保牲畜识别方法和计算机可读存储介质 |
CN109829381A (zh) * | 2018-12-28 | 2019-05-31 | 北京旷视科技有限公司 | 一种犬只识别管理方法、装置、系统及存储介质 |
CN110083723A (zh) * | 2019-04-24 | 2019-08-02 | 成都大熊猫繁育研究基地 | 一种小熊猫个体识别方法、设备及计算机可读存储介质 |
CN110163127A (zh) * | 2019-05-07 | 2019-08-23 | 国网江西省电力有限公司检修分公司 | 一种由粗到细的视频目标行为识别方法 |
CN110472609A (zh) * | 2019-08-21 | 2019-11-19 | 广东工业大学 | 一种鸟类图像识别方法、装置、设备和存储介质 |
CN110598790A (zh) * | 2019-09-12 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 一种图像的识别方法、装置、电子设备及存储介质 |
-
2019
- 2019-12-30 CN CN201911423553.7A patent/CN111144378B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679189A (zh) * | 2012-09-14 | 2014-03-26 | 华为技术有限公司 | 场景识别的方法和装置 |
WO2019061662A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技(深圳)有限公司 | 电子装置、投保牲畜识别方法和计算机可读存储介质 |
CN108171274A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于识别动物的方法和装置 |
CN108776819A (zh) * | 2018-06-05 | 2018-11-09 | Oppo广东移动通信有限公司 | 一种目标识别方法、移动终端及计算机可读存储介质 |
CN109117857A (zh) * | 2018-08-28 | 2019-01-01 | 苏州芯德锐信息科技有限公司 | 一种生物属性的识别方法、装置及设备 |
CN109173263A (zh) * | 2018-08-31 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和装置 |
CN109558810A (zh) * | 2018-11-12 | 2019-04-02 | 北京工业大学 | 基于部位分割与融合目标人物识别方法 |
CN109548691A (zh) * | 2018-12-26 | 2019-04-02 | 北京量子保科技有限公司 | 一种宠物识别方法、装置、介质和电子设备 |
CN109829381A (zh) * | 2018-12-28 | 2019-05-31 | 北京旷视科技有限公司 | 一种犬只识别管理方法、装置、系统及存储介质 |
CN110083723A (zh) * | 2019-04-24 | 2019-08-02 | 成都大熊猫繁育研究基地 | 一种小熊猫个体识别方法、设备及计算机可读存储介质 |
CN110163127A (zh) * | 2019-05-07 | 2019-08-23 | 国网江西省电力有限公司检修分公司 | 一种由粗到细的视频目标行为识别方法 |
CN110472609A (zh) * | 2019-08-21 | 2019-11-19 | 广东工业大学 | 一种鸟类图像识别方法、装置、设备和存储介质 |
CN110598790A (zh) * | 2019-09-12 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 一种图像的识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111144378A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445562B2 (en) | AU feature recognition method and device, and storage medium | |
Kumar et al. | Face recognition of cattle: can it be done? | |
CN104732601B (zh) | 一种基于人脸识别技术的高识别率自动考勤装置及方法 | |
CN110751022A (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
CN106295313B (zh) | 对象身份管理方法、装置和电子设备 | |
KR20220150868A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
Bedagkar-Gala et al. | Multiple person re-identification using part based spatio-temporal color appearance model | |
JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
Bergamini et al. | Multi-views embedding for cattle re-identification | |
CN103824052A (zh) | 一种基于多层次语义特征的人脸特征提取方法及识别方法 | |
KR102325259B1 (ko) | 반려동물 생애 관리 시스템 및 그 방법 | |
Xue et al. | Open set sheep face recognition based on Euclidean space metric | |
CN112541432A (zh) | 一种基于深度学习的视频牲畜身份认证系统及方法 | |
KR101732815B1 (ko) | 개체 특징점 추출 방법 및 장치, 이를 이용하는 개체 인식 시스템 | |
Kumar et al. | Animal Biometrics | |
Ahmad et al. | AI-Driven livestock identification and insurance management system | |
CN113963295A (zh) | 视频片段中地标识别方法、装置、设备及存储介质 | |
CN113420709A (zh) | 牛脸特征提取模型训练方法、系统及牛的保险方法、系统 | |
CN113792603A (zh) | 基于人工智能的牲畜身体识别系统及使用方法 | |
CN111144378B (zh) | 一种目标对象的识别方法及装置 | |
CN111738062A (zh) | 一种基于嵌入式平台的自动再识别方法及系统 | |
Bustamin et al. | A portable cattle tagging based on muzzle pattern | |
KR102325250B1 (ko) | 반려동물 식별 시스템 및 그 방법 | |
Gonzalez-Soler et al. | Semi-synthetic data generation for tattoo segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |