CN112215136B - 一种目标人物识别方法、装置、电子设备及存储介质 - Google Patents
一种目标人物识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112215136B CN112215136B CN202011080198.0A CN202011080198A CN112215136B CN 112215136 B CN112215136 B CN 112215136B CN 202011080198 A CN202011080198 A CN 202011080198A CN 112215136 B CN112215136 B CN 112215136B
- Authority
- CN
- China
- Prior art keywords
- character
- person
- preset
- feature
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供的一种目标人物识别方法、装置、电子设备及存储介质,可以通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果,若匹配,则输出匹配人物特征对应的身份信息;若不匹配则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息。从而不但可以通过特征匹配提高待识别人物的识别的精确率,还可以通过特征匹配与模型识别结合提高识别出目标人物的身份信息的概率,提高用户体验。
Description
技术领域
本发明涉及图像识别技术领域,特别是涉及一种目标人物识别方法、装置、电子设备及存储介质。
背景技术
目前,随着图像识别技术的快速发展,其用处已经越来越广泛。例如,人脸识别、人脸支付以及对视频内容中的卡通人物识别等等。
现有技术在进行人物识别时,往往仅仅通过预先训练好的图像识别模型进行识别,得到图像对应的识别结果。然而,在通过图像识别模型进行识别时,往往会图像识别模型的识别精度不高,从而影响用户体验。
发明内容
本发明实施例的目的在于提供一种目标人物识别方法、装置、电子设备及存储介质,以提高图像的识别精度。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种目标人物识别方法,包括:
获得包含待识别人物的待识别图像;
通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;
将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果;
若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。
可选的,通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征的步骤,包括:
通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;多模态特征,用于表征人物的多个预设部位及全局的特征;
样本目标人物特征的获取步骤,包括:
预先针对每个样本目标人物,获得包含该样本目标人物的多个预设部位及完整人体的多个图像,作为样本目标人物图像;并,
通过预设特征提取网络模型从样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
可选的,通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征的步骤,包括:
通过预设特征提取网络模型从待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量;
根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到待识别人物的多模态特征,并将待识别人物的多模态特征作为待识别人物特征;
通过预设特征提取网络模型从目标人物图像中,提取目标人物的多模态特征,作为目标人物特征的步骤,包括:
通过预设特征提取网络模型提取目标人物图像中各图像的特征向量,得到多个目标特征向量;
根据各预设部位及全局的预设权重对多个目标特征向量进行组合,得到目标人物的多模态特征,并将目标人物的多模态特征作为目标人物特征。
可选的,将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果的步骤,包括:
将待识别人物特征与多个预设人物特征中的各预设人物特征进行相似度的计算,得到待识别人物特征与多个预设人物特征中的各预设人物特征之间的相似度;
多个预设人物特征中,当任一预设人物特征与待识别人物特征之间的相似度大于第一预设阈值,则匹配结果为任一预设人物特征与待识别人物特征相匹配。
可选的,将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果的步骤,包括:
把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;Faiss中存储有多个预设人物特征;
若匹配置信度大于第一预设阈值,则将匹配人物身份信息作为与待识别人物特征相匹配的匹配人物特征;
若匹配置信度不大于第一预设阈值,则匹配结果为不存在与待识别人物特征相匹配的匹配人物特征。
可选的,将目标人物特征输入预设的人物识别模型,得到人物识别模型输入的待识别人物的身份信息,作为待识别人物的识别结果的步骤,包括:
将目标人物特征输入预设的人物识别模型,通过预设的人物识别模型对目标人物特征进行识别,得到对应的第一人物身份信息和第一人物身份信息对应的第一置信度;
当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果。
可选的,当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果之后,上述方法还包括:
当第一置信度不大于第二预设阈值时,通过人工方式获取第一人物的身份信息;
将通过人工方式获取到的第一人物的身份信息与第一人物的待识别人物特征绑定,并添加到多个预设人物特征中。
可选的,人物识别模型的训练过程,包括:
将样本特征输入待训练的人物识别模型中,其中,样本特征为通过预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,第一样本人物为预先获取正确身份信息的人物;
通过待训练的人物识别模型对样本特征进行识别,得到样本特征对应的第一识别结果;
根据第一识别结果和第一样本人物的正确身份信息计算待训练的人物识别模型的损失;
当待训练的人物识别模型的损失不小于第三预设阈值时,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第三预设阈值。
可选的,预设特征提取网络模型的训练过程,包括:
将第二样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第二样本图像中的第二样本人物进行特征提取,得到第二样本人物的特征,其中,第二样本人物为预先获取正确身份信息的人物;
通过训练好的人物识别模型对第二样本人物的特征进行识别,得到第二样本人物对应的第二识别结果;
根据第二识别结果和第二样本人物的正确身份信息计算待训练的特征提取网络模型的损失;
当待训练的特征提取网络模型的损失不小于第四预设阈值时,根据待训练的特征提取网络模型的损失对待训练的特征提取网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第四预设阈值。
可选的,预设特征提取网络模型和人物识别模型的训练过程,包括:
将第三样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第三样本图像中的第三样本人物进行特征提取,得到第三样本人物的特征,其中,第三样本人物为预先获取正确身份信息的人物;
将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对第三样本人物的特征进行识别,得到第三样本人物的特征对应的第三识别结果;
根据第三识别结果和第三样本人物的正确身份信息通过预设损失函数计算得到当前损失;
当当前损失不小于第四预设阈值时,根据当前损失对待训练的特征提取网络模型和待训练的网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
可选的,待识别人物为卡通人物,样本目标人物为真人和/或卡通人物。
在本发明实施的第二方面,提供了一种目标人物识别装置,包括:
图像获取模块,用于获得包含待识别人物的待识别图像;
特征提取模块,用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;
特征匹配模块,用于将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
第一识别结果输出模块,用于若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果;
第二识别结果输出模块,用于若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。
可选的,特征提取模块,具体用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;多模态特征,用于表征人物的多个预设部位及全局的特征;
上述装置还包括:
目标人物图像获得模块,包括:目标人物子模块,用于预先针对每个样本目标人物,获得包含该样本目标人物的多个预设部位及完整人体的多个图像,作为样本目标人物图像;
目标人物特征提取模块,用于通过预设特征提取网络模型从样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
可选的,目标人物子模块具体包括:
特征向量提取子模块,用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量;
特征向量组合模块,用于根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到待识别人物的多模态特征,并将待识别人物的多模态特征作为待识别人物特征;
目标人物子模块具体还包括:
目标向量提取子模块,用于通过预设特征提取网络模型提取目标人物图像中各图像的特征向量,得到多个目标特征向量;
目标向量组合子模块,用于根据各预设部位及全局的预设权重对多个目标特征向量进行组合,得到目标人物的多模态特征,并将目标人物的多模态特征作为目标人物特征。
可选的,特征匹配模块还包括:
相似度计算子模块,用于将待识别人物特征与多个预设人物特征中的各预设人物特征进行相似度的计算,得到待识别人物特征与多个预设人物特征中的各预设人物特征之间的相似度;
相似度判断子模块,用于多个预设人物特征中,当任一预设人物特征与待识别人物特征之间的相似度大于第一预设阈值,则匹配结果为任一预设人物特征与待识别人物特征相匹配。
可选的,特征匹配模块,包括:
匹配信息输出子模块,用于把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;Faiss中存储有多个预设人物特征;
匹配特征获取子模块,用于若匹配置信度大于第一预设阈值,则将匹配人物身份信息作为与待识别人物特征相匹配的匹配人物特征;
不匹配判断子模块,用于若匹配置信度不大于第一预设阈值,则匹配结果为不存在与待识别人物特征相匹配的匹配人物特征。
可选的,模型识别模块,包括:
置信度获取子模块,用于将目标人物特征输入预设的人物识别模型,通过预设的人物识别模型对目标人物特征进行识别,得到对应的第一人物身份信息和第一人物身份信息对应的第一置信度;
置信度判断子模块,用于当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果。
可选的,上述装置还包括:
人工识别模块,用于当第一置信度不大于第二预设阈值时,通过人工方式获取第一人物的身份信息;
特征绑定模块,用于将通过人工方式获取到的第一人物的身份信息与第一人物的待识别人物特征绑定,并添加到多个预设人物特征中。
可选的,上述装置还包括第一训练模块用于:
将样本特征输入待训练的人物识别模型中,其中,样本特征为通过预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,第一样本人物为预先获取正确身份信息的人物;
通过待训练的人物识别模型对样本特征进行识别,得到样本特征对应的第一识别结果;
根据第一识别结果和第一样本人物的正确身份信息计算待训练的人物识别模型的损失;
当待训练的人物识别模型的损失不小于第三预设阈值时,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第三预设阈值。
可选的,上述装置还包括第二训练模块用于:
将第二样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第二样本图像中的第二样本人物进行特征提取,得到第二样本人物的特征,其中,第二样本人物为预先获取正确身份信息的人物;
通过训练好的人物识别模型对第二样本人物的特征进行识别,得到第二样本人物对应的第二识别结果;
根据第二识别结果和第二样本人物的正确身份信息计算待训练的特征提取网络模型的损失;
当待训练的特征提取网络模型的损失不小于第四预设阈值时,根据待训练的特征提取网络模型的损失对待训练的特征提取网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第四预设阈值。
可选的,上述装置还包括第三训练模块用于:
将第三样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第三样本图像中的第三样本人物进行特征提取,得到第三样本人物的特征,其中,第三样本人物为预先获取正确身份信息的人物;
将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对第三样本人物的特征进行识别,得到第三样本人物的特征对应的第三识别结果;
根据第三识别结果和第三样本人物的正确身份信息通过预设损失函数计算得到当前损失;
当当前损失不小于第四预设阈值时,根据当前损失对待训练的特征提取网络模型和待训练的网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
可选的,待识别人物为卡通人物,样本目标人物为真人和/或卡通人物。
在本发明实施的第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,实现上述任一的方法步骤。
在本发明实施的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一的方法步骤。
本发明实施例提供的一种目标人物识别方法、装置、电子设备及存储介质,可以获得包含待识别人物的待识别图像;通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果;若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。从而可以通过提取待识别人物特征,将该待识别人物特征与预设特征进行匹配得到待识别人物的识别结果,并在不存在与待识别人物特征相匹配的匹配人物特征时,再通过模型对根据待识别人物特征进行识别,从而不但可以通过特征匹配提高待识别人物识别的精确率,还可以通过特征匹配与模型识别提高识别出目标人物的身份信息的概率,提高用户体验。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标人物识别方法的第一种流程示意图;
图2a为本发明实施例中提取待识别人物多模态特征的一种流程示意图;
图2b为2a所示实施例中所使用的多模态特征提取模型结构示意图;
图3为本发明实施例中提取待识别人物多模态特征的另一种流程示意图;
图4为本发明实施例中特征匹配的一种流程示意图;
图5为本发明实施例中通过Faiss进行特征匹配的流程示意图;
图6为本发明实施例提供的目标人物识别方法的第三种流程示意图;
图7a为本发明实施例中特征提取网络模型的训练过程示意图;
图7b为本发明实施例中人物识别模型的训练过程示意图;
图8为本发明实施例中特征提取网络模型和人物识别模型的联合训练过程示意图;
图9为本发明实施例提供的卡通人物识别方法示例图;
图10为本发明实施例提供的目标人物识别装置的结构示意图;
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施的第一方面,首先提供了一种目标人物识别方法,包括:
获得包含待识别人物的待识别图像;
通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;
将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果;
若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。
可见,通过本发明实施例的目标人物识别方法,可以通过提取待识别人物特征,将该待识别人物特征与预设特征进行匹配得到待识别人物的识别结果,并在不存在与待识别人物特征相匹配的匹配人物特征时,再通过模型对根据待识别人物特征进行识别,从而不但可以通过特征匹配提高待识别人物识别的精确率,还可以通过特征匹配与模型识别提高识别出目标人物的身份信息的概率,提高用户体验。
以下进行详细说明,参见图1,图1为本发明实施例提供的目标人物识别方法的第一种流程示意图,包括:
步骤S11,获得包含待识别人物的待识别图像。
其中,上述待识别人物的待识别图像可以为卡通人物的图像,也可以为普通人物的图像。例如,用户在浏览网页时,在浏览网页时看到的某一明星的图像,或某一卡通人物的图像,在用户希望通过该图像获取该明星的姓名等相关信息或该卡通人物的姓名对应的动漫等相关信息时,网页中的图像。
本发明实施例的目标人物识别方法针对的是智能终端设备中的图像数据,因此可以通过智能终端设备执行,具体的,该智能终端设备可以为电脑或服务器等,并不做具体限制。
步骤S12,通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征。
其中,上述预设特征提取网络模型可以为预先训练得到的任一类型的神经网络模型。例如:可以是CNN网络模型或ANN网络模型等。通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征,可以为通过预先训练好的特征提取网络模型提取上述待识别图像中提取待识别人物的脸部特征或身体的特征,例如待识别人物的发型,四肢或服装等部位的局部特征。并对所得到局部特征通过特征向量拼接等操作得到待识别人物特征,使得得到的待识别人物特征可以反映待识别人物的多个部位的特征。
步骤S13,将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果。
其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征。
其中,将待识别人物特征与多个预设人物特征进行特征匹配,可以为将上述可以反映待识别人物的多个部位的特征的待识别人物特征与多个预设人物特征进行特征匹配。其中,多个预设人物特征可以为与上述待识别人物特征为相同类型的特征,即多个预设人物特征中的每一预设人物特征均可以反映该预设人物的多个部位的特征。
步骤S14,若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果。
其中,存在与待识别人物特征相匹配的匹配人物特征,可以是上述待识别人物特征与上述多个预设人物特征中的某一预设人物特征之间的相似度大于某一阈值,则认为该预设人物特征与待识别人物特征相匹配,即输出该预设人物特征对应的身份信息。其中,上述身份信息可以是能唯一标识待识别人物身份的信息,例如姓名,还可以包括该人物参演过的影视剧等。
步骤S15,若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。
其中,不存在与待识别人物特征相匹配的匹配人物特征,即上述多个预设人物特征中不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,该人物识别模型可以为预先训练好的任一类型的人物识别模型,该模型可以根据待识别人物特征进行待识别人物的身份信息的识别。
可见,通过本发明实施例的目标人物识别方法,可以通过提取待识别人物特征,将该待识别人物特征与预设特征进行匹配得到待识别人物的识别结果,并在不存在与待识别人物特征相匹配的匹配人物特征时,再通过模型对根据待识别人物特征进行识别,从而不但可以通过特征匹配提高待识别人物识别的精确率,还可以通过特征匹配与模型识别提高识别出目标人物的身份信息的概率,提高用户体验。
可选的,待识别人物特征可以是多模态特征。这种情况下,参见图2a,步骤S12通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征的步骤,可以包括:
步骤S121,通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;该多模态特征,用于表征人物的多个预设部位及全局的特征。
其中,上述预设部位可以为待识别人物的局部,例如头发、人脸、上半身、下半身等。全局可以是包括局部,例如可以是待识别人物的全身。上述提取待识别人物的多模态特征,可以为通过预设特征提取网络模型提取待识别人物多个预设部位的及全局的特征,例如,通过预设特征提取网络模型提取待识别人物身体特征得到全局特征,以及头发特征、人脸特征、上半身特征、下半身特征四个局部特征。
预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,可以通过上述多模态特征对待识别人物进行表征。同时,由于上述多模态特征包括了待识别人物多个预设部位及全局的特征,因此在进行待识别人物身份信息识别时,可以提高识别的精确率。例如:动画片《葫芦娃》中有大娃、二娃、三娃…形象比较接近的卡通人物。在进行葫芦娃的识别时,由于各个葫芦娃的形象比较接近,例如仅在服装的或发型上有细微差异。因此,通过传统的脸部特征进行识别时,难以区分出大娃和二娃等,而通过获取多个部位的特征,如发型、服装等特征后,得到多模态特征提取模型得到的多模态特征则可以便于进行人物的区别,提高识别的精确率。
可选的,通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征的步骤,包括:
通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;多模态特征,用于表征人物的多个预设部位及全局的特征;
上述样本目标人物特征的获取步骤,包括:
预先针对每个样本目标人物,获得包含该样本目标人物的多个预设部位及完整人体的多个图像,作为样本目标人物图像;并,
通过预设特征提取网络模型从样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
其中,预先针对每个样本目标人物,获得包含该样本目标人物的所述多个预设部位及完整人体的多个图像,作为样本目标人物图像。可以通过预设网络模型提取出该样本目标人物的所述多个预设部位及完整人体的多个图像,例如,提出样本目标人物的四肢的图像,头部的图像,然后将提取到的图像与全局的图像一起作为样本目标人物图像。通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征,可以为通过与上述特征提取网络模型相同或不同的特征提取网络模型进行目标人物的人物特征的提取。其中,目标人物的多模态特征为提取目标人物的多个预设部位及全局的特征得到的特征。
参见图3,步骤S12通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征的步骤,具体可以包括:
步骤S122,通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量。
其中,通过预设特征提取网络模型从待识别图像中,提取待识别人物的多个预设部位及全局的特征向量,可以为通过任一网络模型的特征提取方法提取待识别人物的多个预设部位及全局的特征对应的特征向量。例如,将待识别图像输入预设特征提取网络模型中,得到该待识别图像的LBP(Local Binary Patterns,局部二值模式)图,并根据该LBP图提取出各个预设部位及全局的特征向量。
步骤S123,根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到所述待识别人物的多模态特征,并将所述待识别人物的多模态特征作为待识别人物特征。
其中,上述根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,例如,针对不同的待识别特征向量将其乘以预设权重后,再将乘以预设权重后的向量进行拼接。其中,预设权重可以为认为设定的数值,也可以为对上述预设特征提取网络模型训练过程中得到的数值,在实际识别过程中,针对不同的部位其权重也往往不同。
在实际使用过程中,可以使用Attention Module(注意力机制)进行多模态特征的获取。例如,参见图2b,图2b为本发明实施例中提取待识别人物的多模态特征的流程示意图,通过预设特征提取网络模型提取待识别人物两个全局特征,以及四个局部特征,得到一个6维特征,将该6维特征通过1×1的卷积层后通过全连接层,将全连接层输出的6维特征进行变换后与该全连接层输出的6维特征进行矩阵相乘,并将得到的特征通过softmax层,得到6×6的特征。将该6×6的特征与上述6维特征进行矩阵相乘,得到一个6×1维的特征,将该6×1维的特征与上述6维特征进行对应位置的相加,并通过压缩得到一个1×6维的特征,即为待识别人物的多模态特征。
本实施例中通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征的步骤可以包括:通过预设特征提取网络模型从待识别图像中,提取待识别人物的多个预设部位及全局的特征向量,得到多个待识别特征向量;根据各预设部位及全局的预设权重对多个待识别特征向量进行组合,得到待识别人物的多模态特征,并将待识别人物的多模态特征作为待识别人物特征。从而可以通过向量对待识别人物的预设部位及全局的特征进行表示,并根据向量的组合得到包含待识别人物的多个预设部位及全局的特征的多模态特征。
通过预设特征提取网络模型从目标人物图像中,提取目标人物的多模态特征,作为目标人物特征的步骤,包括:
步骤1,通过预设特征提取网络模型提取目标人物图像中各图像的特征向量,得到多个目标特征向量。
步骤2,根据各预设部位及全局的预设权重对多个目标特征向量进行组合,得到目标人物的多模态特征,并将目标人物的多模态特征作为目标人物特征。
其中,通过预设特征提取网络模型提取目标人物图像中各图像的特征向量,得到多个目标特征向量,并根据各预设部位及全局的预设权重对多个目标特征向量进行组合,得到目标人物的多模态特征,可以为同上述步骤S122和步骤S123相同的方法获取目标人物图像中的多个目标特征,得到的与上述步骤S122和步骤S123相同类型的特征。
可选的,图1中的步骤S13将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果的步骤,可以通过直接将待识别人物特征与多个预设人物特征进行相似度计算。参见图4,包括:
步骤S131,将待识别人物特征与多个预设人物特征中的各预设人物特征进行相似度的计算,得到待识别人物特征与多个预设人物特征中的各预设人物特征之间的相似度。
其中,将待识别人物特征与多个预设人物特征中的各预设人物特征进行相似度的计算,可以通过多种方式进行计算,例如,计算待识别人物特征向量与多个预设人物特征向量之间的皮尔逊相关系数,欧几里德距离等,得到待识别人物特征对应多个预设人物特征中的各预设人物特征的相似度。
步骤S132,多个预设人物特征中,当任一预设人物特征与待识别人物特征之间的相似度大于第一预设阈值,则匹配结果为任一预设人物特征与待识别人物特征相匹配。
其中,当任一预设人物特征与待识别人物特征之间的相似度大于第一预设阈值,可以认为该任一预设人物特征与待识别人物特征为同一人物对应的特征,即该任一预设人物特征与待识别人物特征对应同一人物的身份信息。
通过得到待识别人物特征与多个预设人物特征中的各预设人物特征之间的相似度,并根据第一预设阈值判断预设人物特征与待识别人物特征是否匹配,从而可以根据预设人物特征对应的身份信息得到待识别人物的身份信息,对待识别人物的身份进行识别。
可选的,步骤S15中,将目标人物特征输入预设的人物识别模型,得到人物识别模型输入的待识别人物的身份信息,作为待识别人物的识别结果的步骤,包括:
步骤a,将目标人物特征输入预设的人物识别模型,通过预设的人物识别模型对目标人物特征进行识别,得到对应的第一人物身份信息和第一人物身份信息对应的第一置信度。
其中,预设的人物识别模型为预先训练好的通过人物特征进行人物身份识别的模型,通过将目标人物特征输入预设的人物识别模型。
上述人物识别模型可以为通过多组已知对应的身份信息的人物特征训练得到的网络模型,可以包括输入层、多个卷积层、多个下采样层、多个全连接层等,其中当对目标人物进行识别时,通过输入层将目标人物特征输入到当前人物识别模型,通过卷积层对目标人物特征进行多次卷积操作和下采样,最后通过多个全连接层,得到目标人物对应的人物身份信息。
步骤b,当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果。
通过预设的人物识别模型得到对应的第一人物身份信息和第一人物身份信息对应的第一置信度,当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果。可以通过预先训练好的网络模型得到目标人物的网络模型识别结果,并可以根据该网络模型识别结果判断识别结果的可信度,得到目标人物对应的身份信息。
具体的,参见图5,步骤S13将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果的步骤,可以包括:
步骤S133,把提取的待识别人物特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;Faiss中预先存储有多个预设人物特征。
其中,开源的相似性搜索类库Faiss可以从多媒体文档中快速搜索出相似的条目。把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度,可以为:将提取的特征与Faiss中各预设的特征进行相似度的计算,得到提取的特征与上述Faiss中各个预设特征之间的相似度的数值作为匹配置信度,以及上述Faiss中各预设特征对应的人物的身份信息。
步骤S134,若匹配置信度大于第一预设阈值,则将匹配人物身份信息作为与待识别人物特征相匹配的匹配人物特征。
其中,当上述提取的特征与上述Faiss中任一预设特征之间的相似度的数值大于第一预设阈值时,将该Faiss中任一预设特征对应的人物的身份信息作为待识别人物特征相匹配的匹配人物特征。
例如,对某一待识别人物进行识别时,提取到该待识别人物的特征与Faiss中的各预设特征进行匹配,得到该待识别人物特征与Faiss中的动画片《葫芦娃》中的大娃的预设特征的匹配度为0.98,大于第一预设阈值0.95,则身份信息动画片《葫芦娃》中的大娃的预设特征为待识别人物相匹配的匹配人物特征。
步骤S135,若匹配置信度不大于第一预设阈值,则匹配结果为不存在与待识别人物特征相匹配的匹配人物特征。
其中,上述若匹配置信度不大于第一预设阈值,即上述提取的特征与上述Faiss中所有预设特征之间的相似度的数值不大于第一预设阈值,则可以认为上述提取的待识别人物特征与上述Faiss中所有预设特征均为不同的人物对应的特征。
可见,通过上述把提取的特征送入到保存了预先提取到的多个已知身份信息的人物对应的预设特征的Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度,并根据置信度判断对应的匹配人物身份信息。由于Faiss可以直接用,可以很方便地根据上述提取的待识别人物特征进行对应的人物身份信息的确定,得到对应的人物身份信息。
可选的,参见图6,上述方法还包括:
步骤S16,当第一置信度不大于第二预设阈值时,通过人工方式获取第一人物的身份信息。
其中,当第一置信度不大于第二预设阈值时,可以认为目标人物特征与第一人物身份不相符。通过人工方式获取第一人物的身份信息,可以为通过人工方式根据目标人物特征对应的待识别人物的待识别图像,得到第一人物的身份信息。
步骤S17,将通过人工方式获取到的第一人物的身份信息与第一人物的待识别人物特征绑定,并添加到多个预设人物特征中。
其中,将通过人工方式获取到的第一人物的身份信息与第一人物的待识别人物特征绑定,并添加到多个预设人物特征中,当再次进行识别时,可以通过匹配的方式得到识别结果,即对应的人物身份信息,从而提高用户体验。
本发明实施例中,涉及人物识别模型和特征提取网络模型,这两个模型可以分别进行训练,也可以进行联合训练。以下分别说明:
一、将人物识别模型和特征提取网络模型分别进行训练。
可选的,参见图7a,人物识别模型的训练过程,包括:
步骤S71,将样本特征输入待训练的人物识别模型中。
其中,样本特征为通过预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,第一样本人物为预先获取正确身份信息的人物;
步骤S72,通过待训练的人物识别模型对样本特征进行识别,得到样本特征对应的第一识别结果。
步骤S73,根据第一识别结果和第一样本人物的正确身份信息计算待训练的人物识别模型的损失。
其中,计算待训练的人物识别模型的损失,可以通过以下公式得到:
计算待训练的人物识别模型的损失。其中,表示分类损失,/>表示未知类别拒绝损失,/>表示域迁移损失,α、β、γ为预设权重系数。
其中,分类损失用于表示待识别人物的分类,例如待识别人物为真人或卡通人物;Lcls=Lcls-c(xc,yc)+Lcls-h(xh,yh),x表示输入的图像,y表示预设结果所属的类型,Lcls-c与Lcls-h可以为多种类型的损失函数,如softmax、sphereface、arcface等。
未知类别拒绝损失用于表示待训练网络模型中真人分类层对卡通人脸分类得到的损失和卡通人物分类层对真人人脸分类得到的损失之和。通过为未知类别拒绝损失,可以对真人分类层和卡通人物分类层进行优化,实现训练好的网络模型可以对卡通人脸和真人人脸均可以进行识别,从而例如通过真人图片对模型进行训练,通过训练好的模型对卡通人物图片进行识别得到的损失,和通过卡通人物图片对模型进行训练,通过训练好的模型对真人图片进行识别得到的损失之和。Luir=Luir-c(xh)+Luir-h(xc),Luir-c(xh)表示在卡通分类中真人图片的未知类别拒绝损失,Luir-h(xc)表示在真人分类中卡通人物图片的未知类别拒绝损失。
域迁移损失用于表示卡通人脸和真人人脸之间的域相关性。 Lsoftmax(x,z),其中Lsoftmax为softmax损失函数,z表示输入的图像为卡通人物还是真人,当输入图像为卡通人物z为1,否则z为0。
步骤S74,当待训练的人物识别模型的损失不小于第三预设阈值时,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第三预设阈值。
其中,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,可以通过梯度下降法等模型训练方法进行调整,或通过人工进行调整,并不做具体限制以能够实现为标准。
可见,通过上述人物识别模型的训练步骤对待训练的人物识别模型进行训练,可以得到训练好的人物识别模型,通过该训练好的人物识别模型可以根据对应的特征得到该特征对应的人物的身份信息。
可选的,参见图7b,预设特征提取网络模型的训练过程,包括:
步骤S75,将第二样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第二样本图像中的第二样本人物进行特征提取,得到第二样本人物的特征。
其中,第二样本人物为预先获取正确身份信息的人物。
步骤S76,通过训练好的人物识别模型对第二样本人物的特征进行识别,得到第二样本人物对应的第二识别结果。
步骤S77,根据第二识别结果和第二样本人物的正确身份信息计算待训练的特征提取网络模型的损失;
其中,计算待训练的特征提取网络模型的损失值,可以通过交叉熵损失函数、指数损失函数等多种类型的损失函数进行计算,并不做具体限制以能够实现为标准。
步骤S78,当待训练的特征提取网络模型的损失不小于第四预设阈值时,根据待训练的特征提取网络模型的损失对待训练的特征提取网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第四预设阈值。
其中,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,可以通过梯度下降法等模型训练方法进行调整,或通过人工进行调整,并不做具体限制以能够实现为标准。
可见,通过上述预设特征提取网络模型的训练步骤对待训练的特征提取网络模型进行训练,可以得到训练好的特征提取网络模型,通过该训练好的特征提取网络模型可以对图像中的人物进行特征的提取,进而可以便于根据该提取到的特征进行图像中的人物的身份的识别。
二、两个模型进行联合训练。
可选的,参见图8,预设特征提取网络模型和人物识别模型的训练过程,包括:
步骤S81,将第三样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第三样本图像中的第三样本人物进行特征提取,得到第三样本人物的特征。
其中,第三样本人物为预先获取正确身份信息的人物。
步骤S82,将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对第三样本人物的特征进行识别,得到第三样本人物的特征对应的第三识别结果。
步骤S83,根据第三识别结果和第三样本人物的正确身份信息通过预设损失函数计算得到当前损失。
其中,通过预设损失函数计算得到当前损失,可以通过上述公式计算得到Lsum作为当前损失。
步骤S84,当当前损失不小于第四预设阈值时,根据当前损失对待训练的特征提取网络模型和待训练的特征提取网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
其中,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,可以通过梯度下降法等模型训练方法进行调整,或通过人工进行调整,并不做具体限制以能够实现为标准。
可见,通过上述预设特征提取网络模型和人物识别模型的训练步骤,对预设特征提取网络模型和人物识别模型进行训练,可以得到训练好的预设特征提取网络模型和人物识别模型,通过该训练好的预设特征提取网络模型和人物识别模型可以对图像中的人物进行特征的提取,并根据该提取到的特征进行图像中的人物的身份的识别,从而实现通过训练好的模型进行人物的识别。
可选的,待识别人物为卡通人物,样本目标人物为真人和/或卡通人物。
其中,由于本发明中通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征时,得到的人物特征不但可以包含人物的脸部特征,还可以包含人物的其它部位的特征,因此对于脸部区别较小,而身体的其它部位差异较大的卡通人物,也可以通过本发明的方法进行识别。
参见图9,图9为本发明实施例提供的卡通人物识别方法示例图,当对包含卡通人物的图片数据进行特征识别时,将图片数据输入多模态特征提取模块进行图片数据的多模态特征提取,得到图片数据的多模态特征。将该多模态特征通过特征匹配,与多组预设特征进行匹配,当匹配成功,输出匹配到的多组预设特征中的一预设特征所对应的身份信息作为识别结果,若匹配不成功,将多模态特征输入卡通人物识别模型进行卡通人物身份信息的识别,并将识别到的身份信息作为识别结果进行输出。
在本发明实施的第二方面,提供了一种目标人物识别装置,参见图10,图10为本发明实施例提供的目标人物识别装置的结构示意图,包括:
图像获取模块1001,用于获得包含待识别人物的待识别图像;
特征提取模块1002,用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的待识别人物特征;
特征匹配模块1003,用于将待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;多个预设人物特征为:预先通过预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
第一识别结果输出模块1004,用于若匹配结果为:存在与待识别人物特征相匹配的匹配人物特征,则输出匹配人物特征对应的身份信息,作为待识别人物的识别结果;
第二识别结果输出模块1005,用于若匹配结果为:不存在与待识别人物特征相匹配的匹配人物特征,则将待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为待识别人物的识别结果;人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的。
可选的,特征提取模块,具体用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;多模态特征,用于表征人物的多个预设部位及全局的特征;
上述装置还包括:
目标人物图像获得模块,包括:目标人物子模块,用于预先针对每个样本目标人物,获得包含该样本目标人物的多个预设部位及完整人体的多个图像,作为样本目标人物图像;
目标人物特征提取模块,用于通过预设特征提取网络模型从样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
可选的,目标人物子模块具体包括:
特征向量提取子模块,用于通过预设特征提取网络模型从待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量;
特征向量组合模块,用于根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到待识别人物的多模态特征,并将待识别人物的多模态特征作为待识别人物特征;
目标人物子模块具体还包括:
目标向量提取子模块,用于通过预设特征提取网络模型提取目标人物图像中各图像的特征向量,得到多个目标特征向量;
目标向量组合子模块,用于根据各预设部位及全局的预设权重对多个目标特征向量进行组合,得到目标人物的多模态特征,并将目标人物的多模态特征作为目标人物特征。
可选的,特征匹配模块还包括:
相似度计算子模块,用于将待识别人物特征与多个预设人物特征中的各预设人物特征进行相似度的计算,得到待识别人物特征与多个预设人物特征中的各预设人物特征之间的相似度;
相似度判断子模块,用于多个预设人物特征中,当任一预设人物特征与待识别人物特征之间的相似度大于第一预设阈值,则匹配结果为任一预设人物特征与待识别人物特征相匹配。
可选的,特征匹配模块,包括:
匹配信息输出子模块,用于把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;Faiss中存储有多个预设人物特征;
匹配特征获取子模块,用于若匹配置信度大于第一预设阈值,则将匹配人物身份信息作为与待识别人物特征相匹配的匹配人物特征;
不匹配判断子模块,用于若匹配置信度不大于第一预设阈值,则匹配结果为不存在与待识别人物特征相匹配的匹配人物特征。
可选的,模型识别模块,包括:
置信度获取子模块,用于将目标人物特征输入预设的人物识别模型,通过预设的人物识别模型对目标人物特征进行识别,得到对应的第一人物身份信息和第一人物身份信息对应的第一置信度;
置信度判断子模块,用于当第一置信度大于第二预设阈值时,将第一人物身份信息作为待识别人物的识别结果。
可选的,上述装置还包括:
人工识别模块,用于当第一置信度不大于第二预设阈值时,通过人工方式获取第一人物的身份信息;
特征绑定模块,用于将通过人工方式获取到的第一人物的身份信息与第一人物的待识别人物特征绑定,并添加到多个预设人物特征中。
可选的,上述装置还包括第一训练模块用于:
将样本特征输入待训练的人物识别模型中,其中,样本特征为通过预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,第一样本人物为预先获取正确身份信息的人物;
通过待训练的人物识别模型对样本特征进行识别,得到样本特征对应的第一识别结果;
将第一识别结果和第一样本人物的正确身份信息进行对比,计算待训练的人物识别模型的损失;
当待训练的人物识别模型的损失不小于第三预设阈值时,根据待训练的人物识别模型的损失对待训练的网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第三预设阈值。
可选的,上述装置还包括第二训练模块用于:
将第二样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第二样本图像中的第二样本人物进行特征提取,得到第二样本人物的特征,其中,第二样本人物为预先获取正确身份信息的人物;
通过训练好的人物识别模型对第二样本人物的特征进行识别,得到第二样本人物对应的第二识别结果;
将第二识别结果和第二样本人物的正确身份信息进行对比,计算待训练的特征提取网络模型的损失;
当待训练的特征提取网络模型的损失不小于第四预设阈值时,根据待训练的特征提取网络模型的损失对待训练的特征提取网络模型的参数进行调整,继续训练,直至待训练的人物识别模型的损失小于第四预设阈值。
可选的,上述装置还包括第三训练模块用于:
将第三样本图像输入待训练的特征提取网络模型,通过待训练的特征提取网络模型对第三样本图像中的第三样本人物进行特征提取,得到第三样本人物的特征,其中,第三样本人物为预先获取正确身份信息的人物;
将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对第三样本人物的特征进行识别,得到第三样本人物的特征对应的第三识别结果;
将第三识别结果和第三样本人物的正确身份信息进行对比,通过预设损失函数计算得到当前损失;
当当前损失不小于第四预设阈值时,根据当前损失对待训练的特征提取网络模型和待训练的网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
可选的,待识别人物为卡通人物,样本目标人物为真人和/或卡通人物。
可见,通过本发明实施例的目标人物识别装置,可以通过提取待识别人物特征,将该待识别人物特征与预设特征进行匹配得到待识别人物的识别结果,并在不存在与待识别人物特征相匹配的匹配人物特征时,再通过模型对根据待识别人物特征进行识别,从而不但可以通过特征匹配提高待识别人物识别的精确率,还可以通过特征匹配与模型识别提高识别出目标人物的身份信息的概率,提高用户体验。
本发明实施例还提供了一种电子设备,如图11所示,包括处理器1101、通信接口1102、存储器1103和通信总线1104,其中,处理器1101,通信接口1102,存储器1103通过通信总线1104完成相互间的通信,
存储器1103,用于存放计算机程序;
处理器1101,用于执行存储器1103上所存放的程序时,实现如下步骤:
处理器执行存储器所存放的程序时,可以实现上述任一目标人物识别方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一目标人物识别方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一目标人物识别方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (20)
1.一种目标人物识别方法,其特征在于,包括:
获得包含待识别人物的待识别图像;
通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的待识别人物特征;
将所述待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;所述多个预设人物特征为:预先通过所述预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
若匹配结果为:存在与所述待识别人物特征相匹配的匹配人物特征,则输出所述匹配人物特征对应的身份信息,作为所述待识别人物的识别结果;
若匹配结果为:不存在与所述待识别人物特征相匹配的匹配人物特征,则将所述待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为所述待识别人物的识别结果;所述人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的;
所述通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的待识别人物特征的步骤,包括:
通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;所述多模态特征,用于表征人物的多个预设部位及全局的特征,其中,所述预设部位为所述待识别人物的局部,所述全局的特征包括局部特征;
所述样本目标人物特征的获取步骤,包括:
预先针对每个样本目标人物,获得包含该样本目标人物的所述多个预设部位及完整人体的多个图像,作为样本目标人物图像;并,
通过预设特征提取网络模型从所述样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
2.根据权利要求1所述的方法,其特征在于,所述通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征的步骤,包括:
通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量;
根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到所述待识别人物的多模态特征,并将所述待识别人物的多模态特征作为待识别人物特征;
所述通过预设特征提取网络模型从所述目标人物图像中,提取目标人物的多模态特征,作为目标人物特征的步骤,包括:
通过预设特征提取网络模型提取所述目标人物图像中各图像的特征向量,得到多个目标特征向量;
根据各预设部位及全局的预设权重对所述多个目标特征向量进行组合,得到所述目标人物的多模态特征,并将所述目标人物的多模态特征作为目标人物特征。
3.根据权利要求1所述的方法,其特征在于,所述将所述待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果的步骤,包括:
把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;所述Faiss中存储有多个预设人物特征;
若所述匹配置信度大于第一预设阈值,则将所述匹配人物身份信息作为与所述待识别人物特征相匹配的匹配人物特征;
若所述匹配置信度不大于第一预设阈值,则匹配结果为不存在与所述待识别人物特征相匹配的匹配人物特征。
4.根据权利要求1所述的方法,其特征在于,将所述目标人物特征输入预设的人物识别模型,得到人物识别模型输入的待识别人物的身份信息,作为所述待识别人物的识别结果的步骤,包括:
将所述目标人物特征输入预设的人物识别模型,通过所述预设的人物识别模型对所述目标人物特征进行识别,得到对应的第一人物身份信息和所述第一人物身份信息对应的第一置信度;
当所述第一置信度大于第二预设阈值时,将所述第一人物身份信息作为所述待识别人物的识别结果。
5.根据权利要求4所述的方法,其特征在于,所述当所述第一置信度大于第二预设阈值时,将所述第一人物身份信息作为所述待识别人物的识别结果之后,所述方法还包括:
当所述第一置信度不大于第二预设阈值时,通过人工方式获取所述第一人物的身份信息;
将通过人工方式获取到的所述第一人物的身份信息与所述第一人物的待识别人物特征绑定,并添加到所述多个预设人物特征中。
6.根据权利要求1所述的方法,其特征在于,所述人物识别模型的训练过程,包括:
将样本特征输入待训练的人物识别模型中,其中,所述样本特征为通过所述预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,所述第一样本人物为预先获取正确身份信息的人物;
通过待训练的人物识别模型对所述样本特征进行识别,得到所述样本特征对应的第一识别结果;
根据所述第一识别结果和所述第一样本人物的正确身份信息所述待训练的人物识别模型的损失;
当所述待训练的人物识别模型的损失不小于第三预设阈值时,根据所述待训练的人物识别模型的损失对所述待训练的网络模型的参数进行调整,继续训练,直至所述待训练的人物识别模型的损失小于第三预设阈值。
7.根据权利要求1所述的方法,其特征在于,所述预设特征提取网络模型的训练过程,包括:
将第二样本图像输入待训练的特征提取网络模型,通过所述待训练的特征提取网络模型对所述第二样本图像中的第二样本人物进行特征提取,得到所述第二样本人物的特征,其中,所述第二样本人物为预先获取正确身份信息的人物;
通过训练好的人物识别模型对所述第二样本人物的特征进行识别,得到所述第二样本人物对应的第二识别结果;
根据所述第二识别结果和所述第二样本人物的正确身份信息计算所述待训练的特征提取网络模型的损失;
当所述待训练的特征提取网络模型的损失不小于第四预设阈值时,根据所述待训练的特征提取网络模型的损失对所述待训练的特征提取网络模型的参数进行调整,继续训练,直至所述待训练的人物识别模型的损失小于第四预设阈值。
8.根据权利要求1所述的方法,其特征在于,所述预设特征提取网络模型和所述人物识别模型的训练过程,包括:
将第三样本图像输入待训练的特征提取网络模型,通过所述待训练的特征提取网络模型对所述第三样本图像中的第三样本人物进行特征提取,得到所述第三样本人物的特征,其中,所述第三样本人物为预先获取正确身份信息的人物;
将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对所述第三样本人物的特征进行识别,得到所述第三样本人物的特征对应的第三识别结果;
根据所述第三识别结果和所述第三样本人物的正确身份信息通过预设损失函数计算得到当前损失;
当所述当前损失不小于第四预设阈值时,根据所述当前损失对所述待训练的特征提取网络模型和所述待训练的网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
9.根据权利要求1所述的方法,其特征在于,所述待识别人物为卡通人物,所述样本目标人物为真人和/或卡通人物。
10.一种目标人物识别装置,其特征在于,包括:
图像获取模块,用于获得包含待识别人物的待识别图像;
特征提取模块,用于通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的待识别人物特征;
特征匹配模块,用于将所述待识别人物特征与多个预设人物特征进行特征匹配,得到匹配结果;其中,每一预设人物特征对应一个人物身份信息;所述多个预设人物特征为:预先通过所述预设特征提取网络模型从多个目标人物图像中提取的各个目标人物的人物特征;
第一识别结果输出模块,用于若匹配结果为:存在与所述待识别人物特征相匹配的匹配人物特征,则输出所述匹配人物特征对应的身份信息,作为所述待识别人物的识别结果;
第二识别结果输出模块,用于若匹配结果为:不存在与所述待识别人物特征相匹配的匹配人物特征,则将所述待识别人物特征输入预设的人物识别模型,得到人物识别模型输出的待识别人物的身份信息,作为所述待识别人物的识别结果;所述人物识别模型是预先基于样本目标人物的标记的身份信息和预设特征提取网络模型提取的样本目标人物特征进行训练获得的;
所述特征提取模块,具体用于通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多模态特征,作为待识别人物特征;所述多模态特征,用于表征人物的多个预设部位及全局的特征,其中,所述预设部位为所述待识别人物的局部,所述全局的特征包括局部特征;
所述装置还包括:
目标人物图像获得模块,包括:目标人物子模块,用于预先针对每个样本目标人物,获得包含该样本目标人物的所述多个预设部位及完整人体的多个图像,作为样本目标人物图像;
目标人物特征提取模块,用于通过预设特征提取网络模型从所述样本目标人物图像中,提取样本目标人物的多模态特征,作为样本目标人物特征。
11.根据权利要求10所述的装置,其特征在于,所述目标人物子模块具体包括:
特征向量提取子模块,用于通过预设特征提取网络模型从所述待识别图像中,提取待识别人物的多个预设部位的特征向量及全局的特征向量;
特征向量组合模块,用于根据各预设部位的特征向量对应的预设部位的预设权重和全局的特征向量对应的全局的预设权重,对各个预设部位的特征向量及全局的特征向量进行组合,得到所述待识别人物的多模态特征,并将所述待识别人物的多模态特征作为待识别人物特征;
所述目标人物子模块具体还包括:
目标向量提取子模块,用于通过预设特征提取网络模型提取所述目标人物图像中各图像的特征向量,得到多个目标特征向量;
目标向量组合子模块,用于根据各预设部位及全局的预设权重对所述多个目标特征向量进行组合,得到所述目标人物的多模态特征,并将所述目标人物的多模态特征作为目标人物特征。
12.根据权利要求10所述的装置,其特征在于,所述特征匹配模块,包括:
匹配信息输出子模块,用于把提取的特征送入到开源的相似性搜索类库Faiss中进行特征匹配,输出匹配人物身份信息和匹配置信度;所述Faiss中存储有多个预设人物特征;
匹配特征获取子模块,用于若所述匹配置信度大于第一预设阈值,则将所述匹配人物身份信息作为与所述待识别人物特征相匹配的匹配人物特征;
不匹配判断子模块,用于若所述匹配置信度不大于第一预设阈值,则匹配结果为不存在与所述待识别人物特征相匹配的匹配人物特征。
13.根据权利要求10所述的装置,其特征在于,所述模型识别模块,包括:
置信度获取子模块,用于将所述目标人物特征输入预设的人物识别模型,通过所述预设的人物识别模型对所述目标人物特征进行识别,得到对应的第一人物身份信息和所述第一人物身份信息对应的第一置信度;
置信度判断子模块,用于当所述第一置信度大于第二预设阈值时,将所述第一人物身份信息作为所述待识别人物的识别结果。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
人工识别模块,用于当所述第一置信度不大于第二预设阈值时,通过人工方式获取所述第一人物的身份信息;
特征绑定模块,用于将通过人工方式获取到的所述第一人物的身份信息与所述第一人物的待识别人物特征绑定,并添加到所述多个预设人物特征中。
15.根据权利要求10所述的装置,其特征在于,所述装置还包括第一训练模块用于:
将样本特征输入待训练的人物识别模型中,其中,所述样本特征为通过所述预设特征提取网络模型提取到的第一样本图像中第一样本人物的特征,所述第一样本人物为预先获取正确身份信息的人物;
通过待训练的人物识别模型对所述样本特征进行识别,得到所述样本特征对应的第一识别结果;
根据所述第一识别结果和所述第一样本人物的正确身份信息计算所述待训练的人物识别模型的损失;
当所述待训练的人物识别模型的损失不小于第三预设阈值时,根据所述待训练的人物识别模型的损失对所述待训练的网络模型的参数进行调整,继续训练,直至所述待训练的人物识别模型的损失小于第三预设阈值。
16.根据权利要求10所述的装置,其特征在于,所述装置还包括第二训练模块用于:
将第二样本图像输入待训练的特征提取网络模型,通过所述待训练的特征提取网络模型对所述第二样本图像中的第二样本人物进行特征提取,得到所述第二样本人物的特征,其中,所述第二样本人物为预先获取正确身份信息的人物;
通过训练好的人物识别模型对所述第二样本人物的特征进行识别,得到所述第二样本人物对应的第二识别结果;
根据所述第二识别结果和所述第二样本人物的正确身份信息计算所述待训练的特征提取网络模型的损失;
当所述待训练的特征提取网络模型的损失不小于第四预设阈值时,根据所述待训练的特征提取网络模型的损失对所述待训练的特征提取网络模型的参数进行调整,继续训练,直至所述待训练的人物识别模型的损失小于第四预设阈值。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括第三训练模块用于:
将第三样本图像输入待训练的特征提取网络模型,通过所述待训练的特征提取网络模型对所述第三样本图像中的第三样本人物进行特征提取,得到所述第三样本人物的特征,其中,所述第三样本人物为预先获取正确身份信息的人物;
将第三样本人物的特征输入待训练的人物识别模型中,通过待训练的人物识别模型对所述第三样本人物的特征进行识别,得到所述第三样本人物的特征对应的第三识别结果;
根据所述第三识别结果和所述第三样本人物的正确身份信息通过预设损失函数计算得到当前损失;
当所述当前损失不小于第四预设阈值时,根据所述当前损失对所述待训练的特征提取网络模型和所述待训练的网络模型的参数进行调整,继续训练,直至计算得到的当前损失小于第四预设阈值。
18.根据权利要求10所述的装置,其特征在于,所述待识别人物为卡通人物,所述样本目标人物为真人和/或卡通人物。
19.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的所述计算机程序时,实现权利要求1-9任一所述的方法步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011080198.0A CN112215136B (zh) | 2020-10-10 | 2020-10-10 | 一种目标人物识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011080198.0A CN112215136B (zh) | 2020-10-10 | 2020-10-10 | 一种目标人物识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215136A CN112215136A (zh) | 2021-01-12 |
CN112215136B true CN112215136B (zh) | 2023-09-05 |
Family
ID=74053153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011080198.0A Active CN112215136B (zh) | 2020-10-10 | 2020-10-10 | 一种目标人物识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215136B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906696B (zh) * | 2021-05-06 | 2021-08-13 | 北京惠朗时代科技有限公司 | 一种英文图像区域识别方法及装置 |
CN113255576B (zh) * | 2021-06-18 | 2021-10-29 | 第六镜科技(北京)有限公司 | 人脸识别方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013131407A1 (zh) * | 2012-03-08 | 2013-09-12 | 无锡中科奥森科技有限公司 | 双验证人脸防伪方法及装置 |
CN104598878A (zh) * | 2015-01-07 | 2015-05-06 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
CN107886061A (zh) * | 2017-11-02 | 2018-04-06 | 华南理工大学 | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN110909613A (zh) * | 2019-10-28 | 2020-03-24 | Oppo广东移动通信有限公司 | 视频人物识别方法、装置、存储介质与电子设备 |
CN111259837A (zh) * | 2020-01-20 | 2020-06-09 | 福州大学 | 一种基于部位注意力的行人重识别方法及系统 |
CN111402027A (zh) * | 2018-12-14 | 2020-07-10 | 马上消费金融股份有限公司 | 身份识别方法、商品贷审核方法、装置及终端设备 |
CN111444488A (zh) * | 2020-03-16 | 2020-07-24 | 安徽清新互联信息科技有限公司 | 一种基于动态手势的身份认证方法 |
WO2020186886A1 (zh) * | 2019-03-18 | 2020-09-24 | 中国科学院深圳先进技术研究院 | 一种人脸识别模型的生成方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200311798A1 (en) * | 2019-03-25 | 2020-10-01 | Board Of Trustees Of The University Of Illinois | Search engine use of neural network regressor for multi-modal item recommendations based on visual semantic embeddings |
-
2020
- 2020-10-10 CN CN202011080198.0A patent/CN112215136B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013131407A1 (zh) * | 2012-03-08 | 2013-09-12 | 无锡中科奥森科技有限公司 | 双验证人脸防伪方法及装置 |
CN104598878A (zh) * | 2015-01-07 | 2015-05-06 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
CN107886061A (zh) * | 2017-11-02 | 2018-04-06 | 华南理工大学 | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN111402027A (zh) * | 2018-12-14 | 2020-07-10 | 马上消费金融股份有限公司 | 身份识别方法、商品贷审核方法、装置及终端设备 |
WO2020186886A1 (zh) * | 2019-03-18 | 2020-09-24 | 中国科学院深圳先进技术研究院 | 一种人脸识别模型的生成方法及设备 |
CN110909613A (zh) * | 2019-10-28 | 2020-03-24 | Oppo广东移动通信有限公司 | 视频人物识别方法、装置、存储介质与电子设备 |
CN111259837A (zh) * | 2020-01-20 | 2020-06-09 | 福州大学 | 一种基于部位注意力的行人重识别方法及系统 |
CN111444488A (zh) * | 2020-03-16 | 2020-07-24 | 安徽清新互联信息科技有限公司 | 一种基于动态手势的身份认证方法 |
Non-Patent Citations (1)
Title |
---|
基于强度图和深度图的多模态人脸识别;周娟;李勇平;黄跃峰;;计算机工程与应用(25);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112215136A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110737801B (zh) | 内容分类方法、装置、计算机设备和存储介质 | |
CN112215136B (zh) | 一种目标人物识别方法、装置、电子设备及存储介质 | |
CN110837846A (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
CN110909784B (zh) | 一种图像识别模型的训练方法、装置及电子设备 | |
CN110209862B (zh) | 文本配图方法、电子装置及计算机可读存储介质 | |
CN107862322B (zh) | 结合图片和文本进行图片属性分类的方法、装置及系统 | |
CN114926835A (zh) | 文本生成、模型训练方法和装置 | |
CN112183672A (zh) | 图像分类方法、特征提取网络的训练方法和装置 | |
CN113762309A (zh) | 对象匹配方法、装置及设备 | |
CN115908995A (zh) | 数字仪表读数的识别方法、装置、电子设备及存储介质 | |
CN111108508A (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
CN114091551A (zh) | 色情图像识别方法、装置、电子设备及存储介质 | |
CN113837257A (zh) | 一种目标检测方法及装置 | |
CN115187839B (zh) | 图文语义对齐模型训练方法及装置 | |
CN116645694A (zh) | 基于动态自进化信息抽取和对齐的文本-目标检索方法 | |
CN114443916B (zh) | 一种面向试验数据的供需匹配方法及系统 | |
CN113807237B (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
CN115909357A (zh) | 基于人工智能的目标识别方法、模型训练方法和装置 | |
CN113221922B (zh) | 图像处理方法及相关装置 | |
CN114359912A (zh) | 基于图神经网络的软件页面关键信息提取方法及系统 | |
CN113434721A (zh) | 表情包分类方法、装置、计算机设备和存储介质 | |
CN113221718A (zh) | 公式识别方法、装置、存储介质和电子设备 | |
CN114155420B (zh) | 一种场景识别模型训练方法、装置、设备及介质 | |
CN113076755B (zh) | 关键词提取方法、装置、设备和存储介质 | |
CN116610871B (zh) | 媒体数据的推荐方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |