CN113591785A - 人体部位的匹配方法、装置、设备和存储介质 - Google Patents
人体部位的匹配方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113591785A CN113591785A CN202110925096.2A CN202110925096A CN113591785A CN 113591785 A CN113591785 A CN 113591785A CN 202110925096 A CN202110925096 A CN 202110925096A CN 113591785 A CN113591785 A CN 113591785A
- Authority
- CN
- China
- Prior art keywords
- frame
- target image
- embedded
- human body
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人体部位的匹配方法、装置、设备和存储介质;人体部位的匹配方法中,获取目标图像中的人脸框及其对应的嵌入特征,目标图像中的人体框及其对应的嵌入特征;处理目标图像中的目标人体框对应的嵌入特征,和每一个人脸框对应的嵌入特征,得到目标图像中的目标人体和每一个人脸的嵌入特征距离;针对目标图像中的目标人体,选择符合条件的嵌入特征距离对应的人脸,作为目标人体的配对人脸,实现较高准确率的完成同属于一人的人体和人体的配对。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人体部位的匹配方法、装置、设备和存储介质。
背景技术
人体识别和人脸识别,属于行人识别的两种常见手段。目前,行人识别的一种实际场景中,还存在有将场景中同属于一人的人脸和人体进行配对的需求。一般情况下,先分别完成人脸检测和人体检测,之后,再采用匈牙利算法从检测到的人脸和人体中,完成同属于一人的人脸和人体的配对。
具体的,采用匈牙利算法从检测到的人脸和人体中,完成同属于一人的人脸和人体的配对的基本方式是,在发现一个人脸框在人体框中的覆盖范围超过一定程度,则认定该人脸框和人体框是属于同一人的。但是,在场景图像中包含有多个人,且多个人之间的身体重复度较高时,就会导致人脸和人体的配对错误。由此可以看出:目前方案对属于一人的人脸和人体的配对,匹配的准确率较低。
发明内容
有鉴于此,本发明实施例提供一种人体部位的匹配方法、装置、设备和存储介质,以实现较高准确率的完成同属于一人的人体和人体的配对。
为实现上述目的,本发明实施例提供如下技术方案:
第一方面,本申请提供了一种人体部位的匹配方法,包括:
获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的第二部位框及其对应的嵌入特征;其中,目标图像中的第一部位框对应的嵌入特征表征与第一部位框同属于一人的第二部位的语义信息,目标图像中的第二部位框对应的嵌入特征表征与第二部位框同属于一人的第一部位的语义信息;第一部位和所第二部位为目标图像中人体的两个不同部位;
处理目标图像中的目标第二部位框对应的嵌入特征,和每一个第一部位框对应的嵌入特征,得到目标图像中的目标第二部位和每一个第一部位的嵌入特征距离;目标第二部位框指代目标图像中的至少一个第二部位框,目标第二部位为目标第二部位框指代的第二部位,每一个第一部位为每一个第一部位框指代的第一部位;
针对目标图像中的目标第二部位,选择符合条件的嵌入特征距离所对应的第一部位,作为目标第二部位的配对第一部位。
可选地,针对目标图像中的目标第二部位,选择用于表征目标第二部位和第一部位最接近的嵌入特征距离对应的第一部位,作为目标第二部位的配对第一部位,包括:
计算目标图像中的目标第二部位和每一个第一部位的嵌入特征距离对应的相似度值;
针对目标图像中的目标第二部位,将相似度值最大的第一部位,作为目标第二部位的配对第一部位。
可选地,获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的人第二部位框及其对应的嵌入特征,包括:
调用检测模型处理目标图像,得到第一部位框及其对应的嵌入特征,以及第二部位及其对应的嵌入特征。
可选地,检测模型包括:基础模块和嵌入模块;
基础模块用于处于目标图像,得到目标图像中的第一部位框和第二部位框;
嵌入模块用于处理目标图像,得到第一部位框对应的嵌入特征和第二部位框对应的嵌入特征。
可选地,检测模型为一阶段检测器,检测模型的嵌入模块,包括:四个卷积层以及在四个卷积层末端的一个膨胀卷积层;
或者,检测模型为二阶段检测器,检测模型的嵌入模块,包括:两个全连接层。
可选地,检测模型在训练过程中,针对第一部位和第二部位属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相靠近的损失函数,对检测模型进行训练;针对第一部位和第二部位不属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相远离的损失函数,对检测模型进行训练。
可选地,第一部位和第二部位,分别为人体、人脸、手、腿和躯干中的一个。
第二方面,本申请提供了一种人体部位的匹配装置,包括:
调用单元,用于获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的第二部位框及其对应的嵌入特征;其中,目标图像中的第一部位框对应的嵌入特征表征与第一部位框同属于一人的第二部位的语义信息,目标图像中的第二部位框对应的嵌入特征表征与第二部位框同属于一人的第一部位的语义信息;第一部位和第二部位为目标图像中人体的两个不同部位;
处理单元,用于处理目标图像中的目标第二部位框对应的嵌入特征,和每一个第一部位框对应的嵌入特征,得到目标图像中的目标第二部位和每一个第一部位的嵌入特征距离;目标第二部位框指代目标图像中的每一个第二部位框,目标第二部位为目标第二部位框指代的第二部位,每一个第一部位为每一个第一部位框指代的第一部位;
筛选单元,用于针对目标图像中的目标第二部位,选择用于表征目标第二部位和第一部位最接近的嵌入特征距离对应的第一部位,作为目标第二部位的配对第一部位。
可选地,调用单元执行获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的第二部位框及其对应的嵌入特征时,用于:
调用检测模型处理目标图像,得到第一部位框及其对应的嵌入特征,以及第二部位及其对应的嵌入特征。
可选地,检测模型包括:基础模块和嵌入模块;
基础模块用于处于目标图像,得到目标图像中的第一部位框和第二部位框;
嵌入模块用于处理目标图像,得到第一部位框对应的嵌入特征和第二部位框对应的嵌入特征。
可选地,检测模型为一阶段检测器,检测模型的嵌入模块,包括:四个卷积层以及在四个卷积层末端的一个膨胀卷积层。
可选地,检测模型为二阶段检测器,检测模型的嵌入模块,包括:两个全连接层。
可选地,还包括模型训练单元,模型训练单元训练检测模型过程中,针对第一部位和第二部位属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相靠近的损失函数,对检测模型进行训练;针对第一部位和第二部位不属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相远离的损失函数,对检测模型进行训练。
第三方面,本申请提供了一种电子设备,包括:
一个或多个处理器;
存储器,其上存储有程序;
当程序被一个或多个处理器执行时,使得一个或多个处理器实现上述第一方面任意一项人体部位的匹配方法。
第四方面,本申请提供了一种电子设备,包括:
第一处理逻辑,被配置为:接收目标图像的图像数据并使用神经网络模型来处理图像数据以输出目标图像中人体部位的位置信息和嵌入特征;
其中,神经网络模型包括:
第一子网络,接收图像数据的特征表达数据,并输出检测到的第一部位和第二部位的位置数据;
第二子网络,与第一子网络并行的接收特征表达数据,并输出第一部位对应的嵌入特征和第二部位对应的嵌入特征。
可选地,该电子设备还包括:
第二处理逻辑,被配置为:根据第二子网络输出的第一部位对应的嵌入特征和第二部位对应的嵌入特征,计算第一部位与第二部位之间的嵌入特征距离得到第一部位与第二部位的匹配关系。
可选地,神经网络模型为二阶段检测网络,第二子网络接收的特征表达数据为目标图像的候选区域的特征图,第二子网络包括两个全连接层;或,
神经网络模型为一阶段检测网络,第二子网络接收的特征表达数据为目标图像的特征图,第二子网络包括四个卷积层和在四个卷积层末端的一个膨胀卷积层。
第五方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如上述第一方面任意一项的人体部位的匹配方法。
从上述技术方案可以看出,本申请实施例提供的一种人体部位的匹配方法中,获取目标图像中的人脸框及其对应的嵌入特征,目标图像中的人体框及其对应的嵌入特征;处理目标图像中的目标人体框对应的嵌入特征,和每一个人脸框对应的嵌入特征,得到目标图像中的目标人体和每一个人脸的嵌入特征距离;针对目标图像中的目标人体,选择符合条件的嵌入特征距离对应的人脸,作为目标人体的配对人脸,实现较高准确率的完成同属于一人的人体和人体的配对。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为申请实施例提供的检测模型的展示图;
图2为本申请实施例提供的角度损失函数的生成过程的展示图;
图3为本申请实施例提供的人体部位的匹配方法的流程图;
图4a为本申请实施例提供的人体部位的匹配方法的流程图;
图4b为本申请实施例提供的人体和人脸的匹配装置的结构示意图;
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供一种人体部位的匹配方法、装置、设备和存储介质,以实现较高准确率的完成同属于一人的人体和人体的配对。
本申请实施例提供的人体部位的匹配方法中,需要调用检测模型来处理目标图像,得到目标图像中的第一部位框及其对应的嵌入特征,目标图像中的第一部位框及其对应的嵌入特征。
本申请实施例中提出的人体部位包括:人体、人脸、手、腿和躯干,第一部位框和第二部位框,则可分别指代目标图像中的上述人体任意两个不同的人体部位的位置信息。为了方便介绍本申请方案,下述以第一部位框为人脸框,第二部位框为人体框为例进行说明。
本申请方案所利用的检测模型,是在人体部位的基本检测模型的基础上进行改进得到,属于神经网络模型。示例性的,可以是在常见的一阶段检测器(One Stage)或者二阶段检测器(Two Stages)等架构上进行改进。
具体的,参见图1,在一阶段检测器或者二阶段检测器增加嵌入模块11,嵌入模块11与检测器(指代一阶段检测器和二阶段检测器)的原本模块(也称之为基础模块)并行运行。对于一阶段检测器,嵌入模块包括4个普通卷积层以及在4个普通卷积层末端的一个膨胀卷积层组成;对于二阶段检测器,嵌入模块包括两个全连接层fc1和fc2。嵌入模块的主要功能是要处理图像,得到图像中的人脸框对应的嵌入特征和人体框对应的嵌入特征。
并且,在一阶段检测器或者二阶段检测器的原本模块末端还追加一个预测模块,同样参见图1,在一阶段检测器的原本模块中的膨胀卷积层后追加预测模块,在二阶段检测器的原本模块中的全连接层fc2后追加预测模块,该预测模块的主要功能是处理图像,得到图像中的人脸框对应的人头中心点位置和人体框对应的人头中心点位置。
在搭建好检测模型的架构后,需要利用样本数据对检测模型进行训练,训练检测模型的原本模块、嵌入模块和预测模块,使得原本模块能够处理图像,得到图像中的人脸框和人体框,使得嵌入模块能够处理图像,得到图像中的人脸框对应的嵌入特征和人体框对应的嵌入特征,使得预测模块能够处理图像,得到图像中的人脸框对应的人头中心点位置和人体框对应的人头中心点位置。
具体的,为了训练检测模型的嵌入模块,按照如下目的构造损失函数:如果两个目标属于同一个行人(比如同一个行人的人体和人脸),则让它们的嵌入特征互相靠近;反之,则让其互相远离。
对于样本数据中,属于同一行人k的人体框和人脸框,构造损失函数为:
对于样本数据中,不属于同一个行人的人体框和人脸框,则构造损失函数为:
基于上述内容,可以看出:在检测模型的训练过程中,针对人脸和人体属于同一人的样本数据,采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相靠近的损失函数,对检测模型的嵌入模块进行训练;针对人脸和人体不属于同一人的样本数据,采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相远离的损失函数,对检测模型的嵌入模块进行训练。
经过批量的样本数据的训练之后,检测模型的嵌入模块学习到了同属一个人的人体与人脸的语义关联性,包括位置关系、形态关系等。基于此,在利用训练后的检测模型对图像进行处理后,得到人脸框及其对应的嵌入特征,人体框及其对应的嵌入特征。人脸框对应的嵌入特征能够表征与该人脸框同属于一人的人体的语义信息,具体也可以是从人脸和人体的位置关系、形态关系进行说明的语义信息;同理,人体框对应的嵌入特征可以表征与该人体框同属于一人的人脸的语义信息,当然也可以是从人脸和人体的位置关系、形态关系进行说明的语义信息。
可以采用角度损失函数对预测模块进行训练,具体的对预测模块得到人脸框对应的人头中心点位置和人体框对应的人头中心点位置的功能进行训练。其中,角度损失函数的目的是为人头中心点提供一个基于相对位置的约束。
图2分别画出了基于人体21、人脸22和人头23来构造该角度损失函数的方法。现以基于人体的情形为例进行说明。
b*代表人体中心点的实际位置,h*和h分别代表人头中心点(人头框图中由23指示)的实际位置和预测位置。构造向量v*和v,使得二者之间的夹角θ尽可能地小。损失函数表达式如下:
同理,在图2中,f*代表人脸中心点的实际位置,h*和h分别代表人头中心点的实际位置和预测位置。同样按照上述损失函数表达式可以构造向量v*和v,使得二者之间的夹角θ尽可能地小。
需要说明的是,上述内容提出的检测模型,嵌入特征和人头中心点位置,是分别从两个维度上对人体和人脸进行配对的方案,可以融合,当然也可以发分开。也就是说:可以有两种检测模型,一种具有检测模型的原本模块和新增加的嵌入模块;一种具有检测模型的原本模块和新增加的预测模块。
当然还可分别采用具有检测模型的原本模块和新增加的嵌入模块的检测模型,以及具有检测模型的原本模块和新增加的预测模块来执行人体部位的匹配方法。
在需要匹配人脸和人体是否属于同一人时,上述检测模型基于人脸和人体的数据进行训练,当然,检测模型也可以采用前述的其他人体部件进行训练,使得其能够匹配人体的其他两个部件是否属于同一人。
本申请实施例提供了一种人体部位的匹配方法,如图3所示,包括:
S301、调用检测模型处理目标图像,得到目标图像中的人脸框及其对应的嵌入特征和人头中心点位置,以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置。
其中,目标图像指代需要进行人脸和人体匹配的图像,图像中至少包括一张人脸和一个人体。将目标图像输入到训练完成的检测模型,检测模型中的原本模块处理目标图像,得到人体框和人脸框;嵌入模块处理目标图像,得到人脸框对应的嵌入特征和人体框对应的嵌入特征;预测模块处理目标图像,得到人脸框对应的人头中心点位置和人体框对应的人头中心点位置。
目标图像中的人脸框对应的嵌入特征用于表征与人脸属于同一人的人体的语义信息,目标图像中的人体框对应的嵌入特征用于表征与人体属于同一人的人脸的语义信息。人脸框对应的人头中心点位是指:人头中心在人脸框的位置;人体框对应的人头中心点位置是指:人头中心在人体框的位置。
需要说明的是,人脸框和人体框分别指代的是人脸框的坐标数据,以及人体框的坐标数据。
还需要说明的是,本步骤是获取目标图像中的人脸框及其对应的嵌入特征和人头中心点位置,以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置中的一种实施方式。可知的,其他能够实现获取目标图像中的人脸框及其对应的嵌入特征和人头中心点位置,以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置的方式,也属于本申请的涵盖范围。
S302、处理目标图像中的目标人体框对应的嵌入特征,和每一个人脸框对应的嵌入特征,得到目标图像中的目标人体和每一个人脸的嵌入特征距离。
其中,目标人体框指代目标图像中的每一个人体框,目标人体为目标人体框指代的人体,每一个人脸为每一个人脸框指代的人脸。
需要指出的是,针对目标图像中的每一个人体框,均需要计算出其与每一个人脸框对应的嵌入特征之间的嵌入特征距离(也称之为人体和人脸的嵌入特征距离)。可知的,人脸框对应的嵌入特征可以表征与人脸属于同一人的人体的语义信息,人体框对应的嵌入特征用于表征与人体属于同一人的人脸的语义信息,因此,利用一个人脸框对应的嵌入特征和人体框对应的嵌入特征计算出的嵌入特征距离,可以表征人脸框和人体框属于同一个人的概率。
S303、处理目标图像中的目标人体框对应的人头中心点位置,和每一个人脸框对应的人头中心点位置,得到目标图像中的目标人体和每一个人脸的人头中心点距离。
其中,目标人体框指代目标图像中的每一个人体框,目标人体为目标人体框指代的人体,每一个人脸为每一个人脸框指代的人脸。
人脸框对应的人头中心点位置指代人脸框中的人头中心点位置,也可以理解成是人头中心点的坐标数据,同理,人体框对应的人头中心点位置,也是指代人体框中的人头中心点位置,当然也是人头中心点的坐标数据。
同样,也需要针对图标图像中的每一个人体框,计算出该人体框对应的人头中心点位置,与每一个人脸框对应的人头中心点位置之间的距离(也称之为人体和人脸的人头中心点距离)。属于同一个人的人脸框和人体框,人脸框中的人头中心点位置和人体框中的人头中心点位置应该是一个,所以两者之间的距离,应该是最短的,如此,人脸框对应的人头中心点位置和人体框对应的人头中心点位置之间的距离,可以反应出人脸框和人体框,是否属于同一个人。
S304、针对目标图像中的目标人体,选择用于表征目标人体和人脸最接近的嵌入特征距离、且用于表征目标人体和人脸最接近的人头中心点距离对应的人脸,作为目标人体的配对人脸。
按照上述内容可知:一个人脸框对应的嵌入特征和一个人体框对应的嵌入特征计算出的嵌入特征距离,可以表征人脸框和人体框属于同一个人的概率。并且,一个人脸框对应的人头中心点位置和一个人体框对应的人头中心点位置之间的距离,也可以表征人脸框和人体框属于同一个人的概率,因此,可以通过嵌入特征距离和人头中心点距离,来为人体寻找配对的人脸。
可以理解的是,嵌入特征距离表征目标人体和人脸最接近是指:嵌入特征距离表征目标人体和人脸的嵌入特征距离最小。同理,人头中心点距离表征目标人体和人脸最接近也可以是指:目标人体和人脸的人头中心点距离最小。
可选地,本申请的另一实施例中,步骤S304的一种实施方式,包括:
计算得到第一相似度值和第二相似度值;其中,第一相似度值指代:目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值,第二相似度值指代:目标图像中的目标人体和每一个人脸的人头中心点距离对应的相似度。
组合第一相似度值和第二相似度值,得到融合相似度值。
针对目标图像中的目标人体,将融合相似度值最大的人脸,作为目标人体的配对人脸。
以下通过一个示例来进行说明,在本示例中,一帧画面中有m个人体和n个人脸,依据每一个人体和每一个人脸的嵌入特征距离,以及每一个人体和每一个人脸的人头中心点距离,可以获得两个尺寸为m×n的矩阵Se和Sh。
用下述公式对两个相似度矩阵进行融合:
获得融合后的相似度矩阵S后,对每一个人体(每一行),取相似度最大的人脸(列)作为其配对人脸,从而获得最终的人体-人脸对。
上述实施例展示的是利用嵌入特征和人头中心点位置,来完成人脸和人体的配对,还可以只用嵌入特征来实现人脸和人体的配对,具体参见图4a,人体部位的匹配方法,包括:
S401、调用检测模型处理目标图像,得到目标图像中的人脸框及其对应的嵌入特征,目标图像中的人体框及其对应的嵌入特征。
其中,目标图像中的人脸框对应的嵌入特征表征与人脸框同属于一人的人体的语义信息,目标图像中的人体框对应的嵌入特征表征与人体框同属于一人的人脸的语义信息。
还需要说明的是,本步骤是获取目标图像中的人脸框及其对应的嵌入特征,目标图像中的人体框及其对应的嵌入特征中的一种实施方式。可知的,其他能够实现获取目标图像中的人脸框及其对应的嵌入特征,目标图像中的人体框及其对应的嵌入特征的方式,也属于本申请的涵盖范围。
S402、处理目标图像中的目标人体框对应的嵌入特征,和每一个人脸框对应的嵌入特征,得到目标图像中的目标人体和每一个人脸的嵌入特征距离。
目标人体框指代目标图像中的至少一个人体框,目标人体为目标人体框指代的人体,每一个人脸为每一个人脸框指代的人脸。
目标图像可以获取到多个人体框,可以针对每一个人体框,均利用步骤S402计算出其指代的人体与每一个人脸的嵌入特征距离。当然,也可以针对部分人体框中的每一个,利用步骤S402计算出其指代的人体和每一个人脸的嵌入特征距离。
步骤S401和步骤S402的具体实施过程,可参见对应图3的实施例内容。
S403、针对目标图像中的目标人体,选择用于表征目标人体和人脸最接近的嵌入特征距离对应的人脸,作为目标人体的配对人脸。
在一个可能的实施方式中,本步骤可以是:计算目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值;针对目标图像中的目标人体,将相似度值最大的人脸,作为目标人体的配对人脸。
在上述示例中,获取尺寸为m×n的矩阵Se之后,直接利用矩阵Se选择人体配对的人脸,具体的,针对矩阵Se对每一个人体(每一行),取相似度最大的人脸(列)作为其配对人脸,从而获得最终的人体-人脸对。
还需要说明的是,针对目标图像中的目标人体,目标人体和人脸最接近的嵌入特征距离,作为一个设定条件配置到本方法的执行设备中,在该设备执行步骤S403,则利用该条件,筛选出目标图像中的目标人体的配对人脸。
图4a实施例中,以人体和人脸两个部位为例进行人体部位的匹配方法的介绍,但人体部位的匹配方法并不限于人体和人体的匹配,还可以是前述其他人体部位,如人脸和手的匹配,人脸和腿的匹配,人体和手的匹配等。
本申请实施例提供了一种人体和人脸的匹配装置,参见图4b,包括:
调用单元401,用于获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的第二部位框及其对应的嵌入特征;其中,第一部位框对应的嵌入特征能够表征与该第一部位框同属于一人的第二部位的语义信息;第二部位框对应的嵌入特征可以表征与该第二部位框同属于一人的第一部位的语义信息,第一部位和第二部位为目标图像中人体的两个不同部位。
处理单元402,用于处理目标图像中的目标第二部位框对应的嵌入特征,和每一个第一部位框对应的嵌入特征,得到目标图像中的目标第二部位和每一个第一部位的嵌入特征距离;其中,目标第二部位框指代目标图像中的至少一个第二部位框,目标第二部位为目标第二部位框指代的第二部位,每一个第一部位为每一个第一部位框指代的第一部位。
筛选单元403,用于针对目标图像中的目标第二部位,选择用于表征目标第二部位和第一部位最接近的嵌入特征距离对应的第一部位,作为目标第二部位的配对第一部位。
在一个可能的实施方式中,调用单元401执行获取目标图像中的第一部位框及其对应的嵌入特征,以及目标图像中的第二部位框及其对应的嵌入特征时,用于:
调用检测模型处理目标图像,得到第一部位框及其对应的嵌入特征,以及第二部位及其对应的嵌入特征。
在一个可能的实施方式中,检测模型包括:基础模块和嵌入模块;
基础模块用于处于目标图像,得到目标图像中的第一部位框和第二部位框;
嵌入模块用于处理目标图像,得到第一部位框对应的嵌入特征和第二部位框对应的嵌入特征。
在一个可能的实施方式中,检测模型为一阶段检测器,检测模型的嵌入模块,包括:四个卷积层以及在四个卷积层末端的一个膨胀卷积层。
在一个可能的实施方式中,检测模型为二阶段检测器,检测模型的嵌入模块,包括:两个全连接层。
在一个可能的实施方式中,还包括模型训练单元,模型训练单元训练检测模型过程中,针对第一部位和第二部位属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相靠近的损失函数,对检测模型进行训练;针对第一部位和第二部位不属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相远离的损失函数,对检测模型进行训练。
本申请上述几个实施例中,调用单元401、处理单元402以及筛选单元403的具体工作过程,可参见对应的方法实施例内容,此处不再赘述。当然,模型训练单元的工作过程,也可参见对应的方法实施例内容。
本申请另一实施例还提供了一种电子设备,如图5所示,包括:
一个或多个处理器501;
存储器502,其上存储有程序;
当程序被一个或多个处理器501执行时,使得一个或多个处理器501实现如上述任意一个实施例提供的人体部位的匹配方法。
本申请另一实施例还提供了一种电子设备,包括:
第一处理逻辑,被配置为:接收目标图像的图像数据并使用神经网络模型来处理图像数据以输出目标图像中人体部位的位置信息和嵌入特征。
其中,神经网络模型包括:
第一子网络,接收图像数据的特征表达数据,并输出检测到的第一部位和第二部位的位置数据。
第二子网络,与第一子网络并行的接收特征表达数据,并输出第一部位对应的嵌入特征和第二部位对应的嵌入特征。
本实施例中,第一处理逻辑属于电子设备中的执行部件,可以理解成处理器或者处理器中的执行单元。
人体部位的位置信息,一般采用人体部位框的形式来实现。在一些实施例中,第一处理逻辑输出的人体部位的位置信息,一般可至少为两个人体部位的位置信息,基于此,可以利用每一个人体部位的嵌入特征,对两个人体部位进行人体部位的匹配。人体部位的匹配方式如前述对应图4a的实施例内容。
神经网络模型即前述提及的检测模型,第一子网络属于检测器的原本模块中的一个执行模块,该模块具有得到第一部位对应的嵌入特征和第二部位对应的嵌入特征的功能。第二子网络属于图1中的嵌入模块11。
在一个可能的实施方式中,神经网络模型为二阶段检测网络,第二子网络接收的特征表达数据为目标图像的候选区域的特征图,第二子网络包括两个全连接层。
在另一个可能的实施方式中,神经网络模型为一阶段检测网络,第二子网络接收的特征表达数据为目标图像的特征图,第二子网络包括四个卷积层和在四个卷积层末端的一个膨胀卷积层。
还需要说明的是,神经网络模型中在第一子网络和第二子网络之前网络,属于公知的特征图相关网络,本文不予赘述。
在一个可能的实施方式中,该电子设备还包括:
第二处理逻辑,被配置为:根据第二子网络输出的第一部位对应的嵌入特征和第二部位对应的嵌入特征,计算第一部位与第二部位之间的嵌入特征距离得到第一部位与第二部位的匹配关系。
本实施方式中,第二处理逻辑,与第一处理逻辑等同,属于电子设备中的执行部件,可以理解成处理器或者处理器中的执行单元。
第二处理逻辑执行根据第二子网络输出的第一部位对应的嵌入特征和第二部位对应的嵌入特征,计算第一部位与第二部位之间的嵌入特征距离,得到第一部位与第二部位的匹配关系,可以理解成是:
采用前述对应图4a的实施例中步骤S402和步骤S403的内容,计算得到的第一部位和第二部位的嵌入特征距离,进一步的,还可以是第一部位和第二部位的嵌入特征距离对应的相似度值。
本申请另一实施例还提供了一种可读存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如上述任意一个实施例提供的人体部位的匹配方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种人体部位的匹配方法,其特征在于,包括:
获取目标图像中的第一部位框及其对应的嵌入特征,以及所述目标图像中的第二部位框及其对应的嵌入特征;其中,所述目标图像中的第一部位框对应的嵌入特征表征与所述第一部位框同属于一人的第二部位的语义信息,所述目标图像中的第二部位框对应的嵌入特征表征与所述第二部位框同属于一人的第一部位的语义信息;所述第一部位和所述第二部位为所述目标图像中人体的两个不同部位;
处理所述目标图像中的目标第二部位框对应的嵌入特征,和每一个第一部位框对应的嵌入特征,得到所述目标图像中的目标第二部位和每一个第一部位的嵌入特征距离;所述目标第二部位框指代所述目标图像中的至少一个第二部位框,所述目标第二部位为所述目标第二部位框指代的第二部位,所述每一个第一部位为每一个所述第一部位框指代的第一部位;
针对所述目标图像中的目标第二部位,选择符合条件的嵌入特征距离所对应的第一部位,作为所述目标第二部位的配对第一部位。
2.根据权利要求1所述的人体部位的匹配方法,其特征在于,所述针对所述目标图像中的目标第二部位,选择符合条件的嵌入特征距离对应的第一部位,作为所述目标第二部位的配对第一部位,包括:
计算所述目标图像中的目标第二部位和每一个第一部位的嵌入特征距离对应的相似度值;
针对所述目标图像中的目标第二部位,将所述相似度值最大的第一部位,作为所述目标第二部位的配对第一部位。
3.根据权利要求1所述的人体部位的匹配方法,其特征在于,所述获取目标图像中的第一部位框及其对应的嵌入特征,以及所述目标图像中的人第二部位框及其对应的嵌入特征,包括:
调用检测模型处理所述目标图像,得到所述第一部位框及其对应的嵌入特征,以及所述第二部位及其对应的嵌入特征。
4.根据权利要求3所述的人体部位的匹配方法,其特征在于,所述检测模型包括:基础模块和嵌入模块;
所述基础模块用于处于所述目标图像,得到所述目标图像中的第一部位框和所述第二部位框;
所述嵌入模块用于处理所述目标图像,得到所述第一部位框对应的嵌入特征和所述第二部位框对应的嵌入特征。
5.根据权利要求4所述的人体部位的匹配方法,其特征在于,所述检测模型为一阶段检测器,所述检测模型的嵌入模块,包括:四个卷积层以及在四个所述卷积层末端的一个膨胀卷积层;
或者,所述检测模型为二阶段检测器,所述检测模型的嵌入模块,包括:两个全连接层。
6.根据权利要求3至5中任意一项所述的人体部位的匹配方法,其特征在于,所述检测模型在训练过程中,针对第一部位和第二部位属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相靠近的损失函数,对所述检测模型进行训练;针对第一部位和第二部位不属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相远离的损失函数,对所述检测模型进行训练。
7.根据权利要求1至5中任意一项所述的人体部位的匹配方法,其特征在于,所述第一部位和所述第二部位,分别为人体、人脸、手、腿和躯干中的一个。
8.一种人体部位的匹配装置,其特征在于,包括:
调用单元,用于获取目标图像中的第一部位框及其对应的嵌入特征,以及所述目标图像中的第二部位框及其对应的嵌入特征;其中,所述目标图像中的第一部位框对应的嵌入特征表征与所述第一部位框同属于一人的第二部位的语义信息,所述目标图像中的第二部位框对应的嵌入特征表征与所述第二部位框同属于一人的第一部位的语义信息;所述第一部位和所述第二部位为所述目标图像中人体的两个不同部位;
处理单元,用于处理所述目标图像中的目标第二部位框对应的嵌入特征,和每一个第一部位框对应的嵌入特征,得到所述目标图像中的目标第二部位和每一个第一部位的嵌入特征距离;所述目标第二部位框指代所述目标图像中的至少一个第二部位框,所述目标第二部位为所述目标第二部位框指代的第二部位,所述每一个第一部位为每一个所述第一部位框指代的第一部位;
筛选单元,用于针对所述目标图像中的目标第二部位,选择符合条件嵌入特征距离所对应的第一部位,作为所述目标第二部位的配对第一部位。
9.根据权利要求8所述的人体部位的匹配装置,其特征在于,所述调用单元执行获取目标图像中的第一部位框及其对应的嵌入特征,以及所述目标图像中的第二部位框及其对应的嵌入特征时,用于:
调用检测模型处理所述目标图像,得到所述第一部位框及其对应的嵌入特征,以及所述第二部位及其对应的嵌入特征;
所述检测模型包括:基础模块和嵌入模块;
所述基础模块用于处于所述目标图像,得到所述目标图像中的第一部位框和所述第二部位框;
所述嵌入模块用于处理所述目标图像,得到所述第一部位框对应的嵌入特征和所述第二部位框对应的嵌入特征;
若所述检测模型为一阶段检测器,所述检测模型的嵌入模块,包括:四个卷积层以及在四个所述卷积层末端的一个膨胀卷积层;
若所述检测模型为二阶段检测器,所述检测模型的嵌入模块,包括:两个全连接层。
10.根据权利要求8或9所述的人体部位的匹配装置,其特征在于,还包括模型训练单元,所述模型训练单元训练所述检测模型过程中,针对第一部位和第二部位属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相靠近的损失函数,对所述检测模型进行训练;针对第一部位和第二部位不属于同一人的样本数据,采用促使第二部位框对应的嵌入特征和第一部位框对应的嵌入特征互相远离的损失函数,对所述检测模型进行训练。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,其上存储有程序;
当所述程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任意一项人体部位的匹配方法。
12.一种电子设备,其特征在于,包括:
第一处理逻辑,被配置为:接收目标图像的图像数据并使用神经网络模型来处理所述图像数据以输出所述目标图像中人体部位的位置信息和嵌入特征;
其中,所述神经网络模型包括:
第一子网络,接收所述图像数据的特征表达数据,并输出检测到的第一部位和第二部位的位置数据;
第二子网络,与所述第一子网络并行的接收所述特征表达数据,并输出所述第一部位对应的嵌入特征和所述第二部位对应的嵌入特征。
13.根据权利要求12所述的电子设备,其特征在于,还包括:
第二处理逻辑,被配置为:根据所述第二子网络输出的所述第一部位对应的嵌入特征和所述第二部位对应的嵌入特征,计算所述第一部位与所述第二部位之间的嵌入特征距离得到第一部位与第二部位的匹配关系。
14.根据权利要求12所述的电子设备,其特征在于,
所述神经网络模型为二阶段检测网络,所述第二子网络接收的所述特征表达数据为所述目标图像的候选区域的特征图,所述第二子网络包括两个全连接层;或,
所述神经网络模型为一阶段检测网络,所述第二子网络接收的所述特征表达数据为所述目标图像的特征图,所述第二子网络包括四个卷积层和在四个所述卷积层末端的一个膨胀卷积层。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的人体部位的匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110925096.2A CN113591785A (zh) | 2021-08-12 | 2021-08-12 | 人体部位的匹配方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110925096.2A CN113591785A (zh) | 2021-08-12 | 2021-08-12 | 人体部位的匹配方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113591785A true CN113591785A (zh) | 2021-11-02 |
Family
ID=78257693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110925096.2A Pending CN113591785A (zh) | 2021-08-12 | 2021-08-12 | 人体部位的匹配方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113591785A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
CN111178208A (zh) * | 2019-12-20 | 2020-05-19 | 华瑞新智科技(北京)有限公司 | 基于深度学习的行人检测方法、装置及介质 |
CN112800825A (zh) * | 2020-12-10 | 2021-05-14 | 云从科技集团股份有限公司 | 基于关键点的关联方法、系统及介质 |
CN113205138A (zh) * | 2021-04-30 | 2021-08-03 | 四川云从天府人工智能科技有限公司 | 人脸人体匹配方法、设备和存储介质 |
-
2021
- 2021-08-12 CN CN202110925096.2A patent/CN113591785A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
CN111178208A (zh) * | 2019-12-20 | 2020-05-19 | 华瑞新智科技(北京)有限公司 | 基于深度学习的行人检测方法、装置及介质 |
CN112800825A (zh) * | 2020-12-10 | 2021-05-14 | 云从科技集团股份有限公司 | 基于关键点的关联方法、系统及介质 |
CN113205138A (zh) * | 2021-04-30 | 2021-08-03 | 四川云从天府人工智能科技有限公司 | 人脸人体匹配方法、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108205655B (zh) | 一种关键点预测方法、装置、电子设备及存储介质 | |
CN111079570B (zh) | 一种人体关键点识别方法、装置及电子设备 | |
CN112559784B (zh) | 基于增量学习的图像分类方法及系统 | |
JP6946831B2 (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
CN107808111B (zh) | 用于行人检测和姿态估计的方法和装置 | |
CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN109948590B (zh) | 姿态问题检测方法及装置 | |
CN109815770B (zh) | 二维码检测方法、装置及系统 | |
CN111582207A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
CN108009466B (zh) | 行人检测方法和装置 | |
CN109798888B (zh) | 移动设备的姿态确定装置、方法和视觉里程计 | |
WO2016179808A1 (en) | An apparatus and a method for face parts and face detection | |
CN109101866B (zh) | 基于分割剪影的行人再识别方法及系统 | |
CN112926462B (zh) | 训练方法、装置、动作识别方法、装置及电子设备 | |
CN110660078A (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
JPWO2019208793A1 (ja) | 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム | |
CN111444850A (zh) | 一种图片检测的方法和相关装置 | |
CN110992404A (zh) | 目标跟踪方法、装置和系统及存储介质 | |
CN112001229B (zh) | 视频行为识别的方法、装置、系统和计算机设备 | |
CN112949785A (zh) | 对象检测方法、装置、设备及计算机存储介质 | |
CN113591785A (zh) | 人体部位的匹配方法、装置、设备和存储介质 | |
CN111553474A (zh) | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 | |
CN113591786A (zh) | 人体和人脸的匹配方法、装置、设备和存储介质 | |
CN115424346A (zh) | 一种人体坐姿检测方法、装置、计算机设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |