CN109558810B - 基于部位分割与融合目标人物识别方法 - Google Patents

Abstract

本发明公开了基于部位分割与融合目标人物识别方法，该方法是通过将人体进行部位分割，分割为头肩、躯干、腿部和全身四个部位，对于每个部位通过卷积神经网络分别训练得到四个部位分类器，每个部位分类器输出对应识别为目标人物的置信分数，然后我们将所有部分分类器进行部位分类器阈值判断和融合决策，获得最终的识别结果。该识别方法融合了身体多个部位的决策信息，可充分挖掘各身体部位之间的内在关联，具有多场景的普适性。当人物面部等特征区分度较大的部位受到部分遮挡时，依然可以通过联合其他身体部位信息进行有效识别，对部分遮挡有较好的鲁棒性。在加权组合的基础上添加部位决策阈值，避免加权组合结果受到部位极端值的影响。

Description

基于部位分割与融合目标人物识别方法

技术领域

本发明属于计算机视觉与图像处理领域，具体涉及一种基于部位分割与融合的目标人物识别方法。

背景技术

近年来，随着智能家居，智能安防以及娱乐影视等视频技术的广泛应用，目标人物的识别与检索逐渐成为图像视频分析和人工智能领域的一个热门研究课题。在智能家居方面，通过识别视频图像中的目标人物身份，可以对人的行为习惯进行记录，进一步为其定制更为舒适的服务。其次，通过在安防监控视频中的目标人物识别，可以对嫌疑人进行跟踪调查和异常行为分析，为智能安防体系提供视频信息支撑。影视视频中的目标人物检索，可以统计目标人物的出镜次数、出镜时间以及检索人物出镜场景，从而满足人们对于影视作品个性化追求的需要。

目前目标人物识别主要有两种方式：基于单一身体部位的目标人物识别方法和基于部位分割的目标人物识别方法。

基于单一身体部位的目标人物识别方法主要是利用人体区分度较大的某一身体部位进行特征描述并识别人物身份，最具有代表性的是人脸识别技术。人脸识别通过将给定待识别人脸区域进行特征提取，获得人脸的特征表示，进一步将此特征表示与候选人脸数据库中存储的每一个人脸特征表示进行距离度量，获得库中最接近待识别人脸的人脸样本，从而获得该人脸对应的目标人物身份

基于部位分割的目标人物识别方法主要是通过将人体分割为多个身体部位，然后对每一个身体部位分别提取特征表示，并训练部位分类器，最后将所有部位分类器进行按照一定的权重比例进行加权组合，并进行分类决策，得到最终的目标人物识别结果。

基于单一身体部位的目标人物识别方法依赖于区分度较大的部位特征，但在监控摄像头下，由于拍摄距离和拍摄角度的关系，人体的面部信息一般较为微小，且面部信息容易受到侧身、背身、俯视、面部遮挡物等部分遮挡的影响，不易提取到面部区分度较大的特征；而躯干部分由于衣服款式多种多样，以及人体不同部位动作，颜色和姿态差异会对识别产生较大影响；脚部偏小，不易进行采集。因此基于单一身体部位的目标人物识别在实际应用中存在很大局限性，对于部分遮挡情况下的鲁棒性较差。

基于部位分割的目标人物识别方法，在一定程度上可以缓解部分遮挡的问题，但是现存方法对于多部位的组合策略，多采用预先设定的先验权重值进行简单加权组合，无法充分挖掘身体各个部位之间的内在关联，普适性差。并且部位分类器简单加权组合的结果，易受到极端值的影响，比如当头部分类器识别为目标人物的置信分数很高，而由于躯干部分遮挡严重，导致躯干分类器获得的置信分数很低时，简单的加权组合会导致最终的置信分数趋于平均化，无法重点关注到最具有区分度的部位特征，从而导致错误的识别结果。

现有代表性技术2项。

(1)专利名称：一种人物识别方法、设置及电子设备(申请号CN201711386394.9)

本发明提供了一种人物识别方法、装置及电子设备，方法包括：对待处理视频进行人脸检测，得到各人脸位置，并识别检测的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；将该检索对象各特征与各目标对象对应的特征，通过预设的计算方式进行距离计算，确定该检索对象与各目标对象的距离；将各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。

但此方法过度依赖于人脸或头部区域特征，在人脸受到部分遮挡或严重遮挡的情况下，可能导致无法检测并提取人脸信息，导致识别失败。

(2)专利名称：基于部位分割的人体再识别方法(申请号：CN201710124643.0)

本发明是一种基于部位分割的人体再识别方法，其包括图像数据获取、粗识别和细识别等步骤。考虑到人体不同部位在识别过程中的影响和采集难易度，将人体除头以外，分割为：躯干、左/右上臂、左/右下臂、左/右大腿、左/右小腿共9个部位，应用粗识别，对上述部位图像从RGB颜色空间转换到HSV颜色空间，获得颜色直方图并根据颜色直方图进行相似度度量，分配权重并排序，可以提取出与查询集颜色相近的候选集人体，但无法缩小搜索范围。在粗识别的基础上，对于躯干部位图像，使用投影法可以提取出躯干部位的图案以及图案的位置信息，计算相关系数进行细排序，进一步提高识别率。

但此方法提取的身体部位包含较少的区分度特征，无法完整有效的描述人物的整体结构。此外颜色直方图特征作为图像特征表示容易受到光照影响，难以获得颜色以外的其他深度特征表示，当目标人物身着查询集中不存在的颜色服装时，会导致识别失败。此方法在粗排序过程中对9个部位分配预设的先验权重进行简单加权计算，无法充分挖掘各身体部位之间的内在关联，普适性差，且容易受到部位极端值的影响，可能导致识别错误。

发明内容

本发明要解决的技术问题为：当利用单一身体部位进行目标人物识别时，当该身体部位受到部分遮挡时，会导致识别困难或失败；当对多个部位依据先验权重进行简单加权组合时，会忽视身体各部位之间的内在关联，缺乏多场景普适性，且容易受到部位极端值的影响，导致识别失败。

本发明实现了一种基于部位分割与融合的目标人物识别方法。该方法是通过将人体进行部位分割，分割为头肩、躯干、腿部和全身四个部位，对于每个部位通过卷积神经网络分别训练得到四个部位分类器，每个部位分类器输出对应识别为目标人物的置信分数，然后将所有部分分类器进行部位分类器阈值判断和融合决策，获得最终的识别结果。

为达到上述目的，本发明采用的技术方案为基于部位分割与融合目标人物识别方法，该方法包含以下步骤，

1)获取图像数据集；

图像数据通过互联网下载或者摄像机进行获取，将采集到的大量人物全身图像，划分为训练样本集和测试样本集并保存。训练样本集和测试样本集中都包含目标人物图像即正样本图像和其他人物图像即负样本图像。

2)图像部分分割；

对于采集到的训练样本集和测试样本集进行部位分割，本方法将人物全身图像部位分割为头肩部分，躯干部分，腿部部分三部分，并保留全身图像，作为部位图像特征集，用于训练部位分类器。

3)训练部位分类器；

对于获得的各部位训练样本集，以目标人物的部位为正样本训练图像，其他人物的部位为负样本训练图像，分别训练对应各部位的部位分类器，输出各部位识别为目标人物的置信分数。

4)部位分类器融合决策；

对部分分类器预测的置信分数设置部位决策阈值，采用支持向量机SVM训练获得每个部位分类器在最终融合阶段的权重值，对所有部位分类器进行融合，进而进行分类决策获得目标人物识别结果。

与现有技术相比较，该识别方法融合了身体多个部位的决策信息，可充分挖掘各身体部位之间的内在关联，具有多场景的普适性。当人物面部等特征区分度较大的部位受到部分遮挡时，依然可以通过联合其他身体部位信息进行有效识别，对部分遮挡有较好的鲁棒性。在加权组合的基础上添加部位决策阈值，避免加权组合结果受到部位极端值的影响。

附图说明

图1为本方法基于部位分割与融合的目标人物识别方法的总体示意图。

图2为本方法实施例一提供的基于部位分割与融合的目标人物识别方法的流程图。

图3为本方法实施例二提供的基于部位分割与融合的目标人物识别方法的流程图。

图4为本方法实施例一步骤103训练部位分类器示意图。

具体实施方式

为使本发明实施例的目的、技术方案和有点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明为一种基于部位分割与融合的目标人物识别方法，包括获取图像数据集，图像部位分割，训练部位分类器和部位分类器的融合决策。下面通过实施例一和实施例二对本发明进行详细解释说明。

本发明的实施例一提供的方法流程图如图2所示，包括如下步骤：

步骤101：获取人物整身图像数据集。

步骤101-1：通过在互联网下载或者采用摄像机人工采集，获得包含大量人物的全身图像的图像集。

步骤101-2：对图像集中的图像进行筛选，并将其划分为指定目标人物图像即正样本图像和其他人物图像即负样本图像两个子集，作为训练样本集。

步骤102：对数据集中人物图像进行部位分割，获得各部位图像数据集。将训练样本集中的每一张人物整身图像分割为多个身体部位的集合，本实施例以分割四部分为例说明，但不限于四部分。将每个人物整身图像分割为头肩部分、躯干部分、下肢部分，并且保留整身图像，共四部分，即将训练样本集划分为四个部位图像子集。部位分割的方式可以采用手动切分、按照人体比例自动切分或者根据人物不同部位轮廓特征进行自动切分等。

步骤103：对分割后的各部位图像数据集单独训练，获得多个部位分类器。在获得四个部位图像子集后，对于每一个身体部位，采用机器学习方法单独训练一个部位分类器，训练部位分类器所采用的基础分类器可以是决策树、HOG分类器、Haar-like分类器、神经网络。本实施例中采用卷积神经网络模型作为基础分类器，但不限于卷积神经网络模型。获得头肩分类器、躯干分类器、下肢分类器和整身分类器四个部位分类器。以头肩分类器为例，训练部位分类器步骤如图4所示，将目标人物的头肩部分图像作为正样本，非目标人物的头肩部分作为负样本，输入到卷积神经网络中进行提取特征并训练模型参数，即获得头肩分类器。

步骤104：分割待识别人物图像，将各部位图像分别输入到对应的训练好的部位分类器，获得各部位识别为目标人物的置信分数。将待识别的人物图像以步骤102中相同的方式进行部分分割为四部分图像，然后将各部位图像分别输入到步骤103中训练好的对应的部位分类器，部位分类器输出各部位识别为目标人物的置信分数。头肩部位识别为目标人物的分数记为Score_head，躯干部分识别为目标人物的分数记为Score_torse，下肢部分识别为目标人物的分数记为Score_foot，全身部分识别为目标人物的分数记为Score_full。

步骤105：判断是否存在某部位的置信分数大于预设部位分类器决策阈值。为了避免多部位分类器融合过程中受到极端值影响，设置部位分类器的决策阈值。本实施例中设置部位分类器决策阈值为0.98。

步骤105-1：当某个部位分类器的预测分数大于该阈值时，可以有足够的证据认为，通过此部分直接判断为是目标人物，而不需要联合其他部位分类器的分数进行加权融合得到。以头肩部位分类器为例，当待识别人物图像的头肩部位识别为目标人物的置信分数大于0.98时，可以直接判定待识别人物图像为目标人物，输出识别结果，结束流程。

步骤105-2：当所有部位分类器的预测分数均小于预设部位分类器决策阈值时，转到执行步骤106。

步骤106：采用SVM训练获得各部位分类器在最终联合分类器中的权重值。将步骤102中各部位训练样本集输入到已训练完成的对应其身体部位的部位分类器中，获得四组预测分数Score_head、Score_full、Score_torse、Score_foot以及一组图像真实类别标签Labels。以Score_head、Score_full、Score_torse、Score_foot作为线性SVM模型的四个输入特征，图像真实标签Labels作为SVM模型的输出值，通过线性SVM训练获得每个部分分类器在最终联合分类器中的权重值。

步骤107：加权决策融合所有部位的置信分数，获得最终的分类决策值。对各部分分类器置信分数进行加权融合计算，得到最终的分类决策值Score_obj，进行目标人物的分类和识别。计算公式表示为：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full+b

其中W₁、W₂、W₃、W₄为四个部位分类器的权重值，b为偏置项，得到的Score_obj有正负值之分，|Score_obj|的值越大，表明分类的置信水平越高，分类决策的可信度越高。

步骤108：根据最终分类决策值判断是否为目标人物。对于输入的一张待识别人物图像，当分类决策值Score_obj＞0，则判定该人物为目标人物，Score_obj≤0，则判定该人物为非目标人物，输出识别结果，流程结束。

本发明实施例二提供的方法流程图如图3所示，将上述实施例中步骤106和步骤107采用步骤A06实现，步骤108采用步骤A07实现：

步骤A06：使用预设的先验权重值，加权融合所有部位分类器的置信分数，获得最终的置信分数。根据四个身体部位在最终分类决策中的重要性，依次设置为W₁，W₂，W₃，W₄，并且满足权重之和W₁+W₂+W₃+W₄＝1的规则，其权重值代表每个身体部位对分类决策的影响程度，权重值越大，该部件对最终分类结果的影响越大，反之则越小。对各部位的置信分数加权融合计算，得到最终的置信分数Score_obj。计算公式表示为：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full

步骤A07：根据最终置信分数判断是否为目标人物。对于输入的一张待识别人物图像，当最终置信分数Score_obj＞0.5，则判定该人物为目标人物，Score_obj≤0.5，则判定该人物为非目标人物，输出识别结果，流程结束。

Claims (2)

1.基于部位分割与融合目标人物识别方法，其特征在于：该方法包含以下步骤，

1)获取图像数据集；

图像数据通过互联网下载或者摄像机进行获取，将采集到的大量人物全身图像，划分为训练样本集和测试样本集并保存；训练样本集和测试样本集中都包含目标人物图像即正样本图像和其他人物图像即负样本图像；

2)图像部分分割；

对于采集到的训练样本集和测试样本集进行部位分割，本方法将人物全身图像部位分割为头肩部分，躯干部分，腿部部分三部分，并保留全身图像，作为部位图像特征集，用于训练部位分类器；

3)训练部位分类器；

对于获得的各部位训练样本集，以目标人物的部位为正样本训练图像，其他人物的部位为负样本训练图像，分别训练对应各部位的部位分类器，输出各部位识别为目标人物的置信分数；

4)部位分类器融合决策；

对部分分类器预测的置信分数设置部位决策阈值，采用支持向量机SVM训练获得每个部位分类器在最终融合阶段的权重值，对所有部位分类器进行融合，进而进行分类决策获得目标人物识别结果；

具体实施过程如下：步骤101：获取人物整身图像数据集；

步骤101-1：通过在互联网下载或者采用摄像机人工采集，获得包含大量人物的全身图像的图像集；

步骤101-2：对图像集中的图像进行筛选，并将其划分为指定目标人物图像即正样本图像和其他人物图像即负样本图像两个子集，作为训练样本集；

步骤102：对数据集中人物图像进行部位分割，获得各部位图像数据集；将训练样本集中的每一张人物整身图像分割为多个身体部位的集合，以分割四部分；将每个人物整身图像分割为头肩部分、躯干部分、下肢部分，并且保留整身图像，共四部分，即将训练样本集划分为四个部位图像子集；部位分割的方式可以采用手动切分、按照人体比例自动切分或者根据人物不同部位轮廓特征进行自动切分；

步骤103：对分割后的各部位图像数据集单独训练，获得多个部位分类器；在获得四个部位图像子集后，对于每一个身体部位，采用机器学习方法单独训练一个部位分类器，训练部位分类器所采用的基础分类器可以是决策树、HOG分类器、Haar-like分类器、神经网络；采用卷积神经网络模型作为基础分类器，但不限于卷积神经网络模型；获得头肩分类器、躯干分类器、下肢分类器和整身分类器四个部位分类器；头肩分类器中，训练部位分类器步骤将目标人物的头肩部分图像作为正样本，非目标人物的头肩部分作为负样本，输入到卷积神经网络中进行提取特征并训练模型参数，即获得头肩分类器；

步骤104：分割待识别人物图像，将各部位图像分别输入到对应的训练好的部位分类器，获得各部位识别为目标人物的置信分数；将待识别的人物图像以步骤102中相同的方式进行部分分割为四部分图像，然后将各部位图像分别输入到步骤103中训练好的对应的部位分类器，部位分类器输出各部位识别为目标人物的置信分数；头肩部位识别为目标人物的分数记为Score_head,躯干部分识别为目标人物的分数记为Score_torse,下肢部分识别为目标人物的分数记为Score_foot,全身部分识别为目标人物的分数记为Score_full；

步骤105：判断是否存在某部位的置信分数大于预设部位分类器决策阈值；为了避免多部位分类器融合过程中受到极端值影响，设置部位分类器的决策阈值；设置部位分类器决策阈值为0.98；

步骤105-1：当某个部位分类器的预测分数大于该阈值时，认为通过此部分直接判断为是目标人物，而不需要联合其他部位分类器的分数进行加权融合得到；头肩部位分类器中，当待识别人物图像的头肩部位识别为目标人物的置信分数大于0.98时，可以直接判定待识别人物图像为目标人物，输出识别结果，结束流程；

步骤105-2：当所有部位分类器的预测分数均小于预设部位分类器决策阈值时，转到执行步骤106；

步骤106：采用SVM训练获得各部位分类器在最终联合分类器中的权重值；将步骤102中各部位训练样本集输入到已训练完成的对应其身体部位的部位分类器中，获得四组预测分数Score_head、Score_full、Score_torse、Score_foot以及一组图像真实类别标签Labels；以Score_head、Score_full、Score_torse、Score_foot作为线性SVM模型的四个输入特征，图像真实标签Labels作为SVM模型的输出值，通过线性SVM训练获得每个部分分类器在最终联合分类器中的权重值；

步骤107：加权决策融合所有部位的置信分数，获得最终的分类决策值；对各部分分类器置信分数进行加权融合计算，得到最终的分类决策值Score_obj，进行目标人物的分类和识别；计算公式表示为：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full+b

其中W₁、W₂、W₃、W₄为四个部位分类器的权重值，b为偏置项，得到的Score_obj有正负值之分，|Score_obj|的值越大，表明分类的置信水平越高，分类决策的可信度越高；

步骤108：根据最终分类决策值判断是否为目标人物；对于输入的一张待识别人物图像，当分类决策值Score_obj>0,则判定该人物为目标人物，Score_obj≤0，则判定该人物为非目标人物，输出识别结果，流程结束。

2.根据权利要求1所述的基于部位分割与融合目标人物识别方法，其特征在于：步骤106和步骤107采用步骤A06实现，步骤108采用步骤A07实现：

步骤A06：使用预设的先验权重值，加权融合所有部位分类器的置信分数，获得最终的置信分数；根据四个身体部位在最终分类决策中的重要性，依次设置为W₁，W₂，W₃，W₄，并且满足权重之和W₁+W₂+W₃+W₄＝1的规则，其权重值代表每个身体部位对分类决策的影响程度，权重值越大，该部位 对最终分类结果的影响越大，反之则越小；对各部位的置信分数加权融合计算，得到最终的置信分数Score_obj；计算公式表示为：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full

步骤A07：根据最终置信分数判断是否为目标人物；对于输入的一张待识别人物图像，当最终置信分数Score_obj>0.5,则判定该人物为目标人物，Score_obj≤0.5，则判定该人物为非目标人物，输出识别结果，流程结束。

Images