CN111178178A - 结合区域分布的多尺度行人重识别方法、系统、介质及终端 - Google Patents

结合区域分布的多尺度行人重识别方法、系统、介质及终端 Download PDF

Info

Publication number
CN111178178A
CN111178178A CN201911290949.9A CN201911290949A CN111178178A CN 111178178 A CN111178178 A CN 111178178A CN 201911290949 A CN201911290949 A CN 201911290949A CN 111178178 A CN111178178 A CN 111178178A
Authority
CN
China
Prior art keywords
feature
pedestrian
visibility score
characteristic
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911290949.9A
Other languages
English (en)
Other versions
CN111178178B (zh
Inventor
王海涛
成西锋
袁德胜
姚磊
张宏俊
王作辉
游浩泉
刘耀文
吴贺丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN201911290949.9A priority Critical patent/CN111178178B/zh
Publication of CN111178178A publication Critical patent/CN111178178A/zh
Application granted granted Critical
Publication of CN111178178B publication Critical patent/CN111178178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种结合区域分布的多尺度行人重识别方法、系统、介质及终端；所述方法包括以下步骤：从行人图像上提取出特征信息，并输出包含特征信息的特征图；生成对应人体部位的概率图和第一可见性分数；提取对应人体部位的第一特征；分别对第一特征和第一可见性分数进行合并，获取第二特征和第二可见性分数；计算两个行人图像的特征距离，以度量两个行人图像上行人的相似性，实现行人重识别；本发明能够有效地解决摄像设备的差异、行人的外观易受穿着、尺度、遮挡、姿态和视角等影响的问题，快速确定行人图像上的行人，显著提高了行人重识别的准确性。

Description

结合区域分布的多尺度行人重识别方法、系统、介质及终端
技术领域
本发明属于图像处理技术领域，特别是涉及一种结合区域分布的多尺度行人重识别方法、系统、介质及终端。
背景技术
对行人图像上行人的相似性判断，从而确定两张行人图像上的行人是否为同一人的技术可应用在很多领域，特别是行人重识别技术领域，行人重识别(Person re-Identification)也称行人再识别，是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题；给定一个监控行人图像，检索跨设备下的该行人图像，旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
在进行行人重识别时，通过对采集到的行人图像上行人的相似性的判断，确定行人的行为轨迹或者通过将确定为同一行人的行人图像结合，以实现快速找到特定的行人；或者是在道路安全领域，通过摄像设备采集的行人图像，确定同一行人在固定时间段内违反道路安全交通准则的次数，以根据该次数决定是否对该行人执行惩罚措施及惩罚的力度；由于不同摄像设备之间的差异，图像拍摄的时间、地点随机，且光线、角度、姿态不同，再加上行人容易受到检测精度的影响，外观易受穿着、尺度、遮挡、姿态和视角等影响，会使得在对行人图像上行人的相似性判断时存在误差，导致准确率降低。
判断行人图像上行人相似性的传统方法着重于对行人图像的低维度特征的提取，比如颜色、形状、局部描述等等，随着深度学习的飞速发展，神经网络在这一领域占主导地位，通过神经网络以端对端的形式学习行人图像的高维度特征，以基于高维度特征实现对行人图像上行人相似性的判断；近年来，基于注意力的网络在行人相似性判断上产生了较大突破：
基于注意力的网络专注在基于位置的显著信息提取，使得不同级别的网络分支能够关注不同粒度的分辨信息，但受制于其固定的空间分块，在行人图像不完整的情况下没有特征对齐，反而效果会更差；基于注意力模型的原理，研究者们又发表了局部可见感知模型(VPM)，该模型通过自监督学习感知可见区域内的特征，优点是对行人图像不完整的情况有非常好的适应性，提高了模型的稳定性，但是没有充分利用空间上多尺度的信息，使得行人重识别准确度也较低。
因此，提供一种结合区域分布计算和多尺度特征提取的技术手段，以提高对行人图像上行人相似性判断的准确率，进而提高行人重识别准确率成为目前亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种结合区域分布的多尺度行人重识别方法、系统、介质及终端，用于解决现有技术中由于摄像设备的差异、拍摄场景的随机性、行人外观受穿着、尺度姿态和视角的影响，特别是遮挡问题，一个行人可能被其它物体部分遮挡，导致无法产生全身图像，而局部成像又很难判断出行人，从而导致行人相似性判断难度高、行人重识别准确率低的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种结合区域分布的多尺度行人重识别方法，所述结合区域分布的多尺度行人重识别方法包括以下步骤：从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的第三可见性分数、第四可见性分数、第三特征和第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
于本发明的一实施例中，从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图包括：将所述行人图像输入到端到端的卷积神经网络，所述行人图像经所述卷积神经网络的卷积层处理，输出所述特征图。
于本发明的一实施例中，在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数包括以下步骤：将所述特征图输入预先训练的区域分布计算模型，输出所述概率图；将所述概率图上的每个像素点的值累加生成所述第一可见性分数。
于本发明的一实施例中，在将所述特征图输入预先训练的区域分布计算模型之前，所述结合区域分布的多尺度行人重识别方法还包括：通过自监督学习网络训练所述区域分布计算模型。
于本发明的一实施例中，根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征包括：将所述特征图和所述概率图输入到多尺度特征提取器，使所述概率图与所述特征图相乘，以提取出所述第一特征。
于本发明的一实施例中，分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数包括以下步骤：将所述第一特征合并为一级特征，以获取所述第二特征；对所述第一可见性分数进行均值计算，以获取所述第二可见性分数。
于本发明的一实施例中，根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别包括以下步骤：将所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征均输入到感知共享计算模型，以使所述感知共享计算模型计算出两个所述行人图像上对应相同特征之间的欧式距离；所述感知共享计算模型根据所述欧式距离，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
本发明另一方面提供一种结合区域分布的多尺度行人重识别系统，所述结合区域分布的多尺度行人重识别系统包括：输出模块、生成模块、提取模块、合并模块、执行模块和计算模块；所述输出模块用于从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；所述生成模块用于在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；所述提取模块用于根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；所述合并模块用于分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；所述执行模块用于对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；所述计算模块用于根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
本发明又一方面提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的结合区域分布的多尺度行人重识别方法。
本发明最后一方面提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的结合区域分布的多尺度行人重识别方法。
如上所述，本发明所述的结合区域分布的多尺度行人重识别方法、系统、介质及终端，具有以下有益效果：
(1)采用自监督学习的方法对区域分布计算模型进行训练，能够有效地解决摄像设备的差异、行人的外观易受穿着、尺度、遮挡、姿态和视角等影响的问题，快速确定行人图像上的行人；通过自监督学习感知行人图像上哪些部位是可见或者不可见，并在比较两个行人图像时，重点聚焦在共同可见的部位上，从而显著提高了行人重识别的准确性；
(2)通过综合行人图像的整体特征及不同级别的局部特征，实现了准确的匹配相同行人的图像；
(3)结合自监督训练的部位特征判别方法和多尺度特征提取的方法，即保留了基于部位判别的距离度量的灵活性，又通过结合多尺度信息，提高了行人相似性判断的能力；
(4)利用现有的网络结构作为基础，采用结合了自监督学习、区域分布和多尺度的方法进行行人图像上行人相似性的判断，具有简单性、有效性及较高的迁移和适应能力。
附图说明
图1显示为本发明的结合区域分布的多尺度行人重识别方法于一实施例中的流程图。
图2显示为本发明的生成概率图和第一可见性分数于一实施例中的流程图。
图3显示为本发明的对S2中区域分布计算模型进行训练于一实施例中的流程图。
图4显示为本发明的S4于一实施例中的流程图。
图5显示为本发明的S6于一实施例中的流程图。
图6显示为本发明的S2和S3的实施事例图。
图7显示为本发明的S4的实施事例图。
图8显示为本发明的S6的实施事例图。
图9显示为本发明的结合区域分布的多尺度行人重识别系统于一实施例中的结构示意图。
元件标号说明
91 输出模块
92 生成模块
93 提取模块
94 合并模块
95 执行模块
96 计算模块
S1～S6 步骤
S21～S246 步骤
S221～S227 步骤
S41～S42 步骤
S61～S62 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的结合区域分布的多尺度行人重识别方法、系统、介质及终端的技术原理如下：所述结合区域分布的多尺度行人重识别方法包括以下步骤：从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的第三可见性分数、第四可见性分数、第三特征和第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
实施例一
本实施例提供一种结合区域分布的多尺度行人重识别方法，所述结合区域分布的多尺度行人重识别方法包括以下步骤：
从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；
在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；
根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；
分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；
对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；
根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的第三可见性分数、第四可见性分数、第三特征和第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
以下将结合图1至图8对本实施例所提供的结合区域分布的多尺度行人重识别方法进行详细描述。
请参阅图1，显示为本发明的结合区域分布的多尺度行人重识别方法于一实施例中的流程图。如图1所示，本发明的结合区域分布的多尺度行人重识别方法包括以下步骤：
S1、从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图。
具体地，使用计算机提取所述行人图像中属于特征性的信息，即特征信息，特征信息被检测后可以从行人图像中被抽取出来，其结果被称为特征描述或者特征张量，形成特征图。
于本实施例中，从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图包括：将所述行人图像输入到端到端的卷积神经网络，所述行人图像经所述卷积神经网络的卷积层处理，输出所述特征图。
需要说明的是，该卷积神经网络使用triplet loss作为损失函数；triplet loss是深度学习中的一种损失函数，用于训练差异性较小的样本；使用triplet loss作为损失函数，可使后续获取的类内距离尽量接近，类间距离尽量大；类内距离是指同一行人对应的不同行人图像间的特征距离；类间距离是指不同行人对应的不同行人图像间的特征距离。
需要说明的是，该卷积神经网络采用VGG-16网络；具体地，在提取所述特征信息之前，搭建好VGG-16网络，并对其进行初始化操作，初始权值为其在预训练模型(ImageNet)上的预训练权重，对于网络结构里其它部分参数，采用均值为0，均方差为0.01的正态分布进行初始化，偏差采用0进行初始化。
需要说明的是，VGG-16网络的具体结构表如下：
表1：VGG-16网络的具体结构表
Figure BDA0002319113730000071
需要说明的是，该卷积神经网络可替换成其它网络结构，比如VGG-19、MobileNet(轻量级模型)等；该卷积神经网络的卷积层可替换为可变形卷积。
S2、在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数。
需要说明的是，所述人体部位是预定义的分割区域；所述概率图用于指示所述人体部位的位置；所述第一可见性分数用来评价在所述特征图上对应所述人体部位看得见部分的多少，即可见量。
具体地，在所述S1获取的特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于该概率图生成对应所述人体部位的第一可见性分数。
需要说明的是，在特征图上预测人体部位的区域分布之前，用户预先定义了对行人图像上行人身体的分割区域，根据预定义的分割区域，在特征图(对应行人图像上的行人)上预测对应预定义的分割区域的区域分布，从而生成对应预定义的分割区域的概率图。
需要说明的是，概率图中像素值的范围为0-1，代表行人图像中该像素属于概率图指示人体部位的可信度；概率图的数量与预定义的分割区域的数量相同，第一可见性分数与概率图一一对应；如果将行人图像上的行人分为上半身和下半身，对应就会生成两个概率图；如果将行人图像上行人的上半身分为三部分，下半身分成两部分，则对应就会生成五个概率图；同理分成更多部分也一样，在此不再赘述。
请参阅图2，显示为本发明的生成概率图和第一可见性分数于一实施例中的流程图。如图2所示，在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数包括以下步骤：
S21、搭建区域分布计算模型和预先训练好的自监督学习网络。
需要说明的是，对完整行人图像上的行人预先定义一个固定的分割区域，将行人图像从上到下的分割成若干部分，然后裁剪，把裁剪后的图像缩放到固定尺寸输入到自监督学习网络，在裁剪和缩放后，对应的标注也要缩放；自监督学习是自动生成标注数据，在区域分布计算模型让自监督学习网络跟着调整和训练；由于裁剪参数可自动获取，从而自然知道哪些人体部位是可见的。
需要说明的是，自监督学习网络包括一个卷积核大小为1x1，通道数为预定义的分割区域的数量的卷积层和一个对通道维度上的值计算的Softmax激活层；区域分布计算模型使用1x1卷积层及一个Softmax函数来构建一个像素级别的分类器，可将特征图上的每个像素分类到预定义的分割区域中；假设预定义N个分割区域，那么区域分布计算模型就会输出N个概率图，且N个概率图的空间大小均与特征图相同，概率图上的每个像素点的值对应该点属于对应人体部位的概率；这个分类器产生的N个概率图能直接指示出各个人体部位的位置；若果一个部位实际上不可见，那么对应于它的概率图应该处处为零；相反，如果一个部位实际上可见，那么对应于它的概率图在部位可见的位置应该显示出较高的概率。
S22、通过自监督学习网络训练所述区域分布计算模型，以获取训练好的区域分布计算模型。
需要说明的是，通过自监督学习网络分割出若干人体部位(分割原则是基于预定义的分割区域)，用以训练区域分布计算模型，在利用区域分布计算模型的Softmax函数学习部位特征时，自监督学习网络使训练区域分布计算模型的重点关注可见部位，使区域分布计算模型专注于行人图像上行人的共有区域。
请参阅图3，显示为本发明的区域分布计算模型训练方法于一实施例中的流程图。如图3所示，通过自监督学习网络分割出的对应预定义的分割区域的人体部位来训练区域分布计算模型，区域分布计算模型训练方法包括以下步骤：
S221、初始化区域分布计算模型。
具体地，区域分布计算模型的初始权值为其在ImageNet上的预训练权重；对于区域分布计算模型的卷积层采用均值为0，均方差为0.01的正态分布进行初始化，偏差采用0进行初始化。
S222、采集行人图像，并将采集的所述行人图像分为训练集和测试集。
具体地，通过采集行人图像构建数据集，然后将数据集按照一定比例划分为训练集和测试集；例如，随机抽取数据集的70％作为训练集，剩余30％作为测试集。
S223、将作为训练集的行人图像输入到特征信息提取模型中，输出对应所述行人图像的特征图。
需要说明的是，所述特征信息提取网络采用上述的端到端的卷积神经网络；这里作为训练集的行人图像是用来训练区域分布计算模型时采集的，与所述S1中的行人图像不同，所述S1中的行人图像是在实际应用中采集的行人图像。
S224、将所述特征图输入到自监督学习网络中，输出对应预定义的分割区域的人体部位。
具体地，自监督学习网络根据预定义的分割区域，实现对特征图上对应预定义的分割区域的人体部位的划分，并输出该人体部位。
S225、将所述人体部位输入到区域分布计算模型中，输出对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数。
具体地，将所述S224获取的人体部位输入到区域分布计算模型中，区域分布计算模型输出对应该人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数。
需要说明的是，区域分布计算模型除用以生成概率图外，还可根据预定义的分割区域，在特征图上预测出人体部位的区域分布。
S226、基于所述第一可见性分数定义所述区域分布计算模型的损失函数，以获取损失值。
需要说明的是，所述损失函数采用交叉熵损失函数。
S227、循环执行区域分布计算模型训练方法的步骤，直至所述损失值不再下降，停止训练，选取损失值最小值对应的区域分布计算模型作为最终区域分布计算模型。
具体地，循环执行区域分布计算模型训练方法的步骤，直至损失值达到了一个比较小的状态，并且在测试集上的准确率不再提升，则可将此时的区域分布计算模型作为最终区域分布计算模型。
需要说明的是，区域分布计算模型训练方法还包括利用测试集评估区域分布计算模型，从而挑选出所述最终区域分布计算模型。
S23、将所述特征图输入训练好的区域分布计算模型，输出所述概率图。
具体地，将所述S1获取的特征图输入经S221-S227训练好的区域分布计算模型，以在特征图上预测出对应人体部位的区域分布，并根据该区域分布输出对应该人体部位的概率图。
需要说明的是，区域分布计算模型对特征图上对应人体部位的区域分布的分割可采用RPP软分割。
S24、将所述概率图上的每个像素点的值累加生成所述第一可见性分数。
具体地，通过对概率图上每个像素点的值进行累加操作，即可获取对应该概率图的第一可见性分数，因为一概率图对应一人体部位，所以该第一可见性分数也同样对应该人体部位；第一可见性分数用于表征该人体部位看得见部分的多少，不可见的人体部位的可见性分数很低，近似于零。
需要说明的是，概率图上每一像素点的值的计算公式表示为：
Figure BDA0002319113730000101
其中，公式1中的WT是区域分布计算模型的1×1卷积层的可学习权重；
Figure BDA0002319113730000102
均对应权重值，是定量；g是一像素点对应的像素；p是预定义的分割区域的数量；Ri是第i个人体部位；i和j的值均从1取到p；P(Ri|g)是第i个人体部位对应概率图上一像素点的值。
需要说明的是，每一像素点对应的像素不同，因此，经公式1求得的每一像素点的值也不同。
通过对概率图上的每个像素点的值进行累加来预测对应每个人体部位的第一可见性分数，计算公式表示为：
Ci＝∑P(Ri|g) (公式2)
其中，公式2中的Ci为第i个人体部位对应的第一可见性分数；公式2表示将一概率图上所有的像素点的值进行叠加求和。
S3、根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征。
具体地，对所述S1获取的特征图和所述S2获取的概率图共同进行特征提取操作，以获取对应该概率图的第一特征；因为一概率图对应一人体部位，所以该第一特征也同样对应该人体部位。
于本实施例中，根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征包括：将所述特征图和所述概率图输入到多尺度特征提取器，使所述概率图与所述特征图相乘，以提取出所述第一特征。
需要说明的是，多尺度特征提取器的工作原理为：对特征图和概率图进行乘法运算，以生成对应该概率图的第一特征。
需要说明的是，多尺度特征提取器包括区域特征提取器和全局特征提取器；所述区域特征提取器用来提取所述行人图像的局部特征，包括二级区域特征提取器、三级区域特征提取器……；所述全局特征提取器用来提取所述行人图像的整体特征；多尺度表示采用了多个特征提取器进行特征提取，而每一特征提取器的级别不同，全局特征提取器的级别为1，二级区域特征提取器的级别为2，三级区域特征提取器的级别为3……。
需要说明的是，对于不同尺度的特征提取器，需要训练对应每一尺度的区域分布计算模型，以适应对行人图像上行人的不同分割；具体地，在进行整体特征提取时，首先，对行人图像上的行人预定义的分割区域的数量为1，所述S1会产生1个特征图；训练好的区域分布计算模型会生成1个概率图；通过全局特征提取器提取出1个第一特征；在进行2级局部特征的提取时，首先，对行人图像上的行人预定义的分割区域的数量为2，所述S1会产生2个特征图；训练好的区域分布计算模型会生成2个概率图；通过二级区域特征提取器提取出2个第一特征；在进行3级局部特征的提取时，首先，对行人图像上的行人预定义的分割区域的数量为3，所述S1会产生3个特征图；训练好的区域分布计算模型会生成3个概率图；通过三级区域特征提取器提取出3个第一特征；对于其它级别的区域特征提取器，原理同上，在此不再赘述。
需要说明的是，当进行多尺度的特征提取时，需要将特征图分别输入到对应每一尺度的区域分布计算模型，这样就使区域分布计算模型输出对应每一尺度的第一特征。
需要说明的是，可通过预先训练好一神经网络，然后利用该神经网络进行特征提取操作。
S4、分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数。
具体地，对第一特征进行合并操作，获取第二特征；对第一可见性分数进行合并操作，获取第二可见性分数。
请参阅图4，显示为本发明的合并第一特征和第一可见性分数于一实施例中的流程图。如图4所示，分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数包括以下步骤：
S41、将所述第一特征合并为一级特征，以获取所述第二特征。
具体地，对经所述S3获取的第一特征进行加权平均计算，权重为每一第一特征对应的第一可见性分数，以获取第二特征。
需要说明的是，当所述S3只采用全局特征提取器进行特征提取时，即只会产生1个第一特征时，通过该步骤对其进行加权平均计算的合并操作，产生一级特征，即为第二特征，该第二特征与经所述S3提取的第一特征相同。
需要说明的是，经所述S3产生多个第一特征包括以下情况：通过至少为2级别的区域特征提取器产生了至少2个第一特征(二级区域特征提取器)及通过至少2个尺度的特征提取器产生了至少3个第一特征(1个全局特征提取器和1个二级区域特征提取器)；具体地，如果所述S3是通过采用一尺度的特征提取操作产生多个第一特征时，即只通过采用一个2级别以上的区域特征提取器进行特征提取时，对经所述S3产生的第一特征进行加权平均计算的合并操作后获取的一级特征即为第二特征；如果所述S3是通过采用多尺度的特征提取操作产生多个第一特征时，即通过至少2个尺度的特征提取器产生了至少3个第一特征，此时，需要分别对每一尺度对应的特征提取器产生的第一特征进行加权平均计算的合并操作，分别获取对应每一尺度的一级特征；其中，最高级别尺度对应的特征提取器产生的第一特征经合并后获取的一级特征，即为对应最高级别尺度的第二特征；对次级别尺度对应的特征提取器产生的第一特征进行合并后获取的一级特征需要与对应最高级别尺度的第二特征进行融合，融合后产生的特征即为该次级别尺度对应的第二特征；当所述S3采用多尺度特征提取时，对第一特征的合并原理同上：先将每一尺度对应产生的第一特征合并为一级特征，按照级别高低顺序，由高至低，最高级别尺度对应的一级特征为一第二特征，下一级尺度对应的第二特征为该尺度对应的一级特征与上一级(比该尺度对应的级别高)对应的第二特征融合的结果，最终获取对应每一尺度的第二特征。
需要说明的是，融合的原理为：对下一级尺度对应的一级特征与上一级对应的第二特征进行加权平均计算的合并操作，权重为该一级特征与该第二特征对应的可见性分数；具体地，该可见性分数的获取基于下述S42获得。
S42、对所述第一可见性分数进行均值计算，以获取所述第二可见性分数。
具体地，对所述S2获取的第一可见性分数进行均值计算，以获取第二可见性分数。
需要说明的是，经所述S2获取了对应概率图的第一可见性分数，经所述S3获取了对应概率图的第一特征，所以，第一可见性分数与第一特征一一对应。
需要说明的是，当所述S3只采用全局特征提取器进行特征提取时，即只会产生1个第一特征时，所述S2获取的对应该第一特征的第一可见性分数也只有1个，通过该步骤对该第一可见性分数进行均值计算，产生的结果即为第二可见性分数，该第二可见性分数与所述第一可见性分数相同。
需要说明的是，当经所述S3产生多个第一特征(所述S3产生多个第一特征的情况如上所述)，即对应第一特征的第一可见性分数为多个时，对多个第一可见性分数进行均值计算，以获取第二可见性分数；具体地，如果所述S3是通过采用一尺度的特征提取操作产生多个第一特征时，即只通过采用一个2级别以上的区域特征提取器进行特征提取时，所述S2中的区域分布计算模型会生成至少2个第一可见性分数，对经所述S2产生的第一可见性分数进行均值计算，计算结果即为第二可见性分数；如果所述S3是通过采用多尺度的特征提取操作产生多个第一特征时，即通过至少2个尺度的特征提取器产生了至少3个第一特征，所述S2中的区域分布计算模型会生成至少3个第一可见性分数，此时，需要分别对每一尺度对应的区域分布计算模型产生的第一可见性分数进行均值计算，分别获取对应一级特征的可见性分数；其中，最高级别尺度对应的区域分布计算模型产生的第一可见性分数经均值计算后获取的即为对应最高级别尺度的第二可见性分数；对次级别尺度对应的区域分布计算模型产生的第一可见性分数进行均值计算后获取的对应一级特征的可见性分数需要与对应最高级别尺度的第二可见性分数进行均值计算，计算结果即为该次级别尺度对应的第二可见性分数；当所述S3采用多尺度特征提取时，对所述S2中的区域分布计算模型产生的第一可见性分数的合并原理同上：先将每一尺度对应产生的第一可见性分数进行均值计算，按照级别高低顺序，由高至低，最高级别尺度对应的第一可见性分数进行均值计算后的结果为一第二可见性分数，下一级尺度对应的第二可见性分数为该尺度对应一级特征的可见性分数与上一级(比该尺度对应的级别高)对应的第二可见性分数进行均值计算后的结果，最终获取对应每一尺度的第二可见性分数。
S5、对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数。
具体地，对另一个行人图像执行所述S1-S4的步骤，以分别获取对应所述第一特征的第三特征，对应所述第一可见性分数的第三可见性分数，对应所述第二特征的第四特征及对应所述第二可见性分数的第四可见性分数。
需要说明的是，对另一行人图像执行所述S1-S4步骤的工作原理与上述S1-S4对应步骤的工作原理相同，在此不再赘述。
S6、计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
具体地，根据所述S1-S4获取的对应一行人图像的第一可见性分数、第二可见性分数、第一特征和第二特征及所述S5获取的对应另一行人图像的第三可见性分数、第四可见性分数、第三特征和第四特征，计算这两个行人图像的特征距离，以基于该特征距离度量这两个行人图像上行人的相似性，实现行人重识别。
请参阅图5，显示为本发明的计算两个行人图像的特征距离于一实施例中的流程图。如图5所示，根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别包括以下步骤：
S61、将所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征均输入到感知共享计算模型，以使所述感知共享计算模型计算出两个所述行人图像上对应相同特征之间的欧式距离。
需要说明的是，感知共享计算模型的工作原理为：基于第一可见性分数、第二可见性分数、第一特征和第二特征及第三可见性分数、第四可见性分数、第三特征和第四特征，按照预设计算欧式距离的公式计算第一特征与第一特征之间或第一特征与第二特征之间或第二特征与第二特征之间的欧式距离；公式表示为：
Figure BDA0002319113730000141
其中，公式3中的fi表示特征i(可能是第一特征或第二特征，也可能是第三特征或第四特征)，i的值从1取到p，p表示第一特征与第二特征的数量之和；k表示行人图像k；l表示行人图像l(k与l不同)；
Figure BDA0002319113730000142
表示行人图像k和行人图像l的共同特征i之间的欧式距离。
S62、所述感知共享计算模型根据所述欧式距离，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
具体地，感知共享计算模型根据预设计算特征距离的公式计算两个行人图像的特征距离；公式表示为：
Figure BDA0002319113730000143
其中，公式4中的
Figure BDA0002319113730000144
表示行人图像k上对应特征i的可见性分数(可能是第一可见性分数或第二可见性分数，也可能是第三可见性分数或第四可见性分数)；
Figure BDA0002319113730000145
表示行人图像l上对应特征i的可见性分数(可能是第一可见性分数或第二可见性分数，也可能是第三可见性分数或第四可见性分数)；Dkl表示行人图像k和行人图像l的特征距离。
需要说明的是，对经所述S4获取的第二特征与经所述S3获取的第一特征进行连接操作(concat())，连接的是特征长度；如果每条特征的长度为x，那么就会输出(第一特征的数量+第二特征的数量)*x的长度；感知共享计算模型是基于(第一特征的数量+第二特征的数量)个特征和(第一特征的数量+第二特征的数量)个可见性分数进行两行人图像的特征距离的计算。
需要说明的是，基于两个行人图像的特征距离，即可判断出该两个行人图像上行人的相似性；特征距离越大，表明两个行人图像上行人的相似性越小；反之，特征距离越小，表明两个行人图像上行人的相似性越大，可能是同一行人。
需要说明的是，使用平均精确率AP(Average Precision)和平均精度均值mAP(mean average precision)作为两行人图像上行人相似性度量的评估指标；AP衡量的是学出来的模型在每个类别上的好坏，mAP衡量的是学出的模型在所有类别上的好坏，mAP为所有AP的平均值。
于本实施例中，每张行人图像(记为M)通过计算与其它行人图像的特征距离，可以得到与其最为相似的N张行人图像，已知这N张行人图像中每一行人图像上行人属于行人图像M中行人的精确率，那么平均精确率即为这N张行人图像上行人属于M中行人的精确率的平均值，即：
Figure BDA0002319113730000151
其中，公式5中的image为N；Precision为N张行人图像中每一张行人图像上行人属于行人图像M中行人的精确率；∑Precision为N张行人图像中每一张行人图像上行人属于行人图像M中行人的精确率之和。
而当需要检索的行人图像C不止一个人时，因此需要对所有行人计算平均精度均值mAP：
Figure BDA0002319113730000152
其中，公式6中的AP为行人的平均精度，C为行人数，k为第k人。
需要说明的是，可通过设定一个临界值，当特征距离小于该临界值时，认为是同一行人；反之，当特征距离大于该临界值时，认为是不同行人；临界值的设定可根据经验来决定，不作为限制本发明的条件，在此不作具体限定。
需要说明的是，本实施例提供的结合区域分布的多尺度行人重识别方法应用于行人重识别技术领域，通过对行人图像上行人相似性的判断，确定目标行人，以获取其行为轨迹或者是在道路安全领域，通过摄像设备采集的行人图像，确定同一行人在固定时间段内违反道路安全交通准则的次数，以根据该次数决定是否对该行人执行惩罚措施及惩罚的力度等等；将所述的结合区域分布的多尺度行人重识别方法应用在行人重识别技术领域，显著提高了行人重识别的准确率。
需要说明的是，通过行人重识别网络结构执行该结合区域分布的多尺度行人重识别方法的步骤，诸如使用行人重识别网络中的特征提取模型执行所述S1，可显著提高行人图像上行人相似性判断的准确性，进而提高行人重识别的准确度；当然，也可通过其它网络结构中的相应模型来执行该结合区域分布的多尺度行人重识别方法的步骤。
下面通过具体实施例来进一步说明本实施例提供的结合区域分布的多尺度行人重识别方法。
进行三尺度的特征提取操作，包括一全局特征提取器和一二级区域特征提取器、一四级区域特征提取器；对应训练了三个区域分布计算模型，使这三个区域分布计算模型分别产生一个概率图、两个概率图和四个概率图，从而经过特征提取步骤后全局特征提取器产生一全局特征，二级区域特征提取器产生两个区域特征，四级区域特征提取器产生四个区域特征，该全局特征和所有的区域特征均是第一特征，且分别对应了一个第一可见性分数，该第一可见性分数是在区域分布计算模型工作过程中获取的。
请参阅图6，显示为本发明的提取第一特征于一实施例中的工作原理图。如图6所示，经对一行人图像进行特征信息提取后产生的特征图首先经过对应三个尺度的区域分布计算模型，分别产生一个概率图、两个概率图和四个概率图；然后使该一个概率图、两个概率图和四个概率图分别输入到对应的全局特征提取器、二级区域特征提取器和四级区域特征提取器，对应输出了一个全局特征、两个区域特征和四个区域特征，并获取了对应一个全局特征、两个区域特征和四个区域特征的可见性分数；其中，全局特征对应的可见性分数C，两个区域特征对应的可见性分数C5、C6，四个区域特征对应的可见性分数C1、C2、C3、C4。
请参阅图7，显示为本发明的合并第一特征和第一可见性分数于一实施例中的工作原理图。如图7所示，对经图6中工作获取的四个区域特征经过加权平均计算后产生一个一级特征A1，该一级特征A1为该四级别尺度对应的第二特征B1，并对该四个区域特征对应的可见性分数C1、C2、C3、C4进行均值计算，产生对应所述第二特征B1的第二可见性分数C7，将所述第二特征B1和第二可见性分数C7作为第一输出，记为output1；对经图6中工作获取的两个区域特征经过加权平均计算后产生一个一级特征A2，并对该两个区域特征对应的可见性分数C5、C6进行均值计算，产生对应所述一级特征A2的可见性分数C8，然后将该一级特征A2与第二特征B1进行加权平均计算，产生对应二级别尺度的第二特征B2，并对一级特征A2对应的可见性分数C8和第二特征B1对应的第二可见性分数C7进行均值计算，获取对应第二特征B2对应的第二可见性分数C9，将该第二特征B2与第二可见性分数C9作为第二输出，记为output2；对经图6中工作获取的一个全局特征与第二特征B2进行加权平均计算，产生对应一级别尺度的第二特征B3，并对全局特征对应的可见性分数C和第二特征B2对应的第二可见性分数C9进行均值计算，获取对应第二特征B3对应的第二可见性分数C10，将该第二特征B3与第二可见性分数C10作为第三输出，记为output3。
对另一行人图像执行上述工作步骤，分别获取对应第一特征的第三特征，对应第一可见性分数的第三可见性分数，对应第二特征的第四特征及对应第二可见性分数的第四可见性分数。
请参阅图8，显示为本发明的感知共享计算模型于一实施例中的工作原理图。如图8所示，将经上述步骤获取的一行人图像对应的第一可见性分数、第二可见性分数、第一特征和第二特征及另一行人图像对应的第三可见性分数、第四可见性分数、第三特征和第四特征输入到感知共享计算模型，输出两个行人图像的特征距离。
需要说明的是，对经图7获取的3个第二特征与经图6获取的第一特征进行concat()操作；如果每条特征的长度为x，那么就会输出(3+1+2+4)*x的长度；感知共享计算模型是基于(3+1+2+4)个特征和(3+1+2+4)个可见性分数进行两行人图像的特征距离的计算。
本实施例所述的结合区域分布的多尺度行人重识别方法，采用自监督学习的方法对区域分布计算模型进行训练，能够有效地解决摄像设备的差异、行人的外观易受穿着、尺度、遮挡、姿态和视角等影响的问题，快速确定行人图像上的行人；通过自监督学习感知行人图像上哪些部位是可见或者不可见，并在比较两个行人图像时，重点聚焦在共同可见的部位上，从而显著提高了行人重识别的准确性；通过综合行人图像的整体特征及不同级别的局部特征，实现了准确的匹配相同行人的图像；结合自监督训练的部位特征判别方法和多尺度特征提取的方法，即保留了基于部位判别的距离度量的灵活性，又通过结合多尺度信息，提高了行人相似性判断的能力；利用现有的网络结构作为基础，采用结合了自监督学习、区域分布和多尺度的方法进行行人图像上行人相似性的判断，具有简单性、有效性及较高的迁移和适应能力。
需要说明的是，本发明所述的结合区域分布的多尺度行人重识别方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本实施例提供一种存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的结合区域分布的多尺度行人重识别方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
实施例二
本实施例提供一种结合区域分布的多尺度行人重识别系统，所述结合区域分布的多尺度行人重识别系统包括：输出模块、生成模块、提取模块、合并模块、执行模块和计算模块；
所述输出模块用于从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；
所述生成模块用于在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；
所述提取模块用于根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；
所述合并模块用于分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；
所述执行模块用于对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；
所述计算模块用于根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
以下将结合图示对本实施例所提供的结合区域分布的多尺度行人重识别系统进行详细描述。
请参阅图9，显示为本发明的结合区域分布的多尺度行人重识别系统于一实施例中的结构示意图。如图9所示，本发明的结合区域分布的多尺度行人重识别系统包括输出模块91、生成模块92、提取模块93、合并模块94、执行模块95和计算模块96。
所述输出模块91用于从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图。
所述生成模块92用于在经输出模块91输出的特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域。
所述提取模块93用于根据经输出模块91输出的特征图和经生成模块92生成的概率图进行特征提取，以提取出对应所述人体部位的第一特征。
所述合并模块94用于分别对经提取模块93提取的第一特征和经生成模块92生成的所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数。
所述执行模块95用于使输出模块91、生成模块92、提取模块93和合并模块94依次对另一行人图像进行相应处理，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数。
所述计算模块96用于根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
需要说明的是，输出模块91、生成模块92、提取模块93、合并模块94、执行模块95和计算模块96的结构及原理与上述结合区域分布的多尺度行人重识别方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本实施例所述的结合区域分布的多尺度行人重识别系统，采用自监督学习的方法对区域分布计算模型进行训练，能够有效地解决摄像设备的差异、行人的外观易受穿着、尺度、遮挡、姿态和视角等影响的问题，快速确定行人图像上的行人；通过自监督学习感知行人图像上哪些部位是可见或者不可见，并在比较两个行人图像时，重点聚焦在共同可见的部位上，从而显著提高了行人重识别的准确性；通过综合行人图像的整体特征及不同级别的局部特征，实现了准确的匹配相同行人的图像；结合自监督训练的部位特征判别方法和多尺度特征提取的方法，即保留了基于部位判别的距离度量的灵活性，又通过结合多尺度信息，提高了行人相似性判断的能力；利用现有的网络结构作为基础，采用结合了自监督学习、区域分布和多尺度的方法进行行人图像上行人相似性的判断，具有简单性、有效性及较高的迁移和适应能力。
实施例三
本实施例提供一种终端，所述终端包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使所述终端执行所述结合区域分布的多尺度行人重识别方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明的结合区域分布的多尺度行人重识别系统可以实现本发明的结合区域分布的多尺度行人重识别方法，但本发明的结合区域分布的多尺度行人重识别方法的实现装置包括但不限于本实施例列举的结合区域分布的多尺度行人重识别系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明的结合区域分布的多尺度行人重识别方法、系统、介质及终端采用自监督学习的方法对区域分布计算模型进行训练，能够有效地解决摄像设备的差异、行人的外观易受穿着、尺度、遮挡、姿态和视角等影响的问题，快速确定行人图像上的行人；通过自监督学习感知行人图像上哪些部位是可见或者不可见，并在比较两个行人图像时，重点聚焦在共同可见的部位上，从而显著提高了行人重识别的准确性；通过综合行人图像的整体特征及不同级别的局部特征，实现了准确的匹配相同行人的图像；结合自监督训练的部位特征判别方法和多尺度特征提取的方法，即保留了基于部位判别的距离度量的灵活性，又通过结合多尺度信息，提高了行人相似性判断的能力；利用现有的网络结构作为基础，采用结合了自监督学习、区域分布和多尺度的方法进行行人图像上行人相似性的判断，具有简单性、有效性及较高的迁移和适应能力。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种结合区域分布的多尺度行人重识别方法，其特征在于，所述结合区域分布的多尺度行人重识别方法包括以下步骤：
从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；
在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；
根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；
分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；
对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；
根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的第三可见性分数、第四可见性分数、第三特征和第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
2.根据权利要求1所述的结合区域分布的多尺度行人重识别方法，其特征在于，从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图包括：将所述行人图像输入到端到端的卷积神经网络，所述行人图像经所述卷积神经网络的卷积层处理，输出所述特征图。
3.根据权利要求1所述的结合区域分布的多尺度行人重识别方法，其特征在于，在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数包括以下步骤：
将所述特征图输入预先训练的区域分布计算模型，输出所述概率图；
将所述概率图上的每个像素点的值累加生成所述第一可见性分数。
4.根据权利要求3所述的结合区域分布的多尺度行人重识别方法，其特征在于，在将所述特征图输入预先训练的区域分布计算模型之前，所述结合区域分布的多尺度行人重识别方法还包括：通过自监督学习网络训练所述区域分布计算模型。
5.根据权利要求1所述的结合区域分布的多尺度行人重识别方法，其特征在于，根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征包括：将所述特征图和所述概率图输入到多尺度特征提取器，使所述概率图与所述特征图相乘，以提取出所述第一特征。
6.根据权利要求1所述的结合区域分布的多尺度行人重识别方法，其特征在于，分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数包括以下步骤：
将所述第一特征合并为一级特征，以获取所述第二特征；
对所述第一可见性分数进行均值计算，以获取所述第二可见性分数。
7.根据权利要求1所述的结合区域分布的多尺度行人重识别方法，其特征在于，根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别包括以下步骤：
将所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征均输入到感知共享计算模型，以使所述感知共享计算模型计算出两个所述行人图像上对应相同特征之间的欧式距离；
所述感知共享计算模型根据所述欧式距离，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
8.一种结合区域分布的多尺度行人重识别系统，其特征在于，所述结合区域分布的多尺度行人重识别系统包括：输出模块、生成模块、提取模块、合并模块、执行模块和计算模块；
所述输出模块用于从一行人图像上提取出特征信息，并输出包含所述特征信息的特征图；
所述生成模块用于在所述特征图上预测人体部位的区域分布，以生成对应所述人体部位的概率图，并基于所述概率图生成对应所述人体部位的第一可见性分数；所述人体部位是预定义的分割区域；
所述提取模块用于根据所述特征图和所述概率图进行特征提取，以提取出对应所述人体部位的第一特征；
所述合并模块用于分别对所述第一特征和所述第一可见性分数进行合并操作，以分别获取第二特征和第二可见性分数；
所述执行模块用于对另一行人图像执行上述步骤，以获取相应的第三特征、第三可见性分数、第四特征和第四可见性分数；
所述计算模块用于根据所述行人图像对应的所述第一可见性分数、所述第二可见性分数、所述第一特征和所述第二特征及另一所述行人图像对应的所述第三可见性分数、所述第四可见性分数、所述第三特征和所述第四特征，计算两个所述行人图像的特征距离，以度量两个所述行人图像上行人的相似性，实现行人重识别。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的结合区域分布的多尺度行人重识别方法。
10.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的结合区域分布的多尺度行人重识别方法。
CN201911290949.9A 2019-12-16 2019-12-16 结合区域分布的多尺度行人重识别方法、系统、介质及终端 Active CN111178178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911290949.9A CN111178178B (zh) 2019-12-16 2019-12-16 结合区域分布的多尺度行人重识别方法、系统、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911290949.9A CN111178178B (zh) 2019-12-16 2019-12-16 结合区域分布的多尺度行人重识别方法、系统、介质及终端

Publications (2)

Publication Number Publication Date
CN111178178A true CN111178178A (zh) 2020-05-19
CN111178178B CN111178178B (zh) 2023-10-10

Family

ID=70650144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911290949.9A Active CN111178178B (zh) 2019-12-16 2019-12-16 结合区域分布的多尺度行人重识别方法、系统、介质及终端

Country Status (1)

Country Link
CN (1) CN111178178B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446340A (zh) * 2020-12-07 2021-03-05 深圳市信义科技有限公司 结合行人局部特征和服饰属性分类的行人搜索方法、系统及存储介质
CN112507247A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种融合用户状态信息的跨社交网络用户对齐方法
CN113486815A (zh) * 2021-07-09 2021-10-08 山东力聚机器人科技股份有限公司 一种行人重识别系统和方法、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343642A1 (en) * 2012-06-21 2013-12-26 Siemens Corporation Machine-learnt person re-identification
CN109271895A (zh) * 2018-08-31 2019-01-25 西安电子科技大学 基于多尺度特征学习和特征分割的行人重识别方法
CN109902590A (zh) * 2019-01-30 2019-06-18 西安理工大学 深度多视图特征距离学习的行人重识别方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110197154A (zh) * 2019-05-30 2019-09-03 汇纳科技股份有限公司 融合部位纹理三维映射的行人重识别方法、系统、介质及终端
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343642A1 (en) * 2012-06-21 2013-12-26 Siemens Corporation Machine-learnt person re-identification
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109271895A (zh) * 2018-08-31 2019-01-25 西安电子科技大学 基于多尺度特征学习和特征分割的行人重识别方法
CN109902590A (zh) * 2019-01-30 2019-06-18 西安理工大学 深度多视图特征距离学习的行人重识别方法
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110197154A (zh) * 2019-05-30 2019-09-03 汇纳科技股份有限公司 融合部位纹理三维映射的行人重识别方法、系统、介质及终端
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张耿宁;王家宝;李阳;苗壮;张亚非;李航;: "基于特征融合与核局部Fisher判别分析的行人重识别", no. 09 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446340A (zh) * 2020-12-07 2021-03-05 深圳市信义科技有限公司 结合行人局部特征和服饰属性分类的行人搜索方法、系统及存储介质
CN112507247A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种融合用户状态信息的跨社交网络用户对齐方法
CN113486815A (zh) * 2021-07-09 2021-10-08 山东力聚机器人科技股份有限公司 一种行人重识别系统和方法、计算机设备及存储介质
CN113486815B (zh) * 2021-07-09 2022-10-21 山东力聚机器人科技股份有限公司 一种行人重识别系统和方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111178178B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
KR102565279B1 (ko) 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN102803991B (zh) 物体检测设备
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN111178178B (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
CN108805016B (zh) 一种头肩区域检测方法及装置
CN108009466B (zh) 行人检测方法和装置
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
Abdelraouf et al. Using vision transformers for spatial-context-aware rain and road surface condition detection on freeways
CN102076531A (zh) 车辆畅通路径检测
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN110059646B (zh) 训练动作规划模型的方法及目标搜索方法
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
US20170053172A1 (en) Image processing apparatus, and image processing method
CN104915642A (zh) 前方车辆测距方法及装置
CN112001453A (zh) 一种视频事件检测算法的准确率计算方法及装置
CN112101114A (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN105404866A (zh) 一种多模式自动实施人体状态感知的实现方法
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
Gad et al. Crowd density estimation using multiple features categories and multiple regression models
Elassal et al. Unsupervised crowd counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201203 No. 6, Lane 55, Chuanhe Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Winner Technology Co.,Ltd.

Address before: 201505 Room 216, 333 Tingfeng Highway, Tinglin Town, Jinshan District, Shanghai

Applicant before: Winner Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant