CN112541421A - 一种开放空间的行人换装重识别方法 - Google Patents
一种开放空间的行人换装重识别方法 Download PDFInfo
- Publication number
- CN112541421A CN112541421A CN202011423457.5A CN202011423457A CN112541421A CN 112541421 A CN112541421 A CN 112541421A CN 202011423457 A CN202011423457 A CN 202011423457A CN 112541421 A CN112541421 A CN 112541421A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- reloading
- distance
- identification
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 5
- 101000611614 Homo sapiens Proline-rich protein PRCC Proteins 0.000 description 4
- 102100040829 Proline-rich protein PRCC Human genes 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉技术领域，公开了一种开放空间中的行人换装重识别方法，提出一种新的深度神经网络架构HigherHRNetXt用于识别换装后的目标人物。本发明基于动态优化的思想，采用动态时间规整算法寻求行人骨骼关键点序列间的距离，将关键点检测应用于行人重识别，完成对同一行人的匹配；使用ResNeXt网络结构改进姿态估计模型，使其参数量减少15％，同时性能获得有效提升；提取行人的生理特征，这使得其在现实开放世界中的可用性大幅度提高。实验表明，本发明提供的方法在面对行人换装问题时表现良好，优于绝大多数现有的行人重识别模型。
Description
技术领域
本发明属于计算机视觉技术领域，尤其涉及开放空间下的行人换装重识别方法。
背景技术
目前，随着深度学习的兴起，图像识别技术获得了长足的进步，其识别准确率甚至已超过人类视觉。行人重识别(Person Re-identification)是计算机视觉的一个重要应用，它突破了单个摄像头的时空局限，在多个不同视角下检索同一目标人物，实现对目标人物的跨摄像头追踪。因此，它可以用于嫌疑人物的轨迹还原，丢失儿童的寻找等，在公共安全、智能安防等领域具有极大的应用前景。
行人重识别领域一直是计算机视觉领域的研究热点，但其中行人换装条件下的重识别问题还未引起研究人员的足够重视。目前作为基准的行人重识别数据集，如ReID-Market1501，CUHK03，DukeMTMC-ReID等在多个视角下出现的同一人物，其服饰没有发生变化。在现实开放空间中，嫌疑人物可能通过换装手段来逃避摄像头的跟踪。行人换装后，其图像信息将发生极大的改变，使得基于上述数据集训练的模型在换装条件下的性能远远低于数据集上的测试结果。
DG-Net模型含有一个生成模块，该生成模块将每个行人分别编码为外观编码和结构编码，然后不同行人之间交换外观编码和结构编码，从而使模型学到同一行人的不同属性特征，提高模型的性能。DG-Net模型虽学到了同一行人的不同属性特征，但依旧无法有效应对行人换装重识别，因为其学到的仍旧是行人的表观信息，同样的还有ReIDCaps模型。基于深度图的行人重识别模型在一定程度上可以应对行人换装重识别，但目前已有的数据集RGB-D体量较小(包含79个行人身份，每个行人有一两件不同的衣服)，难以满足高性能深度模型的需求。而且，捕捉带有深度信息的图像需要特殊的设备，不适合大规模部署。近期部分研究从新的角度出发，提取行人的身体轮廓特征作为重识别的根据，其中现有文献中的模型在其数据集PRCC上取得34.38％的Rank1准确率，现有文献中的模型在其测试数据集Div-Market上取得56.2％的Rank1准确率；基于行人身体轮廓特征的行人重识别模型在一定程度上能够应对行人换装问题，但是这种方法需要一个高精度的分割器从图像中分割出行人的身体轮廓，当人物服饰颜色与背景相似时这并不是容易的事，而且这种方法假定行人的身体轮廓短时间内不会发生变化，仅仅改变的是衣服颜色。但是，这种假设也很难成立，因为行人换一件衣服其身体轮廓就可能被改变了，比如连衣裙换为长裤。现有文献利用无线电信号收集行人的特征信息，以此作为行人重识别的根据，收集到的行人特征不包含颜色信息，故能应对行人换装问题。但发射或接受无线电信号需要特定的设备，大面积装备不现实。
一个人的身份通常由他的生理特征决定，如容貌、身高等，而不是表观特征，如衣服、鞋子、发型等。解决行人换装重识别问题的关键是迫使模型学习行人不易伪装或改变的生理特征，而不是衣服颜色等表观特征。然而，这里仍然有一些挑战。挑战一：部分生理特征容易被人为伪装欺骗模型，如容貌，身体轮廓等。面容特征虽不易改变，却受限于摄像头的分辨率高低，或者通过戴口罩等方式伪装；行人身体轮廓通常不会发生显著的改变，但具有挑战的是如何高精度的分割出人物轮廓，当人物手里拿包，或是外套时，外套和包极有可能被模型判断为行人身体轮廓的一部分。挑战二：缺乏大型的相关数据集，尤其是包含换衣属性的视频序列集，这是限制深度学习技术解决行人换装重识别的主要原因。目前已有中小型行人换装的重识别数据集PRCC，SMPL-reID、DivMarket，VC-Clothes，Celeb-reID，Celebrities-reID，但这些数据集很难作为基准数据集，一是体量不够，难以满足高性能模型的需求；二是大多数数据集是计算机虚拟合成的或取自于互联网的，相比之下较为理想的数据集PRCC，但其拍摄场景都是室内，背景较为简单。补充数据集困难重重，大型行人换装数据集的采集会消耗大量人力物力，而且这会涉及到了个人隐私问题，许多国家将隐私安全视为国家战略的一部分。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有行人重识别模型识别行人身份时过度依赖服饰颜色等特征信息，当行人换装后，其图像信息将发生极大的改变，因此基于现有数据集训练的模型在换装条件下的实验性能远远低于数据集上的测试结果。
(2)但目前已有的数据集RGB-D体量较小，基于深度图的行人重识别模型难以满足高性能深度模型的需求。而且，捕捉带有深度信息的图像需要特殊的设备，不适合大规模部署。
(3)现有方法需要一个高精度的分割器从图像中分割出行人的身体轮廓，当人物服饰颜色与背景相似时这并不是容易的事。而且这种方法假定行人的身体轮廓短时间内不会发生变化，仅仅改变的是衣服颜色，假设也很难成立。
(4)现有文献利用无线电信号收集行人的特征信息，但发射或接受无线电信号需要特定的设备，大面积装备不现实。
(5)目前已有中小型行人换装的重识别数据集很难作为基准数据集，一是体量不够，难以满足高性能模型的需求；二是大多数数据集是计算机虚拟合成的或取自于互联网的，相比之下较为理想的数据集PRCC，但其拍摄场景都是室内，背景较为简单。
解决以上问题及缺陷的难度为：
问题(1)、(5)都是缺乏大型换装行人重识别数据集所导致，而生产大型数据集困难重重，大型行人换装数据集的采集会消耗大量人力物力，而且这会涉及到了个人隐私问题，许多国家将公民隐私安全视为国家战略的一部分。(2)、(4)由于其高昂的装备费用及相关技术使其推广受到制约。问题(3)中的模型由于其选取的特征具有不稳定性，在实际应用中难有理想的效果。
以上问题由于涉及隐私、财力消耗大、特征信息不可靠等因素而使得问题的解决变得异常困难，必须寻求一种不涉及过多隐私、财力消耗小、特征信息可靠的解决方案应对以上问题。
解决以上问题及缺陷的意义为：
行人重识别在公共安全、智能安防等领域具有重大意义，但现在的研究还停留在理想条件下，而行人重识别产业的落地是迫在眉睫的，以上问题的存在都严重阻碍了行人重识别的推广应用，尤其是使得行人换装重识别无法突破，直接或间接的解决以上问题都将对行人重识别产业的落地做出重大贡献。
发明内容
针对现有技术存在的问题，本发明提供了一种行人换装重识别方法、系统、终端、存储介质及摄像头，具体涉及一种开放空间下行人换装重识别方法。
本发明是这样实现的，一种开放空间下行人换装重识别方法，所述开放空间下行人换装重识别方法包括以下步骤：
步骤一，基于姿态估计模型提取行人骨骼关键点特征信息，根据视频连续帧生成行人的身份信息。
步骤二，对已有超高检测精度的自下而上姿态估计模型网络Higher-HRNet进行残差块改造，基于ResNeXt替换网络中残差块。
步骤三，将行人身份特征向量间距离求解看做优化问题，基于动态规划思想采用DTW求解。
步骤四，使用优化组合策略，从DTW搜索范围、终止条件优化DTW算法，降低算法的计算复杂度。
进一步，所述开放空间下行人换装重识别方法以姿态估计模型为基础，获得人物骨骼关键点热图，使用动态时间规整(Dynamic Time Warping，简记DTW)算法寻求多个骨骼关键点序列与模板序列的最小匹配距离，度量序列间相似度，实现对换装前后的人物重识别。
进一步，所述开放空间下行人换装重识别方法简记为HigherHRNetXt-DTW，有以下假设条件：
设待查询目标为S，关于S的初始查询图像为连续帧，即Xs(t)＝{X1,X2,X3…,Xt},t≥C，Xt为S的第t帧图像，Xs(t)为S的初始查询信息，C为视频帧率。
定义：将姿态估计模型记为函数G(x)，输出为关键点序列Y，A处获得待查询人物S初始查询信息：Xs(t)＝{X1,X2,X3…,Xt},t≥C；经过一段时间T∈[0,+∞]后，B处获得疑似查询人物f的查询信息：Zf(t)＝{Z1,Z2,Z3…,Zt},t≥C。则分别带入G(x)，可得S和f的骨骼关键点序列信息：YA＝G(Xs(t))，，YB＝G(Xf(t))。
求解DTW(YA,YB)的最小匹配距离D∈[0,+∞]，若D值越小，则YA,YB越相似，概率值P(f＝S)越大；反之YA,YB越不相似，概率值P(f＝S)越小。
进一步，为兼顾实时性所述开放空间下行人换装重识别方法选择自下而上的模型；同时，由于监控视频中的行人往往占据很少的像素数，故选择对小尺度敏感的更高分辨率网络--HigherHRNet作为基础框架。
进一步，步骤二中，所述对HigherHRNet网络进行改进的方法为：
HigherHRNet拥有非常庞大的参数量和浮点计算次数，卷积层超过300层，且众多残差块堆叠。有文献表明ResNeXt结构要优于残差块结构，且组卷积拥有更小的参数量，因此，我们使用ResNeXt模块改进HigherHRNet，将改进后的网络记为HigherHRNetXt。
ResNeXt结构：ResNeXt是对网络残差块卷积结构的一种改进，它以组卷积的方式，使得卷积网络在不增加深度和宽度，只改变基数的前提下提升网络性能，并减少网络参数总量。
C为基数，代表一个模块中相同分支的数目，Ti(x)为第i个相同拓扑结构的分支。
网络结构：改进后的网络记为HigherHRNetXt。
进一步，步骤三中，所述动态时间规整DTW采用动态规划的思想求解两长度相等或不等的时间序列x1,x2之间的最小距离。
定义：假定两个时间序列Q＝{q1,q2,…,qn}，L＝{l1,l2,…,lm}，Q，L序列间元素的欧氏距离记为dij＝d(qi,lj)，1≤i≤n,1≤j≤m，可构造Q,L距离矩阵M如下：
设矩阵M的规整路径W＝w1,w2,w3,…,wk,…,wK，K的取值范围为max(m,n)≤K≤m+n-1。W未知，但其满足以下基本约束：
1)边界约束，规定d11和dnm分别为规整路径的起始点和终点。
2)路径连续性，路径点搜索过程中，不允许跨点搜索，若Wk＝(di·,dj·)，则下一次搜索路径Wk+1＝(d’i·,d’j·)需满足d’i·-di·≤1，d’j·-dj·≤1。
3)路径单调性，在2假设的基础上，同时满足d’i·-di·≥0，d’j·-dj·≥0。
以上约束可使得若当前搜索格点为(a,b)，则下一次通过的格点只能是这三个之一：(a-1,b)，(a,b-1)，(a-1,b-1)。同时有下式：
优化求解上式可获得使Q,L匹配距离最规整的路径，同时计算累计距离：
D(a,b)＝min{D(a-1,b),D(a,b-1),D(a-1,b-1)}+d(a,b)
对DTW设置的约束条件包括：
搜索边界：约束DTW的搜索空间以减少它运算的时间复杂度是必要的，在搜索空间中设置“边界线”，即Sakoe-Chiba约束。将距离矩阵M投影到笛卡尔坐标系中，可视化“边界约束”。
则DTW的搜索空间：
代表矩阵M中的元素。本发明的方法中，约束窗口的宽度w＝max(M,N)/2。
止损策略：需要匹配多个时间序列，而某些序列与模板序列“距离”相差过大，相似度很低，及早停止与不相似序列的匹配是必要的，故设置序列间匹配累计距离阈值υ。在DTW路径搜索过程中，若两序列间累计距离D≥υ，匹配终止。
度量：因为匹配距离D∈[0,+∞]，将距离D放缩，定义符合需求的时间序列相似性度量指标I，u,v序列间相似度I如下式：
其中，n为时间序列的特征维数，I∈[0,1]。
本发明的另一目的在于提供一种实施所述开放空间下行人换装重识别方法的开放空间下行人换装重识别系统，所述开放空间下行人换装重识别系统包括：
1)HigherHRNetXt行人特征信息获取模块，用ResNeXt结构替换HigherHRNet中的部分残差块，改进后的网络记为HigherHRNetXt，使用此网络提取行人骨骼关键点特征信息。
2)行人重识别模块，将行人特征向量间的距离求解看作优化问题，基于动态优化的思想采用动态时间规整算法去寻求行人骨骼关键点时序特征间的距离，度量行人相似性，完成对同一行人的匹配。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
1)对HigherHRNet网络进行改进，把改进后的网络记为HigherHRNetXt，并用ResNeXt结构替换网络中的部分残差块；同时基于HigherHRNetXt网络提取行人骨骼关键点特征信息。
2)基于动态规化的思想采用动态时间规整算法去寻求行人骨骼关键点时序特征间的距离，度量行人相似性，完成对同一行人的匹配。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的开放空间下行人换装重识别方法。
本发明的另一目的在于提供一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现所述的开放空间下行人换装重识别方法。
本发明的另一目的在于提供一种摄像头，所述摄像头执行所述的开放空间下行人换装重识别方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的开放空间下行人换装重识别方法，利用姿态估计模型获取行人骨骼关键点的时空信息，然后使用动态时间规整算法寻求序列间匹配相似性，从而识别换装前后的行人，避开了缺乏大型行人换装数据集的难题；同时，本发明使用ResNeXt网络结构改进姿态估计模型，使其参数量减少15％，同时性能小幅度提升。该方法不依赖行人衣服颜色等表观信息，而是提取行人的生理特征，这使得其在一定程度上也可以应用于跨模态行人重识别。实验表明，本发明提供的方法在面对行人换装问题时表现良好，优于大部分现有的行人重识别模型。
本发明从新的角度出发，利用姿态估计模型获取行人骨骼关键点的时空信息，采用DTW寻求序列间匹配相似性，将深度学习与传统算法结合提出一种开放空间下行人换装重识别方法，其最大的优势是对行人易伪装的表观特征不敏感，这使得它可以应用于更加复杂的场景，比如犯罪嫌疑人为躲避追查更换服饰、衣帽遮挡等；其次突破了行人换装数据集的桎梏，只需要训练HigherHRNetXt姿态估计模型，而Higher-HRNetXt模型得益于ResNeXt模块和高分辨率特征图，在参数量减少的前提下达到更优的性能，且对图像中的小目标行人敏感。实验证明，本发明的方法能在一定程度上解决行人换装重识别问题，且对跨模态不敏感。
本发明的方法比现有的行人重识别模型在面对行人换装问题时表现的更好，适应于开放空间中。本发明优点还包括：
(1)本发明对HigherHRNet网络进行了改进，使用ResNeXt结构替换残差块，这使得网络参数总量下降15％，模型一次前向推理的浮点运算数量下降5％，同时网络性能有小幅度提高，在COCO2017验证集和测试集上AP分别达到67.9和66.9。
(2)本发明将关键点检测应用于行人重识别，并结合传统方法解决长时效性的行人换装重识别问题。行人换装数据集的采集涉及隐私问题，很多国家将隐私安全视为国防安全的一部分，本发明的方法避开了缺乏这类数据集的难题，同时本发明的方法对行人表观信息变化不敏感，这使得犯罪分子的伪装不再是躲避追查的手段。
附图说明
图1是本发明实施例提供的开放空间下行人换装重识别方法流程图。
图2是本发明实施例提供的残差块中的一种架构形式示意图，输入维度256，输出维度256。
图3是本发明实施例提供的ResNeXt中的一种架构形式示意图，输入维度256，输出维度256，基数C为32。
图4是本发明实施例提供的改进后的网络HigherHRNe-tXt的结构示意图。
图5是本发明实施例提供的将距离矩阵M投影到笛卡尔坐标系中，可视化“边界约束”示意图。
图6是本发明实施例提供的测试视频集样例展示示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种行人换装重识别方法、系统、终端、存储介质及摄像头，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的开放空间下行人换装重识别方法包括以下步骤：
S101，基于姿态估计模型提取行人骨骼关键点特征信息，根据视频连续帧生成行人的身份信息。
S102，对已有超高检测精度的自下而上姿态估计模型网络Higher-HRNet进行残差块改造，基于ResNeXt替换网络中残差块。
S103，将行人身份特征向量间距离求解看做优化问题，基于动态规划思想采用DTW求解。
S104，使用优化组合策略，从DTW搜索范围、终止条件优化DTW算法，降低算法的计算复杂度。
下面结合实例对本发明作进一步描述。
1、行人重识别是计算机视觉领域核心方向，深度学习技术极大的推动了该方向的研究进展，但现有行人重识别模型过度依赖行人衣服颜色等表观信息，且训练这些模型的数据集都满足同一行人在多个视角下服装信息不改变的假设，这使得现有行人重识别模型无法完成对同一行人换装前后的识别，极大的限制了其应用空间。
本发明提出一种方法，利用姿态估计模型获取行人骨骼关键点的时空信息，然后使用动态时间规整算法寻求序列间匹配相似性，从而识别换装前后的行人，避开了缺乏大型行人换装数据集的难题；同时，本发明使用ResNeXt网络结构改进姿态估计模型，使其参数量减少15％，同时性能小幅度提升。该方法不依赖行人衣服颜色等表观信息，而是提取行人的生理特征，这使得其在一定程度上也可以应用于跨模态行人重识别。经实验，本发明提供的方法在面对行人换装问题时表现良好，优于大部分现有的行人重识别模型。
针对现有技术中的挑战，本发明提出了解决方法。针对挑战一，本发明选取很难被改变或伪装的行人生理特征--骨骼关键点，单帧图像的信息总是有限的，也是不鲁棒性的，因此，本发明的方法是基于视频序列的，将连续帧图像作为姿态估计模型输入，模型提取图像中的人物的骨骼关键点序列。
监控视频中的人物像素点往往很少，拥有高分辨率特征图的HigherHRNet网络是较为合适的姿态估计模型，但HigherHRNet网络参数量较为庞大，众多残差块堆叠，且现有文献表明ResNeXt结构要优于残差块结构，因此使用ResNeXt结构替换网络中的部分残差块，这使得网络参数量有所下降，同时性能有小幅度提升，本发明把改进后的网络记为HigherHRNetXt。针对挑战二，本发明采取折中的方式，不再训练深度学习模型，而是基于动态优化的思想采用动态时间规整算法去寻求行人骨骼关键点序列间的距离，从而完成对同一行人的匹配。
本发明的方法比现有的行人重识别模型在面对行人换装问题时表现的更好，适应于开放空间中。本发明的贡献可总结如下：
①本发明对HigherHRNet网络进行了改进，使用ResNeXt结构替换残差块，这使得网络参数总量下降15％，模型一次前向推理的浮点运算数量下降5％，同时网络性能有小幅度提高，在COCO2017验证集和测试集上AP分别达到67.9和66.9。
②本发明将关键点检测应用于行人重识别，并结合传统方法解决长时效性的行人换装重识别问题。行人换装数据集的采集涉及隐私问题，很多国家将隐私安全视为国防安全的一部分，本发明的方法避开了缺乏这类数据集的难题，同时本发明的方法对行人表观信息变化不敏感，这使得犯罪分子的伪装不再是躲避追查的手段。
2、方法
2.1问题描述
以条件概率表述行人换装重识别：记事件δ为待查询行人S更换了服饰，记事件γ为行人重识别模型在多视角下成功匹配S，记t为查询时长间隔，则应有以下条件成立：0≤P(δ)≤1，0≤P(γ)≤1，t≥0，P(δ)∝t；那么行人换装重识别可表述为条件概率值P(γ/δ)。存在的问题是，现有的行人重识别模型使得P(γ/δ)值过小。
2.2 HigherHRNetXt-DTW
本发明的方法以姿态估计模型为基础，获得人物骨骼关键点热图，使用动态时间规整(Dynamic Time Warping，简记DTW)算法寻求多个骨骼关键点序列与模板序列的最小匹配距离，度量序列间相似度，实现对换装前后的人物重识别。本发明的方法简记为HigherHRNetXt-DTW，其有以下假设条件：
设待查询目标为S，关于S的初始查询图像为连续帧，即Xs(t)＝{X1,X2,X3…,Xt},t≥C，Xt为S的第t帧图像，Xs(t)为S的初始查询信息，C为视频帧率。
定义：将姿态估计模型记为函数G(x)，输出为关键点序列Y，A处获得待查询人物S初始查询信息：Xs(t)＝{X1,X2,X3…,Xt},t≥C；经过一段时间T∈[0,+∞]后，B处获得疑似查询人物f的查询信息：Zf(t)＝{Z1,Z2,Z3…,Zt},t≥C。则分别带入G(x)，可得S和f的骨骼关键点序列信息：YA＝G(Xs(t))，，YB＝G(Xf(t))。
求解DTW(YA,YB)的最小匹配距离D∈[0,+∞]，若D值越小，则YA,YB越相似，概率值P(f＝S)越大；反之YA,YB越不相似，概率值P(f＝S)越小。
2.3 HigherHRNetXt网络
姿态估计模型对人物表观特征的不敏感是HigherHRNetXt-DTW解决换装行人重识别的关键。姿态估计模型又可分为自上而下、自下而上两类，自上而下方式要基于行人检测器，而后生成关键点热图；自下而上直接生成行人关键点热图。考虑关键点检测实时性的可能，本发明选择自下而上的模型；同时，监控视频中的行人往往占据很少的像素数，因此本发明选择对小尺度敏感的更高分辨率网络--HigherHRNet作为基础框架。
HigherHRNet网络的backbone是高分辨率网络--HRNet，其在整个前向传播过程中都保持高分辨率特征图，并采用高低分辨率特征图融合的方式保留更多特征信息。HigherHRNet在HRNet基础上加入反卷积网络，使最后一层特征图的分辨率更高，从而对小尺度行人更敏感，是目前最先进的自下而上姿态估计模型。但是，HigherHRNet拥有非常巨大的参数量和浮点计算次数，众多残差块堆叠，这不是高性能模型应该携带的。对此，本发明使用ResNeXt模块改进HigherHRNet。
ResNeXt结构：ResNeXt是对网络残差块卷积结构的一种改进，它以组卷积的方式，使得卷积网络在不增加深度和宽度，只改变基数的前提下提升网络性能，并减少网络参数总量。
C为基数，代表一个模块中相同分支的数目，Ti(x)为第i个相同拓扑结构的分支。图2，图3分别为残差块与ResNeXt架构形式对比。
网络结构：改进后的网络记为HigherHRNetXt，结构如图4所示。
2.4动态时间规整DTW
DTW(动态时间规整算法)由日本学者Itakura提出，其采用动态规划的思想求解两长度相等或不等的时间序列x1,x2之间的最小距离，在度量时间序列相似性方面有较高的准确率。DTW算法应用甚广，相关研究众多。在本发明的方法中，将对DTW设置一些约束条件，一使其更契合本发明的场景，二节省部分计算资源。本发明将依次介绍DTW定义，以及本发明设置的约束条件。
定义：假定两个时间序列Q＝{q1,q2,…,qn}，L＝{l1,l2,…,lm}，Q，L序列间元素的欧氏距离记为dij＝d(qi,lj)，1≤i≤n,1≤j≤m，可构造Q,L距离矩阵M如下：
设矩阵M的规整路径W＝w1,w2,w3,…,wk,…,wK，K的取值范围为max(m,n)≤K≤m+n-1。W未知，但其满足以下基本约束：
1)边界约束，规定d11和dnm分别为规整路径的起始点和终点。
2)路径连续性，路径点搜索过程中，不允许跨点搜索，若Wk＝(di.,dj.)，则下一次搜索路径Wk+1＝(d’i.,d’j.)需满足d’i.-di.≤1，d’j.-dj.≤1。
3)路径单调性，在2假设的基础上，同时满足d’i.-di·≥0，d’j.-dj·≥0。
以上约束可使得若当前搜索格点为(a,b)，则下一次通过的格点只能是这三个之一：(a-1,b)，(a,b-1)，(a-1,b-1)。同时有下式：
本发明优化求解上式可获得使Q,L匹配距离最规整的路径，同时计算累计距离：
D(a,b)＝min{D(a-1,b),D(a,b-1),D(a-1,b-1)}+d(a,b) (3)
搜索边界：约束DTW的搜索空间以减少它运算的时间复杂度是必要的，具体实现是本发明在其搜索空间中设置“边界线”，即Sakoe-Chiba约束。本发明将距离矩阵M投影到笛卡尔坐标系中，可视化“边界约束”，如图5所示。
则DTW的搜索空间：
代表矩阵M中的元素。本发明的方法中，约束窗口的宽度w＝max(M,N)/2。例如，时间序列u,v的长度分别为150、200，那么约束窗口宽度w为100。约束后的DTW因其搜索空间的减少而提升了速度，同时也避免了规整路径过度弯曲。
止损策略：有时本发明需要匹配多个时间序列，而某些序列与模板序列“距离”相差过大，相似度很低，及早停止与不相似序列的匹配是必要的。因此，本发明设置序列间匹配累计距离阈值υ。在DTW路径搜索过程中，若两序列间累计距离D≥υ，匹配终止。
度量：因为匹配距离D∈[0,+∞]，本发明很难直观的去评价时间序列间的相似性，于是本发明将距离D放缩，定义符合本发明需求的时间序列相似性度量指标I，u,v序列间相似度I如下式：
其中，n为时间序列的特征维数，I∈[0,1]。
3、实验结果及分析
前面已有相关研究在自己提供的数据集上证实了几乎所有现存行人重识别模型在面对行人换装问题时束手无策，甚至不如传统的算法。
最新的研究尝试让模型学习行人的轮廓图或行人身份信息，如：现有文献中的模型，CASE-Net，DG-Net，ReIDCaps。这些模型在各自的换装数据集上取得了一定的精度，但测试数据是基于密闭空间的，满足一定的假设条件。本发明将在开放空间下采集测试数据，对这些新方法及本发明的方法进行测试。
3.1HigherHRNetXt
数据集：COCO数据集包含超过20万张图像和25万个行人，每个行人标有17个关键点。HigherHRNetXt在COCO train2017数据集上训练，在COCO val2017和test-dev2017数据集上评估。其中训练集包含5万7千张图像，验证集和测试集分别包含5千张图像和2万张图像。
训练：本发明使用Adam优化算法学习网络权重，硬件设施为2台TITAN XP，每台批量大小设置为8，基础学习率为0.001。数据增强包括：随机旋转、随机平移、图像尺寸缩放为512×512，训练350个epoch，使用ImageNet预训练权重初始化网络，深度学习框架为Pytorch1.5。
测试：测试图像尺寸缩放为512，无额外数据增强，测试尺度单一。软硬件设施为：Pytorch1.5，TITAN XP。
实验结果：加入ResNeXt模块后的Higher-HRNet与之前相比参数量减少了15％，FLOPS下降5％，同时性能有小幅提升，在COCO val2017和COCO test2017数据集上的平均精确度AP分别达到67.9和66.9，与之前相比分别提升了0.8和0.5，结果见表1，与现有的自下而上姿态估计模型对比，结果见表2。
表1 AP即AP0.5:0.95，1 GFLOPS等于每秒109次浮点运算
表2部分自下而上姿态估计模型在COCO test-dev2017上的测试结果
3.2 HigherHRNetXt-DTW
数据集：由于目前没有可作为基准的视频序列行人换装数据集，因此为测试行人换装重识别模型在开放空间下的性能，本发明采用真实场景中的模拟监控视频作为测试集。测试集由本发明自备摄像头在校园内A、B处拍摄完成，15位目标人物，A处15段，B处30段，AlignGan模型生成15段，共60段短视频(时长10秒左右，帧率20)。A处拍摄每个目标人物的一段视频作为查询息，B处拍摄每个目标人物2种不同的着装，拍摄角度固定。考虑到开放空间下跨模态重识别是可能发生的，因此将B处每个目标人物的其中一段视频使用AlignGan模型生成单通道的IR夜间视频，共15段。
测试视频集样例展示如图6所示。
测试场景假设：
搜索区域： 校园内
监控范围： A、B(RGB)处
待查询人物： S＝{S1,S2,…,S15}
S最后出现地： A处
评价指标：测试模型均从A处获得待查询人物S的查询信息，在B处检索换装后的S，输出匹配相似度
测试：鉴于部分行人重识别模型如CASE-Net中的方法并未开源，因此本发明只在测试视频集上测试官方开源的DG-Net、ReIDCaps模型以及本发明的方法。DG-Net、ReIDCaps模型均去掉分类层，使用最后一层的特征向量作为模型的最终输出，计算余弦距离及余弦相似度；HigherHRNetXt-DTW累计序列间最小距离，计算序列相似度I，n取12(不包括面部关键点)，DTW搜索的距离阈值υ为8。硬件：两台TITAN XP；深度学习框架：Pytorch。
实验结果：本发明的方法在两种模态RGB和C处IR测试视频上表现良好，对15个目标人物检索的匹配相似度
分别为77.4％和76.7％，表现良好，同时二者差异较小，说明本发明的方法几乎不受跨模态的影响，性能优于另外两种方法，结果见表3，保留一位小数。DG-Net和ReIDCaps模型的测试性能较差，测试的匹配相似度
(平均余弦相似度)均小于0，这意味着行人换装后模型提取的特征向量与查询特征向量几乎没有相似性，在高维空间中两特征向量的方向呈一定夹角的反向，且无法适应跨模态。
本发明的实验假定了B处检索信息与A处查询信息有相同的长度(帧数)，但在很多情况下，可能并不满足这样的条件。本发明实验序列长度k(单位：帧)的变化对HigherHRNetXt-DTW匹配相似度
的影响，实验结果如表4，表5。
表3行人重识别模型及方法在B处测试视频集上的测试结果，表中数值均为测试平均值，参与匹配的序列长度为200
表4模型输入图像为RGB，大小512X512，表中数值均为平均值
表5模型输入图像为IR，大小512X512，表中数值均为平均值
4.总结
本发明从新的角度出发，利用姿态估计模型获取行人骨骼关键点的时空信息，采用DTW寻求序列间匹配相似性，将深度学习与传统算法结合提出一种开放空间下行人换装重识别方法，其最大的优势是对行人易伪装的表观特征不敏感，这使得它可以应用于更加复杂的场景，比如犯罪嫌疑人为躲避追查更换服饰、衣帽遮挡等；其次突破了行人换装数据集的桎梏，只需要训练HigherHRNetXt姿态估计模型，而HigherHRNetXt模型得益于ResNeXt模块和高分辨率特征图，在参数量减少的前提下达到更优的性能，且对图像中的小目标行人敏感。实验证明，本发明的方法能在一定程度上解决行人换装重识别问题，且对跨模态不敏感。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种开放空间下行人换装重识别方法，其特征在于，所述开放空间下行人换装重识别方法包括：
基于改进后姿态估计模型网络结构，采用动态时间规整算法寻求行人骨骼关键点序列间的距离，将关键点检测应用于行人重识别，完成对同一行人的匹配。
2.如权利要求1所述的开放空间下行人换装重识别方法，其特征在于，所述开放空间下行人换装重识别方法进一步包括：
以姿态估计模型为基础，获得人物骨骼关键点热图，使用动态时间规整DTW算法寻求多个骨骼关键点序列与模板序列的最小匹配距离，度量序列间相似度，实现对换装前后的人物重识别。
3.如权利要求1所述的开放空间下行人换装重识别方法，其特征在于，所述对网络进行改进的方法包括：
所述ResNeXt结构以组卷积的方式，使卷积网络在不增加深度和宽度，只改变基数，并减少网络参数总量；
C为基数，代表一个模块中相同分支的数目，Ti(x)为第i个相同拓扑结构的分支；改进后的网络为HigherHRNetXt。
4.如权利要求1所述的开放空间下行人换装重识别方法，其特征在于，待查询目标为S，关于S的初始查询图像为连续帧，即Xs(t)＝{X1,X2,X3…,Xt},t≥C，Xt为S的第t帧图像，Xs(t)为S的初始查询信息，C为视频帧率；
将姿态估计模型记为函数G(x)，输出为关键点序列Y，A处获得待查询人物S初始查询信息：Xs(t)＝{X1,X2,X3…,Xt},t≥C；经过一段时间T∈[0,+∞]后，B处获得疑似查询人物f的查询信息：Zf(t)＝{Z1,Z2,Z3…,Zt},t≥C；则分别带入G(x)，可得S和f的骨骼关键点序列信息：YA＝G(Xs(t))，，YB＝G(Xf(t))；
求解DTW(YA,YB)的最小匹配距离D∈[0,+∞]，若D值越小，则YA,YB越相似，概率值P(f＝S)越大；反之YA,YB越不相似，概率值P(f＝S)越小。
5.如权利要求1所述的开放空间下行人换装重识别方法，其特征在于，所述动态时间规整算法DTW采用动态规划的思想，求解两长度相等或不等的时间序列x1,x2之间的最小距离；对DTW设置的约束条件包括：
(1)两个时间序列Q＝{q1,q2,…,qn}，L＝{l1,l2,…,lm}，Q，L序列间元素的欧氏距离记为dij＝d(qi,lj)，1≤i≤n,1≤j≤m，构造Q,L距离矩阵M如下：
设矩阵M的规整路径W＝w1,w2,w3,…,wk,…,wK，K的取值范围为max(m,n)≤K≤m+n-1。W未知，满足以下基本约束：
1)边界约束，规定d11和dnm分别为规整路径的起始点和终点；
2)路径连续性，路径点搜索过程中，不允许跨点搜索，若Wk＝(di·,dj·)，则下一次搜索路径Wk+1＝(d′i·,d′j·)需满足d′i·-di·≤1，d′j·-dj·≤1；
3)路径单调性，在2)假设的基础上，同时满足d′i.-di.≥0，d′j·-dj·≥0；
上述约束条件1)、2)、3)下，当前搜索格点为(a,b)，则下一次通过的格点只能是(a-1,b)，(a,b-1)，(a-1,b-1)其中一个；同时符合下式：
优化求解上式获得使Q,L匹配距离最规整的路径，同时计算累计距离：
D(a,b)＝min{D(a-1,b),D(a,b-1),D(a-1,b-1)}+d(a,b)；
(2)设置DTW的搜索空间的搜索边界，将距离矩阵M投影到笛卡尔坐标系中，即可视化边界约束；
且所述DTW的搜索空间：
代表矩阵M中的元素，约束窗口的宽度w＝max(M,N)/2；
(3)止损策略，故设置序列间匹配累计距离阈值υ；在DTW路径搜索过程中，两序列间累计距离D≥υ，匹配终止；
(4)度量：匹配距离D∈[0,+∞]，将距离D放缩，定义符合需求的时间序列相似性度量指标I，u,v序列间相似度I如下式：
其中，n为时间序列的特征维数，I∈[0,1]。
6.一种实施如权利要求1～5任意一项所述开放空间下行人换装重识别方法的开放空间下行人换装重识别系统，其特征在于，所述开放空间下行人换装重识别系统包括：
1)HigherHRNetXt行人特征信息获取模块，用ResNeXt结构替换HigherHRNet中的部分残差块，改进后的网络记为HigherHRNetXt，使用此网络提取行人骨骼关键点特征信息；
2)行人重识别模块，将行人特征向量间的距离求解看作优化问题，基于动态优化的思想采用动态时间规整算法去寻求行人骨骼关键点时序特征间的距离，度量行人相似性，完成对同一行人的匹配。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
1)对HigherHRNet网络进行改进，把改进后的网络记为HigherHRNetXt，并用ResNeXt结构替换网络中的部分残差块；同时基于HigherHRNetXt网络提取行人骨骼关键点特征信息；
2)基于动态规化的思想采用动态时间规整算法去寻求行人骨骼关键点时序特征间的距离，度量行人相似性，完成对同一行人的匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423457.5A CN112541421B (zh) | 2020-12-08 | 2020-12-08 | 一种开放空间的行人换装重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423457.5A CN112541421B (zh) | 2020-12-08 | 2020-12-08 | 一种开放空间的行人换装重识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541421A true CN112541421A (zh) | 2021-03-23 |
| CN112541421B CN112541421B (zh) | 2024-07-26 |
Family
ID=75019401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011423457.5A Active CN112541421B (zh) | 2020-12-08 | 2020-12-08 | 一种开放空间的行人换装重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541421B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221815A (zh) * | 2021-05-25 | 2021-08-06 | 北京无垠创新科技有限责任公司 | 一种基于骨骼关键点自动检测技术的步态鉴定方法 |
| CN113313188A (zh) * | 2021-06-10 | 2021-08-27 | 四川大学 | 一种跨模态融合目标跟踪方法 |
| CN113408472A (zh) * | 2021-07-06 | 2021-09-17 | 京东数科海益信息科技有限公司 | 目标重识别模型的训练方法、目标重识别方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140219550A1 (en) * | 2011-05-13 | 2014-08-07 | Liberovision Ag | Silhouette-based pose estimation |
| US20150193686A1 (en) * | 2014-01-03 | 2015-07-09 | Tata Consultancy Services Limited | Static posture based person identification |
| CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN109460702A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 基于人体骨架序列的乘客异常行为识别方法 |
| CN109543549A (zh) * | 2018-10-26 | 2019-03-29 | 北京陌上花科技有限公司 | 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器 |
| CN110070066A (zh) * | 2019-04-30 | 2019-07-30 | 福州大学 | 一种基于姿态关键帧的视频行人重识别方法及系统 |
| CN110457985A (zh) * | 2019-06-05 | 2019-11-15 | 深圳大学 | 基于视频序列的行人再识别方法、装置及计算机设备 |
| CN110968734A (zh) * | 2019-11-21 | 2020-04-07 | 华东师范大学 | 一种基于深度度量学习的行人重识别方法及装置 |
| CN111680560A (zh) * | 2020-05-07 | 2020-09-18 | 南通大学 | 一种基于时空特征的行人再识别方法 |
-
2020
- 2020-12-08 CN CN202011423457.5A patent/CN112541421B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140219550A1 (en) * | 2011-05-13 | 2014-08-07 | Liberovision Ag | Silhouette-based pose estimation |
| US20150193686A1 (en) * | 2014-01-03 | 2015-07-09 | Tata Consultancy Services Limited | Static posture based person identification |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| CN109460702A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 基于人体骨架序列的乘客异常行为识别方法 |
| CN109543549A (zh) * | 2018-10-26 | 2019-03-29 | 北京陌上花科技有限公司 | 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器 |
| CN110070066A (zh) * | 2019-04-30 | 2019-07-30 | 福州大学 | 一种基于姿态关键帧的视频行人重识别方法及系统 |
| CN110457985A (zh) * | 2019-06-05 | 2019-11-15 | 深圳大学 | 基于视频序列的行人再识别方法、装置及计算机设备 |
| CN110968734A (zh) * | 2019-11-21 | 2020-04-07 | 华东师范大学 | 一种基于深度度量学习的行人重识别方法及装置 |
| CN111680560A (zh) * | 2020-05-07 | 2020-09-18 | 南通大学 | 一种基于时空特征的行人再识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| ZHENG WANG; RUIMIN HU: "Zero-Shot Person Re-identification via Cross-View Consistency", IEEE, pages 260 - 272 * |
| 郭伏正: "自适应融合RGB和骨骼特征的行为识别", 激光与光电子学进展, 31 October 2020 (2020-10-31), pages 310 - 319 * |
| 钱亚冠，关晓惠: "一种基于贪心算法的SVM扰动攻击方法", 电信科学, pages 81 - 89 * |
| 钱亚冠，王滨，关晓惠: "大规模网络模拟的背景流量建模", 电信科学, pages 66 - 72 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221815A (zh) * | 2021-05-25 | 2021-08-06 | 北京无垠创新科技有限责任公司 | 一种基于骨骼关键点自动检测技术的步态鉴定方法 |
| CN113313188A (zh) * | 2021-06-10 | 2021-08-27 | 四川大学 | 一种跨模态融合目标跟踪方法 |
| CN113313188B (zh) * | 2021-06-10 | 2022-04-12 | 四川大学 | 一种跨模态融合目标跟踪方法 |
| CN113408472A (zh) * | 2021-07-06 | 2021-09-17 | 京东数科海益信息科技有限公司 | 目标重识别模型的训练方法、目标重识别方法及装置 |
| CN113408472B (zh) * | 2021-07-06 | 2023-09-26 | 京东科技信息技术有限公司 | 目标重识别模型的训练方法、目标重识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541421B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Recognizing partial biometric patterns | |
| Tan et al. | MHSA-Net: Multihead self-attention network for occluded person re-identification | |
| Perveen et al. | Spontaneous expression recognition using universal attribute model | |
| CN107609497B (zh) | 基于视觉跟踪技术的实时视频人脸识别方法及系统 | |
| CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN107067413B (zh) | 一种时空域统计匹配局部特征的运动目标检测方法 | |
| Fan et al. | Fusing dynamic deep learned features and handcrafted features for facial expression recognition | |
| CN112541421B (zh) | 一种开放空间的行人换装重识别方法 | |
| KR20160101973A (ko) | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 | |
| CN112699265B (zh) | 图像处理方法及装置、处理器、存储介质 | |
| CN112883896B (zh) | 一种基于bert网络的微表情检测方法 | |
| Chen et al. | Matching thermal to visible face images using a semantic-guided generative adversarial network | |
| Liu et al. | Adaptive cascade regression model for robust face alignment | |
| CN113947814A (zh) | 一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法 | |
| Galiyawala et al. | Person retrieval in surveillance using textual query: a review | |
| CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
| Pang et al. | Analysis of computer vision applied in martial arts | |
| Huang et al. | Whole-body detection, recognition and identification at altitude and range | |
| Yao et al. | Mask attack detection using vascular-weighted motion-robust rPPG signals | |
| Ming et al. | A unified 3D face authentication framework based on robust local mesh SIFT feature | |
| Zheng et al. | Identifying same persons from temporally synchronized videos taken by multiple wearable cameras | |
| Yan et al. | Flexible iris matching based on spatial feature reconstruction | |
| CN111444374B (zh) | 人体检索系统和方法 | |
| Li et al. | Intelligent terminal face spoofing detection algorithm based on deep belief network | |
| Chai et al. | Towards contactless palm region extraction in complex environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |