CN110334675A - 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 - Google Patents

一种基于人体骨骼关键点分割和列卷积的行人重识别方法 Download PDF

Info

Publication number
CN110334675A
CN110334675A CN201910625438.1A CN201910625438A CN110334675A CN 110334675 A CN110334675 A CN 110334675A CN 201910625438 A CN201910625438 A CN 201910625438A CN 110334675 A CN110334675 A CN 110334675A
Authority
CN
China
Prior art keywords
convolution
pedestrian
dimensional matrix
higher dimensional
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625438.1A
Other languages
English (en)
Other versions
CN110334675B (zh
Inventor
范继辉
周莉
杜来民
邓国超
白玥寅
张松
朱顺意
巩志远
陈建学
周雨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Lingneng Electronic Technology Co ltd
Taiyuan University of Technology
Shandong University
Original Assignee
Shandong Lingneng Electronic Technology Co ltd
Taiyuan University of Technology
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Lingneng Electronic Technology Co ltd, Taiyuan University of Technology, Shandong University filed Critical Shandong Lingneng Electronic Technology Co ltd
Priority to CN201910625438.1A priority Critical patent/CN110334675B/zh
Publication of CN110334675A publication Critical patent/CN110334675A/zh
Application granted granted Critical
Publication of CN110334675B publication Critical patent/CN110334675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人体骨骼关键点分割和列卷积的行人重识别方法，包括：(1)准备行人数据集；(2)将训练集送入网络A，得到上半身图片信息和下半身图片信息，上半身图片信息是指包含有行人上半身信息的高维矩阵X，下半身图片信息是指包含有行人下半身信息的高维矩阵Y；(3)将高维矩阵X送入网络B；(4)将高维矩阵Y送入网络C；(5)使用测试集验证,进行结果检测。本发明基于人体骨骼关键点的区域分割能更准确地将人体各部分区分开来，能更有效的进行人体部件对齐，能够有效提高模型的鲁棒性。本发明能使图中像素行和行之间能够传递信息，有效地提高目标识别率。

Description

一种基于人体骨骼关键点分割和列卷积的行人重识别方法
技术领域
本发明属于行人重识别领域，具体涉及一种基于人体骨骼关键点分割和列卷积的行人重识别方法。
背景技术
行人重识别(Person Re-identification)也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，被广泛认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，行人重识别就成为了一个非常重要的替代品技术。
目前实现行人重识别的方法有基于表征学习、度量学习的方法等，一种经典的实现方法为Beyond Part Models:Person Retrieval with Refined Part Pooling，其主干网络为Part-based Convolutional Baseline(PCB)。
PCB框架的流程是：
(1)对输入384*128行人图提取深度特征(ResNet50)，把最后一个block(averagepooling前)的下采样层丢弃掉，得到空间大小24*8的tensor T；
(2)将tensor T按照水平方向均匀分成6parts，即6个空间大小为4*8的tensor，然后各自进行average pooling，得到6个column vectors g；
(3)使用1*1卷积对g降维通道数，然后接6个FC层(权值不共享)，Softmax进行分类；
(4)训练时等于有6个cross-entropy loss；测试时则将6个vectors g合并在一起，再算相似度。
显而易见，当输入的图片中人体所占画面比例不同，由于未考虑人体结构信息，水平均分将会导致区域划分不对应，从而造成误检率较高的结果。同时，未考虑下半身的明显空间关系，横向卷积所提取的特征不够精准，导致最终的识别效果不佳。
发明内容
针对现有技术的不足，本发明提供了一种准确度高的基于人体骨骼关键点分割和列卷积的行人重识别方法；
术语解释：
1、LabelImg图片标注工具，是一个可视化的图像标定工具。
2、人体骨骼关键点，本发明所涉及的人体骨骼关键点共14个，在进行图片标注时，会将该14个人体骨骼关键点按序标出。人体骨骼关键点编号顺序如表1所示：
表1
1/右肩 2/右肘 3/右腕 4/左肩 5/左肘
6/左腕 7/右髋 8/右膝 9/右踝 10/左髋
11/左膝 12/左踝 13/头顶 14/脖子
3、tensor，是一个包含图片信息的多维数组。例如,可以将一小组图像集表示为一个四维浮点数数组,这四个维度分别是[batch(批处理数),height(图片高度),width(图片宽度),channels(图片通道数，如R，G，B三通道)]
4、cross-entropy loss，即交叉熵损失函数，是在分类过程中，衡量预测概率分布和实际概率分布之间差距的一种函数。其计算公式如下：H(p,q)＝-∑xp(x)logq(x)，其中，p(x)是实际概率分布，q(x)为预测概率分布。假设有一个3分类问题，某个样例的实际概率分布是(1，0，0)，神经网络预测的概率分布是(0.5，0.4，0.1)，那么预测概率分布和实际概率分布之间的交叉熵(cross-entropy loss)为：H((1,0,0),(0.5,0.4,0.1))＝-(1×logO.5+0×log0.4+0×log0.1)≈0.3。
5、卷积操作，假设有一个5×5(像素点)的图片，各点像素值如表2：
表2
1 1 1 0 0
0 1 1 1 0
0 0 1 1 1
0 0 1 1 0
1 1 0 0
使用如表3所示的3×3的卷积核进行卷积操作，
表3
1 0 1
0 1 0
1 0 1
初始位置见上左图中的灰色区域，进行内积运算(对应像素点相乘后求和)，得到第一个数值4。后逐步(这里每次滑动一格即步长为1)向右滑动，当滑至最右端时下移一行回到最左端，重复进行内积运算得到相应的数值，最终卷积结果如下表4：
表4
4 3 4
2 4 3
2 3 4
本发明的技术方案为：
一种基于人体骨骼关键点分割和列卷积的行人重识别方法,包括步骤如下：
(1)准备行人数据集，行人数据集是指处于不同场景且具有不同尺度的大量的行人图像；将行人数据集划分为训练集、验证集和测试集,使用LabelImg图片标注工具标注训练集；
(2)将训练集送入网络A，网络A是目标检测网络，得到上半身图片信息和下半身图片信息，上半身图片信息是指包含有行人上半身信息的高维矩阵X；上半身信息即图片的像素点信息，是指卷积网络可以识别并提取的特征信息，包括衣服颜色、衣服样式、是否戴眼镜、是否打伞等等，但是这些特征信息由卷积网络逐层提取，层数越高越抽象，所以网络具体提取的那些特征并不清楚。高维矩阵X全是01序列，例如，一个四维矩阵：
[(((0,1,1,0),(0,1,1,0)),((0,1,1,0),(0,1,1,0))),
(((0,1,1,0),(0,1,1,0)),((0,1,1,0),(0,1,1,0)))]
如图2中的X所示；
下半身图片信息是指包含有行人下半身信息的高维矩阵Y，下半身信息即图片的像素点信息，是指卷积网络可以识别并提取的特征信息，包括裤子颜色、裤子样式、是否有腰带、鞋子样式等等，但是这些特征信息由卷积网络逐层提取，层数越高越抽象，所以网络具体提取的那些特征并不清楚。高维矩阵Y全是01序列，如图2中的Y所示；
(3)将高维矩阵X送入网络B，网络B是人体骨骼关键点检测网络，得到表征上半身特征的tensor1,tensor1的空间大小为m×n，m为矩阵行数、n为矩阵列数，如图3中tensor1，将tensor1按人体骨骼关键点水平分为头、胸、腹三部分；打标签时，在标注完人体骨骼关键点后会进一步分别框出头、胸、腹三个矩形区域，将图片送入神经网络后，会学习并区分该三部分的特征信息，从而使这三部分的特征信息可在tensor1中被区分，得到tensor1-1、tensor1-2、tensor1-3，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；
(4)将高维矩阵Y送入网络B，得到表征下半身特征的tensor2,tensor2的空间大小为p×q，p为矩阵行数、q为矩阵列数，如图4中tensor2，将tensor2按人体骨骼关键点纵向分为左、右腿两部分，得到tensor2-1、tensor2-2，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；
(5)使用测试集验证,进行结果检测。
根据本发明优选的，步骤(1)中，使用LabelImg图片标注工具标注训练集，是指：下载并安装LabelImg图片标注工具,对训练集中的行人图像标注三类标签，收集行人在行人图像中的位置信息，包括：用矩形框框出人体位置，用矩形框框出人体上半身位置和下半身位置，用标注点标注人体上半身和人体下半身中的骨骼关键点。
根据本发明优选的，步骤(1)中，数据集中，训练集占70％，验证集占10％，测试集占20％。
根据本发明优选的，步骤(2)中，将标注后的训练集送入目标检测网络后，学习并区分人体上半身位置和下半身位置的特征信息，从而获得分别表征上、下半身信息的高维矩阵X、Y。
根据本发明优选的，步骤(3)中，将高维矩阵X送入网络B，采用横向卷积得到表征上半身特征的tensor1，包括步骤如下：
设定高维矩阵X的尺寸为C1×H1×W1，C1、H1、W1分别表示高维矩阵X的通道数、高度和宽度；高维矩阵X进入网络B后，卷积核从第一层卷积开始卷积，逐步滑动，将第一层卷积完后移到第二层进行卷积，继续滑动直至卷积全部完成，经过多个卷积层操作，得到tensor1(张量1)。如图3；
根据本发明优选的，步骤(4)中，将高维矩阵Y送入网络B，采用列卷积得到表征下半身特征的tensor2，包括步骤如下：
设定高维矩阵Y的尺寸为C×H×W，C、H、W分别表示高维矩阵Y的通道数、高度和宽度；
A、高维矩阵Y进入网络B后，被水平切割为H个切片；
B、对最上层的切片进行卷积操作，卷积输出添加到下一层切片，将更新后的切片进行卷积操作，重复此过程直至最底层切片卷积完成，得到tensor A；
C、对最下层的切片进行卷积操作，卷积输出添加到上一层切片，将更新后的切片进行卷积操作，重复此过程直至最顶层切片卷积完成，得到tensor B；
D、使用concat函数将tensorA、tensorB拼接在一起，得到tensor2。
根据本发明优选的，步骤(5)中，使用测试集验证,进行结果检测，是指：
E、将5个特征向量合并计算相似度，5个特征向量包括tensor1-1、tensor1-2、tensor1-3、tensor2-1、tensor2-2，是指：分别计算五个特征向量预测概率分布与实际概率分布的交叉熵损失；根据实际情况，对五个特征向量预测概率分布与实际概率分布的交叉熵损失施加不同的权重(权重越高，表示该区域在识别时重要性越高)，求出加权平均值，得到最终的全局交叉熵损失，即相似度；
F、按相似度递减排列，得到查询结果序列。
进一步优选的，计算预测概率分布与实际概率分布的交叉熵损失的计算公式如式(Ⅰ)所示：
H(p,q)＝-∑xp(x)logq(x) (Ⅰ)
式(Ⅰ)中，H(p,q)是指预测概率分布与实际概率分布的交叉熵损失，p(x)是实际概率分布，q(x)为预测概率分布，x的取值为1-6，表示从第一个到第六个分别计算交叉熵损失。
本发明的有益效果为：
1、目前行人重识别领域普遍使用PCB算法思路，即将图片特征向量水平均分，但由于未考虑人体结构信息，PCB算法可能导致区域划分不对应，从而造成误检率较高的结果。本发明基于人体骨骼关键点的区域分割能更准确地将人体各部分区分开来，能更有效的进行人体部件对齐，能够有效提高模型的鲁棒性。
2、本发明列卷积将传统的卷积层接层(layer-by-layer)的连接形式的转为feature map中片连片卷积(slice-by-slice)的形式，使得图中像素行和行之间能够传递信息，有效地提高目标识别率。
附图说明
图1为本发明基于人体骨骼关键点分割和列卷积的行人重识别方法的流程示意图。
图2为将训练集送入网络A获得高维矩阵X、Y的流程示意图；
图3为将高维矩阵X送入网络B得到tensor1-1、tensor1-2、tensor1-3的流程示意图；
图4为将高维矩阵Y送入网络B得到tensor2-1、tensor2-2的流程示意图；
图5为本发明行人重识别方法得到的效果示意图；
图6为采用本发明行人重识别方法与采用现有的PCB算法得到的效果比对示意图；
图7为采用现有的PCB算法得到的效果示意图；
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步说明，但不限于此。
实施例
一种基于人体骨骼关键点分割和列卷积的行人重识别方法,如图1所示，包括步骤如下：
(1)准备行人数据集，行人数据集是指处于不同场景且具有不同尺度的大量的行人图像；将行人数据集划分为训练集、验证集和测试集,训练集占70％，验证集占10％，测试集占20％。使用LabelImg图片标注工具标注训练集；
使用LabelImg图片标注工具标注训练集，是指：下载并安装LabelImg图片标注工具,对训练集中的行人图像标注三类标签，收集行人在行人图像中的位置信息，包括：用矩形框框出人体位置，用矩形框框出人体上半身位置和下半身位置，用标注点标注人体上半身和人体下半身中的骨骼关键点。
(2)将训练集送入网络A，网络A是目标检测网络，得到上半身图片信息和下半身图片信息，上半身图片信息是指包含有行人上半身信息的高维矩阵X；上半身信息即图片的像素点信息，是指卷积网络可以识别并提取的特征信息，包括衣服颜色、衣服样式、是否戴眼镜、是否打伞等等，但是这些特征信息由卷积网络逐层提取，层数越高越抽象，所以网络具体提取的那些特征并不清楚。高维矩阵X全是01序列，例如，一个四维矩阵：
[(((0,1,1,0),(0,1,1,0)),((0,1,1,0),(0,1,1,0))),
(((0,1,1,0),(0,1,1,0)),((0,1,1,0),(0,1,1,0)))]
如图2中的高维矩阵X所示；
下半身图片信息是指包含有行人下半身信息的高维矩阵Y，下半身信息即图片的像素点信息，是指卷积网络可以识别并提取的特征信息，包括裤子颜色、裤子样式、是否有腰带、鞋子样式等等，但是这些特征信息由卷积网络逐层提取，层数越高越抽象，所以网络具体提取的那些特征并不清楚。高维矩阵Y全是01序列，如图2中的高维矩阵Y所示；
(3)将高维矩阵X送入网络B，网络B是人体骨骼关键点检测网络，得到表征上半身特征的tensor1(张量1),tensor1的空间大小为m×n，m为矩阵行数、n为矩阵列数，如图3中tensor1，将tensor1按人体骨骼关键点水平分为头、胸、腹三部分；打标签时，在标注完人体骨骼关键点后会进一步分别框出头、胸、腹三个矩形区域，将图片送入神经网络后，会学习并区分该三部分的特征信息，从而使这三部分的特征信息可在tensor1中被区分，得到tensor1-1(张量1-1)、tensor1-2(张量1-2)、tensor1-3(张量1-3)，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；包括步骤如下：
设定高维矩阵X的尺寸为C1×H1×W1，C1、H1、W1分别表示高维矩阵X的通道数、高度和宽度；高维矩阵X进入网络B后，卷积核从第一层卷积开始卷积，逐步滑动，将第一层卷积完后移到第二层进行卷积，继续滑动直至卷积全部完成，经过多个卷积层操作，得到tensor1(张量1)。如图3；
(4)将高维矩阵Y送入网络B，得到表征下半身特征的tensor2(张量2),tensor2的空间大小为p×q，p为矩阵行数、q为矩阵列数，如图4中tensor2，将tensor2按人体骨骼关键点纵向分为左、右腿两部分，得到tensor2-1(张量2-1)、tensor2-2(张量2-2)，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；包括步骤如下：
设定高维矩阵Y的尺寸为C×H×W，C、H、W分别表示高维矩阵Y的通道数、高度和宽度；
A、高维矩阵Y进入网络B后，被水平切割为H个切片；
B、对最上层的切片进行卷积操作，卷积输出添加到下一层切片，将更新后的切片进行卷积操作，重复此过程直至最底层切片卷积完成，得到tensor A；
C、对最下层的切片进行卷积操作，卷积输出添加到上一层切片，将更新后的切片进行卷积操作，重复此过程直至最顶层切片卷积完成，得到tensor B；
D、使用concat函数将tensorA、tensorB拼接在一起，得到tensor2。
(5)使用测试集验证,进行结果检测。是指：
E、将5个特征向量合并计算相似度，5个特征向量包括tensor1-1、tensor1-2、tensor1-3、tensor2-1、tensor2-2，是指：分别计算五个特征向量预测概率分布与实际概率分布的交叉熵损失；根据实际情况，对五个特征向量预测概率分布与实际概率分布的交叉熵损失施加不同的权重(权重越高，表示该区域在识别时重要性越高)，求出加权平均值，得到最终的全局交叉熵损失，即相似度；
F、按相似度递减排列，得到查询结果序列。
计算预测概率分布与实际概率分布的交叉熵损失的计算公式如式(Ⅰ)所示：
H(p,q)＝-∑xp(x)logq(x) (Ⅰ)
式(Ⅰ)中，H(p,q)是指预测概率分布与实际概率分布的交叉熵损失，p(x)是实际概率分布，q(x)为预测概率分布，x的取值为1-6，表示从第一个到第六个分别计算交叉熵损失。
本实施例行人重识别方法得到的效果如图5所示。由图5可知，行人重识别率达到100％。
本实施例行人重识别方法与采用现有的PCB算法得到的效果比对示意图如图6所示；左侧为本实施例行人重识别方法得到的效果图，上半身按人体关键点不均匀分割，下半身按纵向分割。右侧为采用现有的PCB算法得到的效果图，图片均匀分为6部分。
采用现有的PCB算法得到的效果示意图如图7所示；行人重识别率70％。
对比可知，本发明的行人重识别准确率有所提高，列卷积所提取的下半身特征更加准确，信息更加丰富，对准确率提高有重大贡献。

Claims (8)

1.一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，包括步骤如下：
(1)准备行人数据集，行人数据集是指处于不同场景且具有不同尺度的大量的行人图像；将行人数据集划分为训练集、验证集和测试集,使用LabelImg图片标注工具标注训练集；
(2)将训练集送入网络A，网络A是目标检测网络，得到上半身图片信息和下半身图片信息，上半身图片信息是指包含有行人上半身信息的高维矩阵X；下半身图片信息是指包含有行人下半身信息的高维矩阵Y；
(3)将高维矩阵X送入网络B，网络B是人体骨骼关键点检测网络，得到表征上半身特征的tensor1,tensor1的空间大小为m×n，m为矩阵行数、n为矩阵列数，将tensor1按人体骨骼关键点水平分为头、胸、腹三部分；得到tensor1-1、tensor1-2、tensor1-3，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；
(4)将高维矩阵Y送入网络B，得到表征下半身特征的tensor2,tensor2的空间大小为p×q，p为矩阵行数、q为矩阵列数，将tensor2按人体骨骼关键点纵向分为左、右腿两部分，得到tensor2-1、tensor2-2，经过池化和降维后送入softmax层进行分类，根据分类结果分别计算cross-entropy loss；
(5)使用测试集验证,进行结果检测。
2.根据权利要求1所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(1)中，使用LabelImg图片标注工具标注训练集，是指：下载并安装LabelImg图片标注工具,对训练集中的行人图像标注三类标签，收集行人在行人图像中的位置信息，包括：用矩形框框出人体位置，用矩形框框出人体上半身位置和下半身位置，用标注点标注人体上半身和人体下半身中的骨骼关键点。
3.根据权利要求1所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(1)中，数据集中，训练集占70％，验证集占10％，测试集占20％。
4.根据权利要求1所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(2)中，将标注后的训练集送入目标检测网络后，学习并区分人体上半身位置和下半身位置的特征信息，从而获得分别表征上、下半身信息的高维矩阵X、Y。
5.根据权利要求1所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(3)中，将高维矩阵X送入网络B，采用横向卷积得到表征上半身特征的tensor1，包括步骤如下：
设定高维矩阵X的尺寸为C1×H1×W1，C1、H1、W1分别表示高维矩阵X的通道数、高度和宽度；高维矩阵X进入网络B后，卷积核从第一层卷积开始卷积，逐步滑动，将第一层卷积完后移到第二层进行卷积，继续滑动直至卷积全部完成，经过多个卷积层操作，得到tensor1。
6.根据权利要求1所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(4)中，将高维矩阵Y送入网络B，采用列卷积得到表征下半身特征的tensor2，包括步骤如下：
设定高维矩阵Y的尺寸为C×H×W，C、H、W分别表示高维矩阵Y的通道数、高度和宽度；
A、高维矩阵Y进入网络B后，被水平切割为H个切片；
B、对最上层的切片进行卷积操作，卷积输出添加到下一层切片，将更新后的切片进行卷积操作，重复此过程直至最底层切片卷积完成，得到tensor A；
C、对最下层的切片进行卷积操作，卷积输出添加到上一层切片，将更新后的切片进行卷积操作，重复此过程直至最顶层切片卷积完成，得到tensor B；
D、使用concat函数将tensorA、tensorB拼接在一起，得到tensor2。
7.根据权利要求1-6任一所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，步骤(5)中，使用测试集验证,进行结果检测，是指：
E、将5个特征向量合并计算相似度，5个特征向量包括tensor1-1、tensor1-2、tensor1-3、tensor2-1、tensor2-2，是指：分别计算五个特征向量预测概率分布与实际概率分布的交叉熵损失；对五个特征向量预测概率分布与实际概率分布的交叉熵损失施加不同的权重，求出加权平均值，得到最终的全局交叉熵损失，即相似度；
F、按相似度递减排列，得到查询结果序列。
8.根据权利要求7所述的一种基于人体骨骼关键点分割和列卷积的行人重识别方法,其特征在于，计算预测概率分布与实际概率分布的交叉熵损失的计算公式如式(Ⅰ)所示：
H(p,q)＝-∑xp(x)logq(x) (Ⅰ)
式(Ⅰ)中，H(p,q)是指预测概率分布与实际概率分布的交叉熵损失，p(x)是实际概率分布，q(x)为预测概率分布，x的取值为1-6，表示从第一个到第六个分别计算交叉熵损失。
CN201910625438.1A 2019-07-11 2019-07-11 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 Active CN110334675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625438.1A CN110334675B (zh) 2019-07-11 2019-07-11 一种基于人体骨骼关键点分割和列卷积的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625438.1A CN110334675B (zh) 2019-07-11 2019-07-11 一种基于人体骨骼关键点分割和列卷积的行人重识别方法

Publications (2)

Publication Number Publication Date
CN110334675A true CN110334675A (zh) 2019-10-15
CN110334675B CN110334675B (zh) 2022-12-27

Family

ID=68146423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625438.1A Active CN110334675B (zh) 2019-07-11 2019-07-11 一种基于人体骨骼关键点分割和列卷积的行人重识别方法

Country Status (1)

Country Link
CN (1) CN110334675B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160262A (zh) * 2019-12-30 2020-05-15 国网北京市电力公司 一种融合人体关键点检测的人像分割方法
CN111402360A (zh) * 2020-03-13 2020-07-10 北京奇艺世纪科技有限公司 生成人体模型的方法、装置、计算机设备和存储介质
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN112750131A (zh) * 2021-01-31 2021-05-04 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN112766021A (zh) * 2019-11-04 2021-05-07 广东毓秀科技有限公司 一种基于行人的关键点信息与语义分割信息进行行人重识别的方法
CN113255598A (zh) * 2021-06-29 2021-08-13 南京视察者智能科技有限公司 一种基于Transformer的行人重识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109271870A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109271870A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘通，李文国: "基于特征拼接的行人重识别", 《激光与光电子学进展.HTTPS://KNS.CNKI.NET/KCMS/DETAIL/31.1690.TN.20190402.1427.038.HTML》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766021A (zh) * 2019-11-04 2021-05-07 广东毓秀科技有限公司 一种基于行人的关键点信息与语义分割信息进行行人重识别的方法
CN111160262A (zh) * 2019-12-30 2020-05-15 国网北京市电力公司 一种融合人体关键点检测的人像分割方法
CN111402360A (zh) * 2020-03-13 2020-07-10 北京奇艺世纪科技有限公司 生成人体模型的方法、装置、计算机设备和存储介质
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111461017B (zh) * 2020-04-01 2024-01-19 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN112750131A (zh) * 2021-01-31 2021-05-04 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN112750131B (zh) * 2021-01-31 2023-07-21 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN113255598A (zh) * 2021-06-29 2021-08-13 南京视察者智能科技有限公司 一种基于Transformer的行人重识别方法

Also Published As

Publication number Publication date
CN110334675B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110334675A (zh) 一种基于人体骨骼关键点分割和列卷积的行人重识别方法
CN108510000B (zh) 复杂场景下行人细粒度属性的检测与识别方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN106446933B (zh) 基于上下文信息的多目标检测方法
CN102663391B (zh) 一种图像的多特征提取与融合方法及系统
CN105225226B (zh) 一种基于图像分割的级联可变形部件模型目标检测方法
CN105160317B (zh) 一种基于区域分块行人性别识别方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
US20110142335A1 (en) Image Comparison System and Method
CN104573744B (zh) 精细粒度类别识别及物体的部分定位和特征提取方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN105740915B (zh) 一种融合感知信息的协同分割方法
CN105260738A (zh) 基于主动学习的高分辨率遥感影像变化检测方法及系统
CN104794451B (zh) 基于分块匹配结构的行人比对方法
CN105160355B (zh) 一种基于区域相关和视觉单词的遥感图像变化检测方法
CN109271932A (zh) 基于颜色匹配的行人再识别方法
CN105512618B (zh) 视频跟踪方法
CN109241881A (zh) 一种人体姿态估计方法
CN104966305A (zh) 基于运动矢量划分的前景检测方法
CN109325507A (zh) 一种结合超像素显著性特征与hog特征的图像分类算法和系统
CN105469050B (zh) 基于局部时空特征描述与金字塔词汇树的视频行为识别方法
CN106909890A (zh) 一种基于部位聚类特征的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant