CN106874884B - 基于部位分割的人体再识别方法 - Google Patents

基于部位分割的人体再识别方法 Download PDF

Info

Publication number
CN106874884B
CN106874884B CN201710124643.0A CN201710124643A CN106874884B CN 106874884 B CN106874884 B CN 106874884B CN 201710124643 A CN201710124643 A CN 201710124643A CN 106874884 B CN106874884 B CN 106874884B
Authority
CN
China
Prior art keywords
human body
image
color
bin
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710124643.0A
Other languages
English (en)
Other versions
CN106874884A (zh
Inventor
张良
姜华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201710124643.0A priority Critical patent/CN106874884B/zh
Publication of CN106874884A publication Critical patent/CN106874884A/zh
Application granted granted Critical
Publication of CN106874884B publication Critical patent/CN106874884B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于部位分割的人体再识别方法。其包括图像数据获取、粗识别和细识别等步骤。本发明效果：现代人衣服款式颜色多种多样，衣袖的颜色往往和躯干部分的颜色不一样，大腿和小腿处的裤子的颜色也会不一样。且在监控摄像头中，头部信息一般较为细微，不易找到区分度大的特征，而脚部偏小，不易采集。基于以上考虑，把人体除头以外，分割为：躯干、左/右上臂、左/右下臂、左/右大腿、左/右小腿共9个部位进行再识别具有较高的识别率。粗识别可以提取出与查询集颜色相近的候选集人体，但无法缩小搜索范围。在粗识别的基础上，对于躯干部位图像，使用投影法可以提取出躯干部位的图案及图案的位置信息，进一步提高了识别率。

Description

基于部位分割的人体再识别方法
技术领域
本发明属于计算机视觉与图像处理技术领域，特别是涉及一种基于部位分割的人体再识别方法。
背景技术
随着计算机视觉技术的快速发展，由于人体再识别具有非接触性的特点，因此在公共安全、医疗保健、刑事侦查等方面有着广阔的应用前景。人体再识别作为行人姿态、动作、行为识别等高层应用的基础，具有重要的研究意义。
目前的人体再识别研究主要有两个方向：(1)基于特征表示的方法。虽然该类方法在一定程度可以提高再识别的准确性，但是仅从整体特性考虑人体目标，缺少了对人体目标的空间约束性信息。(2)基于距离度量学习的方法。该类方法中距离函数的性能好坏与样本的选取息息相关。当具有足够多的样本时，学习出的距离函数才能够普遍适用于多种环境下的再识别问题。而在样本数过少时，会出现过拟合现象。另外，实际操作时，训练数据样本需要人工标注，因此会消耗大量的人工时间成本。
基于部位分割的人体再识别属于上述第二种方法。该方法利用在再识别前做了大量的部位分割筛选的初期工作，能够较快速、准确地再识别出目标人体。正因为图像采集的同时需要处理和筛选且实时性要求较高，因此需要具有较高图像计算复杂度的微机系统。Farenzena M,Bazzani L,Perina A等[Person Re-identification by Symmetry-drivenAccumulation of Local Features[C].IEEE Conference on Computer Visionand PatternRecognition(CVPR),2010:2360–2367]将视频图像中人体除头部以外分为四个区域，分别提取并融合加权HSV直方图特征、最大稳定颜色区域(MSCR)和高频复杂结构块(RHSP)三种特征来判断是否是同一个人。该方法区域分割简单，但是鲁棒性较差，没有深层次地挖掘短间隔内多帧图像之间的区别。中国专利公开号CN105303152A中公开了一种将人体尺度空间划分与颜色通道结合来进行人体再识别的方法。每个颜色通道根据人体尺度空间划分的多层图像区域进行空间直方图计算。但多个颜色通道级联形成多通道空间直方图时受复杂多变的环境背景的影响较大，从而造成识别率低。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于部位分割的人体再识别方法。
为了达到上述目的，本发明提供的基于部位分割的人体再识别方法包括按顺序进行的下列步骤：
1)图像数据获取：首先利用Kinect摄像头采集待检测场景的多帧图像，然后从上述图像中提取出人体前景图像，去噪后依次按部位分割成部位图像并筛选、保存；将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
2)粗识别：将需查询的人体目标部位图像和候选集中所有人体部位图像从RGB颜色空间转换到HSV颜色空间，之后获得颜色直方图，然后使用EMD(地球移动距离)度量颜色直方图间的相似性，并根据部位和拍摄角度的不同分配不同的权重，最后得到人体目标与候选集所有人体之间的总体EMD值并从小到大进行排序；
3)细识别：选取上述粗排序中排名前50％的候选集中人体数据，通过人体躯干部位衣物上的图案纹理及图案纹理位置的不同，将躯干部位图像在垂直、水平方向上分别投影，再分别计算人体目标与候选集中人体躯干部位垂直和水平方向上投影的皮尔逊相关系数，在粗排序的基础上进行细排序，最后由人工在细排序后的结果中寻找出目标人体。
在步骤1)中，所述的图像数据获取方法的具体步骤如下：
1.2)前景提取
1.1.1)利用微软Kinect深度摄像头和彩色摄像头分别采集待分析场景的多帧深度图像和RGB彩色图像；
1.1.2)将上述深度图像中的每一像素用2个字节，共16位表示，其中前13位表示该像素的深度值，后3位表示人体索引号，每一个在Kinect摄像头视界中的人体都会被分配一个不同的索引号，如果后3位全部为0，则表示不是人体；
1.1.3)将深度图像上属于人体区域的相应像素通过坐标映射对应到彩色坐标系下的彩色图像上；
1.1.4)在彩色图像上提取出从深度图像上映射来的人体前景像素，并复制到创建的空画布上而得到人体前景图像，由此实现人体前景提取；
1.2)图像去噪
使用开运算进行人体前景图像去噪，开运算单元选用9×9的方形算子；
1.3)基于深度骨骼点部位分割
1.3.1)坐标变换：将摄像头坐标系下的骨骼节点映射到彩色坐标系下，由此实现摄像头坐标系、深度坐标系、彩色坐标系的统一；
1.3.2)绘制旋转矩形：选取人体前景图像某部位上的两个骨骼节点P1、P2，以此两节点间的距离为旋转矩形的长，记为a；除了躯干部位的宽度设为长的2/3，其它部位宽度均设为长的1/2，记为b；两个骨骼节点P1、P2坐标的中点设为旋转矩形的旋转中心O，以两个骨骼节点P1、P2的连线与水平面的夹角为旋转角θ绘出旋转矩形；
按此绘制方法在人体前景图像上画出除头部和脚部之外的多个旋转矩形；
1.3.3)提取通过步骤1.3.2)获取到的每一旋转矩形的4个角坐标，记为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，再判断4个角的x坐标x1,x2,x3,x4和y坐标y1,y2,y3,y4的最大及最小值；将x和y坐标的最大最小值分别记为：xmax，xmin和ymax，ymin，得到旋转矩形最小外接矩形的4个角坐标，记为q1(xmin,ymin)，q2(xmax,ymin)，q3(xmax,ymax)，q4(xmin,ymax)；
1.3.4)根据步骤1.3.3)得到的旋转矩形的最小外接矩形4个角的坐标遍历人体前景图像，分割出的最小外接矩形内的像素即为人体部位，记为Part1,Part2,···,Part9，分别表示躯干，右上臂，右下臂，左上臂，左下臂，右大腿，右小腿，左大腿，左小腿；
1.5)多帧部位图像评分
部位图像评分使用以下3项指标：
(1)非白色背景区域占整幅部位图像的比值
具体步骤为：
1.4.1)设背景部分为sum1，前景部分为sum2，并都初始化为0；
1.4.2)遍历部位图像，判断红绿蓝三颜色通道每一个像素是否为白色(255,255,255)，是则sum1+1，否则sum2+1；
设前景部分占整幅部位图像的比值为Δ，计算公式为：
(2)人体目标在Kinect摄像头视界中的总偏移度
人体目标在Kinect摄像头视界中在摄像头坐标系下X,Y,Z方向上的角度差分别记为α，β，γ，设总偏移度为χ，计算公式为：
(3)部位图像清晰度
采用均方误差法来判断该部位图像质量的好坏；
均方误差法首先计算原始理想部位图像和失真部位图像像素差值的均方值MSE，然后通过均方值的大小来确定失真部位图像的失真程度，计算公式为：
其中M,N分别为部位图像的长和宽，fij表示原始理想部位图像的像素值，设为1，fij'表示实际拍摄的部位图像的像素值，归一化为(0,1)；
将上述三项指标值分别乘以不同的权重，得到总体评分K，计算公式为：
最后将人体每一部位图像均取总体评分K最高的加以保存，其中，将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
1.5)将部位图像尺寸分类归一化
将候选集中所有同一部位图像归一化到与需查询的人体目标相应部位图像相同的大小。
在步骤2)中，所述的粗识别的具体步骤如下：
2.2)颜色空间转换
将上述部位图像从RGB颜色空间转换到HSV颜色空间；
设(R,G,B)分别是一个颜色的红、绿和蓝分量，它们的值已归一化在0到1之间的实数；设max等于R,G和B中的最大者，min等于这些值中的最小者；H∈[0,360)是角度的色相角，S、V∈[0,1]是饱和度和亮度，转换公式如式(5)，(6)，(7)所示：
其中：
V＝max (7)
2.2)获得颜色直方图
2.2.1)设需要统计的特征的数目为dim；拆分HSV颜色空间中色相角H、饱和度S和亮度V三个分量，并将三个分量分别量化为36个间隔bin，记为dimHbin1,dimHbin2,…,dimHbin36；dimSbin1,dimSbin2,…,dimSbin36；dimVbin1,dimVbin2,…,dimVbin36；
2.2.2)分别统计色相角H、饱和度S和亮度V三个分量上每个dimibini的像素个数，由此得到颜色直方图；
2.3)对上述颜色直方图进行相似性度量
采用EMD来度量颜色直方图之间的相似性，计算公式为：
其中fij表示代价函数对应于各个元素权重的大小，dij表示为第1个特征分布的第i个元素到第2个特征分布的第j个元素之间的欧式距离；
利用式(8)计算候选集里所有相应部位颜色直方图与需查询的人体目标该部位的颜色直方图的EMD值，并将人体9个部位的EMD值分别记为EMD1，EMD2，···，EMD9；
2.4)分配权重并排序
2.4.1)给人体9个部位分配不同的权重，并根据上述9个部位的EMD值按式(9)计算总体EMD值，计算公式为：
2.4.2)记录候选集中所有人体目标的总体EMD值EMDmean并从小到大进行粗排序。
在步骤3)中，所述的细识别的具体步骤如下：
3.1)计算垂直、水平投影
3.1.1)选取上述已保存的需查询的人体目标躯干部位图像与粗排序中排名前50％的候选集中所有躯干部位图像；
3.1.2)将上述所有躯干部位图像从彩色图像依此转化为灰度图像、二值图像；
3.1.3)统计上述二值图像中垂直和水平方向上每个间隔bini上白色像素的个数，分别记为dim1bini，dim2bini，由此得到垂直和水平投影后的直方图；
3.2)计算皮尔逊相关系数
计算上述二值图像中垂直和水平投影后的直方图的皮尔逊相关系数，具体步骤如下：
3.2.1)计算数学期望E(·)，公式为：
其中：pk＝P{X＝xk},k＝1,2,…是·的分布律；
3.2.2)由步骤3.2.1)中得到的数学期望E(·)计算方差，公式为：
3.2.3)由步骤3.2.1)中得到的数学期望E(·)计算协方差，公式为：
Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]} (12)
其中：X,Y分别表示需查询的人体目标的躯干部分直方图和候选集中人体躯干部分直方图；
3.2.4)由上述方差和协方差分别计算需查询的人体目标躯干部分垂直和水平投影后的直方图与候选集中人体躯干部分垂直和水平投影后的直方图的皮尔逊相关系数，公式为：
最后将上述计算得到的垂直和水平方向的皮尔逊相关系数从大到小进行细排序并记录，最后由人工在细排序后的结果中寻找出目标人体。
本发明提供的基于部位分割的人体再识别方法具有如下有益效果：
1、现代人衣服款式颜色多种多样，衣袖的颜色往往和躯干部分的颜色不一样，大腿和小腿处的裤子的颜色也会不一样。且在监控摄像头中，头部信息一般较为细微，不易找到区分度大的特征，而脚部偏小，不易采集。基于以上考虑，把人体除头以外，分割为：躯干、左/右上臂、左/右下臂、左/右大腿、左/右小腿共9个部位进行再识别具有较高的识别率。
2、粗识别可以提取出与查询集颜色相近的候选集人体，但无法缩小搜索范围。在粗识别的基础上，对于躯干部位图像，使用投影法可以提取出躯干部位的图案及图案的位置信息，进一步提高了识别率。
附图说明
图1为本发明提供的基于部位分割的人体再识别方法流程图。
图2为采用Kinect深度摄像头采集的待检测场景中的人体深度图像。
图3为人体前景图像提取过程示意图。
图4和图5分别为人体前景图像去噪前后效果图。
图6为标注有25个骨骼节点位置的标准男性蓝本示意图。
图7为人体骨骼在摄像头坐标系下的三维表示示意图。
图8为旋转矩形的绘制方法示意图。
图9为旋转矩形框出的人体部位示意图。
图10为旋转矩形最小外接矩形获取过程示意图。
图11为人体分割后的9个部位图像。
图12为人体目标在Kinect摄像头视界下的角度差示意图。
图13为皮尔逊相关系数度量过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于部位分割的人体再识别方法进行详细说明。
如图1所示，本发明提供的基于部位分割的人体再识别方法包括按顺序进行的下列步骤：
1)图像数据获取：首先利用Kinect摄像头采集待检测场景的多帧图像，然后从上述图像中提取出人体前景图像，去噪后依次按部位分割成部位图像并筛选、保存；将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
具体步骤如下：
1.3)前景提取
1.1.1)利用微软Kinect深度摄像头和彩色摄像头分别采集待分析场景的多帧深度图像和RGB彩色图像；
1.1.2)将上述深度图像中的每一像素用2个字节，共16位表示，其中前13位表示该像素的深度值，后3位表示人体索引号，每一个在Kinect摄像头视界中的人体都会被分配一个不同的索引号，如果后3位全部为0，则表示不是人体，如图2所示；
1.1.3)由于在步骤1.1.2)中仅从深度图像上判断了每一像素是否属于某一人体，但并没有对应相应的彩色信息，因此，将深度图像上属于人体区域的相应像素通过坐标映射对应到彩色坐标系下的彩色图像上；
1.1.4)在彩色图像上提取出从深度图像上映射来的人体前景像素，并复制到创建的空画布上而得到人体前景图像，由此实现人体前景提取；前景提取整体流程如图3所示：
1.2)图像去噪
由于步骤1.1)中得到的人体前景图像存在一些细小的噪点，因此需要对其进行去噪处理。
本发明使用开运算进行人体前景图像去噪，开运算单元选用9×9的方形算子。图4和图5分别为去噪前后的效果图。
1.3)基于深度骨骼点部位分割
准确的部位分割可提高再识别的识别率。对于已经过去噪处理的人体前景图像，本发明的部位分割根据Kinect摄像头软件开发包中25个骨骼节点对应于人体的位置信息进行，如图6所示。
具体步骤如下：
1.3.1)坐标变换：人体骨骼节点在Kinect摄像头中的摄像头坐标系下三维表示如图7所示。
将摄像头坐标系下的骨骼节点映射到彩色坐标系下，由此实现摄像头坐标系、深度坐标系、彩色坐标系的统一。
1.3.2)绘制旋转矩形：选取人体前景图像某部位上的两个骨骼节点P1、P2，以此两节点间的距离为旋转矩形的长，记为a。除了躯干部位的宽度设为长的2/3，其它部位宽度均设为长的1/2，记为b。两个骨骼节点P1、P2坐标的中点设为旋转矩形的旋转中心O，以两个骨骼节点P1、P2的连线与水平面的夹角为旋转角θ绘出旋转矩形，如图8所示。
按此绘制方法在人体前景图像上画出除头部和脚部之外的多个旋转矩形，由各旋转矩形框出的各个部位的效果图如图9所示。去除头部是考虑到头部区域比较细微，不容易提取出有效信息。
1.3.3)提取通过步骤1.3.2)获取到的每一旋转矩形的4个角坐标，记为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，再判断4个角的x坐标x1,x2,x3,x4和y坐标y1,y2,y3,y4的最大及最小值。将x和y坐标的最大最小值分别记为：xmax，xmin和ymax，ymin，得到旋转矩形最小外接矩形的4个角坐标，记为q1(xmin,ymin)，q2(xmax,ymin)，q3(xmax,ymax)，q4(xmin,ymax)，如图10所示。
1.3.4)根据步骤1.3.3)得到的旋转矩形的最小外接矩形4个角的坐标遍历人体前景图像，分割出的最小外接矩形内的像素即为人体部位，记为Part1,Part2,…,Part9，分别表示躯干，右上臂，右下臂，左上臂，左下臂，右大腿，右小腿，左大腿，左小腿。分割出的9个部位图像如图11所示。
1.6)多帧部位图像评分
在人群流动的场景下，考虑到Kinect摄像头可拍摄到的距离s是0.5-4.5米。通常人的步速v是2m/s，则人体目标可被跟踪直到该目标消失在Kinect摄像头的视界持续时间T大约为2s。设置Kinect摄像头拍摄间隔t是200ms，人体目标可被跟踪到的时间内可拍到帧数为w，由式计算得2s时间内可拍10帧图像。
由于拍摄过程运动的人体目标相对Kinect摄像头的角度和姿态动作在持续时间内差异较大，不同时刻可能会有不同的部位被遮挡，因此综合多帧数据，对丢失的部位使用其他帧数据相应部位进行补充。使用部位图像评分的策略，对该人体的9个部位图像进行评分并选择最优的部位图像进行保存。
其中，部位图像评分使用以下3项指标：
(1)非白色背景区域占整幅部位图像的比值。
具体步骤为：
1.4.1)设背景部分为sum1，前景部分为sum2，并都初始化为0；
1.4.2)遍历部位图像，判断红绿蓝三颜色通道每一个像素是否为白色(255,255,255)，是则sum1+1，否则sum2+1。
设前景部分占整幅部位图像的比值为Δ，计算公式为：
(2)人体目标在Kinect摄像头视界中的总偏移度
人体目标在Kinect摄像头视界中在摄像头坐标系下X,Y,Z方向上的角度差如图12所示，分别记为α，β，γ。设总偏移度为χ，计算公式为：
(3)部位图像清晰度
本发明采用均方误差法来判断该部位图像质量的好坏。
均方误差法首先计算原始理想部位图像和失真部位图像像素差值的均方值MSE，然后通过均方值的大小来确定失真部位图像的失真程度，计算公式为：
其中M,N分别为部位图像的长和宽，fij表示原始理想部位图像的像素值，设为1，fij'表示实际拍摄的部位图像的像素值，归一化为(0,1)。
将上述三项指标值分别乘以不同的权重，得到总体评分K，计算公式为：
最后将人体每一部位图像均取总体评分K最高的加以保存。其中，将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
1.5)将部位图像尺寸分类归一化
通过步骤1.1)到1.4)已实现人体目标获取及部位优选。由于不同人体目标拍摄距离和角度的不同，得到的相同部位图像尺寸大小也不尽相同。为了便于后续工作的进行，将候选集中所有同一部位图像归一化到与需查询的人体目标相应部位图像相同的大小。
2)粗识别：将需查询的人体目标部位图像和候选集中所有人体部位图像从RGB颜色空间转换到HSV颜色空间，之后获得颜色直方图，然后使用EMD(地球移动距离)度量颜色直方图间的相似性，并根据部位和拍摄角度的不同分配不同的权重，最后得到人体目标与候选集所有人体之间的总体EMD值并从小到大进行排序；
具体步骤如下：
2.3)颜色空间转换
Kinect摄像头采集的图像默认使用RGB颜色空间保存，由于HSV颜色空间在不同的光照条件下有着较小的变化，且在HSV颜色空间下提取的颜色直方图特征具有更好的区分度，因此须将上述部位图像从RGB颜色空间转换到HSV颜色空间。
设(R,G,B)分别是一个颜色的红、绿和蓝分量，它们的值已归一化在0到1之间的实数。设max等于R,G和B中的最大者，min等于这些值中的最小者。H∈[0,360)是角度的色相角，S、V∈[0,1]是饱和度和亮度，转换公式如式(5)，(6)，(7)所示：
其中：
V＝max (7)
2.2)获得颜色直方图
2.2.1)设需要统计的特征的数目为dim。拆分HSV颜色空间中色相角H、饱和度S和亮度V三个分量，并将三个分量分别量化为36个间隔bin，记为dimHbin1,dimHbin2,…,dimHbin36；dimSbin1,dimSbin2,…,dimSbin36；dimVbin1,dimVbin2,…,dimVbin36。
2.2.2)分别统计色相角H、饱和度S和亮度V三个分量上每个dimibini的像素个数，由此得到颜色直方图；
2.3)对上述颜色直方图进行相似性度量
本发明采用EMD来度量颜色直方图之间的相似性，实现多对多的匹配，降低误匹配率，计算公式为：
其中fij表示代价函数对应于各个元素权重的大小，dij表示为第1个特征分布的第i个元素到第2个特征分布的第j个元素之间的欧式距离。
利用式(8)计算候选集里所有相应部位颜色直方图与需查询的人体目标该部位的颜色直方图的EMD值，并将人体9个部位的EMD值分别记为EMD1，EMD2，…，EMD9。
2.4)分配权重并排序
2.4.1)给人体9个部位分配不同的权重，并根据上述9个部位的EMD值按式(9)计算总体EMD值，计算公式为：
2.4.2)记录候选集中所有人体目标的总体EMD值EMDmean并从小到大进行粗排序。
3)细识别：上述步骤2)中使用颜色直方图方法从全局颜色特征出发，使得候选集中与人体目标颜色差异较大的人体排名靠后，而整体颜色特征与需查询的人体目标相似度高的候选集人体排名相近且靠前，但仍无法进一步确定人体目标的排名。因此，本步骤选取上述粗排序中排名前50％的候选集中人体数据，通过人体躯干部位衣物上的图案纹理及图案纹理位置的不同，将躯干部位图像在垂直、水平方向上分别投影，再分别计算人体目标与候选集中人体躯干部位垂直和水平方向上投影的皮尔逊相关系数，在粗排序的基础上进行细排序，最后由人工在细排序后的结果中寻找出目标人体。
图13是细排序中皮尔逊相关系数(Pearson Correlation Coefficient)度量的流程示意图。
具体步骤如下：
3.1)计算垂直、水平投影
3.1.1)选取上述已保存的需查询的人体目标躯干部位图像与粗排序中排名前50％的候选集中所有躯干部位图像；
3.1.2)将上述所有躯干部位图像从彩色图像依此转化为灰度图像、二值图像；
3.1.3)统计上述二值图像中垂直和水平方向上每个间隔bini上白色像素的个数，分别记为dim1bini，dim2bini，由此得到垂直和水平投影后的直方图；
3.2)计算皮尔逊相关系数
计算上述二值图像中垂直和水平投影后的直方图的皮尔逊相关系数。具体步骤如下：
3.2.1)计算数学期望E(·)，公式为：
其中：pk＝P{X＝xk},k＝1,2,…是·的分布律。
3.2.2)由步骤3.2.1)中得到的数学期望E(·)计算方差，公式为：
3.2.3)由步骤3.2.1)中得到的数学期望E(·)计算协方差，公式为：
Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]} (12)
其中：X,Y分别表示需查询的人体目标的躯干部分直方图和候选集中人体躯干部分直方图。
3.2.4)由上述方差和协方差分别计算需查询的人体目标躯干部分垂直和水平投影后的直方图与候选集中人体躯干部分垂直和水平投影后的直方图的皮尔逊相关系数，公式为：
最后将上述计算得到的垂直和水平方向的皮尔逊相关系数从大到小进行细排序并记录，最后由人工在细排序后的结果中寻找出目标人体。优点是能够在不降低识别率的同时降低计算复杂度，提高处理效率
经过测试，本发明提供的方法能够较为快速准确地实现人体再识别。

Claims (4)

1.一种基于部位分割的人体再识别方法，其特征在于：所述的基于部位分割的人体再识别方法包括按顺序进行的下列步骤：
1)图像数据获取：首先利用Kinect摄像头采集待检测场景的多帧图像，然后从上述图像中提取出人体前景图像，去噪后依次按部位分割成部位图像并筛选、保存；将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
2)粗识别：将需查询的人体目标部位图像和候选集中所有人体部位图像从RGB颜色空间转换到HSV颜色空间，之后获得颜色直方图，然后使用地球移动距离度量颜色直方图间的相似性，并根据部位和拍摄角度的不同分配不同的权重，最后得到人体目标与候选集所有人体之间的总体EMD值并从小到大进行粗排序；
3)细识别：选取上述粗排序中排名前50％的候选集中人体数据，通过人体躯干部位衣物上的图案纹理及图案纹理位置的不同，将躯干部位图像在垂直、水平方向上分别投影，再分别计算人体目标与候选集中人体躯干部位垂直和水平方向上投影的皮尔逊相关系数，在粗排序的基础上进行细排序，最后由人工在细排序后的结果中寻找出目标人体。
2.根据权利要求1所述的基于部位分割的人体再识别方法，其特征在于：在步骤1)中，所述的图像数据获取方法的具体步骤如下：
1.1)前景提取
1.1.1)利用微软Kinect深度摄像头和彩色摄像头分别采集待分析场景的多帧深度图像和RGB彩色图像；
1.1.2)将上述深度图像中的每一像素用2个字节，共16位表示，其中前13位表示该像素的深度值，后3位表示人体索引号，每一个在Kinect摄像头视界中的人体都会被分配一个不同的索引号，如果后3位全部为0，则表示不是人体；
1.1.3)将深度图像上属于人体区域的相应像素通过坐标映射对应到彩色坐标系下的彩色图像上；
1.1.4)在彩色图像上提取出从深度图像上映射来的人体前景像素，并复制到创建的空画布上而得到人体前景图像，由此实现人体前景提取；
1.2)图像去噪
使用开运算进行人体前景图像去噪，开运算单元选用9×9的方形算子；
1.3)基于深度骨骼点部位分割
1.3.1)坐标变换：将摄像头坐标系下的骨骼节点映射到彩色坐标系下，由此实现摄像头坐标系、深度坐标系、彩色坐标系的统一；
1.3.2)绘制旋转矩形：选取人体前景图像某部位上的两个骨骼节点P1、P2，以此两节点间的距离为旋转矩形的长，记为a；除了躯干部位的宽度设为长的2/3，其它部位宽度均设为长的1/2，记为b；两个骨骼节点P1、P2坐标的中点设为旋转矩形的旋转中心O，以两个骨骼节点P1、P2的连线与水平面的夹角为旋转角θ绘出旋转矩形；
按此绘制方法在人体前景图像上画出除头部和脚部之外的多个旋转矩形；
1.3.3)提取通过步骤1.3.2)获取到的每一旋转矩形的4个角坐标，记为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，再判断4个角的x坐标x1,x2,x3,x4和y坐标y1,y2,y3,y4的最大及最小值；将x和y坐标的最大最小值分别记为：xmax，xmin和ymax，ymin，得到旋转矩形最小外接矩形的4个角坐标，记为q1(xmin,ymin)，q2(xmax,ymin)，q3(xmax,ymax)，q4(xmin,ymax)；
1.3.4)根据步骤1.3.3)得到的旋转矩形的最小外接矩形4个角的坐标遍历人体前景图像，分割出的最小外接矩形内的像素即为人体部位，记为Part1,Part2,…,Part9，分别表示躯干，右上臂，右下臂，左上臂，左下臂，右大腿，右小腿，左大腿，左小腿；
1.4)多帧部位图像评分
部位图像评分使用以下3项指标：
(1)非白色背景区域占整幅部位图像的比值
具体步骤为：
1.4.1)设背景部分为sum1，前景部分为sum2，并都初始化为0；
1.4.2)遍历部位图像，判断红绿蓝三颜色通道每一个像素是否为白色(255,255,255)，是则sum1+1，否则sum2+1；
设前景部分占整幅部位图像的比值为Δ，计算公式为：
(2)人体目标在Kinect摄像头视界中的总偏移度
人体目标在Kinect摄像头视界中在摄像头坐标系下X,Y,Z方向上的角度差分别记为α，β，γ，设总偏移度为χ，计算公式为：
(3)部位图像清晰度
采用均方误差法来判断该部位图像质量的好坏；
均方误差法首先计算原始理想部位图像和失真部位图像像素差值的均方值MSE，然后通过均方值的大小来确定失真部位图像的失真程度，计算公式为：
其中M,N分别为部位图像的长和宽，fij表示原始理想部位图像的像素值，设为1，fij'表示实际拍摄的部位图像的像素值，归一化为(0,1)；
将上述3项指标值分别乘以不同的权重，得到总体评分K，计算公式为：
最后将人体每一部位图像均取总体评分K最高的加以保存，其中，将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；
1.5)将部位图像尺寸分类归一化
将候选集中所有同一部位图像归一化到与需查询的人体目标相应部位图像相同的大小。
3.根据权利要求1所述的基于部位分割的人体再识别方法，其特征在于：在步骤2)中，所述的粗识别的具体步骤如下：
2.1)颜色空间转换
将上述部位图像从RGB颜色空间转换到HSV颜色空间；
设(R,G,B)分别是一个颜色的红、绿和蓝分量，它们的值已归一化在0到1之间的实数；设max等于R,G和B中的最大者，min等于这些值中的最小者；H∈[0,360)是角度的色相角，S、V∈[0,1]是饱和度和亮度，转换公式如式(5)，(6)，(7)所示：
其中：
V＝max (7)
2.2)获得颜色直方图
2.2.1)设需要统计的特征的数目为dim；拆分HSV颜色空间中色相角H、饱和度S和亮度V三个分量，并将三个分量分别量化为36个间隔bin，记为dimHbin1,dimHbin2,…,dimHbin36；dimSbin1,dimSbin2,…,dimSbin36；dimVbin1,dimVbin2,…,dimVbin36；
2.2.2)分别统计色相角H、饱和度S和亮度V三个分量上每个dimchbini的像素个数，由此得到颜色直方图；
2.3)对上述颜色直方图进行相似性度量
采用EMD来度量颜色直方图之间的相似性，计算公式为：
其中fij表示代价函数对应于各个元素权重的大小，dij表示为第1个特征分布的第i个元素到第2个特征分布的第j个元素之间的欧式距离；
利用式(8)计算候选集里所有相应部位颜色直方图与需查询的人体目标该部位的颜色直方图的EMD值，并将人体9个部位的EMD值分别记为EMD1，EMD2，…，EMD9；
2.4)分配权重并排序
2.4.1)给人体9个部位分配不同的权重，并根据上述9个部位的EMD值按式(9)计算总体EMD值，计算公式为：
2.4.2)记录候选集中所有人体目标的总体EMD值EMDmean并从小到大进行粗排序。
4.根据权利要求1所述的基于部位分割的人体再识别方法，其特征在于：在步骤3)中，所述的细识别的具体步骤如下：
3.1)计算垂直、水平投影
3.1.1)选取上述保存的需查询的人体目标躯干部位图像与粗排序中排名前50％的候选集中所有躯干部位图像；
3.1.2)将上述所有躯干部位图像从彩色图像依此转化为灰度图像、二值图像；
3.1.3)统计上述二值图像中垂直和水平方向上每个间隔bini上白色像素的个数，分别记为dim1bini，dim2bini，由此得到垂直和水平投影后的直方图；
3.2)计算皮尔逊相关系数
计算上述二值图像中垂直和水平投影后的直方图的皮尔逊相关系数，具体步骤如下：
3.2.1)计算数学期望E(·)，公式为：
其中：pk＝P{X＝xk},k＝1,2,…是·的分布律；
3.2.2)由步骤3.2.1)中得到的数学期望E(·)计算方差，公式为：
3.2.3)由步骤3.2.1)中得到的数学期望E(·)计算协方差，公式为：
Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]} (12)
其中：X,Y分别表示需查询的人体目标的躯干部分直方图和候选集中人体躯干部分直方图；
3.2.4)由上述方差和协方差分别计算需查询的人体目标躯干部分垂直和水平投影后的直方图与候选集中人体躯干部分垂直和水平投影后的直方图的皮尔逊相关系数，公式为：
最后将上述计算得到的垂直和水平方向的皮尔逊相关系数从大到小进行细排序并记录，最后由人工在细排序后的结果中寻找出目标人体。
CN201710124643.0A 2017-03-03 2017-03-03 基于部位分割的人体再识别方法 Expired - Fee Related CN106874884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710124643.0A CN106874884B (zh) 2017-03-03 2017-03-03 基于部位分割的人体再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710124643.0A CN106874884B (zh) 2017-03-03 2017-03-03 基于部位分割的人体再识别方法

Publications (2)

Publication Number Publication Date
CN106874884A CN106874884A (zh) 2017-06-20
CN106874884B true CN106874884B (zh) 2019-11-12

Family

ID=59170419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710124643.0A Expired - Fee Related CN106874884B (zh) 2017-03-03 2017-03-03 基于部位分割的人体再识别方法

Country Status (1)

Country Link
CN (1) CN106874884B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875500B (zh) * 2017-11-06 2022-01-07 北京旷视科技有限公司 行人再识别方法、装置、系统及存储介质
CN108038473B (zh) * 2017-12-28 2021-04-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108416258B (zh) * 2018-01-23 2020-05-08 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN108392207B (zh) * 2018-02-09 2020-12-11 西北大学 一种基于姿态标签的动作识别方法
CN109344842A (zh) * 2018-08-15 2019-02-15 天津大学 一种基于语义区域表达的行人重识别方法
CN110909565B (zh) * 2018-09-14 2023-06-16 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN109977882B (zh) * 2019-03-29 2019-12-03 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN111832361B (zh) * 2019-04-19 2023-08-29 杭州海康威视数字技术股份有限公司 一种行人重识别方法、装置和计算机设备
CN110717444A (zh) * 2019-10-09 2020-01-21 北京明略软件系统有限公司 一种口红色号识别方法及装置
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技（杭州）有限公司 一种提取行人颜色特征的方法及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839084A (zh) * 2014-03-12 2014-06-04 湖州师范学院 一种应用于行人再识别的多核支持向量机多示例学习算法
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法
CN105160319A (zh) * 2015-08-31 2015-12-16 电子科技大学 一种在监控视频下实现行人再识别的方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472184B2 (ja) * 2014-07-29 2019-02-20 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN103839084A (zh) * 2014-03-12 2014-06-04 湖州师范学院 一种应用于行人再识别的多核支持向量机多示例学习算法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法
CN105160319A (zh) * 2015-08-31 2015-12-16 电子科技大学 一种在监控视频下实现行人再识别的方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Person Re-Identification by Symmetry-Driven Accumulation of Local Features;M. Farenzena 等;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100805;2360-2367 *
Person Reidentification Using Local Pattern Descriptors and Anthropometric Measures From Videos of Kinect Sensor;Zeynab Imani 等;《IEEE SENSORS JOURNAL》;20160815;第16卷(第16期);6227-6238 *
Person Re-identification Using Spatial Covariance Regions of Human Body Parts;Slawomir Bak 等;《2010 Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance》;20101007;435-440 *
基于深度与视觉信息融合的行人检测与再识别研究;祝博荟;《中国博士学位论文全文数据库信息科技辑》;20140515;第2014年卷(第5期);I138-65 *
颜色特征和超像素特征融合的人体目标再识别;宋亚玲 等;《信号处理》;20151031;第31卷(第10期);1378-1381 *

Also Published As

Publication number Publication date
CN106874884A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874884B (zh) 基于部位分割的人体再识别方法
CN104517102B (zh) 学生课堂注意力检测方法及系统
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN111161313B (zh) 一种视频流中的多目标追踪方法及装置
CN103996046B (zh) 基于多视觉特征融合的人员识别方法
CN106548139B (zh) 一种行人重识别方法
CN106056053A (zh) 基于骨骼特征点提取的人体姿势识别方法
CN110738676A (zh) 一种结合RGBD数据的GrabCut自动分割算法
US20180357819A1 (en) Method for generating a set of annotated images
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN103455815B (zh) 一种复杂场景下的自适应车牌字符分割方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN108921881A (zh) 一种基于单应性约束的跨摄像头目标跟踪方法
CN108280411A (zh) 一种具有空间变换能力的行人搜索方法
CN110288538A (zh) 一种多特征融合的运动目标阴影检测及消除方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN107480607A (zh) 一种智能录播系统中站立人脸检测定位的方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
Galiyawala et al. Person retrieval in surveillance video using height, color and gender
CN109726681A (zh) 一种基于机器学习识别与图像分割的盲道识别定位算法
CN106022211B (zh) 一种利用手势控制多媒体设备的方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191112

Termination date: 20210303