CN104061907B - 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 - Google Patents
基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 Download PDFInfo
- Publication number
- CN104061907B CN104061907B CN201410338499.7A CN201410338499A CN104061907B CN 104061907 B CN104061907 B CN 104061907B CN 201410338499 A CN201410338499 A CN 201410338499A CN 104061907 B CN104061907 B CN 104061907B
- Authority
- CN
- China
- Prior art keywords
- gait
- dimensional
- image
- depth
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 331
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000000007 visual effect Effects 0.000 title claims abstract description 53
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 8
- 230000008878 coupling Effects 0.000 title abstract 2
- 238000010168 coupling process Methods 0.000 title abstract 2
- 238000005859 coupling reaction Methods 0.000 title abstract 2
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 210000001503 joint Anatomy 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 210000000746 body region Anatomy 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000003032 molecular docking Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000011426 transformation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法,对单个深度摄像机采集到的彩色和深度图像进行基于双质心自适应匹配的运动人体检测,提取出去除背景的步态深度图像,对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复;进行步态点云提取;将一个步态周期内所有三维步态表面模型进行数据融合,生成三维融合步态能量模型;将两个训练视角的融合步态模型旋转至同一视角,通过三维轮廓匹配完成不同视角三维步态模型表面对接,并进行多视角步态模糊轮廓数据的提取;通过融合步态模糊轮廓的步态子图像和集成分类器完成视角大幅可变的三维步态分类识别。本发明解决了当前的步态识别方法无法很好地解决视角大幅可变步态识别问题。
Description
技术领域
本发明涉及生物特征识别领域,具体是一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法。
背景技术
步态识别作为一种远距离且无需对象配合的生物特征识别手段,旨在根据人们行走的步态实现对个人身份的识别、鉴定或生理、病理及心理特征的检测。步态识别可在较低图像质量下进行,无需识别对象的配合,识别距离较远,且难以伪装和掩藏,与传统生物特征识别相比有明显优势。
很多情况下,要求在与被识别对象无任何交互性接触的同时,实现对个人身份的识别和监控。一些重要的保密场所或公共场合诸如军事基地、奥运场所、高档社区、汽车站、火车站、飞机场和停车场等,出于管理和安全的需要,必须有效识别进入人员身份,提供不同人员的进入权限级别并且快速检测威胁,所以需要采用特定的方法来检测。远距离步态识别技术就可以达到这类要求,它为日益复杂的公共安全问题提供了一种新的防护手段,在公共安全领域和公安系统案件侦破中有着很大的应用前景。
当前步态识别过程中步态图像的采集主要依靠普通摄像头,得到的为二维步态图像,对二维步态图像进行周期检测和特征提取后,可进行步态识别。
另一种方法采用多个摄像机或立体摄像机进行步态图像数据采集和三维重建,提取三维空间下的步态特征进行步态识别。
采用二维图像进行步态识别的技术,当视角变化较大时,其识别率会大幅下降,严重影响其在反恐、安保方面的实用性。而采用多个摄像机或立体摄像机进行三维重建的方法,存在计算复杂,设备成本高等问题。
总之,二维视频获取和处理相对简单,但对视角大幅可变情况的处理手段有限或繁琐;三维视频的获取和处理又较为复杂,往往实用性不强。
目前视角可变步态识别研究以多视角二维步态视频为基础,这使得步态识别的研究与实际应用受到很大限制。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法,解决当前的步态识别方法无法很好地解决视角大幅可变步态识别问题。
为解决上述技术问题,本发明所采用的技术方案是:一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法,包括以下步骤:
1)对单个深度摄像机采集到的彩色和深度图像进行基于双质心自适应匹配的运动人体检测,提取出去除背景的步态深度图像;
2)对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复;
3)利用修复后的步态深度图像进行步态点云提取,完成三维表面建模,得到三维步态表面模型;
4)将一个步态周期内所有三维步态表面模型进行数据融合,生成一个以头部特征为核心的三维融合步态能量模型;将两个不同训练视角的三维融合步态能量模型旋转至同一视角,运用三维轮廓匹配方法完成不同视角三维融合步态能量模型表面对接,将表面对接后的三维融合步态能量模型进行三维映射旋转变换,并投影到二维空间,运用分块扫描方法完成多视角步态模糊轮廓图的提取;
5)将提取的步态模糊轮廓图作为全局特征,通过典型关联分析方法融入到多视角步态子图局部特征中,构成融合的步态子图特征空间,并以此作为步态特征,运用异质进化方法完成集成分类器权向量的求解,设计出最佳效果的集成分类器,完成视角大幅可变的三维步态分类识别。
所述步骤1)中,所述出去除背景的步态深度图像具体提取过程如下:
1)对单个深度摄像机采集到的彩色图像进行背景建模,利用帧间差异法和背景剪除法获得去除背景的RGB人体图像;
2)设定阈值Td,删除阀值取值范围之外的深度数据,归一化单个深度摄像机采集到的深度图像,得到深度粗提取前景目标图;所述阈值Td由下式确定:
其中,Pmin=1500,Pmax=6500,dmax为深度图像中的最大深度值,dmin为深度图像中的最小深度值;
3)计算RGB人体图像的质心和头部质心利用深度图像与彩色图像中点的坐标转换关系,得到深度粗提取前景目标图中的人体质心和头部质心将彩色图像和深度图像人体质心和头部质心间的距离比值作为人体区域缩放比,根据所述人体区域缩放比对彩色图像进行缩放,得到自适应RGB缩放图;
4)计算缩放图中人体区域质心并由下式得到深度图像中的人体区域匹配点(xi′,yi′),得到缩放图与深度粗提取前景目标图之间的匹配关系式:
其中,(xi,yi)为缩放图中的人体区域点坐标;
5)利用上述匹配关系式从深度粗提取前景目标图中提取出步态深度图像。
对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复的具体过程为:
1)对步态深度图像和缩放图进行异或运算得到待修补区域(孔洞,数据缺失块);
2)利用待修补区域灰度值的连续性和成正态分布原理对步态深度图像进行融合迭代修复,得到修复后的步态深度图像。
对步态深度图像进行迭代修复的方法为:
1)设步态深度图像的灰度值服从正态分布,对于待修复点(x0,y0)为中心的m×n邻域,分别对其进行纵向和横向的N次曲线拟合横向拟合函数:纵向拟合函数:其中x,y分别表示点的横坐标和纵坐标值,Im(x)、In(y)分别表示点坐标为(x,y0)和(x0,y)处步态深度图像的灰度,ar和br为曲线拟合系数,利用两条连续曲线的交点和高斯分布特征,按下式进行曲线和高斯分布融合插值计算,完成一次点的修复:
其中:
式中Λ为中心点(x0,y0)的m×n邻域,depth(x,y)为点(x,y)处的灰度值,μx,y为高斯分布函数,σ取值为1;Ig(x0,y0)为修复后点(x0,y0)处的灰度值;
2)完成一次迭代修复后,将上述区域灰度值作为参考信息对未修复区域的像素点进行修复,直到未修复区域像素点数小于1。
三维步态表面模型获取过程如下:
1)利用Kinect几何模型,从修复后的步态深度图像中提取对应三维空间的步态点云坐标(X,Y,Z):
其中,修复后的步态深度图像中(x,y)点的深度值为depth(x,y),(cx,cy)为修复后的步态深度图像的主点(以像素为单位),fx,fy分别为深度摄相机在x轴和y轴上的焦距(以像素为单位);cx,cy和fx,fy通过张氏标定法(标定板采用横纵向格子数为12×12的棋盘格)标定得到;
2)根据上述三维空间的步态点云坐标(X,Y,Z)构建出人体的三维表面模型T:T={(Xt,Yt,Zt)∈R3,t=1...M};其中,M为三维表面模型点云数量(M与步态深度图中人体深度点的像素一致)。
三维融合步态能量模型构建过程如下:
1)令一个步态周期有N帧动态步态图,分别对N帧动态步态图进行三维重建,得到步态三维模型集P={pr,r=1...N},pr表示步态周期内第r个三维重建模型,即步态模型;
2)对步态三维模型集中的每一个步态模型提取头部特征数据,令提取出对应的头部特征模型为H={hr,r=1...N},然后计算头部特征模型的质心;
3)选取步态三维模型集中的第一个步态模型作为参考模型,利用头部质心计算所有步态模型与参考模型的平移变换矩阵Tr;
4)利用平移变换矩阵计算出以头部质心为核心的三维融合步态能量模型S:S={∪(pr+Tr),r=1...N}。
对接融合模型的获取过程如下:
1)将θmax视角的三维融合步态能量模型利用旋转矩阵R(θmax→θmin)旋转至θmin视角,其中,(θmax-θmin)≤90°,γ=(θmin-θmax);θmin≤θ≤θmax;
2)将统一视角后的两个三维融合步态能量模型分别投影到X-Y平面中,得到两个二维步态图,对二维步态图采用轮廓线扫描方式由上而下进行扫描,取扫描间隔为dy,0<dy<1,每两个轮廓线之间只保留一个均值点,通过扫描方式提取出二维步态图右半边轮廓,其中θmin视角右半边轮廓为
θmax视角右半边轮廓为
其中L为轮廓点数;
3)对提取出来的右半边轮廓采用FIR滤波器进行曲线平滑滤波,得到滤波后的三维轮廓线;
4)对滤波后的三维轮廓线进行匹配,通过最优化求解下式求得最佳平移矩阵T1:
5)利用最佳平移矩阵T1,完成θmin和θmax视角下三维融合步态能量模型的对接,得到新的对接后的拼接融合模型 其中和分别为θmin和θmin视角下的三维融合步态能量模型。
多视角步态模糊轮廓全局特征获取方法为:
1)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据Pθ: 为θmin到θ视角的三维旋转矩阵;其中,θmin≤θ≤θmax,γ=(θ-θmin);
2)对θ视角下的拼接融合模型Pθ,以X-Y平面为参考面进行离散化,然后投影到X-Y平面中,得到离散步态图像;
3)对离散步态图像按像素dx,dy步进由上到下、由左至右划分为H个小块,然后计算所有小块的点云平均密度Dmean;
4)对离散步态图像以小块为基本单位由上而下进行扫描,当小块内的点数N′>h×Dmean时,删除小块内所有点,即去除步态相对静止区域数据,保留运动特征明显区域的数据;对所有保留的点,再按小块为单位计算位于该块内所有点的深度平均值,通过将每个小块对应成一个像素点,深度平均值对应成像素点的深度值,得到一幅二维轮廓步态图,二维轮廓步态图(1/dx,1/dy);其中,0≤h≤1;
5)将上述二维轮廓步态图内所有像素点的深度值归一化至[0,255],即转换成灰度图像,最终得到θ视角下的步态模糊轮廓图;
6)重复步骤1)~步骤5),完成对其余角度所有类步态模糊轮廓图的提取,所有的步态模糊轮廓图构成多视角步态模糊轮廓全局特征。
多视角步态子图局部特征获取方法为:
1)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据Pθ;
2)对θ视角下的拼接融合模型Pθ,以X-Y平面为参考面进行离散化,然后投影到X-Y平面中,得到离散步态图像;
3)对离散步态图像按像素dx,dy步进由上到下、由左至右划分为H个小块;按小块为单位计算位于该块内所有点的深度平均值,通过将每个小块对应成一个像素点,深度平均值对应成像素点的深度值,得到一幅二维步态图,所述二维步态图大小为(1/dx,1/dy);
4)计算二维步态图所有点的平均曲率,将平均曲率值归一化至[0,255],替换原来的深度值,构成二维曲率步态图;
5)将二维曲率步态图由上至下分割成F个步态子图:头部子图,上身子图,臀部子图,腿部子图和脚步子图;最终得到θ视角下的各分块步态子图;
6)重复步骤1)~步骤5),提取各角度所有类分块步态子图,构建多视角步态子图局部特征。
构建步态子图特征空间的具体步骤如下:
1)分别对各视角下的步态模糊轮廓全局特征和步态子图局部特征进行典型关联分析,得到全局特征到子图局部特征的融合投影矩阵Pn,k;其中,n表示步态子图标号,n∈[1,5],k为步态类别;
2)将步态模糊轮廓全局特征利用融合投影矩阵融入到步态子图局部特征中,构成步态子图特征空间。
三维步态分类识别的具体步骤如下:
1)当识别未知步态序列X时,计算出该步态数据视角,在数据库中找到最相近视角的训练特征集;
2)对该未知步态序列X依次进行周期检测,三维重建,生成三维融合步态能量模型,并提取出步态模糊轮廓全局特征和Q个分块步态曲率图;将提取的步态模糊轮廓全局特征利用融合投影矩阵Pn,k融入到所述Q个分块步态曲率图xn,k中,从而获得融合全局特征的相关新特征C′n,k=Pn,k·xn,k;
3)使用最近邻方法对上述Q个分块步态曲率图xn,k进行分类,每个分块步态曲率图有C个分类结果,C为分类总数,整个步态图像共有Q×C个结果,利用集成分类器集成分类结果,定义集成分类器Dk为:
其中,为权向量,通过异质进化方法求解,η的解满足全局最优化条件:集成矩阵W=η×ω对角线上元素和最大;为分块步态曲率子图像识别向量;当时,表示第n个分块步态曲率子图像属于第k类,时则不属于该类;
4)运用集成分类器进行三维步态分类识别,三维步态X∈W类,满足:
与现有技术相比,本发明所具有的有益效果为:本发明利用单个深度摄像机采集的步态深度图像进行基于双质心自适应匹配的运动人体检测,深度数据滤波修复,点云数据提取和三维人体表面建模。对三维步态模型运用三维轮廓匹配方法完成不同视角三维步态模型表面对接,将表面对接后的模型进行三维映射变换,并投影到二维空间,完成多视角步态模糊轮廓数据的提取。通过特征融合的步态子图像完成视角大幅可变的三维步态分类识别。为单个深度摄像机下步态表面模型修复性三维重建和视角大幅可变的步态识别提供了解决方案;为多视角步态识别提供了一种新的手段,可将其应用于安防和反恐等监控领域,具有很好的经济和社会效益。
附图说明
图1为本发明方法流程图;
图2为本发明实施例基于双质心自适应匹配的运动人体检测流程图;
图3为本发明实施例利用Kinect采集人体步态深度图像生成的三维人体表面模型示意图;
图4为本发明实施例构建以头特征为核心的三维融合步态能量模型示意图;
图5为本发明实施例0°和90°视角三维步态融合模型三维轮廓匹配和表面模型对接意图;
图6为本发明实施例对接融合模型进行映射旋转变换,合成无遮挡15°角度为步进的多视角步态模糊轮廓训练数据;
图7为本发明实施例的步态子图像分块示意图;
图8为本发明实施例的特征融合子图像步态分类识别方法示意图;
图9为本发明实施例基于点云拼接的视角可变步态识别方法与2D视角变换方法,3D视角变换方法识别结果对比图。
具体实施方式
本发明方法流程如图1所示。
1.步态深度图像获取处理
利用Kinect深度摄像机获取场景的深度图像和彩色图像视频,对RGB图进行背景建模,利用帧间差异法和背景剪除法获得到去除背景的步态彩色图像;利用设定阈值的方法粗提取出对应的步态深度图像。运用RGB图像和深度图像的人体缩放式匹配来得到精确提取的步态深度图像(见附图2)。
2.步态深度图像修复
对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复:
第一步:对精提取深度图和缩放图进行异或运算确定待修补区域,统计所有待修复的像素点数,对每个像素点设定一个修复访问标记;
第二步:统计待修补区域中点p的6×6邻域中深度图像点的值及其个数,进行曲线拟合和高斯分布融合插值计算,计算出p点的灰度值,如果6×6邻域无参考点,结束计算,遍历统计和计算待修补区域中的每一个点。
第三步:对于待修补区域中未修补区域再进行统计,重复第二步,通过迭代执行该步骤直至待修补区域中未修补区域像素点数为0,最终完成图像修复。3.步态深度图像点云数据提取和三维重建
利用深度数据到三维点云数据的对应关系,计算出所有步态深度图像所对应的三维点云数据,并进行数据归一化处理以完成三维重建。重建后的三维表面模型:T={(Xt,Yt,Zt)∈R3,t=1...M},M为步态表面模型点云数量(见附图3)。
4.基于三维轮廓匹配的多视角步态模糊轮廓图像合成
选取两个参考训练视角(取θmin=0°和θmax=90°,每个视角50个样本)完成步态训练。对所有训练样本进行步态周期检测和三维重建,然后构建头部特征为核心的三维融合步态能量模型(见附图4)。
对同一个样本的不同视角下的三维融合步态能量模型通过旋转进行视角统一,运用三维轮廓线匹配的方法,进行步态模型表面对接来得到一个对接后的拼接融合模型(见附图5)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据
其中,k为训练样本分类(每个参考训练视角共50个样本类别),为旋转矩阵,取Δθ=15°,按15°的间隔进行旋转。通过提取无遮挡的θ(θmin≤θ≤θmax)角度的步态模糊轮廓训练数据(见附图6),得到以15°步进的多视角步态模糊轮廓图像全局特征。
5.特征融合的子图像步态集成分类训练
多视角步态子图像的特征提取:对头部子图,上身子图,臀部子图,腿部子图和脚步子图区域分别进行离散化,并提取高斯曲率作为子图步态特征。(见附图7)。
1)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据Pθ;
2)对θ视角下的拼接融合模型Pθ,以X-Y平面为参考面进行离散化,然后投影到X-Y平面中,得到离散步态图像;
3)对离散步态图像按像素dx=0.0167,dy=0.01步进由上到下、由左至右划分为N=(60×100)/(4×4)=375个小块;按小块为单位计算位于该块内所有点的深度平均值,通过将每个小块对应成一个像素点,深度平均值对应成像素点的深度值,得到一幅二维步态图,所述二维步态图大小为60×100;
4)计算二维步态图所有点的平均曲率,将平均曲率值归一化至[0,255],替换二维步态图所有点原来的深度值,构成二维曲率步态图;
5)将二维曲率步态图由上至下分割成5个步态子图:头部子图,上身子图,臀部子图,腿部子图和脚步子图;最终得到θ视角下的各分块步态子图;
6)重复步骤1)~步骤5),提取各角度所有类分块步态子图,构建多视角步态子图局部特征。
基于典型关联分析的全局和局部特征融合方法(见附图8):
1)分别对各视角下的步态模糊轮廓图像全局特征和步态子图局部特征进行典型关联分析,得到全局特征到子图局部特征的融合投影矩阵Pn,k;其中,n表示步态子图标号,n∈[1,5],k为步态类别;k=1...K,K=50;
2)将步态模糊轮廓全局特征利用融合投影矩阵融入到步态子图局部特征中,构成步态子图特征空间。
使用最近邻方法对上述Q个分块步态曲率图xn,k进行分类,每个分块步态曲率图有C个分类结果,C为分类总数,整个步态图像共有Q×C(Q=5,K=50)个结果,利用集成分类器集成分类结果,定义集成分类器Dk为:
其中,为权向量,通过异质进化方法求解,η的解满足全局最优化条件:集成矩阵W=η×ω对角线上元素和最大;为分块步态曲率子图像识别向量;当时,表示第n个分块步态曲率子图像属于第k类,时则不属于该类。
基于异质进化算法完成权向量的求解过程:首先,初始化种群,染色体长度为N×K的向量y表示种群代数,适应度函数W=η×ω;然后,根据适应度函数,选取10%的优秀个体直接进入下一代,其它按比例选择法选取;从群体中选取80%个体进行两两杂交产生新一代个体;从群体中随机选取20%个体进行异质变异产生新个体,χ为异质进化分布随机向量;计算新的个体适应度,淘汰最差的10%;返回重复进行异质进化直到满足误差要求。
6.视角大幅可变步态识别
对采集的θ=0°,15°,30°,45°,60°,75°,90°共7组不同视角的步态数据依次进行测试,令识别采集的视角步态序列X时,首先计算出该步态视角θ,在数据库中找到最相近视角的训练特征集。然后,将该步态图像划分为N=5个子图像,利用投影矩阵将其输出到投影空间,以获得融合全局特征的相关新特征。每一个步态子图像有50个识别结果(n为步态子图数,n=1...5,k=1...50),将所有的50个识别结果利用已经计算出的权向量进行集成,计算出所有集成识别结果Dk(步态数据X属于第k类的集成值):
三维步态X∈W类,满足:
对所有7组不同视角的步态数据依次进行测试,完成识别率的统计;并与2D视角变换方法和3D视角变换方法的识别结果对比(见附图9)。2D视角变换方法:训练时利用两个训练视角(0°和90°)对应的二维步态图像完成特征提取,分别构成相应视角的训练特征集;识别时,找到最相近视角的训练特征集利用近邻法进行分类识别。3D视角变换方法:对本发明方法流程中的三维融合步态能量模型不进行表面对接,直接3D旋转后提取多视角特征并完成分类识别。
Claims (10)
1.一种基于步态三维轮廓匹配合成的视角大幅可变步态识别方法,其特征在于,包括以下步骤:
1)对单个深度摄像机采集到的彩色图像和深度图像进行基于双质心自适应匹配的运动人体检测,提取出去除背景的步态深度图像;
2)对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复;
3)利用修复后的步态深度图像进行步态点云提取,完成三维表面建模,得到三维步态表面模型;
4)将一个步态周期内所有三维步态表面模型进行数据融合,生成一个以头部特征为核心的三维融合步态能量模型;将两个不同训练视角的三维融合步态能量模型旋转至同一视角,运用三维轮廓匹配方法完成不同视角三维融合步态能量模型表面对接,将表面对接后的三维融合步态能量模型进行三维映射旋转变换,并投影到二维空间,运用分块扫描方法完成多视角步态模糊轮廓图的提取;
5)将提取的步态模糊轮廓图作为全局特征,通过典型关联分析方法融入到多视角步态子图局部特征中,构成融合的步态子图特征空间,并以此作为步态特征,运用异质进化方法完成集成分类器权向量的求解,设计出最佳效果的集成分类器,完成视角大幅可变的三维步态分类识别;
所述去除背景的步态深度图像具体提取过程如下:
1)对单个深度摄像机采集到的彩色图像进行背景建模,利用帧间差异法和背景剪除法获得去除背景的RGB人体图像;
2)设定阈值Td,删除阀值取值范围之外的深度数据,归一化单个深度摄像机采集到的深度图像,得到去除背景的深度粗提取前景目标图;所述阈值Td由下式确定:
其中,Pmin=1500,Pmax=6500,dmax为深度图像中的最大深度值,dmin为深度图像中的最小深度值;
3)计算RGB人体图像的质心和头部质心利用深度图像与彩色图像中点的坐标转换关系,得到深度粗提取前景目标图中的人体质心和头部质心将彩色图像和深度图像人体质心和头部质心间的距离比值作为人体区域缩放比,根据所述人体区域缩放比对彩色图像进行缩放,得到自适应RGB缩放图;
4)计算自适应RGB缩放图中人体区域质心并由下式得到深度图像中的人体区域匹配点(x′i,y′i),得到自适应RGB缩放图与深度粗提取前景目标图之间的匹配关系式:
其中,(xi,yi)为自适应RGB缩放图中的人体区域点坐标;
5)利用上述匹配关系式从深度粗提取前景目标图中提取出步态深度图像。
2.根据权利要求1所述的方法,其特征在于,对步态深度图像进行基于多曲线拟合和高斯分布信息融合的深度图像修复的具体过程为:
1)对步态深度图像和自适应RGB缩放图进行异或运算得到待修补区域;
2)利用待修补区域灰度值的连续性和成正态分布原理对步态深度图像进行融合迭代修复,得到修复后的步态深度图像。
3.根据权利要求2所述的方法,其特征在于,对步态深度图像进行融合迭代修复的方法为:
1)设步态深度图像的灰度值服从正态分布,对于待修复点(x0,y0)为中心的m×n邻域,分别对该邻域进行纵向和横向的N次曲线拟合横向拟合函数:纵向拟合函数:其中x,y分别表示所述邻域内点的横坐标和纵坐标值,Im(x)、In(y)分别表示点坐标为(x,y0)和(x0,y)处步态深度图像的灰度,ar和br分别为横向拟合曲线拟合系数和纵向拟合曲线拟合系数,利用两条连续曲线的交点和高斯分布特征,按下式进行曲线和高斯分布融合插值计算,完成一次点的修复:
其中:
式中Λ为中心点(x0,y0)的m×n邻域,depth(x,y)为点(x,y)处的灰度值,μx,y为高斯分布函数,σ取值为1;Ig(x0,y0)为修复后点(x0,y0)处的灰度值;
2)完成一次迭代修复后,将上述区域灰度值作为参考信息对未修复区域的像素点进行修复,直到未修复区域像素点数小于1。
4.根据权利要求3所述的方法,其特征在于,三维步态表面模型获取过程如下:
1)利用Kinect几何模型,从修复后的步态深度图像中提取对应三维空间的步态点云坐标(X,Y,Z):
其中,修复后的步态深度图像中(x,y)点的深度值为depth(x,y),(cx,cy)为修复后的步态深度图像的主点,fx,fy分别为深度摄相机在x轴和y轴上的焦距;cx,cy和fx,fy通过张氏标定法标定得到;
2)根据上述三维空间的步态点云坐标(X,Y,Z)构建出人体的三维表面模型T:T={(Xt,Yt,Zt)∈R3,t=1...M};其中,M为三维表面模型点云数量。
5.根据权利要求4所述的方法,其特征在于,三维融合步态能量模型构建过程如下:
1)令一个步态周期有N帧动态步态图,分别对N帧动态步态图进行三维重建,得到步态三维模型集P={pr,r=1...N},pr表示步态周期内第r个三维重建模型,即步态模型;
2)对步态三维模型集中的每一个步态模型提取头部特征数据,令提取出对应的头部特征模型为H={hr,r=1...N},然后计算头部特征模型的质心;
3)选取步态三维模型集中的第一个步态模型作为参考模型,利用头部质心计算所有步态模型与参考模型的平移变换矩阵Tr;
4)利用平移变换矩阵计算出以头部质心为核心的三维融合步态能量模型S:S={∪(pr+Tr),r=1...N}。
6.根据权利要求5所述的方法,其特征在于,不同视角三维融合步态能量模型表面对接过程如下:
1)将θmax视角的三维融合步态能量模型利用旋转矩阵旋转至θmin视角,其中,(θmax-θmin)≤90°,γ=(θmin-θmax);θmin≤θ≤θmax;
2)将统一视角后的两个三维融合步态能量模型分别投影到X-Y平面中,得到两个二维步态图,对二维步态图采用轮廓线扫描方式由上而下进行扫描,取扫描间隔为dy,0<dy<1,每两个轮廓线之间只保留一个均值点,通过扫描方式提取出二维步态图右半边轮廓,其中θmin视角右半边轮廓为
θmax视角右半边轮廓为
其中L为轮廓点数;
3)对提取出来的右半边轮廓采用FIR滤波器进行曲线平滑滤波,得到滤波后的三维轮廓线;
4)对滤波后的三维轮廓线进行匹配,通过最优化求解下式求得最佳平移矩阵T1:
5)利用最佳平移矩阵T1,完成θmin和θmax视角下三维融合步态能量模型的对接,得到新的对接后的拼接融合模型 其中和分别为θmin和θmin视角下的三维融合步态能量模型。
7.根据权利要求6所述的方法,其特征在于,多视角步态模糊轮廓全局特征获取方法为:
1)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据Pθ: 为θmin到θ视角的三维旋转矩阵;其中,
θmin≤θ≤θmax,γ=(θ-θmin);
2)对θ视角下的拼接融合模型Pθ,以X-Y平面为参考面进行离散化,然后投影到X-Y平面中,得到离散步态图像;
3)对离散步态图像按像素dx,dy步进由上到下、由左至右划分为H个小块,然后计算所有小块的点云平均密度Dmean;
4)对离散步态图像以小块为基本单位由上而下进行扫描,当小块内的点数N′>h×Dmean时,删除小块内所有点,即去除步态相对静止区域数据,保留运动特征明显区域的数据;对所有保留的点,再按小块为单位计算位于该小块内所有点的深度平均值,通过将每个小块对应成一个像素点,深度平均值对应成像素点的深度值,得到一幅二维轮廓步态图,所述二维轮廓步态图大小为(1/dx,1/dy);其中,0≤h≤1;
5)将上述二维轮廓步态图内所有像素点的深度值归一化至[0,255],即转换成灰度图像,最终得到θ视角下的步态模糊轮廓图;
6)重复步骤1)~步骤5),完成对其余角度所有类步态模糊轮廓图的提取,所有的步态模糊轮廓图构成多视角步态模糊轮廓全局特征。
8.根据权利要求7所述的方法,其特征在于,多视角步态子图局部特征获取方法为:
1)利用拼接融合模型进行多视角的映射旋转变换,合成无遮挡的θ角度的步态数据Pθ;
2)对θ视角下的拼接融合模型Pθ,以X-Y平面为参考面进行离散化,然后投影到X-Y平面中,得到离散步态图像;
3)对离散步态图像按像素dx,dy步进由上到下、由左至右划分为H个小块;按小块为单位计算位于该块内所有点的深度平均值,通过将每个小块对应成一个像素点,深度平均值对应成像素点的深度值,得到一幅二维步态图,所述二维步态图大小为(1/dx,1/dy);
4)计算二维步态图所有点的平均曲率,将平均曲率值归一化至[0,255],替换二维步态图所有点原来的深度值,构成二维曲率步态图;
5)将二维曲率步态图由上至下分割成F个步态子图:头部子图,上身子图,臀部子图,腿部子图和脚步子图;最终得到θ视角下的各分块步态子图;
6)重复步骤1)~步骤5),提取各角度所有类分块步态子图,构建多视角步态子图局部特征。
9.根据权利要求8所述的方法,其特征在于,构建步态子图特征空间的具体步骤如下:
1)分别对各视角下的步态模糊轮廓全局特征和步态子图局部特征进行典型关联分析,得到全局特征到子图局部特征的融合投影矩阵Pn,k;其中,n表示步态子图标号,n∈[1,5],k为步态类别;
2)将步态模糊轮廓全局特征利用融合投影矩阵融入到步态子图局部特征中,构成步态子图特征空间。
10.根据权利要求9所述的方法,其特征在于,三维步态分类识别的具体步骤如下:
1)当识别未知步态序列X时,计算出该步态数据视角,在数据库中找到最相近视角的训练特征集;
2)对该未知步态序列X依次进行周期检测,三维重建,生成三维融合步态能量模型,并提取出步态模糊轮廓全局特征和Q个分块步态曲率图;将提取的步态模糊轮廓全局特征利用融合投影矩阵Pn,k融入到所述Q个分块步态曲率图xn,k中,从而获得融合全局特征的相关新特征C′n,k=Pn,k·xn,k;
3)使用最近邻方法对上述Q个分块步态曲率图xn,k进行分类,每个分块步态曲率图有C个分类结果,C为分类总数,整个步态图像共有Q×C个结果,利用集成分类器集成分类结果,定义集成分类器Dk为:
其中,为权向量,通过异质进化方法求解,η的解满足全局最优化条件:集成矩阵W=η×ω对角线上元素和最大;为分块步态曲率子图像识别向量;当时,表示第n个分块步态曲率子图像属于第k类,时则不属于该类;
4)运用集成分类器进行三维步态分类识别,三维步态X∈W类,满足:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410338499.7A CN104061907B (zh) | 2014-07-16 | 2014-07-16 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410338499.7A CN104061907B (zh) | 2014-07-16 | 2014-07-16 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104061907A CN104061907A (zh) | 2014-09-24 |
CN104061907B true CN104061907B (zh) | 2016-08-24 |
Family
ID=51549737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410338499.7A Active CN104061907B (zh) | 2014-07-16 | 2014-07-16 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104061907B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6565252B2 (ja) * | 2015-03-23 | 2019-08-28 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN104732586B (zh) * | 2015-03-24 | 2016-12-14 | 中国人民解放军国防科学技术大学 | 一种三维人体动态形体和三维运动光流快速重建方法 |
CN105335725B (zh) * | 2015-11-05 | 2019-02-26 | 天津理工大学 | 一种基于特征融合的步态识别身份认证方法 |
FR3044101B1 (fr) * | 2015-11-20 | 2020-04-24 | Thales | Procede d'acquisition d'images d'une scene, a partir d'un capteur a bord d'un porteur en deplacement, avec asservissement de sa ligne de visee |
CN106056050B (zh) * | 2016-05-23 | 2020-01-21 | 武汉盈力科技有限公司 | 一种基于自适应三维人体运动统计模型的多视角步态识别方法 |
CN106780721B (zh) * | 2016-11-30 | 2019-12-20 | 北京矿冶研究总院 | 三维激光螺旋扫描点云三维重建方法 |
CN107174255B (zh) * | 2017-06-15 | 2020-04-10 | 西安交通大学 | 基于Kinect体感技术的三维步态信息采集与分析方法 |
CN107451594B (zh) * | 2017-07-13 | 2020-06-02 | 中国计量大学 | 一种基于多元回归的多视角步态分类方法 |
US10552671B2 (en) | 2017-11-22 | 2020-02-04 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition |
CN107992898B (zh) * | 2017-12-14 | 2019-07-23 | 哈尔滨工业大学(威海) | 一种电子元件焊点缺陷检测方法 |
CN108629316A (zh) * | 2018-05-08 | 2018-10-09 | 东北师范大学人文学院 | 一种多视角的视频异常事件检测方法 |
US10621730B2 (en) * | 2018-05-22 | 2020-04-14 | Sony Corporation | Missing feet recovery of a human object from an image sequence based on ground plane detection |
CN110507311B (zh) * | 2019-08-27 | 2022-07-19 | 中科麦迪人工智能研究院(苏州)有限公司 | 一种基于图像信息的心电分析方法、装置、设备及介质 |
CN110766624B (zh) * | 2019-10-14 | 2022-08-23 | 中国科学院光电技术研究所 | 一种基于迭代修复的点目标和暗斑图像背景均衡方法 |
CN111436940B (zh) * | 2020-03-20 | 2021-11-09 | 北京邮电大学 | 一种步态健康评估方法及装置 |
CN111380785A (zh) * | 2020-03-30 | 2020-07-07 | 中南大学 | 岩石颗粒的二维几何特征参数获取系统及方法 |
CN111860330B (zh) * | 2020-07-21 | 2023-08-11 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
CN112686916B (zh) * | 2020-12-28 | 2024-04-05 | 淮阴工学院 | 一种基于异质多区域ct扫描数据处理的曲面重建系统 |
CN112733704B (zh) * | 2021-01-07 | 2023-04-07 | 浙江大学 | 图像处理方法、电子设备和计算机可读存储介质 |
CN112906557B (zh) * | 2021-02-08 | 2023-07-14 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
CN113855003A (zh) * | 2021-09-29 | 2021-12-31 | 复旦大学附属中山医院 | 一种步态检测方法、系统及设备 |
CN114529703B (zh) * | 2022-02-28 | 2024-09-06 | 湖南大学 | 一种基于熵增优化的大型复杂构件点云全局匹配方法 |
CN115147768B (zh) * | 2022-07-28 | 2023-07-04 | 国家康复辅具研究中心 | 一种跌倒风险评估方法及系统 |
CN118470751B (zh) * | 2024-07-09 | 2024-09-10 | 泸州职业技术学院 | 一种基于数据样本互补特征的行人重识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4207336B2 (ja) * | 1999-10-29 | 2009-01-14 | ソニー株式会社 | 移動ロボットのための充電システム、充電ステーションを探索する方法、移動ロボット、コネクタ、及び、電気的接続構造 |
JP4649913B2 (ja) * | 2003-09-19 | 2011-03-16 | ソニー株式会社 | ロボット装置及びロボット装置の移動制御方法 |
KR100824757B1 (ko) * | 2007-02-09 | 2008-04-24 | 연세대학교 산학협력단 | 걸음걸이를 이용한 생체 인식 방법 |
CN101599177B (zh) * | 2009-07-01 | 2011-07-27 | 北京邮电大学 | 一种基于视频的人体肢体运动的跟踪方法 |
CN101794372B (zh) * | 2009-11-30 | 2012-08-08 | 南京大学 | 基于频域分析的步态特征表示及识别方法 |
-
2014
- 2014-07-16 CN CN201410338499.7A patent/CN104061907B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104061907A (zh) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104061907B (zh) | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 | |
Yang et al. | Building extraction at scale using convolutional neural network: Mapping of the united states | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
Campo et al. | Multimodal stereo vision system: 3D data extraction and algorithm evaluation | |
CN104077804B (zh) | 一种基于多帧视频图像构建三维人脸模型的方法 | |
Zhou et al. | Seamless fusion of LiDAR and aerial imagery for building extraction | |
CN101398886B (zh) | 一种基于双目被动立体视觉的快速三维人脸识别方法 | |
Tsai et al. | Block-based vanishing line and vanishing point detection for 3D scene reconstruction | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
CN105354558B (zh) | 人脸图像匹配方法 | |
CN102243765A (zh) | 基于多相机的多目标定位跟踪方法及系统 | |
CN104346608A (zh) | 稀疏深度图稠密化方法和装置 | |
CN105608667A (zh) | 一种全景拼接的方法及装置 | |
CN102982334B (zh) | 基于目标边缘特征与灰度相似性的稀疏视差获取方法 | |
CN104463099B (zh) | 一种基于图的半监督耦合度量的多角度步态识别方法 | |
CN106570499A (zh) | 一种基于概率图模型的目标跟踪方法 | |
CN105513094A (zh) | 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统 | |
Zhu et al. | Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks | |
Guo et al. | Multi-modal human authentication using silhouettes, gait and rgb | |
CN111950518B (zh) | 一种用于暴力行为识别的视频图像增强方法 | |
Alvarez et al. | Camera auto-calibration using zooming and zebra-crossing for traffic monitoring applications | |
US9087381B2 (en) | Method and apparatus for building surface representations of 3D objects from stereo images | |
Kim | Survey on registration techniques of visible and infrared images | |
Lai et al. | Development of intelligent human flow density detection system based on sensor fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |