CN107766819B - 一种视频监控系统及其实时步态识别方法 - Google Patents

一种视频监控系统及其实时步态识别方法 Download PDF

Info

Publication number
CN107766819B
CN107766819B CN201710972984.3A CN201710972984A CN107766819B CN 107766819 B CN107766819 B CN 107766819B CN 201710972984 A CN201710972984 A CN 201710972984A CN 107766819 B CN107766819 B CN 107766819B
Authority
CN
China
Prior art keywords
image
gait
point
human body
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710972984.3A
Other languages
English (en)
Other versions
CN107766819A (zh
Inventor
王希娟
费民权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Institute of International Trade and Commerce
Original Assignee
Shaanxi Institute of International Trade and Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Institute of International Trade and Commerce filed Critical Shaanxi Institute of International Trade and Commerce
Priority to CN201710972984.3A priority Critical patent/CN107766819B/zh
Publication of CN107766819A publication Critical patent/CN107766819A/zh
Application granted granted Critical
Publication of CN107766819B publication Critical patent/CN107766819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频监控系统及其实时步态识别方法,该方法在图像预处理过程中,对提取的二值轮廓图像按照其最小外接矩形进行裁剪,并在保持宽高比不变的情况下按照所有图像帧的图像高度最大值进行图像的缩放。因此,经过预处理的所有图像帧不仅高度一致,而且保持了图像处理前后宽高比不变,更加易于进行步态特征提取。并且步态识别方法综合考虑了人体步态的静态特征和动态特征,提取了质心高度、步幅、下肢轮廓角度距离变化率作为步态特征,较全面的反映了不同个体的步态差异。该视频监控系统通过上述方法,在保证高识别率的基础上有效缩短了识别时间,同时对用户的衣着变换也具有较好鲁棒性,尤其适用于视频监控环境中进行实时用户身份识别。

Description

一种视频监控系统及其实时步态识别方法
技术领域
本发明涉及视频监控的模式识别领域,具体为一种视频监控系统及其实时步态识别方法。
背景技术
随着计算机科学技术的发展和人类社会的进步,人们在生活、工作、出行等方面的安全防范意识逐渐增强,如何保证社会安全成了当下人们面对的最严峻问题。如今,作为保障人们生命、财产安全的有效方式,人脸识别、语音识别、虹膜识别等生物特征识别技术的应用越来越广泛。尽管如此,由于不法分子可以采用多种伪装手段阻碍这些生物特征的采集,以致于这些技术的识别准确性大大降低。另外,这些技术还存在可被篡改、对采集的图像清晰度要求高、需要信息采集者的主动配合等缺憾。
由于人体走路姿态的各异性和唯一性,因而步态具有难以伪装和不易隐藏的特点。特别是在信息采集者不配合的情况下,例如受试者戴手套或者不愿在现场留下自己的指纹特征、以及用口罩或墨镜掩盖面部特征时,受试者的步态信息则可以很容易的被采集到,因为每个人的步态都是在很小的时候就形成的,后天很难再进行改变,而且每个人都需要走路。另外,人体的步态特征不易刻意改变,因为如果一个人刻意去改变自己的走路姿势,则会显得很不自然,会更容易引起人们的注意。由此可见,在视频监测时,步态特征还具有无需受试者配合、可以远距离感知和对硬件要求低等特点,是唯一一个可以进行远程身份识别的生物特征,现已成为继人脸识别、指纹识别等生物识别技术之后的又一个爆发点,具有非常广阔的应用前景和应用空间,对于一些安全性要求较高的场合比如公共广场、银行、火车站、飞机场、社区等都可以采用步态识别技术进行视频的监控。除此之外,对于一些特定的场合,如近距离、接触性的生物识别技术不适用时,步态识别技术也可以得到比较好的应用。
目前,现有的步态识别方法虽然取得了较好的识别效果,但在实际应用方面仍不尽人意;很多方法则是通过牺牲识别时间换来的,以致进行识别时耗费的时间较长,与视频监控系统要求的实时身份识别还有一定的差距。
发明内容
针对现有技术中存在的问题,本发明提供一种视频监控系统及其实时步态识别方法,识别率高,响应速度,实际应用性强。
本发明是通过以下技术方案来实现:
一种视频监控系统的实时步态识别方法,包括如下步骤,
步骤1,视频图像预处理;
步骤1.1,将处理样本中通过采集获得有用户出现的视频图像序列,对视频图像序列采用背景减除法得到人体前景图像,经过二值化和轮廓化处理后得到人体二值化轮廓图像;
步骤1.2,计算视频图像序列中各图像的人体最小外接矩形,并按照最小外接矩形对各图像进行裁剪,得到系列图像帧;
步骤1.3,在保持宽高比不变的情况下,按照系列图像帧的图像高度最大值进行各图像的缩放;
步骤1.4根据系列图像帧的宽高比变化,求出人体宽高比随时间变化的曲线,并选取连续三个波谷的时间间隔内所对应的所有图像,以此作为一个步态周期的图像序列;
步骤2,步态特征的提取;
在预处理后的一个步态周期图像序列基础上提取包括人体质心高度变化、人体行走时步幅变化和人体骨盆关节点到下肢各轮廓点角度距离变化的三种步态特征;
步骤3,步态特征的相似性度量和分类识别;
通过步骤1和2分别提取待测样本和数据库中参考样本的步态特征,使用欧式距离计算待测样本与参考样本之间的失真度;采用DTW算法计算二者之间的最小失真度累积和;由于失真度越小,相似性越大,继而采用最近邻分类器NN进行步态识别,当识别用户身份合法时,反馈提示信息;当识别用户身份不合法时,反馈报警信号,实现待测样本中用户身份的识别。
优选的,步骤2中提取步态特征包括如下步骤;
步骤2.1,提取各帧图像的质心,并以质心的高度,即质心横坐标绝对值作为单帧图像的第一个特征向量,记作Fa
步骤2.2,除双脚并拢情况以外,定义第m帧图像的步幅wm为该帧图像的宽度,以此作为单帧图像的第二个特征向量,记作Fb
步骤2.3,提取下肢角度距离特征作为单帧图像的第三个特征向量;
步骤2.4,将计算得到的三种步态特征组合在一起,形成单帧图像的一维特征向量,记为F=[Fa,Fb,Fc];
步骤2.5,使用一个步态周期内所有图像帧的特征参数集表示该周期内图像序列的步态特征,记为:
Z(e)=[Fe(1),Fe(2),Fe(3),…,Fe(k),…,Fe(f)];
其中,Z(e)表示第e号运动目标周期内的整体步态特征,Fe(k)是e号运动目标第k帧图像的步态特征向量,f表示周期内图像帧数总额。
进一步的,步骤2.2中,作为第二个特征向量Fb的步幅wm的计算公式如下:
Figure BDA0001437963870000031
其中,weimin表示一个步态周期内所有图像宽度的最小值。
进一步的,步骤2.3中,提取下肢角度距离特征作为单帧图像的第三个特征向量,具体地包括以下步骤:
步骤2.3.1,求骨盆关节点坐标;
根据人体解剖学理论中的各关节点与人体的比例关系,先求出单帧图像的骨盆关节点坐标P(xp,yp)的横坐标值xp,计算公式如下:
xp=(1-0.53)×hei;
其中,hei为该帧图像最小外接矩形的高度;
然后根据计算得到的xp,对存储人体轮廓像素的矩阵进行扫描,找出横坐标值等于xp的像素点坐标,记录距离骨盆关节点P最近的两个像素点,其中横坐标值较小的像素点记为Pl(xl,yl),横坐标值较大的像素点记为Pr(xr,yr),计算骨盆关节点的纵坐标为:
yp=yl+(yr-yl)/2;
步骤2.3.2,求下肢轮廓点到骨盆关节点方向与y轴的夹角;
首先,对提取的人体轮廓像素点进行逐个扫描,记录横坐标值大于等于xp的像素点,记录的像素点坐标即为下肢轮廓点的所有像素坐标,记为Di(xi,yi);
其次,由Pl(xl,yl)和骨盆关节点P(xp,yp)构造基准向量Mp,将下肢轮廓的每个像素点Di(xi,yi)与骨盆关节点P(xp,yp)构造向量Np;计算Np沿逆时针方向与Mp的夹角,并记为该像素点的角度α,计算公式如下:
Figure BDA0001437963870000041
步骤2.3.3,计算下肢轮廓点到骨盆关节点的距离;
从下肢轮廓像素点Pl(xl,yl)开始,到下肢轮廓像素点Pr(xr,yr)为止,选取n个等间距间隔,每个间隔为(180/n)°;根据像素点角度α的计算公式,再计算出第i个间隔在下肢轮廓的起止像素点坐标,并以此为依据,求出第i个间隔内所有像素点坐标到骨盆关节点的距离linj
步骤2.3.4,计算第i个间隔内各下肢轮廓点到骨盆关节点的距离均值,公式如下:
Figure BDA0001437963870000051
其中,t表示各间隔内不同的像素个数;
步骤2.3.5,对于一个周期内的f帧图像,计算每相邻两帧图像在第i个间隔的角度距离均值变化率,公式如下:
Figure BDA0001437963870000052
步骤2.3.6,将相邻两帧图像各个间隔的角度距离均值变化率组合在一起,形成角度距离的一维特征向量,记作:
Fc=[(Δlin1)k-1,k,(Δlin2)k-1,k,…,(Δlini)k-1,k,…,(Δlinn)k-1,k];
其中,k=1,2,…,f;i=1,2,…,n。
一种视频监控系统,包括图像采集模块、下位机、网络传输模块、上位机、显示模块和报警模块;图像采集模块输出端连接下位机,下位机分别连接网络传输模块、显示模块和报警模块,网络传输模块通过以太网连接上位机;
图像采集模块用于对监控区域进行实时监控,并将监控的视频图像传输给下位机;
下位机用于对接收的视频图像进行分析,监控中有用户出现时,则将相应的视频图像利用网络传输模块通过以太网传输给上位机,形成处理样本的视频图像序列;
上位机用于在获得视频监控图像序列后,通过上述任意一实时步态识别方法进行用户身份验证,并根据验证识别结果产生不同的反馈信号,并将反馈信号通过以太网由网络传输模块传送给下位机;
下位机还用于在接收到上位机的用户身份反馈信号后,根据反馈信号的不同分别驱动显示模块和报警模块工作,其中识别结果为合法用户的,显示模块显示对应的合法用户信息,否则显示对应的不合法信息并启动报警模块报警。
优选的,所述图像采集模块为网络摄像头;下位机为ARM开发板;网络传输模块为以太网模块;上位机为PC机;显示模块为LCD液晶屏;报警模块为蜂鸣器。
与现有技术相比,本发明具有以下有益的技术效果:
本发明所述的方法在图像预处理过程中,对提取的二值轮廓图像按照其最小外接矩形进行了裁剪,并在保持宽高比不变的情况下按照所有图像帧的图像高度最大值进行了图像的缩放。因此,经过预处理的所有图像帧不仅高度一致,而且保持了图像处理前后宽高比不变,更加易于进行步态特征提取。并且步态识别方法综合考虑了人体步态的静态特征和动态特征,提取了质心高度、步幅、下肢轮廓角度距离变化率作为步态特征,较全面的反映出了不同个体的步态差异,具有有效的识别率,而且特征提取的难度小。通过结合使用DTW算法和最近邻分类器NN进行步态识别,有效避免了因待测样本与参考样本周期长度不一致而导致的误判。步态识别方法耗费时间短、算法复杂度低、实时性强和识别率高,对衣着和背包有着较好的鲁棒性,适于视频监控环境下的实时用户身份识别。
进一步的,在预处理后的图像高度一致的情况下,因骨盆关节点比质心点随图像轮廓精度的不同产生的变化率更小,故采用了骨盆关节点替代质心点进行下肢角度距离特征提取,比使用质心点准确率更高,更加准确的反映了人体步态特征随周期的变化。
本发明所述的视频监控系统均采用常见的电子器件,硬件结构简单,易于搭建,成本较低,通过采用本发明所述的方法,在保证高识别率的基础上有效的缩短了识别时间,同时对用户的衣着变换也具有较好的鲁棒性,尤其适用于视频监控环境中进行实时用户身份识别。
附图说明
图1为本发明视频监控系统的硬件结构图。
图2为本发明视频监控系统的实时步态识别方法总体流程图。
图3为本发明步态识别方法的图像预处理程序流程图。
图4为本发明步态识别方法的步态特征提取程序流程图。
图5为本发明步态识别方法的运动角度提取图。
图中:图像采集模块1、下位机2、网络传输模块3、上位机4、显示模块5和报警模块6。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
如图1所示,本发明提供了一种视频监控系统,包括:图像采集模块1、下位机2、网络传输模块3、上位机4、显示模块5和报警模块6,图像采集模块1输出端连接下位机2,下位机2连接网络传输模块3、显示模块5和报警模块6,网络传输模块3又通过以太网连接上位机4。
其中,图像采集模块1使用的是网络摄像头;下位机4使用的是ARM开发板;网络传输模块3使用的是以太网模块;上位机4使用的是PC机;显示模块5使用的是LCD液晶屏;报警模块6使用的是蜂鸣器。
图像采集模块1用于对监控区域进行实时监控,采集监控区域的视频图像,并将采集的图像通过USB接口传送给下位机2;
下位机2用于对接收的视频图像进行简单分析,即监控中有用户出现时,则将图像采集模块1传送的相应的视频图像利用网络传输模块3通过以太网传输给上位机4,并按照上位机4反馈的不同图像处理结果驱动显示模块5和报警模块6进行相应的工作;
网络传输模块3用于将下位机2获得的视频图像通过以太网传送给上位机4,并将上位机4进行图像处理的结果反馈给下位机2;
上位机4用于在获得网络传输模块3传送的视频监控图像序列后,通过实时步态识别方法进行用户身份验证,处理视频图像,包括图像的预处理、特征提取、相似性度量和分类识别等工作,并根据步态识别的结果反馈不同的信号给下位机2;
显示模块5用于显示用户身份是否合法的提示信息;
报警模块6用于在用户身份不合法时产生报警信号。
具体地,图像采集模块1对监控区域进行实时监控,并将监控的视频图像通过USB接口传输给下位机2,下位机2进行视频图像的分析,如监控中有用户出现,则将相应的视频图像利用网络传输模块3通过以太网传输给上位机4,上位机4获得视频监控图像序列后,通过步态识别进行用户身份验证,并根据验证结果产生不同的反馈信号,反馈信号则通过以太网由网络传输模块3传送给下位机2。下位机2根据收到接收的反馈信号驱动显示模块5和报警模块6工作,其中识别结果为合法用户的,显示模块5显示“valid user”字样,否则显示“illegal user”字样并启动报警模块6报警。
其中,图像采集模块1为网络摄像头;下位机2使用的是ARM开发板;网络传输模块3使用的是以太网模块;上位机4使用的是PC机;显示模块5使用的是LCD液晶屏;报警模块6使用的是蜂鸣器。
如图2所示,本发明还提供一种在上述视频监控系统下实现的实时步态识别方法,包括以下步骤:
1)视频图像预处理
如图3所示,上位机4对于获得的视频图像序列,首先通过背景减除法得到人体前景图像,经过二值化和轮廓化处理后得到人体二值化轮廓图像;其次,计算各图像的人体最小外接矩形,并按照最小外接矩形对各图像进行裁剪;然后,在保持宽高比不变的情况下,按照系列图像帧的图像高度最大值进行各图像的缩放;最后,根据系列图像帧的宽高比变化,求出人体宽高比随时间变化的曲线,并选取连续三个波谷的时间间隔内所对应的所有图像,以此作为一个步态周期的图像序列。
2)步态特征的提取
如图4所示,上位机4在预处理的图像序列基础上提取步态特征,包括人体质心高度变化、人体行走时步幅变化和人体骨盆关节点到下肢各轮廓点的角度距离变化。
首先,提取各帧图像的质心,并以质心的高度(即质心横坐标绝对值)作为单帧图像的第一个特征向量,记作Fa
其次,定义第m帧图像的步幅wm为该帧图像的宽度(除双脚并拢情况以外),以此作为单帧图像的第二个特征向量,记作Fb。计算公式如下:
Figure BDA0001437963870000091
其中,weimin表示一个步态周期内所有图像宽度的最小值。
接着,提取下肢角度距离特征作为单帧图像的第三个特征向量。具体地,可分为以下步骤:
①求骨盆关节点坐标
首先,建立图像的平面直角坐标系。其中,定义原点坐标O(x0,y0)为图像的左上角像素点坐标;x轴为从坐标原点开始沿图像最小外接矩形向下的那条垂直线;y轴为从坐标原点开始沿图像最小外接矩形向右的那条水平线。其次,根据人体解剖学理论中的各关节点与人体的比例关系(即骨盆关节点高度是人体身高的0.53倍),求出单帧图像的骨盆关节点坐标P(xp,yp)的横坐标值xp,计算公式如下:
xp=(1-0.53)×hei;
其中,hei为该帧图像最小外接矩形的高度。
然后,根据计算得到的xp,对存储人体轮廓像素的矩阵进行扫描,找出横坐标值等于xp的像素点坐标,记录距离骨盆关节点P最近的两个像素点,其中横坐标值较小的像素点记为Pl(xl,yl),横坐标值较大的像素点记为Pr(xr,yr),计算骨盆关节点的纵坐标为:
yp=yl+(yr-yl)/2;
②求下肢轮廓点到骨盆关节点方向与y轴的夹角
如图5所示,首先对提取的人体轮廓像素点进行逐个扫描,记录横坐标值大于等于xp的像素点,记录的像素点坐标即为下肢轮廓点的所有像素坐标,记为Di(xi,yi)。其次,由Pl(xl,yl)和骨盆关节点P(xp,yp)构造基准向量Mp,将下肢轮廓的每个像素点Di(xi,yi)与骨盆关节点P(xp,yp)构造向量Np;计算Np沿逆时针方向与Mp的夹角,并记为该像素点的角度α,计算公式如下:
Figure BDA0001437963870000101
③计算下肢轮廓点到骨盆关节点的距离
从下肢轮廓像素点Pl(xl,yl)开始,到下肢轮廓像素点Pr(xr,yr)为止,选取n个等间距间隔,每个间隔为(180/n)°。根据像素点角度α的计算公式,再计算出第i个间隔在下肢轮廓的起止像素点坐标,并以此为依据,求出第i个间隔内所有像素点坐标到骨盆关节点的距离linj
④计算第i个间隔内各下肢轮廓点到骨盆关节点的距离均值,公式如下:
Figure BDA0001437963870000102
其中,t表示各间隔内不同的像素个数。
⑤对于一个周期内的f帧图像,计算每相邻两帧图像在第i个间隔的角度距离均值变化率,公式如下:
Figure BDA0001437963870000103
⑥将相邻两帧图像各个间隔的角度距离均值变化率组合在一起,形成角度距离的一维特征向量,记作:
Fc=[(Δlin1)k-1,k,(Δlin2)k-1,k,…,(Δlini)k-1,k,…,(Δlinn)k-1,k];
其中,k=1,2,…,f;i=1,2,…,n。
然后,将计算得到的3种步态特征组合在一起,形成单帧图像的一维特征向量,记为F=[Fa,Fb,Fc]。
最后,使用一个步态周期内所有图像帧的特征参数集表示该周期内图像序列的步态特征,记为:
Z(e)=[Fe(1),Fe(2),Fe(3),…,Fe(k),…,Fe(f)];
其中,Z(e)表示第e号运动目标周期内的整体步态特征,Fe(k)是e号运动目标第k帧图像的步态特征向量,f表示周期内图像帧数总额。
3)步态特征的相似性度量和分类识别
上位机4采用上述步骤分别提取待测样本和数据库中参考样本的步态特征,使用欧式距离计算待测样本与参考样本之间的失真度。为了避免一个步态周期内待测样本与参考样本之间图像帧数不一致,采用DTW算法计算二者之间的最小失真度累积和。由于失真度越小,相似性越大,继而采用最近邻分类器(NN)进行步态识别,并根据识别结果产生不同的反馈信号。
本发明的工作过程为:
如图1所示,首先,搭建好视频监控系统的硬件环境。其次,进行视频监控系统的初始化设置,各硬件设备进入工作状态。其中,图像采集模块1开始对监控区域进行视频监控,并将监控的视频图像通过USB接口传输给下位机2;下位机2对接收的视频图像进行分析,如果发现监控中有用户出现,则将相应的视频图像利用网络传输模块3通过以太网传输给上位机4,上位机4获得视频监控图像序列后,通过步态识别方法进行用户身份验证;上位机4对接收到的视频图像通过图像预处理、周期提取、步态特征提取、相似性度量和分类识别等步骤进行用户的步态识别进行用户身份验证,以判定用户的身份是否合法,并根据步态识别的结果产生不同的反馈信号;之后,上位机4将反馈信号通过以太网由网络传输模块3传送给下位机2;下位机2根据收到接收的反馈信号驱动显示模块5和报警模块6工作,其中识别结果为合法用户的,显示模块5显示“valid user”字样,否则显示“illegal user”字样并启动报警模块6报警,从而在视频监控系统中使用实时步态识别方法实现用户的身份识别。
本发明从实用性着手,设计了一种简单、有效的视频监控系统实时步态识别方法。与现有方法比较,本发明提供的系统和方法易于实现,复杂度低,应用性强,特别是在保证高识别率的基础上有效的缩短了识别时间,同时对用户的衣着变换也具有较好的鲁棒性,尤其适用于视频监控环境中进行实时用户身份识别。

Claims (4)

1.一种视频监控系统的实时步态识别方法,其特征在于,包括如下步骤,
步骤1,视频图像预处理;
步骤1.1,将处理样本中通过采集获得有用户出现的视频图像序列,对视频图像序列采用背景减除法得到人体前景图像,经过二值化和轮廓化处理后得到人体二值化轮廓图像;
步骤1.2,计算视频图像序列中各图像的人体最小外接矩形,并按照最小外接矩形对各图像进行裁剪,得到系列图像帧;
步骤1.3,在保持宽高比不变的情况下,按照系列图像帧的图像高度最大值进行各图像的缩放;
步骤1.4根据系列图像帧的宽高比变化,求出人体宽高比随时间变化的曲线,并选取连续三个波谷的时间间隔内所对应的所有图像,以此作为一个步态周期的图像序列;
步骤2,步态特征的提取;
在预处理后的一个步态周期图像序列基础上提取包括人体质心高度变化、人体行走时步幅变化和人体骨盆关节点到下肢各轮廓点角度距离变化的三种步态特征;
步骤3,步态特征的相似性度量和分类识别;
通过步骤1和2分别提取待测样本和数据库中参考样本的步态特征,使用欧式距离计算待测样本与参考样本之间的失真度;采用DTW算法计算二者之间的最小失真度累积和;由于失真度越小,相似性越大,继而采用最近邻分类器NN进行步态识别,当识别用户身份合法时,反馈提示信息;当识别用户身份不合法时,反馈报警信号,实现待测样本中用户身份的识别;
步骤2中提取步态特征包括如下步骤;
步骤2.1,提取各帧图像的质心,并以质心的高度,即质心横坐标绝对值作为单帧图像的第一个特征向量,记作Fa
步骤2.2,除双脚并拢情况以外,定义第m帧图像的步幅wm为该帧图像的宽度,以此作为单帧图像的第二个特征向量,记作Fb
步骤2.3,提取下肢角度距离特征作为单帧图像的第三个特征向量;
步骤2.4,将计算得到的三种步态特征组合在一起,形成单帧图像的一维特征向量,记为F=[Fa,Fb,Fc];
步骤2.5,使用一个步态周期内所有图像帧的特征参数集表示该周期内图像序列的步态特征,记为:
Z(e)=[Fe(1),Fe(2),Fe(3),…,Fe(k),…,Fe(f)];
其中,Z(e)表示第e号运动目标周期内的整体步态特征,Fe(k)是e号运动目标第k帧图像的步态特征向量,f表示周期内图像帧数总额;
步骤2.3中,提取下肢角度距离特征作为单帧图像的第三个特征向量,具体地包括以下步骤:
步骤2.3.1,求骨盆关节点坐标;
根据人体解剖学理论中的各关节点与人体的比例关系,先求出单帧图像的骨盆关节点坐标P(xp,yp)的横坐标值xp,计算公式如下:
xp=(1-0.53)×hei;
其中,hei为该帧图像最小外接矩形的高度;
然后根据计算得到的xp,对存储人体轮廓像素的矩阵进行扫描,找出横坐标值等于xp的像素点坐标,记录距离骨盆关节点P最近的两个像素点,其中横坐标值较小的像素点记为Pl(xl,yl),横坐标值较大的像素点记为Pr(xr,yr),计算骨盆关节点的纵坐标为:
yp=yl+(yr-yl)/2;
步骤2.3.2,求下肢轮廓点到骨盆关节点方向与y轴的夹角;
首先,对提取的人体轮廓像素点进行逐个扫描,记录横坐标值大于等于xp的像素点,记录的像素点坐标即为下肢轮廓点的所有像素坐标,记为Di(xi,yi);
其次,由Pl(xl,yl)和骨盆关节点P(xp,yp)构造基准向量Mp,将下肢轮廓的每个像素点Di(xi,yi)与骨盆关节点P(xp,yp)构造向量Np;计算Np沿逆时针方向与Mp的夹角,并记为该像素点的角度α,计算公式如下:
Figure FDA0002965551530000031
步骤2.3.3,计算下肢轮廓点到骨盆关节点的距离;
从下肢轮廓像素点Pl(xl,yl)开始,到下肢轮廓像素点Pr(xr,yr)为止,选取n个等间距间隔,每个间隔为(180/n)°;根据像素点角度α的计算公式,再计算出第i个间隔在下肢轮廓的起止像素点坐标,并以此为依据,求出第i个间隔内所有像素点坐标到骨盆关节点的距离linj
步骤2.3.4,计算第i个间隔内各下肢轮廓点到骨盆关节点的距离均值,公式如下:
Figure FDA0002965551530000032
其中,t表示各间隔内不同的像素个数;
步骤2.3.5,对于一个周期内的f帧图像,计算每相邻两帧图像在第i个间隔的角度距离均值变化率,公式如下:
Figure FDA0002965551530000033
步骤2.3.6,将相邻两帧图像各个间隔的角度距离均值变化率组合在一起,形成角度距离的一维特征向量,记作:
Fc=[(Δlin1)k-1,k,(Δlin2)k-1,k,…,(Δlini)k-1,k,…,(Δlinn)k-1,k];
其中,k=1,2,…,f;i=1,2,…,n。
2.根据权利要求1所述的一种视频监控系统的实时步态识别方法,其特征在于,步骤2.2中,作为第二个特征向量Fb的步幅wm的计算公式如下:
Figure FDA0002965551530000041
其中,weimin表示一个步态周期内所有图像宽度的最小值。
3.一种视频监控系统,其特征在于,包括图像采集模块(1)、下位机(2)、网络传输模块(3)、上位机(4)、显示模块(5)和报警模块(6);图像采集模块(1)输出端连接下位机(2),下位机(2)分别连接网络传输模块(3)、显示模块(5)和报警模块(6),网络传输模块(3)通过以太网连接上位机(4);
图像采集模块(1)用于对监控区域进行实时监控,并将监控的视频图像传输给下位机(2);
下位机(2)用于对接收的视频图像进行分析,监控中有用户出现时,则将相应的视频图像利用网络传输模块(3)通过以太网传输给上位机(4),形成处理样本的视频图像序列;
上位机(4)用于在获得视频监控图像序列后,通过如权利要求1-2任意一项所述的实时步态识别方法进行用户身份验证,并根据验证识别结果产生不同的反馈信号,并将反馈信号通过以太网由网络传输模块(3)传送给下位机(2);
下位机(2)还用于在接收到上位机(4)的用户身份反馈信号后,根据反馈信号的不同分别驱动显示模块(5)和报警模块(6)工作,其中识别结果为合法用户的,显示模块(5)显示对应的合法用户信息,否则显示对应的不合法信息并启动报警模块(6)报警。
4.根据权利要求3所述的一种视频监控系统,其特征在于,所述图像采集模块(1)为网络摄像头;下位机(4)为ARM开发板;网络传输模块(3)为以太网模块;上位机(4)为PC机;显示模块(5)为LCD液晶屏;报警模块(6)为蜂鸣器。
CN201710972984.3A 2017-10-18 2017-10-18 一种视频监控系统及其实时步态识别方法 Active CN107766819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710972984.3A CN107766819B (zh) 2017-10-18 2017-10-18 一种视频监控系统及其实时步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710972984.3A CN107766819B (zh) 2017-10-18 2017-10-18 一种视频监控系统及其实时步态识别方法

Publications (2)

Publication Number Publication Date
CN107766819A CN107766819A (zh) 2018-03-06
CN107766819B true CN107766819B (zh) 2021-06-18

Family

ID=61268357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710972984.3A Active CN107766819B (zh) 2017-10-18 2017-10-18 一种视频监控系统及其实时步态识别方法

Country Status (1)

Country Link
CN (1) CN107766819B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274930B (zh) * 2018-07-26 2020-06-26 华为技术有限公司 一种基于步态识别的安全监控方法及装置
CN109171740A (zh) * 2018-07-26 2019-01-11 深圳市嘉乐医疗科技有限公司 带步态检测的智能体检机及其步态检测方法
CN109271888A (zh) * 2018-08-29 2019-01-25 汉王科技股份有限公司 基于步态的身份识别方法、装置、电子设备
CN109325479B (zh) * 2018-11-28 2020-10-16 清华大学 步伐检测方法及装置
CN110852305A (zh) * 2019-11-18 2020-02-28 哈尔滨工程大学 一种人体步态特征提取方法
CN111241990B (zh) * 2020-01-08 2023-06-06 每日互动股份有限公司 图像处理方法及装置、计算机设备、计算机可读存储介质
CN111950418A (zh) * 2020-08-03 2020-11-17 启航汽车有限公司 基于腿部特征的步态识别方法、装置及系统、可读存储介质
CN112022166A (zh) * 2020-08-08 2020-12-04 司法鉴定科学研究院 基于医学运动障碍特征识别的人体身份识别方法及系统
CN112381002B (zh) * 2020-11-16 2023-08-15 深圳技术大学 人体风险姿态识别方法及系统
CN112214783B (zh) * 2020-11-18 2023-08-25 西北大学 一种基于可信执行环境的步态识别平台及识别方法
CN117221609B (zh) * 2023-11-07 2024-03-12 深圳微云通科技有限公司 一种高速公路收费业务集中监控值机系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414514A (zh) * 2002-09-18 2003-04-30 贺贵明 视频监视、识别智能装置与技术方法
CN101571924A (zh) * 2009-05-31 2009-11-04 北京航空航天大学 一种多区域特征融合的步态识别方法及系统
CN101794372A (zh) * 2009-11-30 2010-08-04 南京大学 基于频域分析的步态特征表示及识别方法
CN201673507U (zh) * 2010-05-21 2010-12-15 杭州瓦瑞科技有限公司 移动式家庭信息综合管理系统
CN105335725A (zh) * 2015-11-05 2016-02-17 天津理工大学 一种基于特征融合的步态识别身份认证方法
CN106295544A (zh) * 2016-08-04 2017-01-04 山东师范大学 一种基于Kinect的视角不变性步态识别方法
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9993182B2 (en) * 2016-02-19 2018-06-12 Conduent Business Services, Llc Computer vision system for ambient long-term gait assessment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414514A (zh) * 2002-09-18 2003-04-30 贺贵明 视频监视、识别智能装置与技术方法
CN101571924A (zh) * 2009-05-31 2009-11-04 北京航空航天大学 一种多区域特征融合的步态识别方法及系统
CN101794372A (zh) * 2009-11-30 2010-08-04 南京大学 基于频域分析的步态特征表示及识别方法
CN201673507U (zh) * 2010-05-21 2010-12-15 杭州瓦瑞科技有限公司 移动式家庭信息综合管理系统
CN105335725A (zh) * 2015-11-05 2016-02-17 天津理工大学 一种基于特征融合的步态识别身份认证方法
CN106295544A (zh) * 2016-08-04 2017-01-04 山东师范大学 一种基于Kinect的视角不变性步态识别方法
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automatic recognition of gait-related health problems in the elderly using machine learning;Bogdan Pogorelc;《Multimed Tools Appl》;20121112;第333-354页 *
基于FPGA的智能监控系统研究;杨硕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第03期);论文第25-52页 *
基于步态的身份识别研究与实现;连旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150215(第02期);论文摘要、第13-40页 *
基于质心和轮廓关键点的步态识别;陈玲 等;《计算机工程与应用》;20151231;第51卷(第19期);第173-177、188页 *
多重图像轮廓特征结合的步态识别算法;赵志杰 等;《哈尔滨工业大学学报》;20160430;第48卷(第4期);第182-188页 *

Also Published As

Publication number Publication date
CN107766819A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107766819B (zh) 一种视频监控系统及其实时步态识别方法
CN110110629B (zh) 面向室内环境控制的人员信息检测方法与系统
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
US6188777B1 (en) Method and apparatus for personnel detection and tracking
Bobick et al. The recognition of human movement using temporal templates
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN105243386B (zh) 人脸活体判断方法以及系统
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
US20100111374A1 (en) Method for using information in human shadows and their dynamics
JP5127531B2 (ja) 画像監視装置
KR20120019008A (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
CN108537131B (zh) 一种基于人脸特征点和光流场的人脸识别活体检测方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
CN108710841A (zh) 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
Divya et al. Inspection of suspicious human activity in the crowdsourced areas captured in surveillance cameras
Li et al. Posture recognition technology based on kinect
Caliwag et al. Distance estimation in thermal cameras using multi-task cascaded convolutional neural network
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
Lobachev et al. Machine learning models and methods for human gait recognition
Wang et al. Robust pose recognition of the obscured human body
Ran et al. Computational approaches for real-time extraction of soft biometrics
CN115661903B (zh) 一种基于空间映射协同目标过滤的识图方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant