CN105335696B - 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 - Google Patents
一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 Download PDFInfo
- Publication number
- CN105335696B CN105335696B CN201510530331.0A CN201510530331A CN105335696B CN 105335696 B CN105335696 B CN 105335696B CN 201510530331 A CN201510530331 A CN 201510530331A CN 105335696 B CN105335696 B CN 105335696B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- dimensional
- robot
- model
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Abstract
本发明公开了一种基于3D异常步态行为检测识别的智能云助老机器人及实现方法,通过人体运动数据检测,进行基于标准模型的三维异常步态参数化重建,提取3D人体模型的表面信息特征,并将其投影到2D彩色成像平面图上。将完整周期内所有彩色成像平面图进行加权合成,生成基于三维特征描述子的彩色动作能量图;对三维特征描述子彩色动作能量图进行奇异值分解和数据降维;对多视角下降维后的数据进行视角无关的特征提取,完成异常步态行为分类和识别;并通过智能云将异常行为信息推送到智能社区和智能医院信息平台。本发明解决了当前老龄人异常行为检测系统存在的远程功能弱、实用性不强、用户体验感差以及受到固定视角限制等问题。
Description
技术领域
本发明属于助老机器人领域,具体涉及一种基于3D异常步态行为检测识别的智能云助老机器人及实现方法。
背景技术
在我国随着社会结构的发展和人们平均寿命的延长,老龄化的问题越来越明显。目前,我国60岁以上的老龄人口已经超过2.12亿,约占全国总人数的15.5%,预计到2030年将翻一番。
随着人们生活水平的显著提高和医疗条件的不断改善,针对老年人的各种服务机器人和监护系统已经出现在我们生活中。面对空巢的老年家庭和单身的老年居住户,如何使用家庭服务机器人和监护系统对患病或有行动障碍的老年人进行实时的监护,已成为当前助老机器人的重要研究内容。
独自生活的老年人经常面临着突发疾病,摔倒和休克等严重的问题,将这些异常行为检测识别出来,并提供给监护决策系统具有重要的实用价值和应用前景。
当前对老龄人的异常行为检测,主要依靠普通摄像头,得到的为二维图像,对二维步态图像进行检测和特征提取后,进行异常行为识别,对识别的结果进行短信通知等,其远程交互功能弱。
另一种方法采用可穿戴式的传感器,通过采集运动数据,如三轴加速度等来进行异常人体行为检测和识别,由于没有远程图像传输,因此远程交互能力同样不强。
基于二维图像的异常行为研究多采用固定安装摄像机和特定视角的方法,但人体行走时的视角是不断变化的,当视角变化较大时,其识别率会大幅下降,并且对老龄人的异常动作行为也未能有很好的研究,大多不能将老龄人的具体异常行为检测出来。
采用可穿戴设备的方法,由于穿戴设备是各种电路模块的集合,包括传感器,控制器,移动电源和通信模块组合在一起,往往体积过大,对穿戴方法有要求,穿戴繁琐,老龄人大多不愿意或很容易忘记佩带。
总之,二维视频获取和处理相对简单,但对视角大幅可变等情况的处理手段有限或繁琐。可穿戴设备检测方法往往实用性不强,用户体验感差。这使得老龄人的异常行为检测识别的研究与实际应用受到很大限制。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种基于3D异常步态行为检测识别的智能云助老机器人,解决了当前老龄人异常行为检测系统存在的远程交互功能弱、实用性不强、用户体验感差以及受到固定视角限制等问题。
为解决上述技术问题,本发明所采用的技术方案是:一种基于3D异常步态行为检测识别的智能助老机器人,包括机器人机械结构、机器人硬件平台、智能云和智能医院信息平台,所述的机器人硬件平台安装于机器人机械结构上,智能云分别通过ActiveMQ消息总线模块通信连接机器人硬件平台和智能医院信息平台;
所述的机器人机械结构包括机器人底盘、驱动电机、机器人轮胎和机器人支架;所述的机器人底盘的底部设有机器人轮胎,驱动电机固定于机器人底盘上并驱动机器人轮胎,机器人支架固定于机器人底盘顶部并用于支撑机器人硬件平台;
所述的机器人硬件平台包括三维视觉Kinect体感摄像机、非特定人语音识别模块、触摸屏、物联网WiFi模块、云端接口模块、GPS模块、ARM11嵌入式模块、电机驱动模块、自充电电源模块、陀螺仪传感模块、三轴加速度传感模块、避障模块和NFC近场通信导航定位模块;所述的三维视觉Kinect体感摄像机、非特定人语音识别模块、触摸屏、物联网WiFi模块、云端接口模块、GPS模块、电机驱动模块、自充电电源模块、陀螺仪传感模块、三轴加速度传感模块、避障模块和NFC近场通信导航定位模块分别与ARM11嵌入式模块通信连接;
所述的智能云包括并行云服务器、大数据云存储器和高速网络传输设备,所述的大数据云存储器通信连接至并行云服务器,所述的高速网络传输设备为并行云服务器提供数据传输通道;
所述的智能医院信息平台包括信息中心服务器,交互式大屏幕显示器,IP电话系统,PDA移动终端,所述的交互式大屏幕显示器,IP电话系统,PDA移动终端分别通信连接信息中心服务器。
一种基于3D异常步态行为检测识别的智能助老机器人实现方法,采用所述的机器人,包括以下步骤:
步骤一:对机器人所采集到的人体异常步态数据进行基于标准模型的三维异常步态参数化重建;
步骤二:利用局部微分算子和基于曲率半径的三维描述子来提取3D人体模型的表面信息特征,并将其投影到2D彩色成像平面图上,将完整周期内所有彩色成像平面图进行加权合成,生成基于三维特征描述子的彩色动作能量图;
步骤三:对三维特征描述子彩色动作能量图进行基于异常行为加权奇异值分解和数据降维;
步骤四:运用基于张量分解的多线性子空间分析方法,对多视角下降维后的数据进行视角无关的特征提取,完成视角可变的异常步态行为分类和识别;
步骤五:通过智能云将异常行为信息推送到智能社区和智能医院信息平台。
所述的方法,所述步骤一中,对机器人所采集到的人体异常步态数据进行基于标准模型的三维异常步态参数化重建具体过程为:
1)利用Kinect深度摄像机采集输出的深度图像,获取每个深度像素点的按坐标顺序排列的数据序列(x,y,z);
2)利用深度像素点(x,y,z)信息和三维人体重建修复模型,计算出所有人体点云数据的三维世界坐标(X,Y,Z),构建出人体的表面模型;
3)利用嵌入人体骨架的标准参数化人体模型和采集的异常步态点云数据进行三维轮廓匹配,生成姿态一致的参数化的人体异常步态模型。
所述的方法,所述的步骤2)中利用深度像素点(x,y,z)信息和三维人体重建修复模型,计算出所有人体点云数据的三维世界坐标(X,Y,Z),构建出人体的表面模型方法如下:
三维人体重建修复模型如下:
通过上述模型,计算出所有滤波修复后的深度像素点(x,y,z)所对应的三维世界坐标(X,Y,Z),构建出人体的表面模型,式中d为z轴方向的深度值,K为模型参数,T代表所采集的红外图像和生成的深度图像之间的相对平移修正参数,R为红外摄像机旋转修正矩阵,Fadj为摄像机的畸变修正函数,k、p和s为红外摄像机的畸变参数,分别对应径向形变,切身形变和薄梭镜形变参数,Ffilter(·)为深度值滤波修正函数,Dk代表深度点的k个近邻点集合。
所述的方法,所述的步骤3)中生成参数化人体异常步态模型过程如下:
利用嵌入人体骨架的标准参数化人体模型和采集的异常步态点云数据进行三维轮廓匹配,生成姿态一致的参数化的人体异常步态模型,通过能量最优化问题来求解此过程:
其中为标准参数模型(姿态参数为ψ)和异常步态模型“轮廓标记点”之间距离范数的能量函数,为两模型最佳匹配点云之间距离范数的能量函数,ω1和ω2为权值信息,ω1+ω2=1。
所述的方法,轮廓标记点提取方法如下:
三维轮廓标记点计算公式:
其中V表示人体三维点云集合,V={v1,v2,...vn,...,vN},vn表示集合中的第n个点云的三维坐标,表示提取α视角下三维人体V的轮廓标记点,zk表示提取出来的第k个轮廓标记点。
所述的方法,Esilhouette和Edis计算过程如下:
Esilhouette和Edis计算公式:
Edis=||Vs(ψ)-Vc||2
Vs(ψ)表示标准模型在姿态参数为ψ时的人体三维点云集合,其中:
ψ=[Δα1 Δα2 ... Δαm ... ΔαM]
其中Δαm表示人体第m个骨架关节的相对旋转角度,利用所求得的最优Vs(ψ),即为标准的三维参数化异常步态人体模型。
所述的方法,步骤二中基于三维特征描述子的彩色动作能量图生成过程如下:
1)提取三维异常步态模型的网络顶点局部微分特征;
利用顶点邻边向量信息,求取微分特征:
其中,vn为异常步态参数模型三角面片中的第n个顶点,两顶点边<i,j>相邻有两个三角形,其对角由θ和β表示,Nk(i)表示顶点vi的k个相邻的顶点集合,v′i为所求微分特征值,代表曲面局部特征信息;
2)提取三维异常步态模型基于曲率半径的三维描述子;
取顶点vi和它的k个相邻的顶点集合,利用下式估计vi和相邻顶点vj的曲率半径r:
其中,α为两顶点之间的法向量夹角,d为两顶点之间的距离;在所有估计出来曲率半径中,保留最大值和最小值作为顶点局部特征:di=[rmax,rmin]。
3)将三维特征描述子信息投影到2D彩色成像平面图;
将计算出的顶点局部微分特征值v′i,曲率半径估计算子rmax和rmin离散化为[0255]之间,加权后分别对应2D彩色成像平面中YUV颜色编码方法中的Y,U和V分量,形成基于三维特征描述子的彩色成像平面图,对应YUV彩色空间中的亮度分量,对应色度分量,对应色度分量,其中i表示平面上对应的像素点,η,ξ和λ为权重参数;
4)将含N帧数据,通过采用固定时间段分割和步态周期检测相结合的方法得到的完整周期的彩色成像平面图进行加权叠加,生成基于三维特征描述子的彩色动作能量图。即对一个周期中彩色成像平面图的分量Y,U和V加权叠加:
其中,N为虚拟彩色成像平面图的帧数,w为权重参数,由Y、U和V分量共同构成基于三维特征描述子的彩色动作能量图T={Y,U,V∈Rm×n}。
所述的方法,步骤三中对基于三维特征描述子的彩色动作能量图进行基于异常行为加权奇异值分解和数据降维方法为:
1)计算彩色动作能量图的异常行为加权平均矩阵和异常行为协方差矩阵
令有K类彩色动作能量图,代表不同的异常步态类,nk(k=1,2,…,K)表示每一类的样本个数,则属于第k类的第j个样本表示为:
计算彩色动作能量图的异常行为加权平均矩阵:彩色动作能量图的异常行为加权协方差矩阵:其中,γk为异常行为加权参数,体现了一个周期内不同帧的权重,权重大的帧携带的异常特征信息多,反之则携带信息少,先定义两类方差信息和
其中,N表示所有样本数总和,μk(v)表示第k类所有样本点的均值,μ(v)表示所有类样本点的均值,m×n为彩色动作能量图的总像素大小,v表示像素点,令:
γk为异常行为加权参数计算为:
2)对σ2作奇异值分解:σ2=PTDP,其中:
λ1≥λ2≥...≥λn P∈Rm×n为相关的特征向量,取前d(d≤n)个最大特征向量,构成投影矩阵Popt,降维后特征表示为:
3)分别对彩色动作能量图Y,U和V三分量进行降维,取相同的d(d≤n)值,降维后的最终特征表述为:
所述的方法,步骤四中基于张量分析的多线性子空间分析方法为:
1)利用三维步态参数模型进行多视角的映射旋转变换,合成βn角度的步态数据
2)将多视角和各种异常行为的动作特征表述为高阶张量D:
3)将多视角下的异常行为特征进行基于嵌入图框架的高阶张量分解:D=Υ×1Uposes×2Uviews×3Ufeatures,得到新特征空间Uposes,Uviews和Ufeatures;其中,Uposes为异常行为特征空间,其中第k个异常行为的特征向量表示为Wk;Uviews为异常行为视角特征空间;Ufeatures为异常行为彩色动作能量图降维后的特征;
4)令基向量Υ=D×2Uviews×3Ufeatures,人体模型行走视角和动作能量图都已知的情况下,第k个异常行为在β视角下的异常动作特征可以表示为:定义异常行为映射矩阵异常行为映射矩阵通过训练得到,在识别的过程中,已知动作视角β,对应异常动作能量图降维后特征为即可通过异常行为映射矩阵得到异常行为估计参数Wk,通过对估计参数的概率分析,即可得到异常行为Wp的识别结果:p(p|Wk)。
与现有技术相比,本发明所具有的有益效果为:本发明构建基于ARM嵌入式系统,Kinect体感摄像机,智能导航系统,智能语音情感交互系统,智能触觉人机交互系统和智能云的三维数据采集助老机器人平台;通过助老机器人的深度体感摄像机进行人体运动数据检测;对采集到的人体异常步态数据进行基于标准模型的三维异常步态参数化重建;用局部微分算子和基于曲率半径的三维描述子来提取3D人体模型的表面信息特征,并将其投影到2D彩色成像平面图上。将完整周期内所有彩色成像平面图进行加权合成,生成基于三维特征描述子的彩色动作能量图;对三维特征描述子彩色动作能量图进行基于异常行为加权奇异值分解和数据降维;运用基于嵌入图框架张量分解的多线性子空间分析方法,对多视角下降维后的数据进行视角无关的特征提取,完成视角可变的异常步态行为分类和识别;并通过智能云将异常行为信息推送到智能社区和智能医院信息平台。为人体异常数据采集提供了一种基于智能云的可移动三维数据采集助老机器人平台;为多视角异常步态行为检测提供了一种新的手段;为老龄家庭,社区和医院的远程医疗提取供了一种更为有效的解决方案,可将其应用助老机器人,老龄人监护等相关领域,具有很好的经济和社会效益。
附图说明
图1为为本发明结构示意图;
图2为本发明实施例异常步态行为检测识别智能云助老机器人实施流程图;
图3为本发明实施例智能云平台结构示意图;
图4为本发明实施例三维人体点云数据示意图;
图5为本发明实施例标准参数人体模型和嵌入骨架结构示意图;
图6为本发明实施例三维人体轮廓提取和匹配示意图;
图7为本发明实施例重建后的三维异常步态参数模型示意图;
图8为本发明实施例加权合成基于三维特征描述子的彩色动作能量图示意图;
图9为本发明实施例的异常行为“摔倒”识别结果比较示意图;
其中,1为三维视觉Kinect体感摄像机;2为非特定人语音识别模块;3为触摸屏;4为物联网WiFi模块;5为云端接口模块;6为GPS模块;7为ARM11嵌入式模块;8为电机驱动模块;9为自充电电源模块;10为陀螺仪传感模块;11为三轴加速度传感模块;12为避障模块;13为机器人底盘;14为NFC近场通信导航定位模块;15为驱动电机;16为机器人轮胎;17为机器人支架;18为ActiveMQ消息总线模块;19为智能云;20为远程医疗智能平台。
具体实施方式
本实施例所述的三维异常步态行为检测识别智能云助老机器人实施流程图见图2。
参见图1,三维异常步态行为检测识别的智能云助老机器人本体构建包括:
1)机器人底盘13,驱动电机15,机器人轮胎16和机器人支架17构建机器人的机械结构;
2)三维视觉Kinect体感摄像机1,非特定人语音识别模块2,触摸屏3,物联网WiFi模块4,云端接口模块5,GPS模块6,ARM11嵌入式模块7,电机驱动模块8,自充电电源模块9,陀螺仪传感模块10,三轴加速度传感模块11,避障模块12和NFC近场通信导航定位模块14构成智能机器人的硬件平台;
3)Linux操作系统,Python跨平台系统和SimpleCV图形处理库等构成助老机器人的系统和软件平台。
4)基于Kinect体感摄像机的3D数据采集模块1和ARM11嵌入式模块7处理系统实现智能助老机器人的3D视觉功能,完成3D异常步态数据采集和分析处理;
5)非特定人语音识别模块2实现智能移动机器人的听觉功能,实现人机语音交互和远程语音通信功能;
6)GPS模块6,电机驱动模块8,陀螺仪传感模块10,三轴加速度传感模块11,超声波和红外避障模块12和NFC近场通信导航定位模块14共同实现助老机器人的自主导航定位,行走时的姿态控制,使助老机器人可以在室内外等复杂环境下工作,由于使用了定位模块,可以实时获取助老机器人的具体位置信息,有利于异常事件发生时的实时定位和紧急救援;
7)自充电电源模块9实现电源的实时监控,报警和自主导航充电功能;
8)大尺寸交互式触摸屏3实现人机交互,包括助老机器人的参数设置,信息输入和输出等;
9)物联网WiFi模块4和云端接口模块5实现助老机器人和智能家居产品和互联互通和智能控制,以及联接互联网和智能云平台,实现云端信息的发布和订阅等;
10)并行云服务器,大数据云存储器,高速网络传输设备等构成智能云19的硬件平台;
11)参见图3,Linux网络虚拟服务平台,通道队列服务,数据安全服务,云推送服务,虚拟机器视觉服务程序,虚拟智能决策服务程序和虚拟远程医疗服务程序构成智能云15的软件系统平台;
12)ActiveMQ消息总线模块18为终端域助老机器人与云平台以及远程医疗智能平台20之间通讯构建管道协议;
3D异常步态数据采集
1)使用Python中的SimpleCV库,调用Kinect深度摄像机采集函数,实现深度摄像机的3D异常步态数据采集;
2)使用SimpleCV库里图像滤波和背景去除算法函数,实现运动图像的人物提取和深度图像增强。
参数化人体异常步态模型重建
1)参见图4,读取Kinect像机参数,Ffilter采用小波滤波方法,近邻点数k=8,计算去除背景后所有人体深度像素点(x,y,z)的三维世界坐标(X,Y,Z),得到三维人体点云数据(见附图4),公式如下:
2)参见图5,选取一副标准参数化的人体模型,并嵌入低维人体骨架(使用23关节和23骨头;
3)参见图6,计算三维人体异常步态数据Vc的采集视角α,提取α视角下三维人体Vc的轮廓标记点以人体质心为中心,顺时针取等间隔角度取100个点,zk表示提取出来的第k个轮廓标记点。
4)将标准人体模型Vs旋转至α视角,初始化标准姿态T的关节角度参数为ψ0,同样提取α视角下三维人体Vs的轮廓标记点100个:
5)利用计算两模型轮廓的能量差,取ω1=0.7,ω2=0.3;
6)标准姿态T的关节角度参数为ψn,n为迭代次数,重复4)和5),迭代得到能量取优的姿态参数ψopt;
7)参见图7,Vs(ψopt)为重建的参数化人体异常步态模型。
基于三维特征描述子的彩色动作能量图生成
1)取邻域点数k=8,计算参数化人体步态模型中所网格顶点的局部微分特征值:
2)计算所有顶点的最大和最小曲率半径di=[rmax,rmin],同样取邻域点k=8,采用下式进行估计:
其中α为两顶点之间的法向量夹角,d为两顶点之间的距离。
3)将计算出的局部微分特征值v′i,曲率半径估计算子rmax和rmin离散化为[0255],加权后分别对应2D彩色平面图中的:Y,U和V分量,形成基于三维特征描述子的彩色成像平面图。取对应亮度分量,对应色度分量,对应色度分量。
4)将完整周期(含N帧数据,通过采用固定时间段分割和步态周期检测相结合的方法得到)的彩色成像平面图进行加权叠加,生成基于三维特征描述子的彩色动作能量图。即对一个周期中彩色成像平面图的分量Y,U和V加权叠加:
其中,取wi=1/N。由Y、U和V分量共同构成基于三维特征描述子的彩色动作能量图T={Y,U,V∈Rm×n}(见图8),能量图大小取m=150,n=100。
彩色异常动作能量图进行基于奇异值分解的数据降维
1)令有K=10类彩色动作能量图(代表不同的异常步态),每类采集10组样本,则每类样本个数都为nk=10,(k=1,2,…,K)。属于第k类的第j个样本表示为:
2)计算两类方差信息和
3)计算所有像素点的相关系数:
4)计算第k类的异常行为加权参数γk:
5)计算计算彩色动作能量图的异常行为加权平均矩阵:
6)彩色动作能量图的异常行为加权协方差矩阵:
7)对σ2作奇异值分解:σ2=PTDP,其中:D=diag{λ1,λ2,...λn},λ1≥λ2≥...≥λn,P∈Rm×n为相关的特征向量,取d(d≤n)个最大特征向量(d取值满足),构成最佳的投影矩阵Popt,降维后特征表示为:
3)分别对彩色动作能量图Y,U和V三分量进行降维,降维后的最终特征表述为:
基于张量分析的多线性子空间分析方法
1)利用三维步态参数模型进行多视角的映射旋转变换,旋转步进取Δβ=20°,合成βn角度的步态数据
2)将多视角和各种异常行为的动作特征表述为高阶张量D:
3)将多视角下的异常行为特征进行基于嵌入图框架的高阶张量分解:D=Υ×1Uposes×2Uviews×3Ufeatures,得到新特征空间Uposes,Uviews和Ufeatures。其中,Uposes为异常行为特征空间,其中第k个异常行为的特征向量表示为Wk;Uviews为异常行为视角特征空间;Ufeatures为异常行为彩色动作能量图降维后的特征。
4)利用采集的样本进行训练,得到异常行为映射矩阵
5)识别的过程中,先计算动作视角β,对应异常动作能量图降维后特征为通过异常行为映射矩阵得到异常行为估计参数Wk。通过对估计参数的概率分析,得到异常行为Wp的识别结果:p(p|Wk)。
通过智能云将异常行为信息推送到智能社区和智能医院信息平台
1)在3D异常步态行为检测识别的助老机器人上,使用基于ActiveMQ消息总线的APP程序进行异常消息的发布,以推送技术为核心,将异常行为发布到智能云平台上;
2)智能社区和智能医院信息平台通过ActiveMQ服务程序,通过“订阅”方式,绑定需要异常关注的助老机器人;
3)当有异常信息发布到了智能云平台上,智能云将信息推送到订阅了该信息的智能社区和智能医院信息平台终端,进行实时的老龄人异常行为预警。
Claims (5)
1.一种基于3D异常步态行为检测识别的实现方法,其特征在于,采用下述的一种基于3D异常步态行为检测识别的智能助老机器人:
包括机器人机械结构、机器人硬件平台、智能云和智能医院信息平台,所述的机器人硬件平台安装于机器人机械结构上,智能云分别通过ActiveMQ消息总线模块通信连接机器人硬件平台和智能医院信息平台;
所述的机器人机械结构包括机器人底盘、驱动电机、机器人轮胎和机器人支架;所述的机器人底盘的底部设有机器人轮胎,驱动电机固定于机器人底盘上并驱动机器人轮胎,机器人支架固定于机器人底盘顶部并用于支撑机器人硬件平台;
所述的机器人硬件平台包括三维视觉Kinect体感摄像机、非特定人语音识别模块、触摸屏、物联网WiFi模块、云端接口模块、GPS模块、ARM11嵌入式模块、电机驱动模块、自充电电源模块、陀螺仪传感模块、三轴加速度传感模块、避障模块和NFC近场通信导航定位模块;所述的三维视觉Kinect体感摄像机、非特定人语音识别模块、触摸屏、物联网WiFi模块、云端接口模块、GPS模块、电机驱动模块、自充电电源模块、陀螺仪传感模块、三轴加速度传感模块、避障模块和NFC近场通信导航定位模块分别与ARM11嵌入式模块通信连接;
所述的智能云包括并行云服务器、大数据云存储器和高速网络传输设备,所述的大数据云存储器通信连接至并行云服务器,所述的高速网络传输设备为并行云服务器提供数据传输通道;
所述的智能医院信息平台包括信息中心服务器,交互式大屏幕显示器,IP电话系统,PDA移动终端,所述的交互式大屏幕显示器,IP电话系统,PDA移动终端分别通信连接信息中心服务器;
包括以下步骤:
步骤一:对机器人所采集到的人体异常步态数据进行基于标准模型的三维异常步态参数化重建;具体过程为:
1)利用Kinect深度摄像机采集输出的深度图像,获取每个深度像素点的按坐标顺序排列的数据序列(x,y,z);
2)利用深度像素点(x,y,z)信息和三维人体重建修复模型,计算出所有人体点云数据的三维世界坐标(X,Y,Z),构建出人体的表面模型;
3)利用嵌入人体骨架的标准参数化人体模型和采集的异常步态点云数据进行三维轮廓匹配,生成姿态一致的参数化的人体异常步态模型;
步骤二:利用局部微分算子和基于曲率半径的三维描述子来提取3D人体模型的表面信息特征,并将其投影到2D彩色成像平面图上,将完整周期内所有彩色成像平面图进行加权合成,生成基于三维特征描述子的彩色动作能量图;生成过程如下:
1)提取三维异常步态模型的网络顶点局部微分特征;
利用顶点邻边向量信息,求取微分特征:
<mrow>
<msubsup>
<mi>v</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>cot</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mi>&theta;</mi>
<mo>+</mo>
<msub>
<mi>cot</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
其中,vn为异常步态参数模型三角面片中的第n个顶点,两顶点边<i,j>相邻有两个三角形,其对角由θ和β表示,Nk(i)表示顶点vi的k个相邻的顶点集合,v′i为所求微分特征值,代表曲面局部特征信息;
2)提取三维异常步态模型基于曲率半径的三维描述子;
取顶点vi和它的k个相邻的顶点集合,利用下式估计vi和相邻顶点vj的曲率半径r:
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mn>2</mn>
</msqrt>
<mi>r</mi>
<msqrt>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&alpha;</mi>
</mrow>
</msqrt>
<mo>,</mo>
<mi>&alpha;</mi>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mi>&pi;</mi>
<mo>/</mo>
<mn>2</mn>
<mo>&rsqb;</mo>
</mrow>
其中,α为两顶点之间的法向量夹角,d为两顶点之间的距离;在所有估计出来曲率半径中,保留最大值和最小值作为顶点局部特征:di=[rmax,rmin];
3)将三维特征描述子信息投影到2D彩色成像平面图;
将计算出的顶点局部微分特征值v′i,曲率半径估计算子rmax和rmin离散化为[0 255]之间,加权后分别对应2D彩色成像平面中YUV颜色编码方法中的Y,U和V分量,形成基于三维特征描述子的彩色成像平面图,对应YUV彩色空间中的亮度分量,对应色度分量,对应色度分量,其中i表示平面上对应的像素点,η,ξ和λ为权重参数;
4)将含N帧数据,通过采用固定时间段分割和步态周期检测相结合的方法得到的完整周期的彩色成像平面图进行加权叠加,生成基于三维特征描述子的彩色动作能量图;即对一个周期中彩色成像平面图的分量Y,U和V加权叠加:
<mrow>
<mi>Y</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>Y</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>U</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>U</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>V</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>V</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
</mrow>
其中,N为虚拟彩色成像平面图的帧数,w为权重参数,由Y、U和V分量共同构成基于三维特征描述子的彩色动作能量图T={Y,U,V∈Rm×n};
步骤三:对三维特征描述子彩色动作能量图进行基于异常行为加权奇异值分解和数据降维:
1)计算彩色动作能量图的异常行为加权平均矩阵和异常行为协方差矩阵令有K类彩色动作能量图,代表不同的异常步态类,nk(k=1,2,K,K)表示每一类的样本个数,则属于第k类的第j个样本表示为:
<mrow>
<msubsup>
<mi>T</mi>
<mi>k</mi>
<mi>j</mi>
</msubsup>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msup>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>=</mo>
<mn>1...</mn>
<mi>K</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>...</mo>
<msub>
<mi>n</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
计算彩色动作能量图的异常行为加权平均矩阵:彩色动作能量图的异常行为加权协方差矩阵:其中,γk为异常行为加权参数,体现了一个周期内不同帧的权重,权重大的帧携带的异常特征信息多,反之则携带信息少,先定义两类方差信息和
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>w</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>k</mi>
</msub>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>T</mi>
<mi>k</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>,</mo>
<mi>v</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mi>K</mi>
<mo>,</mo>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
<mo>}</mo>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>b</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>,</mo>
<mi>v</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mi>K</mi>
<mo>,</mo>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
<mo>}</mo>
</mrow>
其中,N表示所有样本数总和,μk(v)表示第k类所有样本点的均值,μ(v)表示所有类样本点的均值,m×n为彩色动作能量图的总像素大小,v表示像素点,令:
<mrow>
<msubsup>
<mi>&gamma;</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>v</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>b</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>w</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>v</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mi>K</mi>
<mo>,</mo>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
<mo>}</mo>
<mo>,</mo>
<mi>j</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mi>K</mi>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<mo>}</mo>
</mrow>
γk为异常行为加权参数计算为:
<mrow>
<msub>
<mi>&gamma;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</munderover>
<msubsup>
<mi>&gamma;</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>v</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>k</mi>
</msub>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</munderover>
<msubsup>
<mi>&gamma;</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>v</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
2)对σ2作奇异值分解:σ2=PTDP,其中:
<mrow>
<mi>D</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mi>O</mi>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>&lambda;</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
λ1≥λ2≥...≥λn P∈Rm×n为相关的特征向量,取前d(d≤n)个最大特征向量,构成投影矩阵Popt,降维后特征表示为:
3)分别对彩色动作能量图Y,U和V三分量进行降维,取相同的d(d≤n)值,降维后的最终特征表述为:
步骤四:运用基于张量分解的多线性子空间分析方法,对多视角下降维后的数据进行视角无关的特征提取,完成视角可变的异常步态行为分类和识别;基于张量分析的多线性子空间分析方法为:
1)利用三维步态参数模型进行多视角的映射旋转变换,合成βn角度的步态数据
2)将多视角和各种异常行为的动作特征表述为高阶张量D:
<mrow>
<mi>D</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mn>1</mn>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>k</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>K</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mn>1</mn>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>k</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>K</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mn>1</mn>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>N</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>k</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>N</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mi>K</mi>
<mi>j</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&beta;</mi>
<mi>N</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
3)将多视角下的异常行为特征进行基于嵌入图框架的高阶张量分解:D=Υ×1Uposes×2Uviews×3Ufeatures,得到新特征空间Uposes,Uviews和Ufeatures;其中,Uposes为异常行为特征空间,其中第k个异常行为的特征向量表示为Wk;Uviews为异常行为视角特征空间;Ufeatures为异常行为彩色动作能量图降维后的特征;
4)令基向量Υ=D×2Uviews×3Ufeatures,人体模型行走视角和动作能量图都已知的情况下,第k个异常行为在β视角下的异常动作特征可以表示为:定义异常行为映射矩阵异常行为映射矩阵通过训练得到,在识别的过程中,已知动作视角β,对应异常动作能量图降维后特征为即可通过异常行为映射矩阵得到异常行为估计参数Wk,通过对估计参数的概率分析,即可得到异常行为Wp的识别结果:p(p|Wk);
步骤五:通过智能云将异常行为信息推送到智能社区和智能医院信息平台。
2.根据权利要求1所述的方法,其特征在于,所述的步骤2)中利用深度像素点(x,y,z)信息和三维人体重建修复模型,计算出所有人体点云数据的三维世界坐标(X,Y,Z),构建出人体的表面模型方法如下:
三维人体重建修复模型如下:
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>K</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>F</mi>
<mrow>
<mi>f</mi>
<mi>i</mi>
<mi>l</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<msub>
<mi>F</mi>
<mrow>
<mi>a</mi>
<mi>d</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<mi>T</mi>
<mo>&CenterDot;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>k</mi>
<mo>,</mo>
<mi>p</mi>
<mo>,</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
</mrow>
通过上述模型,计算出所有滤波修复后的深度像素点(x,y,z)所对应的三维世界坐标(X,Y,Z),构建出人体的表面模型,式中d为z轴方向的深度值,K为模型参数,T代表所采集的红外图像和生成的深度图像之间的相对平移修正参数,R为红外摄像机旋转修正矩阵,Fadj为摄像机的畸变修正函数,k、p和s为红外摄像机的畸变参数,分别对应径向形变,切身形变和薄梭镜形变参数,Ffilter(·)为深度值滤波修正函数,Dk代表深度点的k个近邻点集合。
3.根据权利要求2所述的方法,其特征在于,所述的步骤3)中生成参数化人体异常步态模型过程如下:
利用嵌入人体骨架的标准参数化人体模型和采集的异常步态点云数据进行三维轮廓匹配,生成姿态一致的参数化的人体异常步态模型,通过能量最优化问题来求解此过程:
<mrow>
<mi>E</mi>
<mo>=</mo>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>l</mi>
<mi>h</mi>
<mi>o</mi>
<mi>u</mi>
<mi>e</mi>
<mi>t</mi>
<mi>t</mi>
<mi>e</mi>
</mrow>
<mi>&psi;</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>E</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
<mi>&psi;</mi>
</msubsup>
</mrow>
其中为标准参数模型和异常步态模型“轮廓标记点”之间距离范数的能量函数,姿态参数为ψ,为两模型最佳匹配点云之间距离范数的能量函数,ω1和ω2为权值信息,ω1+ω2=1。
4.根据权利要求3所述的方法,其特征在于,轮廓标记点提取方法如下:
三维轮廓标记点计算公式:
<mrow>
<mi>Z</mi>
<mo>=</mo>
<msubsup>
<mi>Extract</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>l</mi>
<mi>h</mi>
<mi>o</mi>
<mi>u</mi>
<mi>e</mi>
<mi>t</mi>
<mi>t</mi>
<mi>e</mi>
</mrow>
<mi>&alpha;</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>V</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>K</mi>
</msub>
</mrow>
其中V表示人体三维点云集合,V={v1,v2,...vn,...,vN},vn表示集合中的第n个点云的三维坐标,表示提取α视角下三维人体V的轮廓标记点,zk表示提取出来的第k个轮廓标记点。
5.根据权利要求4所述的方法,其特征在于,Esilhouette和Edis计算过程如下:
Esilhouette和Edis计算公式:
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>l</mi>
<mi>h</mi>
<mi>o</mi>
<mi>u</mi>
<mi>e</mi>
<mi>t</mi>
<mi>t</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>Extract</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>l</mi>
<mi>h</mi>
<mi>o</mi>
<mi>u</mi>
<mi>e</mi>
<mi>t</mi>
<mi>t</mi>
<mi>e</mi>
</mrow>
<mi>&alpha;</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mi>&psi;</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>Extract</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>l</mi>
<mi>h</mi>
<mi>o</mi>
<mi>u</mi>
<mi>e</mi>
<mi>t</mi>
<mi>t</mi>
<mi>e</mi>
</mrow>
<mi>&alpha;</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
Edis=||Vs(ψ)-Vc||2
Vs(ψ)表示标准模型在姿态参数为ψ时的人体三维点云集合,其中:
ψ=[Δα1 Δα2...Δαm...ΔαM]
其中Δαm表示人体第m个骨架关节的相对旋转角度,利用所求得的最优Vs(ψ),即为标准的三维参数化异常步态人体模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510530331.0A CN105335696B (zh) | 2015-08-26 | 2015-08-26 | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510530331.0A CN105335696B (zh) | 2015-08-26 | 2015-08-26 | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105335696A CN105335696A (zh) | 2016-02-17 |
CN105335696B true CN105335696B (zh) | 2018-05-22 |
Family
ID=55286212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510530331.0A Expired - Fee Related CN105335696B (zh) | 2015-08-26 | 2015-08-26 | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105335696B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955208B (zh) * | 2016-04-15 | 2020-07-10 | 青岛克路德机器人有限公司 | 一种基于云平台的网络机器人数据控制系统 |
CN105931283B (zh) * | 2016-04-22 | 2019-10-29 | 南京梦宇三维技术有限公司 | 一种基于动作捕捉大数据的三维数字内容智能制作云平台 |
WO2018010091A1 (zh) * | 2016-07-12 | 2018-01-18 | 太仓光电技术研究所 | 一种老年服务机器人 |
CN106445135B (zh) * | 2016-09-21 | 2020-07-28 | 北京光年无限科技有限公司 | 通过智能机器人进行体态纠正的数据交互方法和系统 |
CN106919921B (zh) * | 2017-03-06 | 2020-11-06 | 重庆邮电大学 | 结合子空间学习与张量神经网络的步态识别方法及系统 |
CN106980829B (zh) * | 2017-03-17 | 2019-09-20 | 苏州大学 | 基于视频分析的打架斗殴异常行为自动检测方法 |
CN107016686A (zh) * | 2017-04-05 | 2017-08-04 | 江苏德长医疗科技有限公司 | 三维步态与运动分析系统 |
CN107403143A (zh) * | 2017-07-06 | 2017-11-28 | 广东小天才科技有限公司 | 一种步态识别方法及电子设备 |
CN107423729B (zh) * | 2017-09-20 | 2023-12-19 | 湖南师范大学 | 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法 |
CN107423730B (zh) * | 2017-09-20 | 2024-02-13 | 湖南师范大学 | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 |
CN108363978B (zh) * | 2018-02-12 | 2022-04-22 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
CN108363490A (zh) * | 2018-03-01 | 2018-08-03 | 深圳大图科创技术开发有限公司 | 一种交互效果良好的智能机器人系统 |
CN108564599B (zh) * | 2018-04-08 | 2020-11-24 | 广东省智能制造研究所 | 一种人体运动速度估计方法 |
CN108564043B (zh) * | 2018-04-17 | 2021-08-31 | 中国民航大学 | 一种基于时空分布图的人体行为识别方法 |
CN108921062B (zh) * | 2018-06-21 | 2022-03-22 | 暨南大学 | 一种联合多步态特征协同字典的步态识别方法 |
CN109543517A (zh) * | 2018-10-16 | 2019-03-29 | 华南理工大学 | 一种计算机视觉人工智能应用方法及系统 |
CN109949368B (zh) * | 2019-03-14 | 2020-11-06 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
CN110197130B (zh) * | 2019-05-09 | 2023-01-24 | 广州番禺职业技术学院 | 一种生猪步态异常检测设备及系统 |
CN110605724B (zh) * | 2019-07-01 | 2022-09-23 | 青岛联合创智科技有限公司 | 一种智能养老陪伴机器人 |
CN110308669B (zh) * | 2019-07-27 | 2021-07-30 | 南京市晨枭软件技术有限公司 | 一种模块机器人自修复仿真系统及方法 |
CN112617783A (zh) * | 2019-09-24 | 2021-04-09 | 叶磊 | 一种基于老年人的智能型实时监护安全管家系统 |
CN111881712B (zh) * | 2020-05-12 | 2021-03-19 | 郑海英 | 基于信号处理的医疗器械实时跟踪平台 |
CN111667005B (zh) * | 2020-06-05 | 2023-09-12 | 镇江傲游网络科技有限公司 | 一种采用rgbd视觉传感的人体交互系统 |
CN112656402B (zh) * | 2020-11-30 | 2023-01-13 | 重庆优乃特医疗器械有限责任公司 | 应用于3d体态检测分析的采集机器人联动控制系统 |
CN112494034B (zh) * | 2020-11-30 | 2023-01-17 | 重庆优乃特医疗器械有限责任公司 | 基于3d体态检测分析的数据处理分析系统及方法 |
CN112571426B (zh) * | 2020-11-30 | 2023-03-17 | 重庆优乃特医疗器械有限责任公司 | 3d体态检测分析系统及方法 |
CN113159007B (zh) * | 2021-06-24 | 2021-10-29 | 之江实验室 | 一种基于自适应图卷积的步态情感识别方法 |
CN117132936A (zh) * | 2023-08-31 | 2023-11-28 | 北京中电拓方科技股份有限公司 | 煤炭板块自建系统数据梳理及数据接入系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289556A (zh) * | 2011-05-13 | 2011-12-21 | 郑正耀 | 一种超市购物助手机器人 |
CN102895093A (zh) * | 2011-12-13 | 2013-01-30 | 冷春涛 | 一种基于rgb-d传感器的助行机器人跟踪系统及方法 |
CN204028698U (zh) * | 2014-05-30 | 2014-12-17 | 宣东 | 一种守护服务老年人的智能机器人 |
-
2015
- 2015-08-26 CN CN201510530331.0A patent/CN105335696B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289556A (zh) * | 2011-05-13 | 2011-12-21 | 郑正耀 | 一种超市购物助手机器人 |
CN102895093A (zh) * | 2011-12-13 | 2013-01-30 | 冷春涛 | 一种基于rgb-d传感器的助行机器人跟踪系统及方法 |
CN204028698U (zh) * | 2014-05-30 | 2014-12-17 | 宣东 | 一种守护服务老年人的智能机器人 |
Non-Patent Citations (2)
Title |
---|
Introducing the use of depth data for fall detection;Rainer Planinc 等;《Pers Ubiquit Comput》;20131231;1063-1071 * |
基于RGBD跌到检测综述;王力玄;《电脑知识与技术》;20150430;第11卷(第10期);172-175 * |
Also Published As
Publication number | Publication date |
---|---|
CN105335696A (zh) | 2016-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105335696B (zh) | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 | |
CN111325843B (zh) | 一种基于语义逆深度滤波的实时语义地图构建方法 | |
CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
CN110706248B (zh) | 一种基于slam的视觉感知建图方法及移动机器人 | |
CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
CN107808131B (zh) | 基于双通路深度卷积神经网络的动态手势识别方法 | |
CN106826833B (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
CN103268629B (zh) | 三维人体形态和姿态的无标记点实时复原方法 | |
CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
CN111563446A (zh) | 一种基于数字孪生的人-机交互安全预警与控制方法 | |
CN109828658B (zh) | 一种人机共融的远程态势智能感知系统 | |
JPH08212329A (ja) | 適応的認識システム | |
CN102932638B (zh) | 基于计算机建模的3d视频监控方法 | |
CN112766165B (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
CN112287857A (zh) | 一种多视角异常步态识别方法 | |
CN109872355A (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
CN115900710A (zh) | 基于视觉信息的动态环境导航方法 | |
Zhu et al. | Real-time motion capture: An overview | |
CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及系统 | |
CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
Tenguria et al. | Design framework for general purpose object recognition on a robotic platform | |
CN207529395U (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统 | |
CN116071485A (zh) | 一种人体三维重建方法及设备 | |
Singh et al. | Autonomous Multiple Gesture Recognition system for disabled people | |
Hong et al. | Research of robotic arm control system based on deep learning and 3D point cloud target detection algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180522 Termination date: 20200826 |