CN109325476A - 一种基于三维视觉的人体异常姿态检测系统及方法 - Google Patents
一种基于三维视觉的人体异常姿态检测系统及方法 Download PDFInfo
- Publication number
- CN109325476A CN109325476A CN201811384171.3A CN201811384171A CN109325476A CN 109325476 A CN109325476 A CN 109325476A CN 201811384171 A CN201811384171 A CN 201811384171A CN 109325476 A CN109325476 A CN 109325476A
- Authority
- CN
- China
- Prior art keywords
- plane
- characteristic
- points
- human body
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 48
- 230000008859 change Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 22
- 210000000988 bone and bone Anatomy 0.000 claims description 83
- 208000028752 abnormal posture Diseases 0.000 claims description 17
- 238000007637 random forest analysis Methods 0.000 claims description 11
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 9
- 229910052744 lithium Inorganic materials 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 2
- 238000012417 linear regression Methods 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000003066 decision tree Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011497 Univariate linear regression Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000011065 in-situ storage Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 102100035932 Cocaine- and amphetamine-regulated transcript protein Human genes 0.000 description 2
- 101000715592 Homo sapiens Cocaine- and amphetamine-regulated transcript protein Proteins 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Operations Research (AREA)
- Dentistry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Probability & Statistics with Applications (AREA)
- Psychiatry (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
Abstract
本发明公开了一种基于三维视觉的人体异常姿态检测系统及方法，属于计算机视觉技术领域，本发明要解决的技术问题为如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况，采用的技术方案为：该方法是将Kinect体感传感器搭载在采用Mecanum轮移动平台上，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向和移动速度而移动，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型并进行人体的跌倒检测。
Description
技术领域
本发明涉及属于计算机视觉技术领域，具体地说是一种基于三维视觉的人体异常姿态检测系统及方法。
背景技术
跌倒已经渐渐的成为继慢性疾病、交通事故、癌症之后导致老年人高死亡率和致残率的第四种原因。如果老年人跌倒时能够及时的发现，就能够让老年人得到及时的救助和治疗同时减少老年人因跌倒带来的伤害和病痛。
利用Kinect体感传感器来做跌倒检测的方法大致可以分为两类：一类是利用Kinect获取到的RGB图像和深度图像进行处理，利用Kinect深度图像技术获取人体深度图像前景图,建立前景图三维包围盒,通过实时计算的三维包围盒的长、宽、高数值以及该数值的变化速度,判断人体跌倒是否发生；另一类是通过Kinect骨骼追踪技术获取人体骨架关节点的空间位置，设计摔倒识别特征，支持向量机技术，进行跌倒检测。这两类技术都是把Kinect摄像头放置在固定位置，所以跌倒检测具有局限性，只能在摄像头能够覆盖的空间内进行跌倒检测，如果在每个房间内都安装一个摄像头其经济成本太过昂贵。跌倒检测主要针对的是老年人，虽然老年人的活动范围有限，单是在有限的范围内还会受到家具等遮挡物的遮挡。如果老年人正好在摄像头的遮挡物处死角跌倒，就不能及时检测到老年人跌倒。故如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况是目前急需解决的技术问题。
专利号为CN107578036A的专利文献公开了一种局域小波距的深度图像跌倒识别算法，该算法首先根据图像中各像素点相对于质心的距离做归一化，然后对归一化的图像极坐标化、FFT变换，最后对图像进行小波变换获取特征向量，并结合最小距离分类识别人体行为。但是该技术方案仅能在固定位置获取数据进行跌倒检测且仅能对深度图像进行处理，深度图像包含的数据内容十分多且复杂，数据处理难度较大，同时跌倒模型时，对所有像素点进行相对于质心距离做归一化处理，计算量较大。
发明内容
本发明的技术任务是提供一种基于三维视觉的人体异常姿态检测系统及方法，来解决如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况的问题。
本发明的技术任务是按以下方式实现的，一种基于三维视觉的人体异常姿态检测方法，该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测。
作为优选，所述根据跌倒模型实时进行人体的跌倒检测包括如下步骤：
S1、利用Kinect体感传感器的摄像头获取人体的深度图形；
S2、利用深度图形建立人体骨骼点构成的人体骨架图；
S3、提取用于跌倒检测判定的五个特征骨骼点；
S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L1且确保五个特征骨骼点到平面L1的距离最小；
S5、建立与平面L1垂直的平面L2且确保五个特征骨骼点到平面L2的距离最小；
S6、计算五个特征骨骼点在移动过程中到平面L1和平面L2的加权平均距离和以及五个特征骨骼点的移动速度
S7、利用加权平均距离和以及五个特征骨骼点的移动速度的变化来判断是否发生跌倒：
①、若加权平均距离和大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；
②、若特征骨骼点的速度大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。
更优地，所述特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱。
更优地，所述步骤S4中建立平面L1方法包括如下步骤：
(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)、D(x4,y4,z4)和E(x5,y5,z5)；
(2)、利用最小二乘法中的一元线性回归分析(回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析)建立样本回归模型：
其中，Yi为因变量，表示响应变量或被预测变量；为Yi的截距；为直线斜率；Xi为自变量，表示解释变量或预测变量；ei为随机误差；Yi模型中的Xi对应的值；
(3)、计算残差平方和：
其中，为实际的坐标值；
(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以为变量，计算出值：
即Q对两个待估参数的偏导数：
解得：
(5)、距离五个特征骨骼点距离最小的切面垂直与地面，故平面方程为z1＝k1x+b1；
(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k1，b1值；
(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置。
更优地，所述步骤S5中建立平面L2的方法包括如下步骤：
(1)、利用点和平面的性质，根据平面L1求出L1的一个正交切面L2，使平面L2与地面垂直；
(2)、使平面L2经过人体的脊柱骨骼点E(x5,y5,z5)；
(3)、平面L1和平面L2在x轴和z轴构成的平面内为两条正交的直线，已知L1的方程z1＝k1x+b1，故L2的方程z2＝k2x+b2的系数，联立方程组求出L2的平面方程系数：
得出，
人体的背部开始是对着Kinect体感传感器的摄像头的L1平面，就是当人体在Kinect体感传感器的摄像头前后方向上的跌倒时，平面L1的位置就会发生垂直于地面的平移变化，骨骼点到平面L1的距离就会发生明显的变化，根据距离的变化来判定其是否发生跌倒；但是不能只根据平面L1来判定跌倒是否发生，当人体跌倒的方向在Kinect体感传感器的摄像头的左右方向时，跌倒基本上就会发生在L1平面附近，而且特征骨骼点到平面L1距离上不会有太大的变化，进而不能判定跌倒的发生，所以平面L2的作用就是来弥补不能判别这种跌倒情况的发生；当人体不论是往哪一个方向跌倒时骨骼点到两个平面的距离都会发生明显的变化，但是有一种类似于弯腰的情况就比较特殊，取的五个特征骨骼点是人体上半身躯干的位置，当人体弯腰时五个特征骨骼点距离两个平面的距离也会发生比较明显的变化，但这不属于跌倒的发生，所以还要引入人体骨骼点速度的变化来作为判定的依据，弯腰这种类似的过程对于老年人来说是相对比较缓慢的，速度的变化不会变化太大的。
作为优选，所述步骤S6中五个特征骨骼点的移动速度V的计算方法如下：
(1)、计算特征骨骼点到平面L1和平面L2的距离：
①、五个特征骨骼点分别到平面L1的距离为：
五个特征骨骼点到平面L1的加权平均距离为：
其中，dA1、dB1、dC1、dD1、dE1分别表示五个特征骨骼点分别到平面L1的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
②、五个特征骨骼点分别到平面L2的距离为：
五个点到平面L2的加权平均距离为：
其中，dA2、dB2、dC2、dD2、dE2分别表示五个特征骨骼点分别到平面L2的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；
①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；
②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x,y,z,w，这4个参数即为地面方程的系数x,y,z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；
③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：
④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：
其中，di+1为时间ti+1时间帧点到地面的距离；di为时间ti时间帧点到地面的距离；
⑤、计算五个特征骨骼点在运动过程中的平均速度：
其中，vA、vB、vCvD、vE分别表示五个特征骨骼点在运动过程中的速度。
作为优选，该系统包括移动平台，移动平台下侧面设置有至少三个移动轮，移动轮采用Mecanum轮；移动平台的上侧面设置有Kinect体感传感器，Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；
移动平台上还设置有直流电机和主控制器，直流电机上设置有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。
作为优选，所述移动平台上还设置有锂电池、充电管理模块和电源管理模块，充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。
更优地，所述Kinect体感传感器设置有Depth传感器，Depth传感器是利用TOF(Time of Fligh)技术投射的红外线脉冲反射回来的时间来获得可以取得Depth数据(和传感器的距离信息)。
本发明的基于三维视觉的人体异常姿态检测系统及方法具有以下优点：
(一)、Kinect体感传感器能够跟随人体移动，解决了人体运动时，出现拍摄死角，不能及时监测人体是否跌倒的问题，同时解决了跌倒监测范围的局限性问题；
(二)、移动平台上由三个或以上Mecanum轮排列组成的移动平台具有平面内三个自由度,可同时独立的前后、左右和原地旋转运动,可在不改变自身位姿的情况下向任意方向移动，借助于横向移动和原地回旋的特性，全方位运动平台可方便的穿梭于狭窄拥挤空间中,Mecanum轮具有很高的灵活性，能够适应多种环境，确保搭载了Kinect体感传感器的移动平台能够跟随式的获取人体运动数据，能够有效的避免遮挡物的遮挡问题；
(三)、搭载了Kinect体感传感器的移动平台能够近距离的跟随在，确保获取数据的准确性及有效性，进而保证判别跌倒的准确率，减少跌倒的判别误差，同时近距离建立的跌倒模型也具有很高的跌倒识别性
(四)、Kinect体感传感器上搭载了彩色深度摄像头，可以获取人体深度图像；Kinect体感传感器可以应用于不同场景，获取人体深度图像数据并提取人体骨骼点，建立人体骨架图，通过骨骼点的三维空间位置来计算出人体骨骼点距离摄像头的距离进而转换为控制指令实现移动平台的移动方向和移动速度的控制，确保移动平台与人体间隔适当距离，同时能够紧随人体，确保人体深度图像数据的准确性；
(五)、Kinect体感传感器与被检测人体始终保持在1.5m的距离，所得到的数据也更加具有真实性和代表性；为了结合这种优势在数据提取上采用的是利用人体特征骨骼点的数据建立一个垂直的平面L1,同时利用平面L1找到与平面L1正交的平面L2，在实时追踪监测过程中不断的获取特征骨骼点与这两个平面内的垂直距离d；当d大于设定的阈值就代表特征骨骼点偏出建立的标准坐标系，发生巨大空间位置变化，表示人体极有可能发生跌倒。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于三维视觉的人体异常姿态检测方法的流程框图；
附图2为基于三维视觉的人体异常姿态检测系统的结构框图；
附图3为在平面L1上特征骨骼点分布图；
附图4为在平面L2上特征骨骼点分布图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于三维视觉的人体异常姿态检测系统及方法作以下详细地说明。
实施例1：
本发明的基于三维视觉的人体异常姿态检测方法,该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测。如附图1所示，根据跌倒模型实时进行人体的跌倒检测包括如下步骤：
S1、利用Kinect体感传感器的摄像头获取人体的深度图形；
S2、利用深度图形建立人体骨骼点构成的人体骨架图；
S3、提取用于跌倒检测判定的五个特征骨骼点；特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱；
S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L1且确保五个特征骨骼点到平面L1的距离最小；
建立平面L1方法包括如下步骤：
(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)、D(x4,y4,z4)和E(x5,y5,z5)；
(2)、利用最小二乘法中的一元线性回归分析(回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析)建立样本回归模型：
其中，Yi为因变量，表示响应变量或被预测变量；为Yi的截距；为直线斜率；Xi为自变量，表示解释变量或预测变量；ei为随机误差；Yi模型中的Xi对应的值；
(3)、计算残差平方和：
其中，为实际的坐标值；
(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以为变量，计算出值：
即Q对两个待估参数的偏导数：
解得：
(5)、距离五个特征骨骼点距离最小的切面垂直与地面，故平面方程为z1＝k1x+b1；
(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k1，b1值；
(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置，如图3所示。
S5、建立与平面L1垂直的平面L2且确保五个特征骨骼点到平面L2的距离最小；建立平面L2的方法包括如下步骤：
(1)、利用点和平面的性质，根据平面L1求出L1的一个正交切面L2，使平面L2与地面垂直；
(2)、使平面L2经过人体的脊柱骨骼点E(x5,y5,z5)，如附图4所示；
(3)、平面L1和平面L2在x轴和z轴构成的平面内为两条正交的直线，已知L1的方程z1＝k1x+b1，故L2的方程z2＝k2x+b2的系数，联立方程组求出L2的平面方程系数：
得出，
S6、计算五个特征骨骼点在移动过程中到平面L1和平面L2的加权平均距离和以及五个特征骨骼点的移动速度
五个特征骨骼点的移动速度V的计算方法如下：
(1)、计算特征骨骼点到平面L1和平面L2的距离：
①、五个特征骨骼点分别到平面L1的距离为：
五个特征骨骼点到平面L1的加权平均距离为：
其中，dA1、dB1、dC1、dD1、dE1分别表示五个特征骨骼点分别到平面L1的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
②、五个特征骨骼点分别到平面L2的距离为：
五个点到平面L2的加权平均距离为：
其中，dA2、dB2、dC2、dD2、dE2分别表示五个特征骨骼点分别到平面L2的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；
①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；
②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x,y,z,w，这4个参数即为地面方程的系数x,y,z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；
③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：
④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：
其中，di+1为时间ti+1时间帧点到地面的距离；di为时间ti时间帧点到地面的距离；
⑤、计算五个特征骨骼点在运动过程中的平均速度：
其中，vA、vB、vC、vD、vE分别表示五个特征骨骼点在运动过程中的速度。
S7、利用加权平均距离和以及五个特征骨骼点的移动速度的变化来判断是否发生跌倒：
①、若加权平均距离和大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；
②、若特征骨骼点的速度大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。
其中，Mecanum轮的主轮周边分布着与轮子轴线成α＝45度的小滚轮，滚轮能自身转动同时又能绕车轴转动，使得主轮具备了绕轮轴的转动和沿滚轮轴线垂线方向运动的两个自由度。通过对轮子的运动解析得到平台的运动学方程为：
其中，利用平移动台的前后方向为x轴，左右方向为y轴，往前和往左为正方向。vx，vy分别为x轴和y轴的移动速度。移动平台的长度为2a，宽度为2b，Mecanum轮与主轴线的夹角为V1、V2、V3、V4分别为四个Mecanum轮的运动的线速度，ω为车轮旋转的角速度。通过公式可以设定小车在平面内的全方位移动，则可由运动学模型可以解算出4个轮子的转速和转动角速度，从而实现该小车在平面内的前后移动、左右移动、原地旋转和斜向移动等典型移动，可计算出的各Mecanum轮的转动方向和速度，将这些计算结果集中表示，即可获得常见的Mecanum轮全方位移动情况的车轮转向关系。
实施例2：
跌倒判定的具体实施案例：
(一)、计算关节点到平面的距离：根据提取的五个特征关键点以及建立的两个平面L1和L2来计算点到面的距离来进行判定跌倒的发生。
已知点M的坐标(xM,yM,zM)和平面的方程L：Ax+By+Cz+D＝0,点M到平面L的距离公式:首先计算五个骨骼特征点点分别到平面L1的距离公式为：再计算五个骨骼特征点点分别到平面L2的距离公式为：
对于Kinect体感传感器利用获取的五个特征骨骼点每一帧数据就会获取五个特征骨骼点到平面L1和平面L2的十个距离数据，直接对着十个数据进行求和或者求平均值，得到的数据没有很深的说服性和代表性，求得的数据误差也会比较大；通过对人体跌倒过程的研究，人体在跌倒时时由于惯性的原因，所以在大部分跌倒时腿部首先滑动；由于上半身仍然保持惯性的原因，人体会以一种倾斜式的方式往下坠落，所以五个特征骨骼点的位置在空间中的变化情况是不一样的，而利用简单的对距离求平均值的办法是不具有代表性的，跌倒过程中五个特征骨骼点在空间的位置变化是不一样的，对跌倒影响贡献度也是不同的，所以可以利用五个特征骨骼点对跌倒的贡献度来计算距离的平均值，利用加权平均值来计算距离的平均值。
跌倒的过程可以看做是一个连续的非间断的过程。在利用Kinect体感传感器进行跌倒检测时，利用其获取的深度图像的功能来进行提取人体骨骼点的数据；再对特征骨骼点进行处理时，提取的是头部、肩部中心、左肩、右肩和脊柱五个特征骨骼点，Kinect体感传感器在获取空间数据时，是以每秒30帧的数据进行反馈，再计算五个特征骨骼点在跌倒过程中权重的关系，可以使用随机森林的方法来计算五个特征骨骼点的权重。随机森林是一个简单的决策树的集合，输入向量在多个决策树上运行。对于回归问题，所有决策树的输出值都是平均的；对于分类问题，使用一个投票方案来确定最终的类别。
首先，身高体型有差异的五个人进行10次模拟跌倒和10次的正常行走，同时利用Kinect体感传感器对五个特征骨骼点的三维坐标进行逐帧导出进行数据的提取，把提取的数据作为训练样本。随机森林是由多个决策树构成的，每个决策树单独对数据进行预测，最终结果依赖于决策树中类别最多的一类。我们首先要生成决策树，第一步特征的选择，第二步决策树生成，第三步决策树的修剪。
因此，随机森林的训练过程如下：
(1)、给定训练集S，测试集T，特征维数F。确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m对于第1-t棵树，i＝1-t。
(2)、从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练。
(3)、如果当前节点上达到终止条件，则设置当前节点为叶子节点，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例，然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点。
(4)、重复(2)、(3)直到所有节点都训练过了或者被标记为叶子节点。
(5)、重复(2)、(3)、(4)直到所有CART都被训练过。
利用随机森林的预测过程如下：
对于第1-t棵树，i＝1-t：
(1)、从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点还是进入右节点，直到到达某个叶子节点，并输出预测值。
(2)、重复执行(1)直到所有t棵树都输出了预测值。
最后通过训练的数据输出这五个骨骼点的权重。利用权重就可以求得五个特征骨骼点到两个平面的平均距离和
(二)、通过对身高体型有差异的五个人进行10次模拟跌倒和10次的正常行走的实验中，利用上述的方法进行跌倒的模拟和检测。同时进行数据的实时采集，不断地对比分析正常行走和跌倒过程中的五个骨骼点到两个平面的加权平均距离以及速度的变化，找到一个相对比较合适的距离阈值D＝1200mm和速度的阈值V＝1000mm/ms，根据设定好的距离的阈值和速率的阈值就可以检测跌倒是否发生。
(三)、实验测试与结果
利用身高体型不相似的五个人对行走、坐和跌倒三个动作进行测试，对每一个动作每一人进行10次的监测。共计150次的实验测试，试验结果如表一所示。
表一实验检验结果
引入速度作为判定跌倒条件之一就是为了不让系统对弯腰动作识别为跌倒，弯腰这种动作对于跌倒模型来说是符合跌倒的特征的。为了检测系统区别弯腰动作是不是一种跌倒，单独对弯腰进行试验验证。还是利用身高体型不相似的五个人对弯腰动作进行测试，每人进行10次的监测，第一种先是不引入速度参考量作为跌倒判定条件，第二种引入速度参考量作为跌倒判定条件得到结果如表二所示。通过试验结果可以看到引入速度这一参考量是十分必要的。
表二弯腰动作检测识别结果
故本发明在获取数据时采用的是近距离的实时获取的方法，同时对被监测者也是近距离的实时监测。利用Kinect体感传感器能够获取人体距离的功能，把Kinect体感传感器放置在基于Mecanum轮的移动平台上。Mecanum轮具有非常便捷的移动特点，能够让Kinect体感传感器进行近距离的实时获取数据和监测。和其它跌倒检测方法相比较其优势在于：①、灵活性，基于Mecanum轮的移动平台，受地理环境的影响较小；②、广泛性，不在仅局限于固定的房间位置，在户外室内都可以进行实时的检测；③、隐私安全性，在获取数据时是获取的人体深度图像，生成的是人体骨架图，无论是白天还是黑夜不受光线的影响都能够实时监测，相对来说比较保护使用者的隐私；④、便携性，使用的跟随人体移动的方式，不需要被监测者佩戴任何设备。⑤、高效性，本身获取的数据就是跟随人体的实时获取的数据，在跌倒检测是近距离的实时监测，在跌倒检测效率是也具有相对的高效性。
实施例3：
本实施例是基于三维视觉的人体异常姿态检测系统，该系统用于实现实施例1的基于三维视觉的人体异常姿态检测方法，包括移动平台，移动平台下侧面安装四个移动轮，移动轮采用Mecanum轮；移动平台的上侧面安装有Kinect体感传感器，Kinect体感传感器安装有Depth传感器，Depth传感器是利用TOF(Time of Fligh)技术投射的红外线脉冲反射回来的时间来获得可以取得Depth数据(和传感器的距离信息)。Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；移动平台上还安装有直流电机、主控制器、锂电池、充电管理模块和电源管理模块，直流电机上安装有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。
工作过程：上位PC机通过串口蓝牙以无线通信的方式与移动平台上的主控制进行通信；移动平台移动时，先是由上位PC机将移动平台运动规律的参数以报文的形式发送到主控制器，主控制器接受成功后提取移动平台的速度参数，转化Mecanum轮的转动角速度和转向；然后主控制器对各个电机驱动器发送与转速的相对应的控制信号；光电编码器用于在直流电机转动的同时能将实时速度反馈给主控制器用于转速调节，从而形成反馈控制。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于三维视觉的人体异常姿态检测方法，其特征在于，该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测。
2.根据权利要求1所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述根据跌倒模型实时进行人体的跌倒检测包括如下步骤：
S1、利用Kinect体感传感器的摄像头获取人体的深度图形；
S2、利用深度图形建立人体骨骼点构成的人体骨架图；
S3、提取用于跌倒检测判定的五个特征骨骼点；
S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L1且确保五个特征骨骼点到平面L1的距离最小；
S5、建立与平面L1垂直的平面L2且确保五个特征骨骼点到平面L2的距离最小；
S6、计算五个特征骨骼点在移动过程中到平面L1和平面L2的加权平均距离和以及五个特征骨骼点的移动速度
S7、利用加权平均距离和以及五个特征骨骼点的移动速度的变化来判断是否发生跌倒：
①、若加权平均距离和大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；
②、若特征骨骼点的速度大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。
3.根据权利要求2所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱。
4.根据权利要求2或3所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述步骤S4中建立平面L1方法包括如下步骤：
(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)、D(x4,y4,z4)和E(x5,y5,z5)；
(2)、利用最小二乘法中的一元线性回归分析建立样本回归模型：
其中，Yi为因变量，表示响应变量或被预测变量；为Yi的截距；为直线斜率；Xi为自变量，表示解释变量或预测变量；ei为随机误差；Yi模型中的Xi对应的值；
(3)、计算残差平方和：
其中，为实际的坐标值；
(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以为变量，计算出值：
即Q对两个待估参数的偏导数：
解得：
(5)、距离五个特征骨骼点距离最小的切面垂直与地面，故平面方程为z1＝k1x+b1；
(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k1，b1值；
(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置。
5.根据权利要求4所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述步骤S5中建立平面L2的方法包括如下步骤：
(1)、利用点和平面的性质，根据平面L1求出L1的一个正交切面L2，使平面L2与地面垂直；
(2)、使平面L2经过人体的脊柱骨骼点E(x5,y5,z5)；
(3)、平面L1和平面L2在x轴和z轴构成的平面内为两条正交的直线，已知L1的方程z1＝k1x+b1，故L2的方程z2＝k2x+b2的系数，联立方程组求出L2的平面方程系数：
得出，
6.根据权利要求5所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述步骤S6中五个特征骨骼点的移动速度V的计算方法如下：
(1)、计算特征骨骼点到平面L1和平面L2的距离：
①、五个特征骨骼点分别到平面L1的距离为：
五个特征骨骼点到平面L1的加权平均距离为：
其中，dA1、dB1、dC1、dD1、dE1分别表示五个特征骨骼点分别到平面L1的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
②、五个特征骨骼点分别到平面L2的距离为：
五个点到平面L2的加权平均距离为：
其中，dA2、dB2、dC2、dD2、dE2分别表示五个特征骨骼点分别到平面L2的距离，分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；
(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；
①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；
②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x,y,z,w，这4个参数即为地面方程的系数x,y,z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；
③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：
④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：
其中，di+1为时间ti+1时间帧点到地面的距离；di为时间ti时间帧点到地面的距离；
⑤、计算五个特征骨骼点在运动过程中的平均速度：
其中，vA、vB、vC、vD、vE分别表示五个特征骨骼点在运动过程中的速度。
7.根据权利要求1所述的基于三维视觉的人体异常姿态检测系统，其特征在于，该系统包括移动平台，移动平台下侧面设置有至少三个移动轮，移动轮采用Mecanum轮；移动平台的上侧面设置有Kinect体感传感器，Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；
移动平台上还设置有直流电机和主控制器，直流电机上设置有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。
8.根据权利要求7所述的基于三维视觉的人体异常姿态检测系统，其特征在于，所述移动平台上还设置有锂电池、充电管理模块和电源管理模块，充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。
9.根据权利要求7或8所述的基于三维视觉的人体异常姿态检测系统，其特征在于，所述Kinect体感传感器设置有Depth传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811384171.3A CN109325476B (zh) | 2018-11-20 | 2018-11-20 | 一种基于三维视觉的人体异常姿态检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811384171.3A CN109325476B (zh) | 2018-11-20 | 2018-11-20 | 一种基于三维视觉的人体异常姿态检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109325476A true CN109325476A (zh) | 2019-02-12 |
| CN109325476B CN109325476B (zh) | 2021-08-31 |
Family
ID=65257315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811384171.3A Active CN109325476B (zh) | 2018-11-20 | 2018-11-20 | 一种基于三维视觉的人体异常姿态检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109325476B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110477925A (zh) * | 2019-08-23 | 2019-11-22 | 广东省智能制造研究所 | 一种针对敬老院老人的跌倒检测与预警方法及系统 |
| CN111158494A (zh) * | 2020-01-15 | 2020-05-15 | 山东师范大学 | 姿势矫正装置及姿势矫正方法 |
| CN111860267A (zh) * | 2020-07-13 | 2020-10-30 | 浙大城市学院 | 一种基于人体骨骼关节点位的多通道健身运动识别方法 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113303788A (zh) * | 2020-02-26 | 2021-08-27 | 薛雅馨 | 姿态检测系统与方法 |
| CN113392751A (zh) * | 2021-06-10 | 2021-09-14 | 北京华捷艾米科技有限公司 | 一种基于人体骨架节点的摔倒检测方法及相关装置 |
| CN114269243A (zh) * | 2020-03-19 | 2022-04-01 | 株式会社日立制作所 | 跌倒风险评价系统 |
| TWI764410B (zh) * | 2020-12-01 | 2022-05-11 | 大陸商業成科技（成都）有限公司 | 跌倒偵測系統及其方法 |
| CN115546491A (zh) * | 2022-11-28 | 2022-12-30 | 中南财经政法大学 | 一种跌倒报警方法、系统、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
-
2018
- 2018-11-20 CN CN201811384171.3A patent/CN109325476B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| LEIYUE YAO，ET AL.: "A New Approach to Fall Detection Based on the Human Torso Motion Model", 《APPLIED SCIENCES》 * |
| YONGLONG TIAN，ET AL.: "RF-Based Fall Monitoring Using Convolutional Neural Networks", 《 WEARABLE UBIQUITOUS TECHNOL.》 * |
| 吴晓峰: "基于Kinect的跟随机器人控制系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 张帅旗，等.: "基于LabVIEW与智能机器人的人体姿态检测", 《软件导刊》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110477925A (zh) * | 2019-08-23 | 2019-11-22 | 广东省智能制造研究所 | 一种针对敬老院老人的跌倒检测与预警方法及系统 |
| CN111158494A (zh) * | 2020-01-15 | 2020-05-15 | 山东师范大学 | 姿势矫正装置及姿势矫正方法 |
| CN111158494B (zh) * | 2020-01-15 | 2023-10-03 | 山东师范大学 | 姿势矫正装置及姿势矫正方法 |
| CN113303788A (zh) * | 2020-02-26 | 2021-08-27 | 薛雅馨 | 姿态检测系统与方法 |
| CN114269243A (zh) * | 2020-03-19 | 2022-04-01 | 株式会社日立制作所 | 跌倒风险评价系统 |
| CN111860267A (zh) * | 2020-07-13 | 2020-10-30 | 浙大城市学院 | 一种基于人体骨骼关节点位的多通道健身运动识别方法 |
| CN111860267B (zh) * | 2020-07-13 | 2022-06-14 | 浙大城市学院 | 一种基于人体骨骼关节点位的多通道健身运动识别方法 |
| TWI764410B (zh) * | 2020-12-01 | 2022-05-11 | 大陸商業成科技（成都）有限公司 | 跌倒偵測系統及其方法 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113111808B (zh) * | 2021-04-20 | 2022-03-29 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113392751A (zh) * | 2021-06-10 | 2021-09-14 | 北京华捷艾米科技有限公司 | 一种基于人体骨架节点的摔倒检测方法及相关装置 |
| CN115546491A (zh) * | 2022-11-28 | 2022-12-30 | 中南财经政法大学 | 一种跌倒报警方法、系统、电子设备及存储介质 |
| CN115546491B (zh) * | 2022-11-28 | 2023-03-10 | 中南财经政法大学 | 一种跌倒报警方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109325476B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325476B (zh) | 一种基于三维视觉的人体异常姿态检测系统及方法 | |
| CN106426186B (zh) | 一种基于多传感器信息融合的带电作业机器人自主作业方法 | |
| EP3029604B1 (en) | Area information estimating device, area information estimating method, and air conditioning apparatus | |
| CN115597659B (zh) | 一种变电站智能安全管控方法 | |
| CN107179768B (zh) | 一种障碍物识别方法及装置 | |
| CN109522793A (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
| Kepski et al. | Fall detection using ceiling-mounted 3d depth camera | |
| Wang et al. | Accurate and real-time 3-D tracking for the following robots by fusing vision and ultrasonar information | |
| CN111932588A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN109923583A (zh) | 一种姿态的识别方法、设备及可移动平台 | |
| US7865267B2 (en) | Environment recognizing device, environment recognizing method, route planning device, route planning method and robot | |
| Pérez-Yus et al. | Detection and modelling of staircases using a wearable depth sensor | |
| CN105847684A (zh) | 无人机 | |
| CN107194967A (zh) | 基于Kinect深度图像的人体摔倒检测方法及装置 | |
| CN205453893U (zh) | 无人机 | |
| CN109076190A (zh) | 检测异常情况的设备和方法 | |
| CN112434669B (zh) | 一种多信息融合的人体行为检测方法及系统 | |
| CN108898108B (zh) | 一种基于扫地机器人的用户异常行为监测系统及方法 | |
| Wang et al. | Real-time 3D human tracking for mobile robots with multisensors | |
| CN109830078A (zh) | 适用于狭小空间的智能行为分析方法及智能行为分析设备 | |
| CN116416291A (zh) | 电子围栏自动生成方法、实时检测方法及装置 | |
| CN111402324B (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| CN112785564B (zh) | 一种基于机械臂的行人检测跟踪系统与方法 | |
| Germa et al. | Vision and RFID-based person tracking in crowds from a mobile robot | |
| CN206833252U (zh) | 一种移动电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250022 Qilu University of technology, No. 3501, University Road, Changqing District, Jinan City, Shandong Province Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250022 Qilu University of technology, No. 3501, University Road, Changqing District, Jinan City, Shandong Province Patentee before: Qilu University of Technology Country or region before: China |