CN110458061A - 一种识别老年人跌倒的方法及陪伴机器人 - Google Patents

一种识别老年人跌倒的方法及陪伴机器人 Download PDF

Info

Publication number
CN110458061A
CN110458061A CN201910694801.5A CN201910694801A CN110458061A CN 110458061 A CN110458061 A CN 110458061A CN 201910694801 A CN201910694801 A CN 201910694801A CN 110458061 A CN110458061 A CN 110458061A
Authority
CN
China
Prior art keywords
head
foot
abs
information
old people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910694801.5A
Other languages
English (en)
Other versions
CN110458061B (zh
Inventor
王敏
陈蕊
汪依帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Technology and Business University
Original Assignee
Sichuan Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Technology and Business University filed Critical Sichuan Technology and Business University
Priority to CN201910694801.5A priority Critical patent/CN110458061B/zh
Publication of CN110458061A publication Critical patent/CN110458061A/zh
Application granted granted Critical
Publication of CN110458061B publication Critical patent/CN110458061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nursing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种识别老年人跌倒的方法及陪伴机器人，涉及摔倒姿态识别领域；方法包括步骤1：采集身体视频数据；步骤2：进行人体定位；步骤3：基于上述结果获取骨架信息；步骤4：根据骨架信息计算头脚高度差值hd、前后帧的头脚高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w；步骤5：根据上述数据建立判定公式，输出结果，并计算距离度量误差，判断其是否满足二分类条件，若满足，则采用建立的神经网络模型进行识别，若否，则返至步骤1；本发明先进行人物提取，再进行姿态识别，识别通过骨架信息进行动态和静态识别，解决现有采用局部特征提取和检测导致识别准确率低的问题，实现正确、快速识别出老年人跌倒行为。

Description

一种识别老年人跌倒的方法及陪伴机器人
技术领域
本发明涉及摔倒姿态识别领域，尤其是一种识别老年人跌倒的方法及陪伴机器人。
背景技术
随着我国科技、医疗的不断发展和进步，我国“老龄化”人口同步增长，养老已凸显为一个社会问题。到目前为止，我国老年化人口己远超世界平均水平。经综合联合国、国家人口计生委、全国老龄委以及部分学者对我国未来老龄化发展趋势的预测结果显示，2018年到2035年我国老年人口将年均增长一千万左右。目前，我国大众城市老年空巢家庭率已达到70％。这一数据正在急剧恶化。然而，中国养老产业尚处于起步阶段。我国的养老产业才刚起步，发展还处在初级阶段，特别是服务供给侧严重不足。传统的养老模式面临了巨大的挑战，新的养老服务模式的将会迎来前所未有的高速发展机遇。由于子女不可能一直陪在父母身边，当老人跌倒时，如果不能及时发现，将会导致很严重的后果。因此，对老人的跌倒行为及时检测并呼叫救援成为了迫切需要解决的问题。
目前，老人跌倒行为检测方法主要采用可穿戴式传感设备，基于用户的行为数据和行为规律构建模型，基于多特征融合的视频监控等方法。这些检测方法对于老人来说，容易忘记佩戴设备，操作繁琐，实时性不高，且检测方法单一，容易出现误判。传统老年人姿态特征提取方法依赖于对图像中老年人身体局部特征识别，必须要求准确检测，当光线等环境噪声较大时，可能会导致提取局部特征不准确；姿态特征提取方法无法获取高维空间中密集采样信息，进行连续估计时会导致数据丢失，导致识别精度与识别连续性无法保证。因此，本申请为克服以上问题，提出一种识别老年人跌倒的方法及陪伴机器人。
发明内容
本发明的目的在于：本发明提供了一种识别老年人跌倒的方法及陪伴机器人，解决现有采用局部特征提取和检测导致识别准确率低的问题，实现在图像模糊、视频抖动和光线不佳等环境下能够正确、快速识别出老年人跌倒行为。
本发明采用的技术方案如下：
一种识别老年人跌倒的方法，包括如下步骤：
步骤1：采集检测对象的身体视频数据；
步骤2：利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果；
步骤3：基于人体图像定位检测结果，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
步骤4：根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w；
步骤5：根据上述数据建立判定公式，输出结果“摔倒”或者“未摔倒”，根据上述数据计算距离度量误差，判断距离度量误差是否满足二分类条件，若满足，则采用建立的神经网络模型进行识别，若否，则返至步骤1；
判定公式如下：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。
优选地，所述步骤2中包括距离度量，其计算如下：
d＝(box,centroid)＝1-IOU(box,centroid)
其中，d表示跌倒的距离度量值，box表示预算的矩阵大小，centroid表示矩形框的中心坐标位置，IOU(box，centroid)表示定义的欧式距离公式，计算如下：
其中，ρ表示(x1，y1)、(x2，y2)两点的欧式距离。
优选地，所述步骤4包括如下步骤：
步骤4.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
步骤4.2：计算头部的质点高度：head＝average(y14，y15，y16，y17)；
步骤4.3：计算脚部质点位置：foot＝average(y10，y13)；
步骤4.4：计算肩宽绝对值：w＝abs(x2-x5)；
步骤4.5：计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤4.6：计算前后5帧头部高度差值对应的速度v，v＝24*abs(head1-head)/5，其中，视频数据每一秒24帧计算，head1、head分别表示前一帧和当前帧头部质点高度。
优选地，所述步骤5包括如下步骤：
步骤5.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
计算头部的质点高度：head＝average(y14，y15，y16，y17)；
计算脚部质点位置：foot＝average(y10，y13)；
计算肩宽绝对值：w＝abs(x2-x5)；
计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤5.2：判断d<w是否成立，若成立，则判定为横向摔倒；若否，则跳至步骤5.3；
步骤5.3：建立判定公式：abs(head-foot)<abs(x2-x5)||abs(headp-head)/abs(foot_p-foot)>2,若判定值为true，则判定为摔倒，若判定值为flase，则判定为未摔倒；
步骤5.4：计算距离度量误差m＝a b s(-h e a-d f o，n＝abs(head_p-head)-abs(foot_p-foot)，则摔倒可能性权重值(m，n)；
步骤5.5：建立并训练神经网络模型，判断是否满足条件(mmin，nmin)<(m，n)<(mmax，nmax)，若满足，则使用神经网络模型进行识别；若否，则返至步骤1；其中，mmin、nmin、mmax、nmax为已知的摔倒阈值。
优选地，所述人体定位采用YOVOV3；所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层，所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。
一种识别老年人跌倒的陪伴机器人，包括
采集装置，用于采集检测对象行为、体态等视频信息、语音信息和图像信息后发送至GPU集群服务器和数据库；
GPU集群服务器，对视频信息、图像信息和语音信息进行分析获取摔倒识别结果；
数据库，用于存储采集的视频信息、图像信息和语音信息和分析后的摔倒识别结果；
处理装置，用于调用数据库数据、接收摔倒识别结果进行显示、报警等动作。
所述GPU集群服务器包括摔倒识别模块，所述摔倒识别模块包括
形态采集单元，用于采集检测对象身体的视频数据；
人体检测单元，用于利用YOVO算法进行人体检测获取人体检测结果；
距离度量单元，用于计算检测对象和摔倒识别模块距离；
关节点和骨架获取单元，用于根据人体检测结果和距离，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
跌倒判断单元，用于根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后帧头部高度差值对应的速度v和肩膀宽度w，建立判定公式；并根据判定结果建立神经网络模型进行识别。
优选地，所述跌倒判断单元的判定公式为：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。
优选地，所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层。
优选地，所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明先进行人物提取，再判断跌倒行为的方式，可以很好的识别同一场景中多人跌倒行为，且不会影响跌倒行为识别精度；
2.本发明在关节点检测前进行人体检测和距离度量，降低定位误差；
3.本发明通过根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后两帧的头部高度差值对应的速度v和肩膀宽度w，判断动态和静态特征，识别准确率更高；
4.本发明不需要对每一帧图像都进行多尺度感检测，在发现有多个目标时，动态使用上述方法精度确认和复检，与整个识别系统进行融合，可以解决多尺度检测在精度和速度方面的问题，避免高空间和低空间尺度的两个不同角色结合起来对捕获到的不同尺度目标图像进行识别带来的计算复杂、延迟大的缺点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的方法框图；
图2为本发明的跌倒示意图；
图3为本发明的神经网络模型的结构示意图；
图4为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和表示本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
传统老年人姿态特征提取方法依赖于对图像中老年人身体局部特征识别，必须要求准确检测，当光线等环境噪声较大时，可能会导致提取局部特征不准确；姿态特征提取方法无法获取高维空间中密集采样信息，进行连续估计时会导致数据丢失，导致识别精度与识别连续性无法保证。因此，本申请提出一种识别方法，克服以上问题，细节如下：
如图1、4所示，一种识别老年人跌倒的方法，包括如下步骤：
步骤1：采集检测对象的身体视频数据；
步骤2：利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果；
步骤3：基于人体图像定位检测结果，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
步骤4：根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w；
步骤5：根据上述数据建立判定公式，输出结果“摔倒”或者“未摔倒”，根据上述数据计算距离度量误差，判断距离度量误差是否满足二分类条件，若满足，则采用建立的神经网络模型进行识别，若否，则返至步骤1；
判定公式如下：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。
优选地，所述步骤2中包括距离度量，其计算如下：
d＝(box,centroid)＝1-IOU(box,centroid)
其中，d表示跌倒的距离度量值，box表示预算的矩阵大小，centroid表示矩形框的中心坐标位置，IOU(box，centroid)表示定义的欧式距离公式，计算如下：
其中，ρ表示(x1，y1)、(x2，y2)两点的欧式距离。
所述步骤4包括如下步骤：
步骤4.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
步骤4.2：计算头部的质点高度：head＝average(y14，y15，y16，y17)；
步骤4.3：计算脚部质点位置：foot＝average(y10，y13)；
步骤4.4：计算肩宽绝对值：w＝abs(x2-x5)；
步骤4.5：计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤4.6：计算前后5帧头部高度差值对应的速度v，v＝24*abs(head1-head)/5，其中，视频数据每一秒24帧计算，head1、head分别表示前一帧和当前帧头部质点高度。
所述步骤5包括如下步骤：
步骤5.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
计算头部的质点高度：head＝average(y14，y15，y16，y17)；
计算脚部质点位置：foot＝average(y10，y13)；
计算肩宽绝对值：w＝abs(x2-x5)；
计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤5.2：判断d<w是否成立，若成立，则判定为横向摔倒；若否，则跳至步骤5.3；
步骤5.3：建立判定公式：abs(head-foot)<abs(x2-x5)||abs(headp-head)/abs(foot_p-foot)>2,若判定值为true，则判定为摔倒，若判定值为flase，则判定为未摔倒；
步骤5.4：计算距离度量误差m＝a b s(-h e a-d f o，n＝abs(head_p-head)-abs(foot_p-foot)，则摔倒可能性权重值(m，n)；
步骤5.5：建立并训练神经网络模型，判断是否满足条件(mmin，nmin)<(m，n)<(mmax，nmax)，若满足，则使用神经网络模型进行识别；若否，则返至步骤1；其中，mmin、nmin、mmax、nmax为已知的摔倒阈值。
根据以上可知，本发明先进行人物提取，再判断跌倒行为的方式，可以很好的识别同一场景中多人跌倒行为，且不会影响跌倒行为识别精度。
使用判定公式判别摔倒行为方法对于摔倒相似行为活动难以正确识别的问题，如：蹲下、坐下等行为。采用现有的深度学习算法可精确地对复杂特征进行分类，但网络结构复杂，参数较多，处理较慢，实时性无法保障。因此本申请采用条件二次分类方法，即对满足条件(mmin，nmin)<(m，n)<(mmax，nmax)为可疑性大和复杂特征情况，才进行采用卷积神经网络(CNN)进行准确分类，其中mmin，nmin，mmax，nmax四个值是根据实际情况通过统计出的摔倒阈值。所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层，如图3所示，所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。人体定位采用YOVOV3，减少参数，加快速度，避免现有方法隐含层和输入层输入数据量大导致训练速度慢的缺点。
不需要对每一帧图像都进行多尺度感检测，在发现有多个目标时，动态使用上述方法精度确认和复检，与整个识别系统进行融合，可以解决多尺度检测在精度和速度方面的问题，避免高空间和低空间尺度的两个不同角色结合起来对捕获到的不同尺度目标图像进行识别带来的计算复杂、延迟大的缺点。
如图2所示，a、b、c分别表示纵向摔倒、站立状态、横向摔倒；根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后两帧的头部高度差值对应的速度v和肩膀宽度w，判断动态和静态特征，识别不同的姿态，提高识别准确率。
实施例2
基于实施例1的方法，本实施例提供一种识别老年人跌倒的陪伴机器人，细节如下：
一种识别老年人跌倒的陪伴机器人包括
采集装置，用于采集检测对象行为、体态等视频信息、语音信息和图像信息后发送至GPU集群服务器和数据库；
GPU集群服务器，对视频信息、图像信息和语音信息进行分析获取摔倒识别结果；
数据库，用于存储采集的视频信息、图像信息和语音信息和分析后的摔倒识别结果；
处理装置，用于调用数据库数据、接收摔倒识别结果进行显示、报警等动作。
所述GPU集群服务器包括摔倒识别模块，所述摔倒识别模块包括
形态采集单元，用于采集检测对象身体的视频数据；
人体检测单元，用于利用YOVO算法进行人体检测获取人体检测结果；
距离度量单元，用于计算检测对象和摔倒识别模块距离；
关节点和骨架获取单元，用于根据人体检测结果和距离，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
跌倒判断单元，用于根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后帧头部高度差值对应的速度v和肩膀宽度w，建立判定公式；并根据判定结果建立神经网络模型进行识别。
因采集装置等现有机器人现有的技术细节，在此不进行赘述；所述摔倒识别模块包括处理器、存储器和存储在所述存储器中并可在处理器上运行的计算机程序，例如“步骤1：采集检测对象的身体视频数据；步骤2：利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果；步骤3：基于人体图像定位检测结果，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；步骤4：根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w；步骤5：根据上述数据建立判定公式，输出结果“摔倒”或者“未摔倒”，根据上述数据计算距离度量误差，判断距离度量误差是否满足二分类条件，若满足，则采用建立的神经网络模型进行识别，若否，则返至步骤1；判定公式如下：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。”程序，计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在系统中的执行过程。例如，所述计算机程序可以被分割成多个单元，如下：
形态采集单元，用于采集检测对象身体的视频数据；
人体检测单元，用于利用YOVO算法进行人体检测获取人体检测结果；
距离度量单元，用于计算检测对象和摔倒识别模块距离；
关节点和骨架获取单元，用于根据人体检测结果和距离，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
跌倒判断单元，用于根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后帧头部高度差值对应的速度v和肩膀宽度w，建立判定公式；并根据判定结果建立神经网络模型进行识别。
神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层。
所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。
所述模块可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述摔倒识别模块可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是所述模块的示例，并不构成对所述模块的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述模块设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述分辨率提升系统的控制中心，利用各种接口和线路连接整个分辨率提升系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述分辨率提升系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
综上，陪伴机器人中的跌倒识别模块先进行人物提取，再判断跌倒行为的方式，可以很好的识别同一场景中多人跌倒行为，且不会影响跌倒行为识别精度；通过根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后两帧的头部高度差值对应的速度v和肩膀宽度w，判断动态和静态特征，识别准确率更高；在判断复杂情况时才采用神经网络模型进行条件识别，减少运算量的同时提高识别精度，使陪伴机器人能及时、准确识老人摔倒。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种识别老年人跌倒的方法，其特征在于：包括如下步骤：
步骤1：采集检测对象的身体视频数据；
步骤2：利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果；
步骤3：基于人体图像定位检测结果，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
步骤4：根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w；
步骤5：根据上述数据建立判定公式，输出结果“摔倒”或者“未摔倒”，根据上述数据计算距离度量误差，判断距离度量误差是否满足二分类条件，若满足，则采用建立的神经网络模型进行识别，若否，则返至步骤1；
判定公式如下：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。
2.根据权利要求1所述的一种识别老年人跌倒的方法，其特征在于：所述步骤2中包括距离度量，其计算如下：
d＝(box,centroid)＝1-IOU(box,centroid)
其中，d表示跌倒的距离度量值，box表示预算的矩阵大小，centroid表示矩形框的中心坐标位置，IOU(box,centroid)表示定义的欧式距离公式，计算如下：
其中，ρ表示(x1,y1)、(x2,y2)两点的欧式距离。
3.根据权利要求1所述的一种识别老年人跌倒的方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
步骤4.2：计算头部的质点高度：head＝average(y14，y15，y16，y17)；
步骤4.3：计算脚部质点位置：foot＝average(y10，y13)；
步骤4.4：计算肩宽绝对值：w＝abs(x2-x5)；
步骤4.5：计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤4.6：计算前后5帧头部高度差值对应的速度v，v＝24*abs(head1-head)/5，其中，视频数据每一秒24帧计算，head1、head分别表示前一帧和当前帧头部质点高度。
4.根据权利要求1所述的一种识别老年人跌倒的方法，其特征在于：所述步骤5包括如下步骤：
步骤5.1：利用OPENPOSE算法检测身体视频数据中的关节点信息，OPENPOSE结果数据标准头部关键点序号为14、15、16、17，脚部关键点序号为10、13，左右肩部关键点序号为2、5；
计算头部的质点高度：head＝average(y14，y15，y16，y17)；
计算脚部质点位置：foot＝average(y10，y13)；
计算肩宽绝对值：w＝abs(x2-x5)；
计算头部与脚部的高度差值：d＝abs(head-foot)；
步骤5.2：判断d<w是否成立，若成立，则判定为横向摔倒；若否，则跳至步骤5.3；
步骤5.3：建立判定公式：abs(head-foot)<abs(x2-x5)||abs(headp-head)/abs(foot_p-foot)>2,若判定值为true，则判定为摔倒，若判定值为flase，则判定为未摔倒；
步骤5.4：计算距离度量误差m＝abs(head-foot)-abs(x2-x5)，n＝abs(head_p-head)-abs(foot_p-foot)，则摔倒可能性权重值(m，n)；
步骤5.5：建立并训练神经网络模型，判断是否满足条件(mmin，nmin)<(m，n)<(mmax，nmax)，若满足，则使用神经网络模型进行识别；若否，则返至步骤1；其中，mmin、nmin、mmax、nmax为已知的摔倒阈值。
5.根据权利要求4所述的一种识别老年人跌倒的方法，其特征在于：所述人体定位采用YOVOV3；所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层，所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。
6.一种识别老年人跌倒的陪伴机器人，其特征在于：包括
采集装置，用于采集检测对象行为、体态等视频信息、语音信息和图像信息后发送至GPU集群服务器和数据库；
GPU集群服务器，对视频信息、图像信息和语音信息进行分析获取摔倒识别结果；
数据库，用于存储采集的视频信息、图像信息和语音信息和分析后的摔倒识别结果；
处理装置，用于调用数据库数据、接收摔倒识别结果进行显示、报警等动作。
所述GPU集群服务器包括摔倒识别模块，所述摔倒识别模块包括
形态采集单元，用于采集检测对象身体的视频数据；
人体检测单元，用于利用YOVO算法进行人体检测获取人体检测结果；
距离度量单元，用于计算检测对象和摔倒识别模块距离；
关节点和骨架获取单元，用于根据人体检测结果和距离，利用OPENPOSE算法检测身体视频数据中的关节点信息，并根据关节点信息采用VGGNET作为骨架，获取骨架信息；
跌倒判断单元，用于根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值h、前后帧的头部和脚部高度差值dh、前后帧头部高度差值对应的速度v和肩膀宽度w，建立判定公式；并根据判定结果建立神经网络模型进行识别。
7.根据权利要求6所述的一种识别老年人跌倒的陪伴机器人，其特征在于：所述跌倒判断单元的判定公式为：abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2，其中，abs(head-foot)表示头部和脚部高度差绝对值，abs(x2-x5)表示肩宽绝对值，head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。
8.根据权利要求6所述的一种识别老年人跌倒的陪伴机器人，其特征在于：所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层。
9.根据权利要求8所述的一种识别老年人跌倒的陪伴机器人，其特征在于：所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。
CN201910694801.5A 2019-07-30 2019-07-30 一种识别老年人跌倒的方法及陪伴机器人 Active CN110458061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694801.5A CN110458061B (zh) 2019-07-30 2019-07-30 一种识别老年人跌倒的方法及陪伴机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694801.5A CN110458061B (zh) 2019-07-30 2019-07-30 一种识别老年人跌倒的方法及陪伴机器人

Publications (2)

Publication Number Publication Date
CN110458061A true CN110458061A (zh) 2019-11-15
CN110458061B CN110458061B (zh) 2022-04-05

Family

ID=68483982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694801.5A Active CN110458061B (zh) 2019-07-30 2019-07-30 一种识别老年人跌倒的方法及陪伴机器人

Country Status (1)

Country Link
CN (1) CN110458061B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243229A (zh) * 2019-12-31 2020-06-05 浙江大学 一种老年人跌倒风险评估方法及系统
CN111241913A (zh) * 2019-12-19 2020-06-05 北京文安智能技术股份有限公司 一种检测人员摔倒的方法、装置及系统
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及系统
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN111898518A (zh) * 2020-07-28 2020-11-06 中移（杭州）信息技术有限公司 一种摔倒检测方法、电子设备和存储介质
CN112580602A (zh) * 2020-12-30 2021-03-30 北京体育大学 一种规范握力测试的方法及装置
CN112757295A (zh) * 2020-12-28 2021-05-07 武汉远图信息科技有限公司 一种基于强化学习的双足机器人重心控制方法与仿真系统
CN112784676A (zh) * 2020-12-04 2021-05-11 中国科学院深圳先进技术研究院 图像处理方法、机器人及计算机可读存储介质
CN113425289A (zh) * 2021-05-24 2021-09-24 上海可深信息科技有限公司 一种人员跌倒的识别方法
CN113712538A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于wifi信号的跌倒检测方法、装置、设备和存储介质
CN113925391A (zh) * 2021-09-17 2022-01-14 美智纵横科技有限责任公司 一种基于清洁机器人的摔倒检测方法及装置、清洁机器人
CN115170603A (zh) * 2021-04-06 2022-10-11 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN116553327A (zh) * 2023-07-10 2023-08-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置
WO2023217193A1 (zh) * 2022-05-10 2023-11-16 神顶科技（南京）有限公司 机器人和机器人识别跌倒的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
WO2016042498A1 (en) * 2014-09-16 2016-03-24 Hip Hope Technologies Ltd. Fall detection device and method
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN108416979A (zh) * 2018-03-08 2018-08-17 辽宁工程技术大学 一种智能老年人摔倒报警系统
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
US10293565B1 (en) * 2016-04-12 2019-05-21 Bao Tran Systems and methods for mass customization
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042498A1 (en) * 2014-09-16 2016-03-24 Hip Hope Technologies Ltd. Fall detection device and method
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
US10293565B1 (en) * 2016-04-12 2019-05-21 Bao Tran Systems and methods for mass customization
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN108416979A (zh) * 2018-03-08 2018-08-17 辽宁工程技术大学 一种智能老年人摔倒报警系统
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEILA PANAHIA 等: "Human fall detection using machine vision techniques on RGB–D images", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 *
樊梦丹: "基于多特征融合和机器学习的摔倒检测", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
罗凯 等: "基于Kinect的跌倒行为识别算法", 《延边大学学报（自然科学版）》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241913A (zh) * 2019-12-19 2020-06-05 北京文安智能技术股份有限公司 一种检测人员摔倒的方法、装置及系统
CN111243229A (zh) * 2019-12-31 2020-06-05 浙江大学 一种老年人跌倒风险评估方法及系统
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及系统
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN111898518A (zh) * 2020-07-28 2020-11-06 中移（杭州）信息技术有限公司 一种摔倒检测方法、电子设备和存储介质
CN112784676A (zh) * 2020-12-04 2021-05-11 中国科学院深圳先进技术研究院 图像处理方法、机器人及计算机可读存储介质
CN112757295A (zh) * 2020-12-28 2021-05-07 武汉远图信息科技有限公司 一种基于强化学习的双足机器人重心控制方法与仿真系统
CN112580602A (zh) * 2020-12-30 2021-03-30 北京体育大学 一种规范握力测试的方法及装置
CN115170603A (zh) * 2021-04-06 2022-10-11 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN115170603B (zh) * 2021-04-06 2024-01-23 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN113425289A (zh) * 2021-05-24 2021-09-24 上海可深信息科技有限公司 一种人员跌倒的识别方法
CN113712538A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于wifi信号的跌倒检测方法、装置、设备和存储介质
CN113925391A (zh) * 2021-09-17 2022-01-14 美智纵横科技有限责任公司 一种基于清洁机器人的摔倒检测方法及装置、清洁机器人
WO2023217193A1 (zh) * 2022-05-10 2023-11-16 神顶科技（南京）有限公司 机器人和机器人识别跌倒的方法
CN116553327A (zh) * 2023-07-10 2023-08-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置
CN116553327B (zh) * 2023-07-10 2023-09-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置

Also Published As

Publication number Publication date
CN110458061B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110458061A (zh) 一种识别老年人跌倒的方法及陪伴机器人
JP6397144B2 (ja) 画像からの事業発見
Wang et al. Fall detection based on dual-channel feature integration
Bian et al. Fall detection based on body part tracking using a depth camera
CN103477241B (zh) 来自运动和环境光分类器的装置位置估计
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN108875533B (zh) 人脸识别的方法、装置、系统及计算机存储介质
WO2021227874A1 (zh) 一种跌倒行为的检测方法和设备
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
JP6773829B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
CN111160111B (zh) 一种基于深度学习的人体关键点检测方法
CN110047081A (zh) 胸部x光图像的实例分割方法、装置、设备及介质
CN109191451A (zh) 异常检测方法、装置、设备和介质
CN112560723A (zh) 一种基于形态识别与速度估计的跌倒检测方法及系统
CN106874913A (zh) 一种菜品检测方法
CN112684430A (zh) 一种室内老人行走健康检测方法、系统、存储介质、终端
Yusro et al. Comparison of faster r-cnn and yolov5 for overlapping objects recognition
CN108076227A (zh) 一种用于移动终端的控制方法及移动终端
Czarnuch et al. Development and evaluation of a hand tracker using depth images captured from an overhead perspective
CN112418159A (zh) 基于注意力掩码的就餐人员监控方法、装置和电子设备
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN109376602A (zh) 一种指静脉识别方法、装置及终端设备
CN115273177A (zh) 异质人脸的人脸类型识别方法、装置、设备及存储介质
Yangjiaozi et al. Research on fall detection based on improved human posture estimation algorithm
CN110309816A (zh) 一种由粗到精的新生儿面部检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant