CN111243229A - 一种老年人跌倒风险评估方法及系统 - Google Patents

Abstract

本发明涉及一种老年人跌倒风险评估方法及系统，属于图像处理与机器学习模型应用领域。评估方法包括：(1)接收安装在被监控场所内的摄像头所获取的监控视频数据；(2)从监控视频数据中的每帧图像中裁剪处至少包含人体关节的人体图像，并将人体图像处理成预定标准尺寸的待识别人体图像；(3)基于已预先训练好的人体姿态估计网络模型，获取待识别人体图像中的关节坐标数据；(4)基于连续多帧图像的关节坐标数据，评估老人跌倒的风险基于机器学习模型获取人体姿态而对跌倒风险进行评估，有效地减少检测传感器的使用量，而减少佩戴所带来的麻烦及对老年人行动的影响，其可广泛应用于老人监护等领域。

Description

一种老年人跌倒风险评估方法及系统

技术领域

本发明涉及一种机器学习技术领域，具体地说，涉及一种基于机器学习模型的老年人跌倒风险评估方法及系统。

背景技术

随着老年人人口比例的逐渐提升，逐渐出现越来越多的老年人社区，据统计，跌倒所造成的损伤是威胁老年人健康生活的主要原因之一。目前，对老年人跌倒的预防主要依靠人工监控，其存在诸多不便，难以适用于所有老人。

为了解决上述技术问题，公开号为CN103027687A的专利文献中公开了一种基于3D加速度仪和陀螺仪的老年人跌倒检测报警系统，其通过多个传感器以检测老年人的姿态，虽然能很好地判断出老年人是否有跌倒风险，并作出警报，但是很难在众多老人中进行普及；大量地使用检测传感器有可能会对老人的活动造成干涉影响，且存在佩戴麻烦的问题。

在公开号为CN106539587A的专利文献中公开了一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法，其借助于经训练的模型从而判断老年人跌倒风险，但是其仍是基于传感器对老年人的行走姿态进行检测而容易对老人的行动造成干涉，且佩戴较为麻烦。

发明内容

本发明的主要目的是提供一种老年人跌倒风险评估方法与系统，以基于机器学习模型获取人体姿态而对跌倒风险进行评估，有效地减少检测传感器的使用量，而减少佩戴所带来的麻烦及对老年人行动的影响。

为了实现上述目的，本发明提供的老年人跌倒风险评估方法包括以下步骤：

接收步骤，接收安装在被监控场所内的摄像头所获取的监控视频数据；

预处理步骤，从监控视频数据中的每帧图像中裁剪处至少包含人体关节的人体图像，并将人体图像处理成预定标准尺寸的待识别人体图像；

识别步骤，基于已预先训练好的人体姿态估计网络模型，获取待识别人体图像中的关节坐标数据；

评估步骤，基于连续多帧图像的关节坐标数据，评估老人跌倒的风险。

由以上方案可见，基于视频数据，利用已有的人体姿态估计网络模型获取每帧图像中人体关节坐标数据，并基于该坐标数据而评估出老人跌倒的风险，其能有效地减少布设在人体关节上的检测传感器，从而能有效减少因需佩戴所带来的行动干涉与麻烦。

具体的方案为在被监控场所内安装有多个从不同视角进行监控的摄像头，对于每个摄像头所获取的监控视频数据进行单独地进行识别步骤与评估步骤；若有一个以上视角的数据评估出其存在跌倒风险，则认定该老人存在跌倒风险。有效地降低漏判的概率。

优选的方案为连续多帧图像为任意其内相邻两帧图像中的关节点坐标之间的偏差小于第一预设阈值，和/或能围住所有关节点的最小矩形框的坐标偏差小于第二预设阈值。能有效地减少因人体图误判而进行的识别工作。

优选的方案为将人体图像处理成预定标准尺寸的待识别人体图像的步骤包括将裁剪出的人体图像缩放并填充为预定标准尺寸的待识别人体图像。

进一步的方案为将人体图像等比缩放至一对侧边与预定标准尺寸边界重合，且另一对侧边与预定标准尺寸边界重合或存有间隙空间，再对存有的间隙空间进行填充，而获取标准待识别图像。

优选的方案为预处理步骤包括基于人体检测器从每帧图像中获取人体图像。基于已有人体检测器获取人体图像，技术成熟。

优选的方案为预处理步骤包括以下步骤：

边界确定步骤，在监控视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框；裁剪边界框为对能围住上一帧图像的所有关节点的最小矩形框的四边均进行朝外扩大处理，而获得的经扩大的矩形边框与当前帧图像的交集区域的边界；

标准化步骤，基于裁剪边框从当前帧图像中裁剪出当前人体图像，并将裁剪出的当前人体图像等比缩放至一对侧边与预定标准尺寸边界重合，且另一对侧边与预定标准尺寸边界重合或存有间隙空间，再对存有的间隙空间进行填充，而获取标准待识别图像。

由以上方案可见，优化了至少包含人体关节点的人体图像检测所需的迭代策略，加速了边界框的更新速度，为实时输出关节坐标数据提供保障，从而能够更好地降低老人跌倒风险评估的延时，以确保控制的准确性与实时性。

进一步的方案为包括抽检步骤：

对被抽检的当前帧图像的边界框按预定比例外扩成临时边界框，以临时边界框所围区域与当前抽检帧图像的交集区域的边界构成抽检边界框；

基于抽检边界框从被抽检的当前帧图像中裁剪出抽检人体图像，并将抽检人体图像缩放并填充为基准比对图像；

基于人体姿态估计网络模型，获取基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在当前帧图像的坐标系中的基准坐标；

若被抽检的当前帧图像的标准坐标与其基准坐标的偏差超出预设阈值，则以该基准坐标替换其标准坐标，作为被抽检的当前帧图像的人体关节坐标数据。

由以上方案可见，可有效地避免因前后两帧图像坐标数据相差太多而存在误差累积，提高该方法的准确性。

为了实现上述另一目的，本发明提供的老年人跌倒风险评估系统包括处理器与存储器，存储器存储有计算机程序，其特征在于，计算机程序被处理器执行时，能实现上述任一技术方案所描述的老年人跌倒风险评估方法的步骤。

附图说明

图1为本发明实施例中风险评估方法的工作流程图；

图2为本发明实施例中在同一被监控场所内的多个摄像头的位置布局及视角朝向示意图；

图3为本发明实施例中裁剪出至少包含人体关节的人体图像的过程示意图，其中，图3(a)为裁剪出的人体图像，图3(b)为进行等比缩放之后的人体图像；图3(c)为获取缩放后人体图像与预定标准尺寸之间的间隙空间；图3(d)为对间隙空间进行填充而获取的待识别人体图像。

以下结合实施例及其附图对本发明作进一步说明。

具体实施方式

实施例

如图1所示，本发明老年人跌倒风险评估方法包括接收步骤S1、预处理步骤S2、识别步骤S3及评估步骤S4，具体过程如下：

接收步骤S1，接收安装在被监控场所内的摄像头所获取的监控视频数据。

如图2所示，在被监控场所01内布设有视角不同的多个摄像头1，其所布设摄像头的视角越多，其漏检的概率越小。其中，被监控场所可以是一个院子、房间或锻炼场所等，通常要求遮挡物越少越好。

预处理步骤S2，从监控视频数据中的每帧图像中裁剪处至少包含人体关节的人体图像，并将该人体图像处理成预定标准尺寸的待识别人体图像。

从图像中获取至少包含人体关节的人体图像，可以基于现有且较为成熟的人体检测器，例如可采用公开号为CN109345504A的专利文献所采用的深度卷积神经网络YOLOv2，也可采用公开号为CN106778614A的专利文献所公开的深度卷积神经网络Deep CNN，还可以使用传统一些的HOG特征提取与SVM分类相结合的方法。

虽然这些现成的人体检测器技术较为成熟，但其计算较为复杂而需耗费较多的计算资源；且由于在通过体姿态变化而判断其是否存在跌倒风险的过程中，仅需识别出人体关节即可，因此可采用以下技术方案，但由于其需要借助现有人体检测器进行初始化标定，所以其适合于老人在摄像头视角内连续活动时长较长的情况，此时，预处理步骤S2具体包括边界框初始化步骤S21、边界确定步骤S22与标准化步骤S23，具体过程如下：

边界框初始化步骤S21，对视频数据的起始部分的图像中的人体图像边界框进行标定。

在该人体边界框确定程序开始运行时，没有历史关节点坐标数据以供边界框快速更新，此时就是需要进行边界框初始化的时候。

该标定为采用现有检测器进行自动标定，并抽检而结束初始化过程，对于现有检测器可以采用公开号为CN109345504A的专利文献所采用的深度卷积神经网络YOLOv2，也可采用公开号为CN106778614A的专利文献所公开的深度卷积神经网络Deep CNN，还可以使用传统一些的HOG特征提取与SVM分类相结合的方法。

开始利用现有人体检测器进行标定的触发可以由额外的人体检测设备进行触发，例如，该被监控场所遮挡物较少，而使老人进入该场所就能被所有摄像头所拍摄到，此时，可在入口处设置刷卡装置或人体红外传感器，即在检测到人体进入该被监控场所，就启动所有摄像头进行监控，并对监控视频数据中的初始图像利用现有检测器进行自动标定，也可利用布设在该被监控场所内的WIFI探针、蓝牙探针等获取携带老人身上的预定移动终端，该终端的WIFI或蓝牙处于开启状态，从而可在获取对应且预存在识别库中的MAC地址判断老人进入该被监控场所；也可通过在每个摄像头上或邻近区域布设人体检测传感器，以在其周围检测到人体时，启动监控并进行初始标定。

在程序的每一次循环中，都会采集一帧新的图像，对其进行前面去噪等基本预处理后，然后交给一个人体检测器，在本实施例中为HOG+SVM人体检测器。该人体检测器对图片进行检测，得到一组可能含有人体的多个边界框；然后，要对多个边界框进行去重操作，得到一个最好的边界框，因此通过非极大值抑制的方式，从这组边界框中选出置信度最高，即最有可能包含人体的一个边界框，作为当前图像最后选定的边界框。这个“选定的边界框”不是初始化的最终结果，只是对于当前图像来说的最优结果。

在边界框初始化程序结束后，如图3所示，传递出来的方框左上角顶点的坐标(x₀，y₀)，还有边界框的宽w和高h，这些参数就代表了这个边界框。

边界确定步骤S22，在监控视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框；该裁剪边界框为对能围住上一帧图像的所有关节点的最小矩形框的四边均进行朝外扩大处理，而获得的经扩大的矩形边框与当前帧图像的交集区域的边界。

在初始阶段，基于初始化所获取的边界框从当前初始帧图像中裁剪出当前人体图像。在初始化结束后，为基于上一帧图像中的关节坐标数据确定裁剪边界框。

标准化步骤S23，如图3所示，将该当前人体图像缩放并填充为标准待识别图像。

不管是初始化还是更新得到的边界框，在裁剪得到对应的包含人体的图像切片之后，需要进一步做缩放与填充的操作，以使其满足卷积神经网络输入图像的大小要求。具体处理过程包括以下步骤：

首先，计算边界框的高度/宽度之比h/w，与神经网络输入端所需的高度/宽度比h_net/w_net进行比较，若前者大于后者，则将边界框按高度缩放到与网络输入端对齐，即缩放至使h＝h_net，否则就将边界框按宽度缩放到与网络输入端对齐，即缩放到使w＝w_net；然后，将缩放后的图像切片移动到网络输入图像的中间区域；最后，对于网络输入图像中除之前的图像切片之外的其它区域，可以使用RGB颜色中纯黑色[0，0，0]或纯灰色[128，128，128]来填充，也可以使用其它颜色，优选为便于与内容部分相区分的颜色，及使用纯色填充可以避免噪声干扰，有助于神经网络的计算。如图3所示为前者大于后的一个图像操作示例。

即将当前人体图像等比缩放至一对侧边与标准尺寸边界重合，且另一对侧边与标准尺寸边界重合或存有间隙空间，再对存有的间隙空间进行填充，而获取标准待识别图像。

假设更新的关节点坐标可以用J_i(i＝1～N)来表示，N为关节点的数量。每一个J_i是一个三维向量，对应关节点的XYZ坐标。首先遍历所有关节点J_i，找出图像平面的X、Y方向上的最大的和最小的值X_max、X_min、Y_max、Y_min，通过这几个参数可以得到包含人体所有待测关节的最小的边界框。

X_max＝MIN(MAX(J_i[0]；i＝1～N)，W)

X_min＝MAX(MIN(J_i[0]；i＝1～N)，0)

Y_max＝MIN(MAX(J_i[1]；i＝1～N)，H)

Y_min＝MIN(MAX(J_i[1]；i＝1～N)，0)

w₀＝X_max-X_min

h₀＝Y_max-Y_min

W和H分别是输入图像的宽和高；w₀和h₀分别是最小边界框的宽和高。

然后在此最小边界框的基础上，在水平和竖直方向分别延展一定长度，来作为更新的边界框。其中长度的延展都是对称的，例如在水平方向，方框的左边与右边要延展同样的长度。在本系统实现中，水平方向延长方框宽度的0.4倍，竖直方向延长方框高度的0.2倍，即水平方向左右各延长宽度的0.2倍，竖直方向上下各延长高度的0.1倍。最后得到的是宽为w、高为h的边界框。即在本实施例中为对最小矩形框在其四个方向上进行等比扩大。

如果当前人体位于图像的边缘，导致延展之后的方框边界超出了图像本身的边界，则将此处的取值改为图像边界对应的值，即在本实施例中，无论是否有超出图像的边界，经等比扩大后的矩形框所围区域与当前帧图像的交集区域的边界构成裁剪边界框。

此时，可利用以下验证方法确定初始化过程是否达到预设目的，而决定是否终止初始化过程而进行后续步骤：

步骤S41，对用于初始化的当前帧图像的边界框按预定比例外扩成验证边界框，以验证边界框所围区域与验证帧图像的交集区域的边界构成前述验证边界框。

步骤S42，基于验证检边界框从被验证的当前帧图像中裁剪出人体验证图像，并将人体验证图像缩放并填充为基准比对图像。

步骤S43，基于人体姿态估计网络模型，获取基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在当前帧图像的坐标系中的基准坐标；及基于前述初始化步骤中所获取的标准待识别图像利用该人体姿态估计网络模型获取的初始坐标，并将该初始坐标变换为在当前帧图像的坐标系中的标准坐标。

在本实施例中，人体姿态估计网络模型采用基于ResNet-50的VNect。

步骤S44，若被抽检的当前帧图像的标准坐标与其基准坐标的偏差小于等于预设阈值，则初始化完成。

在初始化后的阶段，获取当前帧的边界框为基于上一帧图像的关节坐标的识别结果，进行边界框的确定，并裁剪出至少包含人体关节的人体图像。

并在此过程中，可对获取的标准待识别图像进行抽检，以防止经放大之后的边界框无法完全围住所有关节点，而出现数据偏差，具体过程包括如下步骤：

步骤S51，对被抽检的当前帧图像的边界框按预定比例外扩成临时边界框，以临时边界框所围区域与抽检帧图像的交集区域的边界构成抽检边界框。

步骤S52，基于抽检边界框从被抽检的当前帧图像中裁剪出当抽检体图像，并将抽检人体图像缩放并填充为基准比对图像。

步骤S53，基于人体姿态估计网络模型，获取基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在当前帧图像的坐标系中的基准坐标。

步骤S54，若被抽检的当前帧图像的标准坐标与其基准坐标的偏差超出预设阈值，则以该基准坐标替换标准坐标，作为当前帧图像的人体关节坐标数据。

识别步骤S3，基于预先训练好的人体姿态估计网络模型，获取标准待识别图像中人体关节的初始坐标，并将初始坐标变换为在当前帧图像的坐标系中的标准坐标，作为后续处理所用的人体关节坐标数据。

围绕提前训练好且用于人体姿态估计的卷积神经网络，在本实施例中采用基于ResNet-50的VNect，当然，也可以使用其它已完成训练的网络，获取标准待识别图像中人体关节的初始坐标。

由于获取的坐标为标准待识别图像的基础坐标系下的坐标数据，根据前述缩放方式的反向将关节点的坐标还原至裁切出的前人体图像的坐标系下的坐标数据，接着利用该前人体图像与裁切之前的图像的坐标之间的关系，将对应坐标数据还原至位于当前帧图像的坐标系下的坐标数据。

评估步骤S4，基于连续多帧图像的关节坐标数据，评估老人跌倒的风险。

其基于现有评估模型进行评估，并非本申请的发明点，在此不再赘述。

在完成初始化步骤之后，重复上述接收步骤S1、预处理步骤S2、识别步骤S3及评估步骤S4，且在预处理步骤S2中，其边界框确定所需关节点坐标数据为基于上一帧处理所得的关节坐标数据，无需再使用现有人体检测器，从而提高检测实时性，其可以为停止初始化处理的最后一帧图像或正常处理后的前一帧图像。

在上述实施例中，由于要获取用于表征人体图像的边界框，而能围住所有关节点的最小矩形框并不能完全覆盖整个人体图像，因此需按照经验值并额外留有冗余量进行放大该边界框，且边界框的左右两侧通常等比放大，对于上下两侧可以根据人员对象的体型进行对应地放大，对于其放大比例根据实际情况进行处理，并不局限于上述实施例中的具体数据。

在上述实施例中，对于每个摄像头所获取的监控视频数据单独地进行预处理步骤、识别步骤与评估步骤；若有一个以上视角的数据评估出其存在跌倒风险，则认定该老人存在跌倒风险，从而可有效地避免漏检问题。

为了避免图像中人走出该摄像头，后再重新走入该摄像头的监控范围，在完成识别目标后，对图像进行验证，具体方案为连续多帧图像为任意其内相邻两帧图像中的关节点坐标之间的偏差小于第一预设阈值，和/或能围住所有关节点的最小矩形框的坐标偏差小于第二预设阈值，两个预设阈值根据实际情况进行设置，例如在当前拍摄速度向，被监控对象在行走过程中关节坐标数据正常变化的范围作为其阈值。

在本发明中，还公开评估系统，该系统均包括处理器与存储器，在存储器存储有计算机程序，计算机程序被处理器执行时，均能实现上述对应方法的步骤，在此不再赘述。

在本发明中，主要为对特定对象及单一对象进行评估，其识别模型为针对该对象而训练；此外，也可采用现有技术针对通用对象的识别模型，此时可以结合人脸识别技术而对对应对象进行监控，从而可以对多个对象进行同步监控评估。

Claims (9)

1.一种老年人跌倒风险评估方法，其特征在于，包括以下步骤：

接收步骤，接收安装在被监控场所内的摄像头所获取的监控视频数据；

预处理步骤，从所述监控视频数据中的每帧图像中裁剪处至少包含人体关节的人体图像，并将所述人体图像处理成预定标准尺寸的待识别人体图像；

识别步骤，基于已预先训练好的人体姿态估计网络模型，获取所述待识别人体图像中的关节坐标数据；

评估步骤，基于连续多帧图像的关节坐标数据，评估老人跌倒的风险。

2.根据权利要求1所述的老年人跌倒风险评估方法，其特征在于：

在所述被监控场所内安装有多个从不同视角进行监控的摄像头，对于每个摄像头所获取的监控视频数据单独地进行所述识别步骤与所述评估步骤；

若有一个以上视角的数据评估出其存在跌倒风险，则认定该老人存在跌倒风险。

3.根据权利要求1或2所述的老年人跌倒风险评估方法，其特征在于：

所述连续多帧图像为任意其内相邻两帧图像中的关节点坐标之间的偏差小于第一预设阈值，和/或能围住所有关节点的最小矩形框的坐标偏差小于第二预设阈值。

4.根据权利要求1至3任一项权利要求所述的老年人跌倒风险评估方法，其特征在于，所述将所述人体图像处理成预定标准尺寸的待识别人体图像的步骤包括：

将裁剪出的所述人体图像缩放并填充为预定标准尺寸的待识别人体图像。

5.根据权利要求4所述的老年人跌倒风险评估方法，其特征在于：

将所述人体图像等比缩放至一对侧边与所述预定标准尺寸的边界重合，且另一对侧边与所述预定标准尺寸的边界重合或存有间隙空间，再对存有的所述间隙空间进行填充，而获取标准尺寸的所述待识别人体图像。

6.根据权利要求1至5任一项权利要求所述的老年人跌倒风险评估方法，其特征在于，所述预处理步骤包括：

基于人体检测器从每帧图像中获取所述人体图像。

7.根据权利要求1至3任一项权利要求所述的老年人跌倒风险评估方法，其特征在于，所述预处理步骤包括：

边界确定步骤，在所述监控视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框；所述裁剪边界框为对能围住所述上一帧图像的所有关节点的最小矩形框的四边均进行朝外扩大处理，而获得的经扩大的矩形边框与所述当前帧图像的交集区域的边界；

标准化步骤，基于所述裁剪边界框从所述当前帧图像中裁剪出当前人体图像，并将裁剪出的所述当前人体图像等比缩放至一对侧边与所述预定标准尺寸的边界重合，且另一对侧边与所述预定标准尺寸的边界重合或存有间隙空间，再对存有的所述间隙空间进行填充，而获取标准尺寸的所述待识别人体图像。

8.根据权利要求7所述的老年人跌倒风险评估方法，其特征在于：

对被抽检的当前帧图像的边界框按预定比例外扩成临时边界框，以所述临时边界框所围区域与当前抽检帧图像的交集区域的边界构成抽检边界框；

基于所述抽检边界框从被抽检的当前帧图像中裁剪出抽检人体图像，并将所述抽检人体图像缩放并填充为基准比对图像；

基于所述人体姿态估计网络模型，获取所述基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在所述当前帧图像的坐标系中的基准坐标；

若被抽检的所述当前帧图像的标准坐标与其基准坐标的偏差超出预设阈值，则以该基准坐标替换其标准坐标，作为被抽检的所述当前帧图像的人体关节坐标数据。

9.一种老年人跌倒风险评估方法，包括处理器与存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，能实现权利要求1至8任一项权利要求所述的老年人跌倒风险评估方法的步骤。

Images