CN113569793A - 一种跌倒识别方法及装置 - Google Patents

Abstract

本发明实施例提供一种跌倒识别方法及装置。该方法包括：获取摄像装置拍摄的目标对象的设定时长的步行视频数据；针对步行视频数据中的任一图片帧，确定目标对象的多个识别点在图片帧中的位置；针对任一识别点，根据识别点在多个图片帧中的位置，确定目标对象的步行姿态；根据步行姿态，识别目标对象的跌倒风险。本方法无需目标对象进行佩戴，不会影响目标对象的正常行走和生活，且通过视频数据可以更加直观地对目标对象的步行姿态进行分析判断，对目标对象的跌倒识别准确性更高。提高了对目标对象的步行姿态的判断的准确性，进一步地保证了对目标对象的跌倒风险的准确性评估。

Description

一种跌倒识别方法及装置

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种跌倒识别方法、装置、计算设备及计算机可读存储介质。

背景技术

随着世界人口老龄化的加剧，对老年人的日常护理成为一个重大的社会需求。据统计，跌倒所造成的损伤是威胁老年人健康生活的主要原因之一，60岁以上老年人每年大约有三分之一的人曾经跌倒。老年人跌倒的发生，并不同于普通意义上认为的是一种意外，而是存在潜在的危险。事实上，老年人的跌倒行为是可以预防和控制的。通过对老年人的走路品质的有效评估，指导行走行为过程，进行积极有效地干预，将有助于降低老年人跌倒风险的发生，减少老年人跌倒所带来的伤亡可能性，保障老人的生命安全。

目前用于检测老年人跌倒的方式有通过加速度仪和陀螺仪的老年人跌倒检测报警系统，老年人需要在行走过程中佩戴检测传感器，通过多个检测传感器以检测老年人的姿态，从而判断出老年人是否有跌倒风险，并作出警报。但是该种方法很难在众多老年人中进行普及，且大量地使用检测传感器有可能会对老人的正常活动造成影响，存在佩戴麻烦的问题。

综上，本发明实施例提供一种跌倒识别方法，用以针对目标对象，准确识别其跌倒风险。

发明内容

本发明实施例提供一种跌倒识别方法，用以针对目标对象，准确识别其跌倒风险。

第一方面，本发明实施例提供一种跌倒识别方法，包括：

获取摄像装置拍摄的目标对象的设定时长的步行视频数据；

针对所述步行视频数据中的任一图片帧，确定所述目标对象的多个识别点在所述图片帧中的位置；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态；

根据所述步行姿态，识别所述目标对象的跌倒风险。

通过摄像装置对目标对象的行走过程进行拍摄得到步行视频数据，然后对步行视频数据中的图片帧进行相应的分析确定目标对象的步行姿态，从而识别目标对象的跌倒风险。相较于通过可穿戴的检测传感器检测的方法而言，本方法无需目标对象进行佩戴，不会影响目标对象的正常行走和生活，且通过视频数据可以更加直观地对目标对象的步行姿态进行分析判断，对目标对象的跌倒识别准确性更高。在具体判断目标对象的步行姿态时，通过对任一图片帧中的目标对象的多个识别点进行标注，然后对多个图片帧中的识别点进行分析，从而将对目标对象的步行姿态的分析转化为对多个图片帧中的识别点的变化情况的分析，提高了对目标对象的步行姿态的判断的准确性，进一步地保证了对目标对象的跌倒风险的准确性评估。

可选地，所述多个识别点包括左脚识别点和右脚识别点；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

根据所述左脚识别点和所述右脚识别点在所述图片帧中的位置确定左脚和/或右脚是否为落地状态；

在所述多个图片帧中，确定左脚为落地状态的图片帧的第一数量和右脚为落地状态的图片帧的第二数量；

根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力。

通过目标对象的左脚识别点和右脚识别点的位置进行分析，确定左脚识别点和/或右脚识别点是否为落地状态，通过对左脚为落地状态和图片帧的数量和右脚为落地状态的图片帧数量进行分析，确定目标对象对左脚和右脚的掌控能力，从而对目标对象的平衡能力进行判断。

可选地，确定左脚为落地状态的图片帧的第一数量和右脚为落地状态的图片帧的第二数量，包括：

针对任一左右脚交替过程，确定所述左右脚交替过程中左脚为落地状态的连续图片帧的第一数量及右脚为落地状态的连续图片帧的第二数量；

根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力，包括：

根据多个左右脚交替过程中各第一数量的标准差和各第一数量的平均值，确定左脚的第一平衡能力；

根据多个左右脚交替过程中各第二数量的标准差和各第二数量的平均值，确定右脚的第一平衡能力。

针对任一左右脚交替过程，确定左脚为落地状态的第一数量和右脚为落地状态的第二数量，那么对于目标对象在行走过程中的多个左右脚交替过程，可确定多个第一数量和多个第二数量。通过对各第一数量的标准差和平均值进行分析，可以确定出目标对象每一次使用左脚落地时占用时间的波动程度，若波动程度较大，则说明左脚的第一平衡能力较差。通过对各第二数量的标准差和平均值进行分析，可以确定出目标对象每一次使用右脚落地时占用时间的波动程度，若波动程度较大，则说明右脚的第一平衡能力较差。

可选地，根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力，包括：

根据所述第一数量和所述第二数量，确定左右脚交替过程中处于落地状态的图片帧的第三数量；

根据所述第一数量与所述第三数量的比值，确定左脚的第二平衡能力；

根据所述第二数量与所述第三数量的比值，确定右脚的第二平衡能力。

还可以通过统计左右脚交替过程中的左脚和/或右脚处于落地状态的图片帧的第三数量，确定第一数量和第三数量的比值，从而确定目标对象使用左脚落地的时间所占的比例，从而进一步确定目标对象的左脚的第二平衡能力。同样的，确定第二数量和第三数量的比值，从而确定目标对象使用右脚落地的时间所占的比例，从而进一步确定目标对象的右脚的第二平衡能力。

可选地，所述多个识别点包括头部识别点和脚部识别点；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

通过所述头部识别点和所述脚部识别点确定所述目标对象在图片帧中的像素高度；

根据所述像素高度、所述目标对象的真实高度和所述摄像装置的焦距，确定所述目标对象与所述摄像装置的实际距离；

根据多个图片帧得到的多个实际距离以及所述多个图片帧的时间差，确定所述目标对象的移动速度。

通过任一图片帧中的头部识别点和脚步识别点确定目标对象的像素高度，进一步确定任一张图片帧中目标对象与摄像装置的距离，从而可以获得目标对象的行走距离，结合时间差，确定目标对象的移动速度。移动速度从一定程度上也可以反映出目标对象的跌倒风险。

可选地，根据多个图片帧得到的多个实际距离以及所述多个图片帧的时间差，确定所述目标对象的移动速度，包括：

针对任意两个连续的图片帧，确定所述目标对象的第一移动速度；

根据所述目标对象的各第一移动速度，确定所述目标对象的加速度小于预设阈值的图片帧序列；

根据所述图片帧序列的初始帧和结束帧的时间差、所述初始帧中确定的所述目标对象与所述摄像装置的第一实际距离和所述结束帧中确定的所述目标对象与所述摄像装置的第二实际距离，确定所述目标对象的移动速度。

由于目标对象在行走过程中的速度变化不可控，那么在判断目标对象的跌倒风险时，尽量选择目标对象的速度较为平稳的一段距离进行计算。因此对任意两个连续的图片帧进行分析，确定目标对象在行走过程的第一移动速度，通过第一移动速度的变化情况确定出目标对象的加速度最小，即速度最为平稳的一段距离，进而通过该段距离确定目标对象的移动速度。

可选地，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

针对多个识别点中的头部识别点、颈部识别点、肩部识别点或胯部识别点中的一个或多个，确定所述识别点在所述多个图片帧中的横坐标的标准差；根据所述标准差确定所述目标对象的摇晃程度。

目标对象的摇晃程度也可以反映出目标对象的跌倒风险。通过对多个图片帧中的识别点的变化情况进行分析，即可确定目标对象的摇晃程度，从而用于辅助判断目标对象的跌倒风险。

可选地，所述步行姿态包括目标对象的摇晃程度、目标对象的平衡能力和目标对象的移动速度。

结合目标对象的摇晃程度、目标对象的平衡能力和目标对象的移动速度进行综合分析，可以进一步提高对目标对象的跌倒风险的识别准确性。

第二方面，本发明实施例还提供一种跌倒识别装置，包括：

获取单元，用于获取摄像装置拍摄的目标对象的设定时长的步行视频数据；

确定单元，用于针对所述步行视频数据中的任一图片帧，确定所述目标对象的多个识别点在所述图片帧中的位置；

处理单元，用于针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态；根据所述步行姿态，识别所述目标对象的跌倒风险。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列的跌倒识别方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任一方式所列的跌倒识别方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种跌倒识别方法的示意图；

图2为本发明实施例提供的一种通过OPENPOSE BODY25神经网络模型采集的目标对象的多个识别点的示意图；

图3为本发明实施例提供的一种确定目标对象的移动速度的方法示意图；

图4为本发明实施例提供的一种摄像装置与像素高度形成的三角形和摄像装置与目标对象的真实高度形成的三角形的示意图；

图5为本发明实施例提供的一种目标对象在行走中的左右脚交替过程示意图；

图6为本发明实施例提供的一种跌倒识别装置的结构示意图；

图7为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本发明实施例提供一种跌倒识别方法，对目标对象的行走过程中的视频数据进行分析，通过目标对象的识别点在多个图片帧中的位置变化，确定目标对象的跌倒风险，无需目标对象佩戴设备，方便快捷地对目标对象的跌倒风险做出准确的评估。

图1示出了本发明实施例提供的一种跌倒识别方法，包括如下步骤。

步骤101，获取摄像装置拍摄的目标对象的设定时长的步行视频数据。

步骤102，针对步行视频数据中的任一图片帧，确定目标对象的多个识别点在图片帧中的位置。

步骤103，针对任一识别点，根据识别点在多个图片帧中的位置，确定目标对象的步行姿态。

步骤104，根据步行姿态，识别目标对象的跌倒风险。

需要说明的是，本实施例的执行主体可以为一种图像数据处理设备，用于对目标对象进行拍摄，以获得目标对象的步行视频数据，以及对目标对象的步行视频数据进行分析处理；还可为一种具有采集图像数据与图像数据处理功能的终端设备；还可以为一种云端服务器，通过终端设备采集步行视频数据进行预处理后上传至云端服务器，由云端服务器进行分析处理。本实施例中不加以限制。

本发明实施例的应用场景可以为敬老院、家庭和其他公共空间。例如，可以在敬老院中安装摄像装置，拍摄老年人的日常活动后上传至云端服务器进行跌倒风险的评估，通过云端计算，优化了运算逻辑，评估时间大大缩短；也可以在移动终端中安装应用，用户打开应用，即可选择对家庭中的成员的步行过程进行跌倒风险的评估。使用场景灵活，无需专业人员帮助，即可自行评估跌倒风险。

在步骤101中，通过摄像装置对目标对象进行拍摄，摄像装置包括模拟摄像头、数字摄像头、高清摄像头、电荷耦合器件(charge coupled device，CCD)摄像头以及球形摄像头等，本实施例中对摄像装置的传输信号、分辨率、传感器型号以及外形均不加以限制，可以根据实际情况采用合适的摄像装置。此外，摄像装置在采集目标对象的步行视频数据时可以按照每秒30帧的速度进行采集，也可以按照其他速度进行采集。本发明实施例对此不做限制。

需要说明的是，摄像装置在对目标对象进行拍摄时，所采集的视频数据中不仅包含目标对象，还可能存在其他运动物体如动物、被风吹动的植物等，因此需要对视频数据进行处理。本实施例中是根据人体运动特征对视频数据进行去噪处理，将不符合人体运动特征的运动物体从视频数据中去除，剩下只包括人体的视频数据即为步行视频数据。

可选地，摄像装置所采集的视频数据中可能存在多个人物，多个人物的存在使得对某个目标对象的步行姿态的分析具有干扰性，因此可以将其他无关人物从视频数据中去除。具体为，识别出视频数据中包含多人场景，根据对视频数据中的多个图片帧进行分析，提取出仅包含目标对象的步行视频数据。其中确定目标对象的方法可以为：1、通过人物出现在视频数据中的总时长确定，例如，在一段5秒的视频数据中出现了两个人物，其中人物A出现了5秒，而人物B出现了2秒，则认为人物A为目标对象。2、通过对每张图片帧做图像识别处理，将占用像素较多的人物作为目标对象。3、结合方法1和方法2，综合确定目标对象。例如：在一段5秒的视频数据中出现了两个人物，其中人物A出现了5秒，而人物B出现了4秒，那么再对每张图片帧进行图像识别处理，确定人物A占用像素的数量大于人物B占用像素的数量的图片帧的个数是否大于预设阈值，若大于预设阈值，则进一步确定人物A为目标对象。通过两方面的分析，提高了确定目标对象的准确性。

在确定了目标对象后，提取出仅包含目标对象的步行视频数据。例如，在上述例子中，可以将仅包含人物A的图片帧提取出形成步行视频数据，或者为了保证人物A的步行视频的完整性和流畅性，也可以将这段5秒的视频数据中包含人物B的图片帧做去噪处理或裁剪处理，如此得到的步行视频数据中仅包含人物A，且依然为5秒，包含了人物A的完整运动轨迹。

可选地，摄像装置拍摄的视频数据中，目标对象可能具有不同的行为，例如步行、跑步、弯腰、坐、躺等。因此，当预测目标对象在正常行走时的跌倒风险时，需要将目标对象在做其他行为例如跑步、弯腰、坐、躺时的图片帧去除；当预测目标对象在跑步时的跌倒风险时，需要将目标对象在做其他行为例如步行、弯腰、坐、躺时的图片帧去除。本领域技术人员可以根据需要做出各种各样的选择，本发明实施例对此不作限制。具体地，可以通过将图片帧输入至神经网络模型的方法，确定图片帧中对应的目标对象的行为。神经网络模型通过输入大量的图片帧及对应的行为的样本对进行训练。本发明实施例对此不作限制。

还可以是在特定场景下对目标对象的跌倒风险进行评估。例如用户在移动终端中安装应用，打开应用，应用显示提示：请在镜头前匀速步行5秒-10秒，那么在这样的特定场景下，目标对象一般会在镜头前步行，而很少会做出诸如躺、坐、弯腰这样的行为。若目标对象做出了诸如躺、坐、弯腰这样的行为，则可提示用户：识别失败，请重试。如此，则无需对拍摄的视频数据中的用户行为进行识别然后去除无关行为的图片帧，简化了服务器的处理流程，提高了对目标对象的跌倒风险的识别速度。

同样，若是在上述特定场景下，则可在识别目标对象的跌倒风险之前，使应用显示提示：请保持拍摄背景无其他人物和运动物体的干扰。那么一般来说，用户看到这样的提示，会刻意保证目标对象的拍摄背景符合要求。若不符合要求，则服务器无需进一步的去噪处理或裁剪处理，向用户显示“识别失败，请重试”的提示即可。这样做同样会简化服务器的处理流程，提高了对目标对象的跌倒风险的识别速度。

通过上述方法，可将整个跌倒识别过程的时长控制在一分钟以内，用户可及时了解目标对象的跌倒风险，从而做出相对应的防护措施，提升了用户体验。

可选地，还可以对摄像装置拍摄的目标对象的步行视频数据的时长进行控制，例如可以将摄像装置安装在目标人物的生活场景中，如卧室，拍摄目标人物一天内、一周内、一个月内的日常生活，对得到的视频数据提取相关的图片帧形成步行视频数据进行跌倒风险的评估。还可以是通过手机的摄像装置拍摄目标对象较短时间内的步行视频数据，例如提示目标对象：“请匀速行走5秒-10秒”，或“请匀速行走5米-10米”等。如此得到的步行视频数据的时长较短，相应地，对目标对象的跌倒风险的识别过程的时长也较短。

在步骤102中，针对步行视频数据中的任一图片帧，确定目标对象的多个识别点在图片帧中的位置。

在将从摄像装置中获取的视频数据经过了步骤101的处理后，得到的步行视频数据中仅包含目标对象，且每个图片帧中的目标对象的行为为步行。步行视频数据中包含多个图片帧，例如一段时长为5秒的步行视频数据，若帧率为30帧/秒，则这段时长为5秒的步行视频数据中包含150张图片帧。针对任一张图片帧，可以对这张图片帧中出现的目标对象的多个识别点进行标注，并给出多个识别点的位置。

确定目标对象的多个识别点的位置的方法有很多，例如OPENPOSE BODY18、OPENPOSE BODY25等，图2示出了一种通过OPENPOSE BODY25神经网络模型采集的目标对象的多个识别点的示意图。每个识别点对应的人体部位如表一所示。

表一

值得注意的是，图2示出的是目标对象面向摄像装置拍摄的画面，因此在画面左侧显示的识别点实际是目标对象的右侧，在画面右侧显示的识别点实际是目标对象的左侧。当目标对象背对摄像装置拍摄时，识别点不变(即数字不变)，但是识别点对应的人体部位做左右对调即可。

将任一图片帧，输入至OPENPOSE BODY25神经网络模型，则会输出表一中示出的多个识别点在所述图片帧中的位置。以图片帧的左下角为原点，水平方向为横坐标，竖直方向为纵坐标建立坐标系，则多个识别点在图片帧中的位置可以通过坐标来表示，如16的坐标表示为：(300，500)，其中坐标值与图片帧的像素数有关。模型输出的坐标仅为识别点的坐标，但是若不知目标对象是面向摄像装置还是背向摄像装置的话，则无法确定该识别点对应的人体部位是左侧还是右侧。因此在后续的步骤中需要采取方式确定目标对象的移动方向。确定目标对象的移动方向的方法在步骤103中详述。

若采用上述OPENPOSE BODY25神经网络模型对目标对象的多个识别点在图片帧中的位置进行标注的话，则目标对象应面向摄像装置或背对摄像装置行走，行走中，目标对象也可借助辅具，如左拐、右拐或双拐等。本发明实施例对此不做限制。

如此，针对任一图片帧，得到了25个识别点的坐标。在后续对跌倒风险的评估中，可能用到25个识别点坐标，也可能只用到其中的一部分如10个识别点的坐标。本领域技术人员可以根据需要进行选择，在此不作限制。

若用户手持摄像设备对目标对象进行拍摄，则不免会导致摄像设备的晃动，那么对于识别点的坐标来说，也会出现忽大忽小的情况，因此可以针对任一识别点在多个图片帧中的坐标数据做滤波处理，以减少波纹，降低噪点，滤除一些误差较大的坐标。本发明实施例对滤波处理的方式不作限制，例如巴特沃斯低通滤波器、移动平均滤波等。例如，针对左眼这一识别点，第1张图片帧中，提取：16(300，500)，第2张图片帧中，提取：16(310，505)，第3张图片帧中，提取：16(600，510)，第4张图片帧中，提取：16(303，500)，那么可以发现第3张图片帧中提取的识别点的位置相对于前面的图片帧和后面的图片帧而言，出现了较为剧烈的波动，因此可将其滤除。以上仅为读者理解而做出的示例，不作为对本发明实施例的限制。

在步骤103中，针对任一识别点，根据识别点在多个图片帧中的位置，确定目标对象的步行姿态。

步行姿态可以包括目标对象的摇晃程度、目标对象的平衡能力和目标对象的移动速度中的一项或多项。下面对步行姿态的确定过程分别做出说明。

一、目标对象的移动速度

本发明实施例提供一种确定目标对象的移动速度的方法，使用到的识别点包括头部识别点和脚部识别点，反映在图2中的话，头部识别点可以为右眼15、左眼16、右耳17、左耳18和鼻子0中的任一项；脚部识别点可以为右脚踝11、右脚跟24、右小拇指23、右大拇指22、左脚踝14、左脚跟21、左大拇指19、左小拇指20中的任一项。如图3所示，确定目标对象的移动速度的方法包括：

步骤301，通过所述头部识别点和所述脚部识别点确定所述目标对象在图片帧中的像素高度。

针对任一图片帧，从头部识别点中选择一个识别点，从脚部识别点中选择一个识别点，两个识别点的差的绝对值即为目标对象在图片帧中的像素高度。需要注意的是，对所有图片帧来说，选择的头部识别点应相同，选择的脚部识别点应相同。例如，选择识别点15和识别点22，那么对于第1张图片帧、第2张图片帧……第n张图片帧，均计算识别点15和识别点22的差的绝对值作为像素高度。

步骤302，根据所述像素高度、所述目标对象的真实高度和所述摄像装置的焦距，确定所述目标对象与所述摄像装置的实际距离。

在计算目标对象与摄像装置的实际距离时，使用到了相似三角形原理，图4示出了摄像装置与像素高度形成的三角形和摄像装置与目标对象的真实高度形成的三角形的示意图。根据相似三角形原理，可得出如下公式：D＝F*W/P，其中F为摄像装置的焦距，P为像素高度，D为目标对象与摄像装置的实际距离，W为目标对象的真实高度。因此需要计算目标对象与摄像装置的实际距离，则不仅需要用到像素高度，还需要用到目标对象的真实高度和摄像装置的焦距。

针对目标对象的真实高度的确定问题，可以由用户自行输入，也可设置一个平均高度，例如，女性设置为160cm，男性设置为170cm。本发明实施例对此不作限制。

针对摄像装置的焦距的确定问题，由于不同摄像装置的焦距不同，因此需要单独确定。可采用如下方式确定：可以在用户使用摄像装置之初，就让用户站在一固定距离处，由摄像装置进行拍摄。例如，让目标对象站在距离摄像装置1米处，摄像装置拍摄后，可得一张图片，通过该张图片计算目标对象的像素高度，则像素高度已知，实际距离已知，目标对象的真实高度已知，通过公式F＝D P/W，即可计算出摄像装置的焦距。还可以通过读取摄像装置的结构参数获取摄像装置的焦距。本发明实施例对确定摄像装置的焦距的方法不作限制。

针对任一张图片帧，在确定了像素高度、所述目标对象的真实高度和所述摄像装置的焦距后，即可确定该张图片帧中反映出的目标对象与摄像装置的实际距离。

步骤303，根据多个图片帧得到的多个实际距离以及所述多个图片帧的时间差，确定所述目标对象的移动速度。

多个图片帧可以得到多个实际距离，通过第一张图片帧确定出的实际距离与最后一张图片帧确定出的实际距离的差即可确定目标对象在此过程中的行走距离，结合第一张图片帧与最后一张图片帧的时间差，即可确定目标对象在此过程中的移动速度。

但是，目标对象在步行过程中的速度往往是时刻变化的，其中起步的过程是速度逐渐变大的过程，停止的过程是速度逐渐变小的过程，中间可能存在一段匀速的过程。那么在判断目标对象的跌倒风险时，选择目标对象的匀速过程来确定其移动速度是比较科学的。因此还可采用以下方式确定目标对象的移动速度。

首先在多个图片帧中选取出目标对象匀速行走的一段距离。具体为，针对任意两个连续的图片帧，确定所述目标对象的第一移动速度，根据所述目标对象的各第一移动速度，确定所述目标对象的加速度小于预设阈值的图片帧序列，通过图片帧序列的初始帧确定的所述目标对象与所述摄像装置的第一实际距离和所述结束帧中确定的所述目标对象与所述摄像装置的第二实际距离做差得到目标对象匀速行走的一段距离。

举个例子，第1张图片帧确定的距离为a2米，第2张图片帧确定的距离为a2米，第3张图片帧确定的距离为a3米，第4张图片帧确定的距离为a4米，若帧率为30帧/秒，则各图片帧之间的时间差为t＝1/30秒，那么各第一移动速度分别为(a2-a1)/t，(a3-a2)/t，(a4-a3)/t，根据各第一移动速度还可确定目标对象在行走过程中的加速度，从而确定出速度变化最小即加速度最小的一段图片帧序列。若确定出的图片帧序列为第2张图片帧、第3张图片帧、第4张图片帧，则用第2张图片帧确定的第一实际距离与第4张图片帧确定的第二实际距离做差，得到目标对象匀速行走的一段距离。

结合该图片帧序列的初始帧与结束帧的时间差，可得目标对象的移动速度。

值得注意的是，在上述确定目标对象的移动速度的过程中，还可确定出目标对象的移动方向。若在按照时间顺序排列的多个图片帧中，确定出的多个实际距离逐渐变大，则说明目标对象的移动方向为远离摄像装置，目标对象背向摄像装置；若在按照时间顺序排列的多个图片帧中，确定出的多个实际距离逐渐变小，则说明目标对象的移动方向为靠近摄像装置，目标对象面向摄像装置。在确定了目标对象的移动方向后，即可明确各识别点对应的人体部位，例如若确定目标对象的移动方向为远离摄像装置，则目标对象背向摄像装置，那么识别点22对应的人体部位是左大拇指。在后续对目标对象的平衡能力的评估时，就可对左脚识别点和右脚识别点做出区分，从而给出合理的评估结果。

二、目标对象的平衡能力

由于目标对象可能由于跛脚、体弱、年老等原因，在行走中难以保持平衡，因此目标对象的平衡能力可以反映出他的跌倒风险。若平衡能力强，则跌倒风险低，若平衡能力弱，则跌倒风险高。本发明实施例通过对目标对象的左脚和右脚的落地情况进行分析，从而确定目标对象的平衡能力。

首先需要确定目标对象的移动方向，那么就可确定目标对象是面向摄像装置还是背向摄像装置，从而就可确定各识别点对应的准确的人体部位，例如，可以确定识别点22对应的人体部位是左大拇指或者是右大拇指。确定目标对象的移动方向可以采用在确定目标对象的移动速度的步骤中提到的确定方法，即根据实际距离的变化情况来确定，还可通过目标对象的膝盖处的识别点与中轴线的距离与脚踝处的识别点与中轴线的距离的大小关系来确定。若目标对象的膝盖处的识别点距离中轴线的距离小于脚踝处的识别点与中轴线的距离，则根据“近大远小”的原理，可知目标对象背向摄像装置，向远离摄像装置的方向移动。以上仅为示例，本发明实施例对此不作限制。

接下来以目标对象向靠近摄像装置的方向移动为例，介绍确定目标对象的平衡能力的方法。

在对目标对象的左脚和右脚的落地情况进行分析时，需要用到左脚识别点和右脚识别点，反映在图2中的话，可以使用到的左脚识别点有左脚踝14、左脚跟21、左大拇指19、左小拇指20，可以使用到的右脚识别点有右脚踝11、右脚跟24、右小拇指23、右大拇指22。

针对任一图片帧，根据左脚识别点和右脚识别点在图片帧中的位置确定左脚和/或右脚是否为落地状态。确定是否为落地状态可以采用如下方法。例如，确定左脚识别点和右脚识别点的纵坐标高度，纵坐标较低的识别点为落地状态；又比如，确定左脚识别点和右脚识别点的纵坐标高度是否小于预设阈值，若小于预设阈值，则认为该识别点为落地状态；又比如，判断连续n张图片帧的左脚识别点和/或右脚识别点的纵坐标均保持不变，则认为该识别点为落地状态。以上仅为示例，本发明实施例对此不作限制。

然后在多个图片帧中，确定左脚为落地状态的图片帧的第一数量和右脚为落地状态的图片帧的第二数量。根据第一数量和第二数量，确定目标对象的平衡能力。

具体的，本发明实施例提供如下两种确定目标对象的平衡能力的方法。

方式一

针对任一左右脚交替过程，确定所述左右脚交替过程中左脚为落地状态的连续图片帧的第一数量及右脚为落地状态的连续图片帧的第二数量。根据多个左右脚交替过程中各第一数量的标准差和各第一数量的平均值，确定左脚的第一平衡能力。根据多个左右脚交替过程中各第二数量的标准差和各第二数量的平均值，确定右脚的第一平衡能力。

举个例子，图5示出了目标对象在行走中的左右脚交替过程，每一次左脚为落地状态时，会有多张连续图片帧显示左脚为落地状态；同样的，每一次右脚为落地状态时，会有多张连续图片帧显示右脚为落地状态。例如在图5中，第一次左脚为落地状态时占用连续图片帧的数量为3，第一次右脚为落地状态时占用连续图片帧的数量为3，第二次左脚为落地状态时占用连续图片帧的数量为4，第二次右脚为落地状态时占用连续图片帧的数量为3，第三次左脚为落地状态时占用连续图片帧的数量为7，第三次右脚为落地状态时占用连续图片帧的数量为4。则针对左脚，各第一数量分别为3、4、7，针对右脚，各第二数量分别为3、3、4。以上数字仅为理解本方案，不作为对本发明实施例的限制。

那么针对左脚，通过各第一数量的标准差和平均值，确定左脚的第一平衡能力。例如可采用如下公式进行计算：

通过各第二数量的标准差和平均值，确定右脚的第一平衡能力。例如可采用如下公式进行计算：

通过上述方法，可以分析出目标对象在步行过程中，每一只脚每次落地状态占用时间的波动程度，进而可反映出目标对象在步行过程中，每一只脚每次落地的节奏是否平缓而均匀。在上述例子中，各第一数量的波动程度较大，各第二数量的波动程度较小，因此左脚的落地节奏相比与右脚的落地节奏而言，更加不稳定。

针对任一左右脚交替过程，确定左脚为落地状态的第一数量和右脚为落地状态的第二数量，那么对于目标对象在行走过程中的多个左右脚交替过程，可确定多个第一数量和多个第二数量。通过对各第一数量的标准差和平均值进行分析，可以确定出目标对象每一次使用左脚落地时占用时间的波动程度，若波动程度较大，则说明左脚的第一平衡能力较差。通过对各第二数量的标准差和平均值进行分析，可以确定出目标对象每一次使用右脚落地时占用时间的波动程度，若波动程度较大，则说明右脚的第一平衡能力较差。

方式二

根据所述第一数量和所述第二数量，确定左右脚交替过程中处于落地状态的图片帧的第三数量。根据所述第一数量与所述第三数量的比值，确定左脚的第二平衡能力。根据所述第二数量与所述第三数量的比值，确定右脚的第二平衡能力。

仍以图5为例，在第一次左右脚交替过程中，确定左脚为落地状态的图片帧的第一数量为3，针对右脚，确定右脚为落地状态的图片帧的第二数量为3。那么就可得到此次左右脚交替过程中处于落地状态的图片帧的第三数量为3+3＝6，根据如下公式确定左脚的第二平衡能力：

根据如下公式确定右脚的第二平衡能力：

因此可得，在第一次左右脚交替过程中，左脚的第二平衡能力和右脚的第二平衡能力均为0.5，同理，可得在第二次左右脚交替过程中左脚的第二平衡能力和右脚的第二平衡能力。

可选地，还可以将各第一数量的和、各第二数量的和用于确定左脚的第二平衡能力和右脚的第二平衡能力。

例如在图5的例子中，各第一数量的和为3+4+7＝14，各第二数量的和为3+3+4＝10，则第三数量为各第一数量的和与各第二数量的和，为14+10＝24，因此左脚的第二平衡能力可通过如下公式计算：

右脚的第二平衡能力可通过如下公式计算：

因此在上述例子中，左脚的第二平衡能力为0.42，右脚的第二平衡能力为0.58。

通过上述方法，可以确定目标对象使用左脚和右脚的时间的比例。那么左脚的第二平衡能力和右脚的第二平衡能力越接近0.5，则说明目标对象使用左脚和右脚着地的时间越均衡，平衡能力越好。

可选地，可以选择上述任意一种方法确定目标对象的平衡能力，也可两种方法结合，根据第一平衡能力和第二平衡能力综合确定目标对象的平衡能力。

三、目标对象的摇晃程度

针对多个识别点中的头部识别点、颈部识别点、肩部识别点或胯部识别点中的一个或多个，确定所述识别点在所述多个图片帧中的横坐标的标准差；根据所述标准差确定所述目标对象的摇晃程度。

使用到的头部识别点可以为右眼15、左眼16、右耳17、左耳18和鼻子0中的一个或多个；使用到的颈部识别点可以为颈部1；使用到的肩部识别点可以为右肩2和左肩5中的一个或多个；使用到的胯部识别点可以为中臀8、右臀9、左臀12中的一个或多个。

根据识别点在多个图片帧中的横坐标的标准差，确定目标对象的摇晃程度，例如，针对右肩2来说，第1张图片帧的横坐标为200，第2张图片帧的横坐标为210，第3张图片帧的横坐标为220，则摇晃程度可通过如下公式计算：

Xi为每一张图片帧的横坐标，N为图片帧的总张数，通过上述公式可以计算出右肩的摇晃程度。可以直接将右肩的摇晃程度作为目标对象的摇晃程度，也可以分别计算各个人体部位的摇晃程度后，综合确定目标对象的摇晃程度。

可选地，目标对象在不同的移动速度下，可能具有的摇晃程度也是不同的，因此可以将目标对象在行走过程中的多个图片帧按照平均移动速度的不同，划分为不同的区间，针对任一区间计算目标对象的摇晃程度，然后根据多个区间中目标对象的摇晃程度和相应的速度综合计算目标对象的摇晃程度。

目标对象的摇晃程度也可以反映出目标对象的跌倒风险。通过对多个图片帧中的识别点的变化情况进行分析，即可确定目标对象的摇晃程度，从而用于辅助判断目标对象的跌倒风险。

步骤104，根据步行姿态，识别在目标对象的跌倒风险。

在实际使用中，可以使用步骤103中确定的三种步行姿态中的一种或多种来确定目标对象的跌倒风险。例如根据每种步行姿态的评估，可得针对每种步行姿态的得分，然后综合几种步行姿态的得分，得到目标对象的跌倒风险。

例如，针对步行速度，给出相应的评分A1，其中步行速度与评分的对应的关系可由本领域技术人员进行设置，例如速度处于正常区间1m/s-1.3m/s时，速度评分为满分10分，速度处于过快或过慢的区间时，评分较低，为5分，以上仅为示例，本发明实施例对此不作限制。

针对平衡能力，给出第一平衡能力和第二平衡能力的综合评分A2，其中第一平衡能力和第二平衡能力与评分的对应的关系可由本领域技术人员进行设置。例如，对于第一平衡能力，小于第一预设阈值则评分为10分，大于第一预设阈值则评分为5分。对于第二平衡能力，越接近0.5，则评分越高。以上仅为示例，本发明实施例对此不作限制。对第一平衡能力和第二平衡能力取平均值作为目标对象的平衡能力得分。

针对摇晃程度，给出相应的评分A3，其中摇晃程度与评分的对应的关系可由本领域技术人员进行设置。例如，小于第二预设阈值则评分为10分，大于第二预设阈值则评分为5分。以上仅为示例，本发明实施例对此不作限制。

然后对上述评分做出分析，确定目标对象的综合评分，确定综合评分的方式可由本领域技术人员进行设置。本发明实施例对此不作限制。

可选地，还可以对针对目标对象的步行姿态的上述分析，实时显示目标对象的步行速度评分、平衡能力评分和摇晃程度评分以及综合评分，并给出相应的改进建议，例如：“您左脚的落地时间较短，可适当增加”，“您速度还可以再加快一点”等提示。

通过摄像装置对目标对象的行走过程进行拍摄得到步行视频数据，然后对步行视频数据中的图片帧进行相应的分析确定目标对象的步行姿态，从而识别目标对象的跌倒风险。相较于通过可穿戴的检测传感器检测的方法而言，本方法无需目标对象进行佩戴，不会影响目标对象的正常行走和生活，且通过视频数据可以更加直观地对目标对象的步行姿态进行分析判断，对目标对象的跌倒识别准确性更高。在具体判断目标对象的步行姿态时，通过对任一图片帧中的目标对象的多个识别点进行标注，然后对多个图片帧中的识别点进行分析，从而将对目标对象的步行姿态的分析转化为对多个图片帧中的识别点的变化情况的分析，提高了对目标对象的步行姿态的判断的准确性，进一步地保证了对目标对象的跌倒风险的准确性评估。

为了更好的解释本发明实施例，下面将在具体实施场景下来描述上述跌倒识别的流程。

用户在移动终端安装应用，打开应用后，输入目标对象的真实高度，然后应用给出提示“请面向/背向摄像装置匀速行走5s-10s”。用户按照应用给出的提示打开移动终端的摄像装置，拍摄目标对象面向或背向镜头匀速行走设定时长的步行视频数据。拍摄完成后，应用会将视频上传至云端服务器，由云端服务器对步行视频数据中包含的图片帧进行分析，针对步行视频数据中的任一图片帧，确定目标对象的多个识别点在图片帧中的位置，针对任一识别点，根据识别点在多个图片帧中的位置，确定目标对象的步行姿态，如步行速度、摇晃程度和平衡能力中的一项或多项。根据步行姿态，识别目标对象的跌倒风险。最后给出目标对象的综合评分以及行走建议。

基于相同的技术构思，图6示例性的示出了本发明实施例提供的一种跌倒识别装置的结构，该结构可以执行跌倒识别的流程。

如图6所示，该装置具体包括：

获取单元601，用于获取摄像装置拍摄的目标对象的设定时长的步行视频数据；

确定单元602，用于针对所述步行视频数据中的任一图片帧，确定所述目标对象的多个识别点在所述图片帧中的位置；

处理单元603，用于针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态；根据所述步行姿态，识别所述目标对象的跌倒风险。

基于相同的技术构思，本申请实施例提供了一种计算机设备，如图7所示，包括至少一个处理器701，以及与至少一个处理器连接的存储器702，本申请实施例中不限定处理器701与存储器702之间的具体连接介质，图7中处理器701和存储器702之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行上述跌倒识别方法的步骤。

其中，处理器701是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，从而进行跌倒识别。可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，计算机可执行程序用于使计算机执行上述任一方式所列的跌倒识别的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种跌倒识别方法，其特征在于，包括：

获取摄像装置拍摄的目标对象的设定时长的步行视频数据；

针对所述步行视频数据中的任一图片帧，确定所述目标对象的多个识别点在所述图片帧中的位置；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态；

根据所述步行姿态，识别所述目标对象的跌倒风险。

2.如权利要求1所述的方法，其特征在于，所述多个识别点包括左脚识别点和右脚识别点；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

根据所述左脚识别点和所述右脚识别点在所述图片帧中的位置确定左脚和/或右脚是否为落地状态；

在所述多个图片帧中，确定左脚为落地状态的图片帧的第一数量和右脚为落地状态的图片帧的第二数量；

根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力。

3.如权利要求2所述的方法，其特征在于，确定左脚为落地状态的图片帧的第一数量和右脚为落地状态的图片帧的第二数量，包括：

针对任一左右脚交替过程，确定所述左右脚交替过程中左脚为落地状态的连续图片帧的第一数量及右脚为落地状态的连续图片帧的第二数量；

根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力，包括：

根据多个左右脚交替过程中各第一数量的标准差和各第一数量的平均值，确定左脚的第一平衡能力；

根据多个左右脚交替过程中各第二数量的标准差和各第二数量的平均值，确定右脚的第一平衡能力。

4.如权利要求2所述的方法，其特征在于，根据所述第一数量和所述第二数量，确定所述目标对象的平衡能力，包括：

根据所述第一数量和所述第二数量，确定左右脚交替过程中处于落地状态的图片帧的第三数量；

根据所述第一数量与所述第三数量的比值，确定左脚的第二平衡能力；

根据所述第二数量与所述第三数量的比值，确定右脚的第二平衡能力。

5.如权利要求1所述的方法，其特征在于，所述多个识别点包括头部识别点和脚部识别点；

针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

通过所述头部识别点和所述脚部识别点确定所述目标对象在图片帧中的像素高度；

根据所述像素高度、所述目标对象的真实高度和所述摄像装置的焦距，确定所述目标对象与所述摄像装置的实际距离；

根据多个图片帧得到的多个实际距离以及所述多个图片帧的时间差，确定所述目标对象的移动速度。

6.如权利要求5所述的方法，其特征在于，根据多个图片帧得到的多个实际距离以及所述多个图片帧的时间差，确定所述目标对象的移动速度，包括：

针对任意两个连续的图片帧，确定所述目标对象的第一移动速度；

根据所述目标对象的各第一移动速度，确定所述目标对象的加速度小于预设阈值的图片帧序列；

根据所述图片帧序列的初始帧和结束帧的时间差、所述初始帧中确定的所述目标对象与所述摄像装置的第一实际距离和所述结束帧中确定的所述目标对象与所述摄像装置的第二实际距离，确定所述目标对象的移动速度。

7.如权利要求1所述的方法，其特征在于，针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态，包括：

针对多个识别点中的头部识别点、颈部识别点、肩部识别点或胯部识别点中的一个或多个，确定所述识别点在所述多个图片帧中的横坐标的标准差；根据所述标准差确定所述目标对象的摇晃程度。

8.如权利要求1-7中任一项所述的方法，其特征在于，所述步行姿态包括目标对象的摇晃程度、目标对象的平衡能力和目标对象的移动速度。

9.一种跌倒识别装置，其特征在于，包括：

获取单元，用于获取摄像装置拍摄的目标对象的设定时长的步行视频数据；

确定单元，用于针对所述步行视频数据中的任一图片帧，确定所述目标对象的多个识别点在所述图片帧中的位置；

处理单元，用于针对任一识别点，根据所述识别点在多个图片帧中的位置，确定所述目标对象的步行姿态；根据所述步行姿态，识别所述目标对象的跌倒风险。

10.一种计算设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至8任一项所述的方法。

Images