CN114463776A - 跌倒识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像识别技术领域，公开了一种跌倒识别方法、装置、设备及存储介质，所述方法包括：从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；根据所述骨骼点序列通过预设分类模型进行跌倒识别。相较于现有技术中通过可穿戴设备或者布置环境传感器进行跌倒识别的方式，本发明根据多帧待识别图像生成骨骼点序列，根据骨骼点序列来进行跌倒识别，采用图像检测的方式使跌倒识别更加便于检测，而且也更加准确，提升了跌倒识别效果。

Description

跌倒识别方法、装置、设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种跌倒识别方法、装置、设备及存储介质。

背景技术

家庭场景和室外场景下的跌倒识别是一个较受关注的方向，在当前领域也出现了一定的颇具建设性的实践。现有的跌倒识别技术主要存在于两个方面，其一是通过一些可穿戴设备进行识别，但可穿戴设备对于个人的生活并不是很便利，并不方便检测；另外一种是布置环境传感器，但现有的传感器设备受环境影响很大，噪声突出，很难得到较好的效果。所以，目前的跌倒识别方法存在不方便检测以及识别效果较差的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提出一种跌倒识别方法、装置、设备及存储介质，旨在解决现有技术中跌倒识别方法存在不方便检测以及识别效果较差的技术问题。

为实现上述目的，本发明提供一种跌倒识别方法，所述跌倒识别方法包括以下步骤：

从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

根据所述骨骼点序列通过预设分类模型进行跌倒识别。

可选地，所述从多帧待识别图像中分别提取人体区域，包括：

基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；

根据所述人体位置从多帧待识别图像中分别提取人体区域。

可选地，所述确定各帧待识别图像之间的图像顺序，包括：

分别获取各帧待识别图像对应的时间信息；

根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

可选地，所述对所述人体区域进行人体姿态分析，以获得人体骨骼点信息，包括：

根据所述人体区域从各帧待识别图像中分别截取人体图像；

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

可选地，所述基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息，包括：

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体中各人体骨骼对应的骨骼位置信息；

根据所述骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。

可选地，所述根据所述人体区域从各帧待识别图像中分别截取人体图像，包括：

根据所述人体区域分别确定各帧待识别图像中的人体数量，并根据所述人体数量确定图像数量；

根据所述人体区域和所述图像数量从各帧待识别图像中分别截取人体图像。

可选地，所述根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列，包括：

根据所述人体骨骼点信息确定各人体骨骼对应的人体骨骼点；

在所述人体图像中选取一个点作为坐标原点，并根据所述坐标原点建立坐标系；

确定各人体骨骼点在所述坐标系中的骨骼点坐标；

根据所述图像顺序和所述骨骼点坐标生成骨骼点序列。

可选地，所述根据所述图像顺序和所述骨骼点坐标生成骨骼点序列，包括：

对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标；

根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列。

可选地，所述对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标，包括：

获取所述人体图像的图像尺寸信息，并根据所述图像尺寸信息确定图像宽度和图像高度；

根据所述图像宽度和所述图像高度对所述骨骼点坐标进行归一化处理，获得目标骨骼点坐标。

可选地，所述根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列，包括：

根据所述图像顺序和各帧待识别图像生成动作序列；

根据所述动作序列和所述目标骨骼点坐标生成骨骼点序列。

可选地，所述预设分类模型为时间序列模型循环神经网络；

所述根据所述骨骼点序列通过预设分类模型进行跌倒识别，包括：

将所述骨骼点序列输入所述时间序列模型循环神经网络进行二分类处理，以获得分类结果；

根据所述分类结果确定跌倒识别结果。

可选地，所述根据所述分类结果确定跌倒识别结果之后，还包括：

在所述跌倒识别结果为存在跌倒行为时，查找摄像头对应的摄像头位置信息，所述摄像头为采集多帧待识别图像的摄像头；

根据所述摄像头位置信息生成提示信息；

将所述提示信息发送至目标终端设备，以使目标终端设备对所述提示信息进行展示。

可选地，所述从多帧待识别图像中分别提取人体区域之前，还包括：

获取摄像头采集的监控视频，并从所述监控视频中提取包含人体的视频片段；

从所述视频片段中提取单帧图像，并根据所述单帧图像确定多帧待识别图像。

可选地，所述从所述视频片段中提取单帧图像，包括：

间隔预设图像帧数对所述视频片段进行采样，以获得单帧图像。

此外，为实现上述目的，本发明还提出一种跌倒识别装置，所述跌倒识别装置包括：

人形检测模块，用于从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

姿态分析模块，用于对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

骨骼点序列模块，用于根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

跌倒识别模块，用于根据所述骨骼点序列通过预设分类模型进行跌倒识别。

可选地，所述人形检测模块，还用于基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；根据所述人体位置从多帧待识别图像中分别提取人体区域。

可选地，所述人形检测模块，还用于分别获取各帧待识别图像对应的时间信息；根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

可选地，所述姿态分析模块，还用于根据所述人体区域从各帧待识别图像中分别截取人体图像；基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

此外，为实现上述目的，本发明还提出一种跌倒识别设备，所述跌倒识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跌倒识别程序，所述跌倒识别程序配置有实现如上所述的跌倒识别方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有跌倒识别程序，所述跌倒识别程序被处理器执行时实现如上文所述的跌倒识别方法的步骤。

本发明提出的跌倒识别方法，通过从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；根据所述骨骼点序列通过预设分类模型进行跌倒识别。相较于现有技术中通过可穿戴设备或者布置环境传感器进行跌倒识别的方式，本发明根据多帧待识别图像生成骨骼点序列，根据骨骼点序列来进行跌倒识别，采用图像检测的方式使跌倒识别更加便于检测，而且也更加准确，提升了跌倒识别效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的跌倒识别设备结构示意图；

图2为本发明跌倒识别方法第一实施例的流程示意图；

图3本发明跌倒识别方法一实施例的第一待识别图像示意图；

图4本发明跌倒识别方法一实施例的第二待识别图像示意图；

图5为本发明跌倒识别方法第二实施例的流程示意图；

图6为本发明跌倒识别方法一实施例的图像B的坐标示意图；

图7为本发明跌倒识别方法第三实施例的流程示意图；

图8为本发明跌倒识别装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的跌倒识别设备结构示意图。

如图1所示，该跌倒识别设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对跌倒识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及跌倒识别程序。

在图1所示的跌倒识别设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的跌倒识别程序，并执行本发明实施例提供的跌倒识别方法。

基于上述硬件结构，提出本发明跌倒识别方法实施例。

参照图2，图2为本发明跌倒识别方法第一实施例的流程示意图。

在第一实施例中，所述跌倒识别方法包括以下步骤：

步骤S10，从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序。

需要说明的是，本实施例的执行主体可为跌倒识别设备，所述跌倒识别设备可为计算机设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以计算机设备为例进行说明。

需要说明的是，本实施例中的多帧待识别图像可为多张单帧图像，并且这些单帧图像之间是有一定的拍摄顺序的，因此，可依据拍摄顺序确定各帧待识别图像之间的图像顺序。

应当理解的是，可分别对各帧待识别图像进行检测，以从待识别图像中提取人体区域，所述人体区域可为包含人体的矩形区域，还可为圆形区域或者菱形区域等其他形状的区域，本实施例对此不作限制，在本实施例中以矩形区域为例进行说明。

可以理解的是，在从待识别图像中提取人体区域时，可根据人体数量提取一个或多个人体区域，例如，在待识别图像中的存在一个人体时，提取一个人体区域，在待识别图像中存在多个人体时，提取多个人体区域。

在具体实现中，可有两帧待识别图像，分别如图3和图4所示，图3为第一待识别图像示意图，图4为第二待识别图像示意图，可识别出图3图4中均包含有一个人体，可从第一待识别图像和第二待识别图像中提取两个人体区域，分别为A框和B框。待识别图像中还可包含其他人体区域，本实施例对此不作限制，在本实施例中，人体区域的数量与待识别图像中的人体的数量一致。

进一步地，为了提高提取人体区域的效率以及准确性，所述从多帧待识别图像中分别提取人体区域，包括：

基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；根据所述人体位置从多帧待识别图像中分别提取人体区域。

需要说明的是，所述预设人形检测模型可为使用OpenCV人形检测技术的模型，还可为其他可实现相同功能的模型，本实施例对此不作限制。

应当理解的是，可基于预设人形检测模型对待识别图像进行检测，根据检测结果确定人体在待识别图像中的人体位置，在确定人体位置后，根据人体位置和预设选择框从待识别图像中提取人体区域，其中，预设选择框可为矩形选择框。

进一步地，为了更方便地获得待识别图像，以进行图像识别，提高图像识别的效果，所述从多帧待识别图像中分别提取人体区域之前，还包括：

获取摄像头采集的监控视频，并从所述监控视频中提取包含人体的视频片段；从所述视频片段中提取单帧图像，并根据所述单帧图像确定多帧待识别图像。

需要说明的是，本实施例的使用场景可为商场、办公楼、学校以及居民楼等场所，在这些场所中均设置有多个摄像头，通过这些摄像头进行视频监控。并且，由于这些摄像头均是固定设置在某个地点的，因此，可预先记录每个摄像头对应的地点。

应当理解的是，由于本实施例中是对图像进行识别，而摄像头一般采集的是视频，因此，可获取各摄像头采集的监控视频，并从监控视频中提取包含人体的视频片段，再从视频片段中提取单帧图像，将单帧图像作为待识别图像。

在本实施例中，从视频片段中提取单帧图像的方式可为：间隔预设图像帧数对所述视频片段进行采样，以获得单帧图像。从视频片段中提取单帧图像的方式还可为：间隔预设时间对所述视频片段进行采样，以获得单帧图像。还可为其他提取方式，本实施例对此不作限制。

应当理解的是，所述预设图像帧数可为30帧，即间隔30帧对视频片段进行采样，以获得单帧图像。所述预设时间可为1S，即间隔1秒对视频片段进行采样，以获得单帧图像。其中，预设图像帧数和预设时间还可为其他数值，可根据实际情况进行设置，本实施例对此不作限制。

进一步地，由于可能存在较多帧的待识别图像，为了能够准确地确定各帧待识别，所述确定各帧待识别图像之间的图像顺序，包括：

分别获取各帧待识别图像对应的时间信息；根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

应当理解的是，由于待识别图像可为摄像头录制的视频中提取的，而摄像头在进行视频录制时一般都会在生成的视频中添加时间水印，因此，各帧待识别图像中也会包含有时间水印，可对各帧待识别图像进行图像检测，以获得各帧待识别图像对应的当前时间水印，进而根据当前时间水印确定各帧待识别图像对应的时间信息，然后根据时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

在具体实现中，例如，假设有三帧待识别图像，分别为图像P1、图像P2和图像P3，图像P1对应的时间为t1，图像P2对应的时间为t2，图像P3对应的时间为t3，而t1早于t2，t2早于t3，因此，可知图像顺序为：图像P1、图像P2、图像P3。

步骤S20，对所述人体区域进行人体姿态分析，以获得人体骨骼点信息。

应当理解的是，人体共有206块骨，它们相互连接构成人体的骨骼，可分为颅骨、躯干骨和四肢骨三个部分，其中，有颅骨29块、躯干骨51块、四肢骨126块，因此，可对人体区域进行人体姿态分析，以获得人体骨骼点信息。

在具体实现中，为了便于识别，降低识别的难度，可选取一定数量的骨骼点，例如，可选取20个骨骼点，或者10个骨骼点，用于后续的跌倒识别。还可为其他数量，可根据实际情况进行选择，本实施例对此不作限制。

步骤S30，根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列。

应当理解的是，可采用坐标的形式来表示人体骨骼点信息，而各帧待识别图像中的人体动作可能是存在变化的，有一定的动作序列，因此，可根据图像顺序和人体骨骼点信息生成骨骼点序列，用来描述人体骨骼点的状态变化。

步骤S40，根据所述骨骼点序列通过预设分类模型进行跌倒识别。

应当理解的是，在确定骨骼点序列后，可根据骨骼点序列通过预设分类模型进行跌倒识别。预设分类模型可为二分类模型，通过预设分类模型对骨骼点序列进行二分类处理，以获得分类结果，进而根据分类结果确定跌倒识别结果。其中，分类结果包括跌倒和未跌倒，在分类结果为跌倒时，跌倒识别结果为存在跌倒行为，在分类结果为未跌倒时，跌倒识别结果为不存在跌倒行为。

需要说明的是，预设分类模型可为时间序列模型循环神经网络，还可为其他神经网络模型以及深度学习模型等其他可实现相同或相似分类功能的模型，本实施例对此不作限制。

本实施例中通过从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；根据所述骨骼点序列通过预设分类模型进行跌倒识别。相较于现有技术中通过可穿戴设备或者布置环境传感器进行跌倒识别的方式，本发明根据多帧待识别图像生成骨骼点序列，根据骨骼点序列来进行跌倒识别，采用图像检测的方式使跌倒识别更加便于检测，而且也更加准确，提升了跌倒识别效果。

在一实施例中，如图5所示，基于第一实施例提出本发明跌倒识别方法第二实施例，所述步骤S20，包括：

步骤S201，根据所述人体区域从各帧待识别图像中分别截取人体图像。

应当理解的是，在确定人体区域后，可根据人体区域从待识别图像中截取人体图像，例如，图3和图4中有A框和B框两个人体区域，因此，可根据人体区域从各种待识别图像中分别截取A框和B框对应的两个人体图像，例如，可将A框对应的人体图像称之为图像A，将B框对应的人体图像称之为图像B。

进一步地，为了更加方便地截取人体图像，所述根据所述人体区域从各帧待识别图像中分别截取人体图像，包括：

根据所述人体区域分别确定各帧待识别图像中的人体数量，并根据所述人体数量确定图像数量；根据所述人体区域和所述图像数量从各帧待识别图像中分别截取人体图像。

该步骤具体可为：根据人体区域确定待识别图像中的人体数量；判断人体数量是否为预设数量；在人体数量为预设数量时，根据人体区域从待识别图像中截取一张人体图像。在人体数量不为预设数量时，根据人体数量确定图像数量；根据人体区域和图像数量从待识别图像中截取多张人体图像。

应当理解的是，可根据人体区域确定待识别图像中的人体数量，在存在一个人体区域时，待识别图像中的人体数量为1；在存在两个人体区域时，待识别图像中的人体数量为2等，待识别图像中的人体数量与人体区域的数量相同。

在具体实现中，可预先设置预设数量，所述预设数量可为1，在确定待识别图像中的人体数量后，可判断人体数量是否为1，在人体数量为1时，从待识别图像中截取一张人体图像。在人体数量不为1时，根据人体数量确定图像数量，例如，在人体数量为2时，确定图像数量为2，根据人体区域和图像数量从待识别图像中截取2张人体图像。

步骤S202，基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

需要说明的是，所述预设人体姿态估计模型可为DensePose、OpenPose、AlphaPose、Human Body Pose Estimation、DeepPose等模型，还可为其他可实现相同功能的模型，本实施例对此不作限制。

应当理解的是，可基于预设人体姿态估计模型对人体图像进行人体姿态分析，以获得人体骨骼点信息。

进一步地，为了更加准确地确定人体骨骼点信息，所述步骤S202，包括：

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体中各人体骨骼对应的骨骼位置信息；根据所述骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。

可以理解的是，可基于预设人体估计模型对人体图像进行识别，以获得人体中各骨骼对应的骨骼位置信息，进而根据骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。例如，可确定头颅骨骼对应的头颅骨骼位置信息、四肢骨骼对应的四肢骨骼位置信息等，然后根据头颅骨骼位置信息、四肢骨骼位置信息等确定人体骨骼点信息。

进一步地，为了更加方便地生成骨骼点序列，所述根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列，包括：

根据所述人体骨骼点信息确定各人体骨骼对应的人体骨骼点；在所述人体图像中选取一个点作为坐标原点，并根据所述坐标原点建立坐标系；确定各人体骨骼点在所述坐标系中的骨骼点坐标；根据所述图像顺序和所述骨骼点坐标生成骨骼点序列。

在具体实现中，可根据人体骨骼点信息确定各人体骨骼点对应的人体骨骼点，如图6所示，图6为图像B的示意图，可确定点1、点2、点3、点4、点5、点6以及点7共7个人体骨骼点，在本实施例中，以这7个人体骨骼点为例进行说明。

可以理解的是，可从人体图像中选取一个点作为坐标原点，并根据坐标原点建立坐标系，进而确定各人体骨骼点在坐标系中的骨骼点坐标。在具体实现中，如图6所示，可将人体图像的左上顶点作为坐标原点O，并奖励坐标系，分别确定以上7个人体骨骼点在坐标系中的骨骼坐标点。在确定骨骼点坐标后，可进一步根据图像顺序和骨骼点坐标生成骨骼点序列。

进一步地，由于摄像头设置的远近不同，拍摄得到的待识别图像中的人体图像的尺寸大小也可能不相同，所以骨骼点坐标可能存在误差，进而导致识别误差，为了避免这种误差，减少摄像头视角和人机距离带来的影响，可对骨骼点坐标进行规整处理，所述根据所述图像顺序和所述骨骼点坐标生成骨骼点序列，包括：

对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标；根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列。

应当理解的是，可对骨骼点坐标进行规整处理，获得较为规整的目标骨骼点坐标，进而根据图像顺序和目标骨骼点坐标生成骨骼点序列，以达到减小误差的效果。

进一步地，规整处理的方式有多种，其中，归一化处理为一种较好的处理方式，因此，为了提高识别的准确性，所述对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标，包括：

获取所述人体图像的图像尺寸信息，并根据所述图像尺寸信息确定图像宽度和图像高度；根据所述图像宽度和所述图像高度对所述骨骼点坐标进行归一化处理，获得目标骨骼点坐标。

在具体实现中，可获取人体图像的图像尺寸信息，并根据图像尺寸信息确定图像宽度H1和图像高度H2，根据图像宽度和图像高度对骨骼点坐标进行归一化处理，获得目标骨骼点坐标，例如，在点1的原始坐标为(2，2)，点5的原始坐标为(8，4)，且H1和H2均为2时，可根据H1、H2分别对点1和点5的原始坐标进行归一化处理，得到点1的目标坐标为(1，1)，点5的目标坐标为(4，2)。在本实施例中，通过对坐标进行归一化的方式，提高了数据计算的准确性。

进一步地，人在跌倒的过程中，会有一个跌倒的过程，而跌倒的过程是一个连续的动作，因此，可检测跌倒动作对应的骨骼点序列，所述根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列，包括：

根据所述图像顺序和各帧待识别图像生成动作序列；根据所述动作序列和所述目标骨骼点坐标生成骨骼点序列。

应当理解的是，可根据各帧待识别图像和它们对应的图像顺序生成动作序列，进而根据动作序列和目标骨骼点生成骨骼点序列，通过骨骼点序列来描述人体骨骼点的状态变化，以通过对人体骨骼点的状态变化来识别是否存在跌倒行为。

可以理解的是，人体如果是静止不动，或者正常行走，其人体骨骼点的状态变化与跌倒时的人体骨骼点的状态变化是不相同，跌倒时的人体骨骼点存在一定的特殊性，其状态变化是可以追溯的，虽然可能因为跌倒的方式不同，对应的跌倒时的人体骨骼点的状态变化也不仅相同，但是跌倒的方式毕竟有限，因此，可预先采集各种跌倒方式对应的人体骨骼点的状态变化，将其与当前的骨骼点序列进行比较来获得跌倒识别结果。

本实施例中通过根据所述人体区域从各帧待识别图像中分别截取人体图像；基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息，从而通过对人体图像进行人体姿态分析的方式准确确定人体骨骼点信息，用于后续的跌倒识别，进一步提高了跌倒识别的准确性。

在一实施例中，如图7所示，基于第一实施例或第二实施例提出本发明跌倒识别方法第三实施例，在本实施例中，基于第一实施例进行说明，所述预设分类模型为时间序列模型循环神经网络，所述步骤S40，包括：

步骤S401，将所述骨骼点序列输入所述时间序列模型循环神经网络进行二分类处理，以获得分类结果。

应当理解的是，本实施例中的预设分类模型可为时间序列模型循环神经网络，可将骨骼点序列输入时间序列模型循环神经网络，进行二分类任务，分类结果为跌倒或未跌倒，循环神经网络由输入神经元、隐层神经元和输出神经元组成。输入神经元接收骨骼点序列，使用全连接层将序列中每一个时刻的信息映射到隐层空间。输入神经元构建的特征会传递给隐层神经元。隐层神经元由两部分神经元构成，一部分是对序列中当前时刻的输入特征进行建模，而另一部分则会对过去时刻的隐层神经元输出特征进行建模。两部分的输出会一同传递给输出神经元，得到最终的识别结果。

可以理解的是，可预先收集各种跌倒行为对应的行为特征，可根据这些行为特征对时间序列模型循环神经网络进行训练，获得训练后的时间序列模型循环神经网络，用于后续的跌倒识别。

步骤S402，根据所述分类结果确定跌倒识别结果。

可以理解的是，在确定分类结果后，可根据分类结果确定跌倒识别结果，例如，在分类结果为跌倒时，跌倒识别结果为存在跌倒行为，在分类结果为未跌倒时，跌倒识别结果为不存在跌倒行为。

进一步地，由于在跌倒时可能会有一定的危险性，可能会有人员受伤等情况，为了保证人员安全，在识别到跌倒行为时可进行提示，从而根据跌倒识别结果提高人员安全性，所述根据所述分类结果确定跌倒识别结果之后，还包括：

在所述跌倒识别结果为存在跌倒行为时，查找摄像头对应的摄像头位置信息，所述摄像头为采集多帧待识别图像的摄像头；根据所述摄像头位置信息生成提示信息；将所述提示信息发送至目标终端设备，以使目标终端设备对所述提示信息进行展示。

应当理解的是，由于设置有多个摄像头，每个摄像头设置在不同的区域，例如，摄像头A设置在A区域，摄像头B设置在B区域，摄像头C设置在C区域等。在跌倒识别结果为存在跌倒行为时，可查找采集待识别图像的摄像头对应的摄像头位置信息，进而确定其对应的目标地点。例如，在采集待识别图像的摄像头为摄像头A时，可根据摄像头A对应的摄像头位置信息确定目标地点为A区域。然后可根据摄像头位置信息对应的目标地点生成提示信息，例如，提示信息可为“A区域有人跌倒”或“A区域存在跌倒行为”等。将提示信息发送至目标终端设备，以使目标终端设备对提示信息进行展示，以达到提示的效果。其中，目标终端设备可为管理员使用的计算机设备或者移动终端设备等设备，通过在目标终端上展示提示信息的方式提示管理员有人跌倒，以便管理员能够及时采取一定的措施，及时到达现场，避免危险的发生。

本实施例中通过将所述骨骼点序列输入所述时间序列模型循环神经网络进行二分类处理，以获得分类结果；根据所述分类结果确定跌倒识别结果，由于并不需要通过人工进行检测，也不需要穿戴设备等比较复杂的设备，而且通过分类模型进行检测的准确性较高，进一步提高了跌倒识别结果的检测效率和准确性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有跌倒识别程序，所述跌倒识别程序被处理器执行时实现如上文所述的跌倒识别方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

此外，参照图8，本发明实施例还提出一种跌倒识别装置，所述跌倒识别装置包括：

人形检测模块10，用于从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序。

姿态分析模块20，用于对所述人体区域进行人体姿态分析，以获得人体骨骼点信息。

骨骼点序列模块30，用于根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列。

跌倒识别模块40，用于根据所述骨骼点序列通过预设分类模型进行跌倒识别。

本实施例中通过从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；根据所述骨骼点序列通过预设分类模型进行跌倒识别。相较于现有技术中通过可穿戴设备或者布置环境传感器进行跌倒识别的方式，本发明根据多帧待识别图像生成骨骼点序列，根据骨骼点序列来进行跌倒识别，采用图像检测的方式使跌倒识别更加便于检测，而且也更加准确，提升了跌倒识别效果。

在一实施例中，所述姿态分析模块20，还用于基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体中各人体骨骼对应的骨骼位置信息；根据所述骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。

在一实施例中，所述姿态分析模块20，还用于根据所述人体区域分别确定各帧待识别图像中的人体数量，并根据所述人体数量确定图像数量；根据所述人体区域和所述图像数量从各帧待识别图像中分别截取人体图像。

在一实施例中，所述骨骼点序列模块30，还用于根据所述人体骨骼点信息确定各人体骨骼对应的人体骨骼点；在所述人体图像中选取一个点作为坐标原点，并根据所述坐标原点建立坐标系；确定各人体骨骼点在所述坐标系中的骨骼点坐标；根据所述图像顺序和所述骨骼点坐标生成骨骼点序列。

在一实施例中，所述骨骼点序列模块30，还用于对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标；根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列。

在一实施例中，所述骨骼点序列模块30，还用于获取所述人体图像的图像尺寸信息，并根据所述图像尺寸信息确定图像宽度和图像高度；根据所述图像宽度和所述图像高度对所述骨骼点坐标进行归一化处理，获得目标骨骼点坐标。

在一实施例中，所述骨骼点序列模块30，还用于根据所述图像顺序和各帧待识别图像生成动作序列；根据所述动作序列和所述目标骨骼点坐标生成骨骼点序列。

在一实施例中，所述预设分类模型为时间序列模型循环神经网络，所述跌倒识别模块40，还用于将所述骨骼点序列输入所述时间序列模型循环神经网络进行二分类处理，以获得分类结果；根据所述分类结果确定跌倒识别结果。

在一实施例中，所述跌倒识别模块40，还用于在所述跌倒识别结果为存在跌倒行为时，查找摄像头对应的摄像头位置信息，所述摄像头为采集多帧待识别图像的摄像头；根据所述摄像头位置信息生成提示信息；将所述提示信息发送至目标终端设备，以使目标终端设备对所述提示信息进行展示。

在一实施例中，所述跌倒识别装置还包括图像获取模块，用于获取摄像头采集的监控视频，并从所述监控视频中提取包含人体的视频片段；从所述视频片段中提取单帧图像，并根据所述单帧图像确定多帧待识别图像。

在一实施例中，所述图像获取模块，还用于间隔预设图像帧数对所述视频片段进行采样，以获得单帧图像。

在本发明所述跌倒识别装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，跌倒识别设备，空调器，或者网络跌倒识别设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

本发明公开了A1、一种跌倒识别方法，所述跌倒识别方法包括以下步骤：

从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

根据所述骨骼点序列通过预设分类模型进行跌倒识别。

A2、如A1所述的跌倒识别方法，所述从多帧待识别图像中分别提取人体区域，包括：

基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；

根据所述人体位置从多帧待识别图像中分别提取人体区域。

A3、如A1所述的跌倒识别方法，所述确定各帧待识别图像之间的图像顺序，包括：

分别获取各帧待识别图像对应的时间信息；

根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

A4、如A1所述的跌倒识别方法，所述对所述人体区域进行人体姿态分析，以获得人体骨骼点信息，包括：

根据所述人体区域从各帧待识别图像中分别截取人体图像；

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

A5、如A4所述的跌倒识别方法，所述基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息，包括：

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体中各人体骨骼对应的骨骼位置信息；

根据所述骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。

A6、如A4所述的跌倒识别方法，所述根据所述人体区域从各帧待识别图像中分别截取人体图像，包括：

根据所述人体区域分别确定各帧待识别图像中的人体数量，并根据所述人体数量确定图像数量；

根据所述人体区域和所述图像数量从各帧待识别图像中分别截取人体图像。

A7、如A4所述的跌倒识别方法，所述根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列，包括：

根据所述人体骨骼点信息确定各人体骨骼对应的人体骨骼点；

在所述人体图像中选取一个点作为坐标原点，并根据所述坐标原点建立坐标系；

确定各人体骨骼点在所述坐标系中的骨骼点坐标；

根据所述图像顺序和所述骨骼点坐标生成骨骼点序列。

A8、如A7所述的跌倒识别方法，所述根据所述图像顺序和所述骨骼点坐标生成骨骼点序列，包括：

对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标；

根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列。

A9、如A8所述的跌倒识别方法，所述对所述骨骼点坐标进行规整处理，获得目标骨骼点坐标，包括：

获取所述人体图像的图像尺寸信息，并根据所述图像尺寸信息确定图像宽度和图像高度；

根据所述图像宽度和所述图像高度对所述骨骼点坐标进行归一化处理，获得目标骨骼点坐标。

A10、如A8所述的跌倒识别方法，所述根据所述图像顺序和所述目标骨骼点坐标生成骨骼点序列，包括：

根据所述图像顺序和各帧待识别图像生成动作序列；

根据所述动作序列和所述目标骨骼点坐标生成骨骼点序列。

A11、如A1～A10中任一项所述的跌倒识别方法，所述预设分类模型为时间序列模型循环神经网络；

所述根据所述骨骼点序列通过预设分类模型进行跌倒识别，包括：

将所述骨骼点序列输入所述时间序列模型循环神经网络进行二分类处理，以获得分类结果；

根据所述分类结果确定跌倒识别结果。

A12、如A11所述的跌倒识别方法，所述根据所述分类结果确定跌倒识别结果之后，还包括：

在所述跌倒识别结果为存在跌倒行为时，查找摄像头对应的摄像头位置信息，所述摄像头为采集多帧待识别图像的摄像头；

根据所述摄像头位置信息生成提示信息；

将所述提示信息发送至目标终端设备，以使目标终端设备对所述提示信息进行展示。

A13、如A1～A10中任一项所述的跌倒识别方法，所述从多帧待识别图像中分别提取人体区域之前，还包括：

获取摄像头采集的监控视频，并从所述监控视频中提取包含人体的视频片段；

从所述视频片段中提取单帧图像，并根据所述单帧图像确定多帧待识别图像。

A14、如A13所述的跌倒识别方法，所述从所述视频片段中提取单帧图像，包括：

间隔预设图像帧数对所述视频片段进行采样，以获得单帧图像。

本发明还公开了B15、一种跌倒识别装置，所述跌倒识别装置包括：

人形检测模块，用于从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

姿态分析模块，用于对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

骨骼点序列模块，用于根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

跌倒识别模块，用于根据所述骨骼点序列通过预设分类模型进行跌倒识别。

B16、如B15所述的跌倒识别装置，所述人形检测模块，还用于基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；根据所述人体位置从多帧待识别图像中分别提取人体区域。

B17、如B15所述的跌倒识别装置，所述人形检测模块，还用于分别获取各帧待识别图像对应的时间信息；根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

B18、如B15所述的跌倒识别装置，所述姿态分析模块，还用于根据所述人体区域从各帧待识别图像中分别截取人体图像；基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

本发明还公开了C19、一种跌倒识别设备，所述跌倒识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跌倒识别程序，所述跌倒识别程序配置有实现如上所述的跌倒识别方法的步骤。

本发明还公开了D20、一种存储介质，所述存储介质上存储有跌倒识别程序，所述跌倒识别程序被处理器执行时实现如上所述的跌倒识别方法的步骤。

Claims (10)

1.一种跌倒识别方法，其特征在于，所述跌倒识别方法包括以下步骤：

从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

根据所述骨骼点序列通过预设分类模型进行跌倒识别。

2.如权利要求1所述的跌倒识别方法，其特征在于，所述从多帧待识别图像中分别提取人体区域，包括：

基于预设人形检测模型分别对多帧待识别图像进行检测，并根据检测结果确定人体位置；

根据所述人体位置从多帧待识别图像中分别提取人体区域。

3.如权利要求1所述的跌倒识别方法，其特征在于，所述确定各帧待识别图像之间的图像顺序，包括：

分别获取各帧待识别图像对应的时间信息；

根据所述时间信息对各帧待识别图像进行排序，以确定各帧待识别图像之间的图像顺序。

4.如权利要求1所述的跌倒识别方法，其特征在于，所述对所述人体区域进行人体姿态分析，以获得人体骨骼点信息，包括：

根据所述人体区域从各帧待识别图像中分别截取人体图像；

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息。

5.如权利要求4所述的跌倒识别方法，其特征在于，所述基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体骨骼点信息，包括：

基于预设人体姿态估计模型对所述人体图像进行识别，以获得人体中各人体骨骼对应的骨骼位置信息；

根据所述骨骼位置信息确定各人体骨骼对应的人体骨骼点信息。

6.如权利要求4所述的跌倒识别方法，其特征在于，所述根据所述人体区域从各帧待识别图像中分别截取人体图像，包括：

根据所述人体区域分别确定各帧待识别图像中的人体数量，并根据所述人体数量确定图像数量；

根据所述人体区域和所述图像数量从各帧待识别图像中分别截取人体图像。

7.如权利要求4所述的跌倒识别方法，其特征在于，所述根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列，包括：

根据所述人体骨骼点信息确定各人体骨骼对应的人体骨骼点；

在所述人体图像中选取一个点作为坐标原点，并根据所述坐标原点建立坐标系；

确定各人体骨骼点在所述坐标系中的骨骼点坐标；

根据所述图像顺序和所述骨骼点坐标生成骨骼点序列。

8.一种跌倒识别装置，其特征在于，所述跌倒识别装置包括：

人形检测模块，用于从多帧待识别图像中分别提取人体区域，并确定各帧待识别图像之间的图像顺序；

姿态分析模块，用于对所述人体区域进行人体姿态分析，以获得人体骨骼点信息；

骨骼点序列模块，用于根据所述图像顺序和所述人体骨骼点信息生成骨骼点序列；

跌倒识别模块，用于根据所述骨骼点序列通过预设分类模型进行跌倒识别。

9.一种跌倒识别设备，其特征在于，所述跌倒识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跌倒识别程序，所述跌倒识别程序配置有实现如权利要求1至7中任一项所述的跌倒识别方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有跌倒识别程序，所述跌倒识别程序被处理器执行时实现如权利要求1至7中任一项所述的跌倒识别方法的步骤。

Images