CN114022673A - 跌倒检测方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种跌倒检测方法、装置及计算机可读存储介质，方法包括：获取待检测的目标视频；根据预设分割网络模型对目标视频进行分割处理，得到目标视频的人形区域，预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，特征融合结构包括扩张层以及收缩层，每个扩张层以及每个收缩层均包括残差网络结构，扩张层包括第一扩张层以及第二扩张层，收缩层包括第一收缩层，第二扩张层的输入包括第一扩张层的输出以及第一收缩层的输出，第一收缩层与第一扩张层相互映射，分割得到的人形区域的颜色为预设颜色；根据人形区域检测是否存在跌倒行为。本发明能够避免进行跌倒检测过程中，采用人形画点分割人形区域时存在的隐私泄露的问题。

Description

跌倒检测方法、装置及计算机可读存储介质

技术领域

本发明涉及跌倒检测技术领域，尤其涉及一种跌倒检测方法、装置及计算机可读存储介质。

背景技术

摄像头视频检测大多使用机器学习或深度学习手段。最常见的是姿态估计，即，将人体各种姿态进行数据采集，通过学习训练进行检测。优点是精确度高，缺点是计算量大，实时性差，最重要的是隐私性低。由于跌倒场所大多是卧室、卫生间等隐私场所，姿态估计是在视频上人形画点，存在隐私泄露的风险。

发明内容

本发明的主要目的在于提供一种跌倒检测方法、装置及计算机可读存储介质，旨在解决采用姿态估计检测是否跌倒存在隐私泄露风险的技术问题。

为实现上述目的，本发明提供一种跌倒检测方法，所述方法包括：

获取待检测的目标视频；

根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

根据所述人形区域检测是否存在跌倒行为。

可选地，所述根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，所述预设分割网络模型包括所述零填充层、所述第一卷积层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层。

可选地，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

依次根据所述零填充层、所述第一卷积层以及最大池化层处理所述目标视频，得到所述最大池化层的输出；

根据依次连接的至少三个所述收缩层处理所述最大池化层的输出，得到所述收缩层的输出，所述收缩层包括依次连接的所述第一收缩层、第二收缩层以及第三收缩层；

根据依次连接的至少三个所述扩张层处理所述收缩层的输出，得到所述扩张层的输出，所述扩张层包括依次连接的所述第一扩张层、所述第二扩张层以及第三扩张层，所述第三收缩层的输出为所述第一扩张层的输入，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第三扩张层的输入包括所述第二扩张层输的输出以及所述第二收缩层的输出，所述第二扩张层与所述第二收缩层相互映射；

根据所述第二卷积层处理所述扩张层的输出，得到所述目标视频的人形区域。

可选地，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

根据依次连接的所述零填充层、所述第一卷积层、批规范化层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述第二卷积层的激活函数为S型函数，且所述预设分割网络模型中的其他激活函数为线性整流函数，所述其他激活函数为所述第二卷积层以外的激活函数，每个所述收缩层后连接一个随机失活层。

可选地，所述第一卷积层为7x7卷积层，所述预设分割网络模型的残差结构包括依次连接的尺寸为1x1的第三卷积层、尺寸为3x3的第四卷积层以及尺寸为1x1的第五卷积层。

可选地，所述根据所述人形区域检测是否存在跌倒行为的步骤包括：

根据所述人形区域检测第一跌倒类型；

获取所述目标视频对应的目标音频；

根据预设跌倒检测模型识别所述目标音频对应的第二跌倒类型；

根据所述第一跌倒类型以及所述第二跌倒类型，检测是否存在跌倒行为。

可选地，所述获取目标视频的步骤之前，还包括：

获取待训练的历史视频，并对所述历史视频中的各个图像帧进行预处理，得到图像数组；

获取迁移学习参数，根据所述迁移学习参数设定预设训练模型的目标参数，得到目标训练模型，所述迁移学习参数包括权重，所述目标参数为所述预设训练模型中目标层的训练参数，所述目标层包括依次连接的零填充层、第一卷积层、最大池化层、第一收缩层以及第二收缩层；

根据所述图像数组对所述目标训练模型进行训练，得到所述预设分割网络模型。

此外，为实现上述目的，本发明还提供一种跌倒检测装置，所述装置包括获取模块，分割处理模块以及识别模块，其中：

所述获取模块，用于获取待检测的目标视频；

所述分割处理模块，用于根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

所述识别模块，用于根据所述人形区域检测是否存在跌倒行为。

此外，为实现上述目的，本发明还提供一种跌倒检测装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跌倒检测程序，所述跌倒检测程序被所述处理器执行时实现上述任一项所述的跌倒检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有跌倒检测程序，所述跌倒检测程序被处理器执行时实现上述任一项所述的跌倒检测方法的步骤。

本发明实施例提出的一种跌倒检测方法、装置及计算机可读存储介质，通过获取待检测的目标视频；根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；根据所述人形区域检测是否存在跌倒行为。从而切割得到预设颜色的人形区域，根据该人形区域检测是否跌倒，避免直接通过姿态估计时，采用人形画点标注的人形，导致隐私泄露的问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图2为本发明跌倒检测方法第一实施例的流程示意图；

图3为本发明跌倒检测方法第二实施例的流程示意图；

图4为本发明跌倒检测方法第三实施例的流程示意图；

图5为本发明跌倒检测方法第四实施例的流程示意图；

图6为本发明实施例涉及的跌倒检测装置的功能模块示意图；

图7为本发明实施例涉及的预设分割网络模型的结构示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。

如图1所示，该装置可以包括：处理器1001，例如CPU，存储器1002，通信总线1003。其中，通信总线1003用于实现这些组件之间的连接通信。存储器1002可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1002中可以包括操作系统以及跌倒检测程序。

在图1所示的装置中，处理器1001可以用于调用存储器1002中存储的跌倒检测程序，并执行以下操作：

获取待检测的目标视频；

根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

根据所述人形区域检测是否存在跌倒行为。

进一步地，处理器1001可以调用存储器1002中存储的跌倒检测程序，还执行以下操作：

根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，所述预设分割网络模型包括所述零填充层、所述第一卷积层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层。

进一步地，处理器1001可以调用存储器1002中存储的跌倒检测程序，还执行以下操作：

依次根据所述零填充层、所述第一卷积层以及最大池化层处理所述目标视频，得到所述最大池化层的输出；

根据依次连接的至少三个所述收缩层处理所述最大池化层的输出，得到所述收缩层的输出，所述收缩层包括依次连接的所述第一收缩层、第二收缩层以及第三收缩层；

根据依次连接的至少三个所述扩张层处理所述收缩层的输出，得到所述扩张层的输出，所述扩张层包括依次连接的所述第一扩张层、所述第二扩张层以及第三扩张层，所述第三收缩层的输出为所述第一扩张层的输入，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第三扩张层的输入包括所述第二扩张层输的输出以及所述第二收缩层的输出，所述第二扩张层与所述第二收缩层相互映射；

根据所述第二卷积层处理所述扩张层的输出，得到所述目标视频的人形区域。

进一步地，处理器1001可以调用存储器1002中存储的跌倒检测程序，还执行以下操作：

根据依次连接的所述零填充层、所述第一卷积层、批规范化层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述第二卷积层的激活函数为S型函数，且所述预设分割网络模型中的其他激活函数为线性整流函数，所述其他激活函数为所述第二卷积层以外的激活函数，每个所述收缩层后连接一个随机失活层。

进一步地，处理器1001可以调用存储器1002中存储的跌倒检测程序，还执行以下操作：

根据所述人形区域检测第一跌倒类型；

获取所述目标视频对应的目标音频；

根据预设跌倒检测模型识别所述目标音频对应的第二跌倒类型；

根据所述第一跌倒类型以及所述第二跌倒类型，检测是否存在跌倒行为。

进一步地，处理器1001可以调用存储器1002中存储的跌倒检测程序，还执行以下操作：

获取待训练的历史视频，并对所述历史视频中的各个图像帧进行预处理，得到图像数组；

获取迁移学习参数，根据所述迁移学习参数设定预设训练模型的目标参数，得到目标训练模型，所述迁移学习参数包括权重，所述目标参数为所述预设训练模型中目标层的训练参数，所述目标层包括依次连接的零填充层、第一卷积层、最大池化层、第一收缩层以及第二收缩层；

根据所述图像数组对所述目标训练模型进行训练，得到所述预设分割网络模型。

跌倒是65岁及以上人群受伤的主要原因。跌倒检测和跌倒预测需求是目前老年人的刚需。检测老人跌倒的方法有很多，主要是摄像头检测，摄像头视频检测大多使用机器学习或深度学习手段，最常见是姿态估计，即将人体各种姿态进行数据采集，通过学习训练进行检测。优点是精确度高，缺点是计算量大，实时性差，最主要的缺点是隐私性低。由于跌倒场所大多是卧室、卫生间等隐私场所，姿态估计是在视频上人形画点，存在隐私泄露的风险。

为解决上述问题，本发明采用预设分割网络模型对视频进行分割，得到预设颜色的人形区域，从而将人形与环境分隔开的基础上，不需要对原图像的人形进行画点，避免了姿态评估存在的隐私泄露的问题。

以下，结合多个实施例具体阐述本发明的技术方案。

参照图2，本发明第一实施例提供一种跌倒检测方法，所述方法包括：

步骤S10，获取待检测的目标视频；

目标视频为用于检测是否存在人体跌倒行为的视频。

目标视频可以是监控摄像头发送的视频。监控摄像头具体可以是家庭安防摄像，家庭安防摄像头方便开发跌倒报警选项，老年人摔倒后，手机APP会触发跌倒报警，并向业务拨打电话。也方便在摄像头上拓展其他跌倒相关业务。家庭安防摄像头一般都有云存或卡存业务，方便获取大量的跌倒相关数据。日常通过设备检测，采集用户数据，分析老年人日常行为和健康数据，通过算法计算，建立个人数据模型，判断并预测老人跌倒的风险机率。

步骤S20，根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

在分割得到人形区域时，本实施例采用了改进的预设分割网络模型。该预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，其中特征融合网络结构具体为U-Net结构，残差网络结构具体为ResNet残差网络结构。

并且，特征融合结构包括扩张层以及收缩层，每个扩张层以及收缩层均包括ResNet残差网络结构。扩张层包括第一扩张层以及第二扩张层，收缩层包括第一收缩层。通过将第一扩张层的输出以及第一收缩层的输出共同作为第一扩张层的输入，从而能够实现特征融合，并且，第一收缩层以及第一扩张层相互映射，使得在扩张的过程中，通过合并与之映射的收缩层的特征补充丢失的边界信息，提升预测边缘信息的准确性，即提升分割的准确性。

针对姿态评估隐私问题，本文采用视频人形像素集分割，所分割得到的人形区域的颜色为预设颜色，非人形区域的颜色为非预设颜色，比如，人形部分的像素点颜色为黑色，其他部分的像素点颜色为白色。在此情况下，画面不会呈现明显的人体信息，仅会呈现大致的人形区域轮廓，不会向观察者泄露画面中人物的具体信息，从而避免隐私泄露。

步骤S30，根据所述人形区域检测是否存在跌倒行为。

在得到视频的人形区域后，根据人形区域检测是否存在跌倒行为，具体可以采用跌倒检测的模型进行检测。

在本实施例中，通过获取待检测的目标视频；根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；根据所述人形区域检测是否存在跌倒行为。从而能够使得在扩张的过程中，通过合并与之映射的收缩层的特征补充丢失的边界信息，提升预测边缘信息的准确性，即提升分割的准确性，并且，避免了采用姿态估计进行人形画点所存在的隐私泄露的问题。

参照图3，本发明第二实施例提供一种跌倒检测方法，基于上述图2所示的第一实施例，所述步骤S20包括：

步骤S21，根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，所述预设分割网络模型包括所述零填充层、所述第一卷积层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层。

为提高人形分割的准确度，本实施例中具体阐述结合U-Net和ResNet的分割网络的模型结构及其实现分割的方式。

在一实施例中，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

依次根据所述零填充层、所述第一卷积层以及最大池化层处理所述目标视频，得到所述最大池化层的输出；根据依次连接的至少三个所述收缩层处理所述最大池化层的输出，得到所述收缩层的输出，所述收缩层包括依次连接的所述第一收缩层、第二收缩层以及第三收缩层；根据依次连接的至少三个所述扩张层处理所述收缩层的输出，得到所述扩张层的输出，所述扩张层包括依次连接的所述第一扩张层、所述第二扩张层以及第三扩张层，所述第三收缩层的输出为所述第一扩张层的输入，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第三扩张层的输入包括所述第二扩张层输的输出以及所述第二收缩层的输出，所述第二扩张层与所述第二收缩层相互映射；根据所述第二卷积层处理所述扩张层的输出，得到所述目标视频的人形区域。

本实施采用的U-Net的同分辨率级联的特征融合结构，特点在于收缩网络和扩张网络是相互映射的关系，收缩网络即收缩层，扩张网络即扩张层。在扩张的过程中，通过合并与之映射的收缩层的特征补全丢失的边界信息，提升预测边缘信息的准确性。

具体而言，参照图7所示，其中，图中示出的具体结构包括：100ZeroPadding，指零填充层，200Conv(7x74x64)，BN，Relu，指第一卷积层，并且第一卷积层包括提前终止BN以及激活函数Relu，300 Max Pool2x2，指最大池化层，600 Dropout，指随机失活层，800 Conv(1x1x1)，sigmoid，指第二卷积层，并且第二卷积层包括sigmoid函数。图7中A2和B3有相同的输出，将两者在特征通道的维度拼接在一起作为B2的输入，即进行了A2和B3的特征融合。A1和B2的特征融合同理。本实施例在如图7所示的A1、A2、A3模块后加入值为0.25的Dropout层用于防止过拟合。此外，本文还加入回调函数中的提前终止BN，当验证集的误差不再下降时，就可以提前终止训练模型。每个残差模块内部先使用一个1×1卷积，目的是提高网络的非线性。之后连接一个3×3卷积，目的是提取更多有用特征。最后再连接一个1×1卷积，目的是减少计算量。

该结构最重要的部分在于将残差块的输入和经过该模块的输出进行像素加和，作为该模块的最终输出。残差块的输入x和残差块的输出f(x)进行特征通道加和得到y，于是此残差块的真正输出是特征通道加和的结果y，而非残差块的输出f(x)。通过对其进行求导，得到的导函数为1+f’(x)。由此梯度值最小为1而非之前的0，避免了梯度消失问题，也有效抑制了梯度爆炸问题。残差结构不但大量地减少了计算量，而且保留了丰富的高维特征信息。

在一实施例中，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

根据依次连接的所述零填充层、所述第一卷积层、批规范化层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述第二卷积层的激活函数为S型函数，且所述预设分割网络模型中的其他激活函数为线性整流函数，所述其他激活函数为所述第二卷积层以外的激活函数，每个所述收缩层后连接一个随机失活层。

可选地，所述第一卷积层为7x7卷积层，所述预设分割网络模型的残差结构包括依次连接的尺寸为1x1的第三卷积层、尺寸为3x3的第四卷积层以及尺寸为1x1的第五卷积层。

网络层级可以具体设置为147层，超过其他传统分割网络的层数。然而其训练参数却小于U-Net等其他传统分割网络。网络层级很深可以更好得提取到复杂特征，参数少可以防止过拟合。网络一开始使用7×7大卷积核的卷积层和池化层，目的是提取明显的有用信息，避免被其他无用信息干扰以致影响训练效果。分割网络除了在一开始使用了一个池化层，其他下采样操作都是利用卷积层设步长进行的，这样可以避免有用信息的丢失。最后一层的激活函数选择了Sigmoid函数，是因为本实施例涉及的任务实质是2分类问题，而Sigmoid将有用信息数据映射到0和1之间，满足二分类的条件。此外，分割网络的隐藏层都较瘦，可以更好控制参数的数量。除最后一个激活层外，其他激活层使用的激活函数都是ReLU，相比于Sigmoid、Tanh、Softplus等激活函数，它具有不饱和，计算快、稀疏等特性，这样增大梯度时可以避免梯度消失，而且梯度大意味着收敛速度快，大大加快训练速度。而最后一个激活层使用了Sigmoid作激活函数，Sigmoid函数的优点在于输出映射范围在0到1之间，且单调连续，非常适合用作输出层，它可以很好的对像素进行二分类，提高分割精度。

结合了UNet和ResNet的新型分割网络结构提高了分割精度。分割模型隐私性更强。

在本实施例中，通过根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，所述预设分割网络模型包括所述零填充层、所述第一卷积层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层。从而能够提升人形区域的分割精度。

参照图4，本发明第三实施例提供一种跌倒检测方法，基于上述图2所示的第一实施例，所述步骤S30包括：

步骤S31，根据所述人形区域检测第一跌倒类型；

为了提升相对于仅采用视频数据进行跌倒检测时，跌倒检测的准确性，本实施例还基于视频数据以及音频数据结合进行跌倒检测。

步骤S32，获取所述目标视频对应的目标音频；

首先将视频数据经过处理转为数组传入分割网络，分割网络将视频进行像素级人形分割，将人形和环境区别开。之后经过分类网络，分类人形处于哪种状态，状态包括跌倒状态和非跌倒状态。

步骤S33，根据预设跌倒检测模型识别所述目标音频对应的第二跌倒类型；

同时，音频数据也经过音频分类网络判断哪种状态。经过音视频的分类网络判断结果结合进行跌倒检测。

步骤S34，根据所述第一跌倒类型以及所述第二跌倒类型，检测是否存在跌倒行为。

结合第一跌倒类型以及第二跌倒类型，检测是否存在跌倒行为，其中，可以在第一跌倒类型以及第二跌倒类型均为已检测到跌倒类型时，确定存在跌倒行为，或者，也可以分别对第一跌倒类型以及第二跌倒类型设置相应的权重，结合权重确定是否存在跌倒行为。

在本实施例中，通过根据所述人形区域检测第一跌倒类型；获取所述目标视频对应的目标音频；根据预设跌倒检测模型识别所述目标音频对应的第二跌倒类型；根据所述第一跌倒类型以及所述第二跌倒类型，检测是否存在跌倒行为，音视频结合方式使得跌倒检测结果更准确。

参照图5，本发明第四实施例提供一种跌倒检测方法，基于上述图2所示的第一实施例，所述步骤S10之前，还包括：

步骤S40，获取待训练的历史视频，并对所述历史视频中的各个图像帧进行预处理，得到图像数组；

历史视频是用于训练预设训练模型的视频。

历史视频可以从家庭安防摄像的监控数据采集。比如，家庭安防摄像头收集了50组音视频，即50个MP4文件，其中40组包含正常跌倒，剩余10组只有正常人走路的图像。一帧一图像，分辨率为640x480，将视频按帧划分。视频可看作三维图像，帧可看作二维图像，图像读取并将格式转化为数组形式；数组归一化处理，即除以255，使其保持在范围[0，1]，每帧减去平均帧，及范围为[-1，1]；按照中心8×8，边长N×N的滑动窗口按顺序分割成二维图像块。其中，N可以选取32。

步骤S50，获取迁移学习参数，根据所述迁移学习参数设定预设训练模型的目标参数，得到目标训练模型，所述迁移学习参数包括权重，所述目标参数为所述预设训练模型中目标层的训练参数，所述目标层包括依次连接的零填充层、第一卷积层、最大池化层、第一收缩层以及第二收缩层；

首先选择预训练模型，常用的预训练网络有很多，本实施例选取ResNet50作为预训练模型。而选用它的另一个原因是从ResNet50网络结构中移除一层后并不会对网络的性能产生大的影响。ResNet可以被看作并行和串行的多个模块的结合，这种多路径的叠加实现了较好的正则化。

此外，ImageNet上训练的模型能够迁移到自然图像数据集上，因此可以选择ImageNet数据集在ResNet50上的训练参数导入本文人形分割网络，具体可以参照图7，即为图7中A0至A2。

针对姿态评估算法计算量大、实时性差的问题，本文使用迁移学习减少计算量，加快训练速度。

步骤S60，根据所述图像数组对所述目标训练模型进行训练，得到所述预设分割网络模型。

在本实施例中，通过获取待训练的历史视频，并对所述历史视频中的各个图像帧进行预处理，得到图像数组；获取迁移学习参数，根据所述迁移学习参数设定预设训练模型的目标参数，得到目标训练模型，所述迁移学习参数包括权重，所述目标参数为所述预设训练模型中目标层的训练参数，所述目标层包括依次连接的零填充层、第一卷积层、最大池化层、第一收缩层以及第二收缩层；根据所述图像数组对所述目标训练模型进行训练，得到所述预设分割网络模型。从而采用迁移学习加快了训练速度，提高了运算速度。

参照图6，图6为本发明实施例涉及的跌倒检测装置的功能模块示意图，其中，所述装置获取模块10，分割处理模块20以及识别模块30，其中：

所述获取模块10，用于获取待检测的目标视频；

所述分割处理模块20，用于根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

所述识别模块30，用于根据所述人形区域检测是否存在跌倒行为。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台跌倒检测装置执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种跌倒检测方法，其特征在于，所述方法包括：

获取待检测的目标视频；

根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

根据所述人形区域检测是否存在跌倒行为。

2.如权利要求1所述的跌倒检测方法，其特征在于，所述根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，所述预设分割网络模型包括所述零填充层、所述第一卷积层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层。

3.如权利要求2所述的跌倒检测方法，其特征在于，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

依次根据所述零填充层、所述第一卷积层以及所述最大池化层处理所述目标视频，得到所述最大池化层的输出；

根据依次连接的至少三个所述收缩层处理所述最大池化层的输出，得到所述收缩层的输出，所述收缩层包括依次连接的所述第一收缩层、第二收缩层以及第三收缩层；

根据依次连接的至少三个所述扩张层处理所述收缩层的输出，得到所述扩张层的输出，所述扩张层包括依次连接的所述第一扩张层、所述第二扩张层以及第三扩张层，所述第三收缩层的输出为所述第一扩张层的输入，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第三扩张层的输入包括所述第二扩张层输的输出以及所述第二收缩层的输出，所述第二扩张层与所述第二收缩层相互映射；

根据所述第二卷积层处理所述扩张层的输出，得到所述目标视频的人形区域。

4.如权利要求2所述的跌倒检测方法，其特征在于，所述根据依次连接的零填充层、第一卷积层、最大池化层、所述收缩层、所述扩张层以及第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域的步骤包括：

根据依次连接的所述零填充层、所述第一卷积层、批规范化层、所述最大池化层、所述收缩层、所述扩张层以及所述第二卷积层对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述第二卷积层的激活函数为S型函数，且所述预设分割网络模型中的其他激活函数为线性整流函数，所述其他激活函数为所述第二卷积层以外的激活函数，每个所述收缩层后连接一个随机失活层。

5.如权利要求2所述的跌倒检测方法，其特征在于，所述第一卷积层为7x7卷积层，所述预设分割网络模型的残差结构包括依次连接的尺寸为1x1的第三卷积层、尺寸为3x3的第四卷积层以及尺寸为1x1的第五卷积层。

6.如权利要求1所述的跌倒检测方法，其特征在于，所述根据所述人形区域检测是否存在跌倒行为的步骤包括：

根据所述人形区域检测第一跌倒类型；

获取所述目标视频对应的目标音频；

根据预设跌倒检测模型识别所述目标音频对应的第二跌倒类型；

根据所述第一跌倒类型以及所述第二跌倒类型，检测是否存在跌倒行为。

7.如权利要求1所述的跌倒检测方法，其特征在于，所述获取目标视频的步骤之前，还包括：

获取待训练的历史视频，并对所述历史视频中的各个图像帧进行预处理，得到图像数组；

获取迁移学习参数，根据所述迁移学习参数设定预设训练模型的目标参数，得到目标训练模型，所述迁移学习参数包括权重，所述目标参数为所述预设训练模型中目标层的训练参数，所述目标层包括依次连接的零填充层、第一卷积层、最大池化层、所述第一收缩层以及第二收缩层；

根据所述图像数组对所述目标训练模型进行训练，得到所述预设分割网络模型。

8.一种跌倒检测装置，其特征在于，所述装置包括获取模块，分割处理模块以及识别模块，其中：

所述获取模块，用于获取待检测的目标视频；

所述分割处理模块，用于根据预设分割网络模型对所述目标视频进行分割处理，得到所述目标视频的人形区域，其中，所述预设分割网络模型包括同分辨率的特征融合结构以及残差网络结构，所述特征融合结构包括扩张层以及收缩层，每个所述扩张层以及每个所述收缩层均包括所述残差网络结构，所述扩张层包括第一扩张层以及第二扩张层，所述收缩层包括第一收缩层，所述第二扩张层的输入包括所述第一扩张层的输出以及所述第一收缩层的输出，所述第一收缩层与所述第一扩张层相互映射，分割得到的所述人形区域的颜色为预设颜色；

所述识别模块，用于根据所述人形区域检测是否存在跌倒行为。

9.一种跌倒检测装置，其特征在于，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跌倒检测程序，所述跌倒检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的跌倒检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有跌倒检测程序，所述跌倒检测程序被处理器执行时实现如权利要求1至7中任一项所述的跌倒检测方法的步骤。

Images