CN112488019A - 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 - Google Patents
基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112488019A CN112488019A CN202011431492.1A CN202011431492A CN112488019A CN 112488019 A CN112488019 A CN 112488019A CN 202011431492 A CN202011431492 A CN 202011431492A CN 112488019 A CN112488019 A CN 112488019A
- Authority
- CN
- China
- Prior art keywords
- human body
- target user
- image
- information
- fall detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 210000003484 anatomy Anatomy 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 230000036544 posture Effects 0.000 description 51
- 238000004364 calculation method Methods 0.000 description 8
- 210000003127 knee Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于姿态识别的跌倒检测方法、装置、电子设备及存储介质，包括：获取目标用户的人体图像；根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；根据所述姿态信息检测目标用户是否属于跌倒状态。通过用户的人体图像确定姿态信息，根据状态信息表征的形体状态确定用户是否属于跌倒状态，不需要被检测用户穿戴指定的设备，有效减少用户的负担，通过姿态信息进行跌倒检测，只需要捕获到对应的图像，不需要对图像进行连续监控，避免出现没有及时检测到连续帧变化导致的跌倒检测失效，提高跌倒检测的有效性。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种基于姿态识别的跌倒检测方法、装置、电子设备及存储介质。
背景技术
跌倒每年影响数百万人并导致显著的伤害，特别是在老年人和小孩当中。事实上，已经估计跌倒是老年人死亡的前三位原因之一。跌倒被定义为身体到地面的突然的、不受控制且无意识的向下位移，其后跟随有撞击，在撞击之后，身体停留在地面上。
现有的跌倒检测方案，主要通过个体可穿戴的设备，通过硬件中的重力感应仪器，判断是否跌倒，该方案需要额外穿戴设备，给个体的日常生活增添了负担，而且老人和小孩在家中经常不穿戴对应的设备，导致在家中跌倒无法及时检测；另一种方案为基于图像识别的方法，通过检测连续帧之间人体的重心下降，判断是否发生跌到，该方法对实时性的要求非常高，而跌倒意外的发生，往往短暂且急促，摄像头未必能够捕捉到这一瞬间。
综上所述，现有的跌倒检测方案，无法准确且全面地检测人员跌倒的情况，跌倒检测的有效性较低。
发明内容
基于此，本发明提供一种基于姿态识别的跌倒检测方法、装置、电子设备及存储介质，以解决现有技术中跌倒检测有效性较低的问题。
第一方面，提供一种基于姿态识别的跌倒检测方法，包括：
获取目标用户的人体图像；
根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；
根据所述姿态信息检测目标用户是否属于跌倒状态。
可选的，所述根据所述人体图像确定目标用户的姿态信息，包括：
提取所述人体图像中的特征点信息，其中，所述特征点信息为所述人体图像中指定的一个或多个人体特征点的位置信息；
根据所述特征点信息确定所述姿态信息。
可选的，所述根据所述姿态信息检测目标用户是否属于跌倒状态，包括：
根据所述姿态信息确定所述目标用户的躯干方向；
计算所述躯干方向与预设的第一方向之间的夹角；
根据所述夹角确定所述目标用户是否属于跌倒状态。
可选的，所述根据所述姿态信息确定所述目标用户的躯干方向，包括：
根据最小二值法拟合所述特征点之间的线段，形成拟合直线，以所述拟合直线的方向作为所述目标用户的躯干方向。
可选的，所述获取目标用户的人体图像之前，包括：
获取目标用户的图像；
将所述目标用户的图像输入到预设的人体识别模型中，提取所述图像中的人体轮廓；
根据所述人体轮廓截取所述图像，形成所述人体图像。
可选的，还包括人体识别模型的训练方法，所述训练方法包括：
获取包含人体的样本图像和非人体的样本图像，并分别赋予人体标签和非人体标签，作为训练样本集；
构建串接的至少两个卷积层，以提取各个样本图像的特征信息并输出特征映射，其中，在至少部分卷积层后加入池化层；
构建反卷积层，以对经过所述至少两个卷积层的特征映射进行反卷积，以将卷积层输出的特征尺寸恢复至原始样本图像大小，并输出样本图像中像素点的分类预测值；
将所述训练样本集输入至人体识别模型中进行训练；
根据预设的损失函数计算人体识别模型输出结果与赋予标签的误差值，并根据误差值进行反向传播调整所述卷积层的卷积参数，直至所述人体识别模型收敛。
可选的，所述损失函数表达式如下：
其中，L表示总损失，n表示输入的样本图像中所有像素点的数目，pi表示像素点i的是否为人体的分类预测值，ri表示像素点i标记的是否为人体的分类值，ε为正数。
第二方面，提供一种跌倒检测装置，包括：
获取模块，用于获取目标用户的人体图像；
处理模块，用于根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；
执行模块，用于根据所述姿态信息检测目标用户是否属于跌倒状态。
可选的，所述跌倒检测装置，还包括：
第一识别子模块，用于提取所述人体图像中的特征点信息，其中，所述特征点信息为所述人体图像中指定的一个或多个人体特征点的位置信息；
第一处理子模块，用于根据所述特征点信息确定所述姿态信息。
可选的，所述跌倒检测装置，还包括：
第二处理子模块，用于根据所述姿态信息确定所述目标用户的躯干方向；
第一计算子模块，用于计算所述躯干方向与预设的第一方向之间的夹角；
第三处理子模块，用于根据所述夹角确定所述目标用户是否属于跌倒状态。
可选的，所述跌倒检测装置，还包括：
第一拟合子模块，用于根据最小二值法拟合所述特征点之间的线段，形成拟合直线，以所述拟合直线的方向作为所述目标用户的躯干方向。
可选的，所述跌倒检测装置，还包括：
第一获取子模块，用于获取目标用户的图像；
第二识别子模块，用于将所述目标用户的图像输入到预设的人体识别模型中，提取所述图像中的人体轮廓；
第一截取子模块，用于根据所述人体轮廓截取所述图像，形成所述人体图像。
可选的，所述跌倒检测装置，还包括：
第一执行子模块，用于当所述目标用户属于跌倒状态时，经过预设的时间间隔后，再次检测用户是否处于所述跌倒状态；
第二执行子模块，用于当预设的时间间隔后所述目标用户仍属于所述跌倒状态时，触发预设的通知指令。
第三方面，提供一种电子设备，处理器及用于存储处理器可执行指令的存储器；其中，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述的跌倒检测方法的步骤。
第四方面，提供一种非易失性计算机可读存储介质，所述存储介质中存储有计算机可读指令，当所述存储介质中的指令被一个或多个处理器执行时，所述一个或多个处理器执行上述任一项所述的跌倒检测方法的步骤。
上述基于姿态识别的跌倒检测方法、装置、电子设备及存储介质，通过用户的人体图像确定姿态信息，根据状态信息表征的形体状态确定用户是否属于跌倒状态，不需要被检测用户穿戴指定的设备，有效减少用户的负担，通过姿态信息进行跌倒检测，只需要捕获到对应的图像，不需要对图像进行连续监控，避免出现没有及时检测到连续帧变化导致的跌倒检测失效，提高跌倒检测的有效性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例跌倒检测方法的基本流程示意图；
图2为本发明实施例确定姿态信息的流程示意图；
图3为本发明实施例检测是否属于跌倒状态的流程示意图；
图4为本发明实施例人体特征点示意图；
图5为本发明实施例检测人体跌倒状态示意图；
图6为本发明实施例截取人体图像的流程示意图；
图7为本发明实施例训练人体识别模型的流程示意图；
图8为本发明实施例跌倒检测装置的基本结构框图；
图9为本发明实施例电子设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
具体地请参阅图1，图1为本实施例跌倒检测方法的基本流程示意图。
如图1所示，一种基于姿态识别的跌倒检测方法，包括：
S1100、获取目标用户的人体图像；
通过摄像头实时采集监控范围的监控图像，并对监控图像进行人形检测，当监控图像中出现人形时，截取人形对应的位置，作为目标用户的人体图像。具体的，监控范围可以根据实际应用场景进行调整，例如监控家内、过道、楼梯、阳台等目标用户的活动范围，但不限于此。本实施方式中使用的摄像头可以为IPC摄像头(InternetProtocolCamera，网络摄像头)，可以采用本领域具备人形检测功能的IPC摄像头，通过摄像头检测监控画面中是否存在人形。
S1200、根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；
对获取得到的人体图像进行特征点识别，确定人体图像中各特征点的位置信息，当特征点为至少两个时，对指定的至少两个特征点之间进行拟合线段，以线段的方向作为目标用户的姿态信息，用于表征目标用户的形体姿态，当特征点为一个时，以该特征点的位置信息作为用户的姿态信息。
具体的，特征点为预设的一个或多个人体部位，例如鼻、眼、肩、膝盖等，但不限于此，拟合线段为对指定特征点进行线性拟合，形成一条或多条线段，例如对眼、肩、膝三个特征点进行拟合，形成的线段的用于表征人体躯干。拟合的特征点数量和方式可以根据实际应用场景进行调整，例如需要提高人体姿态的准确性时，可以采用更多的特征以拟合多个线段，如包括左臂线段(鼻-左肩-左手掌)、右臂线段(鼻-右肩-右手掌)、左脚线段(左肩-左膝-左脚掌)、右脚线段(右肩-右膝-右脚掌)等，但不限于此。
S1300、根据所述姿态信息检测目标用户是否属于跌倒状态；
系统中设置有监控画面的参照物位置或方向，例如地方、竖直方向、墙体等，在确定了用户的姿态信息时，根据用户的姿态信息与参照物的相对关系确定用户是否属于跌倒状态。
本实施例中，分为姿态信息包含单一特征点，以及姿态信息包含至少两个特征点拟合的线段两种情况进行举例。
当姿态信息仅包含单一特征点(例如鼻、肩或眼等)时，确定该特征点与预设的参照物的距离是否小于预设的距离值，例如单一特征点为“鼻”，系统中设置有“地面”的位置范围，确定图像中“鼻”与“地面”之间的相对距离，当相对距离小于预设的距离值(例如0.5米，但不限于此)，说明图像中人物的鼻子与地面的距离过近，确定目标用户属于跌倒状态。在一些实施方式中，相对距离可以采用图像中的像素值或者坐标值作为标准，例如“鼻”特征点在图像中的坐标与“地面”在图像中的坐标之间的差值、或者两者之间间隔的像素值等。
当姿态信息包含至少两个特征点拟合的线段时，确定该线段与预设方向的夹角是否大于/小于预设的角度值，例如当拟合的线段为躯干线段时，确定躯干线段与画面中的竖直方向的夹角，当夹角大于预设值(例如30度)，确定用户处于跌倒状态，又如确定躯干线段与画面中的水平方向之间的夹角，当夹角小于预设值(例如60度)时，确定用户处于跌倒状态。预设的角度值可以根据实际应用场景进行调整，例如采用的拟合线段不同，参照物不同，角度值需要相对地进行选择，只要可以表征用户处于跌倒状态即可，在此不作限定。
通过用户的人体图像确定姿态信息，根据状态信息表征的形体状态确定用户是否属于跌倒状态，不需要被检测用户穿戴指定的设备，有效减少用户的负担，通过姿态信息进行跌倒检测，只需要捕获到对应的图像，不需要对图像进行连续监控，避免出现没有及时检测到连续帧变化导致的跌倒检测失效，提高跌倒检测的有效性。
在一些实施方式中，如图2所示，S1200、根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态，包括：
S1210、提取所述人体图像中的特征点信息，其中，所述特征点信息为所述人体图像中指定的一个或多个人体特征点的位置信息；
将人体图像输入预训练至收敛的特征点提取模型中，根据特征点提取模型的输出结果确定人体图像中各特征点的位置信息。
上述特征点提取在训练时，通过将一定量(例如10万份)已标记特征点位置的训练样本进行训练，每个训练样本为已经标记对应特征点(例如鼻、左肩、右肩、左膝、右膝)位置的人体图像，将训练样本输入到预设的神经网络模型中，根据神经网络模型的输出结果调整模型中的分类权重，反复迭代直至收敛，作为上述特征点特征模型。
在一些实施方式中，特征点提取模型中包含有残差模块，残差模块采用深度可分卷积，并引入通道注意力机制，在学习局部特征时可以兼顾语义信息，可以学校各特征点之间的相对位置关系，使训练得到的特征点提取模型可以准确定位对应的关键点。通过该残差模块叠加形成的特征点提取模型较小，能够在嵌入式设备上运行。
在一些实施方式中，人体特征点包括以下中的一个或多个：鼻、颈部、左/右肩、左/右肘、左/右手掌、左/右臀、左/右膝盖、左/右脚、左/右眼、左/右耳。
S1220、根据所述特征点信息确定所述姿态信息；
当特征点为至少两个时，对指定的至少两个特征点之间进行拟合线段，以线段的方向作为目标用户的姿态信息，用于表征目标用户的形体姿态，当特征点为一个时，以该特征点的位置信息作为用户的姿态信息。
通过提取人体图像中的特征点，根据特征点信息确定姿态信息，有效提高对人体图像的姿态识别度，使姿态识别更加方便快捷，提高姿态信息的有效性。
在一些实施方式中，如图3所示，S1300、根据所述姿态信息检测目标用户是否属于跌倒状态，包括：
S1310、根据所述姿态信息确定所述目标用户的躯干方向；
本实施方式中，提取得到的特征点如图4所示，包括鼻0、颈部1、右肩2、右肘3、右手掌4、左肩5、左肘6、左手掌7、右臀8、右膝盖9、右脚10、左臀11、左膝盖12、左脚13、右眼14、左眼15、右耳16、左耳17。
在获取到姿态信息后，根据最小二值法拟合所述特征点之间的线段，形成拟合直线，以所述拟合直线的方向作为所述目标用户的躯干方向。具体的，如图5所示，躯干方向包括左躯干方向和右躯干方向，根据姿态信息中的各特征点的位置，通过最小二值法拟合1,8,9,10和1,11,12,13两条线段，形成拟合直线，分别作为目标用户的右躯干方向和左躯干方向，即图5中的虚线。
S1320、计算所述躯干方向与预设的第一方向之间的夹角；
在确定了目标用户的躯干方向之后，计算躯干方向与第一方向之间的夹角，第一方向为系统中预设的图像中的参考方向，例如图5中为竖直方向，即垂直于地面的方向，在本实施方式中，躯干方向包括左躯干方向与右躯干方向，分别计算左、右躯干方向与竖直方向之间的夹角。在另一些实施方式中，第一方向可以是预设的其他参考方向，例如水平方向等，但不限于此。
在一些实施方式中，躯干方向仅有一个方向时，直接计算躯干方向与第一方向之间的夹角。
S1330、根据所述夹角确定所述目标用户是否属于跌倒状态；
系统中预设有一定的夹角阈值，在计算得到躯干方向与第一方向之间的夹角时，判断该夹角是否大于/小于夹角阈值。
具体的，当第一方向为竖直方向时，当夹角大于夹角阈值(例如30度)，确定用户处于跌倒状态，又如当第一方向为水平方向时，夹角小于夹角阈值(例如60度)，确定用户处于跌倒状态。
当躯干方向包括左、右躯干方向时，分别判断左、右躯干方向的夹角是否大于/小于夹角阈值，例如当第一方向为竖直方向时，判断两个躯干方向都大于夹角阈值例如30度时确定用户跌倒，当第一方向为水平方向时，判断两个躯干方向都小于夹角阈值(例如60度)时确定用户跌倒。
预设的夹角阈值以及相对的大于/小于关系可以根据实际应用场景进行调整，例如采用的第一方向不同，角度值需要相对地进行选择，只要可以表征用户处于跌倒状态即可，在此不作限定。
通过计算躯干方向与第一方向的夹角，为用户跌倒的检测提供了依据，使跌倒检测更加方便快捷，有效提高了跌倒检测的效率。
在一些实施方式中，如图6所示，S1100、获取目标用户的人体图像之前，还包括：
S1010、获取目标用户的图像；
通过摄像头采集监控范围内目标用户的图像，在一些实施方式中，摄像头每经过一定的时间间隔(例如1S)获取一次实时的帧图像，作为目标用户的图像，用于检测目标用户是否属于跌倒状态。
S1020、将所述目标用户的图像输入到预设的人体识别模型中，提取所述图像中的人体轮廓；
将获取到的用户图像输入到已训练至收敛的人体识别模型中，根据人体识别模型的输出结果确定图像中的人体轮廓。
在另一些实施方式中，可以通过预设的人形检测算法对图像进行人形检测，识别图像中的人体轮廓，具体的，本实施方式中采用的人形检测算法可以为本领域中常用的用于检测图像中的人形的算法，当图像中存在人形时，识别人体轮廓，人体轮廓可以通过像素点坐标范围、坐标集合的方式进行记录，用于确定图像中属于人体的内容。
S1030、根据所述人体轮廓截取所述图像，形成所述人体图像；
在确定人体轮廓之后，根据人体轮廓对图像进行截取，去除非人体的图像内容，形成人体图像。
在一些实施方式中，还包括人体识别模型的训练方法，如图7所示，训练方法包括：
S2100、获取包含人体的样本图像和非人体的样本图像，并分别赋予人体标签和非人体标签，作为训练样本集；
获取一定量(例如5000张，但不限于此)包含人体的样本图像以及非人体的样本图像，包含人体的样本图像包括例如站姿、坐姿、跌倒、躺下等各种人体姿势的图像，以及人体处于不同的环境的图片，例如处于森林、道路、室内、海边等等，非人体的样本图像中不包含人体，可以是其他物品、动物、景色等图像，分别对样本图像赋予人体标签和非人体标签，即把样本图像中属于人体的部分赋予人体标签(例如标记分类值为1)，人体以外的部分赋予非人体标签(例如标记分类值为0)，形成训练样本集。
S2200、构建串接的至少两个卷积层，以提取各个样本图像的特征信息并输出特征映射，其中，在至少部分卷积层后加入池化层；
卷积层的数量可以根据实际的场景需求进行调整，例如要提高模型分类的准确性时可以采用更多的卷积层，当需要减少模型计算量或缩小模型体积时可以减少卷积层的数量，通过加入池化层可以有效降低网络运算量，优化深度学习网络，本实施例以构建8个卷积层为例。
具体的，构建由8个卷积层(为方便描述，下称C1～C8)串接而成的深度全卷积神经网络模型，在部分卷积层(例如C1，C2，C5)后面加入池化层，层与层之间通过归一化层(记为LRN1，LRN2)来连接。本实施例中以第一个卷积层作为示例说明，其他卷积层的参数设置可以根据实际应用场景进行调整，经过与第一个卷积层相同或相似的变换，只是一部分卷积层(例如C3,C4)的输出端没有连接池化层。一个具体的实施参数如下：卷积层C1中滤波器个数为96，卷积核大小为11，卷积步长S为4，填充尺寸Pad为100，为保证经过卷积层之后输出的特征尺寸的大小，在第一个卷积层中对原图加入了100的padding(填充)，考虑到padding的操作会引入噪声，其他卷积层的padding可以设置得较小(例如1或2)，或者不设置(即为0)。本实施方式中，采用修正线性单元(Rectifiedlinearunit,ReLU)作为本层的激活函数。
S2300、构建反卷积层，以对经过所述至少两个卷积层的特征映射进行反卷积，以将卷积层输出的特征尺寸恢复至原始样本图像大小，并输出样本图像中像素点的分类预测值；
在最后一个卷积层(本实施例中为C8)后构建反卷积层(记为D8)，用于将C8层输出的特征尺寸恢复到输入的样本图像的大小，然后输出对样本图像中各像素点是否为人体的分类预测值，例如输出分类包括人体(分类预测值为1)及非人体(分类预测值为0)。
S2400、将所述训练样本集输入至人体识别模型中进行训练；
将训练样本集中的样本图像依次输入到人体识别模型中，在第一个卷积层C1中，样本图像(记为x1)通过权重矩阵ω1得到第一层网络的输出特征，经非线性激励函数优化后，最终输出96个特征映射值，每个映射值由下式计算得到：
其中，
表示特征映射值，★表示卷积操作，x1表示样本图像，
为权重矩阵。
本实施方式中采用最大池化函数对特征映射进行向下采样，最后将修正线性单元作为本层的激活函数对
逐个进行计算。
同样的，其后的卷积层(例如C2-C8)也经过与第一个卷积层相同的变换，然后将结果输出至反卷积层D8，D8的计算可以表示为下式：
其中，zk表示输入数据预设为类别k的线性计算结果，
表示经过多个卷积层得到的特征映射，g()表示对输入的特征映射进行反卷积操作，反卷积即为卷积过程的逆运算。
经过反卷积层D8之后最终得到输入数据中像素点所属类别的预测pk，如下式所示：
其中pk用于表示人体识别模型判断该像素点为人体或非人体的分类值，其中1表示该像素点属于人体，0则为非人体。
S2500、根据预设的损失函数计算人体识别模型输出结果与赋予标签的误差值，并根据误差值进行反向传播调整所述卷积层的卷积参数，直至所述人体识别模型收敛。
根据损失函数计算人体识别模型输出的分类预测值与标记的分类值(即标签)之间的误差(即总损失)，根据损失函数的导数，沿梯度最小方向将误差回传，调整卷积层的卷积参数，直到损失函数计算的误差值小于预设的阈值，确定人体识别模型收敛。
在一些实施方式中，损失函数的表达式如下：
其中，L表示总损失，n表示输入的样本图像中所有像素点的数目，pi表示像素点i的是否为人体的分类预测值，ri表示像素点i标记的是否为人体的分类值，ε为极小的正数(例如1或2)，以防止除数为0。
在一些实施方式中，S1300、根据所述姿态信息检测目标用户是否属于跌倒状态之后，还包括：
当确定目标用户属于跌倒状态时，开始计时，经过一定的时间间隔(例如1分钟，但不限于此)，再次通过上述S1100-S1300的方法检测用户是否处于跌倒状态，当预设的时间间隔后所述目标用户仍属于所述跌倒状态时，触发预设的通知指令。
当经过时间间隔之后再次检测到目标用户仍属于跌倒状态时，说明用户跌倒后未起身，可能存在危险，触发预设的通知指令。本实施方式中，通知指令包括但不限于：发出声/光提示、向目标终端发送信息，触发目标终端的振动、播音、闪光灯等方式，起到通知其他人员的效果即可。
为解决上述技术问题，本发明实施例还提供一种跌倒检测装置。具体请参阅图8，图8为本实施跌倒检测装置的基本结构框图。
如图8所示，跌倒检测装置，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块用于获取目标用户的人体图像；处理模块用于根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；执行模块用于根据所述姿态信息检测目标用户是否属于跌倒状态。
通过用户的人体图像确定姿态信息，根据状态信息表征的形体状态确定用户是否属于跌倒状态，不需要被检测用户穿戴指定的设备，有效减少用户的负担，通过姿态信息进行跌倒检测，只需要捕获到对应的图像，不需要对图像进行连续监控，避免出现没有及时检测到连续帧变化导致的跌倒检测失效，提高跌倒检测的有效性。
在一些实施方式中，跌倒检测装置还包括：第一识别子模块、第一处理子模块。其中第一识别子模块用于提取所述人体图像中的特征点信息，其中，所述特征点信息为所述人体图像中指定的一个或多个人体特征点的位置信息；第一处理子模块用于根据所述特征点信息确定所述姿态信息。
在一些实施方式中，跌倒检测装置还包括：第二处理子模块、第一计算子模块、第三处理子模块。其中，第二处理子模块用于根据所述姿态信息确定所述目标用户的躯干方向；第一计算子模块用于计算所述躯干方向与预设的第一方向之间的夹角；第三处理子模块用于根据所述夹角确定所述目标用户是否属于跌倒状态。
在一些实施方式中，跌倒检测装置还包括：第一拟合子模块。其中，第一拟合子模块用于根据最小二值法拟合所述特征点之间的线段，形成拟合直线，以所述拟合直线的方向作为所述目标用户的躯干方向。
在一些实施方式中，所述人体特征点包括以下中的一个或多个：鼻、颈部、左/右肩、左/右肘、左/右手掌、左/右臀、左/右膝盖、左/右脚、左/右眼、左/右耳。
在一些实施方式中，跌倒检测装置还包括：第一获取子模块、第二识别子模块、第一截取子模块。其中，第一获取子模块用于获取目标用户的图像；第二识别子模块用于将所述目标用户的图像输入到预设的人体识别模型中，提取所述图像中的人体轮廓；第一截取子模块用于根据所述人体轮廓截取所述图像，形成所述人体图像。
在一些实施方式中，跌倒检测装置还包括：第一执行子模块、第二执行子模块。其中，第一执行子模块用于当所述目标用户属于跌倒状态时，经过预设的时间间隔后，再次检测用户是否处于所述跌倒状态；第二执行子模块用于当预设的时间间隔后所述目标用户仍属于所述跌倒状态时，触发预设的通知指令。
为解决上述技术问题，本发明实施例还提供一种电子设备。具体请参阅图9，图9为本实施例电子设备基本结构框图。
如图9所示，电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该电子设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种跌倒检测方法。该电子设备的处理器用于提供计算和控制能力，支撑整个电子设备的运行。该电子设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种跌倒检测方法。该电子设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述跌倒检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于姿态识别的跌倒检测方法，其特征在于，包括：
获取目标用户的人体图像；
根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；
根据所述姿态信息检测目标用户是否属于跌倒状态。
2.如权利要求1所述的跌倒检测方法，其特征在于，所述根据所述人体图像确定目标用户的姿态信息，包括：
提取所述人体图像中的特征点信息，其中，所述特征点信息为所述人体图像中指定的一个或多个人体特征点的位置信息；
根据所述特征点信息确定所述姿态信息。
3.如权利要求2所述的跌倒检测方法，其特征在于，所述根据所述姿态信息检测目标用户是否属于跌倒状态，包括：
根据所述姿态信息确定所述目标用户的躯干方向；
计算所述躯干方向与预设的第一方向之间的夹角；
根据所述夹角确定所述目标用户是否属于跌倒状态。
4.如权利要求3所述的跌倒检测方法，其特征在于，所述根据所述姿态信息确定所述目标用户的躯干方向，包括：
根据最小二值法拟合所述特征点之间的线段，形成拟合直线，以所述拟合直线的方向作为所述目标用户的躯干方向。
5.如权利要求1所述的跌倒检测方法，其特征在于，所述获取目标用户的人体图像之前，包括：
获取目标用户的图像；
将所述目标用户的图像输入到预设的人体识别模型中，提取所述图像中的人体轮廓；
根据所述人体轮廓截取所述图像，形成所述人体图像。
6.如权利要求5所述的跌倒检测方法，其特征在于，还包括人体识别模型的训练方法，所述训练方法包括：
获取包含人体的样本图像和非人体的样本图像，并分别赋予人体标签和非人体标签，作为训练样本集；
构建串接的至少两个卷积层，以提取各个样本图像的特征信息并输出特征映射，其中，在至少部分卷积层后加入池化层；
构建反卷积层，以对经过所述至少两个卷积层的特征映射进行反卷积，以将卷积层输出的特征尺寸恢复至原始样本图像大小，并输出样本图像中像素点的分类预测值；
将所述训练样本集输入至人体识别模型中进行训练；
根据预设的损失函数计算人体识别模型输出结果与赋予标签的误差值，并根据误差值进行反向传播调整所述卷积层的卷积参数，直至所述人体识别模型收敛。
7.如权利要求6所述的跌倒检测方法，其特征在于，所述损失函数表达式如下：
其中，L表示总损失，n表示输入的样本图像中所有像素点的数目，pi表示像素点i的是否为人体的分类预测值，ri表示像素点i标记的是否为人体的分类值，ε为正数。
8.一种跌倒检测装置，其特征在于，包括：
获取模块，用于获取目标用户的人体图像；
处理模块，用于根据所述人体图像确定目标用户的姿态信息，其中，所述姿态信息用于表征所述目标用户的形体姿态；
执行模块，用于根据所述姿态信息检测目标用户是否属于跌倒状态。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的跌倒检测方法的步骤。
10.一种非易失性计算机可读存储介质，所述存储介质中存储有计算机可读指令，当所述存储介质中的指令被一个或多个处理器执行时，所述一个或多个处理器执行如权利要求1至7中任一项所述的跌倒检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431492.1A CN112488019A (zh) | 2020-12-07 | 2020-12-07 | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431492.1A CN112488019A (zh) | 2020-12-07 | 2020-12-07 | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488019A true CN112488019A (zh) | 2021-03-12 |
Family
ID=74941021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011431492.1A Pending CN112488019A (zh) | 2020-12-07 | 2020-12-07 | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488019A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463788A (zh) * | 2022-04-12 | 2022-05-10 | 深圳市爱深盈通信息技术有限公司 | 一种跌倒检测方法、系统、计算机设备及存储介质 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| CN116092264A (zh) * | 2021-10-29 | 2023-05-09 | 青岛海尔科技有限公司 | 跌倒提示方法及装置 |
| CN117173793A (zh) * | 2023-11-02 | 2023-12-05 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085757A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、服务器以及计算机可读存储介质 |
| CN110895671A (zh) * | 2018-09-13 | 2020-03-20 | 纬创资通股份有限公司 | 跌倒检测方法以及使用此方法的电子系统 |
| CN111428540A (zh) * | 2019-01-10 | 2020-07-17 | 北京京东尚科信息技术有限公司 | 输出信息的方法和装置 |
| CN111461042A (zh) * | 2020-04-07 | 2020-07-28 | 中国建设银行股份有限公司 | 跌倒检测方法及系统 |
-
2020
- 2020-12-07 CN CN202011431492.1A patent/CN112488019A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085757A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、服务器以及计算机可读存储介质 |
| CN110895671A (zh) * | 2018-09-13 | 2020-03-20 | 纬创资通股份有限公司 | 跌倒检测方法以及使用此方法的电子系统 |
| CN111428540A (zh) * | 2019-01-10 | 2020-07-17 | 北京京东尚科信息技术有限公司 | 输出信息的方法和装置 |
| CN111461042A (zh) * | 2020-04-07 | 2020-07-28 | 中国建设银行股份有限公司 | 跌倒检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王鹏 等: "基于深度学习的人体图像分割算法", 《武汉大学学报（理学版）》, vol. 2017, no. 5, pages 466 - 469 * |
| 王鹏 等: "基于深度学习的人体图像分割算法", 武汉大学学报(理学版), vol. 63, no. 05, 31 October 2017 (2017-10-31), pages 466 - 469 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092264A (zh) * | 2021-10-29 | 2023-05-09 | 青岛海尔科技有限公司 | 跌倒提示方法及装置 |
| CN114463788A (zh) * | 2022-04-12 | 2022-05-10 | 深圳市爱深盈通信息技术有限公司 | 一种跌倒检测方法、系统、计算机设备及存储介质 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| CN117173793A (zh) * | 2023-11-02 | 2023-12-05 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
| CN117173793B (zh) * | 2023-11-02 | 2024-03-01 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488019A (zh) | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 | |
| CN111383421B (zh) | 隐私保护跌倒检测方法和系统 | |
| US11688043B2 (en) | Video deblurring method and apparatus, storage medium, and electronic apparatus | |
| CN109684920A (zh) | 物体关键点的定位方法、图像处理方法、装置及存储介质 | |
| CN111666857A (zh) | 基于环境语义理解的人体行为识别方法、装置及存储介质 | |
| CN108027874A (zh) | 使用深度摄像头的基于计算机视觉的安全系统 | |
| CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和系统 | |
| CN113033399A (zh) | 溺水检测方法、装置、电子设备及存储介质 | |
| CN109766755B (zh) | 人脸识别方法及相关产品 | |
| CN112651292A (zh) | 基于视频的人体动作识别方法、装置、介质及电子设备 | |
| CN112966589A (zh) | 一种在危险区域的行为识别方法 | |
| CN112200041B (zh) | 视频动作识别方法、装置、存储介质与电子设备 | |
| CN112651291A (zh) | 基于视频的姿势估计方法、装置、介质及电子设备 | |
| CN109815813A (zh) | 图像处理方法及相关产品 | |
| CN111488855A (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
| CN112115775A (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
| CN114898470A (zh) | 基于改进YOLOv5的跌倒行为检测方法及系统 | |
| US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
| CN113723185A (zh) | 动作行为识别方法、装置、存储介质及终端设备 | |
| JP5648452B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| CN114495241A (zh) | 一种图像识别方法及装置、电子设备、存储介质 | |
| CN114792429A (zh) | 多视角摔倒检测方法、装置及存储介质 | |
| CN113989931A (zh) | 一种便携式异常行为智能分析系统 | |
| CN112001229B (zh) | 视频行为识别的方法、装置、系统和计算机设备 | |
| CN113553893A (zh) | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210628 Address after: 518000 1001, building G3, TCL International e city, Shuguang community, Xili street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Aishen Yingtong Information Technology Co.,Ltd. Address before: Room 1010, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, Urumqi Economic and Technological Development Zone, 830000 Xinjiang Uygur Autonomous Region Applicant before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd. |