CN114596631A - 人体摔倒识别模型的训练方法、装置、设备及存储介质 - Google Patents

人体摔倒识别模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114596631A
CN114596631A CN202210153641.5A CN202210153641A CN114596631A CN 114596631 A CN114596631 A CN 114596631A CN 202210153641 A CN202210153641 A CN 202210153641A CN 114596631 A CN114596631 A CN 114596631A
Authority
CN
China
Prior art keywords
human body
fall
human
coordinate data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210153641.5A
Other languages
English (en)
Inventor
闾凡兵
徐然怡
曹达
秦拯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Hisense Intelligent System Research Institute Co ltd
Original Assignee
Changsha Hisense Intelligent System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Hisense Intelligent System Research Institute Co ltd filed Critical Changsha Hisense Intelligent System Research Institute Co ltd
Priority to CN202210153641.5A priority Critical patent/CN114596631A/zh
Publication of CN114596631A publication Critical patent/CN114596631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人体摔倒识别模型的训练方法、装置、设备及存储介质，该人体摔倒识别模型的训练方法包括：获取训练数据集，训练数据集包括人体图像和人体图像对应的摔倒标签数据，人体图像包括摔倒图像和未摔倒图像；通过预设人体识别算法识别人体图像，得到人体骨骼坐标数据；根据人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型；本申请实施例能够解决现有的用于识别人体摔倒模型的识别精度较低的问题。

Description

人体摔倒识别模型的训练方法、装置、设备及存储介质
技术领域
本申请属于计算机视觉技术领域，尤其涉及一种人体摔倒识别模型的训练方法、装置、设备及存储介质。
背景技术
在生活中，各年龄段人群均有可能发生摔倒事件。如意外滑倒、心脏病等疾病发作摔倒、乘坐电梯时重心不稳摔倒等事件，这些摔倒事件都可能给摔倒人带来严重的后果。而通过模型识别出摔倒事件并及时报警，便于及时对摔倒人进行帮助和救治，可以降低摔倒带来的各种风险和危害。
现有的用于识别人体摔倒模型的识别精度较低。
发明内容
本申请实施例提供一种人体摔倒识别模型的训练方法、装置、设备及存储介质，能够解决现有的用于识别人体摔倒模型的识别精度较低的问题。
第一方面，本申请实施例提供一种人体摔倒识别模型的训练方法，包括：
获取训练数据集，训练数据集包括人体图像和人体图像对应的摔倒标签数据，人体图像包括摔倒图像和未摔倒图像；
通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据；
从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据；
根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型。
第二方面，本申请实施例提供一种应用人体摔倒识别模型识别人体摔倒的方法，人体摔倒识别模型通过如权利要求的人体摔倒识别模型的训练方法训练得到，方法包括：
获取待识别图像；
通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据；
将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果。
第三方面，本申请实施例提供一种人体摔倒识别模型的训练装置，包括：
获取模块，用于获取训练数据集，训练数据集包括人体图像和人体图像对应的摔倒标签数据，人体图像包括摔倒图像和未摔倒图像；
识别模块，用于通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据；
筛选模块，用于从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据；
训练模块，用于根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型。
第四方面，本申请实施例提供一种应用人体摔倒识别模型识别人体摔倒的装置，人体摔倒识别模型通过如权利要求的人体摔倒识别模型的训练装置训练得到，装置包括：
获取模块，用于获取待识别图像；
识别模块，用于通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据；
输出模块，用于将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果。
第五方面，本申请实施例提供一种人体摔倒识别模型的训练设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述方法。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述方法。
本申请实施例的人体摔倒识别模型的训练方法、装置、设备及存储介质，通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据，然后从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据，能够筛除因人体图像中因人体被遮挡造成的识别出的不准确人体骨骼坐标数据，再根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，得到的人体摔倒识别模型识别精度较高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人体摔倒识别模型的训练方法的流程示意图；
图2是本申请实施例提供的一种应用人体摔倒识别模型识别人体摔倒的方法的流程示意图；
图3是本申请实施例提供的一种人体摔倒识别模型的训练装置的结构示意图；
图4是本申请实施例提供的一种应用人体摔倒识别模型识别人体摔倒的装置的结构示意图；
图5是本申请实施例提供的一种人体摔倒识别模型的训练设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
据统计，2050年全球60岁以上的人口将达到20亿，约占全球总人数的五分之一以上。由此可见全世界的人口老龄化问题日趋严重，而对于老人受伤死亡的主要原因之一为摔倒事件。包括独居老人在家摔倒后无法及时报警救治、在小区散步时意外摔倒时周围无人帮助等情况。摔倒行为是老人生命安全的隐患，对老人的影响巨大。而摔倒检测不仅仅对老年人有意义，对中年人甚至年轻人都有重要作用。在生活中也在中年人或者年轻人在人少地点摔倒严重，如心脏病等疾病发作躺地上、如上电扶梯的时候重心不稳后仰摔倒等危险情况，这些情况都可能带来严重的后果。而通过模型检测出摔倒行为并及时报警，可以降低摔倒带来的各种风险和危害。而现有的用于识别人体摔倒模型的识别精度较低。
为了解决现有技术问题，本申请实施例提供了一种人体摔倒识别模型的训练方法、装置、设备及存储介质。本申请实施例通过预设人体识别算法识别人体图像，得到人体骨骼坐标数据，采用人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，得到的人体摔倒识别模型识别精度较高。下面首先对本申请实施例所提供的人体摔倒识别模型的训练方法进行介绍。
图1示出了本申请一个实施例提供的人体摔倒识别模型的训练方法的流程示意图。如图1所示，该方法可以包括以下步骤：
S110，获取训练数据集。
其中，训练数据集可以从数据库获取，例如coco数据集；训练数据集包括人体图像和人体图像对应的摔倒标签数据，人体图像包括摔倒图像和未摔倒图像。
在一种实施例中，S110：获取训练数据集，可以包括：
获取原始图像和原始图像对应的摔倒标签数据，原始图像中的人体被遮挡面积占人体总面积比例小于预设阈值。
通过预设的目标检测标注算法标注原始图像中的人体，得到训练数据集。
其中，原始图像中的人体被遮挡面积占人体总面积比例小于预设阈值，预设阈值可以选用为30％，较为完整的人体图像有利于提升模型训练效率和提升模型精度。预设的目标检测标注算法能够标注原始图像中的人体，例如，预设的目标检测标注算法可以选用为LabelImg标注工具，以检测框框选人体的形式将原始图像中的人体标注，得到训练数据集。其中，检测框的检测区域是通过模型应用场景确定的，例如，对于地铁场景，主要检测行人上下电扶梯时的摔倒行为，所以可以将检测区域约束为地铁的电扶梯上下处。对于小区场景，检测区域也应该是平地区域(人不会站在墙、柱子等处)。因此结合实际场景需求，调整检测框的检测区域是合理的，并且可以在一定程度上减少因为跟踪不准、ID变换而产生的误报。
本申请实施例将人体被遮挡面积占人体总面积比例小于预设阈值的图像作为训练数据集，有利于提升模型训练效率和提升模型精度，通过预设的目标检测标注算法标注原始图像中的人体，满足后续模型训练的数据使用需求。
S120，通过预设人体识别算法识别所述人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据。
其中，预设人体识别算法能够识别出人体图像中的人体骨骼坐标数据和人体外观特征数据。
在一种实施例中，预设人体识别算法包括目标检测算法、人体姿态特征识别算法和人体外观特征识别算法；S120可以包括：
通过目标检测算法提取所述人体图像中的特征数据。
通过人体姿态特征识别算法转换所述特征数据，得到所述人体图像对应的人体骨骼坐标数据。
通过所述人体外观特征识别算法转换所述特征数据，得到所述人体外观特征数据。
其中，目标检测算法可以选用为YOLOX算法或者YOLOV3-SPP算法，人体姿态特征识别算法可以选用为Alphapose算法，YOLOV3-SPP算法是在YOLOV3两层卷积层之间加入空间金字塔池化(Spatial Pyramid Pooling，SPP)结构，通过YOLOV3-SPP算法提取人体图像中的特征数据：人体图像中检查框的坐标，能够减少图片失真对最终模型检测精度的负面影响。SPP结构由5x5、9x9、13x13的三个最大池化和一个跳跃连接构成，能够实现局部特征和全局特征的融合，丰富特征图的表达能力，提高人体图像中的特征数据的检测提取精度。
Alphapose算法能够较好地进行人体的姿态估计，得到人体骨骼的3D坐标，即人体骨骼坐标数据。Alphapose算法框架是由三部分组成：对称空间变换网络(SymmetricSpatial Transformer Network，SSTN)、参数姿态非最大抑制(Pose-NMS)和姿态引导建议生成器(Pose-guided Proposals Generator，PGPG)。SSTN由空间变换网络(SpatialTransformer Network，STN)和空间逆变换网络(spatial Detransformer Network，SDTN)组成，STN和SDTN分别在SPPE(Single Person Pose Estimation)前后。STN接收人体检测框提议，即特征数据，SDTN生成特征数据对应的姿态提案。SPPE在训练阶段作为正则化器。然后，通过Pose-NMS消除冗余的姿态提案估计。最后，PGPG通过学习不同姿态提案的输出分布，模拟人体边框的生成，得到人体图像对应的人体骨骼坐标数据。
为了帮助理解，下面对Alphapose算法具体说明：
首先，利用STN接收LabelImg标注工具标注出的人体检测框，执行2D仿射变换，可表示为：
Figure BDA0003511467090000071
其中，θ1,θ2,θ3是二维向量，
Figure BDA0003511467090000072
和
Figure BDA0003511467090000073
是变换前后的坐标。经过SPPE后，需要通过空间去变换网络(SDTN)将估计的人体姿态重新映射回原始图像坐标，由SDTN计算出反变换的向量[λ1λ2λ3],此过程可表示为：
Figure BDA0003511467090000074
其次，利用SPPE对STN得到的高质量的提议检测区域进行姿态估计。为了更好地进行姿态估计，还增加一个SPPE分支，与原始SPPE共享相同的STN，不过分支的SPPE后没有SDTN。目的是为了在训练阶段，将位于中心的姿态误差反向传播到SYN模块，以帮助STN聚焦到正确区域。在测试阶段，分支SPPE被丢弃。
再次，因为人体检测器不可避免地会产生冗余检测，而冗余检测会产生冗余的姿态估计，所以需要参数姿态非最大抑制(Pose-NMS)来消除冗余。消除冗余的过程是把分数最高的姿态作为基准，重复消除接近基准姿态的姿态，直到剩下单一的姿态。消除标准的公式是计算姿态和基准姿态的姿态距离和空间距离，如果距离小于一个阈值，则说明该姿态和基准姿态过于相似，需要被消除。具体公式如下：
f(Pi,Pj|Λ,η)＝1(d(Pi,Pj|Λ,η)≤η)
d(Pi,Pj|Λ)＝Ksim(Pi,Pj|σ1)+λHsim(Pi,Pj|σ2)
Figure BDA0003511467090000075
Figure BDA0003511467090000076
其中，其中Pi、Pj表示不同的姿态，f(·)表示输出，Λ表示函数d(·)的参数集，η中是作为消除标准设置的临界值，d包括姿态距离和空间距离；Ksim表示姿态距离，Hsim表示空间距离，λ为平衡距离和空间距离的权重。对于姿态Pi，m个关节点可以表示为
Figure BDA0003511467090000081
分别表示为第j个关节点的位置和置信度。
Figure BDA0003511467090000082
表示以
Figure BDA0003511467090000083
为中心的检测框，Λ＝{σ1,σ2,λ}，即σ1,σ2,λ为参数集中的参数。姿态距离用于消除和其他姿态太近且相似的姿态，空间距离用于衡量不同特征之间空间距离的相似度。
最后，在SSTN+SPPE的训练阶段，利用PGPG进行数据增强。对于训练样本中的姿势，首先查找相应的原子姿势，然后通过密集采样生成额外的偏移以增强训练，得到人体图像对应的人体骨骼坐标数据。
本申请实施例结合YOLOV3-SPP算法和Alphapose算法确认人体图像对应的人体骨骼坐标数据，丰富了特征图的表达能力，提高人体图像中的特征数据的检测提取精度，最终使得得到的人体骨骼坐标数据精度较高。
S130，从所述人体骨骼坐标数据中筛选与所述人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据。
其中，考虑到Alphapose中所用的跟踪是结合卡尔曼滤波算法和匈牙利算法。使用卡尔曼滤波预测下一帧的运动状态，并用匈牙利算法进行数据关联，并没有利用行人的外观特征，这将导致两个问题。一是当背景较为复杂时，如行人出现在视频中，被遮挡物遮住，此时会根据预测将遮挡物判断为人框出，这会导致姿态估计得不到真正的关节点，而动作识别模型可能会将其判断为任何一种动作，是误报的来源之一。二是当目标跟丢后无法再找回，只能重新分配新的ID，频繁的ID变换导致摔倒判断不准确，也会产生误报。将YOLOX得到的检测框和跟踪预测到的检测框结合作为Alphapose的输入，优点是可以得到一些YOLOX检测不到的检测框，如人摔倒后躺在地上，虽然通过训练可以改善目标检测YOLOX的这部分缺陷，但由于训练数据量有限等原因，依然还会存在许多检测不到的人体姿态，而通过运动状态的预测可以将其框出。缺点是会把不是人的位置框出，如上文提到的行人先出现后被遮挡物遮住，此时遮挡物可能会被框出。
为解决上述问题，本申请实施例从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据，能够剔除掉不准确的人体骨骼坐标数据；
在一种实施例中，S130可以用于：
计算所述人体骨骼坐标数据与所述人体外观特征数据的第一距离，所述第一距离至少包括如下一项：马氏距离和余弦距离。
将所述第一距离符合预设条件的所述人体骨骼坐标数据确定为所述目标人体骨骼坐标数据。
其中，马氏距离和余弦距离中的任意一个即可衡量人体骨骼坐标数据与人体外观特征数据对应的人体一致程度，同时采用马氏距离和余弦距离，能够提升目标人体骨骼坐标数据的识别精度，本申请实施例以同时采用马氏距离和余弦距离计算第一距离为例进行说明：
使用马氏距离dm预测卡尔曼状态和新的状态之前的关联，公式如下：
Figure BDA0003511467090000091
其中dm(i,j)表示第j个人体骨骼坐标数据与第i个人体外观特征数据的运动匹配度，Si表示卡尔曼滤波是预测在当前时刻观测空间的协方差矩阵，yi表示轨迹在当前时刻的预测观测量-即人体外观特征数据，表示第dj个检测框对应的状态-即人体骨骼坐标数据。
使用余弦距离作为第二个衡量尺度，余弦函数为：dr(i，j)，其中dr(i,j)表示第i个人体骨骼坐标数据和第j个人体外观特征数据的最小余弦距离。
将两个尺度融合，λ为预设的权重参数，最终的第一距离求取公式为：
d＝λdm(i,j)+(1-λ)dr(i,j)
求取出第一距离后，将第一距离符合预设条件的人体骨骼坐标数据确定为目标人体骨骼坐标数据。
本申请实施例通过人体外观特征数据比对人体骨骼坐标数据的模式对人体骨骼坐标数据进行筛选，能够筛除因人体图像中因人体被遮挡造成的识别出的不准确人体骨骼坐标数据，提升了模型训练的精度。
S140，根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型。
其中，目标人体骨骼坐标数据和相应的标签数据均已确定，能够根据人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型。
在一种实施例中，S130：根据人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，可以包括：
根据人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练MS-G3D模型，得到人体摔倒识别模型。
其中，由Alphapose算法得到的人体骨骼坐标数据作为MS-G3D模型的输入前，先将Alphapose算法的输出转为MS-G3D模型所需要的输入格式，然后输入MS-G3D模型，MS-G3D模型MS-G3D提出一个多尺度图卷积和统一的时空卷积，这里MS代表多尺度，G3D代表统一的时空模型。是为了捕捉复杂的时空关系提出来统一的时空模型，能够基于人体骨骼坐标数据识别人体动作，得到动作的识别结果。根据人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练MS-G3D模型，能够得到人体摔倒识别模型。
本申请实施例通过预设人体识别算法识别人体图像，得到人体骨骼坐标数据，采用人体骨骼坐标数据和人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，得到的人体摔倒识别模型识别精度较高。
图1描述了人体摔倒识别模型的训练方法，本申请实施例还提供一种应用人体摔倒识别模型识别人体摔倒的方法，该人体摔倒识别模型通过图1描述的人体摔倒识别模型的训练方法训练得到，如图2所示，该方法包括：
S210，获取待识别图像。
S220，通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据。
其中，预设人体识别算法能够识别出待识别图像中的人体骨骼坐标数据。
在一种实施例中，预设人体识别算法包括YOLOV3-SPP算法和Alphapose算法；S220可以包括：
通过YOLOV3-SPP算法提取待识别图像中的特征数据。
通过Alphapose算法转换特征数据，得到待识别图像对应的人体骨骼坐标数据。
S230，将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果。
其中，人体摔倒识别模型能够识别人体骨骼坐标数据表征出的人体状态，得到人体摔倒识别结果，例如：摔倒、行走、站立等。
在一种实施例中，该方法还可以包括：
根据预设评分规则计算预设时间内各类识别结果的总分值；
在所述总分值符合预设条件的情况下，输出报警信息。
其中，动作识别模型会对每一个视频帧中的每个人检测框做出动作预测。但摔倒是一个过程，可能包括十几帧。但摔倒的过程中由于动作姿态变化较大，并不是每一帧都能检测出来以及每一帧都可以准确的判断成摔倒动作，故摔倒的判断逻辑是：基于跟踪，将连续帧中的同一个目标进行摔倒评分累积，如果动作识别模型的标签结果是“摔倒”、“躺地”、“坐地”、“蹲着”，则评分加上0.4，如果是其他动作如“站立”、“行走”、“弯腰”等，则评分减去0.6，当评分累积和大于设定的值时则报警，且在视频上方显示报警，时间持续为5秒(可调)，这样减少了单帧判断不准导致的漏报情况。
本申请实施例通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据，将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果，以人体骨骼坐标数据作为识别依据，得到的人体摔倒识别结果精度较高。
图1-2描述了人体摔倒识别模型的训练方法，下面结合附图3-5描述本申请实施例提供的装置。
图3示出了本申请一个实施例提供的人体摔倒识别模型的训练装置的结构示意图，图3所示装置中各模块具有实现图1中各个步骤的功能，并能达到其相应技术效果。如图3所示，该装置可以包括：
获取模块310，用于获取训练数据集，训练数据集包括人体图像和人体图像对应的摔倒标签数据，人体图像包括摔倒图像和未摔倒图像；
识别模块320，用于通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据；
筛选模块330，用于从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据；
训练模块340，用于根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型。
本申请实施例通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据，然后从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据，能够筛除因人体图像中因人体被遮挡造成的识别出的不准确人体骨骼坐标数据，再根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，得到的人体摔倒识别模型识别精度较高。
在一种实施例中，获取模块310，具体用于：
获取原始图像和原始图像对应的摔倒标签数据，原始图像中的人体被遮挡面积占人体总面积比例小于预设阈值；
通过预设的目标检测标注算法标注原始图像中的人体，得到训练数据集。
在一种实施例中，预设人体识别算法包括目标检测算法、人体姿态特征识别算法和人体外观特征识别算法；
识别模块，具体用于：
通过目标检测算法提取人体图像中的特征数据；
通过人体姿态特征识别算法转换特征数据，得到人体图像对应的人体骨骼坐标数据；
通过人体外观特征识别算法转换特征数据，得到人体外观特征数据。
在一种实施例中，筛选模块，具体用于：
计算人体骨骼坐标数据与人体外观特征数据的第一距离，第一距离至少包括如下一项：马氏距离和余弦距离；
将第一距离符合预设条件的人体骨骼坐标数据确定为目标人体骨骼坐标数据。
在一种实施例中，训练模块，具体用于：
根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练MS-G3D模型，得到人体摔倒识别模型。
本申请实施例通过预设人体识别算法识别人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据，然后从人体骨骼坐标数据中筛选与人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据，能够筛除因人体图像中因人体被遮挡造成的识别出的不准确人体骨骼坐标数据，再根据目标人体骨骼坐标数据和目标人体骨骼坐标数据对应的摔倒标签数据训练得到人体摔倒识别模型，得到的人体摔倒识别模型识别精度较高。
图3描述了人体摔倒识别模型的训练装置，本申请实施例还提供一种应用人体摔倒识别模型识别人体摔倒的装置，该人体摔倒识别模型通过图4描述的人体摔倒识别模型的训练装置训练得到，如图4所示，该装置包括：
获取模块410，用于获取待识别图像；
识别模块420，用于通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据；
输出模块430，用于将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果。
本申请实施例通过预设人体识别算法识别待识别图像，得到待识别人体骨骼坐标数据，将待识别人体骨骼坐标数据输入人体摔倒识别模型，输出人体摔倒识别结果，以人体骨骼坐标数据作为识别依据，得到的人体摔倒识别结果精度较高。
图5示出了本申请一个实施例提供的人体摔倒识别模型的训练设备的结构示意图。如图5所示，该设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，上述处理器501可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器502可以包括可移除或不可移除(或固定)的介质，或者存储器502是非易失性固态存储器。存储器502可在综合网关容灾设备的内部或外部。
在一个实例中，存储器502可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现图1-2所示实施例中的方法，并达到图1-2所示实例执行其方法达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，该人体摔倒识别模型的训练设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该人体摔倒识别模型的训练设备可以执行本申请实施例中的人体摔倒识别模型的训练方法，从而实现图1-2描述的方法的相应技术效果。
另外，结合上述实施例中的人体摔倒识别模型的训练方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种人体摔倒识别模型的训练方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种人体摔倒识别模型的训练方法，其特征在于，包括：
获取训练数据集，所述训练数据集包括人体图像和所述人体图像对应的摔倒标签数据，所述人体图像包括摔倒图像和未摔倒图像；
通过预设人体识别算法识别所述人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据；
从所述人体骨骼坐标数据中筛选与所述人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据；
根据所述目标人体骨骼坐标数据和所述目标人体骨骼坐标数据对应的所述摔倒标签数据训练得到人体摔倒识别模型。
2.如权利要求1所述的人体摔倒识别模型的训练方法，其特征在于，所述获取训练数据集，包括：
获取原始图像和所述原始图像对应的所述摔倒标签数据，所述原始图像中的人体被遮挡面积占人体总面积比例小于预设阈值；
通过预设的目标检测标注算法标注所述原始图像中的人体，得到所述训练数据集。
3.如权利要求1任一项所述的人体摔倒识别模型的训练方法，其特征在于，所述预设人体识别算法包括目标检测算法、人体姿态特征识别算法和人体外观特征识别算法；
所述通过预设人体识别算法识别所述人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据，包括：
通过目标检测算法提取所述人体图像中的特征数据；
通过人体姿态特征识别算法转换所述特征数据，得到所述人体图像对应的人体骨骼坐标数据；
通过所述人体外观特征识别算法转换所述特征数据，得到所述人体外观特征数据。
4.如权利要求1任一项所述的人体摔倒识别模型的训练方法，其特征在于，所述从所述人体骨骼坐标数据中筛选与所述人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据，包括：
计算所述人体骨骼坐标数据与所述人体外观特征数据的第一距离，所述第一距离至少包括如下一项：马氏距离和余弦距离；
将所述第一距离符合预设条件的所述人体骨骼坐标数据确定为所述目标人体骨骼坐标数据。
5.如权利要求1-4任一项所述的人体摔倒识别模型的训练方法，其特征在于，所述根据所述目标人体骨骼坐标数据和所述目标人体骨骼坐标数据对应的所述摔倒标签数据训练得到人体摔倒识别模型，包括：
根据所述目标人体骨骼坐标数据和所述目标人体骨骼坐标数据对应的所述摔倒标签数据训练MS-G3D模型，得到所述人体摔倒识别模型。
6.一种应用人体摔倒识别模型识别人体摔倒的方法，其特征在于，所述人体摔倒识别模型通过如权利要求1所述的人体摔倒识别模型的训练方法训练得到，所述方法包括：
获取待识别图像；
通过预设人体识别算法识别所述待识别图像，得到待识别人体骨骼坐标数据；
将所述待识别人体骨骼坐标数据输入所述人体摔倒识别模型，输出人体摔倒识别结果。
7.一种人体摔倒识别模型的训练装置，其特征在于，包括：
获取模块，用于获取训练数据集，所述训练数据集包括人体图像和所述人体图像对应的摔倒标签数据，所述人体图像包括摔倒图像和未摔倒图像；
识别模块，用于通过预设人体识别算法识别所述人体图像的运动骨骼特征和外观特征，得到人体骨骼坐标数据和人体外观特征数据；
筛选模块，用于从所述人体骨骼坐标数据中筛选与所述人体外观特征数据表征的人体姿态一致的目标人体骨骼坐标数据；
训练模块，用于根据所述目标人体骨骼坐标数据和所述目标人体骨骼坐标数据对应的所述摔倒标签数据训练得到人体摔倒识别模型。
8.一种应用人体摔倒识别模型识别人体摔倒的装置，其特征在于，所述人体摔倒识别模型通过如权利要求7所述的人体摔倒识别模型的训练装置训练得到，所述装置包括：
获取模块，用于获取待识别图像；
识别模块，用于通过预设人体识别算法识别所述待识别图像，得到待识别人体骨骼坐标数据；
输出模块，用于将所述待识别人体骨骼坐标数据输入所述人体摔倒识别模型，输出人体摔倒识别结果。
9.一种人体摔倒识别模型的训练设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202210153641.5A 2022-02-18 2022-02-18 人体摔倒识别模型的训练方法、装置、设备及存储介质 Pending CN114596631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210153641.5A CN114596631A (zh) 2022-02-18 2022-02-18 人体摔倒识别模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210153641.5A CN114596631A (zh) 2022-02-18 2022-02-18 人体摔倒识别模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114596631A true CN114596631A (zh) 2022-06-07

Family

ID=81804319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210153641.5A Pending CN114596631A (zh) 2022-02-18 2022-02-18 人体摔倒识别模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114596631A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189238A (zh) * 2023-04-19 2023-05-30 国政通科技有限公司 一种基于神经网络的人形检测识别的摔倒检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189238A (zh) * 2023-04-19 2023-05-30 国政通科技有限公司 一种基于神经网络的人形检测识别的摔倒检测方法

Similar Documents

Publication Publication Date Title
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN108256433B (zh) 一种运动姿态评估方法及系统
Bian et al. Fall detection based on body part tracking using a depth camera
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
US8971577B2 (en) Monitoring device, reliability calculation program, and reliability calculation method
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN108009466B (zh) 行人检测方法和装置
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
CN112488057A (zh) 一种利用人头点定位和关节点信息的单相机多目标跟踪方法
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
US12131485B2 (en) Object tracking device and object tracking method
JP2010218246A (ja) 物体識別装置
CN111275040A (zh) 定位方法及装置、电子设备、计算机可读存储介质
US9752880B2 (en) Object linking method, object linking apparatus, and storage medium
CN114596631A (zh) 人体摔倒识别模型的训练方法、装置、设备及存储介质
CN114937293A (zh) 基于gis的农业服务管理方法及系统
CN111027510A (zh) 行为检测方法及装置、存储介质
CN114758414A (zh) 行人行为的检测方法、装置、设备及计算机存储介质
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN112614156A (zh) 一种多目标跟踪网络模型的训练方法、装置及相关设备
CN103927517A (zh) 一种基于人体全局特征直方图熵的动作检测方法
CN114445711B (zh) 图像检测方法、装置、电子设备和存储介质
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination