CN113743293A - 跌倒行为检测方法、装置、电子设备及存储介质 - Google Patents

跌倒行为检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113743293A
CN113743293A CN202111026780.3A CN202111026780A CN113743293A CN 113743293 A CN113743293 A CN 113743293A CN 202111026780 A CN202111026780 A CN 202111026780A CN 113743293 A CN113743293 A CN 113743293A
Authority
CN
China
Prior art keywords
target
detection object
probability
video frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111026780.3A
Other languages
English (en)
Other versions
CN113743293B (zh
Inventor
邓玥琳
李驰
刘岩
贾晨
杨颜如
韩森尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202111026780.3A priority Critical patent/CN113743293B/zh
Publication of CN113743293A publication Critical patent/CN113743293A/zh
Application granted granted Critical
Publication of CN113743293B publication Critical patent/CN113743293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种跌倒行为检测方法、装置、电子设备及存储介质，属于互联网技术领域。方法包括：针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率；基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率；提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合；针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率；基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。

Description

跌倒行为检测方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域，特别是涉及一种跌倒行为检测方法、装置、电子设备及存储介质。
背景技术
在针对老人、残疾人等所需看护人群的看护工作中，通常通过安装诸如光学视频监控摄像头等影像设备，实现对被看护人群的行为监控，以便在被看护人发生诸如跌倒行为等危险行为时，可以及时向看护人员示警。从而保障被看护人群的人生安全。因此，亟需一种检测跌倒行为的准确率高的技术方案。
发明内容
本发明实施例的目的在于提供一种跌倒行为检测方法、装置、电子设备及存储介质，以实现一种高效地跌倒行为检测方法。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种跌倒行为检测方法，所述方法包括：
从监控视频流提取视频段；
针对所述视频段中每个视频帧，将所述视频帧输入第一行为识别模型，得到所述视频帧包括的检测对象发生跌倒行为的第一概率；
基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率；
提取各所述视频帧包括的检测对象的关键骨骼点，生成每个所述检测对象的目标骨骼点集合；
针对每个所述检测对象，将所述检测对象的目标骨骼点集合输入第二行为识别模型，得到所述检测对象发生跌倒行为的第三概率；
基于所述第二概率以及所述检测对象的第三概率，计算得到所述检测对象的目标概率，并在所述目标概率大于概率数值阈值的情况下，确定所述检测对象发生跌倒行为。
可选的，在所述生成每个所述检测对象的目标骨骼点集合之前，所述方法包括：
执行至少一次骨骼点匹配处理，直至目标视频帧为所述视频段中最后一个视频帧，其中，第一次所述骨骼点匹配处理中，所述目标视频帧为按照各所述视频帧的显示顺序排列的首个视频帧，所述骨骼点匹配处理包括：
获取模板文件，所述模板文件记录目标检测对象和对应的关键骨骼点；
在确定获取的述模板文件为空时，将从所述目标视频帧提取的目标关键骨骼点以及对应的检测对象，写入所述模板文件；
在确定所述模板文件不为空时，基于所述目标关键骨骼点与所述模板文件中各关键骨骼点之间的距离，为所述目标关键骨骼点匹配检测对象，并根据匹配结果更新所述模板文件；
在所述目标视频帧不为所述最后一个视频帧时，选取所述目标视频帧的下一个视频帧作为目标视频帧。
可选的，所述基于所述目标关键骨骼点与所述模板文件中各关键骨骼点之间的距离，为所述目标关键骨骼点匹配检测对象，包括：
针对所述目标视频帧中每个检测对象的目标关键骨骼点，计算所述目标关键骨骼点，与所述模板文件中各目标检测对象对应的关键骨骼点之间的距离；
在确定存在所述距离小于距离阈值时，将所述模板文件中，所述距离小于距离阈值的关键骨骼点对应的目标检测对象作为所述目标关键骨骼点对应的检测对象；
在确定不存在所述距离小于距离阈值时，保持所述目标关键骨骼点对应的检测对象。
可选的，在所述生成每个所述检测对象的目标骨骼点集合之前，所述方法包括：
针对每个所述视频帧，采用预设条件，对从所述视频帧提取的所述检测对象的关键骨骼点进行筛选，所述预设条件至少包括以下一项：
所述关键骨骼点的中心位置位于所述检测对象的目标检测框内；
多个所述关键骨骼点中，位于所述目标检测框内的所述关键骨骼点数量大于位于所述目标检测框外的所述关键骨骼点数量。
可选的，基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率，包括：
针对所述每个视频帧，基于所述检测对象的第一概率计算所述视频帧中存在检测对象发生跌倒行为的第四概率，所述第四概率与所述第一概率呈正比；
基于各所述视频帧的第四概率计算所述第二概率，所述第二概率与所述第四概率呈正比。
可选的，所述方法还包括：
获取第一样本数据，所述第一样本数据包括：多个图像以及各图像对应的标识数据，所述标识数据用于标识图像中各检测对象的行为类型，所述检测对象存在包括跌倒行为的多种行为；
采用所述第一样本数据训练对初始模型进行训练，得到所述第一行为识别模型；
获取第二样本数据，所述第二样本数据包括：多个检测对象的关键骨骼点以及所述检测对象对应的行为类别，所述检测对象存在包括跌倒行为的多种行为；
采用所述第二样本数据对双流时空卷积网络进行训练，得到所述第二行为识别模型，其中，所述双流时空卷积网络包括：第一时空卷积网络以及第二时空卷积网络，所述第一时空卷积网络和所述第二时空卷积网络检测的行为类型的数量不同，所述双流时空卷积网络的损失函数为所述第一时空卷积网络的损失值和所述第二时空卷积网络的损失值的加权求和函数。
可选的，在确定所述所述检测对象发生跌倒行为之后，所述方法还包括：
生成报警信息，所述报警信息至少包括以下一种或多种：所述监控视频流的采集装置的装置标识、所述报警信息的生成时间、确定所述检测对象发生跌倒行为的置信度、报警图像列表，所述报警图像列表至少包括确定发生跌倒行为的检测对象所在的视频帧；
向目标设备推送所述报警信息。
在本发明实施的第二方面，还提供了一种跌倒行为检测装置，所述装置包括：
提取模块，用于从监控视频流提取视频段；
第一识别模块，用于针对所述视频段中每个视频帧，将所述视频帧输入第一行为识别模型，得到所述视频帧包括的检测对象的发生跌倒行为的第一概率；
计算模块，用于基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率；
生成模块，用于提取各所述视频帧包括的检测对象的关键骨骼点，生成每个所述检测对象的目标骨骼点集合；
第二识别模块，用于针对每个所述检测对象，将所述检测对象的目标骨骼点集合输入第二行为识别模型，得到所述检测对象发生跌倒行为的第三概率；
确定模块，用于基于所述第二概率以及所述检测对象的第三概率，计算得到所述检测对象的目标概率，并在所述目标概率大于概率数值阈值的情况下，确定所述检测对象发生跌倒行为。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方面所述的跌倒行为检测方法。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的跌倒行为检测方法。
在本发明实施的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的跌倒行为检测方法。
本发明实施例提供的跌倒行为检测方法、装置、电子设备及存储介质，本申请实施例提供的跌倒行为检测方法，通过从监控视频流提取视频段，针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率。基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。实现了通过视频段中图像特征信息，对视频段中是否存在检测对象发生跌倒行为的第一识别。并且通过提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合。针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。实现了通过检测对象的动态关键骨骼点，对检测对象是否发生跌倒行为的第二识别。并通过基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。通过基于两种方式得到的针对检测对象是否发生跌倒行为的识别结果，对检测对象是否发生跌倒行为进行最终判定，提高了检测跌倒行为的准确率，进而提高了跌倒行为的检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种跌倒行为检测方法的应用环境示意图。
图2为本发明实施例提供的一种跌倒行为检测方法的流程图。
图3为本发明实施例提供的一种检测对象的关键骨骼点的示意图。
图4为本发明实施例提供的一种双流时空卷积网络的示意图。
图5为本发明实施例提供的另一种跌倒行为检测方法的流程图
图6为本发明实施例提供的一种目标骨骼点匹配方法的流程图；
图7为本发明实施例提供的一种跌倒行为检测装置的框图。
图8为本发明实施例提供的一种电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了便于读者理解，在此对本申请实施例提供的跌倒行为检测方法可应用的场景进行示意性介绍。本发明示例实施例可以应用于视频分析平台中涉及发现跌倒事件处理模块。具体的业务场景包括但不限于养老社区监护、智能楼宇监控以及智能视觉交互等。同时，本发明示例实施例聚焦于养老、大健康、金融业务需要高精度的自动化行为识别和处理场景。示例的，如图1所示，本申请实施例可以应用于养老社区监护。监控摄像头可以采用养老社区内的监控视频流。并将实时采集的监控视频流传输至视频分析平台中涉及发现跌倒事件处理模块。该发现跌倒事件处理模块可以通过执行本申请实施例提供的跌倒行为检测方法，在确定养老社区内的老人发生跌倒，即视频分析平台发现跌倒事件时，可以向养老云平台推送用于提示养老社区内有人跌倒的报警消息。养老云平台向诸如看护人员、医生等相关工作人员的电子设备推送报警消息。例如，可以向电子设备中安装的即时通讯软件推荐报警消息。发现跌倒事件处理模块也可以向位于监控室的监控管理设备推送报警消息。例如，向监控管理设备发送界面提示消息，即通过web页面提示。监控室人员可以向诸如看护人员、医生等相关工作人员告知报警消息。例如，监控室人员可以人为告知相关工作人员，或者，监控室人员可以通过其电子设备向相关工作人员的电子设备推送报警消息。报警消息的形式可以为音频、视频或者文字等。从而使得相关工作人员及时对跌倒老人进行现场救助。
请参考图2，其示出了本发明实施例提供的一种跌倒行为检测方法的流程图。该方法可以应用于电子设备。该电子设备可以为一个或多台服务器，或者也可以为多台服务器构成的服务器集群，或者也可以为云服务器等。当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。如图2所示，所述方法包括：
步骤201、从监控视频流提取视频段。
本申请实施例中，服务端可以通过安装在所需监护场景中光学摄像头实时采集监控视频流。以实时对获取到监控视频流提取视频段。可选的，服务端可以获取的监控视频流，并对视频流按照指定的每秒传输帧数(Frames Per Second，FPS)即帧率进行解码抽取视频帧。将按照显示时序排列的目标数量T个视频帧划分为一个视频段，从而将视频流转换成连续的多个视频段，每个视频段也可以认为是分段图像序列。每个序列中包括目标数量个视频帧。示例的，服务端可以按照指定的帧率30进行解码抽取抽取视频帧，以提取视频段。视频段可以包括150帧(即5秒)视频帧。
步骤202、针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率。
本申请实施例中，服务端可以将视频段包括的多个视频帧，依次输入第一行为识别模型，得到输入的视频帧包括的检测对象发生跌倒行为的第一概率。其中，检测对象可以为人体。
可选的，第一行为识别模型可以用于识别多种行为类型。服务端将视频帧输入第一行为识别模型后，第一行为识别模型可以输出针对视频帧包括的检测对象的发生每种行为的概率。服务端可以从第一行为识别模型输出中提取检测对象发生跌倒行为的第一概率。示例的，第一行为识别模型可以为Yolov5、Faster R-CNN、FPN或者、EfficientDet等。
其中，一个视频帧可以包括一个或多个检测对象。若视频帧包括多个检测对象，则第一行为识别模型可以分别输出多个检测对象分别对应的发生各行为的概率。需要说明的是，第一行为识别模型可识别的行为种类越多，其输出的各种类对应的概率越准确。
示例的，第一行为识别模型可以用于识别C种行为类型(例如，C＝5分别为其他，跌倒，站立，坐，蹲下。或者，例如C＝2分别为其他，跌倒)。服务端可以将视频帧输入第一行为识别模型，得到该视频帧包括的P个检测对象分别对应的分数向量。第t个视频帧中第j个检测对象的分数向量为stj＝(stj0,...,stj(C-1))，Stj0至Stj(C-1)分别标识第t个视频帧中第j个检测对象的C种行为的评分。也即是，第t个视频帧中第j个检测对象分别发送C种类型的概率。服务端可以从该分数向量中提取第j个检测对象的跌倒行为的评分。其中，C、t、j、P均为正整数。
本申请实施例中，第一行为识别模型还可以在输入视频帧后，输出该视频帧中检测对象对应的目标检测框。示例的，第一行为识别模型可以输出检测对象对应的目标检测框的描述信息。该描述信息可以包括目标检测框的两个对角顶点坐标。或者也可以包括一个顶点坐标以及目标检测框的长度和宽度。
步骤203、基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。
可选的，服务端可以针对每个视频帧，基于检测对象的第一概率计算视频帧中存在检测对象发生跌倒行为的第四概率。基于各视频帧的第四概率计算第二概率。其中，第四概率与第一概率呈正比，第二概率与第四概率呈正比。
一个示例的，服务端可以针对每个视频帧，将检测对象发生跌倒行为的第一概率均值作为视频帧的第四概率。将各视频帧的第四概率均值作为视频段中存在检测对象发生跌倒行为的第二概率。
另一示例的，若第t个视频帧包括P个检测对象，则第t个视频帧中存在检测对象发生第i种行为类型的评分Sti满足：
Figure BDA0003243583690000071
其中，第t个视频帧的评分Sti用于表示第t个视频帧存在检测对象发生第i种行为类型的概率。Stji表示第t个视频帧第j个检测对象发生第i种行为类型的概率。第一行为识别模型可以识别C种行为类型，Wi表示第i种行为类型在所有行为类型中所占的权重。C、t、i、j、P均为正整数。示例的，Wi可以小于1。
若视频段包括T个视频帧，则视频段中存在检测对象发生第i种行为类型的评分Si满足：
Figure BDA0003243583690000072
其中，视频段的评分Si表示视频段中存在检测对象发生第i种行为类型的概率。Sti表示第t个视频帧中存在检测对象发生第i种行为类型的概率。T表示视频段包括的视频帧的数量，且T为正整数。
基于此，服务端可以针对每个视频帧，将检测对象发生跌倒行为的第一概率均值的加权值作为视频帧的第四概率。将各视频帧的第四概率均值作为视频段中存在检测对象发生跌倒行为的第二概率
步骤204、提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合。
可选的，服务端可以从一个视频帧中提取的一个检测对象的一个或者多个关键骨骼点。例如，如图3所示，服务端可以从一个视频帧中提取一个检测对象的18个关键骨骼点。本申请实施例中，服务端可以提取每个视频帧中包括的检测对象的关键骨骼点。生成每个检测对象的目标骨骼点集合。检测对象的目标骨骼点集合包括该检测对象在所有视频帧中的关键骨骼点。且目标骨骼点集合中关键骨骼点按照视频帧的播放顺序排列。
示例的，服务端可以目标算法提取每个视频帧包括的检测对象的关键骨骼点的位置信息。该位置信息可以为笛卡尔坐标。该目标算法包括采用OpenPose、AlphaPose或者HRNet模型等。
步骤205、针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。
本申请实施例中，第二行为识别模型可以基于输入的检测对象的目标骨骼点集合得到该检测对象发生跌倒行为的第三概率。可选的，第二行为识别模型用于识别多种行为类型。服务端将检测对象的目标骨骼点集合输入第二行为识别模型后，第二行为识别模型可以输出检测对象发生每种行为的概率。服务端可以从第二行为识别模型输出中提取检测对象发生跌倒行为的第三概率。示例的，第二行为识别模型可以为时空图卷积网络、MS-G3D空图卷积网络、ST-GCN或者2s-AGCN等。
可选的，第二行为识别模型可以用于识别M种行为类型(例如，M＝5分别为其他，跌倒，站立，坐，蹲下。或者，例如M＝2分别为其他，跌倒)。服务端可以将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象的分数向量。第j个检测对象的分数向量为Sj＝(Sj0,...,Sj(M-1))，Sj0至Sj(M-1)分别标识第j个检测对象的M种行为的评分。也即是，第j个检测对象分别发生M种类型的概率。服务端可以从该分数向量中提取第j个检测对象的跌倒行为的第三概率。其中，M、j均为正整数。
在一种可选的实现方式中，第二行为识别模型可以为双流时空卷积网络。如图4所示，双流时空卷积网络400可以包括：第一时空卷积网络401以及第二时空卷积网络402。双流空卷积网络400还可以包括：softmax层403。第一时空卷积网络401以及第二时空卷积网络402均与softmax层403连接。第一时空卷积网络401以及第二时空卷积网络402分别用于根据检测对象的目标骨骼点集合进行行为识别，得到两个识别结果。softmax层403用于根据两个预测结果得到最终的行为识别结果。其中，第一时空卷积网络和第二时空卷积网络检测可预测的行为类型的数量不同。例如，第一时空卷积网络可以用于识别两种行为类型；第二时空卷积网络可以用于识别五种行为类型。
进一步的，请继续参考图4，第一时空卷积网络401可以包括：第一全连接层4013、第一全局平均池化层4012以及多个第一时空图卷积模块4011(Spatial-temporal GraphConvolution，STGC)。第一全连接层4013、第一全局平均池化层4012以及多个第一时空图卷积模块4011依次连接，第一全连接层4013与softmax层403连接。
类似的，第二时空卷积网络402可以包括：第二全连接层4023、第二全局平均池化层4022以及多个第二时空图卷积模块4021(Spatial-temporal Graph Convolution，STGC)。第二全连接层4023、第二全局平均池化层4022以及多个第二时空图卷积模块4021依次连接，第二全连接层4023与softmax层403连接。
双流时空卷积网络400用于识别多种行为类型。服务端将检测对象的目标骨骼点集合分别输入双流时空卷积网络400包括的第一时空卷积网络401以及第二时空卷积网络402。得到由softmax层输出的检测对象的分数向量。分数向量包括检测对象发生各种行为的评分。从该分数向量中提取检测对象发生跌倒行为的第三概率。
步骤206、基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。
可选的，服务端可以对第二概率以及检测对象的第三概率的进行加权求和计算，得到检测对象的目标概率。或者，服务端可以将第二概率以及检测对象的第三概率的加权平均值，作为检测对象的目标概率。服务端在得到目标概率后，可以比较目标概率与概率数值阈值的大小。在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。在目标概率小于或者等于概率数值阈值的情况下，确定检测对象未发生跌倒行为。
综上所述，本申请实施例提供的跌倒行为检测方法，通过从监控视频流提取视频段，针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率。基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。实现了通过视频段中图像特征信息，对视频段中是否存在检测对象发生跌倒行为的第一识别。并且通过提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合。针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。实现了通过检测对象的动态关键骨骼点，对检测对象是否发生跌倒行为的第二识别。并通过基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。通过基于两种方式得到的针对检测对象是否发生跌倒行为的识别结果，对检测对象是否发生跌倒行为进行最终判定，提高了检测跌倒行为的准确率，进而提高了跌倒行为的检测效率。
请参考图5，其示出了本发明实施例提供的另一种跌倒行为检测方法的流程图。该方法可以应用于电子设备。该电子设备可以为一个或多台服务器，或者也可以为多台服务器构成的服务器集群，或者也可以为云服务器等。当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。如图5所示，所述方法包括：
步骤501、从监控视频流提取视频段。
步骤501的解释和实现方式可以参考前述步骤201的解释和实现方式，本申请实施例对此不做赘述。
步骤502、针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象的发生跌倒行为的第一概率。
步骤502的解释和实现方式可以参考前述步骤202的解释和实现方式，本申请实施例对此不做赘述。
步骤503、基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。
步骤503的解释和实现方式可以参考前述步骤203的解释和实现方式，本申请实施例对此不做赘述。
步骤504、提取各视频帧包括的检测对象的关键骨骼点。
步骤504的解释和实现方式可以参考前述步骤204的解释和实现方式，本申请实施例对此不做赘述。
步骤505、针对每个视频帧，采用预设条件对从视频帧提取的检测对象的关键骨骼点进行筛选。
本申请实施例中，预设条件至少包括以下一项：关键骨骼点的中心位置位于检测对象的目标检测框内；多个关键骨骼点中，位于目标检测框内的关键骨骼点数量大于位于目标检测框外的关键骨骼点数量。
在一种可选的实现方式中，在预设条件为关键骨骼点的中心位置位于检测对象的目标检测框内的情况下，服务端可以针对各视频帧中每个检测对象，计算检测对象的关键骨骼点的中心位置。判断该中心位置是否位于该检测对象的目标检测框内。若是，则保留检测对象的关键骨骼点。若否，则删除检测对象的关键骨骼点。其中，服务端根据第二目标公式，计算检测对象的关键骨骼点的中心位置。第二目标公式满足：
Figure BDA0003243583690000111
其中，(xc,yc)表示检测对象的关键骨骼点的中心位置；(Xi,Yi)表示检测对象的第i个关键骨骼点的坐标位置。N表示检测对象的关键骨骼点数量，且N为正整数。
视频帧中检测对象的目标检测框可以是将视频帧输入第一行为识别模型得到。第一行为识别模型输出视频帧中各检测对象的目标检测框的描述信息。
示例的，假设检测对象的目标检测框的描述信息包括检测框的两个对角顶点的坐标位置。则服务端计算得到检测对象的关键骨骼点的中心位置后，可以判断中心位置在任一方向上的取值，是否均在检测框的两个对角顶点的坐标位置在对应方向上构成的取值范围内。若是，表明关键骨骼点的中心位置位于检测对象的目标检测框内，则保留从视频帧中提取的检测对象的关键骨骼点。若否，表明关键骨骼点的中心位置不位于检测对象的目标检测框内，则删除从视频帧中提取的检测对象的关键骨骼点。
在另一种可选的实现方式中，在预设条件为位于目标检测框内的关键骨骼点数量大于位于目标检测框外的关键骨骼点数量的情况下，服务端可以比较位于目标检测框内的第一关键骨骼点数量，与位于目标检测框外的第二关键骨骼点数量。以在第一关键骨骼点数量大于第二关键骨骼点数量时，保留从视频帧中提取的检测对象的关键骨骼点。在第一关键骨骼点数量不大于第二关键骨骼点数量时，删除从视频帧中提取的检测对象的关键骨骼点。
需要说明的是，预设条件还可以为根据实际场景设置的其他条件，本申请实施例对此并不限定。
步骤506、执行至少一次骨骼点匹配处理，直至目标视频帧为视频段中最后一个视频帧。第一次骨骼点匹配处理中，目标视频帧为按照各视频帧的显示顺序排列的首个视频帧。
其中，骨骼点匹配处理包括以下步骤5061至步骤5064。
在步骤5061中，获取模板文件。模板文件记录目标检测对象和对应的关键骨骼点。
在步骤5062中，在确定获取的模板文件为空时，将从目标视频帧提取的目标关键骨骼点以及对应的检测对象，写入模板文件。
本申请实施例中，服务端可以判断模板文件中记录有目标检测对象和对应的关键骨骼点，以确定模板文件是否为空。若是，则从目标视频帧提取的目标关键骨骼点以及对应的检测对象，作为目标检测对象和该目标检测对象对应的关键骨骼点，写入模板文件。
在步骤5063中，在确定模板文件不为空时，基于目标关键骨骼点与模板文件中各关键骨骼点之间的距离，为目标关键骨骼点匹配检测对象，并根据匹配结果更新模板文件。
本申请实施例中，服务端在确定模板文件不为空时，表明该模板文件记录有目标视频帧的前一个视频帧中各检测对象对应的关键骨骼点。则服务端基于目标关键骨骼点与模板文件中各关键骨骼点之间的距离，为目标关键骨骼点匹配检测对象，并根据匹配结果更新模板文件。
可选的，模板文件还可以记录从目标视频帧提取的目标关键骨骼点若可以从模板文件中匹配到检测对象，则目标关键骨骼点与模板文件中各关键骨骼点之间的距离阈值。服务端基于目标关键骨骼点与模板文件中各关键骨骼点之间的距离，为目标关键骨骼点匹配检测对象的过程可以包括以下步骤50631至步骤50633。
在步骤50631中，针对目标视频帧中每个检测对象的目标关键骨骼点，计算目标关键骨骼点，与模板文件中各目标检测对象对应的关键骨骼点之间的距离。
本申请实施例中，服务端可以针对目标视频帧中采用预设添加筛选得到的每个检测对象的目标关键骨骼点。可选的，两个关键骨骼点之间的距离可以采用对应骨骼点之间的欧式距离均值表征。则服务端可以采用第三目标公式，分别计算目标关键骨骼点与模板文件中各目标检测对象对应的骨骼点之间的距离。其中，第三目标公式满足：
Figure BDA0003243583690000131
其中，dpt,qk表示两个关键骨骼点之间的距离。(Xpti,Ypti)表示第t个视频帧中第p个检测对象的第i个目标关键骨骼点的坐标位置。(Xqki,Yqki)表示模板文件中记录的第q个视频帧中第k个目标检测对象的第i个关键骨骼点的坐标位置。N表示检测对象的关键骨骼点数量，且N、i、p、q、k、t均为正整数。
在步骤50632中，在确定存在距离小于距离阈值时，将模板文件中，距离小于距离阈值的关键骨骼点对应的目标检测对象作为目标关键骨骼点对应的检测对象。
本申请实施例中，服务端可以判断目标关键骨骼点与模板文件中各目标检测对象对应的关键骨骼点之间的各距离与距离阈值的大小。在各距离中存在小于距离阈值的距离时，表明在目标视频帧中目标骨骼点对应的检测对象，与模板文件中记录的视频帧中，该小于距离阈值的距离对应的关键骨骼点的目标检测对象移动距离较小，为同一目标检测对象。则服务端将距离小于距离阈值的关键骨骼点对应的目标检测对象作为目标关键骨骼点对应的检测对象。更新模板文件，使得更新后的模板文件包括：目标关键骨骼点对应的目标检测对象。
在步骤50633中，在确定不存在距离小于距离阈值时，保持目标关键骨骼点对应的检测对象。
本申请实施例中，在各距离中不存在小于距离阈值的距离时，表明在目标视频帧中目标骨骼点对应的检测对象，与模板文件中记录的视频帧中，该小于距离阈值的距离对应的关键骨骼点的目标检测对象移动距离较大，两个视频帧中不存在重叠的检测对象。则服务端保持目标关键骨骼点对应的检测对象。更新模板文件，使得更新后的模板文件包括：目标关键骨骼点对应的检测对象。
在步骤5064中，在目标视频帧不为最后一个视频帧时，选取目标视频帧的下一个视频帧作为目标视频帧。
本申请实施例中，在为目标视频帧中各检测对象对应的目标关键骨骼完成检测对象重新匹配后，可以判断该目标视频帧是否视频段的最后一个视频帧。若不是，则选取目标视频帧的下一个视频帧作为目标视频，以对该下一个视频帧执行骨骼点匹配处理。若是，表明视频段中所有视频帧均处理完成，则可以结束执行骨骼点匹配处理。
示例的，假设模板文件用于记录检测对象的身份标识(Identity document，ID)以及ID对应的关键骨骼点坐标位置。以图6所示的流程图为参考，对服务端执行至少一次骨骼点匹配处理进行再次示意性说明。服务端按照各视频帧的显示顺序，依次将从视频帧中提取的检测对象的关键骨骼点进行骨骼点匹配处理。
从首个视频帧作为目标视频帧开始，服务端获取模板文件，判断模板文件是否为空。若模板文件为空，服务端将从目标视频帧中提取的各检测对象的关键骨骼点，以及关键骨骼点对应的ID添加至模板文件。
若模板文件不为空，则判断模板文件中是否存在可匹配的关键骨骼点。也即是，服务端判断目标关键骨骼点，与模板文件中各目标检测对象对应的关键骨骼点之间的距离是否小于预设距离。
若是，将模板文件中，距离小于距离阈值的关键骨骼点对应的目标检测对象作为目标关键骨骼点对应的检测对象，记录目标检测对应的目标关键骨骼点。更新模板文件，使得更新后的模板文件包括：目标关键骨骼点对应的目标检测对象。也即是为目标关键骨骼点匹配分配模板文件中目标ID，记录目标关键骨骼点以及目标ID，采用目标关键骨骼点以及目标ID更新模板文件。
若否，将目标关键骨骼点、以及目标关键骨骼点对应的检测对象均新增至模板文件。也即是，更新模板文件，使得更新后的模板文件包括：目标关键骨骼点对应的原始ID。
服务端判断目标视频帧是否为最后一个视频帧。若目标视频帧是最后一个视频帧，则结束骨骼点匹配处理。若目标视频帧不是最后一个视频帧，则将下一个视频帧作为目标视频帧。对新的目标视频帧执行骨骼点匹配处理。
步骤507、生成每个检测对象的目标骨骼点集合。
本申请实施例中，检测对象的目标骨骼点集合包括该检测对象在所有视频帧中的关键骨骼点。且目标骨骼点集合中关键骨骼点按照视频帧的播放顺序排列。服务端根据骨骼点匹配处理后各检测对象对应的关键骨骼点，生成各检测对象的目标骨骼点集合。
步骤508、针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。
步骤508的解释和实现方式可以参考前述步骤205的解释和实现方式，本申请实施例对此不做赘述。
步骤509、基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。
步骤509的解释和实现方式可以参考前述步骤206的解释和实现方式，本申请实施例对此不做赘述。
步骤510、生成报警信息。报警信息至少包括以下一种或多种：监控视频流的采集装置的装置标识、报警信息的生成时间、确定检测对象发生跌倒行为的置信度、报警图像列表，报警图像列表至少包括确定发生跌倒行为的检测对象所在的视频帧。
本申请实施例中，服务端可以存储获取的监控视频流与采集监控视频流的光学摄像装置的装置标识之间的对应关系。服务端在确定视频段存在检测对象发生跌倒行为后，可以获取视频段对应的装置标识。确定检测对象发生跌倒行为的置信度可以为检测对象的目标概率。可选的，报警图像列表可以包括：视频段包括的各视频帧。或者，包括确定发生跌倒行为的检测对象所在的视频帧。示例的，服务端生成报警信息，该报警信息包括：视频段对应的装置标识、报警信息的生成时间、确定发生跌倒行为的检测对象的第四概率以及报警图像列表。该报警图像列表包括视频段包括的各视频帧。
步骤511、向目标设备推送报警信息。
本申请实施例中，服务端可以向目标设备推送报警信息，以警示目标设备持有者检测区域存在跌倒行为。目标设备可以为诸如看护人员、医生等相关工作人员的目标设备。示例的，以图1为例，目标设备可以为养老云平台对应的服务器、监控管理设备或者相关工作人员的终端等。
本申请实施例中，在采用第一行为识别模型以及第二行为识别模型进行行为识别之前，所述方法还包括针对第一行为识别模型的训练过程以及第二行为识别模型的训练过程。
可选的，服务端对第一行为识别模型的训练过程包括：
获取第一样本数据，第一样本数据包括：多个图像以及各图像对应的标识数据，标识数据用于标识图像中各检测对象的行为类型，检测对象存在包括跌倒行为的多种行为。采用第一样本数据训练对初始模型进行训练，得到第一行为识别模型。其中，第一样本数据中检测对象可以存在包括跌倒行为的五种行为(其他行为、跌倒行为、站立行为、坐行为、蹲下行为)。
其中，采用第一样本数据训练对初始模型进行训练，得到第一行为识别模型的过程可以包括：将第一样本数据输入初始模型训练，得到初始模型的预测结果。根据各检测对象的目标预测结果以及各检测所属的行为类别构建损失函数；基于损失函数对初始模型中所包括的参数进行调整，得到第一行为识别模型。可选的，该损失函数可以是常见的分类问题中所运用的损失函数，例如可以是交叉熵损失、指数损失函数以及负对数似然损失函数等等，本示例对此不做特殊限制。
可选的，服务端对第二行为识别模型的训练过程包括：
获取第二样本数据，第二样本数据包括：多个检测对象的关键骨骼点以及检测对象对应的行为类别，检测对象存在包括跌倒行为的多种行为。采用第二样本数据对双流时空卷积网络进行训练，得到第二行为识别模型。其中，双流时空卷积网络可以包括第：第一时空卷积网络以及第二时空卷积网络，第一时空卷积网络和第二时空卷积网络检测的行为类型的数量不同。
其中，采用第二样本数据对双流时空卷积网络进行训练，得到第二行为识别模型的过程可以包括：将第二样本数据分别输入第一时空卷积网络和第二时空卷积网络训练，得到第一时空卷积网络输出的第一预测结果以及第二时空卷积网络输出的第二预测结果。对第一预测结果以及第二预测结果进行加权求和，得到检测对象的目标预测结果，根据各检测对象的目标预测结果以及各检测所属的行为类别构建损失函数；基于损失函数对双流时空卷积网络中所包括的参数进行调整，得到第二行为识别模型。
双流时空卷积网络的损失函数为第一时空卷积网络的损失值和第二时空卷积网络的损失值的加权求和函数。第一时空卷积网络的损失值基于第一时空卷积网络的第一损失函数计算得到。第一损失函数可以根据各检测对象的第一预测结果以及各检测对象的所属的行为类别构建。第二时空卷积网络的损失值基于第二时空卷积网络的第二损失函数计算得到。第二损失函数可以根据各检测对象的第二预测结果以及各检测对象的所属的行为类别构建。其中，第一损失函数和第二损失函数可以是常见的分类问题中所运用的损失函数，例如可以是交叉熵损失、指数损失函数以及负对数似然损失函数等等，本示例对此不做特殊限制。
示例的，若第二行为识别模型用于识别5种行为类型，则第二样本数据中检测对象存在包括跌倒行为的5种行为。第一时空卷积网络可以为二分类网络。第一时空卷积网络可以为五分类网络。则采用第一时空卷积网络用于对第二样本数据进行行为识别时，针对第一时空卷积网络，5种行为中除跌倒行为之外的行为均属于同一种行为。
需要说明的是，为了避免样本数据量过少的问题，还可以对检测对象的关键骨骼点进行数据增强，具体的数据增强方法可以包括：对关键骨骼点的位置进行仿射变换、视频分片内起始位置以及步长随机选择等增加方式，本申请实施例对此不做限定。
进一步的，为了可以进一步的提高上述第二行为识别模型的准确率，还可以在针对第二行为识别模型的训练过程中引入预训练模型。示例的，可以根据预设的公开数据集(Kinetics-Skeleton)对双流时空卷积网络进行预训练，得到双流时空卷积网络中所包括的初始化参数。这样，可以采用第二样本数据以及初始化参考对双流时空卷积网络进行训练，得到第二行为识别模型。通过该方法，可以加快第二行为识别模型的训练速度，同时还可以进一步的提高第二行为识别模型的准确率。
综上所述，本申请实施例提供的跌倒行为检测方法，通过从监控视频流提取视频段，针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率。基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。实现了通过视频段中图像特征信息，对视频段中是否存在检测对象发生跌倒行为的第一识别。并且通过提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合。针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。实现了通过检测对象的动态关键骨骼点，对检测对象是否发生跌倒行为的第二识别。并通过基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。通过基于两种方式得到的针对检测对象是否发生跌倒行为的识别结果，对检测对象是否发生跌倒行为进行最终判定，提高了检测跌倒行为的准确率，进而提高了跌倒行为的检测效率。
请参考图7，其示出了本申请实施例提供的一种跌倒行为检测装置的框图。如图7所示，跌倒行为检测装置700可以包括：提取模块701、第一识别模块702、计算模块703、生成模块704、第二识别模块705以及确定模块706。
提取模块701，用于从监控视频流提取视频段；
第一识别模块702，用于针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率；
计算模块703，用于基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率；
生成模块704，用于提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合；
第二识别模块705，用于针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率；
确定模块706，用于基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。
可选的，装置包括：匹配处理模块。
匹配处理模块，用于执行至少一次骨骼点匹配处理，直至目标视频帧为视频段中最后一个视频帧，其中，第一次骨骼点匹配处理中，目标视频帧为按照各视频帧的显示顺序排列的首个视频帧，骨骼点匹配处理包括：
获取模板文件，模板文件记录目标检测对象和对应的关键骨骼点；
在确定获取的述模板文件为空时，将从目标视频帧提取的目标关键骨骼点以及对应的检测对象，写入模板文件；
在确定模板文件不为空时，基于目标关键骨骼点与模板文件中各关键骨骼点之间的距离，为目标关键骨骼点匹配检测对象，并根据匹配结果更新模板文件；
在目标视频帧不为最后一个视频帧时，选取目标视频帧的下一个视频帧作为目标视频帧。
可选的，匹配处理模块，还用于：
针对目标视频帧中每个检测对象的目标关键骨骼点，计算目标关键骨骼点，与模板文件中各目标检测对象对应的关键骨骼点之间的距离；
在确定存在距离小于距离阈值时，将模板文件中，距离小于距离阈值的关键骨骼点对应的目标检测对象作为目标关键骨骼点对应的检测对象；
在确定不存在距离小于距离阈值时，保持目标关键骨骼点对应的检测对象。
可选的，装置包括：筛选模块。
筛选模块，用于针对每个视频帧，采用预设条件，对从视频帧提取的检测对象的关键骨骼点进行筛选，预设条件至少包括以下一项：
关键骨骼点的中心位置位于检测对象的目标检测框内；
多个关键骨骼点中，位于目标检测框内的关键骨骼点数量大于位于目标检测框外的关键骨骼点数量。
可选的，计算模块703，还用于：
针对每个视频帧，基于检测对象的第一概率计算视频帧中存在检测对象发生跌倒行为的第四概率，第四概率与第一概率呈正比；
基于各视频帧的第四概率计算第二概率，第二概率与第四概率呈正比。
可选的，装置还包括：获取模块、第一训练模块以及第二训练模块。
获取模块，用于获取第一样本数据，第一样本数据包括：多个图像以及各图像对应的标识数据，标识数据用于标识图像中各检测对象的行为类型，检测对象存在包括跌倒行为的多种行为；
第一训练模块，用于采用第一样本数据训练对初始模型进行训练，得到第一行为识别模型；
所述获取模块，还用于获取第二样本数据，第二样本数据包括：多个检测对象的关键骨骼点以及检测对象对应的行为类别，检测对象存在包括跌倒行为的多种行为；
第二训练模块，用于采用第二样本数据对双流时空卷积网络进行训练，得到第二行为识别模型，其中，双流时空卷积网络包括：第一时空卷积网络以及第二时空卷积网络，第一时空卷积网络和第二时空卷积网络检测的行为类型的数量不同，双流时空卷积网络的损失函数为第一时空卷积网络的损失值和第二时空卷积网络的损失值的加权求和函数。
可选的，所述生成模块，还用于：
生成报警信息，报警信息至少包括以下一种或多种：监控视频流的采集装置的装置标识、报警信息的生成时间、确定检测对象发生跌倒行为的置信度、报警图像列表，报警图像列表至少包括确定发生跌倒行为的检测对象所在的视频帧；
向目标设备推送报警信息。
综上所述，本申请实施例提供的跌倒行为检测装置，通过从监控视频流提取视频段，针对视频段中每个视频帧，将视频帧输入第一行为识别模型，得到视频帧包括的检测对象发生跌倒行为的第一概率。基于各视频帧包括的检测对象的第一概率，计算视频段中存在检测对象发生跌倒行为的第二概率。实现了通过视频段中图像特征信息，对视频段中是否存在检测对象发生跌倒行为的第一识别。并且通过提取各视频帧包括的检测对象的关键骨骼点，生成每个检测对象的目标骨骼点集合。针对每个检测对象，将检测对象的目标骨骼点集合输入第二行为识别模型，得到检测对象发生跌倒行为的第三概率。实现了通过检测对象的动态关键骨骼点，对检测对象是否发生跌倒行为的第二识别。并通过基于第二概率以及检测对象的第三概率，计算得到检测对象的目标概率，并在目标概率大于概率数值阈值的情况下，确定检测对象发生跌倒行为。通过基于两种方式得到的针对检测对象是否发生跌倒行为的识别结果，对检测对象是否发生跌倒行为进行最终判定，提高了检测跌倒行为的准确率，进而提高了跌倒行为的检测效率。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现本发明实任一施例提供的跌倒行为检测方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的跌倒行为检测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的跌倒行为检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种跌倒行为检测方法，其特征在于，所述方法包括：
从监控视频流提取视频段；
针对所述视频段中每个视频帧，将所述视频帧输入第一行为识别模型，得到所述视频帧包括的检测对象发生跌倒行为的第一概率；
基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率；
提取各所述视频帧包括的检测对象的关键骨骼点，生成每个所述检测对象的目标骨骼点集合；
针对每个所述检测对象，将所述检测对象的目标骨骼点集合输入第二行为识别模型，得到所述检测对象发生跌倒行为的第三概率；
基于所述第二概率以及所述检测对象的第三概率，计算得到所述检测对象的目标概率，并在所述目标概率大于概率数值阈值的情况下，确定所述检测对象发生跌倒行为。
2.根据权利要求1所述的方法，其特征在于，在所述生成每个所述检测对象的目标骨骼点集合之前，所述方法包括：
执行至少一次骨骼点匹配处理，直至目标视频帧为所述视频段中最后一个视频帧，其中，第一次所述骨骼点匹配处理中，所述目标视频帧为按照各所述视频帧的显示顺序排列的首个视频帧，所述骨骼点匹配处理包括：
获取模板文件，所述模板文件记录目标检测对象和对应的关键骨骼点；
在确定获取的述模板文件为空时，将从所述目标视频帧提取的目标关键骨骼点以及对应的检测对象，写入所述模板文件；
在确定所述模板文件不为空时，基于所述目标关键骨骼点与所述模板文件中各关键骨骼点之间的距离，为所述目标关键骨骼点匹配检测对象，并根据匹配结果更新所述模板文件；
在所述目标视频帧不为所述最后一个视频帧时，选取所述目标视频帧的下一个视频帧作为目标视频帧。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标关键骨骼点与所述模板文件中各关键骨骼点之间的距离，为所述目标关键骨骼点匹配检测对象，包括：
针对所述目标视频帧中每个检测对象的目标关键骨骼点，计算所述目标关键骨骼点，与所述模板文件中各目标检测对象对应的关键骨骼点之间的距离；
在确定存在所述距离小于距离阈值时，将所述模板文件中，所述距离小于距离阈值的关键骨骼点对应的目标检测对象作为所述目标关键骨骼点对应的检测对象；
在确定不存在所述距离小于距离阈值时，保持所述目标关键骨骼点对应的检测对象。
4.根据权利要求1或2所述的方法，其特征在于，在所述生成每个所述检测对象的目标骨骼点集合之前，所述方法包括：
针对每个所述视频帧，采用预设条件，对从所述视频帧提取的所述检测对象的关键骨骼点进行筛选，所述预设条件至少包括以下一项：
所述关键骨骼点的中心位置位于所述检测对象的目标检测框内；
多个所述关键骨骼点中，位于所述目标检测框内的所述关键骨骼点数量大于位于所述目标检测框外的所述关键骨骼点数量。
5.根据权利要求1所述的方法，其特征在于，基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率，包括：
针对所述每个视频帧，基于所述检测对象的第一概率计算所述视频帧中存在检测对象发生跌倒行为的第四概率，所述第四概率与所述第一概率呈正比；
基于各所述视频帧的第四概率计算所述第二概率，所述第二概率与所述第四概率呈正比。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一样本数据，所述第一样本数据包括：多个图像以及各图像对应的标识数据，所述标识数据用于标识图像中各检测对象的行为类型，所述检测对象存在包括跌倒行为的多种行为；
采用所述第一样本数据训练对初始模型进行训练，得到所述第一行为识别模型；
获取第二样本数据，所述第二样本数据包括：多个检测对象的关键骨骼点以及所述检测对象对应的行为类别，所述检测对象存在包括跌倒行为的多种行为；
采用所述第二样本数据对双流时空卷积网络进行训练，得到所述第二行为识别模型，其中，所述双流时空卷积网络包括：第一时空卷积网络以及第二时空卷积网络，所述第一时空卷积网络和所述第二时空卷积网络检测的行为类型的数量不同，所述双流时空卷积网络的损失函数为所述第一时空卷积网络的损失值和所述第二时空卷积网络的损失值的加权求和函数。
7.根据权利要求1所述的方法，其特征在于，在确定所述所述检测对象发生跌倒行为之后，所述方法还包括：
生成报警信息，所述报警信息至少包括以下一种或多种：所述监控视频流的采集装置的装置标识、所述报警信息的生成时间、确定所述检测对象发生跌倒行为的置信度、报警图像列表，所述报警图像列表至少包括确定发生跌倒行为的检测对象所在的视频帧；
向目标设备推送所述报警信息。
8.一种跌倒行为检测装置，其特征在于，所述装置包括：
提取模块，用于从监控视频流提取视频段；
第一识别模块，用于针对所述视频段中每个视频帧，将所述视频帧输入第一行为识别模型，得到所述视频帧包括的检测对象的发生跌倒行为的第一概率；
计算模块，用于基于各所述视频帧包括的检测对象的第一概率，计算所述视频段中存在检测对象发生跌倒行为的第二概率；
生成模块，用于提取各所述视频帧包括的检测对象的关键骨骼点，生成每个所述检测对象的目标骨骼点集合；
第二识别模块，用于针对每个所述检测对象，将所述检测对象的目标骨骼点集合输入第二行为识别模型，得到所述检测对象发生跌倒行为的第三概率；
确定模块，用于基于所述第二概率以及所述检测对象的第三概率，计算得到所述检测对象的目标概率，并在所述目标概率大于概率数值阈值的情况下，确定所述检测对象发生跌倒行为。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至7任一所述的方法步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的方法。
CN202111026780.3A 2021-09-02 2021-09-02 跌倒行为检测方法、装置、电子设备及存储介质 Active CN113743293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026780.3A CN113743293B (zh) 2021-09-02 2021-09-02 跌倒行为检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026780.3A CN113743293B (zh) 2021-09-02 2021-09-02 跌倒行为检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113743293A true CN113743293A (zh) 2021-12-03
CN113743293B CN113743293B (zh) 2023-11-24

Family

ID=78734959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026780.3A Active CN113743293B (zh) 2021-09-02 2021-09-02 跌倒行为检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113743293B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103682A1 (zh) * 2022-11-14 2024-05-23 天地伟业技术有限公司 基于视频分类的跌倒行为识别方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135304A (zh) * 2019-04-30 2019-08-16 北京地平线机器人技术研发有限公司 人体位姿识别方法及装置
CN112115788A (zh) * 2020-08-14 2020-12-22 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质
CN112270807A (zh) * 2020-10-29 2021-01-26 怀化学院 一种老人跌倒预警系统
CN112270246A (zh) * 2020-10-23 2021-01-26 泰康保险集团股份有限公司 视频行为识别方法及装置、存储介质、电子设备
CN112580559A (zh) * 2020-12-25 2021-03-30 山东师范大学 基于骨架特征和视频表征结合的双流视频行为识别方法
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
US20210192194A1 (en) * 2020-01-10 2021-06-24 Beijing Baidu Netcom Science Technology Co., Ltd. Video-based human behavior recognition method, apparatus, device and storage medium
CN113076781A (zh) * 2020-01-03 2021-07-06 中国移动通信有限公司研究院 检测跌倒方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135304A (zh) * 2019-04-30 2019-08-16 北京地平线机器人技术研发有限公司 人体位姿识别方法及装置
CN113076781A (zh) * 2020-01-03 2021-07-06 中国移动通信有限公司研究院 检测跌倒方法、装置、设备及存储介质
US20210192194A1 (en) * 2020-01-10 2021-06-24 Beijing Baidu Netcom Science Technology Co., Ltd. Video-based human behavior recognition method, apparatus, device and storage medium
CN112115788A (zh) * 2020-08-14 2020-12-22 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质
CN112270246A (zh) * 2020-10-23 2021-01-26 泰康保险集团股份有限公司 视频行为识别方法及装置、存储介质、电子设备
CN112270807A (zh) * 2020-10-29 2021-01-26 怀化学院 一种老人跌倒预警系统
CN112580559A (zh) * 2020-12-25 2021-03-30 山东师范大学 基于骨架特征和视频表征结合的双流视频行为识别方法
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李文阳 等: "基于Kinect V2的跌倒行为检测与分析", 《现代电子技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103682A1 (zh) * 2022-11-14 2024-05-23 天地伟业技术有限公司 基于视频分类的跌倒行为识别方法及电子设备

Also Published As

Publication number Publication date
CN113743293B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
JP5647627B2 (ja) 異常パターンの発見
CN111475804A (zh) 一种告警预测方法及系统
US10275683B2 (en) Clustering-based person re-identification
CN108009466B (zh) 行人检测方法和装置
CN111612041A (zh) 异常用户识别方法及装置、存储介质、电子设备
CN111612038B (zh) 异常用户检测方法及装置、存储介质、电子设备
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN113420800B (zh) 一种数据异常检测方法及装置
CN111814725A (zh) 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN112733629A (zh) 异常行为判断方法、装置、设备和存储介质
CN112635045A (zh) 一种智能监护系统
CN113743293B (zh) 跌倒行为检测方法、装置、电子设备及存储介质
US11527091B2 (en) Analyzing apparatus, control method, and program
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
JP2016103245A (ja) 情報処理装置、情報処理方法、プログラム
CN116740607A (zh) 视频处理方法及装置、电子设备和存储介质
CN111695404B (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
JP2016099716A (ja) システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质
CN111368624A (zh) 基于生成对抗网络的回环检测方法和装置
US20230206694A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
EP4318279A1 (en) Determination program, determination method, and information processing apparatus
Madeira Intelligent system for fire detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant