CN114333067A - 行为活动的检测方法、检测装置与计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种行为活动的检测方法、检测装置与计算机可读存储介质，该方法包括：对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个待处理图像至少对应一个第一位置信息；确定待处理图像中与各第一位置信息对应的目标区域，并截取目标区域，得到目标区域图像，目标区域图像为包括一个目标对象的图像；对各目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个目标区域图像对应多个关键点热度图；根据各待处理图像和对应的各第一位置信息，确定目标对象的运动轨迹，并根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

Description

行为活动的检测方法、检测装置与计算机可读存储介质

技术领域

本申请涉及行为活动的检测领域，具体而言，涉及一种行为活动的检测方法、检测装置与计算机可读存储介质。

背景技术

跌倒检测技术主要用于解决家用场景下有人跌倒时，及时通知用户联系人，从而可以及时对跌倒者提供帮助和救治。

现有的跌倒检测算法主要有两类方式：一是基于专用硬件，如穿戴式传感器，深度图像摄像头，雷达等；二是基于目标对象关键点检测，再将关键点坐标输入分类器，来确定是否有跌倒事件。

发明人了解到，以上主流的跌倒检测方法，仍然存在诸多问题。例如，穿戴性设备往往需要多种传感器采集不同的数据，需要穿戴较为复杂的设备，传感器成本比较高，还存在用户体验较差的问题；而基于关键点的方法，对关键点的位置依赖较高，且没有充分利用目标对象各部位的运动信息。

因此，亟需一种能够较为准确地检测目标对象的行为活动的方法。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种行为活动的检测方法、检测装置与计算机可读存储介质，以解决现有技术中难以较为准确地检测目标对象的行为活动的问题。

根据本发明实施例的一个方面，提供了一种行为活动的检测方法，包括：对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个所述待处理图像至少对应一个所述第一位置信息，所述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，所述第一位置点和第二位置点在目标对角线上，所述目标对角线为检测到的所述待处理图像的包括目标对象的最小矩形区域的一个对角线；确定所述待处理图像中与各所述第一位置信息对应的目标区域，并截取所述目标区域，得到目标区域图像，所述目标区域图像为包括一个所述目标对象的图像，所述第一位置信息与所述目标区域图像一一对应；对各所述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个所述目标区域图像对应多个所述关键点热度图；根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，并根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动。

可选地，对各所述目标区域图像进行关键点检测，生成多个关键点热度图，包括：将各所述目标区域图像输入至第一预定模型，输出多个所述关键点热度图，所述第一预定模型为对所述目标区域图像进行关键点检测的神经网络模型。

可选地，根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，包括：根据第N帧所述待处理图像和对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的第二位置信息，N≥1；根据第N+1帧所述待处理图像的所述第一位置信息和所述第二位置信息，确定第N帧所述待处理图像和第N+1帧所述待处理图像是否对应于同一个所述目标对象；在第N帧所述待处理图像和第N+1帧所述待处理图像对应于同一个所述目标对象的情况下，根据第N帧所述待处理图像的所述第一位置信息和第N+1帧所述待处理图像的所述第一位置信息，确定所述目标对象的运动轨迹。

可选地，根据第N帧所述待处理图像和对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的第二位置信息，包括：确定第N帧所述待处理图像对应的所述目标对象的运动速度和加速度；根据所述目标对象的所述运动速度和所述加速度，确定所述目标对象在预定时间段内的位移；根据所述位移以及第N帧所述待处理图像对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的所述第二位置信息。

可选地，根据第N+1帧所述待处理图像的所述第一位置信息和所述第二位置信息，确定第N帧所述待处理图像和所述第N+1帧所述待处理图像是否对应于同一个所述目标对象，包括：确定第N+1帧所述待处理图像中与所述第一位置信息对应的区域为第一预定区域，并确定第N+1帧所述待处理图像中与所述第二位置信息对应的区域为第二预定区域；计算第一预定面积和第二预定面积的比值，得到目标比值，其中，所述第一预定面积为所述第一预定区域和所述第二预定区域的交集，所述第二预定面积为所述第一预定区域和所述第二预定区域的并集；在所述目标比值大于或者等于预定值的情况下，确定第N帧所述待处理图像和所述第N+1帧所述待处理图像对应于同一个所述目标对象。

可选地，根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动，包括：按照时间顺序，根据所述目标对象的运动轨迹，确定与所述目标对象的运动轨迹对应的多个所述关键点热度图；将多个所述关键点热度图输入至第二预定模型，输出所述目标对象的行为活动，所述第二预定模型为对各所述关键点热度图进行分类的神经网络模型。

可选地，所述关键点包括以下至少之一：左眼睛、右眼睛、左肩膀、右肩膀、左耳朵、右耳朵、左手腕、右手腕、左膝盖、右膝盖、鼻子、左脚踝、右脚踝；所述行为活动包括以下至少之一：站立、坐下、跌倒、行走。

可选地，在根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动之后，所述方法还包括：在所述目标对象的行为活动为所述跌倒的情况下，确定所述目标对象处于危险状态，并发送报警信息至终端设备。

根据本发明实施例的另一方面，还提供了一种行为活动的检测装置，包括：检测单元，用于对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个所述待处理图像至少对应一个所述第一位置信息，所述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，所述第一位置点和第二位置点在目标对角线上，所述目标对角线为检测到的所述待处理图像的包括目标对象的最小矩形区域的一个对角线；第一确定单元，用于确定所述待处理图像中与各所述第一位置信息对应的目标区域，并截取所述目标区域，得到目标区域图像，所述目标区域图像为包括一个所述目标对象的图像，所述第一位置信息与所述目标区域图像一一对应；生成单元，用于对各所述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个所述目标区域图像对应多个所述关键点热度图；第二确定单元，用于根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，并根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。

在本发明实施例中，所述行为活动的检测方法中，首先，获取连续的多帧待处理图像，并对获取到的多帧待处理图像进行检测，得到多个第一位置信息；然后，根据各所述第一位置信息，在对应的所述待处理图像中确定对应的目标区域，并对目标区域进行截取，得到对应的目标区域图像；之后，对得到的各所述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个所述目标区域图像对应多个所述关键点热度图；最后，根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，并根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动。与现有技术中通过获取精确的目标对象的关键点坐标，再对目标对象进行姿态估计相比，本方案对得到目标区域图像进行关键点检测，生成多个关键点热度图，由于本方案中是对目标区域图像进行关键点检测，得到多个关键点热度图，这样可以降低对应的待处理图像中除目标区域图像之外的其他区域的干扰，由于获取的是关键点热度图，还保证了获取到的目标对象的运动信息较为充分，再根据各待处理图像和各第一位置信息，确定目标对象的运动轨迹，即本方案中形成了一个目标对象在多帧的待处理图像中的整体轨迹，最后根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，这样保证了可以充分利用多帧之间的目标对象的运动信息，即本方案降低了通过精确的关键点坐标对目标对象的姿态进行估计导致的分类的误差，保证了能够较为准确地确定出目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一种实施例的行为活动的检测方法的示意图；

图2示出了根据本申请的一种实施例的行为活动的检测装置的示意图；

图3示出了根据本申请的一种实施例的行为活动的检测装置的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中的难以较为准确地检测目标对象的行为活动，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种行为活动的检测方法、检测装置与计算机可读存储介质。

根据本申请的实施例，提供了一种行为活动的检测方法。

图1是根据本申请实施例的行为活动的检测方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；

步骤S102，确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；

步骤S103，对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；

步骤S104，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。

上述行为活动的检测方法中，首先，获取连续的多帧待处理图像，并对获取到的多帧待处理图像进行检测，得到多个第一位置信息；然后，根据各上述第一位置信息，在对应的上述待处理图像中确定对应的目标区域，并对目标区域进行截取，得到对应的目标区域图像；之后，对得到的各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；最后，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。与现有技术中通过获取精确的目标对象的关键点坐标，再对目标对象进行姿态估计相比，本方案对得到目标区域图像进行关键点检测，生成多个关键点热度图，由于本方案中是对目标区域图像进行关键点检测，得到多个关键点热度图，这样可以降低对应的待处理图像中除目标区域图像之外的其他区域的干扰，由于获取的是关键点热度图，还保证了获取到的目标对象的运动信息较为充分，再根据各待处理图像和各第一位置信息，确定目标对象的运动轨迹，即本方案中形成了一个目标对象在多帧的待处理图像中的整体轨迹，最后根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，这样保证了可以充分利用多帧之间的目标对象的运动信息，即本方案降低了通过精确的关键点坐标对目标对象的姿态进行估计导致的分类的误差，保证了能够较为准确地确定出目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

在实际的应用过程中，上述连续的多帧待处理图像还可以为通过对获取到的视频进行处理，得到的多帧待处理图像，而获取上述视频的设备可以为摄像头、智能手机、平板、电脑等，但并不限于这些设备，还可以为其他的能够采集图像的设备。

另外，需要说明的是，在本申请中，对获取到的连续的多帧待处理图像进行检测，得到多个第一位置信息，第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，但在实际的应用过程中，还可以获取四个位置点的位置信息，该四个位置点可以组成一个矩形区域，该矩形区域为在待处理图像中包括人体的最小的一个矩形区域。

具体地，上述得到目标区域图像的方法并不限于上述的方法，例如，还可以通过对待处理图像进行检测，在检测到目标对象的情况下，将检测到的目标对象从待处理图像中进行截取，再将截取出的目标对象放入到背景为黑色的矩形框中，得到目标区域图像。当然，实际的应用过程中，还可以通过其他的方法获取目标区域图像，在本申请中，并不做限制，只需获取到目标区域图像即可。

在实际的应用过程中，对获取的连续的多帧待处理图像进行检测的方法可以为深度学习方法或者机器学习方法，例如，具体的可以为结合方向梯度直方图(Histogram ofOriented Gradient，简称HOG)和支持向量机(Support Vector Machine，简称SVM)的检测方法，还可以为YOLO检测算法，还可以为Faster RCNN检测算法(Faster Regions with CNNfeatures)等等。

本申请的一种具体的实施例中，上述关键点热度图为关键点位于某坐标位置的概率值组成的概率图。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了较为准确和高效地得到关键点热度图，本申请的一种实施例中，对各上述目标区域图像进行关键点检测，生成多个关键点热度图，包括：将各上述目标区域图像输入至第一预定模型，输出多个上述关键点热度图，上述第一预定模型为对上述目标区域图像进行关键点检测的神经网络模型。

具体地，将一个目标区域图像输入至第一预定模型中，可以得到多个关键点热度图，具体关键点热度图的个数与提取的关键点的个数一致。在本申请中，对一个目标区域图像进行关键点检测，即检测目标区域图像的17个关键点，可以得到17个关键点热度图。

另外，上述第一预定模型可以为OpenPose、OpenPifPaf、HRNet、MoveNet等等。本领域技术人员可以根据实际情况选择合适的第一预定模型。

本申请的又一种实施例中，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，包括：根据第N帧上述待处理图像和对应的上述第一位置信息，预测上述目标对象在第N+1帧上述待处理图像中的第二位置信息，N≥1；根据第N+1帧上述待处理图像的上述第一位置信息和上述第二位置信息，确定第N帧上述待处理图像和第N+1帧上述待处理图像是否对应于同一个上述目标对象；在第N帧上述待处理图像和第N+1帧上述待处理图像对应于同一个上述目标对象的情况下，根据第N帧上述待处理图像的上述第一位置信息和第N+1帧上述待处理图像的上述第一位置信息，确定上述目标对象的运动轨迹。在该实施例中，通过第N+1帧待处理图像的第一位置信息(即实际检测出的目标对象的位置信息)和第二位置信息(即预测出的目标对象的位置信息)，确定第N帧待处理图像和第N+1帧上述待处理图像是否对应于同一个目标对象，在对应于同一个目标对象的情况下，根据第N帧待处理图像的第一位置信息和第N+1帧待处理图像的第一位置信息，确定目标对象的运动轨迹，这样保证了确定出的目标对象的运动轨迹较为准确，进一步地保证了后续可以较为准确地确定目标对象的行为活动。

在实际的应用过程中，还可以通过目标跟踪算法确定目标对象在多帧的待处理图像中的运动轨迹，上述目标跟踪算法可以为核相关滤波算法(Kernel CorrelationFilter，简称KCF算法)，还可以为TLD算法(Tracking-Learning-Detection)，还可以为SORT算法(Simple Online And Realtime Tracking)，还可以deep-SORT算法(deep SimpleOnline And Realtime Tracking)。

本申请的一种具体的实施例中，在第N帧上述待处理图像和第N+1帧上述待处理图像不对应于同一个上述目标对象的情况下，则需要新建一个与该目标对象对应的运动轨迹。

为了较为简单和高效地预测出目标对象在第N+1帧待处理图像中的第二位置信息，本申请的另一种实施例中，根据第N帧上述待处理图像和对应的上述第一位置信息，预测上述目标对象在第N+1帧上述待处理图像中的第二位置信息，包括：确定第N帧上述待处理图像对应的上述目标对象的运动速度和加速度；根据上述目标对象的上述运动速度和上述加速度，确定上述目标对象在预定时间段内的位移；根据上述位移以及第N帧上述待处理图像对应的上述第一位置信息，预测上述目标对象在第N+1帧上述待处理图像中的上述第二位置信息。

具体地，在实际的应用过程中，第N帧待处理图像对应的目标对象的运动速度和加速度均可以通过第N-1帧待处理图像和第N帧待处理图像来进行计算，具体地，如第N帧待处理图像对应的目标对象的运动速度，可以通过将第N帧待处理图像的第一位置信息中的第一位置点和第N-1帧待处理图像的第一位置信息中的第一位置点进行相减，以及将第N帧待处理图像的第一位置信息中的第二位置点和第N-1帧待处理图像的第一位置信息中的第二位置点进行相减得出；如第N帧待处理图像对应的目标对应的加速度，可以通过第N帧待处理的目标对应的运动速度与第N-1帧待处理图像的目标对象对应的运动速度相减。

在实际的应用过程中，上述预定时间段可以根据实际情况进行调整，例如，对于一个时长为1秒钟的视频，在将该视频处理为多帧的处理图像的过程中，得到了20帧的待处理图像，也就是说，是通过0.05秒得到一帧的待处理图像，故上述预定时间段可以设置为0.05秒。

本申请的再一种实施例中，根据第N+1帧上述待处理图像的上述第一位置信息和上述第二位置信息，确定第N帧上述待处理图像和上述第N+1帧上述待处理图像是否对应于同一个上述目标对象，包括：确定第N+1帧上述待处理图像中与上述第一位置信息对应的区域为第一预定区域，并确定第N+1帧上述待处理图像中与上述第二位置信息对应的区域为第二预定区域；计算第一预定面积和第二预定面积的比值，得到目标比值，其中，上述第一预定面积为上述第一预定区域和上述第二预定区域的交集，上述第二预定面积为上述第一预定区域和上述第二预定区域的并集；在上述目标比值大于或者等于预定值的情况下，确定第N帧上述待处理图像和上述第N+1帧上述待处理图像对应于同一个上述目标对象。在该实施例中，通过计算第一预定面积和第二预定面积的比值，得到目标比值，在目标比值大于预定值的情况下，确定第N帧待处理图像与第N+1帧待处理图像对应于同一个目标对象，这样可以较为简单地得出确定结果，后续在对应于同一个人的情况下，根据第N帧待处理图像的第一位置信息和第N+1帧待处理图像的第一位置信息，确定上述目标对象的运动轨迹，进一步地保证了得到目标对象的运动轨迹较为准确。

为了保证较为准确地确定出目标对象的行为活动，本申请的一种实施例中，根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动，包括：按照时间顺序，根据上述目标对象的运动轨迹，确定与上述目标对象的运动轨迹对应的多个上述关键点热度图；将多个上述关键点热度图输入至第二预定模型，输出上述目标对象的行为活动，上述第二预定模型为对各上述关键点热度图进行分类的神经网络模型。

具体地，上述第二预定模型可以为卷积循环神经网络(Convolutional RecurrentNeural Network，简称CRNN)，还可以为卷积长短期记忆网络(Convolutional Long ShortTime Menmory，简称Conv-LSTM)，当然，在实际的应用过程中，并不限于上述两种的模型，还可以为其他的神经网络模型。

本申请的一种具体的实施例中，CRNN或Conv-LSTM网络中的卷积层可加入通道注意力模块，相当于针对不同的关键点热度图学习不同的权重，具体做法：对关键点热度图先进行全局池化，再全连接将低维度，再Relu(修正线性单元，Rectified Linear Unit，简称Relu)激活，再全连接恢复维度，再sigmoid激活并乘到关键点热度图上。

本申请的又一种实施例中，上述关键点包括以下至少之一：左眼睛、右眼睛、左肩膀、右肩膀、左耳朵、右耳朵、左手腕、右手腕、左膝盖、右膝盖、鼻子、左脚踝、右脚踝；上述行为活动包括以下至少之一：站立、坐下、跌倒、行走。

当然，在实际的应用过程中，上述关键点还可以为其他的关键点，例如，目标对象的左臀部，右臀部，左胳膊肘，右胳膊肘等等，具体的提取目标对象的哪些关键点可以根据实际需求进行选择。

本申请的另一种实施例中，在根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动之后，上述方法还包括：在上述目标对象的行为活动为上述跌倒的情况下，确定上述目标对象处于危险状态，并发送报警信息至终端设备，这样保证了可以较为及时地对处于危险状态的目标对象进行救治。

具体地，上述终端设备可以为摄像头，还可以为智能手机，还可以为平板，电脑等等。

本申请实施例还提供了一种行为活动的检测装置，需要说明的是，本申请实施例的行为活动的检测装置可以用于执行本申请实施例所提供的用于行为活动的检测方法。以下对本申请实施例提供的行为活动的检测装置进行介绍。

图2是根据本申请实施例的行为活动的检测装置的示意图。如图2所示，该装置包括：

检测单元10，用于对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；

第一确定单元20，用于确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；

生成单元30，用于对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；

第二确定单元40，用于根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。

上述的行为活动的检测装置中，检测单元用于对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；第一确定单元用于确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；生成单元用于对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；第二确定单元用于根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。与现有技术中通过获取精确的目标对象的关键点坐标，再对目标对象进行姿态估计相比，本方案对得到目标区域图像进行关键点检测，生成多个关键点热度图，由于本方案中是对目标区域图像进行关键点检测，得到多个关键点热度图，这样可以降低对应的待处理图像中除目标区域图像之外的其他区域的干扰，由于获取的是关键点热度图，还保证了获取到的目标对象的运动信息较为充分，再根据各待处理图像和各第一位置信息，确定目标对象的运动轨迹，即本方案中形成了一个目标对象在多帧的待处理图像中的整体轨迹，最后根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，这样保证了可以充分利用多帧之间的目标对象的运动信息，即本方案降低了通过精确的关键点坐标对目标对象的姿态进行估计导致的分类的误差，保证了能够较为准确地确定出目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

在实际的应用过程中，上述连续的多帧待处理图像还可以为通过对获取到的视频进行处理，得到的多帧待处理图像，而获取上述视频的设备可以为摄像头、智能手机、平板、电脑等，但并不限于这些设备，还可以为其他的能够采集图像的设备。

另外，需要说明的是，在本申请中，对获取到的连续的多帧待处理图像进行检测，得到多个第一位置信息，第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，但在实际的应用过程中，还可以获取四个位置点的位置信息，该四个位置点可以组成一个矩形区域，该矩形区域为在待处理图像中包括人体的最小的一个矩形区域。

具体地，上述得到目标区域图像的方法并不限于上述的方法，例如，还可以通过对待处理图像进行检测，在检测到目标对象的情况下，将检测到的目标对象从待处理图像中进行截取，再将截取出的目标对象放入到背景为黑色的矩形框中，得到目标区域图像。当然，实际的应用过程中，还可以通过其他的方法获取目标区域图像，在本申请中，并不做限制，只需获取到目标区域图像即可。

在实际的应用过程中，对获取的连续的多帧待处理图像进行检测的方法可以为深度学习方法或者机器学习方法，例如，具体的可以为结合方向梯度直方图(Histogram ofOriented Gradient，简称HOG)和支持向量机(Support Vector Machine，简称SVM)的检测方法，还可以为YOLO检测算法，还可以为Faster RCNN检测算法(Faster Regions with CNNfeatures)等等。

本申请的一种具体的实施例中，上述关键点热度图为关键点位于某坐标位置的概率值组成的概率图。

为了较为准确和高效地得到关键点热度图，本申请的一种实施例中，上述生成单元包括第一输出模块，用于将各上述目标区域图像输入至第一预定模型，输出多个上述关键点热度图，上述第一预定模型为对上述目标区域图像进行关键点检测的神经网络模型。

具体地，将一个目标区域图像输入至第一预定模型中，可以得到多个关键点热度图，具体关键点热度图的个数与提取的关键点的个数一致。在本申请中，对一个目标区域图像进行关键点检测，即检测目标区域图像的17个关键点，可以得到17个关键点热度图。

另外，上述第一预定模型可以为OpenPose、OpenPifPaf、HRNet、MoveNet等等。本领域技术人员可以根据实际情况选择合适的第一预定模型。

本申请的又一种实施例中，上述第二确定单元包括预测模块、第一确定模块和第二确定模块，其中，上述预测模块用于根据第N帧上述待处理图像和对应的上述第一位置信息，预测上述目标对象在第N+1帧上述待处理图像中的第二位置信息，N≥1；上述第一确定模块用于根据第N+1帧上述待处理图像的上述第一位置信息和上述第二位置信息，确定第N帧上述待处理图像和第N+1帧上述待处理图像是否对应于同一个上述目标对象；上述第二确定模块用于在第N帧上述待处理图像和第N+1帧上述待处理图像对应于同一个上述目标对象的情况下，根据第N帧上述待处理图像的上述第一位置信息和第N+1帧上述待处理图像的上述第一位置信息，确定上述目标对象的运动轨迹。在该实施例中，通过第N+1帧待处理图像的第一位置信息(即实际检测出的目标对象的位置信息)和第二位置信息(即预测出的目标对象的位置信息)，确定第N帧待处理图像和第N+1帧上述待处理图像是否对应于同一个目标对象，在对应于同一个目标对象的情况下，根据第N帧待处理图像的第一位置信息和第N+1帧待处理图像的第一位置信息，确定目标对象的运动轨迹，这样保证了确定出的目标对象的运动轨迹较为准确，进一步地保证了后续可以较为准确地确定目标对象的行为活动。

在实际的应用过程中，还可以通过目标跟踪算法确定目标对象在多帧的待处理图像中的运动轨迹，上述目标跟踪算法可以为核相关滤波算法(Kernel CorrelationFilter，简称KCF算法)，还可以为TLD算法(Tracking-Learning-Detection)，还可以为SORT算法(Simple Online And Realtime Tracking)，还可以deep-SORT算法(deep SimpleOnline And Realtime Tracking)。

本申请的一种具体的实施例中，在第N帧上述待处理图像和第N+1帧上述待处理图像不对应于同一个上述目标对象的情况下，则需要新建一个与该目标对象对应的运动轨迹。

为了较为简单和高效地预测出目标对象在第N+1帧待处理图像中的第二位置信息，本申请的另一种实施例中，上述预测模块包括第一确定子模块、第二确定子模块和预测子模块，其中，上述第一确定子模块用于确定第N帧上述待处理图像对应的上述目标对象的运动速度和加速度；上述第二确定子模块用于根据上述目标对象的上述运动速度和上述加速度，确定上述目标对象在预定时间段内的位移；上述预测子模块用于根据上述位移以及第N帧上述待处理图像对应的上述第一位置信息，预测上述目标对象在第N+1帧上述待处理图像中的上述第二位置信息。

具体地，在实际的应用过程中，第N帧待处理图像对应的目标对象的运动速度和加速度均可以通过第N-1帧待处理图像和第N帧待处理图像来进行计算，具体地，如第N帧待处理图像对应的目标对象的运动速度，可以通过将第N帧待处理图像的第一位置信息中的第一位置点和第N-1帧待处理图像的第一位置信息中的第一位置点进行相减，以及将第N帧待处理图像的第一位置信息中的第二位置点和第N-1帧待处理图像的第一位置信息中的第二位置点进行相减得出；如第N帧待处理图像对应的目标对应的加速度，可以通过第N帧待处理的目标对应的运动速度与第N-1帧待处理图像的目标对象对应的运动速度相减。

在实际的应用过程中，上述预定时间段可以根据实际情况进行调整，例如，对于一个时长为1秒钟的视频，在将该视频处理为多帧的处理图像的过程中，得到了20帧的待处理图像，也就是说，是通过0.05秒得到一帧的待处理图像，故上述预定时间段可以设置为0.05秒。

本申请的再一种实施例中，上述第一确定模块包括第三确定子模块、计算子模块和第四确定子模块，其中，上述第三确定子模块用于确定第N+1帧上述待处理图像中与上述第一位置信息对应的区域为第一预定区域，并确定第N+1帧上述待处理图像中与上述第二位置信息对应的区域为第二预定区域；上述计算子模块用于计算第一预定面积和第二预定面积的比值，得到目标比值，其中，上述第一预定面积为上述第一预定区域和上述第二预定区域的交集，上述第二预定面积为上述第一预定区域和上述第二预定区域的并集；上述第四确定子模块用于在上述目标比值大于或者等于预定值的情况下，确定第N帧上述待处理图像和上述第N+1帧上述待处理图像对应于同一个上述目标对象。在该实施例中，通过计算第一预定面积和第二预定面积的比值，得到目标比值，在目标比值大于预定值的情况下，确定第N帧待处理图像与第N+1帧待处理图像对应于同一个目标对象，这样可以较为简单地得出确定结果，后续在对应于同一个人的情况下，根据第N帧待处理图像的第一位置信息和第N+1帧待处理图像的第一位置信息，确定上述目标对象的运动轨迹，进一步地保证了得到目标对象的运动轨迹较为准确。

为了保证较为准确地确定出目标对象的行为活动，本申请的一种实施例中，上述第二确定单元包括第三确定模块和第二输出模块，其中，上述第三确定模块用于按照时间顺序，根据上述目标对象的运动轨迹，确定与上述目标对象的运动轨迹对应的多个上述关键点热度图；上述第二输出模块用于将多个上述关键点热度图输入至第二预定模型，输出上述目标对象的行为活动，上述第二预定模型为对各上述关键点热度图进行分类的神经网络模型。

具体地，上述第二预定模型可以为卷积循环神经网络(Convolutional RecurrentNeural Network，简称CRNN)，还可以为卷积长短期记忆网络(Convolutional Long ShortTime Menmory，简称Conv-LSTM)，当然，在实际的应用过程中，并不限于上述两种的模型，还可以为其他的神经网络模型。

本申请的一种具体的实施例中，CRNN或Conv-LSTM网络中的卷积层可加入通道注意力模块，相当于针对不同的关键点热度图学习不同的权重，具体做法：对关键点热度图先进行全局池化，再全连接将低维度，再Relu(修正线性单元，Rectified Linear Unit，简称Relu)激活，再全连接恢复维度，再sigmoid激活并乘到关键点热度图上。

本申请的又一种实施例中，上述关键点包括以下至少之一：左眼睛、右眼睛、左肩膀、右肩膀、左耳朵、右耳朵、左手腕、右手腕、左膝盖、右膝盖、鼻子、左脚踝、右脚踝；上述行为活动包括以下至少之一：站立、坐下、跌倒、行走。

当然，在实际的应用过程中，上述关键点还可以为其他的关键点，例如，目标对象的左臀部，右臀部，左胳膊肘，右胳膊肘等等，具体的提取目标对象的哪些关键点可以根据实际需求进行选择。

本申请的另一种实施例中，上述检测装置还包括第三确定单元，用于在根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动之后，在上述目标对象的行为活动为上述跌倒的情况下，确定上述目标对象处于危险状态，并发送报警信息至终端设备，这样保证了可以较为及时地对处于危险状态的目标对象进行救治。

具体地，上述终端设备可以为摄像头，还可以为智能手机，还可以为平板，电脑等等。

为了使得本领域的技术人员更加清楚明确地了解本申请的技术方案，下面将结合具体的实施例进行说明：

实施例

如图3所示，首先，获取连续的多帧待处理图像或视频，具体的可以由电子设备实时获取待处理图像，例如：网络摄像头、智能手机以及平板电脑等电子设备，其次，对各待处理图像进行检测，得到目标对象在各待处理图像中的多个第一位置信息，并根据多个第一位置信息对对应的待处理图像中的目标区域进行截取，得到多个目标区域图像，再次，对得到的目标区域图像进行关键点检测，得到多个关键点热度图，之后，根据各待处理图像和对应的各第一位置信息，在多帧的待处理图像中确定目标对象的运动轨迹，最后，将属于通过一个运动轨迹的目标对象的关键点热度图输入至CRNN或Conv-LSTM网络中，确定目标对象的行为活动。

上述行为活动的检测装置包括处理器和存储器，上述检测单元、第一确定单元、生成单元和第二确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中难以较为准确地检测目标对象的行为活动的问。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述行为活动的检测方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述行为活动的检测方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；

步骤S102，确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；

步骤S103，对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；

步骤S104，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；

步骤S102，确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；

步骤S103，对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；

步骤S104，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的行为活动的检测方法中，首先，获取连续的多帧待处理图像，并对获取到的多帧待处理图像进行检测，得到多个第一位置信息；然后，根据各上述第一位置信息，在对应的上述待处理图像中确定对应的目标区域，并对目标区域进行截取，得到对应的目标区域图像；之后，对得到的各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；最后，根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。与现有技术中通过获取精确的目标对象的关键点坐标，再对目标对象进行姿态估计相比，本方案对得到目标区域图像进行关键点检测，生成多个关键点热度图，由于本方案中是对目标区域图像进行关键点检测，得到多个关键点热度图，这样可以降低对应的待处理图像中除目标区域图像之外的其他区域的干扰，由于获取的是关键点热度图，还保证了获取到的目标对象的运动信息较为充分，再根据各待处理图像和各第一位置信息，确定目标对象的运动轨迹，即本方案中形成了一个目标对象在多帧的待处理图像中的整体轨迹，最后根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，这样保证了可以充分利用多帧之间的目标对象的运动信息，即本方案降低了通过精确的关键点坐标对目标对象的姿态进行估计导致的分类的误差，保证了能够较为准确地确定出目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

2)、本申请的行为活动的检测装置中，检测单元用于对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个上述待处理图像至少对应一个上述第一位置信息，上述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，上述第一位置点和第二位置点在目标对角线上，上述目标对角线为检测到的上述待处理图像的包括目标对象的最小矩形区域的一个对角线；第一确定单元用于确定上述待处理图像中与各上述第一位置信息对应的目标区域，并截取上述目标区域，得到目标区域图像，上述目标区域图像为包括一个上述目标对象的图像，上述第一位置信息与上述目标区域图像一一对应；生成单元用于对各上述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个上述目标区域图像对应多个上述关键点热度图；第二确定单元用于根据各上述待处理图像和对应的各上述第一位置信息，确定上述目标对象的运动轨迹，并根据上述目标对象的运动轨迹对应的多个上述关键点热度图，确定上述目标对象的行为活动。与现有技术中通过获取精确的目标对象的关键点坐标，再对目标对象进行姿态估计相比，本方案对得到目标区域图像进行关键点检测，生成多个关键点热度图，由于本方案中是对目标区域图像进行关键点检测，得到多个关键点热度图，这样可以降低对应的待处理图像中除目标区域图像之外的其他区域的干扰，由于获取的是关键点热度图，还保证了获取到的目标对象的运动信息较为充分，再根据各待处理图像和各第一位置信息，确定目标对象的运动轨迹，即本方案中形成了一个目标对象在多帧的待处理图像中的整体轨迹，最后根据目标对象的运动轨迹对应的多个关键点热度图，确定目标对象的行为活动，这样保证了可以充分利用多帧之间的目标对象的运动信息，即本方案降低了通过精确的关键点坐标对目标对象的姿态进行估计导致的分类的误差，保证了能够较为准确地确定出目标对象的行为活动，从而解决了现有技术中难以较为准确地检测目标对象的行为活动的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种行为活动的检测方法，其特征在于，包括：

对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个所述待处理图像至少对应一个所述第一位置信息，所述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，所述第一位置点和第二位置点在目标对角线上，所述目标对角线为检测到的所述待处理图像的包括目标对象的最小矩形区域的一个对角线；

确定所述待处理图像中与各所述第一位置信息对应的目标区域，并截取所述目标区域，得到目标区域图像，所述目标区域图像为包括一个所述目标对象的图像，所述第一位置信息与所述目标区域图像一一对应；

对各所述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个所述目标区域图像对应多个所述关键点热度图；

根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，并根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动。

2.根据权利要求1所述的方法，其特征在于，对各所述目标区域图像进行关键点检测，生成多个关键点热度图，包括：

将各所述目标区域图像输入至第一预定模型，输出多个所述关键点热度图，所述第一预定模型为对所述目标区域图像进行关键点检测的神经网络模型。

3.根据权利要求1所述的方法，其特征在于，根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，包括：

根据第N帧所述待处理图像和对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的第二位置信息，N≥1；

根据第N+1帧所述待处理图像的所述第一位置信息和所述第二位置信息，确定第N帧所述待处理图像和第N+1帧所述待处理图像是否对应于同一个所述目标对象；

在第N帧所述待处理图像和第N+1帧所述待处理图像对应于同一个所述目标对象的情况下，根据第N帧所述待处理图像的所述第一位置信息和第N+1帧所述待处理图像的所述第一位置信息，确定所述目标对象的运动轨迹。

4.根据权利要求3所述的方法，其特征在于，根据第N帧所述待处理图像和对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的第二位置信息，包括：

确定第N帧所述待处理图像对应的所述目标对象的运动速度和加速度；

根据所述目标对象的所述运动速度和所述加速度，确定所述目标对象在预定时间段内的位移；

根据所述位移以及第N帧所述待处理图像对应的所述第一位置信息，预测所述目标对象在第N+1帧所述待处理图像中的所述第二位置信息。

5.根据权利要求3所述的方法，其特征在于，根据第N+1帧所述待处理图像的所述第一位置信息和所述第二位置信息，确定第N帧所述待处理图像和所述第N+1帧所述待处理图像是否对应于同一个所述目标对象，包括：

确定第N+1帧所述待处理图像中与所述第一位置信息对应的区域为第一预定区域，并确定第N+1帧所述待处理图像中与所述第二位置信息对应的区域为第二预定区域；

计算第一预定面积和第二预定面积的比值，得到目标比值，其中，所述第一预定面积为所述第一预定区域和所述第二预定区域的交集，所述第二预定面积为所述第一预定区域和所述第二预定区域的并集；

在所述目标比值大于或者等于预定值的情况下，确定第N帧所述待处理图像和所述第N+1帧所述待处理图像对应于同一个所述目标对象。

6.根据权利要求5所述的方法，其特征在于，根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动，包括：

按照时间顺序，根据所述目标对象的运动轨迹，确定与所述目标对象的运动轨迹对应的多个所述关键点热度图；

将多个所述关键点热度图输入至第二预定模型，输出所述目标对象的行为活动，所述第二预定模型为对各所述关键点热度图进行分类的神经网络模型。

7.根据权利要求1至6任意一项所述的方法，其特征在于，

所述关键点包括以下至少之一：左眼睛、右眼睛、左肩膀、右肩膀、左耳朵、右耳朵、左手腕、右手腕、左膝盖、右膝盖、鼻子、左脚踝、右脚踝；

所述行为活动包括以下至少之一：站立、坐下、跌倒、行走。

8.根据权利要求7所述的方法，其特征在于，在根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动之后，所述方法还包括：

在所述目标对象的行为活动为所述跌倒的情况下，确定所述目标对象处于危险状态，并发送报警信息至终端设备。

9.一种行为活动的检测装置，其特征在于，包括：

检测单元，用于对获取的连续多帧待处理图像进行检测，得到多个第一位置信息，每个所述待处理图像至少对应一个所述第一位置信息，所述第一位置信息包括第一位置点的位置信息和第二位置点的位置信息，所述第一位置点和第二位置点在目标对角线上，所述目标对角线为检测到的所述待处理图像的包括目标对象的最小矩形区域的一个对角线；

第一确定单元，用于确定所述待处理图像中与各所述第一位置信息对应的目标区域，并截取所述目标区域，得到目标区域图像，所述目标区域图像为包括一个所述目标对象的图像，所述第一位置信息与所述目标区域图像一一对应；

生成单元，用于对各所述目标区域图像进行关键点检测，生成多个关键点热度图，其中，一个所述目标区域图像对应多个所述关键点热度图；

第二确定单元，用于根据各所述待处理图像和对应的各所述第一位置信息，确定所述目标对象的运动轨迹，并根据所述目标对象的运动轨迹对应的多个所述关键点热度图，确定所述目标对象的行为活动。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至8中任意一项所述的方法。

Images