CN114202773A - 活动检测方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了一种活动检测方法、装置、电子设备以及存储介质，涉及数据处理技术领域。该方法包括：获取待检测画面，从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据，从而不需要待检测对象佩戴相关活动量检测设备以及不需要获取待检测对象的个人信息，实现确定待检测对象的活动量，同时简化与活动检测的相关计算，提升计算速度。

Description

活动检测方法、装置、电子设备以及存储介质

技术领域

本申请涉及数据处理技术领域，更具体地，涉及一种活动检测方法、装置、电子设备以及存储介质。

背景技术

随着社会的发展和生活水平的提高，人们对日常健康状态监测的需求日益迫切，使得活动检测等方面成为众多学者的研究热点。目前，可以通过用户佩戴辅助设备对用户进行活动量检测，实现对活动量的确定，但是用户佩戴辅助设备比较麻烦，降低用户体验。

发明内容

鉴于上述问题，本申请提出了一种活动检测方法、装置、电子设备以及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种活动检测方法，所述方法包括：获取待检测画面；从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点；基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动数据消耗。

第二方面，本申请实施例提供了一种活动检测装置，所述装置包括：待检测画面获取模块，用于获取待检测画面；关键点确定模块，用于从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点；活动量计算模块，用于基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动数据消耗。

在一些实施方式中，待检测对象对应数据确定模块包括：多个待检测对象对应信息确定子模块，其中：多个待检测对象对应数据确定子模块，用于从所述待检测画面中确定所述多个待检测对象各自对应的对象框，并从所述待检测画面中确定所述多个待检测对象各自的多个关键点。

在一些实施方式中，待检测对象对应数据确定模块还包括：特征信息提取子模块以及待检测对象确定子模块，其中：特征信息提取子模块，用于从所述待检测画面中获取待确定对象，并提取所述待确定对象的特征信息。待检测对象确定子模块，用于当所述待确定对象的特征信息与预设特征信息匹配时，将所述待确定对象确定为所述待检测对象。

在一些实施方式中，待检测对象对应数据确定模块还包括：对象框确定子模块以及关键点确定子模块，其中：对象框确定子模块，用于基于人体检测算法，从所述待检测画面中确定所述待检测对象对应的对象框。关键点确定子模块，用于基于人体关键点检测算法，从所述待检测画面中确定所述待检测对象的多个关键点。

在一些实施方式中，活动量计算模块包括：对象框平均大小获取子模块、多个关键点位移获取子模块以及活动量获取子模块，其中：对象框平均大小获取子模块，用于获取所述待检测对象对应的对象框在每相邻两帧图像中的平均大小。多个关键点位移获取子模块，用于获取所述待检测对象的多个关键点在每相邻两帧图像中的位移。活动量获取子模块，用于基于所述待检测对象对应的对象框在所述每相邻两帧图像中的平均大小，以及所述待检测对象的多个关键点在所述每相邻两帧图像中的位移，计算所述待检测对象的活动消耗数据。

在一些实施方式中，活动量获取子模块包括：相对位移量获取单元以及待检测对象的活动量获取单元，其中：相对位移量获取单元，用于利用每相邻两帧图像对应的所述待检测对象的多个关键点的位移，与所述待检测对象对应的对象框的平均大小的比值，获得所述待检测对象在每相邻两帧图像的相对位移量。待检测对象的活动量获取单元，用于对所述待检测对象在每相邻两帧图像的相对位移量进行累加，获得所述待检测对象的活动消耗数据。

在一些实施方式中，活动量计算模块还包括：总活动量获取子模块、第二时长获取子模块以及待检测空间的平均活动量获取子模块，其中：总活动量获取子模块，用于基于对所述待检测对象进行追踪监测到的所述多个待检测对象各自对应的对象框的变化，以及所述多个待检测对象各自的多个关键点的变化，计算所述多个待检测对象的总活动消耗数据。第二时长获取子模块，用于获取所述待检测画面中存在所述多个待检测对象中的任意待检测对象的时长，作为第二时长。待检测空间的平均活动量获取子模块，用于利用所述多个待检测对象的总活动量与所述第二时长的比值，获得所述多个待检测对象在所述待检测空间的平均活动量。

在一些实施方式中，动量确定装置还包括：第一时长获取模块以及待检测对象的平均活动量获取模块，其中：第一时长获取模块，用于获取所述待检测对象在所述待检测画面中存在的时长，作为第一时长。待检测对象的平均活动量获取模块，用于利用所述待检测对象的活动消耗数据与所述第一时长的比值，获得所述待检测对象的平均活动量。

在一些实施方式中，第一时长获取模块包括：帧数以及帧率获取子模块以及第一时长计算模块，其中：帧数以及帧率获取子模块，用于获取所述待检测对象在所述待检测画面中存在的帧数，以及所述待检测画面的帧率。第一时长计算模块，用于基于所述帧数和所述帧率，获取所述待检测对象在所述待检测画面中存在的时长，作为所述第一时长。

第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的活动检测方法、装置、电子设备以及存储介质，获取待检测画面，从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据，从而不需要待检测对象佩戴相关活动量检测设备以及不需要获取待检测对象的个人信息，实现确定待检测对象的活动量，同时简化与活动检测的相关计算，提升计算速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一个实施例提供的活动检测方法的流程示意图；

图2示出了本申请实施例提供的活动检测方法的应用场景示意图；

图3示出了本申请实施例提供的待检测对象的多个关键点示意图；

图4示出了本申请一个实施例提供的活动检测方法的流程示意图；

图5示出了本申请实施例提供的每相邻两帧图像对应的待检测对象的变化示意图；

图6示出了本申请的图4所示的人员计数方法的步骤S250的流程示意图；

图7示出了本申请一个实施例提供的活动检测方法的流程示意图；

图8示出了本申请的图6所示的人员计数方法的步骤S340的流程示意图；

图9示出了本申请一个实施例提供的活动检测方法的流程示意图；

图10示出了本申请一个实施例提供的活动检测方法的流程示意图；

图11示出了本申请一个实施例提供的活动检测方法的流程示意图；

图12示出了本申请实施例提供的活动检测装置的模块框图；

图13示出了本申请实施例用于执行根据本申请实施例的活动检测方法的电子设备的框图；

图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的活动检测方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着社会的发展和生活水平的提高，人们对日常健康状态监测的需求日益迫切，使得活动检测等方面成为众多学者的研究热点。目前，活动检测大多数是通过穿戴活动量检测设备，采集特定的生物信号，通过相关计算，实现对活动量的确定，但是需要穿戴活动量检测设备并采取特定的生物信号，并且与活动检测的相关计算较为复杂。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的活动检测方法、装置、电子设备以及存储介质，其不需要待检测对象佩戴检测设备以及不需要获取待检测对象的个人信息，实现确定待检测对象的活动量，同时简化与活动检测的相关计算，提升计算速度。其中，具体的活动检测方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的活动检测方法的流程示意图。在具体的实施例中，所述活动检测方法应用于如图10所示的活动检测装置200以及配置有活动检测装置200的电子设备100(图11)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、台式电脑、穿戴式电子设备等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S110：获取待检测画面。

在一些实施方式中，电子设备可以与摄像头连接。摄像头可以采集待检测画面，电子设备通过与摄像头的连接获取由摄像头采集的待检测画面。请参阅图2，图2示出了本申请实施例提供的活动检测方法的应用场景示意图。电子设备100可以与摄像头200连接，以实现电子设备100与摄像头200进行数据交互，其中，数据可以包括待检测画面，在此不作限定。其中，摄像头200的数量至少为一个，该至少一个摄像头200分别和电子设备100连接，例如，一个电子设备100与多个摄像头200连接，在此不做限定。其中，电子设备100与摄像头200可以通过蓝牙、Wifi或者ZigBee等无线方式进行连接，电子设备100与摄像头200还可以通过USB数据线等有线方式进行连接。

其中，摄像头200可以包括但不限于模拟摄像头、数字摄像头、防偷窥型摄像头、夜视型摄像头、有驱型摄像头以及无驱型摄像头等。

在一些实施方式中，电子设备内可以设置有摄像头，因此电子设备可以通过电子设备内置的摄像头获取待检测画面，其中，待检测画面是指需要进行检测的画面。作为一种可实施的方式，电子设备可以安装各种视频软件，电子设备可以通过安装的视频软件控制摄像头采集获取待检测画面，其中，具体的视频软件在此不做限定。

在一些实施方式中，用户可以在电子设备中设置获取待检测画面的条件，其中，获取待检测画面的条件可以为某一时间段和/或待检测对象的状态等，在此不做限定。例如，用户设置当处于14点到17点时间段内，电子设备获取待检测画面，而当时间处于00点到06点时间段内，电子设备不获取待检测画面。又例如，用户设置当检测到待检测对象处于运动状态时，电子设备获取待检测画面，而当检测到待检测对象处于静止状态时，电子设备不获取待检测画面。

在一些实施方式中，电子设备还可以当与电子设备连接的摄像头或者电子设备内置的摄像头检测到有待检测对象出现时，电子设备获取待检测画面。

在一些实施方式中，电子设备还可以直接获取待检测画面。

步骤S120：从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点。

在一些实施方式中，待检测画面中可以包括一个待检测对象，也可以包括多个待检测对象，需要说明的是，待检测对象是指针对待检测画面中待检测的目标对象。具体地，待检测对象可以包括人类或者动物等，在此不做限定。当待检测对象为人类时，电子设备可以从待检测画面中通过人体检测算法确定待检测对象对应的对象框。作为一种方式，电子设备可以获取待检测画面中的所有待检测对象对应的对象框，并对所有对象框对应的待检测对象通过人体关键点检测算法确定该待检测对象的多个关键点。作为再一种方式，用户可以在电子设备中从多个待检测对象对应的对象框中选择其中一个待检测对象对应的对象框或者几个待检测对象对应的对象框，其中选择的具体数量在此不做限定，并对选择的一个对象框对应的待检测对象或者几个对象框对应的待检测对象通过人体关键点检测算法确定选择的待检测对象的多个关键点。其中，待检测对象的关键点的数量在此不做限定。

请参阅图3，图3示出了本申请实施例提供的待检测对象的多个关键点示意图。图3中包括待检测对象300以及头部关键点301、左肩关键点302、右肩关键点303、左手肘关键点304、右手肘关键点305、左手腕关键点306、右手腕关键点307、左臀关键点308、右臀关键点309、左膝关键点310、右膝关键点311、左踝关键点312以及右踝关键点313。

步骤S130：基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

在一些实施方式中，电子设备可以对获取的待检测画面中所有画面进行监测，追踪监测待检测画面中出现的待检测对象，并根据对待检测对象进行追踪检测到的待检测对象对应的对象框的变化以及待检测对象的多个关键点的变化，计算待检测对象的活动消耗数据。其中，活动消耗数据可以包括待检测对象的活动量变化数据、待检测对象的步数、待检测对象的卡路里消耗量以及待检测对象的心率数值，可以理解的是，本实施例中的活动消耗数据，是指待检测对象的活动量的变化数据，具体可以是待检测对象在待检测画面中出现的时间内活动量的变化数据。

在一些实施方式中，电子设备可以对获取的待检测画面中选取部分画面进行检测，检测所选择的部分画面中出现的待检测对象，并根据检测到的待检测对象对应的对象框的变化以及待检测对象的多个关键点的变化，计算待检测对象的活动消耗数据。其中，部分画面的选取可以通过用户在电子设备上进行。

本申请一个实施例提供的活动检测方法、装置、电子设备以及存储介质，获取待检测画面，从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，基于监测到的所述待检测对象对应的对象框的变化和所述待检测对象的多个关键点的变化，计算所述待检测对象的活动量，从而不需要待检测对象佩戴检测设备以及不需要获取待检测对象的个人信息，实现确定待检测对象的活动量，同时简化与活动检测的相关计算，提升计算速度。

请参阅图4，图4示出了本申请一个实施例提供的活动检测方法的流程示意图。在本实施例中，所述待检测画面包括至少两帧图像，下面将针对图4所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S210：获取待检测画面。

步骤S220：从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点。

其中，步骤S210-步骤S220的具体描述请参阅步骤S110-步骤S120，在此不再赘述。

步骤S230：获取所述待检测对象对应的对象框在每相邻两帧图像中的平均大小。

在本实施例中，获取待检测对象对应的对象框，对该对象框在每相邻两帧图像进行检测，获取该对象框在每相邻两帧图像中的平均大小。

在一些实施方式中，计算对象框在每相邻两帧图像中的平均大小的公式可以为

其中，M表示为对象框在每相邻两帧图像中的平均大小，w₁表示为对象框在前一帧的宽，h₁表示为对象框在前一帧的高，w₂表示为对象框在后一帧的宽，h₂表示为对象框在后一帧的高。如图5所示，其中，前一帧对象框310的宽为w₁、高为h₁，后一帧对象框320的宽为w₂、高为h₂。

可以理解的是，当计算在三帧图像中的待检测对象对应的对象框的平均大小时，可以计算第一帧图像和第二帧图像的相邻两帧图像中对象框的平均大小，再计算第二帧图像和第三帧的图像的相邻两帧图像中对象框的平均大小，根据上述算出的对象框的平均大小，计算出各相邻两帧图像中的对象框的平均大小。

步骤S240：获取所述待检测对象的多个关键点在每相邻两帧图像中的位移。

在本实施例中，通过获取待检测对象对应的对象框，确认待检测对象的多个关键点，获取待检测对象的多个关键点在每相邻两帧图像中的位移。其中，位移是指物体的位置变化，可以理解的是，本实施例中的位移，是指相邻两帧图像中待检测对象对应的关键点之间的位置变化，具体可以是待检测对象对应的关键点在当前帧图像中的位置，与待检测对象对应的关键点在下一帧图像中的位置所对应的差值。

在一些实施方式中，计算待检测对象的多个关键点在每相邻两帧图像中的位移的公式可以为

其中，S表示为待检测对象的多个关键点在每相邻两帧图像中的位移，z表示为待检测对象有z个关键点，x1_i表示为待检测对象在前一帧第i个关键点的x坐标，x2_i表示为待检测对象在后一帧第i个关键点的x坐标，y1_i表示为待检测对象在前一帧第i个关键点的y坐标，y2_i表示为待检测对象在后一帧第i个关键点的y坐标。如图5所示，其中，前一帧关键点301A的坐标为(x1₁，y1₁)，后一帧关键点301B的坐标为(x2₁，y2₁)，S₁为待检测对象的关键点301在每相邻两帧图像中的位移，前一帧关键点302A的坐标为(x1₂，y1₂)，后一帧关键点302B的坐标为(x2₂，y2₂)，S₂为待检测对象的关键点302在每相邻两帧图像中的位移，因此待检测对象的多个关键点在每相邻两帧图像中的位移为

可以理解的是，当计算在三帧图像中的待检测对象的多个关键点时，计算第一帧图像和第二帧图像的相邻两帧图像中待检测对象的多个关键点的位移，再计算第二帧图像和第三帧的图像的相邻两帧图像中待检测对象的多个关键点的位移，根据上述算出的待检测对象的多个关键点在每相邻两帧图像中的位移，计算出三帧图像中待检测对象的多个关键点的位移。

步骤S250：基于所述对象框在所述每相邻两帧图像中的平均大小，以及所述待检测对象的多个关键点在所述每相邻两帧图像中的位移，计算所述待检测对象的活动消耗数据。

在本实施例中，可以根据获取的待检测对象对应的对象框在每相邻两帧图像中的平均大小，以及待检测对象的多个关键点在每相邻两帧图像中的位移，经过计算获取待检测对象的活动消耗数据。

在一些实施方式中，电子设备可以直接对获取的待检测对象对应的对象框在每相邻两帧图像中的平均大小以及待检测对象的多个关键点在每相邻两帧图像中的位移，进行计算获取待检测对象的活动消耗数据。

在一些实施方式中，电子设备还可以在检测到待检测对象停止运动时，获取的待检测对象对应的对象框在每相邻两帧图像中的平均大小，以及待检测对象的多个关键点在每相邻两帧图像中的位移进行计算，获取待检测对象的活动消耗数据。

在一些实施方式中，用户可以在电子设备内设置检测一段时间后再进行计算待检测对象的活动量，不用获取两帧图像的数据就进行计算待检测对象的活动量，可以在一段时间后对这段时间获取的待检测对象对应的对象框在每相邻两帧图像中的平均大小，以及待检测对象的多个关键点在每相邻两帧图像中的位移进行计算获取待检测对象的活动消耗数据，这样可以减少计算量。

请参阅图6，图6示出了本申请的图4所示的人员计数方法的步骤S250的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S251：利用每相邻两帧图像对应的所述待检测对象的多个关键点的位移，与所述待检测对象对应的对象框的平均大小的比值，获得所述待检测对象在每相邻两帧图像的相对位移量。

在一些实施方式中，利用每相邻两帧图像对应的所述待检测对象的多个关键点的位移，与所述待检测对象对应的对象框的平均大小的比值，得到待检测对象在每相邻两帧图像的相对位移量，即每相邻两帧图像对应的待检测对象的多个关键点的位移除以待检测对象对应的对象框的平均大小，可以表示为计算公式

其中，D为待检测对象在每相邻两帧图像的相对位移量，S为每相邻两帧图像对应的待检测对象的多个关键点的位移，M为待检测对象对应的对象框的平均大小。例如，待检测画面包括三帧图像，第一帧图像和第二帧图像相邻两帧图像对应的待检测对象的多个关键点的位移为S₁，第二帧图像和第三帧图像的相邻两帧图像中待检测对象的多个关键点的位移为S₂，第一帧图像和第二帧图像的相邻两帧图像中对象框的平均大小为M₁，第二帧图像和第三帧图像的相邻两帧图像中对象框的平均大小为M₂，则第一帧图像和第二帧图像的相邻两帧图像的相对位移量为

则第一帧图像和第二帧图像的相邻两帧图像的相对位移量为

步骤S252：对所述待检测对象在每相邻两帧图像的相对位移量进行累加，获得所述待检测对象的活动消耗数据。

在一些实施方式中，将待检测对象在每相邻两帧图像的相对位移量进行累加，得到待检测对象的活动消耗数据，计算活动消耗数据的公式可以为

其中，A表示为待检测对象的活动消耗数据，NUM表示为待检测对象在待检测画面中出现的帧数，D_i表示为待检测对象在第i相邻两帧图像的相对位移量。

本申请一个实施例提供的活动检测方法，相较于图1所示的活动检测方法，本实施例可以通过获取对象框在每相邻两帧图像中的平均大小，以及待检测对象的多个关键点在每相邻两帧图像中的位移，获取待检测对象的活动消耗数据，从而实现简化活动检测的相关计算，同是不需要待检测对象佩戴检测活动量的相关设备。

请参阅图7，图7示出了本申请一个实施例提供的活动检测方法的流程示意图。下面将针对图7所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S310：获取待检测画面；

步骤S320：从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点。

步骤S330：基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

其中，步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S340：获取所述待检测对象在所述待检测画面中存在的时长，作为第一时长。

在一些实施方式中，电子设备可以直接获取待检测对象在所述待检测画面中存在的时长，并将获取的该时长作为第一时长，电子设备可以设置有显示屏，可以对该第一时长进行显示，用于提示用户待检测对象出现的时长，作为一种方式，电子设备还可以在获得待检测对象活动量之后获取待检测对象在所述待检测画面中存在的时长，并将获取的该时长作为第一时长，作为再一种方式，电子设备还可以在需要平均活动量时，再获取待检测对象在所述待检测画面中存在的时长。

请参阅图8，图8示出了本申请的图7所示的人员计数方法的步骤S340的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S341：获取所述待检测对象在所述待检测画面中存在的帧数，以及所述待检测画面的帧率。

在一些实施方式中，电子设备可以直接获取待检测对象在待检测画面中存在的帧数以及待检测画面的帧率，电子设备还可以在获得待检测对象活动量之后获取待检测对象在待检测画面中存在的帧数以及待检测画面的帧率，电子设备还可以在需要平均活动量时，再获取待检测对象在待检测画面中存在的帧数以及待检测画面的帧率。

步骤S342：基于所述帧数和所述帧率，获取所述待检测对象在所述待检测画面中存在的时长，作为所述第一时长。

在本实施例中，根据获取的待检测对象在待检测画面中存在的帧数，以及待检测画面的帧率，计算待检测对象在待检测画面中存在的时长，可以理解的是，待检测对象在待检测画面中存在的时长就是待检测对象在待检测画面中存在的小时数量，计算公式为

其中，H表示为待检测对象在待检测画面中存在的时长即为第一时长，NUM表示为待检测对象在待检测画面中出现的帧数，FPS表示为待检测画面的帧率。其中，第一时长是指待检测对象在待检测画面中出现的时长。

步骤S350：利用所述待检测对象的活动消耗数据与所述第一时长的比值，获得所述待检测对象的平均活动量。

在一些实施方式中，利用待检测对象的活动消耗数据与第一时长的比值，也就是待检测对象的活动量除以第一时长，就可以获得待检测对象的平均活动量，计算平均活动量的公式可以为

其中，L表示为检测对象的平均活动量，A表示为待检测对象的活动量，H表示为待检测对象在待检测画面中存在的时长即为第一时长。

本申请一个实施例提供的活动检测方法，相较于图1所示的活动检测方法，本实施例可以通过待检测对象的活动量以及待检测对象在待检测画面中存在的时长计算待检测对象的平均活动，从而实现确定待检测对象的平均活动量，简化活动检测的相关计算。

请参阅图9，图9示出了本申请一个实施例提供的活动检测方法的流程示意图。在本实施例中，所述待检测画面用于表征待检测空间的画面，所述待检测空间内包括多个待检测对象，下面将针对图9所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S410：获取待检测画面。

其中，步骤S410的具体描述请参阅步骤S110，在此不再赘述。

步骤S420：从所述待检测画面中确定所述多个待检测对象各自对应的对象框，并从所述待检测画面中确定所述多个待检测对象各自的多个关键点。

在一些实施方式中，待检测画面中可以包括多个待检测对象，电子设备可以从待检测画面中通过人体检测算法确定多个待检测对象对应的对象框，电子设备可以获取待检测画面中的所有待检测对象对应的对象框，并对全部对象框对应的全部待检测对象通过人体关键点检测算法确定全部待检测对象对应的多个关键点，其中，待检测对象的关键点的数量在此不做限定。

步骤S430：基于对所述待检测对象进行追踪监测到的所述多个待检测对象各自对应的对象框的变化，以及所述多个待检测对象各自的多个关键点的变化，计算所述多个待检测对象的总活动消耗数据。

在一些实施方式中，电子设备可以对待检测画面中多个待检测对象出现的画面进行监测，监测多个待检测对象对应的对象框的变化，以及多个待检测对象的多个关键点的变化，计算出每两帧画面出现的多个待检测对象在每相邻两帧图像中的相对位移量，获得多个待检测对象的总活动消耗数据。其中，多个待检测对象在每相邻两帧图像中的相对位移量的计算公式可以为

其中，DD表示为多个待检测对象在每相邻两帧图像中的相对位移量，N表示待检测画面中出现待检测对象的个数，D_j表示为第j个待检测对象的多个关键点在每相邻两帧图像中的位移，再根据获得的多个待检测对象的平均相对位移量计算得到多个待检测对象的总活动消耗数据，计算公式可以为

其中，A表示为多个待检测对象的总活动消耗数据，NUM表示为任意待检测对象在待检测画面中出现的帧数，DD_i表示为第i对相邻两帧图像中待检测对象对应的相对位移量。

在一些实施方式中，电子设备可以对待检测画面中多个待检测对象出现的画面中监测多个待检测对象对应的对象框的变化和多个待检测对象的多个关键点的变化，计算出每两帧画面出现的多个待检测对象在每相邻两帧图像中的相对位移量，除以待检测画面中出现待检测对象的个数，获得多个待检测对象的平均相对位移量。其中，多个待检测对象的平均相对位移量的计算公式可以为

其中，DD表示为多个待检测对象的平均相对位移量，D_j表示为第j个待检测对象的多个关键点在每相邻两帧图像中的位移，N表示待检测画面中出现待检测对象的个数，再根据获得的多个待检测对象的平均相对位移量计算得到多个待检测对象的总活动消耗数据，计算公式为

其中，A表示为多个待检测对象的总活动消耗数据，NUM表示为任意待检测对象在待检测画面中出现的帧数，DD_i表示为第i对相邻两帧图像中待检测对象对应的平均相对位移量。

步骤S440：获取所述待检测画面中存在所述多个待检计算测对象中的任意待检测对象的时长，作为第二时长。

在一些实施方式中，电子设备可以直接获取任意待检测对象在所述待检测画面中存在的时长，并将获取的该时长作为第二时长。其中，其中，第二时长是指待检测画面中所有待检测对象在待检测画面中出现的总时长。

在一些实施方式中，电子设备可以设置有显示屏，可以对该第二时长进行显示，用于提示用户多个待检测对象出现的时长，作为一种方式，电子设备还可以在获得多个待检测对象活动量之后，获取多个待检测对象在所述待检测画面中存在的时长，并将获取的该时长作为第二时长，作为再一种方式，电子设备还可以在需要待测空间的平均活动量时，再获取多个待检测对象在所述待检测画面中存在的时长。

在一些实施例中，获取的任意待检测对象在待检测画面中存在的帧数以及待检测画面的帧率，计算待检测对象在待检测画面中存在的时长，可以理解的是，待检测对象在待检测画面中存在的时长就是待检测对象在待检测画面中存在的小时数量，计算公式可以为

其中，H表示为任意待检测对象在待检测画面中存在的时长即为第二时长，NUM表示为待检测对象在待检测画面中出现的帧数，FPS表示为待检测画面的帧率。

步骤S450：利用所述多个待检测对象的总活动量与所述第二时长的比值，获得所述多个待检测对象在所述待检测空间的平均活动量。

在一些实施方式中，利用多个待检测对象的总活动量与第二时长的比值，也就是多个待检测对象的总活动量除以第二时长，就可以获得待检测空间的平均活动量，计算公式可以为

其中，L表示为检测对象的平均活动量，A表示为多个待检测对象的活动消耗数据，H表示为任意待检测对象在待检测画面中存在的时长即为第二时长。

本申请一个实施例提供的活动检测方法，相较于图1所示的活动检测方法，本实施例可以检测待检测画面中多个待检测对象，通过监测到的多个待检测对象各自对应的对象框的变化和所述多个待检测对象各自的多个关键点的变化，确定多个待检测对象的活动量，再获取待检测画面中存在任一待检测对象的时长，获取待检测空间的平均活动量，从而实现确定待检测空间的平均活动量，不需要对待检测对象进行识别就可以对待检测空间的平均活动量进行计算，同时简化活动检测的相关计算，提高计算速度。

请参阅图10，图10示出了本申请一个实施例提供的活动检测方法的流程示意图。下面将针对图10所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S510：获取待检测画面。

其中，步骤S510的具体描述请参阅步骤S110，在此不再赘述。

步骤S520：从所述待检测画面中获取待确定对象，并提取所述待确定对象的特征信息。

在一些实施方式中，可以通过人体检测算法从待检测画面中获取待确定对象，并可以通过人体识别算法提取从待检测画面中获取的待确定对象的特征信息。

步骤S530：当所述待确定对象的特征信息与预设特征信息匹配时，将所述待确定对象确定为所述待检测对象。

在一些实施方式中，电子设备可以预先设置并存储有预设特征信息以及相似度阈值，将待确定对象的特征信息与预设特征信息进行比较，获取的相似度，将该相似度与相似度阈值进行比较。当待确定对象的特征信息与预设特征信息的相似度大于相似度阈值时，说明待确定对象的特征信息与预设特征信息匹配，将待确定对象确定为待检测对象；当待确定对象的特征信息与预设特征信息的相似度小于相似度阈值时，说明待确定对象的特征信息与预设特征信息不匹配，将待确定对象不确定为待检测对象。

步骤S540：从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点。

步骤S550：基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

其中，步骤S540-步骤S550的具体描述请参阅步骤S120-步骤S130，在此不再赘述。

本申请一个实施例提供的活动检测方法，相较于图1所示的活动检测方法，本实施例可以从待检测画面中获取待确定对象并提取该检测对象的特征信息，根据预设特征信息识别该待检测对象，从而通过识别待检测画面中的待检测对象，实现对需要检测活动量的待检测对象单独进行活动量的检测。

请参阅图11，图11示出了本申请一个实施例提供的活动检测方法的流程示意图。下面将针对图11所示的流程进行详细的阐述，所述活动检测方法具体可以包括以下步骤：

步骤S610：获取待检测画面。

其中，步骤S610的具体描述请参阅步骤S110，在此不再赘述。

步骤S620：基于人体检测算法，从所述待检测画面中确定所述待检测对象对应的对象框。

在一些实施方式中，可以通过人体检测算法，从待检测画面中确定待检测对象的对象框，其中，人体检测算法可以包括YOLO(You Only Look Once)算法以及SSD(SingleShot MultiBox Detector)算法等，在此不做限定。

步骤S630：基于人体关键点检测算法，从所述待检测画面中确定所述待检测对象的多个关键点。

在一些实施方式中，可以通过人体关键点检测算法，从待检测画面中确定待检测对象的多个关键点，其中，人体关键点检测算法可以包括OpenPose算法、MSCOCO算法以及MPII算法等，在此不做限定。

步骤S640：基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

其中，步骤S640的具体描述请参阅步骤S130，在此不再赘述。

本申请一个实施例提供的活动检测方法，相较于图1所示的活动检测方法，本实施例可以通过人体检测算法确认待检测对象的对象框以及通过关键点检测算法确定待检测对象的多个关键点，并通过监测到的待检测对象对应的对象框的变化和待检测对象的多个关键点的变化，计算待检测对象的活动量，从而通过对待检测画面分析，实现确定待检测对象活动量，不需待检测对象佩戴相关活动量检测设备以及不需要获取待检测对象的个人信息，保护待检测对象的隐私信息。

本申请还提供一种应用场景，上述活动检测方法在该应用场景的应用可以如下：

智能家居系统中的摄像头采集图像后，通过网关或服务器或终端对图像进行活动检查，计算得到人体活动量后，生成运动报告发送给用户终端，进一步根据人体活动量和用户身份信息如年龄，向用户推送合适的运动指导，如室内的瑜伽、有氧操等推荐运动，若用户发出相应的运动指令，则可以控制当前家居环境的各智能设备执行与该运动对应的场景模式等。

智能家居系统中的摄像头采集图像后，通过网关或服务器或终端对图像进行活动检查，计算得到人体活动量后，还可以向用户输出每天的运动量报告，并且根据用户每天的运动量给出合理的建议和调整。

智能家居系统中的摄像头采集图像后，通过网关或服务器或终端对图像进行活动检查，计算得到采集图像中的多个人体活动量后，对多个人体活动量进行排序，则可以向用户输出运动量排行榜。

请参阅图12，图12示出了本申请实施例提供的活动检测装置400的模块框图。下面将针对图12所示的框图进行阐述，所述活动检测装置400包括：检测画面获取模块410、待检测对象对应数据确定模块420以及活动量计算模块430，其中：

待检测画面获取模块410，用于获取待检测画面。

待检测对象对应数据确定模块420，用于从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点。

进一步地，待检测对象对应数据确定模块420包括：多个待检测对象对应信息确定子模块，其中：

多个待检测对象对应数据确定子模块，用于从所述待检测画面中确定所述多个待检测对象各自对应的对象框，并从所述待检测画面中确定所述多个待检测对象各自的多个关键点。

进一步地，待检测对象对应数据确定模块420还包括：特征信息提取子模块以及待检测对象确定子模块，其中：

特征信息提取子模块，用于从所述待检测画面中获取待确定对象，并提取所述待确定对象的特征信息。

待检测对象确定子模块，用于当所述待确定对象的特征信息与预设特征信息匹配时，将所述待确定对象确定为所述待检测对象。

进一步地，待检测对象对应数据确定模块420还包括：对象框确定子模块以及关键点确定子模块，其中：

对象框确定子模块，用于基于人体检测算法，从所述待检测画面中确定所述待检测对象对应的对象框。

关键点确定子模块，用于基于人体关键点检测算法，从所述待检测画面中确定所述待检测对象的多个关键点。

活动量计算模块430，用于基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

进一步地，活动量计算模块430包括：对象框平均大小获取子模块、多个关键点位移获取子模块以及活动量获取子模块，其中：

对象框平均大小获取子模块，用于获取所述待检测对象对应的对象框在每相邻两帧图像中的平均大小。

多个关键点位移获取子模块，用于获取所述待检测对象的多个关键点在每相邻两帧图像中的位移。

活动量获取子模块，用于基于所述待检测对象对应的对象框在所述每相邻两帧图像中的平均大小，以及所述待检测对象的多个关键点在所述每相邻两帧图像中的位移，计算所述待检测对象的活动消耗数据。

进一步地，活动量获取子模块包括：相对位移量获取单元以及待检测对象的活动量获取单元，其中：

相对位移量获取单元，用于利用每相邻两帧图像对应的所述待检测对象的多个关键点的位移，与所述待检测对象对应的对象框的平均大小的比值，获得所述待检测对象在每相邻两帧图像的相对位移量。

待检测对象的活动量获取单元，用于对所述待检测对象在每相邻两帧图像的相对位移量进行累加，获得所述待检测对象的活动消耗数据。

进一步地，活动量计算模块430还包括：总活动量获取子模块、第二时长获取子模块以及待检测空间的平均活动量获取子模块，其中：

总活动量获取子模块，用于基于对所述待检测对象进行追踪监测到的所述多个待检测对象各自对应的对象框的变化，以及所述多个待检测对象各自的多个关键点的变化，计算所述多个待检测对象的总活动消耗数据。

第二时长获取子模块，用于获取所述待检测画面中存在所述多个待检测对象中的任意待检测对象的时长，作为第二时长。

待检测空间的平均活动量获取子模块，用于利用所述多个待检测对象的总活动量与所述第二时长的比值，获得所述多个待检测对象在所述待检测空间的平均活动量。

进一步地，动量确定装置400还包括：第一时长获取模块以及待检测对象的平均活动量获取模块，其中：

第一时长获取模块，用于获取所述待检测对象在所述待检测画面中存在的时长，作为第一时长。

待检测对象的平均活动量获取模块，用于利用所述待检测对象的活动消耗数据与所述第一时长的比值，获得所述待检测对象的平均活动量。

进一步地，第一时长获取模块包括：帧数以及帧率获取子模块以及第一时长计算模块，其中：

帧数以及帧率获取子模块，用于获取所述待检测对象在所述待检测画面中存在的帧数，以及所述待检测画面的帧率。

第一时长计算模块，用于基于所述帧数和所述帧率，获取所述待检测对象在所述待检测画面中存在的时长，作为所述第一时长。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图13，其示出了本申请实施例提供的一种电子设备100的结构框图。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的活动检测方法、装置、电子设备以及存储介质，获取待检测画面，从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，基于监测到的所述待检测对象对应的对象框的变化和所述待检测对象的多个关键点的变化，计算所述待检测对象的活动量，从而不需要待检测对象佩戴检测设备以及不需要获取待检测对象的个人信息，实现确定待检测对象的活动量，同时简化与活动检测的相关计算，提升计算速度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是智能网关，手机，计算机，服务器，空调器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请各实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护范围之内。

Claims (12)

1.一种活动检测方法，其特征在于，所述方法包括：

获取待检测画面；

从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点；

基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

2.根据权利要求1所述的方法，其特征在于，所述待检测画面包括至少两帧图像，所述基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据，包括：

获取所述待检测对象对应的对象框在每相邻两帧图像中的平均大小；

获取所述待检测对象的多个关键点在每相邻两帧图像中的位移；

基于所述对象框在所述每相邻两帧图像中的平均大小，以及所述待检测对象的多个关键点在所述每相邻两帧图像中的位移，计算所述待检测对象的活动消耗数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述对象框在所述每相邻两帧图像中的平均大小，以及所述待检测对象的多个关键点在所述每相邻两帧图像中的位移，计算所述待检测对象的活动消耗数据，包括：

利用每相邻两帧图像对应的所述待检测对象的多个关键点的位移，与所述待检测对象对应的对象框的平均大小的比值，获得所述待检测对象在每相邻两帧图像的相对位移量；

对所述待检测对象在每相邻两帧图像的相对位移量进行累加，获得所述待检测对象的活动消耗数据。

4.根据权利要求1所述的方法，其特征在于，在基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据之后，还包括：

获取所述待检测对象在所述待检测画面中存在的时长，作为第一时长；

利用所述待检测对象的活动消耗数据与所述第一时长的比值，获得所述待检测对象的平均活动量。

5.根据权利要求4所述的方法，其特征在于，所述获取所述待检测对象在所述待检测画面中存在的时长，作为第一时长，包括：

获取所述待检测对象在所述待检测画面中存在的帧数，以及所述待检测画面的帧率；

基于所述帧数和所述帧率，获取所述待检测对象在所述待检测画面中存在的时长，作为所述第一时长。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述待检测画面用于表征待检测空间的画面，所述待检测空间内包括多个待检测对象，所述从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，包括：

从所述待检测画面中确定所述多个待检测对象各自对应的对象框，并从所述待检测画面中确定所述多个待检测对象各自的多个关键点；

所述基于对所述待检测对象进行追踪监测到的所述对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据，包括：

基于对所述待检测对象进行追踪监测到的所述多个待检测对象各自对应的对象框的变化，以及所述多个待检测对象各自的多个关键点的变化，计算所述多个待检测对象的总活动消耗数据。

7.根据权利要求6所述的方法，其特征在于，在基于对所述待检测对象进行追踪监测到的所述多个待检测对象各自对应的对象框的变化，以及所述多个待检测对象各自的多个关键点的变化，计算所述多个待检测对象的总活动消耗数据之后，还包括：

获取所述待检测画面中存在所述多个待检测对象中的任意待检测对象的时长，作为第二时长；

利用所述多个待检测对象的总活动量与所述第二时长的比值，获得所述多个待检测对象在所述待检测空间的平均活动量。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，包括：

从所述待检测画面中获取待确定对象，并提取所述待确定对象的特征信息；

当所述待确定对象的特征信息与预设特征信息匹配时，将所述待确定对象确定为所述待检测对象。

9.根据权利要求1-5任一项所述的方法，其特征在于，所述从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点，包括：

基于人体检测算法，从所述待检测画面中确定所述待检测对象对应的对象框；

基于人体关键点检测算法，从所述待检测画面中确定所述待检测对象的多个关键点。

10.一种活动检测装置，其特征在于，所述装置包括：

待检测画面获取模块，用于获取待检测画面；

待检测对象对应数据确定模块，用于从所述待检测画面中确定待检测对象对应的对象框，并从所述待检测画面中确定所述待检测对象的多个关键点；

活动量计算模块，用于基于对所述待检测对象进行追踪监测到的所述待检测对象对应的对象框的变化，以及所述待检测对象的多个关键点的变化，计算所述待检测对象的活动消耗数据。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。

Images