CN113158917A - 行为模式识别方法及装置 - Google Patents

Abstract

本申请公开了一种行为模式识别方法及装置，属于通信技术领域。行为模式识别方法，包括：获取音频信息和用户的运动信息；在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

Description

行为模式识别方法及装置

技术领域

本申请属于通信技术领域，具体涉及一种行为模式识别方法及装置。

背景技术

目前，一些电子设备具有识别用户当前行为模式的功能。例如，智能穿戴设备可以根据检测到的运动信息，识别出用户当前具体处于例如步行、跑步或者骑行的运动模式，还是处于休息模式。然而，现有技术中，电子设备难以对舞蹈等类型的行为模式进行准确的识别。

发明内容

本申请实施例的目的是提供一种行为模式识别方法及装置，能够解决现有技术电子设备难以准确识别舞蹈等类型的行为模式的问题。

第一方面，本申请实施例提供了一种行为模式识别方法，该方法包括：

获取音频信息和用户的运动信息；

在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

第二方面，本申请实施例提供了一种行为模式识别装置，该装置包括：

第一获取模块，用于获取音频信息和用户的运动信息；

识别模块，用于在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法。

本申请实施例提供的行为模式识别方法，获取音频信息和用户的运动信息，在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。本申请基于音频信息的音频特征点与运动信息中第一动作的匹配关系，可以比较准确地识别出来例如跳舞等类型的目标行为模式。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本申请实施例提供的行为模式识别方法的流程示意图；

图2是本申请实施例中智能耳机获取音频信息的一个场景示例图；

图3是本申请实施例提供的行为模式识别方法在一个应用场景中的流程示意图；

图4是本申请实施例中智能耳机获取音频信息的另一个场景示例图；

图5是本申请实施例提供的行为模式识别方法在另一个应用场景中的流程示意图；

图6是本申请实施例提供的行为模式识别装置的结构示意图；

图7是本申请实施例提供的电子设备的结构示意图；

图8是实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的行为模式识别方法进行详细地说明。

如图1所示，本申请实施例提供的行为模式识别方法，包括：

步骤101，获取音频信息和用户的运动信息；

步骤102，在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

本申请实施例提供的行为模式识别方法，可以应用于例如智能手环或智能手表等类型的穿戴类设备中，也可以应用于例如手机等类型的移动终端中，此处不做具体限定，保证这些类型的电子设备能够获取运动信息与音频信息即可。

为简化描述，以下主要以电子设备为智能手表为例进行说明。其中，该智能手表可以集成有重力传感器、加速度传感器或者其他类型的运动传感器，用于采集用户的运动信息。

此外，该智能手表还可以集成有麦克风，用于采集周边环境中的音频信息；当然，在一些可行的实施方式中，智能手表可以通过蓝牙、WiFi或者其他通信模块与移动终端进行连接，基于通信模块，可以获取到移动终端发送的音频信息。

一般来说，智能手表可以采集用户的运动信息，来识别用户当前的行为模式，比如跑步、散步等运动模式，或者休息模式等。然而，现有的智能手表一般较难识别出用户当前是否处于跳舞、瑜伽等类型的行为模式。

在一些行为模式中，智能手表可能会接收到音频信息。例如，用户在跑步的过程中，可能会播放音乐，或者跑步环境中本身存在较大的环境声音。再例如，用户在跳舞的过程中，可能会播放音乐，随着音乐的节奏做出相应的舞蹈动作。再例如，用户在做瑜伽的过程中，可能会播放带有音乐的动作引导音频等。

本实施例中，可以预先定义目标行为模式。总的来说，目标行为模式可以是指用户动作与音频需要存在一定匹配关系的行为模式。

比如，在跳舞的行为模式下，用户可能会随着音乐的节奏做出相应的运动幅度或运动频率；或者在音乐的低音节点做出一些固定的动作等。

再比如，在瑜伽的行为模式下，用户可能随着引导语音，进行姿势的变化，并产生相应的运动信息；而在音乐播放阶段，可能保持姿势大致不变，相应产生运动信息的运动强度较小。

而相反地，在跑步等的行为模式，用户的手臂可能一直按一定的频率与幅度进行摆动，与播放音乐的节奏或音调的变化之间缺少匹配性。

为简化描述，以下将主要以行为模式识别方法的执行主体为智能手表，以目标行为模式为跳舞的行为模式为例进行说明。

结合一些应用场景，用户可能在跳舞的过程中佩戴有智能手表，并通过耳机或者音响收听音乐。

一般来说，在智能手表配置有麦克风等音频接收装置的情况下，可以采集到音响播放的音乐。即智能手表可以检测到上述的音频信息。

当然，在一些示例中，也可以是用户通过在智能手表上手动输入，或者语音输入等，触发智能手表采集环境中的音频信息以判断用户是否处于目标行为模式，避免环境中非音乐的音频信息频繁触发对目标行为模式的判断过程。

在用户使用耳机收听音乐的过程中，可能并无外放的与音乐关联的音频信号。如图2所示，图2示出了在用户使用耳机收听音乐的场景下，智能手表获取音频信息的一个示例图。

在图2所示场景中，包括了手机(记为C)、耳机(记为S)以及智能手表(记为W)，其中，手机C分别通信连接至智能手表W与耳机S。音频信号来自手机C，当手机C播放音乐时，可以通知智能手表W，并将音频信号发送至智能手表W。在这种情况下，可以认为智能手表W检测到音频信息。

结合一些应用场景的举例，智能手表某一时刻检测到音乐等类型音频信息，但此时用户可能是在跳舞，也有可能是在休息或者跑步等。

因此，在检测到音频信息的情况下，智能手表可以采集用户的运动信息，并根据音频信息与用户的运动信息的匹配关系，来确定用户的行为模式是否为目标行为模式。

如上文所示的，智能手表可以包括运动传感器，用于采集用户的运动信息。一般情况下，若用户处于休息状态，则用户的运动信息可能指示用户运动强度较弱；而若用户处于走路、跑步等运动模式下，运动信息可能指示用户的手臂呈规律性的摆动等。

换而言之，基于用户的运动信息的分析，实际可以检测出休息模式，或者一些例如走路、跑步、骑行等常规的运动模式。在排除了休息模式与这些常规的运动模式的情况下，在一定程度上可以认为用户处于跳舞等类型的目标行为模式。

当然，本实施例中，可以根据音频信息中的音频特征点与用户的运动信息中的第一动作的匹配关系，来比较准确地判断用户是否确实处于跳舞的行为模式。

一般来说，音频信号中可能会存在音频特征点，例如音调低于预设值的低音节点、节奏明显加快的节点等。

如果在这些音频特征点处检测到一些第一动作，例如摆臂加速度大于加速度阈值，或者摆臂距离大于距离阈值，或者肌肉收缩或舒张强度大于强度阈值的动作等，则可以认为音频信息的音频特征点与用户的运动信息中第一动作是匹配的，进而可以判断用户的行为模式为跳舞的行为模式。

本申请实施例提供的行为模式识别方法，获取音频信息和用户的运动信息，在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。本申请基于音频信息的音频特征点与运动信息中第一动作的匹配关系，可以比较准确地识别出来例如跳舞等类型的目标行为模式。

结合上文实施例的描述，在一个示例中，如果在音频特征点检测到第一动作的情况下，判定音频信息的音频特征点与用户的运动信息中第一动作匹配。

如上文所示的，对于音乐等类型的音频信息，其中通常会具有低音节点，或者是节奏变化的节点等等，这些节点可以认为是音频信息中的音频特征点。

一般情况下，在跳舞等行为模式下，当音乐播放至音频特征点时，用户可能会进行相应的舞蹈动作，例如摆臂、跳跃等，这些舞蹈动作均可以反映到用户的运动信息中。例如，用户手臂的运动方向、运动加速度、摆动幅度运动加速度，或者是肌肉的收缩与舒张频率等。

上述的第一动作，可以是上述舞蹈动作。当然，在实际应用中，如果目标行为模式为瑜伽等行为模式时，第一动作也可以是瑜伽动作等。

若在音频特征点检测到第一动作，则可以判定音频信息与用户的运动信息匹配。

当然，在实际应用中，判断音频信息的音频特征点是否与用户的运动信息中第一动作匹配，也可以是结合一预设时间段内用户运动信息与音频信息的匹配程度，或者说契合度进行判断的。例如，在一预设时间段内，可能存在5个音频特征点，如果在至少4个音频特征点检测到第一动作，可以认为音频信息的音频特征点是否与用户的运动信息中第一动作匹配。

本示例中，结合基于音频信息中的音频特征点与用户的运动信息中第一动作，可以比较准确地判断出用户的行为模式是否处于跳舞等类型的目标行为模式。

可选地，上述步骤102，在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式之后，行为模式识别方法还可以包括：

获取所述音频信息对应的参考运动数据，所述参考运动数据记录有所述音频信息的音频特征点对应的参考动作；

比对所述音频特征点对应的参考动作与所述音频特征点对应的第二动作，输出所述参考动作与所述第二动作之间的相似度，其中，所述用户的运动信息包括所述第二动作。

本实施例中，在检测到用户的行为模式为目标行为模式的情况下，可以获取音频信息对应的参考运动数据，而参考运动数据可以记录有音频特征点与参考动作之间的关联关系。

举例来说，在跳舞的行为模式下，智能手表可能会采集到伴舞音乐。一般情况下，在伴舞音乐中，会存在响度、音调或者节奏的变化。比如，伴舞音乐中可能存在一些低音节点(音调低音某一预设值的节点)，或者是节奏明显加快的节点等等。这些低音节点，或者节奏明显加快的节点，均可以认为是上述的音频特征点。

在一些舞蹈种类中，各音频特征点可能对应有特定的舞蹈动作。比如，街舞的popping(震感舞，也称为机械舞)在遇到音乐中的低音节点的时候，一般伴随着一个肌肉快速收缩和舒张的动作；街舞中的locking(锁舞)在遇到音乐中的低音节点的时候，一般伴随着一个锁定的动作。上述舞蹈动作通常可以对应有相应的动作特征，比如摆臂的加速度大于一加速度阈值，或者连续摆臂的时间超过一时间阈值等。这些动作特征可以通过参考动作的方式进行表现。

综上，音频信息中可能存在一些音频特征点，各类音频特征点可以关联有相应的参考动作。而一般来说，对于不同种类的音频信息，同一类音频特征点关联的参考动作可能存在不同。也就是说，一种类型的音频信息，可以对应有一套音频特征点与参考动作的关联关系，该关联关系可以记录在上述的参考运动数据中。

值得说明的是，这里所示的音频信息的种类，可以指该音频信息对应的歌曲名称，也可以是指该音频信息对应的歌曲风格或者舞蹈种类等，此处不做具体限定。

结合上文描述，在获取到音频信息的基础上，该音频信息对应的参考运动数据也是可以获取的。

在将用户的行为模式识别为目标行为模式情况下，可以持续对音频信息与用户的运动信息进行采集，在音频信息播放至音频特征点的情况下，可以比对用户的运动信息中的第二动作与参考动作，输出比对结果。

举例来说，当检测到音乐播放到一个低音节点位置时，可以认为音频信息播放至一个音频特征点。此时，可以基于参考运动数据，获得与该音频特征点关联的参考动作；此外，还可以获取到基于运动传感器采集到的用户的运动信息，用户的运动信息包括音频特征点对应的第二动作(可以认为是用户在音频特征点的播放时间点所作出的动作)。在此情况下，可以比对参考动作与第二动作，得到比对结果。该比对结果可以指示参考动作与第二动作之间的相似度或匹配度。

例如，在上述的低音节点处，参考动作指示此时需要手臂产生一加速度大于2m/s²的运动。若基于运动传感器检测到用户手臂产生的加速度为1.5m/s²，则可以输出一种比对结果，指示第二动作与参考动作的相似度较低；若基于运动传感器检测到用户手臂产生的加速度为2.1m/s²，则可以输出另一种比对结果，指示第二动作与参考动作的相似度较高。

一般来说，用户的运动信息与参考动作的相似度越高，可以说明用户的运动与音频越匹配，或者说运动与音频契合度越高。因此，比对结果也可以用于指示用户在运动过程中动作完成的质量。此外，基于比对结果的输出，也有助于用户后续根据比对结果对自身的动作进行纠正。

至于输出可用于指示参考动作与第二动作之间的相似度的比对结果的具体方式，可以是发送、显示、播放或者存储该比对结果，此处不做具体限定。

以输出比对结果的执行主体为智能手表为例，智能手表可以是将比对结果输出至自身的显示设备进行显示。或者，可以是将比对结果输出至自身的音频设备进行语言提示。或者，可以将比对结果发送至与该自身通信连接的移动终端。或者，也可以对比对结果进行存储，并在退出跳舞的行为模式后，结合对比结果生成评价信息显示在自身的显示设备。

本申请实施例提供的行为模式识别方法，在检测到用户的行为模式为目标行为模式的情况下，获取音频信息对应的参考运动数据，参考运动数据中记录有音频信息的音频特征点对应的参考动作，在音频信息播放至音频特征点的情况下，比对用户的第二动作与参考动作，输出两类动作之间的相似度。本申请实施例可以基于音频信息对应的参考运动数据，向用户提供有关自身运动信息与音频信息契合度的比对结果，满足用户对动作完成质量的获知需求。

在一个实施方式中，步骤102，在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式之前，行为模式识别方法还包括：

在所述用户的运动信息所包括的运动强度值大于预设值的情况下，根据所述用户的运动信息确定用户的初始行为模式；

在初始行为模式不为预设运动模式的情况下，比对所述音频信息的音频特征点与所述用户的运动信息中第一动作。

同样结合智能手表的应用场景，智能手表可以持续对用户的运动信息进行采集。当在某一时段内，基于采集的运动信息判定到用户的活动较多时，可能是用户处于例如跳舞的目标行为模式。

而用户活动较多这一判定结果，可以是在运动信息所包括的运动强度值大于预设值的情况下得到。举例来说，在预设时长内，用户的运动距离大于距离阈值，或者是指肌肉收缩与舒张的频率大于频率阈值等情况下，可以认为运动信息所包括的运动强度值大于预设值。

当然，用户活动较多，也有可能是用户处于走路、跑步或者骑行等常规的运动模式。因此，此时可以进一步对运动信息进行分析，判断用户具体是处于何种行为模式。

如上文所示的，当用户处于走路、跑步或者骑行等常规的运动模式下，通过会存在手臂的规律性摆动，或者肌肉的规律性舒张与收缩等。这些常规的运动模式，可以对应的是上述的预设运动模式。

一般来说，预设运动模式可以是相对比较容易识别出的行为模式，例如上述常规的运动模式。而对于跳舞的行为模式，不同的舞种具有不同的动作要求，相对来说，比较难以单纯从运动信息中获得该行为模式的运动规律。

因此，本实施方式中，可以根据用户的运动信息先确定一初始行为模式。如果初始行为模式指示了用户处于走路、跑步等预设运动模式下，可以无需进一步考虑用户是否处于跳舞等目标行为模式。

相反地，如果该初始行为模式指示用户并非是处于预设运动模式，则可以进一步检测用户是否处于跳舞等目标行为模式。

结合上文实施例，判断用户的行为模式是否为跳舞这类目标行为模式，可以基于采集到的音频信息与用户的运动信息进行判断。当音频信息的音频特征点与用户的运动信息中的第一动作匹配的情况下，可以判定用户的行为模式为目标行为模式。

可见，本实施方式中，可以是在用户的运动信息满足特定的条件下，再采集音频信息以判断用户的行为模式是否为目标行为模式。如此，有助于避免环境中的非音乐音频信息频繁地唤醒目标行为模式的判断过程，减少电子设备的算力消耗。

可选地，上述获取音频信息对应的参考运动数据，包括：

识别音频信息，得到音频信息对应的音频类型；

根据音频信息对应的音频类型，以及参考运动数据与音频类型的预设关联关系，获取音频信息对应的参考运动数据。

同样以目标行为模式为跳舞的行为模式为例。采集的音频信息可能包括了伴舞音乐。

一般来说，不同的舞种，对应的伴舞音乐通常不同，对舞蹈动作的要求通常也是不同的。因此，在得到伴舞音乐的基础上，可能需要对该伴舞音乐对应的舞种进行识别，进而提供与该舞种匹配的参考舞蹈动作。

容易理解的是，这里的舞种，可以对应上述的音频类型。换而言之，音频信息的音频类型，可以是指音频信息所对应的舞种。当然，在实际应用中，音频信息的音频类型，也可以是指音频信息中音乐的音乐名称或者音乐风格等。

此外，上述的参考舞蹈动作，相应地可以对应为参考运动数据。例如，上文中提到，街舞中的popping在遇到音乐中的低音节点的时候，一般伴随着一个肌肉快速收缩和舒张的动作。该肌肉快速收缩和舒张的动作即为参考舞蹈动作。而通过体现在参考运动数据中，可以是低音节点对应有一指示肌肉快速收缩和舒张的参考动作。

通常来说，可以对采集的音频信息进行识别，来确定音频类型。举例来说，智能手表在采集到音频信息后，可以根据音频信息的节奏、音调等，来确定音频信息是否包括音乐，并在包括音乐的情况下，确定该音乐属于何种风格的音乐。

此处的音乐风格，可以认为是音频信息的音频类型。在音频类型确定的情况下，可以进一步根据参考运动数据与音频类型之间的预设关联关系，获取音频信息对应的参考运动数据。

当然，智能手表也可以将采集到的音频信息发送至服务器，服务器可以对音频信息进行识别，得到音频信息的音频类型。

举例来说，服务器可以使用预设的音乐库对音频信息进行匹配，得到音频信息的音乐名称。音乐名称本身可以作为音频信息的音频类型。当然，也可以根据音乐名称进一步确定音乐风格，或者对应的舞种等，并将音乐风格或者舞种作为音频信息的音频类型。

服务器可以根据参考运动数据与音频类型之间的预设关联关系，确定出音频信息对应的参考运动数据，并进一步发送至智能手表。

从智能手表的角度来说，可以是采集音频信息，将音频信息发送至服务器，再接收服务器发送的参考运动数据，实现对音频信息对应的参考运动数据的获取。

本实施例中，通过对音频信息进行识别得到音频类型，并结合参考运动数据与音频类型之间的预设关联关系，得到音频信息对应的参考运动数据。有助于使得音频信息与获取的参考运动数据之间具有较高的匹配度。

同样为了使得音频信息与获取的参考运动数据之间具有较高的匹配度，在一个可选的实施例中，上述比对所述音频特征点对应的参考动作与所述音频特征点对应的第二动作，输出所述参考动作与所述第二动作之间的相似度之后，行为模式识别方法还包括：

使用相似度更新参考运动数据；

依据更新后的参考运动数据，对用户的运动信息生成运动评价信息。

本实施例中，可以认为存在一作为中间比对结果的相似度，在得到该中间比对结果后，可以结合该中间比对结果对获取的参考运动数据进行确认。

结合一些应用场景，单纯依据音频信号确定的参考对应数据，可能会存在一些偏差。

例如，用户当前处于跳舞的行为模式，且具体为舞种为上述的popping。基于采集到的伴舞音乐，智能手表得到的参考运动数据(记为参考运动数据A)，可能是上述的locking舞种对应的参考运动数据。

在使用参考运动数据A中的参考动作与用户的运动信息进行比对时，可能会出现在较多的低音节点处，用户的运动信息与参考动作均不匹配的情况。此时，可以根据中间比对结果，更新参考运动数据，例如，将参考运动数据A更新为popping舞种对应的参考运动数据B。

后续则可以是用参考运动数据B中的参考运动数据，与用户的运动信息进行比对，以判断用户的舞蹈动作的完成质量。例如，在一个低音节点处，用户的动作信息与参考动作信息完全匹配时，可以认为一个好的卡点，好的卡点使得观众在观看表演时视觉和听觉刺激效果保持一致，相应地，用户的舞蹈动作的完成质量越高。

而具体到本实施例中，舞蹈动作的完成质量可以体现在生成的运动评价信息中。

当然，如果根据上述的中间比对结果，判定音频信息与参数运动数据是相匹配的，则更新参考运动数据的过程，可以认为是对参考运动数据的确认过程，或者认为是对舞种的确定过程。

本实施例基于中间比对结果更新参考运动数据，可以保证用于评价用户运动质量的参考运动数据的准确性，提高运动评价信息的合理性。

在一些示例中，可以对生成的运动评价信息进行输出，例如可以是显示、语音播放、存储运动评价信息，也可以将运动评价信息发送至例如手机的终端设备等，此处不做具体限定。

可选地，上述比对音频特征点对应的参考动作与音频特征点对应的第二动作，输出参考动作与第二动作之间的相似度之后，行为模式识别方法还可以包括：

采集用户的身体指标信息；

根据相似度与身体指标信息生成运动评价信息。

身体指标信息，可以是指用户的心率、血氧或者其他类型的身体指标的信息。通常来说，对于例如智能手表等类型的穿戴设备，可以对这些身体指标信息进行采集。

本实施例中，可以结合参考动作与第二动作之间的相似度与身体指标信息生成运动评价信息。

容易理解的是，在以参考动作为标准的情况下，可以对用户的第二动作进行评价，例如评价用户的运动程度，或者动作是否符合标准等。

至于心率、血氧等类型的身体指标信息，同样也可以作为评价用户运动质量的因素。举例来说，当用户以尽可能多地消耗卡路里为目标跳舞时，心率越高，往往代表运动越剧烈，卡路里消耗越多，相应地，对运动质量的评价可以越高。相反地，如果用户以舒缓身心为目的跳舞时，心率超过一定阈值后，心率越高，可能导致对运动质量的评价越低。

而用户跳舞具体是为了尽可能多地消耗卡路里，还是为了舒缓身心，可用户在智能手表上设置的参数进行判断；当然，也可以根据音频信息的音频类型进行判断等。

本实施例中，结合参考动作与第二动作之间的相似度与身体指标信息生成运动评价信息，可以从多个维度评价用户的运动情况，提高运动评价信息的灵活性与合理性。

以下结合两个具体应用场景，对本申请实施例提供的行为模式识别方法进行说明。

如图2所示，在一个具体应用场景中，手机C分别通信连接至智能手表W与耳机S。音频信号来自手机C，当手机C播放音乐时，可以通知智能手表W，并将音频信号发送至智能手表W。

相应地，如图3所示，在该具体应用场景中，行为模式识别方法可以应用于智能手表中，且方法可以包括如下步骤：

步骤301，持续判断手机是否在播放音频；若判定手机在播放音频，执行步骤302；

如上文所示，手机在播放音乐时，可以通知智能手表，以使得智能手表能够判定手机在播放音频。

步骤302，持续判断用户是否进入了运动模式；若判定用户进入了运动模式，执行步骤303；

本步骤中，可以根据获取的用户的运动信息，判断用户运动强度是否达到运动模式对应的运动强度标准。

这里的运动模式，可能是走路、跑步、骑行等行为模式，也可以是指跳舞的行为模式。

步骤303，将用户的运动信息与音频信息做对比；

本步骤中，可以是获取音频信号的音频特征点，例如低音节点等，并判断在这些音频特征点是否存在舞蹈动作。该过程在一定程度上可以认为是比对用户的运动信息与音频信息的过程。

步骤304，判断用户是否进入了舞蹈模式；若是执行步骤305，若否，返回执行步骤303；

在一个举例中，如果在某一时间段内，各个音频特征点，均存在对应为舞蹈动作的运动信息，则可以认为用户进入了舞蹈模式。

步骤305，进入舞蹈模式；

本步骤中，可以认为是从智能手表的角度，将用户当前的行为模式设定为舞蹈模式。

在舞蹈模式下，智能手表可以根据音频信息，获取对应的参考运动数据，以用于对用户的舞蹈运动数据进行评价。

步骤306，采集用户数据；

本步骤中，智能手表可以采集用户的运动信息，例如各个音频特征点的第二动作。当然，智能手表也可以采集用户的心率、血氧或者其他类型的身体指标。

步骤307，判断用户是否退出舞蹈模式；若是，则执行步骤308；若否，返回执行步骤306；

举例来说，可以通过判断音频信号是否减弱或消失，或者通过判断用户的运动强度是否低于强度阈值，或者判断音频信号与用户的运动信号是否匹配，来判断用户是否退出舞蹈模式。当然，也可以基于用户在智能手表上的输入，来判断用户是否退出舞蹈模式。

步骤308，退出舞蹈模式，输出用户的舞蹈数据与评价；

本步骤中，智能手表可以直接显示舞蹈数据与评价，或者将舞蹈数据与评价发送至手机以在手机在显示等。

舞蹈数据与评价，可以是根据用户的第二动作与参考动作的匹配程度生成的；或者，也可以是进一步结合用户的用户心率、血氧等身体指标生成的。

在一些举例中，舞蹈数据与评价可以用来帮助用户分析自身舞蹈动作和音乐的契合度，以便于帮助用户更快的纠正自身的舞蹈动作，提升用户体验。

如图4所示，在一个具体应用场景中，音频信息可以是由外部的喇叭R播放，智能手表W可以基于麦克风采集音频信息。当然，作为可选方案，智能手表W也可以进一步连接有手机C。

相应地，如图5所示，在该具体应用场景中，行为模式识别方法可以应用于智能手表中，且方法可以包括如下步骤：

步骤501，持续判断用户活动是否满足运动强度条件，若是，执行步骤502；

本步骤中，可以基于智能手表采集的用户的运动信息，来判断用户活动是否满足运动强度条件。该运动强度条件，可以是对应一个时间段中，用户运动的距离条件，肌肉收缩与舒张的强度条件或频率条件等。

从另一个角度来说，本步骤可以认为是判断用户活动是否变多。

步骤502，判断用户是否进入了运动模式；若是，执行步骤503；若够，返回执行步骤501；

步骤503，打开麦克风，接收外部音频信号；

步骤504，判断外部音频信号是否为音乐；若是，执行步骤505；若否，返回执行步骤503；

本步骤中，智能手表可以是直接对音频信号进行识别，判断其是否为音乐；也可以是是将音频信号发送至服务器，接收服务器对音频信号的识别结果来判断音频信号是否为音乐。

步骤505，将用户的运动信息与音频信号做比对；

步骤506，判断用户是否进入了舞蹈模式；若是，执行步骤507，若否，返回执行步骤505；

步骤507，进入舞蹈模式；

步骤508，采集用户数据；

步骤509，判断用户是否退出舞蹈模式；若是，执行步骤510；若否，返回执行步骤508；

步骤510，退出舞蹈模式，输出用户的舞蹈数据和评价。

此处步骤505～步骤510的实现方式与上文中步骤303～步骤308的实现方式类似，此处不做赘述。

结合以上应用场景可见，本申请实施例提供的行为模式识别方法可以增加对用户舞蹈行为的检测，并帮助用户对自身舞蹈和音乐契合度的判断，帮助用户对自身舞蹈动作进行纠正，提升用户体验。

需要说明的是，本申请实施例提供的行为模式识别方法，执行主体可以为行为模式识别装置，或者该行为模式识别装置中的用于执行行为模式识别的方法的控制模块。本申请实施例中以行为模式识别装置执行行为模式识别的方法为例，说明本申请实施例提供的行为模式识别的装置。

如图6所示，本申请实施例提供的行为模式识别装置600，包括：

第一获取模块601，用于获取音频信息和用户的运动信息；

识别模块602，用于在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

可选地，行为模式识别装置600，还可以包括：

第二获取模块，用于在将用户的行为模式识别为目标行为模式的情况下，获取音频信息对应的参考运动数据，参考运动数据记录有音频信息的音频特征点对应的参考动作；

比对输出模块，用于比对音频特征点对应的参考动作与音频特征点对应的第二动作，输出参考动作与第二动作之间的相似度，其中，用户的运动信息包括第二动作。

可选地，第二获取模块，可以包括：

识别单元，用于识别音频信息，得到音频信息对应的音频类型；

根据音频信息对应的音频类型，以及参考运动数据与音频类型的预设关联关系，获取音频信息对应的参考运动数据。

可选地，行为模式识别装置600，还可以包括：

采集模块，用于采集用户的身体指标信息；

生成模块，用于根据相似度与身体指标信息生成运动评价信息。

可选地，行为模式识别装置600，还可以包括：

确定模块，用于在用户的运动信息所包括的运动强度值大于预设值的情况下，根据用户的运动信息确定用户的初始行为模式；

比对模块，用于在初始行为模式不为预设运动模式的情况下，比对音频信息的音频特征点与用户的运动信息中第一动作。

本申请实施例提供的行为模式识别装置，可以基于音频信息的音频特征点与运动信息中第一动作的匹配关系，可以比较准确地识别出来例如跳舞等类型的目标行为模式。在检测到用户处于目标行为模式时，使用音频信息对应的参考运动数据中的参考动作，对用户的运动信息中第二动作进行比对，输出可用于指示参考动作与第二动作相似度的比对结果，可以帮助用户对自身动作和音频契合度的判断，提升用户体验。

本申请实施例中的行为模式识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的行为模式识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的行为模式识别装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述行为模式识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，传感器805，用于获取音频信息和用户的运动信息；

处理器810，用于在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

本申请实施例提供的电子设备，获取音频信息和用户的运动信息，在音频信息的音频特征点与用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。本申请基于音频信息的音频特征点与运动信息中第一动作的匹配关系，可以比较准确地识别出来例如跳舞等类型的目标行为模式。

可选地，处理器810，还用于获取音频信息对应的参考运动数据，参考运动数据记录有音频信息的音频特征点对应的参考动作；

比对音频特征点对应的参考动作与音频特征点对应的第二动作，输出参考动作与第二动作之间的相似度，其中，用户的运动信息包括第二动作。

可选地，处理器810，还用于识别音频信息，得到音频信息对应的音频类型；

根据音频信息对应的音频类型，以及参考运动数据与音频类型的预设关联关系，获取音频信息对应的参考运动数据。

可选地，传感器805，还用于采集用户的身体指标信息；

相应地，处理器810，还用于根据相似度与身体指标信息生成运动评价信息。

可选地，处理器810，还用于在将用户的行为模式识别为目标行为模式之前，在用户的运动信息所包括的运动强度值大于预设值的情况下，根据用户的运动信息确定用户的初始行为模式；

在初始行为模式不为预设运动模式的情况下，比对音频信息的音频特征点与用户的运动信息中第一动作。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述行为模式识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述行为模式识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种行为模式识别方法，其特征在于，包括：

获取音频信息和用户的运动信息；

在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

2.根据权利要求1所述的方法，其特征在于，所述在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式之后，所述方法还包括：

获取所述音频信息对应的参考运动数据，所述参考运动数据记录有所述音频信息的音频特征点对应的参考动作；

比对所述音频特征点对应的参考动作与所述音频特征点对应的第二动作，输出所述参考动作与所述第二动作之间的相似度，其中，所述用户的运动信息包括所述第二动作。

3.根据权利要求2所述的方法，其特征在于，所述获取所述音频信息对应的参考运动数据，包括：

识别所述音频信息，得到所述音频信息对应的音频类型；

根据所述音频信息对应的音频类型，以及参考运动数据与音频类型的预设关联关系，获取所述音频信息对应的参考运动数据。

4.根据权利要求2所述的方法，其特征在于，所述比对所述音频特征点对应的参考动作与所述音频特征点对应的第二动作，输出所述参考动作与所述第二动作之间的相似度之后，所述方法还包括：

采集用户的身体指标信息；

根据所述相似度与所述身体指标信息生成运动评价信息。

5.根据权利要求1所述的方法，其特征在于，所述在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式之前，所述方法还包括：

在所述用户的运动信息所包括的运动强度值大于预设值的情况下，根据所述用户的运动信息确定用户的初始行为模式；

在所述初始行为模式不为预设运动模式的情况下，比对所述音频信息的音频特征点与所述用户的运动信息中第一动作。

6.一种行为模式识别装置，其特征在于，包括：

第一获取模块，用于获取音频信息和用户的运动信息；

识别模块，用于在所述音频信息的音频特征点与所述用户的运动信息中第一动作匹配的情况下，将用户的行为模式识别为目标行为模式。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取所述音频信息对应的参考运动数据，所述参考运动数据记录有所述音频信息的音频特征点对应的参考动作；

比对输出模块，用于比对所述音频特征点对应的参考动作与所述音频特征点对应的第二动作，输出所述参考动作与所述第二动作之间的相似度，其中，所述用户的运动信息包括所述第二动作。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，包括：

识别单元，用于识别所述音频信息，得到所述音频信息对应的音频类型；

根据所述音频信息对应的音频类型，以及参考运动数据与音频类型的预设关联关系，获取所述音频信息对应的参考运动数据。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

采集模块，用于采集用户的身体指标信息；

生成模块，用于根据所述相似度与所述身体指标信息生成运动评价信息。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：确定模块，用于在所述用户的运动信息所包括的运动强度值大于预设值的情况下，根据所述用户的运动信息确定用户的初始行为模式；

比对模块，用于在所述初始行为模式不为预设运动模式的情况下，比对所述音频信息的音频特征点与所述用户的运动信息中第一动作。

Images