CN112121280B - 一种心音盒的控制方法及控制系统 - Google Patents

Abstract

本发明涉及一种心音盒的控制方法及控制系统，属于音乐播放控制技术领域。控制方法包括：(1)接收由摄像头所采集的手势动作的深度图像信息；(2)从深度图像信息中获取手势参数，手势参数包括掌心朝向、手指关节的移动位移及手指关节的移动速度；(3)基于预先构建的映射表，获取与手势参数相适配的音乐播放参数，音乐播放参数包括音效类别及音量；(4)按照音乐播放参数，控制心音盒播放与音乐播放参数相适配的自然声音的录音。该控制方法不仅可基于手势对音乐的播放进行控制，且无需基于硬件加速就能对手势与音乐之间的映射关系进行识别，从而能更好地基于手势动作及与之相适配的音乐辅助缓解焦虑，可以广泛用于焦虑缓解等领域。

Description

一种心音盒的控制方法及控制系统

技术领域

本发明涉及音乐播放控制领域，具体地说，涉及一种心音盒的控制方法及控制系统。

背景技术

随着生活节奏的加快，越来越多的人或轻或重地存在焦虑问题，为了缓解焦虑问题，常用缓解方式有倾听白噪音、观看解压视频、玩解压物件、倾听自然声音或做相应肢体动作，例如在公告号为CN210989325U的专利文献中所公开的白噪音能促进焦虑缓解的技术方案；此外，还可采用音乐与电刺激组合进行解压的方法，例如公开号为CN107875514A、CN102139140A等专利文献所公开的技术方案。

与其他方式相比，若能将倾听自然声音与做相应肢体动作相结合，则能够很好缓解焦虑问题，尤其是在做相应动作时播放对应自然声音，则带来更好的效果。

为了解决上述技术问题，通常会采用摄像头获取人们的手势动作，并基于机器学习内的分类模型，对当前的手势动作进行识别，并解读出该手势所对应的音乐内容与播放形式；但是采用基于机器学习的分类模型进行手势动作识别，通常需要GPU硬件加速支持，导致其成本较高。

发明内容

本发明的目的是提供一种心音盒的控制方法，以无需GPU进行硬件加速支持，而降低其使用过成本，且能为人们焦虑缓解过程中能同步进行手势动作及与该手势动作相适配的自然声音的播放提供技术支持；

本发明的另一目的是提供一种心音盒的控制系统，以无需GPU进行硬件加速支持，而降低其使用过成本，且能为人们焦虑缓解过程中能同步进行手势动作及与该手势动作相适配的自然声音的播放提供技术支持。

为了实现上述主要目的，本发明提供的一种心音盒的控制方法包括以下步骤：

接收步骤，接收由摄像头对手势动作进行采集所获取的深度图像信息；

获取步骤，从深度图像信息中获取手势参数，手势参数包括掌心朝向、手指关节的移动位移及手指关节的移动速度；

映射步骤，基于预先构建的映射表，获取与手势参数相适配的音乐播放参数，音乐播放参数包括音效类别及音量；

播放步骤，按照音乐播放参数，控制心音盒播放与音乐播放参数相适配的自然声音的录音。

基于上述控制方法，基于深度摄像头所获取的深度图像信息，以从中至少获取掌心朝向、手指关节的移动位移及手指关节的移动速度这三个参数作为音乐映射的参数组，其不仅技术简单，且无需GPU硬件加速支持，并基于三个参数作为指标而能大大的减少映射出错的概率；以能基于前述方法，而使心音盒能够根据使用者的手势动作播放对应的音乐，从而能更好地帮助人们缓解焦虑。

具体的方案为自然声音包括风铃声、揉纸声、海浪声、风声及雨声。

更具体的方案为音效类别包括专注模式与呼吸模式；在专注模式下，播放风铃声或揉纸声；在呼吸模式下，播放海浪声、风声或雨声。

优选的方案为按照音乐播放参数，控制心音盒播放与音乐播放参数相适配的自然声音的录音的步骤包括：按照音量，播放与音效类别相适配的自然声音的录音。

优选的方案为获取与手势参数相适配的音乐播放参数的步骤包括：

判断每个手势参数的数值所属的参照数值区间，这些参照数值区间组合成与手势动作相适配的映射参数组；

从映射表中获取与映射参数组相适配的音乐播放参数。

进一步的方案为心音盒包括显示屏，控制方法包括映射表更新步骤：

通过通信线路接收映射表更新信息，映射表更新信息包括示范手势动作，与示范手势动作相适配的示范参照数值区间，与由示范参照数值区间所构建的映射参数组相适配的音乐播放参数，及与音乐播放参数相适配的自然声音的录音；

控制显示屏在预设时间段内重复播放示范手势动作，及控制心音盒播放与示范手势动作相适配的自然声音的同时，通过摄像头获取预设时间段内的所有手势动作的深度信息图像；

从在预设时间段内所获取的所有手势动作的深度图像信息中获取所有当前手势参数，每个完整手势动作的当前手势参数为一组当前手势参数；

判断每组当前手势参数是否均在对应的示范参照数值区间内，若均满足，则该组当前手势参数符合示范要求；在该判断步骤中，若符合示范要求的组数比例达到80％以上，则进行是否更新的提示，并在接收到需更新的确认信息之后，再将示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新映射关系增加至映射表中；在该判断步骤中，若符合示范要求的组数比例小于50％，则提示动作不规范且映射表更新失败；在该判断步骤中，若符合示范要求的组数比例大于等于50％且小于等于80％，则提示重新进行更新；

在前述更新判断过程中，若对连续三个预设时间段内的手势动作进行判断的过程中，符合示范要求的组数比例均为大于等于50％且小于等于80％，则提示是否对示范参照数值区间的上下限进行修正；

若针对前述提示的响应为需对示范参照数值区间的上下限进行修正，则以连续三个预设时间段内所获取的当前手势参数的数值为参照，对示范参照数值区间的上下限进行修正，并以经修正之后的示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新的映射关系增加至映射表中。在该技术方案中，能够提供一种更好的更新方式，不仅能够对使用者的手势动作学习进行监督，且能按照其是否想要该更新动作进行更新处理。

更进一步的方案为以连续三个预设时间段内所获取的当前手势参数的数值为参照，对示范参照数值区间的上下限进行修正的步骤包括：

计算连续三个预设时间段内所获取的当前手势参数的数值的算术平均值；

计算算术平均值与示范参照数值区间的中间值的差值；

将示范参照数值区间的上限值与差值之和作为经修正之后的上限值；

将示范参照数值区间的下限值与差值之和作为经修正之后的下限值。

为了实现上述另一目的，本发明提供的心音盒的控制系统包括处理器与存储器，存储器存储有计算机程序；该计算机程序被处理器执行时，能实现上述任一技术方案所描述的控制方法。

附图说明

图1为本发明实施例中心音盒系统的电路结构框图；

图2为本发明实施例中控制方法的工作流程图；

图3为本发明实施例中在环境氛围音为风、海浪及鸟鸣时的手势动作映射示意图；

图4为本发明实施例中在环境氛围音为风铃、水滴及揉纸时的手势动作映射示意图。

实施例

参见图1，本发明心音盒系统1包括手势获取解析模块11、控制单元10及心音盒12；心音盒12可采用扬声器进行构建，或者心音盒12与控制单元10一起而采用多媒体播放器进行构建，例如采用手机、平板电脑等移动终端进行构建。手势获取解析模块11用于采集手势动作的深度图像信息，并从该深度图像信息中获取掌心朝向、手指关节的移动位移及手指关节的移动速度等参数的数值，具体可采用LeapMotion、Kinect等图像采集器进行构建，在本实施例中采用LeapMotion进行构建。

如图2所示，在具体使用过程中，控制心音盒12进行工作的方法具体包括接收步骤S1、获取步骤S2、映射步骤S3及播放步骤S4，具体过程如下：

接收步骤S1，接收由摄像头对手势动作进行采集所获取的深度图像信息。

在使用过程中，通过架设在使用者面前的LeapMotion或Kinect采集器手势动作，以获取其深度图像信息，从而可计算出掌心朝向、手指关节的位移与速度等参数数据。

获取步骤S2，从前述深度图像信息中获取手势参数，手势参数包括掌心朝向、手指关节的移动位移及手指关节的移动速度。

接收步骤S1与获取步骤S2均由LeapMotion或Kinect完成，获取有它们获取深度图像信息之后，再有处理器运行相关程序从中提取这些信息，其为现有技术；LeapMotion支持C++和Python语言，以及Unity和Unreal Engine，可以连接VR设备或PC。其中，LeapMotion在3D引擎上的应用比较完善，例如在Unity中有直接可用的component；对于C++和Python的支持比较偏底层，需要通过获取直接的坐标数据来进行分析和处理；在本实施例中，基于Python环境下实现，具体使用Leap Motion的V3 SDK。

为了与LeapMotion设备连接，需要实例化一个Controller对象，并使用Listener使Controller对象发送事件。当事件发生时，控制器会调用相应的回调函数，具体如下：

LeapMotion官方的Leap.py提供了一些基本的返回数据、attributes和methods，包括每一帧中双手每个关节在虚拟坐标系中的定位，通常默认为60fps，以及手掌法向数据、是否握拳等。在Controller中可以实时读取这些数据，并用time库来控制刷新频率。

例如，读取中间指节的位置信息的程序如下所示：

映射步骤S3，基于预先构建的映射表，获取与手势参数相适配的音乐播放参数，音乐播放参数包括音效类别及音量。

对于音乐播放参数，还可以根据需要而增设相位等常用音乐播放控制参数。

在该步骤中，获取与手势参数相适配的音乐播放参数的步骤具体包括以下步骤：

(1)判断每个手势参数数值所属的参照数值区间，这些参照数值区间构成与手势动作相适配的映射参数组。

在本实施例中，人为静坐做相关手势动作，所有指节的可移动最大距离是一定，对掌心朝向这一手势参数的数值为朝外为1，朝内为-1，其参照数值区间为[0，1]与[-1，0]；对于单个手掌上的15个指节的移动具体进行归一化处理，具体为均除以前述最大距离的商值作为区间判断，从而每个指节的位移区间为[-1，1]，-1位朝其伸展方向相反的方向移动，例如左手朝右侧移动；通过对各个标准手势动作进行重复多次之后，测量其每个手势动作过程中位移，并对其进行归一化处理之后获得算术平均值L，并将该手势动作中该指节的位移区间定为[0.8L，1.2L]；对于指节速度，其归一化处理为，将速度值与标准比值进行相乘获得，该标准比值为标准动作示范的手臂长与当前动作人员的手臂长之比，其速度区间也未[0.8V，1.2V]，其V为多次重复示范动作之后的测量值的算术平均值。

在完成测试之后，对应于每个手势动作均会获取数组K＝([朝向区间]，[指节位移区间]，[指节速度区间])，即每个数组内共有31个区间，从而可以有效的避免出现误判的可能性。

(2)从映射表中获取与映射参数组相适配的音乐播放参数。

在本实施例中，映射表为通过对示范动作进行归纳，即每个预定的手势动作对应一个数组K，根据测试评估结果，该数组K对应在该映射表中的对应数据为一个音乐播放参数，该音乐播放参数也可设置成一个数组N＝(音效模式，音量)，从而只需要获取当前手势动作的数组K之后，就可以获取对应表征音乐播放参数的数组N。

播放步骤S4，按照音乐播放参数，控制心音盒播放与音乐播放参数相适配的自然声音的录音。

在获取前述数组N之后，在本实施例中，通过借助OpenAL音频库，输出音频信号；具体为按照音量，播放与音效类别相适配的自然声音的录音。自然声音包括风铃声、揉纸声、海浪声、风声及雨声；音效类别包括专注模式与呼吸模式；在专注模式下，播放风铃声或揉纸声；在呼吸模式下，播放海浪声、风声或雨声。

对于手势动作与音乐之间的映射关系，在本实施例中可以参照如图3至图4所示的映射关系示意图，具体可根据实际事情进行设置该映射关系。

此外，还可根据需要配置通信模块，以与互联网进行有线或无线连通，以获取相关音乐素材，或者对映射表中的映射关系进行更新，从而可增加对对应的手势动作进行判断，并播放对应的音乐，若在映射关系较少时，做其他手势动作，心音盒将不会播放相应音乐，并提示动作错误。

此时，若有人创建出对应手势动作并与之相适配的音乐，并制作出相应的映射关系，即前述两个数组，且能达到更好的缓解焦虑效果时；可根据浏览互联网信息对该映射关系进行下载，可以为在线下载或者离线下载。

在本改进方案中，采用具有显示屏的移动终端构建心音盒12，则可在显示屏上显示对应示范手势动作进行教导的同时，对映射表的更新过程进行控制，例如收到推荐新映射关系之后。

在更新过程中，需考虑个人手势动作之间的差异性及动作标准之间的差异性，在映射表更新的过程若考虑该差异性，则其更新步骤包括以下步骤：

(1)、通过通信线路接收映射表更新信息，该映射表更新信息包括示范手势动作，与该示范手势动作相适配的示范参照数值区间，与由该示范参照数值区间所构建的映射参数组相适配的音乐播放参数，及与该音乐播放参数相适配的自然声音的录音。

即在下载映射关系更新数据是，不仅下载了前述数组K与数组N，还下载由数组K所表征的手势动作的示范动作，及与数组N相适配的自然声音的录音。

(2)、控制显示屏在预设时间段内重复播放示范手势动作，及控制心音盒播放与示范手势动作相适配的自然声音的同时，通过摄像头获取预设时间段内的所有手势动作的深度信息图像。

例如约定，在更新过程中，使用人员需跟着示范动作学上10遍，规定该时间范围为一天，即前述预设时间段为一天，例如从上午的8:00至下午的16:00，具体数据可以根据实际需要进行设置。

(3)、从在预设时间段内所获取的所有手势动作的深度图像信息中获取所有当前手势参数，每个完整手势动作的当前手势参数为一组当前手势参数。

使用者在预设的一天内每跟着学习一遍示范动作，则对其当前一遍的示范动作进行的深度图像信息进行采集，并从中提取经归一化之后的手掌朝向、指节速度与指节位移，共31个数值。

(4)、判断每组当前手势参数是否均在对应的示范参照数值区间内，若均满足，则该组当前手势参数符合示范要求；在该判断步骤中，若符合示范要求的组数比例达到80％以上，则进行是否更新的提示，并在接收到需更新的确认信息之后，再将示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新映射关系增加至映射表中；在该判断步骤中，若符合示范要求的组数比例小于50％，则提示动作不规范且映射表更新失败；在该判断步骤中，若符合示范要求的组数比例大于等于50％且小于等于80％，则提示重新进行更新。

对前述31个数值是否属于对应参照数值区间进行判断，只有31个数值均属于对应参照数值区间，则认为该动作学习正确，即在这一遍手势动作的学习过程中，当前手势参数符合示范要求。

(5)、在前述更新判断过程中，若对连续三个预设时间段内的手势动作进行判断的过程中，符合示范要求的组数比例均为大于等于50％且小于等于80％，则提示是否对示范参照数值区间的上下限进行修正。

(6)、若针对前述提示的响应为需对示范参照数值区间的上下限进行修正，则以连续三个预设时间段内所获取的当前手势参数的数值为参照，对示范参照数值区间的上下限进行修正，并以经修正之后的示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新的映射关系增加至映射表中。

在该步骤中，对示范参照数值区间的上下限进行修正的步骤包括以下步骤：

(6.1)、计算连续三个预设时间段内所获取的当前手势参数的数值的算术平均值。

(6.2)、计算算术平均值与示范参照数值区间的中间值的差值。

(6.3)、将示范参照数值区间的上限值与差值之和作为经修正之后的上限值。

(6.4)、将示范参照数值区间的下限值与差值之和作为经修正之后的下限值。

Claims (5)

1.一种心音盒的控制方法，其特征在于，所述控制方法包括以下步骤：

接收步骤，接收由摄像头对手势动作进行采集所获取的深度图像信息；

获取步骤，从所述深度图像信息中获取手势参数，所述手势参数包括掌心朝向、手指关节的移动位移及手指关节的移动速度；至少以所述掌心朝向、所述手指关节的移动位移及所述手指关节的移动速度这三个参数作为音乐映射的参数组；

映射步骤，基于预先构建的映射表，获取与所述音乐映射的参数组相适配的音乐播放参数，所述音乐播放参数包括音效类别及音量；

播放步骤，按照所述音乐播放参数，控制所述心音盒播放与所述音乐播放参数相适配的自然声音的录音；

所述获取与所述手势参数相适配的音乐播放参数的步骤包括：(1)判断每个手势参数的数值所属的参照数值区间，这些参照数值区间组合成与所述手势动作相适配的映射参数组；(2)从所述映射表中获取与所述映射参数组相适配的所述音乐播放参数；

所述心音盒包括显示屏，所述控制方法包括映射表更新步骤：(1)通过通信线路接收映射表更新信息，所述映射表更新信息包括示范手势动作，与所述示范手势动作相适配的示范参照数值区间，与由所述示范参照数值区间所构建的映射参数组相适配的音乐播放参数，及与所述音乐播放参数相适配的自然声音的录音；(2)控制所述显示屏在预设时间段内重复播放所述示范手势动作，及控制所述心音盒播放与所述示范手势动作相适配的自然声音的同时，通过所述摄像头获取所述预设时间段内的所有手势动作的深度信息图像；(3)从在所述预设时间段内所获取的所有手势动作的深度图像信息中获取所有当前手势参数，每个完整手势动作的当前手势参数为一组当前手势参数；(4)判断每组所述当前手势参数是否均在对应的示范参照数值区间内，若均满足，则该组当前手势参数符合示范要求；在该判断步骤中，若符合示范要求的组数比例达到80％以上，则进行是否更新的提示，并在接收到需更新的确认信息之后，再将所述示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新映射关系增加至所述映射表中；在该判断步骤中，若符合示范要求的组数比例小于50％，则提示动作不规范且映射表更新失败；在该判断步骤中，若符合示范要求的组数比例大于等于50％且小于等于80％，则提示重新进行更新；(5)在前述更新判断过程中，若对连续三个所述预设时间段内的手势动作进行判断的过程中，符合示范要求的组数比例均为大于等于50％且小于等于80％，则提示是否对所述示范参照数值区间的上下限进行修正；(6)若针对前述提示的响应为需对所述示范参照数值区间的上下限进行修正，则以所述连续三个所述预设时间段内所获取的当前手势参数的数值为参照，对所述示范参照数值区间的上下限进行修正，并以经修正之后的示范参照数值区间及与之适配的音乐播放参数、自然声音的录音作为新的映射关系增加至所述映射表中；

所述以所述连续三个所述预设时间段内所获取的当前手势参数的数值为参照，对所述示范参照数值区间的上下限进行修正的步骤包括：(1)计算所述连续三个所述预设时间段内所获取的当前手势参数的数值的算术平均值；(2)计算所述算术平均值与所述示范参照数值区间的中间值的差值；(3)将所述示范参照数值区间的上限值与所述差值之和作为经修正之后的上限值；(4)将所述示范参照数值区间的下限值与所述差值之和作为经修正之后的下限值；

在所述映射步骤中，人为静坐而做相关手势动作，且所有指节的可移动最大距离是一定，对掌心朝向这一手势参数的数值为朝外为1，朝内为-1，其参照数值区间为[0，1]与[-1，0]；对于单个手掌上的15个指节的移动具体进行归一化处理，所述归一化处理为均除以前述最大距离的商值作为区间判断，从而每个指节的位移区间为[-1，1]，-1为朝其伸展方向相反的方向移动；通过对各个标准手势动作进行重复多次之后，测量其每个手势动作过程中位移，并对其进行归一化处理之后获得算术平均值L，并将该手势动作中该指节的位移区间定为[0.8L，1.2L]；对于指节速度，其归一化处理为，将速度值与标准比值进行相乘获得，该标准比值为标准动作示范的手臂长与当前动作人员的手臂长之比，其速度区间也未[0.8V，1.2V]，其V为多次重复示范动作之后的测量值的算术平均值。

2.根据权利要求1所述的控制方法，其特征在于：

所述自然声音包括风铃声、揉纸声、海浪声、风声及雨声。

3.根据权利要求2所述的控制方法，其特征在于：

所述音效类别包括专注模式与呼吸模式；

在所述专注模式下，播放所述风铃声或所述揉纸声；

在所述呼吸模式下，播放所述海浪声、所述风声或所述雨声。

4.根据权利要求1至3任一项权利要求所述的控制方法，其特征在于，所述按照所述音乐播放参数，控制所述心音盒播放与所述音乐播放参数相适配的自然声音的录音的步骤包括：

按照所述音量，播放与所述音效类别相适配的自然声音的录音。

5.一种心音盒的控制系统，包括处理器与存储器，所述存储器存储有计算机程序，其特征在于：

所述计算机程序被所述处理器执行时，能实现权利要求1至4任一项权利要求所述的控制方法。

Images