CN108415764A - 电子装置、游戏背景音乐匹配方法及相关产品 - Google Patents

电子装置、游戏背景音乐匹配方法及相关产品 Download PDF

Info

Publication number
CN108415764A
CN108415764A CN201810150197.5A CN201810150197A CN108415764A CN 108415764 A CN108415764 A CN 108415764A CN 201810150197 A CN201810150197 A CN 201810150197A CN 108415764 A CN108415764 A CN 108415764A
Authority
CN
China
Prior art keywords
lip
parameter
excitement levels
music
human brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810150197.5A
Other languages
English (en)
Inventor
张海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810150197.5A priority Critical patent/CN108415764A/zh
Publication of CN108415764A publication Critical patent/CN108415764A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Abstract

本申请实施例公开了一种电子装置、游戏背景音乐匹配方法及相关产品，包括：通过脑电波传感器采集用户的脑电波信号；根据脑电波信号确定用户的人脑兴奋度；通过摄像头采集用户的嘴唇图像，根据嘴唇图像获取用户的唇动参数；确定适配所述人脑兴奋度和所述唇动参数的所述游戏应用的游戏背景音乐；切换至所述游戏背景音乐。本申请实施例实现通过人脑兴奋度和人眼兴奋度综合为用户适配游戏背景音乐，提高电子装置进行功能服务的智能性和准确度。

Description

电子装置、游戏背景音乐匹配方法及相关产品
技术领域
本申请涉及电子装置技术领域，具体涉及游戏背景音乐匹配方法及相关产 品。
背景技术
随着各类终端的普及、增强现实技术(Augmented Reality，简称AR)以及 虚拟现实技术(Virtual Reality，简称VR)的快速发展，各类游戏在人们的生活 中扮演越来越重要的角色，人们通过游戏进行娱乐、互动、交流或学习，极大 地丰富了人们的精神生活和物质生活。用户使用电子设备玩游戏的过程中，往 往存在游戏音乐内容与用户当前情绪不适配的情况，造成用户浪费更多时间用 于设置游戏模式，无法得到好的游戏体验。
发明内容
本申请实施例提供了一种电子装置、游戏背景音乐匹配方法及相关产品， 以期实现通过脑电波状态监测和嘴唇运动状态监测为用户适配游戏背景音乐， 提高电子装置进行功能服务的智能性和准确度。
第一方面，本申请实施例提供一种电子装置，包括处理器、存储器、摄像 头和脑电波传感器，所述存储器、所述摄像头和所述脑电波传感器与所述处理 器耦合，其中，
所述脑电波传感器，用于采集用户的脑电波信号，所述电子装置前台运行 有游戏应用；
所述摄像头，用于获取用户的嘴唇运动数据；
所述存储器，用于存储所述游戏应用的游戏背景音乐；
所述处理器，用于根据所述脑电波信号确定用户的人脑兴奋度；以及用于 根据所述用户的嘴唇运动数据获取唇动频率参数；以及用于确定适配所述人脑 兴奋度和所述唇动频率参数的游戏背景音乐；以及用于为所述游戏应用切换至 所述游戏背景音乐。
第二方面，本申请提供一种游戏背景音乐匹配方法，应用于电子装置，所 述电子装置包括脑电波传感器和摄像头，所述方法包括：
通过所述脑电波传感器采集用户的脑电波信号，根据所述脑电波信号确定 用户的人脑兴奋度，所述电子装置前台运行有游戏应用；
通过所述摄像头采集用户的嘴唇图像，根据所述嘴唇图像获取唇动参数；
确定适配所述人脑兴奋度和所述唇动参数的游戏背景音乐；
将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度和所述唇 动参数的游戏背景音乐。
第三方面，本申请实施例提供一种游戏背景音乐匹配装置，应用于电子装 置，所述电子装置包括脑电波传感器、摄像头、存储器和处理器，所述游戏推 荐装置包括信号采集单元、图像采集单元、数据处理单元和背景音乐切换单元；
所述信号采集单元，用于采集用户的脑电波信号；
所述图像采集单元，用于采集用户的人眼嘴唇图像；
所述数据处理单元，用于根据所述脑电波信号确定用户的人脑兴奋度；以 及用于根据所述嘴唇图像获取用户的唇动参数；以及用于确定适配所述人脑兴 奋度和所述唇动参数的所述游戏背景音乐；
所述背景音乐切换单元，用于将所述游戏应用的当前背景音乐切换至所述 适配所述人脑兴奋度和所述唇动参数的游戏背景音乐。
第四方面，本申请实施例提供一种电子装置，包括处理器、存储器、通信 接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并 且被配置由所述处理器执行，上述程序包括用于执行本申请实施例第二方面任 一方法中的步骤的指令。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计 算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程 序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步 骤。
第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机 程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机 程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分 或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子装置前台在运行游戏应用的情况下，首 先通过脑电波传感器采集用户的脑电波信号，其次，根据脑电波信号确定用户 的人脑兴奋度，再次，通过摄像头采集用户的嘴唇图像，根据嘴唇图像获取用 户的唇动参数，再次，确定适配人脑兴奋度和嘴唇参数的游戏背景音乐，最后 将游戏应用的当前背景音乐切换至适配人脑兴奋度和唇动参数的游戏背景音乐。 可见，电子装置能够通过采集脑电波信号分析用户的人脑兴奋度，同时通过采 集嘴唇图像分析用户的唇动参数，进而综合人脑兴奋度和唇动参数准确确定适 配用户当前情绪状态的游戏背景音乐，并切换至该游戏背景音乐以减少用户因 为游戏背景音乐不适配而采取的不必要操作步骤，节省用户时间，有利于提高 电子装置在运行游戏应用状态下进行功能服务的智能性和准确度。
附图说明
下面将对本申请实施例所涉及到的附图作简单地介绍。
图1A是本申请实施例提供的一种电子装置的结构示意图；
图1B是本申请实施例提供的一种脑电波传感器的结构示意图；
图1C是本申请实施例提供的集成脑电波传感器的电子装置的结构示意图；
图1D是本申请实施例提供的另一种脑电波传感器的结构示意图；
图1E是本申请实施例提供的一种电极式传感器应用示意图；
图2是本申请实施例公开的一种游戏背景音乐匹配方法的流程示意图；
图3是本申请实施例公开的另一种游戏背景音乐匹配方法的流程示意图；
图4是本申请实施例公开的一种嘴唇运动过程示意图；
图5是本申请实施例提供的一种电子装置的结构示意图；
图6是本申请实施例提供的一种游戏背景音乐匹配装置的功能单元组成框 图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有 其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于 区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们 任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、 方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括 没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固 有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可 以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不 一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实 施例相结合。
下面对本申请实施例进行详细介绍。
请参阅图1A，图1A是本申请实施例提供的一种电子装置100的结构示意 图，所述电子装置100包括：壳体110、边框120，设置于所述壳体110内的射 频系统170、处理器140、存储器150和脑电波传感器160，设置于所述壳体110 上的显示屏130以及摄像头180，所述脑电波传感器160以及存储器150与所述 处理器140连接，所述处理器140连接所述存储器150、脑电波传感器160、射 频系统170以及摄像头180，所述射频系统170中还包括发射器171、接收器172 和信号处理器173；其中，所述脑电波传感器160，用于采集用户的脑电波信号， 所述电子装置前台运行有游戏应用；所述摄像头180，用于采集用户的嘴唇图像； 所述存储器150，用于存储游戏背景音乐；所述处理器140，用于根据所述脑电 波信号确定用户的人脑兴奋度；以及用于根据所述嘴唇图像获取用户的唇动参 数；以及用于确定适配所述人脑兴奋度和所述唇动参数的所述游戏应用的游戏 背景音乐；以及用于为所述游戏应用切换至适配所述人脑兴奋度和所述唇动参 数的所述游戏背景音乐。
其中，脑电波传感器160又可以称为脑电波芯片、脑电波接收器等，该脑 电波传感器160集成在电子装置中，具有专用信号处理电路，并与电子装置的 处理器连接，按照采集信号类型可以分为电流式脑电波传感器160和电磁式脑 电波传感器160，电流式脑电波传感器160采集脑皮层产生的生物电流，电磁式 脑电波传感器160采集人脑活动时辐射的电磁波。可以理解的是，该脑电波传 感器160的具体形态可以是多种多样的，此处不做唯一限定。
举例来说，如图1B所示，该脑电波传感器160可以包括天线模块和信号处 理模块，具体可以集成在电子装置的主电路板上，天线模块采集人脑活动时产 生的电磁波信号，信号处理模块针对该电磁波信号执行去噪、滤波等处理，最 终形成基准脑电波信号发送给处理器进行处理。
又举例来说，如图1C和1D所示，该脑电波传感器160可以包括穿戴式信 号采集器，该穿戴式信号采集器可以收容于如图1C所示的电子装置的后壳的收 容腔内，使用时，如图1D所示，穿戴式信号采集器与电子装置本端有线连接或 者无线连接(无线连接对应穿戴式信号采集器集成有无线通讯模块与电子装置 本端通信连接)。
其中，处理器140包括应用处理器和基带处理器，处理器是电子装置的控 制中心，利用各种接口和线路连接整个电子装置的各个部分，通过运行或执行 存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行 电子装置的各种功能和处理数据，从而对电子装置进行整体监控。其中，应用 处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线 通信。可以理解的是，上述基带处理器也可以不集成到处理器中。存储器150 可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及 模块，从而执行电子装置的各种功能应用以及数据处理。存储器150可主要包 括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功 能所需的应用程序等；存储数据区可存储根据电子装置的使用所创建的数据等。 此外，存储器150可以包括高速随机存取存储器，还可以包括非易失性存储器， 例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
具体实现中，电子装置可以控制所述脑电波传感器160在静止状态下以低 功率模式工作，在静止状态下以高频率模式工作，以此降低功耗。
在一个具体的示例中，电子装置首先通过脑电波传感器采集用户的脑电波 信号，与此同时，电子装置的前台运行有游戏程序，其次，电子装置的摄像头 采集嘴唇图像。在可选的实施例中，如图1D所示，用户与电子装置的显示屏正 对，当摄像头需要采集嘴唇图像时，可以根据电子装置中已经训练出的人脸识 别结果直接对嘴唇进行识别，通常情况下，可以根据唇色分离算法，获取唇色 与肤色的分布范围，然后根据椭圆拟合算法表征唇部的几何特征，获取唇形轮 廓。摄像头拍摄图像时，直接拍摄嘴唇图像即可，从上唇轮廓边缘到下唇轮廓 边缘呈γ度的夹角，拍摄夹角内的图像即可。可选的，摄像头也可以直接进行 人脸识别，拍摄包括整个人脸在内的图像，然后经过处理器对人脸图像进行识 别，获得用户的嘴唇图像。最后，处理器根据所述脑电波信号确定用户的人脑 兴奋度，并根据所述嘴唇图像获取用户的唇动参数；确定适配得出的人脑兴奋 度和唇动参数的游戏应用的游戏背景音乐，并将游戏应用的当前背景音乐切换 成适配人脑兴奋度和唇动参数的背景音乐。可以理解的是，获取脑电波信号和 获取嘴唇图像之间不存在明确的先后顺序，可以任意顺序进行两个步骤，或同 时进行两个步骤。
在一个可能的示例中，在所述确定适配所述人脑兴奋度和所述唇动参数的 所述游戏应用的游戏背景音乐方面，所述处理器140具体用于：查询预设的所 述游戏应用的游戏背景音乐集合，获取所述人脑兴奋度和所述唇动参数对应的 游戏背景音乐，所述游戏背景音乐集合包括人脑兴奋度和唇动参数组成的参数 组合与游戏背景音乐之间的对应关系。
可见本示例中，不同的人脑兴奋度和唇动参数对应的游戏背景音乐是不同 的，而人脑兴奋度和唇动参数组成的参数组合与游戏背景音乐之间存在对应关 系，有助于提升人的情绪状态与游戏背景音乐的匹配度。
在一个可能的示例中，所述人脑兴奋度包括第一兴奋度区间和第二兴奋度 区间，所述第一兴奋度区间用于指示人脑处于兴奋状态，所述第二兴奋度区间 用于指示人脑处于不兴奋状态；所述唇动参数包括第一唇动参数区间和第二唇 动参数区间，所述第一唇动参数区间用于指示用户的嘴唇处于相对运动状态， 所述第二唇动参数区间用于指示用户的嘴唇处于相对静止状态；所述背景音乐 包括第一类音乐，第二类音乐和第三类音乐，所述第一类音乐包括高于第一密 度值的节拍重音和高于第一速度的节奏，所述第二类音乐包括低于第一密度值 的重音节拍和高于第一速度的节奏，所述第三类音乐包括低于第一密度值的重 音节拍和低于第一速度的节奏；
所述游戏背景音乐集合包括以下对应关系：
第一参数组合与所述第一类音乐之间的对应关系，所述第一参数组合包括 处于第一兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数；
第二参数组合与所述第三类音乐之间的对应关系，所述第二参数组合包括 处于第二兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数；
第三参数组合或第四参数组合与所述第二类音乐之间的对应关系，所述第 三参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第二唇动参数区间的 唇动参数，所述第四参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第 一唇动参数区间的唇动参数。
可见本示例中，将人脑兴奋度分为兴奋状态和不兴奋状态，将唇动参数划 分为相对运动状态和相对静止状态，然后将人脑的两种兴奋度和唇动的两种状 态进行组合，获得了四种参数组合，并为四种参数组合设置了与三类游戏背景 音乐的对应关系，可以进一步提升人体情绪状态与游戏背景音乐的匹配度，为 用户切换适当的游戏背景音乐。
在一个可能的示例中，所述脑电波传感器为电极式传感器，所述电极式传 感器包括第一电极和第二电极，所述第一电极用于采集额叶区的第一脑电波信 号，所述第二电极用于采集枕叶区的第二脑电波信号，将所述第一脑电波信号 和所述第二脑电波信号结合，获得用户的脑电波信号。
具体地，请参阅图1E，图1E是一种电极式传感器应用示意图，如图1E所 示，大脑包括左前额叶脑191、右前额叶脑192、左后额叶脑193、右后额叶脑 194、左颞叶脑195、左顶叶脑196、右顶叶脑197、右颞叶脑198、左枕叶脑199 和右枕叶脑190，其中左前额叶脑191和右前额叶脑192为精神功能区域，左后 额叶脑193和右后额叶脑194为思维功能区域，左颞叶脑195和右颞叶脑198 为听觉功能区域，左顶叶脑196和右顶叶脑197为体觉功能区域，左枕叶脑199 和右枕叶脑190为视觉功能区域，当用户玩游戏时，主要运用到的功能为精神、 思维和视觉，因此电极式传感器包括第一电极E1和第二电极E2，其中第一电 极E1用于采集额叶区191、192、193和194的脑电波信号，第二电极E2用于 采集枕叶区199和190的脑电波信号。
在一个可能的示例中，在根据所述脑电波信号确定用户的人脑兴奋度方面， 所述处理器具体用于：采用小波包变换对脑电波信号进行降噪处理；将信号投 影到小波包基函数的空间对脑电波信号进行频率分解，获得不同频率的四个基 本节律的功率谱；根据所述四个基本节律的功率谱获得四个基本节律对应的能 量值；根据四个基本节律对应的能量值之间的比值，确定用户的脑电波兴奋度。
可见，本示例中，对采集到的脑电波信息进行降噪处理，获得脑电波各节 律的功率谱，进一步根据各节律的功率谱获得各节律对应的能量值，最后根据 各节律对应能量值的比值确定人脑兴奋度，确保了获取的人脑兴奋度的精确性 和可靠性。
在本申请实施例中，电子装置通过对获取到的脑电波信号和嘴唇图像的处 理，获取对应的参数，根据参数准确指示人脑兴奋度和唇动状态，并将人脑兴 奋度和唇动参数进行组合，获得适配的游戏背景音乐，综合考虑了两种情绪指 示因素，为用户提供更匹配当前情绪的背景音乐，减少了用户切换背景音乐所 需耗费的时间，提高了电子装置在运行游戏应用状态下进行功能服务的智能性 和准确度。
请参阅图2，图2是本发明实施例提供的一种游戏背景音乐匹配方法的流程， 应用于如图1A所示的电子装置，所述电子装置包括脑电波传感器和摄像头，如 图所示，本游戏背景音乐匹配方法包括：
步骤201、所述电子装置通过所述脑电波传感器采集用户的脑电波信号，根 据所述脑电波信号确定用户的人脑兴奋度。
具体地，脑电信号的主要频率在0.5～100Hz，其中有用的信号主要集中在 0.5～50Hz，信号幅值范围为5～300uV。这些信号根据频率的不同可以划分为四 个基本的节律，即δ(1－4Hz)、θ(4.1－8Hz)、α(8.1－14Hz)和β(14.1－35Hz)。 那么对收集到脑电波信号，首先要对其进行降噪处理，包括傅里叶变化，频域 能量分析，小波变换或者小波包变换等方式。另外，根据对人体状态和对应脑 电波信号的检测，已经获得的结果包括：当人在极度疲劳和昏睡或麻醉状态下， δ波活跃；在人意愿受挫或者抑郁以及精神病患者中θ波极为显著；人在清醒、 安静且没有外加刺激时，α波极为恒定，而当收到刺激时，α即刻消失；当人在精神紧张和情绪激动或亢奋时出现β波。因此，人脑兴奋度可以用脑电信号的 幅值比值来表征，也可以通过脑电信号能量值的比值来表征。计算方法可以表 示为Aβ/Aδ,Aβ/AA,Aβ/(Aθ+Aδ),(Aβ-Aα)/(Aθ+Aδ)或者Eβ/Eδ,Eβ/Eθ,Eβ/ (Eθ+Eδ),(Eβ-Eα)/(Eθ+Eδ)，其中Aα,Aβ,Aθ和Aδ分别表示α波，β波，θ波 和δ波的幅值，Eα,Eβ,Eθ和Eδ分别表示α波，β波，θ波和δ波的能量值。
步骤202、所述电子装置通过所述摄像头采集用户的嘴唇图像，根据所 述嘴唇图像获取用户的唇动参数。
在可选的示例中，根据采集到的用户嘴唇图像，获取用户的唇动参数，其 中唇动参数包括嘴唇运动的时长、频率和幅度，以求得频率参数为例，其过程 为：根据预设时间间隔采集多帧嘴唇图像，时间间隔可以以秒、微秒甚至毫秒 为单位，判断相邻两帧用户嘴唇图像的上下唇间隔距离变动是否大于预设阈值， 或检测相邻两帧用户嘴唇图像的拉伸距离是否大于预设阈值，若是，则判定用 户嘴唇运动一次；计算用户的嘴唇在单位时间内的运动次数，获取所述用户的 唇动频率。
在可选的示例中，还可以采用振动传感器获取用户嘴唇运动参数，根据所 述嘴唇运动数据，获取用户的嘴唇运动时长和频率。
步骤203、所述电子装置确定适配所述人脑兴奋度和所述唇动参数的所述游 戏应用的游戏背景音乐。
具体地，查询预设的所述游戏应用的游戏背景音乐集合，获取所述人脑兴 奋度和所述唇动参数对应的游戏背景音乐，所述游戏背景音乐集合包括人脑兴 奋度和唇动参数组成的兴奋度参数组合与游戏背景音乐之间的对应关系。
其中，游戏背景音乐集合可以是整个游戏过程的通用背景音乐集合，也可 以是某一段游戏进程所对应的背景音乐集合，不同的背景音乐给人的感官感受 不同，其表达的内涵可以直接影响到用户的游戏过程，因此，背景音乐需要与 用户当前的情绪相匹配。
其次，唇动参数可用于指示用户的说话速度、频率或时长，人脑兴奋度可 用于指示用户当前游戏的投入程度，那么唇动参数和人脑兴奋度的参数组合， 可综合用于指示用户当前的游戏情绪，从游戏背景音乐集合中获取与该游戏情 绪对应内涵的背景音乐，能够减少用户针对游戏设置的操作步骤。
步骤204、将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度 和所述唇动参数的游戏背景音乐。
具体地，电子装置包括扬声器，当处理器获取适配人脑兴奋度和唇动参数 的游戏背景音乐时，自动切换至该游戏背景音乐，并将其通过扬声器播放出来， 达到适配用户当前游戏情绪的效果。
在本申请实施例中，电子装置前台在运行游戏应用的情况下，首先通过脑 电波传感器采集用户的脑电波信号，其次，根据脑电波信号确定用户的人脑兴 奋度，再次，通过摄像头采集用户的嘴唇图像，根据嘴唇图像获取用户的唇动 参数，再次，确定适配人脑兴奋度和唇动参数的游戏应用的游戏背景音乐，最 后切换至适配人脑兴奋度和唇动参数的游戏背景音乐。可见，电子装置能够通 过采集脑电波信号分析用户的人脑兴奋度，同时通过采集嘴唇图像分析用户的 唇动参数，进而综合人脑兴奋度和唇动参数准确确定适配用户当前身体状态的 游戏背景音乐，并切换至该游戏背景音乐以减少用户因为游戏背景音乐不适配 而采取的不必要操作步骤，节省用户时间，有利于提高电子装置在运行游戏应 用状态下进行功能服务的智能性和准确度。
与上述图2所示的实施例一致的，请参阅图3，图3是本申请实施例提供的 一种游戏背景音乐获取方法的流程示意图，应用于如图1A所述的电子装置，所 述电子装置包括脑电波传感器和摄像头，如图所示，本方法包括：
步骤301、通过第一电极采集额叶区的第一脑电波信号，通过第二电极采集 枕叶区的第二脑电波信号。
在本申请实施例中，由于用户在游戏时，所需要用到的最主要是精神、思 维和视觉，因此这三个因素对应的大脑功能区脑电波显得尤其有价值。采用电 极式脑电波传感器，如图1E所示，该电极式脑电波传感器包括两个电极，且第 一电极E1用于采集对应精神和思维的额叶区的第一信号，第二电极E2用于采 集对应视觉的枕叶区的第二信号。
步骤302、将所述第一脑电波信号和所述第二脑电波信号结合，获得用户的 脑电波信号。
在本申请实施例中，采用将第一脑电波信号和第二脑电波信号相结合的方 式，获得最终的脑电波信号。将第一脑电波信号和第二脑电波信号进行结合的 方法包括：直接结合法，将两个脑电波信号投影到同一个坐标区间内，直接整 合成一个脑电波信号；特征结合法，对不同传感器获得的两个脑电波信号进行 特征提取(包括形状、边缘、区域、轮廓、纹理、角等)，然后再对获得的多个 特征信息进行综合的分析和处理，最终结合成一个脑电波信号；决策结合法， 即先对两个脑电波信号进行分别处理，包括降噪处理等，获得决策结果，再将 决策结果进行结合。
可以看出，本申请实施例中，电子装置通过采用电极式脑电波信号传感器， 采集用户面对游戏场景时需要用到的人体功能所对应的脑区域的脑电波信号， 然后将多个区域的脑电波信号进行结合，得到最终的脑电波信号。这个过程缩 小了获取脑电波的区域，提升了所获脑电波信号的准确度。
步骤303、采用小波包变换对所述脑电波信号进行降噪处理。
在本申请实施例中，采用小波包变换对脑电波信号进行降噪处理，其过程 为：选择适当的小波滤波器，包括Daubechies小波滤波器、Symlets小波滤波器 和Haar小波滤波器等，获得小波包系数；搜索最佳小波包基；对最佳正交小波 包基对应的小波包系数进行处理；重构去除噪声后的脑电信号。对脑电波信号 进行降噪后，获得频率值集中在0.5～35Hz的脑电波信号，方便对其做进一步的 计算。
步骤304、将信号投影到小波包基函数的空间对脑电波信号进行频率分解， 获得不同频率的四个基本节律的功率谱。
在本申请实施例中，对脑电波信号进行降噪处理后，需要对脑电波信号进 行特征提取，采用小波包变换对其进行特征提取。采用小波包基函数可以将脑 电波信号进行层次分解，选取小波包基函数，例如Daubechies函数，并定义分 解层次，通常为5～9层，根据脑电波的输出频率，及脑电波的频率划分，小波 包的分解层数定为6层，直接利用小波包分解系数作为特征，得出α、β、θ和δ 四个基本节律信号功率在频域的分布状况，即功率谱。
步骤305、根据四个基本节律的功率谱获得四个基本节律对应的能量值，根 据能量值之间的比值确定用户的人脑兴奋度。
在本申请实施例中，获得四个基本节律的功率谱后，计算各节律对应的能量值，设xj(j＝0,1,…,7)表示重构信号Sj(j＝0,1,…,7)的离散点的幅值，Ej为其对应的 能量值，则有：
其中k表示小波系数编号。
可以看出，本申请实施例中，电子装置通过小波包变换对脑电波信号进行 降噪和特征提取，最终得到各节律脑电波信号的能量值，并根据能量值的比值， 获得的了脑电波兴奋度，提升了对人脑兴奋度尽量参数量化的精确度。
步骤306、通过所述摄像头采集用户的嘴唇图像，根据所述嘴唇图像获取唇 动参数。
在本申请实施例中，唇动参数确定为用户的唇动频率和唇动弧度。
在一个具体的实施例中，请参阅图4，图4为本发明实施例提供的一种嘴唇 运动过程示意图，如图4所示，图A和图B为摄像头获取到的相邻两帧嘴唇图 像，将两张图片分别投影到坐标系中，在图A中，定位上唇参照点H1的坐标(a1,b1)，下唇参照点H2的坐标值(a2,b2)，左口角W1的坐标(c1,d1)和右口角 W2的坐标(c2,d2)，计算图A中的口裂差值L1和口角差值S1，如公式(2)所示：
同理，在图B中定位上唇参照点H3的坐标(a3,b3)，下唇参照点H4的坐标 值(a4,b4)，左口角W3的坐标(c3,d3)和右口角W4的坐标(c4,d4)，计算图B中的 口裂差值L2和口角差值S2，如公式(3)所示：
那么，图A和图B的口裂差值之差和口角差值之差结合起来，即为用户嘴 唇的运动弧度R1，其获得方法可以直接将四个差值进行欧式距离计量，如公式 (4)所示：
或者将口裂差之差和口角差之差通过权值相加，获得用户的嘴唇运动弧度 R2，如公式(5)所示：
R2＝ε|Ll-L2|+μ|Sl-S2| (5)
获得用户的唇动弧度之后，再获取用户的唇动频率，唇动频率即为单位时 间内的唇动次数。例如以秒为单位，以用户嘴唇运动趋势的改变作为一次运动 过程，那么唇动频率表示为：
P1＝T/t (6)
其中t表示用户运动一次所花费的时间，T表示一个单位时间。
若运动的嘴唇不是出于匀速运动状态，在短时间内检测到n次运动，每次 耗时为ti，则唇动频率可表示为：
将唇动弧度和唇动频率进行加权，获得唇动参数，用于度量运动的嘴唇运 动状态。
步骤307、查询预设的所述游戏应用的游戏背景音乐合集，获取所述人脑兴 奋度和所述唇动频率参数对应的游戏背景音乐。
在一个可选的示例中，人脑兴奋度包括第一兴奋度区间和第二兴奋度区间， 第一兴奋度区间用于指示人脑处于兴奋状态，第二兴奋度区间用于指示人脑处 于不兴奋状态；唇动参数包括第一参数区间和第二参数区间，第一参数区间用 于指示用户的嘴唇处于相对运动状态，第二参数区间用于指示用户的嘴唇处于 相对静止状态；背景音乐包括第一类音乐，第二类音乐和第三类音乐，第一类 音乐包括高于第一密度值的节拍重音和高于第一速度的节奏，第二类音乐包括 低于第一密度值的重音节拍和高于第一速度的节奏，第三类音乐包括低于第一 密度值的重音节拍和低于第一速度的节奏；游戏背景音乐集合包括以下对应关 系：
第一参数组合与所述第一类音乐之间的对应关系，所述第一参数组合包括 处于第一兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数；
第二参数组合与所述第三类音乐之间的对应关系，所述第二参数组合包括 处于第二兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数；
第三参数组合或第四参数组合与所述第二类音乐之间的对应关系，所述第 三参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第二唇动参数区间的 唇动参数，所述第四参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第 一唇动参数区间的唇动参数。
在一个具体的示例中，已根据步骤303～305获得人脑兴奋度，且存在一个 人脑兴奋度临界值Ht，当用户的人脑兴奋度高于这个值时，表示人脑兴奋度处 于第一兴奋度区间，反之则表示人脑兴奋度处于第二兴奋度区间。如表1所示：
表1人脑兴奋度和人脑状态的对应关系
第二兴奋度区间 第一兴奋度区间
人脑兴奋度 (0，Ht) [Ht,,+∞]
人脑状态 不兴奋状态 兴奋状态
同理，通过步骤306获取用户的唇动参数，其中存在一个临界值Qt，大于Qt的 区间为第一参数区间，小于Qt的区间为第二参数区间，不同的参数区间用于表 征不同的唇动状态，如表2所示：
表2唇动参数与唇动状态的对应关系
第二参数区间 第一参数区间
唇动参数 (0，Qt) [Qt,+∞]
唇动状态 相对静止状态 相对运动状态
根据表1和表2可获得人脑兴奋度和唇动参数的参数组合，如表3所示：
表3人脑兴奋度和唇动参数的参数组合
人脑兴奋度 唇动参数
第一参数组合 [Ht,,+∞] [Qt,+∞]
第二参数组合 (0，Ht) (0，Qt)
第三参数组合 [Ht,+∞] (0，Qt)
第四参数组合 (0，Ht) [Qt,+∞]
获得人脑兴奋度和人眼兴奋度的参数组合后，可以将参数组合与游戏背景 音乐进行对应，其中游戏背景音乐被分为三类，第一类音乐包括高于第一密度 值的节拍重音和高于第一速度的节奏，其带来感受包括激昂、振奋、激动或力 量，第二类音乐包括低于第一密度值的重音节拍和高于第一速度的节奏，其带 来的感受包括欢快、轻松、活泼或喜悦，第三类音乐包括低于第一密度值的重 音节拍和低于第一速度的节奏，其带来的感受包括休闲、悠扬、抒情或安静。 各参数组合与背景音乐的集合如表4所示：
表4参数组合与游戏背景音乐的对应关系
根据上述对应关系为用户提供匹配的游戏背景音乐。
本示例通过提供一种具体的人脑兴奋度和唇动参数的参数组合方法，为用 户提供适配的具体的游戏背景音乐分类，进一步提高了用户当前游戏情绪与游 戏背景音乐的匹配度。
步骤308、将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度 和所述唇动参数的游戏背景音乐。
可以看出，本申请实施例中，电子装置首先通过脑电波传感器采集用户的 脑电波信号，对采集到的脑电波信号进行降噪处理，并根据脑电波中四种不同 频段的波对应能量值的变化确定人脑兴奋度；然后电子装置通过摄像头采集用 户的嘴唇图像，根据图像获得用户在预设时间段内的唇动时长和唇动频率组合， 确定用户的唇动参数；最后根据用户的人脑兴奋度和唇动参数的参数组合，为 用户推荐适配的游戏背景乐音。结合人脑兴奋度和唇动参数的参数组合为用户 匹配游戏背景音乐，可以减少只参考一种数据信息时存在的数据获取误差或数 据分析误差，以及具体的个体在情绪表达与数据表现之间的误差，提升了电子 装置适配游戏背景音乐的准确度和智能性。
与上述图2和图3所示的实施例一致的，请参阅图5，图5是本申请实施例 提供的一种电子装置的结构示意图，如图所示，该电子装置包括处理器、存储 器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述 存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的 指令：通过所述脑电波传感器采集用户的脑电波信号，所述电子装置前台运行 有游戏应用；根据所述脑电波信号确定用户的人脑兴奋度；通过所述摄像头采 集用户的嘴唇图像，根据所述嘴唇图像获取用户的唇动参数；确定适配所述人 脑兴奋度和所述唇动参数的所述游戏应用的游戏背景音乐；为所述游戏应用切 换至适配所述人脑兴奋度和所述唇动参数的所述游戏背景音乐。
可以看出，本申请实施例中，电子装置首先通过脑电波传感器采集用户的 脑电波信号，根据脑电波信号的分析处理结果确定人脑兴奋度；然后电子装置 通过摄像头采集用户的嘴唇图像，根据图像获得用户的唇动参数；最后根据用 户的人脑兴奋度和唇动参数的参数组合，适配用户当前情绪状态的游戏背景音 乐，并切换至该游戏背景音乐以减少用户因为游戏背景音乐不适配而采取的不 必要操作步骤，节省用户时间，有利于提高电子装置在运行游戏应用状态下进 行功能服务的智能性和准确度。
在一个可能的示例中，在所述确定适配所述人脑兴奋度和所述唇动参数的 所述游戏应用的游戏背景音乐方面，所述程序中的指令具体用于执行以下操作： 查询预设的所述游戏应用的游戏背景音乐集合，获取所述人脑兴奋度和所述唇 动参数对应的游戏背景音乐，所述游戏背景音乐集合包括人脑兴奋度和唇动参 数组成的参数组合与游戏背景音乐之间的对应关系。
在一个可能的示例中，所述人脑兴奋度包括第一兴奋度区间和第二兴奋度 区间，所述第一兴奋度区间用于指示人脑处于兴奋状态，所述第二兴奋度区间 用于指示人脑处于不兴奋状态；所述人眼兴奋度包括第三兴奋度区间和第四兴 奋度区间，所述唇动参数包括第一唇动参数区间和第二唇动参数区间，所述第 一唇动参数区间用于指示用户的嘴唇处于相对运动状态，所述第二唇动参数区 间用于指示用户的嘴唇处于相对静止状态；所述游戏背景音乐包括第一类音乐， 第二类音乐和第三类音乐，所述第一类音乐包括高于第一密度值的节拍重音和 高于第一速度的节奏，所述第二类音乐包括低于第一密度值的重音节拍和高于 第一速度的节奏，所述第三类音乐包括低于第一密度值的重音节拍和低于第一 速度的节奏；
所述游戏背景音乐集合包括以下对应关系：
第一参数组合与所述第一类音乐之间的对应关系，所述第一参数组合包括 处于第一兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数；
第二参数组合与所述第三类音乐之间的对应关系，所述第二参数组合包括 处于第二兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数；
第三参数组合或第四参数组合与所述第二类音乐之间的对应关系，所述第 三参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第二唇动参数区间的 唇动参数，所述第四参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第 一唇动参数区间的唇动参数。
在一个可能的示例中，所述脑电波传感器为电极式传感器，所述电极式传 感器包括第一电极和第二电极，在所述通过所述脑电波传感器采集用户的脑电 波信号方面，所述程序中的指令具体用于执行以下操作：通过所述第一电极采 集额叶区的第一脑电波信号，通过所述第二电极采集枕叶区的第二脑电波信号； 将所述第一脑电波信号和所述第二脑电波信号结合，获得用户的脑电波信号。
在一个可能的示例中，所述根据所述脑电波信号确定用户的人脑兴奋度方 面，所述程序中的指令具体用于执行以下操作：采用小波包变换对脑电波信号 进行降噪处理；将信号投影到小波包基函数的空间对脑电波信号进行频率分解， 获得不同频率的四个基本节律的功率谱；根据所述四个基本节律的功率谱获得 四个基本节律对应的能量值；根据四个基本节律对应的能量值之间的比值，确 定用户的人脑兴奋度。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可 以理解的是，电子装置为了实现上述功能，其包含了执行各个功能相应的硬件 结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的 实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软 件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来 执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个 特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。
本申请实施例可以根据上述方法示例对电子装置进行功能单元的划分，例 如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集 成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采 用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是 示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的游戏背景音乐匹配装置600的功能单元组成 框图。该游戏背景音乐匹配装置600应用于电子装置，所述电子装置包括脑电波 传感器，该游戏背景音乐匹配装置600包括信号采集单元601、图像采集单元602、 数据处理单元603和背景音乐切换单元604，其中，所述信号采集单元601，用于 采集用户的脑电波信号；所述图像采集单元602，用于采集用户的嘴唇图像；所 述数据处理单元603，用于根据所述脑电波信号确定用户的人脑兴奋度；以及用 于根据所述嘴唇图像获取用户的唇动参数；以及用于确定适配所述人脑兴奋度 和所述唇动参数的所述游戏应用的游戏背景音乐；所述背景音乐切换单元604， 用于将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度和所述唇 动参数的游戏背景音乐。
可以看出，本申请实施例中，电子装置首先通过脑电波传感器采集用户的 脑电波信号，根据脑电波信号的分析处理结果确定人脑兴奋度；然后电子装置 通过摄像头采集用户的嘴唇图像，根据图像获得用户的唇动参数；最后根据用 户的人脑兴奋度和唇动参数的参数组合，为用户切换适配的游戏背景音乐。综 合人脑兴奋度和唇动参数准确确定适配用户当前情绪状态的游戏背景音乐，并 切换至该游戏背景音乐以以减少用户因为游戏背景音乐不适配而采取的不必要 操作步骤，节省用户时间，有利于提高电子装置在运行游戏应用状态下进行功 能服务的智能性和准确度。
在一个可能的示例中，在所述确定适配所述人脑兴奋度和所述唇动参数的 所述游戏应用的游戏背景音乐方面，所述数据处理单元603具体用于：
查询预设的所述游戏应用的游戏背景音乐集合，获取所述人脑兴奋度和所 述唇动参数对应的游戏背景音乐，所述游戏背景音乐集合包括人脑兴奋度和唇 动参数组成的参数组合与游戏背景音乐之间的对应关系。
在一个可能的示例中，所述脑电波传感器为电极式传感器，所述电极式传 感器包括第一电极和第二电极；在所述通过所述脑电波传感器采集用户的脑电 波信号方面，所述信号采集单元601具体用于：通过所述第一电极采集额叶区的 第一脑电波信号，通过所述第二电极采集枕叶区的第二脑电波信号；将所述第 一脑电波信号和所述第二脑电波信号结合，获得用户的脑电波信号。
在一个可能的示例中，在所述根据所述脑电波信号确定用户的人脑兴奋度 方面，所述数据处理单元603具体用于：采用小波包变换对脑电波信号进行降噪 处理；将信号投影到小波包基函数的空间对脑电波信号进行频率分解，获得不 同频率的四个基本节律的功率谱；根据所述四个基本节律的功率谱获得四个基 本节律对应的能量值；根据四个基本节律对应的能量值之间的比值，确定用户 的人脑兴奋度。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储 用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实 施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储 了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计 算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程 序产品可以为一个软件安装包，上述计算机包括移动终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的 动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施 例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其 它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单 元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例 如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略， 或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可 以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的 形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分 可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包 括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备 等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括： U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存 储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory， 简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁 盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的 原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方 法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在 具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本申请的限制。

Claims (13)

1.一种电子装置，其特征在于，所述电子装置包括脑电波传感器、摄像头、处理器和存储器，其中：
所述脑电波传感器，用于采集用户的脑电波信号，所述电子装置前台运行有游戏应用；
所述摄像头，用于获取用户的嘴唇运动数据；
所述存储器，用于存储所述游戏应用的游戏背景音乐；
所述处理器，用于根据所述脑电波信号确定用户的人脑兴奋度；以及用于根据所述用户的嘴唇运动数据获取唇动参数；以及用于确定适配所述人脑兴奋度和所述唇动参数的游戏背景音乐；以及用于为所述游戏应用切换至适配所述人脑兴奋度和所述唇动参数的所述游戏背景音乐。
2.根据权利要求1所述的电子装置，其特征在于，在所述确定适配所述人脑兴奋度和所述唇动参数的所述游戏应用的游戏背景音乐方面，所述处理器具体用于：查询预设的所述游戏应用的游戏背景音乐集合，获取所述人脑兴奋度和所述唇动参数对应的游戏背景音乐，所述游戏背景音乐集合包括人脑兴奋度和唇动参数组成的参数组合与游戏背景音乐之间的对应关系。
3.根据权利要求2所述的电子装置，其特征在于，所述人脑兴奋度包括第一兴奋度区间和第二兴奋度区间，所述第一兴奋度区间用于指示人脑处于兴奋状态，所述第二兴奋度区间用于指示人脑处于不兴奋状态；所述唇动参数包括第一唇动参数区间和第二唇动参数区间，所述第一唇动参数区间用于指示用户的嘴唇处于相对运动状态，所述第二唇动参数区间用于指示用户的嘴唇处于相对静止状态；所述游戏背景音乐包括第一类音乐，第二类音乐和第三类音乐，所述第一类音乐包括高于第一密度值的节拍重音和高于第一速度的节奏，所述第二类音乐包括低于第一密度值的重音节拍和高于第一速度的节奏，所述第三类音乐包括低于第一密度值的重音节拍和低于第一速度的节奏；
所述游戏背景音乐集合包括以下对应关系：
第一参数组合与所述第一类音乐之间的对应关系，所述第一参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数；
第二参数组合与所述第三类音乐之间的对应关系，所述第二参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数；
第三参数组合或第四参数组合与所述第二类音乐之间的对应关系，所述第三参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数，所述第四参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数。
4.根据权利要求1-3所述的电子装置，其特征在于，所述脑电波传感器为电极式传感器，所述电极式传感器包括第一电极和第二电极，所述第一电极用于采集额叶区的第一脑电波信号，所述第二电极用于采集枕叶区的第二脑电波信号，将所述第一脑电波信号和所述第二脑电波信号结合，获得用户的脑电波信号。
5.根据权利要求4所述的电子装置，其特征在于，在根据所述脑电波信号确定用户的人脑兴奋度方面，所述处理器具体用于：
采用小波包变换对脑电波信号进行降噪处理；
将信号投影到小波包基函数的空间对脑电波信号进行频率分解，获得不同频率的四个基本节律的功率谱；
根据所述四个基本节律的功率谱获得四个基本节律对应的能量值；
根据四个基本节律对应的能量值之间的比值，确定用户的脑电波兴奋度。
6.一种游戏背景音乐匹配方法，其特征在于，应用于电子装置，所述电子装置包括脑电波传感器和摄像头，所述方法包括：
通过所述脑电波传感器采集用户的脑电波信号，根据所述脑电波信号确定用户的人脑兴奋度，所述电子装置前台运行有游戏应用；
通过所述摄像头采集用户的嘴唇图像，根据所述嘴唇图像获取唇动参数；
确定适配所述人脑兴奋度和所述唇动参数的游戏背景音乐；
将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度和所述唇动参数的游戏背景音乐。
7.根据权利要求6所述的方法，其特征在于，所述确定适配所述人脑兴奋度和所述唇动参数的所述游戏应用的游戏背景音乐包括：
查询预设的所述游戏应用的游戏背景音乐集合，获取所述人脑兴奋度和所述唇动频率参数对应的游戏背景音乐，所述游戏背景音乐集合包括人脑兴奋度和唇动参数组成的参数组合与游戏背景音乐之间的对应关系。
8.根据权利要求7所述的方法，其特征在于，所述人脑兴奋度包括第一兴奋度区间和第二兴奋度区间，所述第一兴奋度区间用于指示人脑处于兴奋状态，所述第二兴奋度区间用于指示人脑处于不兴奋状态；所述唇动参数包括第一参数区间和第二参数区间，所述第一参数区间用于指示用户的嘴唇处于相对运动状态，所述第二参数区间用于指示用户的嘴唇处于相对静止状态；所述游戏背景音乐包括第一类音乐，第二类音乐和第三类音乐，所述第一类音乐包括高于第一密度值的节拍重音和高于第一速度的节奏，所述第二类音乐包括低于第一密度值的重音节拍和高于第一速度的节奏，所述第三类音乐包括低于第一密度值的重音节拍和低于第一速度的节奏；
所述游戏背景音乐集合包括以下对应关系：
第一参数组合与所述第一类音乐之间的对应关系，所述第一参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数；
第二参数组合与所述第三类音乐之间的对应关系，所述第二参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数；
第三参数组合或第四参数组合与所述第二类音乐之间的对应关系，所述第三参数组合包括处于第一兴奋度区间的人脑兴奋度和处于第二唇动参数区间的唇动参数，所述第四参数组合包括处于第二兴奋度区间的人脑兴奋度和处于第一唇动参数区间的唇动参数。
9.根据权利要求6-8所述的方法，其特征在于，所述脑电波传感器为电极式传感器，所述电极式传感器包括第一电极和第二电极；所述通过所述脑电波传感器采集用户的脑电波信号包括：
通过所述第一电极采集额叶区的第一脑电波信号，通过所述第二电极采集枕叶区的第二脑电波信号；
将所述第一脑电波信号和所述第二脑电波信号结合，获得用户的脑电波信号。
10.根据权利要求6-9所述的方法，其特征在于，所述根据所述脑电波信号确定用户的人脑兴奋度包括：
采用小波包变换对脑电波信号进行降噪处理；
将信号投影到小波包基函数的空间对脑电波信号进行频率分解，获得不同频率的四个基本节律的功率谱；
根据所述四个基本节律的功率谱获得四个基本节律对应的能量值；
根据四个基本节律对应的能量值之间的比值，确定用户的人脑兴奋度。
11.一种游戏背景音乐匹配装置，其特征在于，应用于电子装置，所述电子装置包括脑电波传感器、摄像头、存储器和处理器，所述游戏推荐装置包括信号采集单元、图像采集单元、数据处理单元和背景音乐切换单元；
所述信号采集单元，用于采集用户的脑电波信号；
所述图像采集单元，用于采集用户的嘴唇图像；
所述数据处理单元，用于根据所述脑电波信号确定用户的人脑兴奋度；以及用于根据所述嘴唇图像获取用户的唇动参数；以及用于确定适配所述人脑兴奋度和所述唇动参数的所述游戏应用的游戏背景音乐；
所述背景音乐切换单元，用于将所述游戏应用的当前背景音乐切换至所述适配所述人脑兴奋度和所述唇动参数的游戏背景音乐。
12.一种电子装置，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求6-10任一项所述的方法中的步骤的指令。
13.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求6-10任一项所述的方法。
CN201810150197.5A 2018-02-13 2018-02-13 电子装置、游戏背景音乐匹配方法及相关产品 Pending CN108415764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810150197.5A CN108415764A (zh) 2018-02-13 2018-02-13 电子装置、游戏背景音乐匹配方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810150197.5A CN108415764A (zh) 2018-02-13 2018-02-13 电子装置、游戏背景音乐匹配方法及相关产品

Publications (1)

Publication Number Publication Date
CN108415764A true CN108415764A (zh) 2018-08-17

Family

ID=63128686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150197.5A Pending CN108415764A (zh) 2018-02-13 2018-02-13 电子装置、游戏背景音乐匹配方法及相关产品

Country Status (1)

Country Link
CN (1) CN108415764A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032384A (zh) * 2018-08-30 2018-12-18 Oppo广东移动通信有限公司 音乐播放控制方法、装置及存储介质和穿戴式设备
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN109756628A (zh) * 2018-12-29 2019-05-14 北京金山安全软件有限公司 一种功能按键音效的播放方法、装置及电子设备
CN110298712A (zh) * 2019-08-01 2019-10-01 秒针信息技术有限公司 一种获取用户投入度的方法及装置
CN112634814A (zh) * 2020-12-01 2021-04-09 黑龙江建筑职业技术学院 一种跟随音乐的led三维立体显示器的节奏控制方法
WO2021068812A1 (zh) * 2019-10-12 2021-04-15 平安科技（深圳）有限公司 音乐生成方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术（上海）有限公司 音乐播放器
CN104182048A (zh) * 2014-08-27 2014-12-03 西安科技大学 基于脑机接口的电话系统及其方法
US20150297109A1 (en) * 2014-04-22 2015-10-22 Interaxon Inc. System and method for associating music with brain-state data
CN105426404A (zh) * 2015-10-28 2016-03-23 广东欧珀移动通信有限公司 一种音乐信息推荐方法、装置和终端
CN106730812A (zh) * 2016-11-30 2017-05-31 吉林大学 一种基于多生理参数情绪量估的游戏调控系统及调控方法
CN106974647A (zh) * 2017-04-01 2017-07-25 南京阿凡达机器人科技有限公司 一种脑电波头戴装置及遥控机器人和锻炼大脑的方法
CN107515925A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 音乐播放方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术（上海）有限公司 音乐播放器
US20150297109A1 (en) * 2014-04-22 2015-10-22 Interaxon Inc. System and method for associating music with brain-state data
CN104182048A (zh) * 2014-08-27 2014-12-03 西安科技大学 基于脑机接口的电话系统及其方法
CN105426404A (zh) * 2015-10-28 2016-03-23 广东欧珀移动通信有限公司 一种音乐信息推荐方法、装置和终端
CN106730812A (zh) * 2016-11-30 2017-05-31 吉林大学 一种基于多生理参数情绪量估的游戏调控系统及调控方法
CN106974647A (zh) * 2017-04-01 2017-07-25 南京阿凡达机器人科技有限公司 一种脑电波头戴装置及遥控机器人和锻炼大脑的方法
CN107515925A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 音乐播放方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032384A (zh) * 2018-08-30 2018-12-18 Oppo广东移动通信有限公司 音乐播放控制方法、装置及存储介质和穿戴式设备
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN109756628A (zh) * 2018-12-29 2019-05-14 北京金山安全软件有限公司 一种功能按键音效的播放方法、装置及电子设备
CN109756628B (zh) * 2018-12-29 2021-03-16 北京金山安全软件有限公司 一种功能按键音效的播放方法、装置及电子设备
CN110298712A (zh) * 2019-08-01 2019-10-01 秒针信息技术有限公司 一种获取用户投入度的方法及装置
WO2021068812A1 (zh) * 2019-10-12 2021-04-15 平安科技（深圳）有限公司 音乐生成方法、装置、电子设备及计算机可读存储介质
CN112634814A (zh) * 2020-12-01 2021-04-09 黑龙江建筑职业技术学院 一种跟随音乐的led三维立体显示器的节奏控制方法
CN112634814B (zh) * 2020-12-01 2022-04-08 黑龙江建筑职业技术学院 一种跟随音乐的led三维立体显示器的节奏控制方法

Similar Documents

Publication Publication Date Title
CN108415764A (zh) 电子装置、游戏背景音乐匹配方法及相关产品
CN103026360B (zh) 用于通过采用生物计量信息操作虚拟世界的设备和方法
Tognetti et al. Modeling enjoyment preference from physiological responses in a car racing game
CN108108603A (zh) 登录方法及装置和电子设备
CN108236464A (zh) 基于脑电信号的特征提取方法及其检测提取系统
CN108310759B (zh) 信息处理方法及相关产品
Belwafi et al. A hardware/software prototype of EEG-based BCI system for home device control
EP3097702A1 (de) Multifunktionskopfhörersystem für sportliche aktivitäten
CN106648107A (zh) 一种vr场景的控制方法和装置
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN108404275A (zh) 睡眠训练方法及相关设备
CN108509034A (zh) 电子装置、信息处理方法及相关产品
CN108670275A (zh) 信号处理方法及相关产品
CN108418962A (zh) 基于脑电波的信息响应方法及相关产品
CN108234130A (zh) 身份验证方法及装置和电子设备
CN108415564A (zh) 电子装置、设备控制方法及相关产品
CN107998500A (zh) 睡眠辅助内容的播放方法和系统、睡眠辅助装置
CN113713333B (zh) 一种下肢康复全训练过程的动态虚拟诱导方法及系统
CN112987917B (zh) 运动想象增强方法、装置、电子设备和存储介质
US20210255706A1 (en) Brain-machine interface based intention determination device and method using virtual environment
CN113749656A (zh) 基于多维生理信号的情感识别方法和装置
CN108144291A (zh) 基于脑电波的游戏控制方法及相关产品
Groenegress et al. The physiological mirror—a system for unconscious control of a virtual environment through physiological activity
CN108334200B (zh) 电子设备控制方法及相关产品
Ramirez-Aristizabal et al. Image-based EEG classification of brain responses to song recordings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817