CN102880388A - 音乐处理方法和装置及移动终端 - Google Patents

Abstract

本发明公开了一种音乐处理方法和装置及移动终端。其中，音乐处理方法包括：获取用户的面部特征信息；查询与所述面部特征信息对应的音乐内容；以及显示所述音乐内容。通过本发明，解决了移动终端内对音乐的处理难以根据用户情况进行自动处理的问题，使得移动终端能够根据的表情自动分类显示音乐内容的效果。

Description

音乐处理方法和装置及移动终端

技术领域

本发明涉及终端领域，具体而言，涉及一种音乐处理方法和装置及移动终端。

背景技术

从早期的蜡盘唱片、黑胶唱片到后来的磁带、CD，传统的音乐总是附着在某种实物介质上供人们消费和欣赏。这些音乐载体对应着不同的技术时代，其共同的特点是都具有可触摸的外在形态。随着互联网和数字化技术的快速发展，数字音乐的出现打破了这一传统，它以数字信号的方式被储存在数据库里，在网络空间中流动传输，根据人们的需要被下载和删除，它的传播不再依仗于某种实物载体。

随着电子信息技术的快速发展，除了通过计算机播放数字音乐之外，常用的电子设备比如手机、掌上电脑和MP3等，通过安装支持数字音乐格式的音乐播放器都具有播放数字音乐功能，使用户可以利用身边的电子产品收听音乐。以手机为例，用户可以根据自己的需要从互联网上下载数字格式的音乐，从而可以随时随地通过手机播放自己感兴趣的音乐。

发明人发现，用户在不同的情绪下想听的音乐内容会有所不同，开心时想听一些欢快节奏感强的音乐，伤心时想听些抒情安静些的音乐，现有方案中用户需要手动选择音乐内容，操作繁琐给用户带来了不便。

针对相关技术中用户在对移动终端内对音乐的处理难以根据用户情况进行自动处理的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种音乐处理方法和装置及移动终端，以解决移动终端内对音乐的处理难以根据用户情况进行自动处理的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种音乐处理方法。该音乐处理方法包括：获取用户的面部特征信息；查询与面部特征信息对应的音乐内容；以及显示音乐内容。

进一步地，查询与面部特征信息对应的音乐内容包括：查询与面部特征信息对应的表情信息；以及查询与表情信息对应的音乐内容。

进一步地，上述的音乐处理方法还包括：在接收到用户输入的搜索请求后，提示用户输入表情信息；接收用户输入的表情信息；以及查询与输入的表情信息对应的音乐内容。

进一步地，上述方法还包括：提示用户对表情信息和面部特征信息进行关联；接收用户输入的表情信息和面部特征信息的关联信息；以及保存用户输入的表情信息和面部特征信息的关联关系。

进一步地，获取用户的面部特征信息包括：检测用户是否在使用音乐播放功能；在确定用户在使用音乐播放功能时，获取用户的面部特征信息，显示音乐内容包括：显示与面部特征信息对应的音乐内容的列表。

进一步地，上述方法还包括：判断是否能够查询到与面部特征信息对应的音乐内容；在无法查询到与面部特征信息对应的音乐内容时，提示用户输入新的音乐内容；接收用户输入的新音乐内容；建立新音乐内容与面部特征信息的对应关系；以及保存对应关系。

进一步地，查询与面部特征信息对应的音乐内容包括：查询与面部特征信息对应的表情信息；以及，查询与表情信息对应的音乐内容，该音乐处理方法还包括：判断是否能够查询到与面部特征信息对应的表情信息；在无法查询到与面部特征信息对应的表情信息时，提示用户输入新的表情信息；接收用户输入的新表情信息；建立新表情信息与面部特征信息的对应关系；判断是否存在与新表情信息对应的音乐内容；在确定不存在与新表情信息对应的音乐内容时，提示用户输入新的音乐内容；接收用户输入的新音乐内容；建立新音乐内容与新表情信息的对应关系；以及保存对应关系。

进一步地，获取用户的面部特征信息包括：获取用户的面部图像；将面部图像与预存的面部特征模板进行对比分析；以及将预存的面部特征模板中与面部图像最接近的面部特征模板对应的信息作为面部特征信息。

为了实现上述目的，根据本发明的另一方面，提供了一种音乐处理装置。该音乐处理装置包括：获取单元，用于获取用户的面部特征信息；查询单元，用于查询与面部特征信息对应的音乐内容；以及显示单元，用于显示音乐内容。

进一步地，上述的查询单元包括：第一查询单元，用于查询与面部特征信息对应的表情信息；以及第二查询单元，用于查询与表情信息对应的音乐内容。

进一步地，音乐处理装置还包括：判断单元，用于判断是否能够查询到与面部特征信息对应的音乐内容；提示单元，用于在无法查询到与面部特征信息对应的音乐内容时，提示用户输入新的音乐内容；接收单元，用于接收用户输入的新音乐内容；建立单元，用于建立新音乐内容与面部特征信息的对应关系；以及保存单元，用于保存对应关系。

进一步地，查询单元包括：第一查询单元，用于查询与面部特征信息对应的表情信息；以及第二查询单元，用于查询与表情信息对应的音乐内容，音乐处理装置还包括：第一判断单元，用于判断是否能够查询到与面部特征信息对应的表情信息；第一提示单元，用于在无法查询到与面部特征信息对应的表情信息时，提示用户输入新的表情信息；第一接收单元，用于接收用户输入的新表情信息；第一建立单元，用于建立新表情信息与面部特征信息的对应关系；第一保存单元，用于保存新表情信息与面部特征信息的对应关系；第二判断单元，用于判断是否存在与新表情信息对应的音乐内容；第二提示单元，用于在确定不存在与新表情信息对应的音乐内容时，提示用户输入新的音乐内容；第二接收单元，用于接收用户输入的新音乐内容；第二建立单元，用于建立新音乐内容与新表情信息的对应关系；以及第二保存单元，用于保存对应关系。

进一步地，获取单元包括：获取模块，用于获取用户的面部图像；分析模块，用于将面部图像与预存的面部特征模板进行对比分析；以及确定模块，用于将预存的面部特征模板中与面部图像最接近的面部特征模板对应的信息作为面部特征信息。

为了实现上述目的，根据本发明的另一方面，提供了一种移动终端，该移动终端包括本发明提供的任意一种音乐处理装置。

通过本发明，解决了移动终端内对音乐的处理难以根据用户情况进行自动处理的问题，进而达到了使得移动终端根据的表情自动分类显示的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的音乐处理装置的示意图；

图2是根据本发明第一优选实施例的音乐处理装置的示意图；

图3是根据本发明第二优选实施例的音乐处理装置的示意图；

图4是根据本发明第三优选实施例的音乐处理装置的示意图；

图5是根据本发明第四优选实施例的音乐处理装置的示意图；

图6是根据本发明实施例的音乐处理方法的流程图；

图7是根据本发明音乐处理方法的第一优选实施例的流程图；以及

图8是根据本发明的音乐处理方法的第二优选实施例的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种音乐处理装置，该音乐处理装置可以作为移动终端的一部分。

图1是根据本发明实施例的音乐处理装置的示意图。如图1所示，该音乐处理装置包括获取单元10、查询单元20、显示单元30。

获取单元10用于获取用户的面部特征信息，例如，通过设置在移动终端上的摄像头获取用户的面部特征信息。

查询单元20用于查询与面部特征信息对应的音乐内容，其中，在移动终端内可以设置有不同面部特征信息分别对应的音乐内容。

显示单元30用于显示查询单元20查询到的音乐内容。

图2是根据本发明第一优选实施例的音乐处理装置的示意图。该音乐处理装置也包括获取单元10、查询单元20、显示单元30。获取单元10又包括第一查询单元201和第二查询单元202。

第一查询单元201用于查询与面部特征信息对应的表情信息。

第二查询单元202用于查询与表情信息对应的音乐内容。

获取单元10可以通过表情监测模块获取用户面部特征信息，查询面部特征信息与表情的映射表获取与之对应的表情信息，查询表情音乐映射表，获取与表情信息匹配的音乐内容。在获取用户面部特征信息时，可以使获取用户面部眼睛位置信息、眼睛形状信息；获取用户面部嘴巴位置信息、嘴巴形状信息；获取用户面部脸庞位置信息及脸庞形状信息。

在移动终端内可以先设置面部特征信息对应的表情信息，然后再设置表情信息对应的音乐内容、这样的话，可以使得用户在对终端进一步设置时，更方便的进行自定义。

用户的脸上往往带有表情，比如开心、伤心、兴奋等等，在眼睛、嘴巴、脸庞等位置的轮廓和形状会有些区别，通过本发明实施例所提供的音乐处理装置，从这些区别用可以判断用户现在是什么样的表情。通过确定的表情得到对应的音乐内容，从而可以使得用户减少输入，甚至于完全省略用户的输入。

优选地，在接收到用户输入的搜索请求后，音乐处理装置提示用户输入表情信息。在用户给予提示信息进行操作的过程中，音乐处理装置接收用户输入的表情信息，然后查询与所述表情信息对应的音乐内容。从而提高了用户对音乐内容的检索效率，以及提供了一种全新的检索方式。当用户搜索时，用户可以输入特定表情信息来搜索，以便找到用户在指定表情所有相关的音乐；用户也可以直接开启面部识别功能，程序自动识别用户的表情，并搜索该表情相关的音乐，生成音乐播放列表，显示给用户，并开始播放。

图3是根据本发明第二优选实施例的音乐处理装置的示意图。该音乐处理装置除了包括获取单元10、查询单元20、显示单元30之外，还包括判断单元40、提示单元50、接收单元60、建立单元70和保存单元80。

判断单元40用于判断是否能够查询到与面部特征信息对应的音乐内容。

提示单元50用于在无法查询到与面部特征信息对应的音乐内容时，提示用户输入新的音乐内容。即，引导用户进行更个性化的设置。

接收单元60用于接收用户输入的新音乐内容。

建立单元70用于建立新音乐内容与面部特征信息的对应关系。

保存单元80用于保存对应关系。

图4是根据本发明第三优选实施例的音乐处理装置的示意图。该音乐处理装置除了包括获取单元10、查询单元20、显示单元30之外，还包括第一判断单元401、第一提示单元501、第一接收单元601、第一建立单元701和第一保存单元801以及第二判断单元402、第二提示单元502、第二接收单元602、第二建立单元702和第二保存单元802。其中，查询单元20包括第一查询单元201和第二查询单元202。

第一查询单元201用于查询与面部特征信息对应的表情信息。

第二查询单元202用于查询与表情信息对应的音乐内容。

第一判断单元401用于判断是否能够查询到与面部特征信息对应的表情信息。

第一提示单元501用于在无法查询到与面部特征信息对应的表情信息时，提示用户输入新的表情信息。

第一接收单元601用于接收用户输入的新表情信息。

第一建立单元701用于建立新表情信息与面部特征信息的对应关系。

第一保存单元801用于保存新表情信息与面部特征信息的对应关系。

第二判断单元402用于判断是否存在与新表情信息对应的音乐内容。

第二提示单元502用于在确定不存在与新表情信息对应的音乐内容时，提示用户输入新的音乐内容。

第二接收单元602用于接收用户输入的新音乐内容。

第二建立单元702用于建立新音乐内容与新表情信息的对应关系。以及

第二保存单元802用于保存对应关系。

需要说明的是，第一判断单元401可以是在第一查询单元201执行查询时进行判断，也可以是在获取单元10获取到的面部特征信息进行判断。

通过该实施例，可以引导用户定义表情、表情与面部特征的映射关系、表情对应的音乐内容，以及引导用户自己定义表情，比如开心、伤心、兴奋，为每一种表情分配一个唯一的ID，以及引导用户录入与表情对应的面部特征信息。

用户的情绪的定义和识别有很多复杂性和差异性，不同人可能面部的表现和实际情绪之间会有很大差异。本方案通过融合计算机图像处理和生物统计学原理，允许用户自己定义表情和面部特征信息之间的对应关系，来提高个性表情的识别率。同时允许用户设置这些表情对应的面部特征信息，比如允许用户在定义表情时通过摄像头提取用户当前面部的特征信息作为识别该表情的依据。

引导用户对表情设置对应的音乐内容。

图5是根据本发明第四优选实施例的音乐处理装置的示意图。该音乐处理装置包括获取单元10、查询单元20、显示单元30，其中，获取单元10又包括获取模块101、分析模块102和确定模块103。

获取模块101用于获取用户的面部图像。

分析模块102用于将面部图像与预存的面部特征模板进行对比分析。

确定模块103用于将预存的面部特征模板中与面部图像最接近的面部特征模板对应的信息作为面部特征信息。

本实施例所述的音乐处理装置通过获取的用户面部特征信息，获取与所述面部特征信息匹配的表情，根据表情查询与之对应的音乐内容，并可以自动生成包含所述音乐内容的列表；可以解决现有的音乐处理方法无法根据用户当前的情况自动处理的问题，通过识别用户的表情自动显示用户预设的与该表情相关的音乐内容。

相应于本发明实施例所提供的音乐处理装置，本发明实施例还提供了一种音乐处理方法，本发明实施例的音乐处理方法可以基于本发明实施例所提供的音乐处理装置来执行，本发明实施例所提供的音乐处理装置也可以用于执行本发明实施例所提供的音乐处理方法。

图6是根据本发明实施例的音乐处理方法的流程图。如图6所示，该音乐处理方法，其特征在于，包括：

步骤S602，获取用户的面部特征信息。

在获取用户的面部特征信息时，可以将移动终端获取到的信息直接作为面部特征信息，也可以通过以下方式获取到面部特征信息：

获取用户的面部图像；

将面部图像与预存的面部特征模板进行对比分析；以及

将预存的面部特征模板中与面部图像最接近的面部特征模板对应的信息作为面部特征信息。

在获取用户的面部特征信息时，可以先检测用户是否在使用音乐播放功能，在确定用户在使用音乐播放功能时，再获取用户的面部特征信息，这样，可以避免在不必要的情况下对面部特征信息的获取。

步骤S604，查询与面部特征信息对应的音乐内容。

在查询与面部特征信息对应的音乐内容时，可以是直接基于面部特征信息查询与其对应的音乐内容，也可以是先查询与面部特征信息对应的表情信息；然后查询与表情信息对应的音乐内容。如图7所示，示出了在该种情况下进行查询的流程图。

在查询与面部特征信息对应的表情信息时，可以通过查询第一映射表以获取与面部特征信息对应的表情信息，其中，第一映射表为面部特征信息与表情信息的映射关系表。

在查询与表情信息对应的音乐内容时，可以通过查询第二映射表以获取与表情信息对应的音乐内容，其中，第二映射表为表情信息与音乐内容的映射关系表。

对于表情查询而言：可以搜索用户保存的表情与面部特征映射关系表，采用现有的人脸识别技术（比如区域特征分析算法）来进行匹配，利用已建成的人脸特征模板与获取到的用户面部特征信息进行特征分析，根据分析的结果来给出一个相似值，通过这个值即可确定是否为用户定义的某种表情。

对于音乐搜索而言：可以根据表情查询的结果，获取该表情的ID，通过设置中表情与音乐的映射关系，查询该表情对应的音乐内容。

步骤S606，显示查询到的音乐内容。

该处的音乐内容，可以是查询到的音乐名称，也可以是查询到的音乐文件。优选地，显示所述音乐内容包括：显示与所述面部特征信息对应的音乐内容的列表。通过以列表的方式呈现，可以使得用户对当前心情下的音乐文件以分类方式进行呈现。

优选地，为了使得用户能够对移动终端内的音乐内容等进行自定义，上述的方法还可以包括：

判断是否能够查询到与面部特征信息对应的音乐内容。

在无法查询到与面部特征信息对应的音乐内容时，提示用户输入新的音乐内容。

接收用户输入的新音乐内容。

建立新音乐内容与面部特征信息的对应关系。

保存对应关系。

在提示用户对移动终端内的音乐内容进行自定义时，也可以采用这样的方法：

首先，提示用户对表情信息和面部特征信息进行关联。

然后，接收用户输入的表情信息和面部特征信息的关联信息。

最后，保存用户输入的表情信息和面部特征信息的关联关系。

这样，在下次获取到用户与输入的面部特征信息关联的表情信息时，就可以根据保存的关联关系（也即对应关系）查询到对应的表情信息，继而再查询到对应的音乐内容。

进一步优选地，当步骤S604包括查询与面部特征信息对应的表情信息；以及，查询与表情信息对应的音乐内容时，上述的方法还可以包括：

判断是否能够查询到与面部特征信息对应的表情信息。

在无法查询到与面部特征信息对应的表情信息时，提示用户输入新的表情信息。

接收用户输入的新表情信息。

建立新表情信息与面部特征信息的对应关系。

判断是否存在与新表情信息对应的音乐内容。

在确定不存在与新表情信息对应的音乐内容时，提示用户输入新的音乐内容。

接收用户输入的新音乐内容。

建立新音乐内容与新表情信息的对应关系。

保存对应关系。

例如，如图8所示，示出了引导用户对进行自定义的流程。

举例而言，利用本发明实施例所提供的音乐处理装置或者移动终端，当用户生气时收到来电，直接挂断。系统在用户挂断电话时通过摄像头获取用户面部眼睛位置信息、眼睛形状信息、嘴巴位置信息、嘴巴形状信息、脸庞位置信息、脸庞形状信息等面部特征信息；根据预设的用户面部特征信息与用户表情的映射关系，确定与所述用户面部特征信息对应的用户表情；查询得到用户预设与该表情对应的音乐内容，然后自动对查询到的音乐内容进行播放。

除了上述提到的提示用户对移动终端内的音乐内容进行自定义的引导之外，还可以通过引导用户定义表情信息，设置表情和面部特征信息间的关联信息，设置表情的排序顺序。

引导用户关联表情和音乐，可以自动识别用户表情，并把表情信息和音乐的关联关系也保存在数据库中；或者让用户手动设置音乐关联的表情。

当用户使用音乐播放功能时，自动获取此刻用户的面部特征信息，根据用户预设的表情与面部特征信息的关联信息识别用户的表情，搜索该表情相关的音乐，生成音乐播放列表，显示给用户，并开始播放。

当用户搜索时，用户可以输入特定表情信息来搜索，以便找到用户在指定表情所有相关的音乐；用户也可以直接开启面部识别功能，程序自动识别用户的表情，并搜索该表情相关的音乐，生成音乐播放列表，显示给用户，并开始播放。

通过本发明实施例的音乐处理方法，在用户启动音乐播放功能时，在获取当前表情，并搜索用户设置的该表情相关的音乐，自动生成音乐播放列表，并开始播放。

在本发明实施例的音乐处理方法中，当用户搜索歌曲时，提示用户输入表情信息，即，提示用户可以按表情来搜索，并列出所有用户添加的表情供选择。用户选择后，搜索设置中保存的表情与音乐的映射关系，匹配其中的表情信息，把所有符合用户要求的音乐显示给用户。

本发明实施例的音乐处理方法也可以提供一种自动识别模式，在该模式下，自动识别用户当前表情，识别表情后自动搜索设置中保存的表情与音乐的映射关系，匹配其中的表情信息，把所有符合用户要求的音乐显示给用户。

本发明实施例的音乐处理方法提供了一种移动终端的音乐播放处理方法，可以应用于音乐播放的处理中。本发明实施例的音乐处理装置可以用于带有音乐播放功能的设备，其中，当用户使用音乐播放功能时，获取用户面部特征信息，其中，表情标识用以标识用户表情信息，表情信息是用户出于某种情绪时面部的特征信息，包括眼睛、嘴巴、脸庞轮廓等信息；设备根据预存的特征信息与音乐列表的映射关系确定与表情对应的音乐列表，获取用户设置的该表情标识对应的音乐，并按表情搜索或排序来显示音乐列表，并播放音乐列表中的音乐。通过本发明提供的关联表情的音乐播放处理方法和带有音乐播放功能的设备，使带有音乐播放功能的设备所播放的音乐内容能够实现情绪的变化而自动切换，使用户能快速找到特定表情下最想听的音乐，提高用户的体验度和设备的友好性。

本发明实施例提供的音乐处理方法及装置、移动终端，通过监测用户表情的变化，自动显示用户设置的与表情相关的音乐内容，解决了现有的音乐处理方法存在音乐内容处理速度慢且效率低的问题。

在本发明实施例提供的移动终端中，可以通过设置模块引导用户定义表情、表情与面部特征的映射关系、表情对应的音乐内容，通过监测模块获取用户面部特征信息，查询面部特征信息与表情的映射表获取与之对应的表情信息，查询表情音乐内容映射表，获取与表情信息匹配的音乐内容，以及通过显示单元显示查询到的音乐内容。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音乐处理方法，其特征在于，包括：

获取用户的面部特征信息；

查询与所述面部特征信息对应的音乐内容；以及

显示所述音乐内容。

2.根据权利要求1所述的音乐处理方法，其特征在于，查询与所述面部特征信息对应的音乐内容包括：

查询与所述面部特征信息对应的表情信息；以及

查询与所述表情信息对应的音乐内容。

3.根据权利要求2所述的音乐处理方法，其特征在于，所述方法还包括：

在接收到用户输入的搜索请求后，提示用户输入表情信息；

接收用户输入的表情信息；以及

查询与所述表情信息对应的音乐内容。

4.根据权利要求1所述的音乐处理方法，其特征在于，所述方法还包括：

提示用户对表情信息和面部特征信息进行关联；

接收用户输入的表情信息和面部特征信息的关联信息；以及

保存用户输入的表情信息和面部特征信息的关联关系。

5.根据权利要求1所述的音乐处理方法，其特征在于，

获取用户的面部特征信息包括：检测用户是否在使用音乐播放功能；在确定用户在使用音乐播放功能时，获取用户的面部特征信息，

显示所述音乐内容包括：显示与所述面部特征信息对应的音乐内容的列表。

6.根据权利要求1所述的音乐处理方法，其特征在于，所述方法还包括：

判断是否能够查询到与所述面部特征信息对应的音乐内容；

在无法查询到与所述面部特征信息对应的音乐内容时，提示用户输入新的音乐内容；

接收用户输入的新音乐内容；

建立所述新音乐内容与所述面部特征信息的对应关系；以及

保存所述对应关系。

7.根据权利要求1所述的音乐处理方法，其特征在于，

查询与所述面部特征信息对应的音乐内容包括：

查询与所述面部特征信息对应的表情信息；以及，

查询与所述表情信息对应的音乐内容，

所述方法还包括：

判断是否能够查询到与所述面部特征信息对应的表情信息；

在无法查询到与所述面部特征信息对应的表情信息时，提示用户输入新的表情信息；

接收用户输入的新表情信息；

建立所述新表情信息与所述面部特征信息的对应关系；

判断是否存在与所述新表情信息对应的音乐内容；

在确定不存在与所述新表情信息对应的音乐内容时，提示用户输入新的音乐内容；

接收用户输入的新音乐内容；

建立所述新音乐内容与所述新表情信息的对应关系；以及

保存所述对应关系。

8.根据权利要求1所述的音乐处理方法，其特征在于，获取用户的面部特征信息包括：

获取用户的面部图像；

将所述面部图像与预存的面部特征模板进行对比分析；以及

将所述预存的面部特征模板中与所述面部图像最接近的面部特征模板对应的信息作为所述面部特征信息。

9.一种音乐处理装置，其特征在于，包括：

获取单元，用于获取用户的面部特征信息；

查询单元，用于查询与所述面部特征信息对应的音乐内容；以及

显示单元，用于显示所述音乐内容。

10.一种移动终端，其特征在于，包括权利要求9所述的音乐处理装置。

Images