CN102800308A - 通过即时通信工具实现奏乐功能的方法、客户端及系统 - Google Patents

Abstract

本发明提供了一种通过即时通信工具实现奏乐功能的方法、客户端及系统，属于通信、软件技术领域。所述的方法包括有如下步骤：采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；生成包括有乐器控件的奏乐界面，在发起方客户端和/或接收方客户端输出；采集发起方和/或接收方通过发起方客户端和/或接收方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；将前述的演奏数据通过发起方客户端和/或接收方客户端输出。利用本发明，能够使得交互方之间分享即兴演奏的音乐，或者参与音乐的即兴演奏。

Description

通过即时通信工具实现奏乐功能的方法、客户端及系统

技术领域

本发明属于通信、软件技术领域。

技术背景

即时通信工具是应用非常广泛的网络通信形式，人们利用即时通信工具能够便利地进行文本、图片、音频、视频、多媒体等多种数据格式的交互操作，也能够便利地对已有的文档数据进行传输操作。

在利用即时通信工具进行交互操作的过程中，人们可以选择特定的音乐和交互对象进行分享。需要指出的是，这种应用数据的分享方式只能够对现成的音乐进行分享，却无法用交互方即兴演奏的音乐进行分享。

发明内容

本发明的目的，是提供一种通过即时通信工具实现奏乐功能的方法，以及配套的客户端及系统，利用本发明，能够使得交互方之间分享即兴演奏的音乐，或者参与音乐的即兴演奏。

本发明所提供的一种通过即时通信工具实现奏乐功能的方法，包括有如下步骤：

步骤1，采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

步骤2，生成包括有乐器控件的奏乐界面，在发起方客户端和/或接收方客户端输出；

步骤3，采集发起方和/或接收方通过发起方客户端和/或接收方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；

步骤4，将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

进一步，所述的触发奏乐功能的操作信息，是通过发起方和接收方所对应的即时通信交互界面设置奏乐开启控件，采集针对于该奏乐开启控件的触发消息，作为触发奏乐功能的操作信息。

进一步，所述的触发奏乐功能的操作信息，是通过发起方客户端中的联系人列表，针对联系人对象所在的ITEM项设置奏乐开启控件，采集针对于该奏乐开启控件的触发消息，作为触发和前述联系人对象之间实现奏乐功能的操作信息。

进一步，所述的触发奏乐功能的操作信息，可以按照下面的步骤进行实施，

预设用以实现奏乐功能的字符数据；

通过即时通信交互界面采集交互方所发送的即时通信消息；

判定前述的即时通信消息中是否包括有和前述实现奏乐功能的字符数据一致的数据内容；

在包括的情况下，则触发前述的奏乐功能，在不包括的情况下，则不触发前述的奏乐功能。

进一步，在前述的即时通信消息为音频或视频信息的情况下，将其识别转换为字符内容后，再进行判定操作。

进一步，在所述的奏乐界面中，设置有体鸣乐器控件列表、膜鸣乐器控件列表、气鸣乐器控件列表、弦鸣乐器控件列表和电鸣乐器控件列表这五种至少其一，在这些控件列表中设置有属于所在乐器类型的乐器控件，该乐器控件用以在触发后生成奏乐信息。

进一步，所述的奏乐界面设置在即时通信交互界面的侧部，或者设置在即时通信主面板中的联系人对象所对应的ITEM项侧部，以弹出窗口的形式输出。

进一步，所述的奏乐界面，包括有奏乐区域和乐器控件列表区域，其中的奏乐区域用以采集并输出即时通信用户所设定的乐器控件，以及通过该乐器控件接收即时通信用户的触发操作；其中的乐器控件列表区域用以向用户提供进行选择的乐器控件。

进一步，对应着前述的奏乐界面，设置有奏乐工具列表，用以在触发后生成弹出窗口，输出各种可供选择的演奏乐器控件的工具选项。

进一步，所述的奏乐工具列表，可以预先与乐器控件之间建立起映射列表，在选择乐器控件后，比对该映射列表获得对应的工具选项并输出。

进一步，对应着所述的乐器控件，通过鼠标光标或者触摸屏对乐器控件中的操作区域，通过点击或拨动或拖拉的方式进行操作。

进一步，对应着所述的乐器控件，触发所在终端上的视频拍摄结构，拍摄用户的操作动作信息，将该操作动作信息与乐器控件进行对应，获取前述操作动作信息对应着乐器控件所生成的音频数据。

进一步，所拍摄的视频数据包括嘴部的吹动动作数据，和/或手部的位移动作数据。

进一步，所述的乐器控件，通过如下步骤进行触发，

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户所写入的字符描述数据；

将采集的字符描述数据与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

进一步，所述的乐器控件，通过如下步骤进行触发，

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户的语音信息；

对前述的语音信息进行识别，转变为识别的字符内容；

将识别的字符内容与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

进一步，通过发起方客户端或者接收方客户端对乐器控件的触发操作，分别对应着所在的客户端进行自身乐器控件操作信息的采集操作，将采集的操作信息转变成音频数据后通过所在的终端输出，和/或传输到对方客户端进行输出。

进一步，采集发起方客户端和接收方客户端对乐器控件的操作信息，以双方发起操作信息所对应的时间戳为序，将双方的操作信息合并后转变为音频数据，通过所在的客户端和/或传输至对方客户端进行该音频数据的输出操作。

进一步，采集发起方客户端对乐器控件的操作信息，将其转变成音频数据，以及采集接收方客户端对乐器控件的操作信息，将其转变为音频数据，且将前述的各音频数据与对乐器控件操作信息所在的时间戳建立映射关系；将前述的音频数据由一方传输至另外一方所在客户端；以时间戳为序，将获得的各音频数据进行混合；将混合后的音频数据通过所在的客户端和/或传输至对方客户端进行输出操作。

本发明还提供一种通过即时通信工具实现奏乐功能的客户端，对应着发起方客户端，该客户端包括：

奏乐触发单元，用以采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，用以生成包括有乐器控件的奏乐界面，在发起方客户端输出；

演奏数据获取单元，用以采集发起方通过发起方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；

演奏数据输出单元，用以将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

本发明还提供一种通过即时通信工具实现奏乐功能的客户端，对应着接收方客户端，交互的另一方为发起方客户端，该客户端包括：

奏乐触发单元，用以采集发起方针对接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，用以在接收方客户端生成及输出包括有乐器控件的奏乐界面；

演奏数据获取单元，用以采集发起方通过发起方客户端对奏乐界面中的乐器控件的操作信息，在自身的接收方客户端中将前述操作信息转变为演奏数据；

演奏数据输出单元，用以将前述的演奏数据通过接收方客户端所在的终端输出。

本发明还提供一种通过即时通信工具实现奏乐功能的系统，它包括有发起方客户端、接收方客户端和系统服务器，该系统还包括：

奏乐触发单元，对应着发起方客户端进行设置，用以采集发起方通过发起方客户端针对所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，对应着发起方客户端和接收方客户端进行设置，用以在发起方客户端和接收方客户端中分别生成并输出包括有乐器控件的奏乐界面；

演奏数据合并生成单元，对应着发起方客户端和/或接收方客户端和/或系统服务器进行设置，用以采集发起方客户端和接收方客户端对奏乐界面中的乐器控件的操作信息，合并后生成演奏数据；

合并演奏数据输出单元，对应着发起方客户端和/或接收方客户端进行设置，用以将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

附图说明

图1是本发明中所述的能够实现奏乐功能的即时通信客户端的界面的示意图，为实施例1。

图2是本发明所述通过即时通信工具实现奏乐功能的方法的流程图，为实施例2。

图3是本发明所述通过即时通信工具实现奏乐功能的方法的流程图，为实施例3。

图4是本发明所述通过即时通信工具实现奏乐功能的方法的流程图，为实施例4。

图5是本发明所述通过即时通信工具实现奏乐功能的方法的流程图，为实施例5。

图6是本发明所述通过即时通信工具实现奏乐功能的客户端的结构框图，对应着发起方客户端，为实施例6。

图7是本发明所述通过即时通信工具实现奏乐功能的客户端的结构框图，对应着接收方客户端，为实施例7。

图8是本发明所述通过即时通信工具实现奏乐功能的系统的结构框图，为实施例8。

具体实施方式

实施例1

为了更好地说明本实施例，下面结合着图1对本发明中的一个具体实施例的展示界面进行描述。

参图中所示，所述的即时通信客户端100包括有即时通信主面板110。在该即时通信主面板110上，设置有主面板工具栏111，通过该主面板工具栏111，用以提供和即时通信相关联功能的触发控件，比如说，触发和即时通信用户识别号相对应的电子邮件，或者触发与即时通信用户识别号相对应的网页，或者触发和即时通信工具相绑定的其它功能。

在即时通信主面板110上，设置有联系人列表120。在该联系人列表120中，设置有用户的各个联系人对象121。每个联系人对象121所在的区域，大多为矩形的条框结构，作为常见的实施例，在该条框结构中包括有联系人图标和联系人用户名，该条框结构通常被称为ITEM项130。

在触发ITEM项130之后，能够开启对应的即时通信交互界面140。参图中所示，在即时通信交互界面140中，包括有交互界面输入栏141，用以采集用户所写入的数据信息；以及包括有交互界面输出栏142，用以输出交互通信的双方或多方之间的通信记录。进一步，对应着交互界面输入栏141，通常还设置有输入编辑工具栏143，用以针对于写入到交互界面输入栏141中的数据信息进行编辑操作，或者插入图片，或者发送数据，等等。进一步，对应着即时通信交互界面140，还设置有交互通信工具栏144，用以触发交互通信的各方之间的通信模式，比如用户还可以触发语音通信、多媒体通信等通信模式。

前面所描述的是当前已有即时通信交互界面的展示形式，而针对于本发明，还设置有和奏乐相关的功能结构，作为举例而非限定，具体如下：

对应着特定联系人对象的ITEM项130，通过置放光标到相应位置的方式进行触发，即可生成奏乐开启控件201。在触发该奏乐开启控件201之后，即可生成如图所示的即时通信交互界面140，在该即时通信交互界面140的右侧生成设置有奏乐界面200的新窗口。

另外，也可以在即时通信交互界面140中设置奏乐开启控件201，在触发该奏乐开启控件201之后，生成奏乐界面200。

在前述的奏乐界面200中，设置有乐器控件210，在本实施例中，所述的乐器控件210共包括三种，分别是古琴乐器控件211、腰鼓乐器控件212和铜锣乐器控件213。各乐器控件在触发后，均可对应生成演奏数据。

进一步，在前述的奏乐界面200的下方，还设置有乐器控件列表220，在触发后能够生成弹出窗口，输出各种可供选择的乐器控件选项，在采集获得发起方的选择消息后，将被选择的乐器控件通过奏乐界面200输出，以供操作。

进一步，在前述的奏乐界面200的下方，还设置有奏乐工具列表230，在触发后能够生成弹出窗口，输出各种可供选择的演奏乐器控件的工具选项。所述的奏乐工具列表230，还可以预先与乐器控件之间建立映射列表，在选择乐器控件后，比对该映射列表获得对应的工具选项。比如，对于发起方所选择的铜锣乐器控件213，就可以通过对应的奏乐工具列表230呈现各种打击类工具选项，供用户选择。

实施例2

参图2所示，本发明提供了一种通过即时通信工具实现奏乐功能的方法。该方法包括有如下步骤：

步骤S110，采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

步骤S120，生成包括有乐器控件的奏乐界面，在发起方客户端和/或接收方客户端输出；

步骤S130，采集发起方和/或接收方通过发起方客户端和/或接收方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；

步骤S140，将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

在实施本发明时，发起方所在的即时通信客户端处于开启状态。所述的触发奏乐功能的操作信息，作为举例而非限定，有三种触发的实施方式，分别如下：

（1）通过发起方和接收方所对应的即时通信交互界面预先设置奏乐开启控件，进而采集针对于该奏乐开启控件的触发消息，作为触发奏乐功能的操作信息。

在具体实施时，如果所在的终端具有鼠标器的话，利用鼠标光标点击该奏乐开启控件即可进行触发操作；如果所在的终端具有触摸屏的话，利用触摸输入的方式触发该奏乐开启控件即可。

（2）通过发起方客户端中的联系人列表，针对联系人对象所在的ITEM项设置奏乐开启控件，采集针对于该奏乐开启控件的触发消息，作为触发和前述联系人对象之间实现奏乐功能的操作信息。

该实施方式是通过ITEM项预设奏乐开启控件，该奏乐开启控件可以随着所在的ITEM项一直进行显示，也可以在该ITEM项处于触发状态时进行显示，比如利用鼠标光标在相应ITEM项上进行停留，或者利用触摸屏在相应ITEM项上进行触摸停留，该触发消息即可作为生成并输出奏乐开启控件的消息，从而输出奏乐开启控件。

（3）通过识别交互通信中即时通信消息所包括的字符内容的形式，触发奏乐功能。作为举例而非限定，其实施步骤包括：

预设用以实现奏乐功能的字符数据；

通过即时通信交互界面采集交互方所发送的即时通信消息；

判定前述的即时通信消息中是否包括有和前述实现奏乐功能的字符数据一致的数据内容；

在包括的情况下，则触发前述的奏乐功能，在不包括的情况下，则不触发前述的奏乐功能。

举例来说，用户A和用户B为进行即时通信交互操作的双方；由系统提供商或者用户A或者用户B，预设实现奏乐功能的字符数据为“奏乐”或者“演奏”或者“乐器”；进而，将采集获得的即时通信消息中的子信息，与前述的字符“奏乐”或者“演奏”或者“乐器”进行比对，判定是否具有一致的数据内容；在具有的情况下，则触发奏乐功能，否则不触发。进一步，所述的即时通信消息，也可以是语音交互内容或者视频交互内容，对于这种情况，将相应的语音交互内容或视频交互内容进行文字识别，获得与其对应的文字内容，然后再对其进行比对操作。

在前述的步骤S120中，通过发起方客户端和/或接收方客户端生成及输出包括有乐器控件的奏乐界面。

所述的奏乐界面，在通常情况下，至少在发起方客户端进行生成操作，进一步，也可以在发起方客户端处被触发之后，再通过接收方客户端采集前述的触发消息，生成并输出奏乐界面，通过接收方客户端进行演奏操作；或者，由发起方客户端发起奏乐界面的生成操作之后，在所述的发起方客户端和接收方客户端分别生成奏乐界面，由双方共同进行奏乐操作，采集双方的操作信息，生成合奏的音乐数据。

在所述的奏乐界面中，适合布局各种可供操作的乐器控件，由用户进行选择。根据用户的选择进行个性化的乐器控件布局。考虑到当前的乐器主要分为5类，分别是体鸣乐器、膜鸣乐器、气鸣乐器、弦鸣乐器和电鸣乐器，于是，就可以提供体鸣乐器控件列表、膜鸣乐器控件列表、气鸣乐器控件列表、弦鸣乐器控件列表和电鸣乐器控件列表这五种至少其一，用以供用户选择。需要指出的是，所述的电鸣乐器，可能是对前述体鸣乐器、膜鸣乐器、气鸣乐器、弦鸣乐器发音效果的模仿，也可能是单独自成体系的发音原理，于是，也可以根据电鸣乐器的发音原理设置相应的电鸣乐器控件列表。

作为举例，所述的体鸣乐器，比如铜锣，通过击打之后能够发出锣声。在本发明中，可以对应设置铜锣乐器控件，在具体实施时，可以通过该控件输出铜锣的图形，然后，可以直接采集针对于该铜锣图形的触发消息。比如，对于具有鼠标器的终端来说，可以通过鼠标光标对应着前述铜锣图形进行点击操作；或者，对于具有触摸屏的终端来说，可以通过触摸屏进行触摸点击操作；另外，也可以设置相应的击打控件，先触发该击打控件然后再触发前述的铜锣图形；另外，对于具有键盘的终端来说，也可以采集键盘消息，将每次的按键消息分别转变为对铜锣控件的击打消息，等等，都是可以的。

进一步，对铜锣控件的操作信息，可以预设该操作信息和对应音频信息之间的映射列表，进而将获得的操作信息与该映射列表进行比对，即可将每一个单独的操作信息转变为一段独立的音频信息。而连贯的操作信息，是由多个单独的操作信息组成的，于是，将相对应生成的多段独立的音频信息连贯起来，就可以获得连贯的音频数据。进而，在通过不同的乐器控件进行演奏时，对应出不同的音频信息类型，将其按照时间的先后顺序进行组合，即可获得合成的奏乐音频数据。

在本发明中，所述的奏乐界面既可以是独立的窗口形式，也可以在已有的即时通信界面的基础上进行界面扩展后形成。具体来说，所述的奏乐界面可以设置在即时通信交互界面的侧部，通过即时通信交互界面向左侧或者右侧或者上侧或者下侧进行扩展，生成用以显示奏乐界面的区域。另外，对应在即时通信主面板中的联系人对象所对应的ITEM项的侧部，也可以通过弹出窗口的形式输出奏乐界面的内容。

通过所述的奏乐界面，可以向即时通信用户提供能够进行奏乐操作的乐器控件，为实现该目的，需要向即时通信用户提供一个具有乐器控件良好布局的界面形式。作为举例，该奏乐界面包括有奏乐区域和乐器控件列表区域。其中的奏乐区域用以采集并输出即时通信用户所设定的乐器控件，这些乐器控件由用户进行选择符合自己需求的类型，通过该乐器控件接收即时通信用户的触发操作，这些触发操作信息配合着相应的乐器控件，能够转换成对应的音频数据。其中的乐器控件列表区域，用以通过列表的形式向用户提供进行选择的乐器控件，这些列表可以是前述的体鸣乐器控件列表、膜鸣乐器控件列表、气鸣乐器控件列表、弦鸣乐器控件列表和电鸣乐器控件列表的全部或部分。

前面所描述的乐器控件，需要采集即时通信用户对该乐器控件的操作信息，才能转变成对应的音频数据。对于不同的输入结构或用户界面，对用户操作信息的采集方式是不相同的。下面提供几种典型而非限定的方式：

（1）对应着所述的乐器控件，通过鼠标光标或者触摸屏对乐器控件中的操作区域，通过点击或拨动或拖拉的方式进行操作。

其中，作为举例，对于体鸣乐器控件列表、膜鸣乐器控件列表中的乐器控件来说，使用点击或拨动的方式进行操作是常见的形式，而对于气鸣乐器控件列表中的萨克斯乐器控件来说，则可以通过拖拉一类的方式进行模拟吹气的效果，而对于弦鸣乐器控件列表中的乐器控件，比如对于其中的小提琴来说，则可以通过拖拉的方式进行模拟小提琴的操作过程，但对于钢琴来说，则适合通过点击或拨打的方式进行模拟弹奏钢琴的操作过程，相应的操作方式根据具体的乐器控件进行设定。

（2）对应着所述的乐器控件，触发所在终端上的视频拍摄结构，拍摄用户的操作动作信息，将该操作动作信息与乐器控件进行对应，获取前述操作动作信息对应着乐器控件所生成的音频数据。

其中，所拍摄的视频数据包括嘴部的吹动动作数据，和/或手部的位移动作数据。

作为举例，当所述的乐器控件为萨克斯时，需要由用户用吹的方式获得不同的演奏效果，在吹的过程中配合着手部的动作。在这种情况下，为了增强用户体验，就可以通过直接采集用户的图像数据，利用用户的图像数据判断是否包括有对乐器控件的操作信息，在包括的情况下，对这些数据进行采集及识别，转变成对相应乐器控件的操作信息。进而将该操作信息转变成音频演奏数据。所采集的视频信息，作为举例而非限定，对于需要嘴部吹动操作的乐器控件来说，从采集的图像数据中，获取用户嘴部的图像，将其识别为吹动动作方面的数据，另外，常见的还包括获取手部的移动位置方面的数据，将其转变为对相应乐器控件的操作信息。

（3）所述的乐器控件，还可以通过采集描述字符的方式进行操作，具体来说，包括有如下步骤：

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户所写入的字符描述数据；

将采集的字符描述数据与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

作为举例，对应着膜鸣乐器控件列表选择腰鼓乐器控件，然后设置用以操作该控件的标准字符为数字“1”、“2”、“3”。其中“1”代表着对腰鼓的轻度击打操作；“2”代表着对腰鼓的中度击打操作；“3”代表着对腰鼓的重度击打操作。于是，在前述的腰鼓乐器控件处于选择状态的情况下，通过所在终端的键盘输入数字“1”或“2”或“3”，然后对该数字内容进行采集，并和前述预设的对腰鼓的击打操作模式进行比对，即可获得对腰鼓的操作模式，然后将其转变成所对应的音频数据即可，这也是一种便于实施的方式。

（4）所述的乐器控件，在通过字符的方式进行操作时，还可以采集用户发出的音频数据，将其识别为字符之后进行触发操作。具体来说，该方式包括有如下步骤：

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户的语音信息；

对前述的语音信息进行识别，转变为识别的字符内容；

将识别的字符内容与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

这种方式和前面所描述（3）是类似的，在执行乐器控件的操作时，触发所在的终端设备采集用户所发出的语音信息，将其进行文字识别，转变成字符内容之后，再判断所描述的字符内容对应的乐器控件的操作形式，进而转变成奏乐的数据信息。

如前所述，对于所采集获得的针对于乐器控件的操作信息，能够便利地转换成演奏数据。其中，乐器控件的操作信息与对应的奏乐音频数据之间建立有映射关系，通过比对该映射关系，就可以将对特定乐器控件的操作信息转变成特定的音频数据。进而以时间为轴，将相同或不同种类的乐器控件的各种操作信息分别转换成音频数据之后进行融合，即可以获得融合后的演奏数据。

在进行演奏数据的融合操作时，还可以采集不同即时通信用户分别发出的乐器控件的操作信息。该不同的即时通信用户，作为举例，可以是位于同一个即时通信群中的即时通信用户，或者位于即时通信分组中的用户，或者是用户通过邀请的方式建立起合作奏乐关系的各个即时通信用户，其数量是不限定的。作为一种实施例，可以采集发起方客户端和接收方客户端对乐器控件的操作信息，以双方发起操作信息所对应的时间戳为序，将双方的操作信息合并后转变为音频数据，通过所在的即时通信客户端进行该音频数据的输出操作，或者传输至对方客户端进行该音频数据的输出操作。所进行的演奏数据的融合，可以先将乐器控件及对应的操作信息进行融合后，再转变成奏乐音频数据；也可以将音频数据单独生成之后再进行融合，都是可以的。

若将音频数据单独通过不同的即时通信客户端生成之后再进行融合，作为一种实施例，可以这样进行实施：

采集发起方客户端对乐器控件的操作信息，将其转变成音频数据，以及采集接收方客户端对乐器控件的操作信息，将其转变为音频数据，且将前述的各音频数据与对乐器控件操作信息所在的时间戳建立映射关系；

将前述的音频数据由一方传输至另外一方所在客户端；

以时间戳为序，将获得的各音频数据进行混合；

将混合后的音频数据通过所在的客户端和/或传输至对方客户端进行输出操作。

另外，也可以由即时通信的一方客户端采集对乐器控件的操作信息，并将该操作信息转变成音频数据，将音频数据发送给另一方，由另一方客户端直接接收获得该音频数据输出即可。在具体实施时，可以通过发起方客户端或者接收方客户端对乐器控件的触发操作，分别对应着所在的客户端进行自身乐器控件操作信息的采集操作，将采集的操作信息转变成音频数据后通过所在的客户端输出，或传输到对方客户端进行输出。

下面继续举出几种具体的实施例。

实施例3

参图3所示，这儿描述了本发明的一个具体实施例，它包括有如下步骤：

步骤S210，通过发起方和接收方之间的即时通信交互界面，采集获得发起方对奏乐开启控件的触发消息；

步骤S220，对应在即时通信交互界面的侧部，生成奏乐界面，在奏乐界面中布局有乐器控件，其中的乐器控件包括打鼓乐器控件、小提琴乐器控件、琵琶乐器控件；

步骤S230，采集发起方通过鼠标光标或者触摸屏，对应着打鼓乐器控件的触发消息，生成对应的打鼓音频数据；

或者，采集通过鼠标光标或者触摸屏对小提琴乐器控件中的琴弦拖动数据，生成对应的小提琴音频数据；

或者，采集通过鼠标光标或者触摸屏对琵琶乐器控件中的琵琶琴弦的触发消息，生成琵琶弹奏的音频数据；

步骤S240，所生成的打鼓音频数据或小提琴音频数据或琵琶弹奏的音频数据，触发发起方所在的发起方终端中的音频播放结构进行声音播放，以及采集该音频数据的信息内容，发送至接收方客户端，通过接收方客户端输出对应的音乐播放控件；

步骤S250，采集接收方对前述音乐播放控件的触发消息，播放前述的音乐数据。

前述的音乐播放控件，作为举例，是通过接收方客户端上和发起方相对应的ITEM项，生成用一个图标形式进行表达的音乐播放控件，该音乐播放控件用以在发起方客户端进行奏乐操作并发送音频数据的情况下生成，在触发该音频播放控件之后，即可以输出所接收到的发起方客户端所发送的演奏数据，当然，在接收方和发起方处于交互状态的情况下，通过接收方客户端开启对应着发起方的即时通信交互界面，前述的音乐播放控件也可以通过所在的即时通信交互界面进行输出。需要指出的是，所述的音乐播放控件还可以设置自动播放模式，比如，当采集获得发起方所发送的演奏数据时，就可以直接触发进入到播放状态。

实施例4

参图4所示，这儿描述了本发明的另一个具体实施例，它包括有如下步骤：

步骤S310，通过处于即时通信交互状态的发起方和接收方，对应在发起方客户端开启有与接收方对应的发起方交互界面，对应在接收方客户端开启有与发起方对应的接收方交互界面，采集获得发起方对奏乐开启控件的触发消息；

步骤S320，对应着前述的发起方交互界面的侧部生成发起方奏乐界面，以及对应着前述的接收方交互界面的侧部生成接收方奏乐界面，在接收方奏乐界面和发起方奏乐界面中布局有乐器控件，其中的乐器控件包括打鼓乐器控件、小提琴乐器控件、琵琶乐器控件；

步骤S330，通过发起方客户端采集发起方利用鼠标光标或者触摸屏，对应着打鼓乐器控件的触发消息，生成对应的发起方打鼓音频数据；

以及通过接收方客户端采集接收方利用鼠标光标或者触摸屏对小提琴乐器控件中的琴弦拖动数据，生成对应的接收方小提琴音频数据；

步骤S340，将发起方打鼓音频数据以及对应的时间戳信息传送到接收方客户端，在接收方客户端依据该时间戳信息与接收方小提琴音频数据相混合；

以及，将接收方小提琴音频数据以及对应的时间戳信息传送到发起方客户端，在发起方客户端依据该时间戳信息与发起方打鼓音频数据相混合；

步骤S350，通过接收方客户端输出前述的混合后的音频数据，以及通过发起方客户端输出前述的另一混合后的音频数据。

在本实施例中，是通过发起方和接收方两者共同生成奏乐界面的方式配合着进行奏乐，并将所获得的奏乐操作信息，转变成音频数据之后，分别发送至对方所在的即时通信客户端，然后以进行奏乐操作时的时间戳数据进行各音频数据的融合操作。

实施例5

参图5所示，这儿描述了本发明的另一个具体实施例，它包括有如下步骤：

步骤S410，通过系统服务器预先建立音乐数据库；

步骤S420，通过发起方和接收方之间的即时通信交互界面，采集获得发起方对奏乐开启控件的触发消息；

步骤S430，对应着前述的发起方交互界面的侧部生成发起方奏乐界面，以及对应着前述的接收方交互界面的侧部生成接收方奏乐界面，在接收方奏乐界面和发起方奏乐界面中布局有乐器控件列表，其中的乐器控件列表包括架子鼓乐器控件、小提琴乐器控件、大提琴乐器控件、琵琶乐器控件、钢琴乐器控件、小号乐器控件、萨克斯乐器控件、风琴乐器控件和铜锣乐器控件；

步骤S440，采集发起方通过发起方奏乐界面在乐器控件列表中对架子鼓乐器控件的选择消息，通过奏乐界面输出架子鼓乐器控件的可操作图形；

以及，采集接收方通过接收方奏乐界面在乐器控件列表中对铜锣乐器控件的选择消息，通过所在的奏乐界面输出铜锣乐器控件的可操作图形；

步骤S450，通过发起方客户端采集发起方利用鼠标光标或者触摸屏，对应着架子鼓乐器控件的可操作图形的触发消息；

以及，通过接收方客户端采集接收方利用鼠标光标或者触摸屏对铜锣乐器控件中的可操作图形的触发消息；

步骤S460，将发起方架子鼓的操作信息以及对应的时间戳信息传送到接收方客户端，在接收方客户端依据前述的操作信息对应的时间戳信息，按照架子鼓乐器控件的声音生成规则，生成架子鼓音频数据；

以及，将接收方铜锣的操作信息以及对应的时间戳信息传送到发起方客户端，在发起方客户端依据铜锣乐器控件的声音生成规则生成铜锣音频数据；

步骤S470，依据接收方客户端所设置的单独播放发起方客户端音乐数据的模式，单独播放前述的架子鼓音频数据；

以及，依据接收方客户端所设置的混合播放发起方客户端与接收方客户端两者音乐数据的模式，依据相同的时间戳数据生成并输出混合后的架子鼓音频数据与铜锣音频数据。

实施例6

参图6所示，本发明还提供一种通过即时通信工具实现奏乐功能的客户端，对应着发起方客户端300，该发起方客户端300包括：

奏乐触发单元310，用以采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元320，用以生成包括有乐器控件的奏乐界面，在发起方客户端300输出；

演奏数据获取单元330，用以采集发起方通过发起方客户端300对奏乐界面中的乐器控件的操作信息，生成演奏数据；

演奏数据输出单元340，用以将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

本实施例所述的发起方客户端300，是发起奏乐功能的客户端，所生成的演奏数据，可以仅仅在自身的发起方客户端300中播放，也可以传输至接收方客户端，在接收方客户端进行播放操作。

发起方在触发奏乐功能时，具体来说，可以通过所在的发起方客户端的操作界面，比如即时通信主面板和/或与特定联系人对象相对应的ITEM项和/或与特定联系人对象相对应的即时通信交互界面，经由奏乐界面生成单元320生成包括有乐器控件的奏乐界面。所述的乐器控件，可以通过列表的形式进行呈现，另外，可以由发起方预先设置特定的乐器控件，进而仅仅输出该预先设定的乐器控件。通过演奏数据获取单元330，可以经由前述的乐器控件采集发起方对其进行的操作信息，这些操作信息代表着演奏的操作形式，而前述的乐器控件，对应着特定的操作模式具有预设的音频数据。利于前述的操作信息以及对应的乐器控件，即可生成演奏数据。所生成的演奏数据，推送至所在发起方客户端300中的演奏数据输出单元340，启动所在终端上的音频播放结构，将演奏数据进行播放，或者，采集获得发起方向接收方客户端推送演奏数据的消息，将获得的演奏数据推送至接收方客户端进行输出。

实施例7

参图7所示，本发明还提供一种通过即时通信工具实现奏乐功能的客户端，对应着接收方客户端400，交互的另一方为发起方客户端，该接收方客户端400包括：

奏乐触发单元410，用以采集发起方针对接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元420，用以在接收方客户端400生成及输出包括有乐器控件的奏乐界面；

演奏数据获取单元430，用以采集发起方通过发起方客户端对奏乐界面中的乐器控件的操作信息，在自身的接收方客户端中将前述操作信息转变为演奏数据；

演奏数据输出单元440，用以将前述的演奏数据通过接收方客户端所在的终端输出。

本实施例所述的接收方客户端400，自身并没有进行奏乐操作，而在发起方客户端触发奏乐功能之后，通过接收方客户端400中的奏乐触发单元410，采集发起方针对接收方触发奏乐功能的操作信息。进而通过奏乐界面生成单元420，在接收方客户端生成及输出包括有乐器控件的奏乐界面，比如，通过和前述发起方所对应的即时通信交互界面的侧部生成弹出窗口，输出该奏乐界面。通过演奏数据获取单元430，采集发起方通过所在客户端对奏乐界面的乐器控件的操作信息，在自身的接收方客户端中将前述操作信息转变为演奏数据。其中，发起方操作乐器控件的过程，也可以通过在接收方客户端400上所生成奏乐界面进行模拟。进而，通过演奏数据输出单元440，触发接收方所在终端的音频播放设备，输出转变获得的演奏数据。

实施例8

参图8所示，本发明还提供一种通过即时通信工具实现奏乐功能的系统500，它包括有发起方客户端501、接收方客户端502和系统服务器503。该系统500能够实现即时通信功能。作为举例而非限定，通过系统服务器503设置有登录服务结构，其作用是获取即时通信客户端当前的登录信息，主要包括发起方客户端501或接收方客户端502登录的动态IP地址以及端口号，并向登录的其它关联即时通信客户端推送前述的IP地址以及端口号信息。进一步，所述的系统服务器503设置有状态服务结构，用于存储各个即时通信用户的登录状态。进一步，所述的系统服务器503设置有离线消息服务结构，用于存储即时通信离线用户的相关信息。以及设置有用户信息数据库服务结构，用于存储用户号码标识以及与用户号码标识对应的其它基本资料，以及用户相关的群组、讨论组等信息，以及用户向联系人对象发送的、被系统服务器503所存储的离线数据，或者由联系人对象发出的、被系统服务器503所存储的离线数据，等等。

进一步，本发明所描述的系统500还可以实现奏乐的功能，而且，可以同时采集发起方客户端501的演奏数据和接收方客户端502的演奏数据，进行合成之后，生成由发起方客户端501和接收方客户端502所共同演奏的数据。

需要指出的是，发起方客户端501和接收方客户端502可以仅仅包括两个即时通信客户端的操作用户，也可以包括两个以上。比如，可以设置多个接收方客户端502。

具体说来，该系统500还包括：

奏乐触发单元510，对应着发起方客户端501进行设置，用以采集发起方通过发起方客户端501针对所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元520，对应着发起方客户端501和接收方客户端502进行设置，用以在发起方客户端501和接收方客户端502中分别生成并输出包括有乐器控件的奏乐界面；

演奏数据合并生成单元530，对应着发起方客户端501和/或接收方客户端502和/或系统服务器503进行设置，用以采集发起方客户端501和接收方客户端502对奏乐界面中的乐器控件的操作信息，合并后生成演奏数据；

合并演奏数据输出单元540，对应着发起方客户端501和/或接收方客户端502进行设置，用以将前述的演奏数据通过发起方客户端501和/或接收方客户端502输出。

本发明在实施时，对应着发起方客户端501设置奏乐触发单元510，采集发起方通过发起方客户端501针对所选择的接收方联系人对象触发奏乐功能的操作信息。作为举例，可以通过与接收方相对应的即时通信交互界面预设用以触发奏乐功能的控件，当采集到针对该控件的触发消息后，即可通过奏乐界面生成单元520，对应着发起方客户端501中的前述即时通信客户端的侧边生成奏乐界面，以及将生成奏乐界面的消息推送至接收方客户端502，在接收方客户端502也生成奏乐界面。

需要指出的是，在接收方客户端502上所生成的奏乐界面，既可以与发起方客户端501处所生成的奏乐界面一致，也可以通过接收方的调整，获得符合接收方需求的奏乐界面，包括输出有接收方所选定的乐器控件等。另外，在接收方客户端502所生成的奏乐界面，可以对应着与发起方进行交互操作的即时通信交互界面进行生成，也可以单独生成，具体是不限定的。

在发起方客户端501和接收方客户端502分别设置奏乐界面之后，即可采集发起方客户端501和接收方客户端502双方的演奏数据。在本实施例中，双方的演奏数据通过演奏数据合并生成单元530实现。该演奏数据合并生成单元530的设置位置灵活，其在发起方客户端501和/或接收方客户端502和/或系统服务器503中设置，都是可以的。通过演奏数据合并生成单元530，采集发起方客户端501和接收方客户端502对奏乐界面中的乐器控件的操作信息后，依据各操作信息的时间戳以及与其对应的乐器控件，进行合并后生成音频数据形式的演奏数据。需要指出的是，还可以录制演奏乐器控件的过程，生成代表演奏过程的视频数据。

通过演奏数据合并生成单元530所获得的音频形式的演奏数据，推送至没有获得该数据的发起方客户端501和/或接收方客户端502，进而通过合并演奏数据输出单元540触发所在终端上的音频播放结构，对演奏数据进行输出操作。

以上是对本发明的描述而非限定，基于本发明思想的其它实施例，亦均在本发明的保护范围之中。

Claims (21)

1.一种通过即时通信工具实现奏乐功能的方法，其特征在于该方法包括有如下步骤：

步骤1，采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

步骤2，生成包括有乐器控件的奏乐界面，在发起方客户端和/或接收方客户端输出；

步骤3，采集发起方和/或接收方通过发起方客户端和/或接收方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；

步骤4，将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

2.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的触发奏乐功能的操作信息，是通过发起方和接收方所对应的即时通信交互界面设置奏乐开启控件，采集针对于该奏乐开启控件的触发消息，作为触发奏乐功能的操作信息。

3.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的触发奏乐功能的操作信息，是通过发起方客户端中的联系人列表，针对联系人对象所在的ITEM项设置奏乐开启控件，采集针对于该奏乐开启控件的触发消息，作为触发和前述联系人对象之间实现奏乐功能的操作信息。

4.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的触发奏乐功能的操作信息，可以按照下面的步骤进行实施，

预设用以实现奏乐功能的字符数据；

通过即时通信交互界面采集交互方所发送的即时通信消息；

判定前述的即时通信消息中是否包括有和前述实现奏乐功能的字符数据一致的数据内容；

在包括的情况下，则触发前述的奏乐功能，在不包括的情况下，则不触发前述的奏乐功能。

5.根据权利要求4所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：在前述的即时通信消息为音频或视频信息的情况下，将其识别转换为字符内容后，再进行判定操作。

6.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：在所述的奏乐界面中，设置有体鸣乐器控件列表、膜鸣乐器控件列表、气鸣乐器控件列表、弦鸣乐器控件列表和电鸣乐器控件列表这五种至少其一，在这些控件列表中设置有属于所在乐器类型的乐器控件，该乐器控件用以在触发后生成奏乐信息。

7.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的奏乐界面设置在即时通信交互界面的侧部，或者设置在即时通信主面板中的联系人对象所对应的ITEM项侧部，以弹出窗口的形式输出。

8.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的奏乐界面，包括有奏乐区域和乐器控件列表区域，其中的奏乐区域用以采集并输出即时通信用户所设定的乐器控件，以及通过该乐器控件接收即时通信用户的触发操作；其中的乐器控件列表区域用以向用户提供进行选择的乐器控件。

9.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：对应着前述的奏乐界面，设置有奏乐工具列表，用以在触发后生成弹出窗口，输出各种可供选择的演奏乐器控件的工具选项。

10.根据权利要求9所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的奏乐工具列表，可以预先与乐器控件之间建立起映射列表，在选择乐器控件后，比对该映射列表获得对应的工具选项并输出。

11.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：对应着所述的乐器控件，通过鼠标光标或者触摸屏对乐器控件中的操作区域，通过点击或拨动或拖拉的方式进行操作。

12.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：对应着所述的乐器控件，触发所在终端上的视频拍摄结构，拍摄用户的操作动作信息，将该操作动作信息与乐器控件进行对应，获取前述操作动作信息对应着乐器控件所生成的音频数据。

13.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所拍摄的视频数据包括嘴部的吹动动作数据，和/或手部的位移动作数据。

14.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的乐器控件，通过如下步骤进行触发，

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户所写入的字符描述数据；

将采集的字符描述数据与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

15.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：所述的乐器控件，通过如下步骤进行触发，

预设以特定方式操作特定乐器控件的标准字符内容；

通过开启有奏乐界面的即时通信客户端采集用户的语音信息；

对前述的语音信息进行识别，转变为识别的字符内容；

将识别的字符内容与前述的标准字符内容进行比对，判断是否包括有以特定方式触发特定乐器控件的字符内容；

在包括的情况下，对所关联的乐器控件按描述的字符内容进行奏乐操作。

16.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：通过发起方客户端或者接收方客户端对乐器控件的触发操作，分别对应着所在的客户端进行自身乐器控件操作信息的采集操作，将采集的操作信息转变成音频数据后通过所在的终端输出，和/或传输到对方客户端进行输出。

17.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：采集发起方客户端和接收方客户端对乐器控件的操作信息，以双方发起操作信息所对应的时间戳为序，将双方的操作信息合并后转变为音频数据，通过所在的客户端和/或传输至对方客户端进行该音频数据的输出操作。

18.根据权利要求1所述的一种通过即时通信工具实现奏乐功能的方法，其特征在于：采集发起方客户端对乐器控件的操作信息，将其转变成音频数据，以及采集接收方客户端对乐器控件的操作信息，将其转变为音频数据，且将前述的各音频数据与对乐器控件操作信息所在的时间戳建立映射关系；将前述的音频数据由一方传输至另外一方所在客户端；以时间戳为序，将获得的各音频数据进行混合；将混合后的音频数据通过所在的客户端和/或传输至对方客户端进行输出操作。

19.一种通过即时通信工具实现奏乐功能的客户端，对应着发起方客户端，其特征在于该客户端包括：

奏乐触发单元，用以采集发起方针对于所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，用以生成包括有乐器控件的奏乐界面，在发起方客户端输出；

演奏数据获取单元，用以采集发起方通过发起方客户端对奏乐界面中的乐器控件的操作信息，生成演奏数据；

演奏数据输出单元，用以将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

20.一种通过即时通信工具实现奏乐功能的客户端，对应着接收方客户端，交互的另一方为发起方客户端，其特征在于该客户端包括：

奏乐触发单元，用以采集发起方针对接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，用以在接收方客户端生成及输出包括有乐器控件的奏乐界面；

演奏数据获取单元，用以采集发起方通过发起方客户端对奏乐界面中的乐器控件的操作信息，在自身的接收方客户端中将前述操作信息转变为演奏数据；

演奏数据输出单元，用以将前述的演奏数据通过接收方客户端所在的终端输出。

21.一种通过即时通信工具实现奏乐功能的系统，它包括有发起方客户端、接收方客户端和系统服务器，其特征在于该系统还包括：

奏乐触发单元，对应着发起方客户端进行设置，用以采集发起方通过发起方客户端针对所选择的接收方联系人对象触发奏乐功能的操作信息；

奏乐界面生成单元，对应着发起方客户端和接收方客户端进行设置，用以在发起方客户端和接收方客户端中分别生成并输出包括有乐器控件的奏乐界面；

演奏数据合并生成单元，对应着发起方客户端和/或接收方客户端和/或系统服务器进行设置，用以采集发起方客户端和接收方客户端对奏乐界面中的乐器控件的操作信息，合并后生成演奏数据；

合并演奏数据输出单元，对应着发起方客户端和/或接收方客户端进行设置，用以将前述的演奏数据通过发起方客户端和/或接收方客户端输出。

Images