CN104022942B - 处理交互式消息的方法、客户端、电子设备及系统 - Google Patents

Abstract

本发明提供了一种处理交互式消息的方法、客户端、电子设备及系统。其中，该方法包括：从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和/或音频属性；获取与所述音频信息相关的附加信息；以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送。采用本发明的技术方案，可以在携带语音的待发送消息中添加与语音的音频信息相关的附加信息，添加的附加信息可以丰富信息的内容，为信息的表达增添更丰富的形式和内涵，可以将用户的情绪体现在信息中，而不仅仅是单纯的语音本身的信息，使语音有了可互动的内容，用户之间的交流形式更加多元化、更加有趣。

Description

处理交互式消息的方法、客户端、电子设备及系统

技术领域

本发明涉及互联网应用领域，特别是涉及一种处理交互式消息的方法、客户端、电子设备及系统。

背景技术

随着技术的发展，即时通讯(Instant Messenger，IM)软件工具应用越来越普遍，IM已经被大多数的用户所接受并成为用户日常生活以及工作中必不可少的一部分，用户通过IM软件发送文本、图片、语音或视频等，可以实现与朋友、同事以及同学之间的交流与沟通。

相关技术中，用户通过IM软件发送携带语音的消息，接收端的用户仅仅能获得语音本身的信息，获取的信息形式单一，包含的信息量少，满足不了用户之间交互性交流与沟通的需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的处理交互式消息的方法、客户端、电子设备及系统。

依据本发明的一个方面，提供了一种处理交互式消息的方法，包括：从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和/或音频属性；获取与所述音频信息相关的附加信息；以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送。

可选地，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

可选地，获取与所述音频信息相关的附加信息，包括：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

可选地，以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，包括：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

可选地，当所述音频信息为所述音频内容时，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音，包括：确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

相应的，提供了一种处理交互式消息的方法，包括：接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关，所述音频信息包括音频内容和/或音频属性；根据所述预设方式显示和/或播放所述组合消息。

可选地，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

可选地，根据所述预设方式显示和/或播放所述组合消息，包括：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

可选地，当所述音频信息为所述音频内容时，播放插入有与所述音频信息相关的音频的语音，包括：播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

依据本发明的另一个方面，还提供了一种处理交互式消息的第一客户端，包括：

提取模块，配置为从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和/或音频属性；

获取模块，配置为获取与所述音频信息相关的附加信息；

组合模块，配置为以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送。

可选地，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

可选地，所述获取模块还配置为：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

可选地，所述组合模块还配置为：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

可选地，所述组合模块还配置为：确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

相应的，还提供了一种处理交互式消息的第二客户端，包括：

接收模块，配置为接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关，所述音频信息包括音频内容和/或音频属性；

输出模块，配置为根据所述预设方式显示和/或播放所述组合消息。

可选地，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

可选地，所述输出模块还配置为：若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

可选地，当所述音频信息为所述音频内容时，所述输出模块还配置为：播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

依据本发明的第三个方面，还提供了一种处理交互式消息的第一电子设备，包括上述的第一客户端。

相应的，还提供了一种处理交互式消息的第二电子设备，包括上述的第二客户端。

本发明还提供了一种处理交互式消息的系统，包括上述的第一客户端以及上述的第二客户端。

依据本发明的技术方案，可以在携带语音的待发送消息中添加与语音的音频信息相关的附加信息，附加信息可以包括与音频信息相关的文本、图片、音频、视频中至少之一，以及针对音频信息中音频内容的处理信息。添加的附加信息可以丰富信息的内容，为信息的表达增添更丰富的形式和内涵，可以将用户的情绪体现在信息中，而不仅仅是单纯的语音本身的信息，使语音有了可互动的内容，用户之间的交流形式更加多元化、更加有趣。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的发送端的处理交互式消息的方法的流程图；

图2示出了根据本发明一个实施例的接收端的处理交互式消息的方法的流程图；

图3示出了根据本发明一个实施例的结合发送端手机1和接收端手机2的处理交互式消息的方法的流程图；

图4示出了根据本发明一个实施例的处理交互式消息的第一客户端的结构示意图；

图5示出了根据本发明一个实施例的处理交互式消息的第二客户端的结构示意图；以及

图6示出了根据本发明一个实施例的处理交互式消息的系统结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

相关技术中提及，用户通过IM软件发送携带语音的消息，接收端的用户仅仅能获得语音本身的信息，获取的信息形式单一，包含的信息量少，满足不了用户之间交互性交流与沟通的需求。

为解决上述技术问题，本发明实施例提供了一种处理交互式消息的方法。图1示出了根据本发明一个实施例的发送端的处理交互式消息的方法的流程图。如图1所示，发送端可以是本发明中的第一客户端，可以是第一电子设备，如手机、电脑、平板电脑等，该方法至少包括以下步骤S102至步骤S106。

步骤S102、从携带语音的待发送消息中提取音频信息，其中，音频信息包括音频内容和/或音频属性。

步骤S104、获取与音频信息相关的附加信息。

步骤S106、以预设方式将附加信息与待发送消息中的语音进行组合，生成组合消息，并发送。

依据本发明的技术方案，可以在携带语音的待发送消息中添加与语音的音频信息相关的附加信息，附加信息可以包括与音频信息相关的文本、图片、音频、视频中至少之一，以及针对音频信息中音频内容的处理信息。添加的附加信息可以丰富信息的内容，为信息的表达增添更丰富的形式和内涵，可以将用户的情绪体现在信息中，而不仅仅是单纯的语音本身的信息，使语音有了可互动的内容，用户之间的交流形式更加多元化、更加有趣。

在步骤S102中，音频内容是反映音频数据本身的内容信息，例如，待发送消息中的一段语音为“今晚一起看世界杯，xx队对阵xxx队”，音频内容可以是“今晚一起看世界杯，xx队对阵xxx队”，也可以是“今晚一起看世界杯”，还可以是“世界杯”等。音频属性可以是音频的名称、作者、创建时间、存储路径、格式、大小等，本发明不限于此。

在步骤S102提取了待发送消息中语音的音频信息之后，步骤S104进一步获取与音频信息相关的附加信息。这里的附加信息可以是与音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对音频内容的处理信息。例如，待发送消息中的语音是“世界杯来了，4G且看且试”，可以从该语音中提取音频内容“世界杯来了”、“4G”以及音频的名称“为世界杯喝彩”等音频信息，进一步地，可以将世界杯观赛指南的文本或图片作为“世界杯来了”的附加信息，将支持4G的手机或4G套餐资费方案作为“4G”的附加信息，将歌曲《我是我的英雄》作为“为世界杯喝彩”的附加信息。又例如，待发送消息中的语音是“医生提醒，市民看世界杯要悠着点，切忌连续熬夜，不宜狂喜狂怒，空调别调太低温，最好戒烟限酒，有选择地看球赛，别让世界杯打乱日常的生活节奏”，可以从该语音中提取音频内容“世界杯”、“别让世界杯打乱日常的生活节奏”等音频信息，进一步地，可以将足球的图片作为“世界杯”的附加信息，将表示上班族工作时间不在状态的视频作为“别让世界杯打乱日常的生活节奏”的附加信息，此外还可以针对音频内容进行去噪、压缩、水印等处理。需要说明的是，也可以将整段语音作为语音的音频信息，例如，待发送消息中的语音是“看这天气是要下雨啦”，可以将“看这天气是要下雨啦”作为语音的音频信息。

进一步地，附加信息不同时，步骤S104的实施方式有所不同。首先，若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一时，可以采用如下任意之一的技术手段获取附加信息，例如，将音频信息在附加信息库中进行匹配，获得附加信息，其中，附加信息库中预先存储了文本、图片、音频、视频等信息资料，这些信息资料的来源可以是用户收集或自定义的，也可以是附加信息库自动配置或获取的，附加信息库中的资料可以是本地资料，也可以是由云端提供的。又例如，获取用户针对待发送消息中的语音的时间点或时间段选择的附加信息，这样用户具有自主性，可以将用户的情绪更好地体现在信息中，提高了用户体验。其次，若附加信息为针对音频内容的处理信息时，可以采用如下的技术手段来实现，即接收来自用户的处理指令，进而根据用户的处理指令获取附加信息。

与上述描述相类似，附加信息不同时，步骤S106的实施方式也并不完全相同。首先，若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一时，可以采用如下任意之一的技术手段生成组合消息，例如，在附加信息与待发送消息中的语音的时间点或时间段之间建立映射关系，从而可以在播放待发送消息中的语音的过程中显示和/或播放附加信息。又例如，将附加信息中与音频信息相关的音频插入待发送消息中的语音，从而可以在语音播放到插入的位置时播放该音频。进一步地，若音频信息为音频内容时，可以采用如下的技术手段来实现，即确定音频内容在待发送消息中的语音中的时间点或时间段，进而将附加信息中与音频信息相关的音频插入该时间点、或者该时间段的开始时间点或结束时间点。其次，若附加信息为针对音频内容的处理信息时，可以采用如下的技术手段来实现，即将针对音频内容的处理信息应用到音频内容，例如，针对音频内容进行去噪、压缩、水印等处理。

相应的，图2示出了根据本发明一个实施例的接收端的处理交互式消息的方法的流程图。如图2所示，接收端可以是本发明中的第二客户端，可以是第二电子设备，如手机、电脑、平板电脑等，该方法至少包括以下步骤S202至步骤S204。

步骤S202、接收来自发送端的组合消息，其中，组合消息包括组合有附加信息的语音、以及语音和附加信息进行组合的预设方式，附加信息与组合前原始语音的音频信息相关，音频信息包括音频内容和/或音频属性。

步骤S204、根据预设方式显示和/或播放组合消息。

在本发明的一个实施例中，步骤S202提及的音频内容和音频属性，其详细介绍可参见前文中步骤S102的内容，此处不再赘述。步骤S202提及的附加信息可以是与音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对音频内容的处理信息，用以根据该处理信息进行后续的处理操作。

进一步地，附加信息不同时，步骤S204的实施方式有所不同。首先，若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一时，可以采用如下任意之一的手段显示和/或播放组合消息，例如，根据附加信息与原始语音的时间点或时间段之间建立的映射关系，在播放原始语音的过程中显示和/或播放附加信息，举例来说，原始语音的时间点A对应附加信息图片A、原始语音时间段B的开始时间点B1对应附加信息视频B1，则可以在播放原始语音的过程中，在时间点A显示图片A、在时间段B的开始时间点B1播放视频B1。又例如，播放插入有与音频信息相关的音频的语音。进一步地，当音频信息为音频内容时，采用如下技术手段显示和/或播放组合消息，即播放音频内容所在的原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与音频内容相关的音频的语音，举例来说，原始语音的时间点C处插入有与音频信息相关的音频C，则可以在播放原始语音的过程中，在时间点C播放音频C，且在音频C播放完之后播放后续的语音。其次，若附加信息为针对音频内容的处理信息时，可以采用如下技术手段显示和/或播放组合消息，即播放针对音频内容的处理信息应用到音频内容的语音，例如，针对音频内容进行去噪、压缩、水印等处理。

此外，接收端接收到来自发送端的组合消息后，可以直接根据预设方式显示和/或播放组合消息，也可以在接收到用户的触发显示或播放指令之后根据预设方式显示和/或播放组合消息。例如，接收端接收到来自发送端的组合消息后，在接收端的界面显示一虚拟按键，用户可以触发该虚拟按键，然后接收端根据预设方式显示和/或播放组合消息，其中，虚拟按键可以为圆形、椭圆形、三角形、箭头等，本发明不限于此。又例如，接收端接收到来自发送端的组合消息后，在接收端的界面显示表示组合消息中语音的图标，用户可以触发该图标播放组合消息中的语音。

以上介绍了图1和图2所示的实施例中各环节的多种实现方式，下面通过具体的实施例对本发明实施例提供的处理交互式消息的方法做进一步说明。

为将本优选实施例阐述得更加简洁，本优选实施例中，手机1和手机2通过IM软件聊天，假设手机1为发送端，手机2为接收端，手机1向手机2发送消息，手机2接收来自手机1的消息。应用场景可以是：手机1的用户需要布置一下办公室，准备在办公室摆放一些植物，于是发信息给手机2的用户，该信息中携带了这样一段语音“亲，我想在办公室摆放一些植物，用来净化空气、改善办公环境，你有推荐的不？”，在发送时，添加了与该语音相关的附加信息，从而为信息的表达增添更丰富的形式和内涵，使语音有了可互动的内容，用户之间的交流形式更加多元化、更加有趣。

图3示出了根据本发明一个实施例的结合发送端手机1和接收端手机2的处理交互式消息的方法的流程图。如图3所示，该方法包括以下步骤S302至步骤S312。

步骤S302、手机1从携带语音的待发送消息中提取音频信息，其中，音频信息包括音频内容和/或音频属性。

该步骤中，手机1从携带语音的待发送消息中提取音频内容“办公室摆放一些植物”、“用来净化空气、改善办公环境”以及音频的名称“办公室装饰”等作为音频信息。

步骤S304、手机1获取与音频信息相关的附加信息。

该步骤中，手机1在附加信息库中匹配到与“办公室摆放一些植物”相关的植物图片，如绿萝、豆瓣绿、仙人掌等；在附加信息库中匹配到与“用来净化空气、改善办公环境”相关的文本资料、关于空气净化器的图片或视频；在附加信息库中匹配到与“办公室装饰”相关的装饰公司信息、装饰材料信息等；获取用户针对“办公室摆放一些植物”对应的语音的时间点选择的办公室的格局照片、介绍办公室基本情况的语音等。

步骤S306、手机1以预设方式将附加信息与待发送消息中的语音进行组合，生成组合消息。

该步骤中，手机1在“办公室摆放一些植物”对应的语音的时间点与其相关的植物图片之间建立映射关系，以在播放语音的过程中显示植物图片；在“用来净化空气、改善办公环境”对应的语音的时间点与其相关的文本资料、空气净化器的图片或视频之间建立映射关系，以在播放语音的过程中显示文本资料、关于空气净化器的图片，或者播放关于空气净化器的视频；在“办公室装饰”对应的语音的时间点与其相关的装饰公司信息、装饰材料信息等之间建立映射关系，以在播放语音的过程中显示装饰公司信息、装饰材料信息等；将介绍办公室基本情况的语音插入“办公室摆放一些植物”对应的语音的时间点，以在语音播放到插入位置时播放介绍办公室基本情况的语音。

步骤S308、手机1将组合消息发送至手机2。

步骤S310、手机2接收来自手机1的组合消息，其中，组合消息包括组合有附加信息的语音、以及语音和附加信息进行组合的预设方式，附加信息与组合前原始语音的音频信息相关，音频信息包括音频内容和/或音频属性。

步骤S312、手机2根据预设方式显示和/或播放组合消息。

该步骤中，手机2在语音播放到“办公室摆放一些植物”时显示植物图片；在语音播放到“用来净化空气、改善办公环境”时显示文本资料、关于空气净化器的图片，或者播放关于空气净化器的视频；在播放语音的过程中显示装饰公司信息、装饰材料信息等；在语音播放到插入位置时播放介绍办公室基本情况的语音。

当然，也可以是手机2为发送端，手机1为接收端，手机2向手机1发送消息，手机1接收来自手机2的消息，可以采用图3所示的方法流程实现交互式消息的处理。

需要说明的是，实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

基于同一发明构思，本发明实施例还提供了一种处理交互式消息的第一客户端，以实现上述发送端的处理交互式消息的方法。

图4示出了根据本发明一个实施例的处理交互式消息的第一客户端的结构示意图。参见图4，该第一客户端至少包括：提取模块410、获取模块420以及组合模块430。

现介绍本发明实施例的处理交互式消息的第一客户端的各组成或器件的功能以及各部分间的连接关系：

提取模块410，配置为从携带语音的待发送消息中提取音频信息，其中，音频信息包括音频内容和/或音频属性；

获取模块420，与提取模块410相耦合，配置为获取与音频信息相关的附加信息；

组合模块430，与获取模块420相耦合，配置为以预设方式将附加信息与待发送消息中的语音进行组合，生成组合消息，并发送。

在一个实施例中，附加信息包括与音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对音频内容的处理信息。

在一个实施例中，获取模块420还配置为：若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取附加信息：将音频信息在附加信息库中进行匹配，获得附加信息；或者，获取用户针对待发送消息中的语音的时间点或时间段选择的附加信息；若附加信息为针对音频内容的处理信息，接收来自用户的处理指令，获取附加信息。

在一个实施例中，组合模块430还配置为：若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在附加信息与待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放待发送消息中的语音的过程中显示和/或播放附加信息；或者，将附加信息中与音频信息相关的音频插入待发送消息中的语音；若附加信息为针对音频内容的处理信息，将针对音频内容的处理信息应用到音频内容。

在一个实施例中，组合模块430还配置为：确定音频内容在待发送消息中的语音中的时间点或时间段；将附加信息中与音频信息相关的音频插入时间点、或者时间段的开始时间点或结束时间点。

相应的，图5示出了根据本发明一个实施例的处理交互式消息的第二客户端的结构示意图。参见图5，该第二客户端至少包括：接收模块510和输出模块520。

现介绍本发明实施例的处理交互式消息的第二客户端的各组成或器件的功能以及各部分间的连接关系：

接收模块510，配置为接收来自发送端的组合消息，其中，组合消息包括组合有附加信息的语音、以及语音和附加信息进行组合的预设方式，附加信息与组合前原始语音的音频信息相关，音频信息包括音频内容和/或音频属性；

输出模块520，与接收模块510相耦合，配置为根据预设方式显示和/或播放组合消息。

在一个实施例中，附加信息包括与音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对音频内容的处理信息。

在一个实施例中，输出模块520还配置为：若附加信息为与音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放组合消息：根据附加信息与原始语音的时间点或时间段之间建立的映射关系，在播放原始语音的过程中显示和/或播放附加信息；或者，播放插入有与音频信息相关的音频的语音；若附加信息为针对音频内容的处理信息，播放针对音频内容的处理信息应用到音频内容的语音。

在一个实施例中，当音频信息为音频内容时，输出模块520还配置为：播放音频内容所在的原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与音频内容相关的音频的语音。

基于同一发明构思，本发明实施例还提供了一种处理交互式消息的第一电子设备，包括上述图4展示的第一客户端。

相应的，本发明实施例还提供了一种处理交互式消息的第二电子设备，包括上述图5展示的第二客户端。

基于上文各实施例提供的处理交互式消息的方法、客户端及电子设备，基于同一发明构思，本发明实施例还提供了一种处理交互式消息的系统，参见图6所示，该系统至少包括：上文介绍的第一客户端610(如图4所示)和上文介绍的第二客户端620(如图5所示)。

根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：

依据本发明的技术方案，可以在携带语音的待发送消息中添加与语音的音频信息相关的附加信息，附加信息可以包括与音频信息相关的文本、图片、音频、视频中至少之一，以及针对音频信息中音频内容的处理信息。添加的附加信息可以丰富信息的内容，为信息的表达增添更丰富的形式和内涵，可以将用户的情绪体现在信息中，而不仅仅是单纯的语音本身的信息，使语音有了可互动的内容，用户之间的交流形式更加多元化、更加有趣。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的处理交互式消息的客户端、电子设备及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

本发明还公开了A1、一种处理交互式消息的方法，包括：

从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和/或音频属性；

获取与所述音频信息相关的附加信息；

以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送。

A2、根据A1所述的方法，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

A3、根据A2所述的方法，其中，获取与所述音频信息相关的附加信息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；

若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

A4、根据A2或A3所述的方法，其中，以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；

若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

A5、根据A4所述的方法，其中，当所述音频信息为所述音频内容时，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音，包括：

确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；

将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

A6、一种处理交互式消息的方法，包括：

接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关，所述音频信息包括音频内容和/或音频属性；

根据所述预设方式显示和/或播放所述组合消息。

A7、根据A6所述的方法，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

A8、根据A7所述的方法，其中，根据所述预设方式显示和/或播放所述组合消息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；

若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

A9、根据A8所述的方法，其中，当所述音频信息为所述音频内容时，播放插入有与所述音频信息相关的音频的语音，包括：

播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

B10、一种处理交互式消息的第一客户端，包括：

提取模块，配置为从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和/或音频属性；

获取模块，配置为获取与所述音频信息相关的附加信息；

组合模块，配置为以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送。

B11、根据B10所述的第一客户端，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

B12、根据B11所述的第一客户端，其中，所述获取模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；

若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

B13、根据B11或B12所述的第一客户端，其中，所述组合模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；

若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

B14、根据B13所述的第一客户端，其中，所述组合模块还配置为：

确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；

将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

B15、一种处理交互式消息的第二客户端，包括：

接收模块，配置为接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关，所述音频信息包括音频内容和/或音频属性；

输出模块，配置为根据所述预设方式显示和/或播放所述组合消息。

B16、根据B15所述的第二客户端，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

B17、根据B16所述的第二客户端，其中，所述输出模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；

若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

B18、根据B17所述的第二客户端，其中，当所述音频信息为所述音频内容时，所述输出模块还配置为：

播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

C19、一种处理交互式消息的第一电子设备，包括如B10至B14任一项所述的第一客户端。

C20、一种处理交互式消息的第二电子设备，包括如B15至B18任一项所述的第二客户端。

C21、一种处理交互式消息的系统，包括如B10至B14任一项所述的第一客户端以及B15至B18任一项所述的第二客户端。

Claims (21)

1.一种处理交互式消息的方法，应用于作为发送端的第一客户端，包括：

从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和音频属性；

获取与所述音频信息相关的附加信息；其中，获取与所述音频信息相关的附加信息具体是获取用户针对所述待发送消息中的语音的时间点或时间段选择的并由云端提供的所述附加信息；

以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送至第二客户端；

其中，以预设方式将所述附加信息与所述待发送消息中的语音进行组合，包括：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在所述第二客户端播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息。

2.根据权利要求1所述的方法，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

3.根据权利要求2所述的方法，其中，获取与所述音频信息相关的附加信息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；

若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

4.根据权利要求2或3所述的方法，其中，以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；

若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

5.根据权利要求4所述的方法，其中，当所述音频信息为所述音频内容时，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音，包括：

确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；

将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

6.一种处理交互式消息的方法，应用于作为接收端的第二客户端，包括：

接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关且是由用户针对所述语音的时间点或时间段选择并由云端提供的，所述音频信息包括音频内容和音频属性；

根据所述预设方式显示和/或播放所述组合消息；

其中，根据所述预设方式显示和/或播放所述组合消息，包括：

根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息。

7.根据权利要求6所述的方法，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

8.根据权利要求7所述的方法，其中，根据所述预设方式显示和/或播放所述组合消息，包括：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；

若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

9.根据权利要求8所述的方法，其中，当所述音频信息为所述音频内容时，播放插入有与所述音频信息相关的音频的语音，包括：

播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

10.一种处理交互式消息的第一客户端，所述第一客户端为发送端，包括：

提取模块，配置为从携带语音的待发送消息中提取音频信息，其中，所述音频信息包括音频内容和音频属性；

获取模块，配置为获取与所述音频信息相关的附加信息；其中，所述获取模块还配置为获取用户针对所述待发送消息中的语音的时间点或时间段选择的并由云端提供的所述附加信息；

组合模块，配置为以预设方式将所述附加信息与所述待发送消息中的语音进行组合，生成组合消息，并发送至第二客户端；

其中，所述组合模块还配置为：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在所述第二客户端播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息。

11.根据权利要求10所述的第一客户端，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

12.根据权利要求11所述的第一客户端，其中，所述获取模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段获取所述附加信息：将所述音频信息在附加信息库中进行匹配，获得所述附加信息；或者，获取用户针对所述待发送消息中的语音的时间点或时间段选择的所述附加信息；

若所述附加信息为针对所述音频内容的处理信息，接收来自用户的处理指令，获取所述附加信息。

13.根据权利要求11或12所述的第一客户端，其中，所述组合模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段生成组合消息：在所述附加信息与所述待发送消息中的语音的时间点或时间段之间建立映射关系，以在播放所述待发送消息中的语音的过程中显示和/或播放所述附加信息；或者，将所述附加信息中与所述音频信息相关的音频插入所述待发送消息中的语音；

若所述附加信息为针对所述音频内容的处理信息，将针对所述音频内容的处理信息应用到所述音频内容。

14.根据权利要求13所述的第一客户端，其中，所述组合模块还配置为：

确定所述音频内容在所述待发送消息中的语音中的时间点或时间段；

将所述附加信息中与所述音频信息相关的音频插入所述时间点、或者所述时间段的开始时间点或结束时间点。

15.一种处理交互式消息的第二客户端，所述第二客户端为接收端，包括：

接收模块，配置为接收来自发送端的组合消息，其中，所述组合消息包括组合有附加信息的语音、以及所述语音和所述附加信息进行所述组合的预设方式，所述附加信息与组合前原始语音的音频信息相关且是由用户针对所述语音的时间点或时间段选择并由云端提供的，所述音频信息包括音频内容和音频属性；

输出模块，配置为根据所述预设方式显示和/或播放所述组合消息；

其中，所述输出模块还配置为：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息。

16.根据权利要求15所述的第二客户端，其中，所述附加信息包括与所述音频信息相关的文本、图片、音频、视频中至少之一，和/或，针对所述音频内容的处理信息。

17.根据权利要求16所述的第二客户端，其中，所述输出模块还配置为：

若所述附加信息为与所述音频信息相关的文本、图片、音频、视频中至少之一，采用如下任意之一的手段显示和/或播放所述组合消息：根据所述附加信息与所述原始语音的时间点或时间段之间建立的映射关系，在播放所述原始语音的过程中显示和/或播放所述附加信息；或者，播放插入有与所述音频信息相关的音频的语音；

若所述附加信息为针对所述音频内容的处理信息，播放针对所述音频内容的处理信息应用到所述音频内容的语音。

18.根据权利要求17所述的第二客户端，其中，当所述音频信息为所述音频内容时，所述输出模块还配置为：

播放所述音频内容所在的所述原始语音的时间点、或者时间段的开始时间点或结束时间点插入有与所述音频内容相关的音频的语音。

19.一种处理交互式消息的第一电子设备，包括如权利要求10至14任一项所述的第一客户端。

20.一种处理交互式消息的第二电子设备，包括如权利要求15至18任一项所述的第二客户端。

21.一种处理交互式消息的系统，包括如权利要求10至14任一项所述的第一客户端以及权利要求15至18任一项所述的第二客户端。