CN106888158B - 一种即时通信方法和装置 - Google Patents

Abstract

本发明公开了一种即时通信方法和装置。该方法在发送端执行的步骤包括：在录制语音信息的过程中，识别语音信息中的表情关键词；在识别出表情关键词之后，将表情关键词对应的表情图像添加到语音信息中，并且标示出表情图像对应的播放时间；将录制完毕的语音信息发送给接收端。该方法在接收端执行的步骤包括：接收发送端发送的语音信息；确定语音信息中携带的表情图像以及表情图像对应的播放时间；在播放语音信息的过程中，在表情图像对应的播放时间显示表情图像。本发明为语音信息添加表情图像，增加了语音信息交互方式的表现形式，在播放语音信息时，使语音信息更加生动、形象，增强了语音信息交互方式的趣味性，提升了用户体验效果。

Description

一种即时通信方法和装置

技术领域

本发明涉及移动终端技术领域，尤其涉及一种即时通信方法和装置。

背景技术

随着即时通信技术发展，即时通信客户端已经成为用户不可或缺的通信工具。通过即时通信客户端，在两个用户可以进行即时消息的交互，该即时消息可以是文本信息，也可以是语音信息。

目前，在进行即时通信时，使用语音信息交互的方式，对于用户而言更加便捷且更易操作。但是，现有语音信息的交互方式相较于文本信息的交互方式表现形式匮乏且缺乏趣味性。进一步地，通过调节文字大小、文字字体、文字颜色、插入表情等方式，可以使输入的文本信息更加丰富多彩，提升交互用户的用户体验效果，然而语音信息仅能展示用户录制的音频，表现形式匮乏，对于用户情绪的表达仅依赖与用户的语言表达能力，趣味性不强。

发明内容

本发明的主要目的在于提出一种及时通信方法和装置，旨在解决现有即时通信方式中，语音信息的交互方式表现形式匮乏且缺乏趣味性的问题。

针对上述技术问题，本发明是通过以下技术方案来解决的：

本发明提供了一种即时通信方法，在发送端执行，所述方法包括：在录制语音信息的过程中，识别所述语音信息中的表情关键词；在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间；将录制完毕的语音信息发送给接收端。

可选地，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：在录制语音信息的过程中，对所述语音信息进行语音识别；计算所述语音信息中每个词语和预设的表情关键词的相似度；如果所述词语与所述表情关键词的相似度大于预设的阈值，则将所述词语识别为所述表情关键词。

可选地，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：如果与所述词语的相似度大于所述阈值的表情关键词为多个，则将所述词语识别为多个所述表情关键词中符合预设条件的表情关键词；其中，所述预设条件为：与所述词语的相似度最高的表情关键词，或者，使用频率最高的表情关键词。

可选地，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：如果与所述词语的相似度大于所述阈值的表情关键词为多个，则对所述语音信息进行语义分析，在多个所述表情关键词中确定与所述语音信息相关联的表情关键词，并且将所述词语识别为所述相关联的表情关键词。

可选地，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：在录制语音信息的过程中，识别所述语音信息中出现的语音前缀和语音后缀，并且将所述语音前缀和所述语音后缀之间的词语识别为表情关键词；其中，在录制完毕的语音信息中不包含所述语音前缀、所述语音后缀以及所述表情关键词。

可选地，还包括：在识别出表情关键词之后，在所述录制完毕的语音信息对应的图像上，添加表情标记或者所述表情关键词对应的表情图像。

本发明提供了一种即时通信方法，在接收端执行，所述方法包括：接收发送端发送的语音信息；确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间；在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

可选地，还包括：在接收发送端发送的语音信息之后，显示所述语音信息对应的图像，并且显示所述发送端在所述图像上添加的表情标记或者表情图像。

本发明提供了一种即时通信装置，设置在发送端，所述装置包括：识别模块，用于在录制语音信息的过程中，识别所述语音信息中的表情关键词；处理模块，用于在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间；发送模块，用于将录制完毕的语音信息发送给接收端。

本发明提供了一种即时通信装置，设置在接收端，所述装置包括：接收模块，用于接收发送端发送的语音信息；确定模块，用于确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间；显示模块，用于在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

本发明的有益效果如下：

本发明可以根据语音信息中的表情关键词，为语音信息添加表情图像，增加了语音信息交互方式的表现形式，在播放语音信息时，使语音信息更加生动、形象，增强了语音信息交互方式的趣味性，提升了用户体验效果。

附图说明

图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为根据本发明第一实施例的即时通信方法的流程图；

图4为根据本发明第一实施例的语音信息的显示示意图；

图5为根据本发明第一实施例的语音信息的显示示意图；

图6为根据本发明第二实施例的模糊识别语音关键词的步骤流程图；

图7为根据本发明第四实施例的即时通信方法的流程图；

图8为根据本发明第四实施例的播放语音信息过程中显示表情图像的示意图；

图9为根据本发明第五实施例的即时通信装置的结构图；

图10为根据本发明第六实施例的即时通信装置的结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例一可选的移动终端的硬件结构示意。

移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。

广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO^@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。

移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。

无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。

短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙^TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂^TM等等。

位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。

A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。

感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。

显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。

同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。

警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。

这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。

参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。

每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz，5MHz等等)。

分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。

如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。

在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。

作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。

基于上述移动终端硬件结构以及通信系统，提出本发明方法各个实施例。

实施例一

本实施例提供一种在发送端执行的即时通信方法。在本实施例中，执行主体为作为发送端的移动终端。

如图3所示，是根据本发明第一实施例的即时通信方法的流程图。

步骤S310，在录制语音信息的过程中，识别所述语音信息中的表情关键词。

该语音信息为需要和作为接收端的移动终端进行交互的语音信息。

表情关键词为存在对应的表情图像的词语。表情图像例如是：EMOJ表情。表情关键词例如是EMOJ表情的名称。

在本实施例中，可以在发送端预先设置或者从网络侧预先下载表情图库，并在发送端存储该表情图库。在该表情图库中包括：表情图像，表情关键词，以及表情关键词和表情图像的对应关系。

具体的，该识别过程可以包括：在用户输入语音信息的过程中进行语音识别，即在发送端录制语音信息的过程中进行语音识别，识别出用户输入的词语，并且根据表情图库，识别用户输入的词语是否为表情关键词，如果输入的词语为表情关键词。

步骤S320，在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间。

表情图像为静态表情图像(图片)或者动态表情图像(动图)。

表情图像对应的播放时间是指表情图像对应的表情关键词在语音信息中的位置。

具体而言，在识别出表情关键词之后，在表情图库中，根据该表情关键词和表情图像的对应关系，获取该表情关键词对应的表情图像，将该表情图像添加到语音信息中，将该语音信息中该表情关键词对应的播放时间，标示为该表情图像对应的播放时间。换而言之，在识别出表情关键词之后，将表情关键字对应的表情图像添加到该表情关键词对应的时间位置。

当然，本领域技术人员应当知道的是，如果接收端预先存储了该表情图像，也可以将表情关键词对应的表情图像的信息添加到所述语音信息中，并且标示出所述表情图像对应的播放时间。

步骤S330，将录制完毕的语音信息发送给接收端。

在本实施例中，在录制完毕的语音信息中包括：音频信息、表情图像以及表情图像对应的播放时间。

在本实施例中，在识别出表情关键词之后，在所述录制完毕的语音信息对应的图像上，添加表情标记或者所述表情关键词对应的表情图像。该该语音信息对应的图像上还可以显示语音信息的时长。语音信息对应的图像例如是气泡图像，表情标记例如是打点标记。在该汽包图像的边缘上可以显示打点标记或者是识别出的表情图像。

在本实施例中，可以将录制完毕的语音信息以及为该语音信息添加的表情标记或者表情图像显示在用户界面中，例如显示在用户界面的右侧，还可以将接收到的语音信息以及为该接收到的语音信息添加的表情标记或者表情图像显示在用户界面中，例如显示在用户界面的左侧。

如图4所示，在语音信息中识别出的表情关键词较少，可以直接将每个表情关键词对应的表情图像显示在气泡图像上，表情图像在气泡图像上的显示位置和其对应的表情关键词在语音信息中的时间位置相对应，即显示位置在气泡图像长度上的比例和表情关键词在语音信息时长中的比例相同。

如图5所示，在语音信息中识别出的表情关键词较多，为了不影响气泡图像的美观性，在气泡图像上显示多个打点标记，打点标记在气泡图像上的显示位置对应表情关键词在语音信息中的时间位置，即显示位置在气泡长度中的比例和语音位置在语音信息长度中的比例相同。

在本实施例中，可以分别在发送端和接收端安装即时通信客户端，通过即时通信客户端录制用户输入的语音信息，识别语音信息中的表情关键词，将该表情关键词对应的表情图像添加到语音信息中，并且标示出该表情图像在该语音信息中对应的播放时间。

本发明实施例可以根据语音信息中的表情关键词，在语音信息中携带表情图像，增加语音信息交互方式的表现形式，在播放语音信息时，使语音信息更加生动、形象，增强了语音信息交互方式的趣味性，提升了用户体验效果。

实施例二

本发明在录制语音信息的过程中，可以模糊识别所述语音信息中的表情关键词。模糊识别是指不区容易混淆的分前后鼻音，平舌音和翘舌音。

平舌音包括：z、c、s、y；

翘舌音包括：zh、ch、sh、r；

前鼻音包括：an、en、in、un；

后鼻音包括：ang、eng、ing、ong。

由于有些地区h和f的读音也存在易混淆的问题，所以在模糊识别时，也可以不区分h和f的读音。

下面提供一个具体的实施例，来对模糊识别的步骤进行进一步地的描述。

图6为根据本发明第二实施例的模糊识别语音关键词的步骤流程图。

步骤S610，在录制语音信息的过程中，对所述语音信息进行语音识别。

该语音识别用于识别出用户输入的语音信息对应的文本信息，并对文本信息进行分词，根据语音输入时间顺序，顺次识别出语音信息中的每个词语。例如：顺次识别出语音信息中的词语“早晨”、“心情”、“愉快”、“上学”。

步骤S620，计算所述语音信息中每个词语和预设的表情关键词的相似度。

表情图库中存储的表情关键词例如是：“大笑”、“愉快”、“沮丧”、“哭泣”，每个表情关键词对应一个表情图像。

在顺次识别出多个词语之后，顺次将识别出的每个词语与表情图库中存储的表情关键词进行相似度计算，得到词语与每个表情关键词的相似度S。

例如：先将词语“早晨”分别和表情关键词“大笑”、“愉快”、“沮丧”、“哭泣”进行相似度计算，S都为0％；再将词语“心情”分别和表情关键词“大笑”、“愉快”、“沮丧”、“哭泣”进行相似度计算，S都为0％；然后将词语“愉快”分别和表情关键词“大笑”、“愉快”、“沮丧”、“哭泣”进行相似度计算，S分别为0％、100％、0％、0％，最后将词语“上学”分别和表情关键词“大笑”、“愉快”、“沮丧”、“哭泣”进行相似度计算，S都为0％。

步骤S630，判断所述词语与所述表情关键词的相似度是否大于预设的阈值；如果是，则执行步骤S640；如果否，则执行步骤S620。

相似度越大表示词语和表情关键词之间越相似，相似度越小表示词语和表情关键词之间越不相似。

预设的阈值用于衡量词语和表情关键词的相似程度，在本实施例中认为相似度大于该阈值，词语和表情关键词等同。该阈值可以是经验值或者试验获得的值。

例如：阈值为40％，词语“傻笑”和表情关键词“憨笑”的相似度为50％，50％＞40％，这时认为“傻笑”等同于“憨笑”，词语“傻笑”为表情关键词，“傻笑”对应的表情图像为“憨笑”对应的表情图像。

步骤S640，将所述词语识别为所述表情关键词。

与所述词语的相似度大于所述阈值的表情关键词可以是一个或多个。

如果与所述词语的相似度大于所述阈值的表情关键词为一个，则直接将所述词语识别为所述表情关键词。

如果与所述词语的相似度大于所述阈值的表情关键词为多个，则给出以下两种识别方式：

方式一，如果与所述词语的相似度大于所述阈值的表情关键词为多个，则将所述词语识别为多个所述表情关键词中符合预设条件的表情关键词；其中，所述预设条件为：与所述词语的相似度最高的表情关键词，或者，使用频率最高的表情关键词。进一步地，在用户使用即时语音通信功能的过程中，对识别出的表情关键词进行统计，确定每个表情关键词的使用频率；或者对用户使用的表情图像进行统计，间接获得每个表情关键词的使用频率。如果多个表情关键词的相似度相同且使用频率相同，则显示多个表情关键词分别对应的表情图像，由用户通过语音的方式选择其中之一。

方式二，如果与所述词语的相似度大于所述阈值的表情关键词为多个，则对所述语音信息进行语义分析，在多个所述表情关键词中确定与所述语音信息相关联的表情关键词，并且将所述词语识别为所述相关联的表情关键词。进一步地，在用户使用即时语音通信功能的过程中，将用户输入的语音信息作为语音训练集合并定时更新语音训练集合；对语音训练集合中的各个语音信息进行识别，识别出语音信息中的表情关键词以及位于该表情关键词前后的词语；分析出该表情关键词前后出现频率最高的词语，并记录该表情关键词及其前后词语的对应关系；在进行语义分析时，针对当前识别的词语，确定位于该词语前后的词语，根据位于该词语前后的词语查找记录，找到该前后词语对应的表情关键词，如果该表情关键词存在于与该词语的相似度大于阈值的多个表情关键词中，则将该词语识别为该前后词语对应的表情关键词，否则可以根据方式一进行识别。

在本实施例中，由于输入表情关键词(词语)需要一定时间，也即是说，表情关键词对应一个时间段，针对这种情况，可以将该时间段的起始时间作为播放时间，使表情关键词对应的表情图像对应该时间段的起始时间。

实施例三

本实施例提供一种通过语音方式在语音信息中添加表情图像的方式。

在录制语音信息的过程中，识别所述语音信息中出现的语音前缀和语音后缀，并且将所述语音前缀和所述语音后缀之间的词语识别为表情关键词。其中，在录制完毕的语音信息中不包含所述语音前缀、所述语音后缀以及所述表情关键词。

语音前缀和语音后缀用于标识表情关键词，表情关键词位于语音前缀和语音后缀之间，识别出语音前缀和语音后缀，可以直接将位于语音前缀和语音后缀之间的词语识别为表情关键词。

例如：语音前缀是用户说出的““”、““％”；语音后缀是用户说出的“*””、““”，在语音信息中识别出“傻笑*”时，可以识别出傻笑为表情关键词，在语音信息中识别出“％尴尬”时，可以识别出尴尬为表情关键词。

由于语音前缀、表情关键词和语音后缀为用户语音输入的信息，所有为了不影响接收端用户对语音信息的理解，在本实施例中，在语音信息中不体现语音前缀、表情关键词和语音后缀。具体可以将语音前缀之前的语音信息和语音后缀之后的语音信息拼接为一段完整的语音信息，而表情图像对应的播放时间，也即是表情关键词对应的播放时间为拼接位置对应的时间。

实施例四

本实施例提供一种在接收端执行的即时通信方法。本实施例的执行主体为作为接收端的移动终端。

如图7所示，为根据本发明第四实施例的即时通信方法的流程图。

步骤S710，接收发送端发送的语音信息。

在接收发送端发送的语音信息之后，显示所述语音信息对应的图像，并且显示所述发送端在所述图像上添加的表情标记或者表情图像。

接收端的用户在看到语音信息对应的图像上显示了表情标记或者表情图像，就可以知道在播放语音信息的过程中会显示表情信息。

步骤S720，确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间。

在语音信息中包括：音频信息、表情图像以及表情图像对应的播放时间。

通过对语音信息进行解析，可以得到语音信息中的音频信息、表情图像以及表情图像对应的播放时间。

步骤S730，在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

播放语音信息即是播放语音信息中的音频信息。

在播放音频信息的过程中，根据表情图像对应的播放时间，在播放到该播放时间时，显示该表情图像。

在显示该表情图像时，可以在用户界面的预设区域中显示该表情图像，也可以在用户界面中以悬浮的形式显示该表情图像，显示时长为预设时长或者表情关键字的播放长度。预设区域例如是语音信息对应的图像的上方或者下方。如图8所示为播放语音信息过程中显示表情图像的示意图。

通过本实施例，用户在收听语音信息的过程中，可以看到表情图像，在增加了语音信息的表示形式的基础上，可以直观的感受到对方的情绪，且增加了趣味性，用户体验好。

实施例五

本实施例提供一种设置在发送端的即时通信装置。图9是根据本发明第五实施例的即时通信装置的结构图。

该设置在发送端的即时通信装置，包括：

识别模块910，用于在录制语音信息的过程中，识别所述语音信息中的表情关键词。

处理模块920，用于在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间。

发送模块930，用于将录制完毕的语音信息发送给接收端。

进一步地，识别模块910，用于在录制语音信息的过程中，对所述语音信息进行语音识别；计算所述语音信息中每个词语和预设的表情关键词的相似度；如果所述词语与所述表情关键词的相似度大于预设的阈值，则将所述词语识别为所述表情关键词。

进一步地，识别模块910，用于如果与所述词语的相似度大于所述阈值的表情关键词为多个，则将所述词语识别为多个所述表情关键词中符合预设条件的表情关键词；其中，所述预设条件为：与所述词语的相似度最高的表情关键词，或者，使用频率最高的表情关键词。

进一步地，识别模块910，用于如果与所述词语的相似度大于所述阈值的表情关键词为多个，则对所述语音信息进行语义分析，在多个所述表情关键词中确定与所述语音信息相关联的表情关键词，并且将所述词语识别为所述相关联的表情关键词。

进一步地，识别模块910，用于在录制语音信息的过程中，识别所述语音信息中出现的语音前缀和语音后缀，并且将所述语音前缀和所述语音后缀之间的词语识别为表情关键词；其中，在录制完毕的语音信息中不包含所述语音前缀、所述语音后缀以及所述表情关键词。

进一步地，处理模块920，还用于在识别出表情关键词之后，在所述录制完毕的语音信息对应的图像上，添加表情标记或者所述表情关键词对应的表情图像。

本实施例所述的装置的功能已经在上述方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

实施例六

本实施例提供一种设置在接收端的即时通信装置。图10是根据本发明第六实施例的即时通信装置的结构图。

该设置在接收端的即时通信装置，包括：

接收模块1010，用于接收发送端发送的语音信息。

确定模块1020，用于确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间。

显示模块1030，用于在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

进一步地，显示模块1030，还用于在接收发送端发送的语音信息之后，显示所述语音信息对应的图像，并且显示所述发送端在所述图像上添加的表情标记或者表情图像。

本实施例所述的装置的功能已经在上述方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种即时通信方法，其特征在于，在发送端执行，所述方法包括：

在录制语音信息的过程中，识别所述语音信息中的表情关键词；

在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间；

将录制完毕的语音信息发送给接收端；

所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：

在录制语音信息的过程中，对所述语音信息进行语音识别；

计算所述语音信息中每个词语和预设的表情关键词的相似度；

如果所述词语与所述表情关键词的相似度大于预设的阈值，则将所述词语识别为所述表情关键词；

如果与所述词语的相似度大于所述阈值的表情关键词为多个，则将所述词语识别为多个所述表情关键词中符合预设条件的表情关键词；其中，

所述预设条件为：与所述词语的相似度最高的表情关键词，或者，使用频率最高的表情关键词。

2.根据权利要求1所述的方法，其特征在于，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：

如果与所述词语的相似度大于所述阈值的表情关键词为多个，则对所述语音信息进行语义分析，在多个所述表情关键词中确定与所述语音信息相关联的表情关键词，并且将所述词语识别为所述相关联的表情关键词。

3.根据权利要求1所述的方法，其特征在于，所述在录制语音信息的过程中，识别所述语音信息中的表情关键词，包括：

在录制语音信息的过程中，识别所述语音信息中出现的语音前缀和语音后缀，并且将所述语音前缀和所述语音后缀之间的词语识别为表情关键词；

其中，在录制完毕的语音信息中不包含所述语音前缀、所述语音后缀以及所述表情关键词。

4.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

在识别出表情关键词之后，在所述录制完毕的语音信息对应的图像上，添加表情标记或者所述表情关键词对应的表情图像。

5.一种即时通信方法，其特征在于，在接收端执行，所述方法包括：

接收发送端发送的语音信息；

确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间；

在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

6.根据权利要求5所述的方法，其特征在于，还包括：

在接收发送端发送的语音信息之后，显示所述语音信息对应的图像，并且显示所述发送端在所述图像上添加的表情标记或者表情图像。

7.一种即时通信装置，其特征在于，设置在发送端，所述装置包括：

识别模块，用于在录制语音信息的过程中，识别所述语音信息中的表情关键词；

处理模块，用于在识别出表情关键词之后，将所述表情关键词对应的表情图像添加到所述语音信息中，并且标示出所述表情图像对应的播放时间；

发送模块，用于将录制完毕的语音信息发送给接收端；

所述识别模块，具体用于在录制语音信息的过程中，对所述语音信息进行语音识别；计算所述语音信息中每个词语和预设的表情关键词的相似度；如果所述词语与所述表情关键词的相似度大于预设的阈值，则将所述词语识别为所述表情关键词；在与所述词语的相似度大于所述阈值的表情关键词为多个时，将所述词语识别为多个所述表情关键词中符合预设条件的表情关键词；其中，

所述预设条件为：与所述词语的相似度最高的表情关键词，或者，使用频率最高的表情关键词。

8.一种即时通信装置，其特征在于，设置在接收端，所述装置包括：

接收模块，用于接收发送端发送的语音信息；

确定模块，用于确定所述语音信息中携带的表情图像以及所述表情图像对应的播放时间；

显示模块，用于在播放所述语音信息的过程中，在所述表情图像对应的播放时间显示所述表情图像。

Images