CN101557440B - 情绪识别消息系统、其移动通信终端和消息存储服务器 - Google Patents

Abstract

一种消息存储服务器，存储从移动通信终端发送的话音或者视频的消息并对该消息执行情绪识别以产生情绪数据。移动通信终端在从消息的消息存储服务器接收到移动通信终端已发送了给另一移动通信终端的消息的确认请求的情况下，在其显示器上显示被分配给发送的消息的情绪数据。

Description

情绪识别消息系统、其移动通信终端和消息存储服务器

技术领域

本发明涉及用于通信终端的消息系统，且具体地说涉及用于经由服务器传送比如话音或视频的消息的系统。

背景技术

通常，在用于便携式电话的移动通信系统的语音消息服务中，在呼叫者呼叫接收器终端但是由于某种原因不能接通该接收器的情况下，呼叫者终端能够在服务器中通过话音或者视频留下消息。接收器终端从服务器接收消息被寄存的通知，使得接收器终端连接到服务器以接收该消息。因此，即使呼叫者终端的用户不能直接与接收器侧的用户通信，该呼叫者终端也能够将消息从其用户传送到接收器终端的用户。

然而，在语音消息服务中，与用户能够直接与接收器的用户讲话的情况相比，呼叫者终端的用户更难表达情绪。通过身体语言或者由语音的音调进行的情绪表达的范围在人对机器讲话而不存在相应方的情况下将不可避免地较少，且在消息不包括视频且仅包括话音的情况下更是这样。结果，有时呼叫者想要表达的情绪不能完全地反映在留在语音消息中的消息中。

为解决该问题，已知一种移动通信系统，其中呼叫者终端能够将由用户输入的指示情绪类型的信息附加到给接收器的话音消息，且接收器终端能够在接收该话音消息之前接收具有情绪信息的消息(例如，参见日本专利申请特平开No.2007-184987(摘要、[0023]段))。

还已知的是能够基于语音消息中的话音信号确定呼叫者的情绪，且能够根据接收的语音消息的重要性程度或根据指示情绪程度的值来控制播放消息的顺序的电话应答机(例如，参见日本专利申请特平开No.2007-049657(摘要))。

还已知一种图像处理系统，其中在图像信息中，确定拍摄的图像的面部表情，以使得显现待强调的部分以用于视频电话(例如，参见日本专利申请特平开No.2007-193824(摘要))。

此外，已知一种具有聊天服务器的通信系统，该聊天服务器基于话音数据和图像数据检测情绪参数以产生情绪数据，其通过合成情绪数据和从图像数据提取的面部表情数据来产生合成的面部表情数据，并且通过合成人物数据和合成的面部表情数据来产生人物合成图像(例如，参见日本专利申请特平开No.2006-330958(摘要))。

另外，已知一种能够通过对由用户输入的话音执行话音情绪识别而产生电子邮件的便携式电话(例如，参见日本专利申请特平开No.2006-277567(摘要))。

然而，即使在呼叫者终端的用户选择指示情绪的信息的情况下，用户也不一定准确地理解他自己的情绪状态。因此，呼叫者终端的用户打算传达的情绪不总是与当消息实际上被传送到接收器用户时接收器终端的用户实际上接收的印象相符合。相反地，仅通过情绪识别软件自动地读取消息的情绪可能给予接收器用户不正确的印象，因为识别结果有时不对应于呼叫者用户想要表达的情绪。

发明内容

已经实现本发明以解决上述问题，且本发明的目的在于提供一种消息系统、一种移动通信终端和一种消息存储服务器，用于使得能够在发射器和接收器终端的用户之间流畅地通信，而不对终端施加过多的处理负担。

在一个方面中，本发明提供了一种消息系统，其具有消息存储服务器和至少两个移动通信终端，且至少两个移动通信终端中的每一个具有：发射器-接收器，其发送数据到消息存储服务器并从消息存储服务器接收数据；显示器，其显示图像；输入接收器，其从用户接收话音或者视频的输入；和控制器，其控制每个单元，并且该控制器在由输入接收器接收给另一移动通信终端的话音或者视频的消息的情况下，将该消息经由发射器-接收器发送到消息存储服务器；并且该消息存储服务器包括：消息接收器，其从移动通信终端接收给另一移动通信终端的消息；存储装置，其存储由消息接收器接收的消息；情绪识别器，其对所述消息执行情绪识别并将指示识别出的情绪的情绪数据分配给所述消息；和确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的移动通信终端，并且该控制器在从消息存储服务器接收到确认请求的情况下，在显示器上显示对应于接收的情绪数据的图像。

根据本发明的消息系统，因为将情绪数据的确认请求发送到发送了消息的终端，发射器终端的用户能够确认由消息存储服务器的情绪识别器识别的情绪是否对应于用户想要表达的情绪。结果，能够最小化识别的情绪数据和用户的意图之间的差异，且增强移动通信系统中消息存储服务的可靠性。

此外，因为由消息存储服务器执行情绪识别，移动通信终端不必设置有情绪识别功能。因此，能够最小化施加在通信终端上的处理负荷，还能够将适合发射器终端的用户的意图的情绪数据分配给消息。

在本发明中，通过话音或者视频表达的消息是话音消息或者视频消息。因此，话音消息包括音频数据，且视频消息包括音频与视频数据两者。

在另一方面中，本发明提供了一种移动通信终端，其连接具有消息存储服务器的移动通信系统并与另一移动通信终端通信，该移动通信终端包括：发射器-接收器，其发送数据到消息存储服务器和从消息存储服务器接收数据，该消息存储服务器用于在对接收的消息执行情绪识别和将指示识别出的情绪的情绪数据分配给接收的消息之后，寄存从移动通信终端接收到的话音或者视频的消息；显示器，其显示图像；输入接收器，其从用户接收话音或者视频的输入；和控制器，其控制每个单元，并且该控制器在由输入接收器接收到给另一移动通信终端的话音或者视频的消息的情况下，将所述消息经由发射器-接收器发送到消息存储服务器；该控制器在作为确认请求从消息存储服务器接收到所发送的消息的情绪数据的情况下，在显示器上显示对应于所接收的情绪数据的图像；并且该控制器在经由输入接收器接收到指示用户同意由在显示器上显示的图像指示的情绪类型的输入指示的情况下，经由发射器-接收器将指示认可所述情绪数据的认可响应发送到消息存储服务器。根据本发明的移动通信终端，能够获得与上述消息系统相同的效果。

在优选实施例中，该控制器在经由发射器-接收器从消息存储服务器接收到寄存通知的情况下，将对寄存的消息的访问请求经由发射器-接收器发送到消息存储服务器，其中该寄存通知通知在消息存储服务器中寄存给所述移动通信终端的消息；并且该控制器在经由发射器-接收器从消息存储服务器接收到表示选择屏幕的屏幕数据的情况下，可以在显示器上显示由所述屏幕数据表示的选择屏幕，该选择屏幕显示指示寄存的消息的属性的消息信息，且其显示能够由移动通信终端下载的至少一个消息的消息信息，在根据由消息的情绪数据指示的情绪类型分类之后显示所述消息信息；并且该控制器在从所述选择屏幕中选出至少一个消息中的一个时，将对所选择消息的下载请求发送到消息存储服务器。

根据本实施例，在选择屏幕上在不同类型情绪的类别下显示每个消息。因此，能够由用户容易地执行将要下载的消息的选择。

在另一优选实施例中，该控制器在经由发射器-接收器从消息存储服务器接收到寄存通知的情况下，可以将对寄存的消息的访问请求经由发射器-接收器发送到消息存储服务器，该寄存通知通知在消息存储服务器中寄存给所述移动通信终端的消息；并且控制器在经由发射器-接收器从消息存储服务器接收到表示选择屏幕的屏幕数据的情况下，可以在显示器上显示由所述屏幕数据表示的选择屏幕，该选择屏幕显示能够由移动通信终端下载的至少一个消息的消息信息，该消息信息指示寄存的消息的属性，该消息信息包括最能表示出由分配给该消息的情绪数据指示的情绪的图像；并且该控制器在从所述选择屏幕中选出至少一个消息中的一个时，可以将对所选择消息的下载请求发送到消息存储服务器。

优选地，在选择屏幕中，在根据由每个消息的情绪数据指示的情绪类型分类之后显示能够由移动通信终端下载的至少一个消息的消息信息。

在这种情况下，因为在接收器终端的选择屏幕中显示最能表示出消息的特殊情绪的图像，所以这种选择屏幕使得接收器终端的用户容易地参考接收的消息与什么类型的情绪相关联。此外，在根据情绪类型分类消息的情况下，进一步增强对用户的便利。

在又一方面中，本发明提供了一种移动通信系统的消息存储服务器，用于中继至少两个移动通信终端之间的通信，且该消息存储服务器具有：消息接收器，其从第一移动通信终端接收给第二移动通信终端的话音或者视频的消息；存储装置，其存储由消息接收器接收的消息；情绪识别器，其对所述消息执行情绪识别并将指示识别出的情绪的情绪数据分配给所述消息；和确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的第一移动通信终端。

根据本发明的消息存储服务器，能够获得与上述消息系统相同的效果。

在优选实施例中，消息存储服务器可具有寄存通知器，其在从第一移动通信终端接收到指示认可所述情绪数据的认可响应的情况下，将对应于所认可的情绪数据且被存储在存储装置中的消息的寄存通知发送到第二移动通信终端。

在本发明的该模式下，因为除非发射器终端认可情绪数据，否则不将消息的接收通知接收器终端，所以接收器终端的用户仅在由发射器确认情绪数据的情况下访问存储在服务器中的消息。因此，和发射器的用户的意图不同的情绪数据将不会被发送到接收器。

在另一优选实施例中，该消息存储服务器可进一步具有第一发生器，其在从第二移动通信终端接收到作为对寄存通知的响应的访问请求的情况下，产生表示选择屏幕的屏幕数据，该选择屏幕显示指示存储的消息的属性的消息信息；和屏幕数据发射器，其将由第一发生器产生的屏幕数据发送到第二移动通信终端，并且该第一发生器在根据由所述消息的情绪数据指示的情绪类型对所述消息信息分类之后，产生显示能够由第二移动通信终端下载的消息的消息信息的屏幕作为选择屏幕。

根据本发明的该模式，在选择屏幕中在不同类型情绪的类别之一下显示每个消息。因此，能够由用户容易地执行将要下载的消息的选择。另外，因为消息存储服务器响应于来自接收器通信终端的访问请求产生这种选择屏幕以将表示产生的选择屏幕数据发送到接收器终端，接收器终端不必产生屏幕数据。因此，能够最小化施加在接收器终端上的负担。

做为选择地，该消息存储服务器可进一步具有图像提取器，其在响应于寄存通知从第二移动通信终端接收访问请求的情况下，在存储的消息是视频的消息的情况下，从所述消息的视频数据中提取最能表示由对应于所述消息的情绪数据所指示的情绪的图像；第二发生器，其产生表示选择屏幕的屏幕数据，该选择屏幕显示由图像提取器提取的图像作为指示所存储的消息的属性的消息信息的至少一部分；和将由第二发生器产生的屏幕数据发送到第二移动通信终端的屏幕数据发射器。

优选地，该第二发生器在根据由所述消息的情绪数据指示的情绪类型对消息信息分类之后，可以产生作为选择屏幕的屏幕，该屏幕显示能够由第二移动通信终端下载的消息的消息信息。

在这种情况下，因为在接收器终端的选择屏幕中显示最能表示出消息的特殊情绪的图像，所以这种选择屏幕使得接收器终端的用户容易地参考接收的消息与什么类型的情绪相关联。此外，因为对于视频消息，从原始视频消息提取要在选择屏幕上显示的图像，能够包括发射器终端的用户的个人特性作为在选择屏幕上显示的消息的属性信息。另外，因为消息存储服务器响应于来自接收器通信终端的访问请求产生这种选择屏幕，以将表示产生的选择屏幕的屏幕数据发送到接收器终端，所以接收器终端不必产生屏幕数据。因此，能够最小化施加在接收器终端上的负担。

此外，在根据情绪类型对消息分类的情况下，进一步增强对用户的便利。

发明效果

根据本发明，消息的发射器终端的用户能够确认由情绪识别器分配给消息的情绪数据是否适合用户的意图。因此，能够提供使得能够在发射器和接收器终端之间流畅地通信的消息系统而不在终端上施加过多的处理负荷。

附图说明

图1是示出了根据本发明的实施例的情绪识别消息系统的配置的图。

图2是示出了根据本发明实施例的通信终端的功能配置的图。

图3是示出了根据本发明实施例的消息存储服务器的功能配置的图。

图4是示出了根据本发明实施例的消息存储服务器中的数据配置的表。

图5是示出了在根据本发明实施例的接收器通信终端显示的实例屏幕的图。

图6是示出了根据本发明实施例的操作的序列图表。

图7是示出了实施例的变形的操作的序列图表。

具体实施方式

现在将参考附图描述根据本发明的实施例的情绪识别消息系统。

将首先描述根据本实施例的设置有情绪识别功能的消息系统的配置。图1是示出了根据本实施例的情绪识别消息系统的配置的图。如图所示，该消息系统具有用于发送和接收话音或者视频消息(话音或者视频表达的消息)的通信终端10a，10b、用于存储从通信终端10a，10b发送的话音或者视频消息的消息存储服务器20、和连接通信终端10a，10b与消息存储服务器20的网络N。例如，通信终端10a，10b是移动通信终端，但是不限于此。例如，通信终端10a，10b可以是能够实现语音通信或者IP(因特网协议)电话通信的个人计算机。然而，在该实施例中，将假定通信终端10a，10b是移动通信终端进行描述。在这种情况下，网络N是移动通信网络。因此，尽管未示出，网络N包括基站作为连接点，通信终端10a，10b无线地连接到该连接点。

在下面的描述中，为了简单起见，通信终端10a将被称为发射器通信终端(第一移动通信终端)，且通信终端10b将被称为接收器通信终端(第二移动通信终端)。此外，在该实施例中，假定发射器通信终端10a呼叫接收器通信终端10b，但是该呼叫没有由接收器通信终端10b应答，并且因此，发射器通信终端10a将为接收器通信终端10b留言。

参考图6所示的序列图表给出本实施例的配置的简短概述，发射器通信终端10a将给接收器通信终端10b的消息发送到消息存储服务器20以存储在其中(S1，S2a，S2b)。消息在消息存储服务器20中的存储触发消息的情绪识别处理(S3)。作为情绪识别的结果，将情绪数据分配给存储的消息。消息存储服务器20随后将确认请求发送到发射器通信终端10a(S4)。发射器通信终端10a的用户将用户的消息与由消息存储服务器20分配并发送的情绪数据一起确认(S5)。在消息和情绪数据没有错误的情况下，发射器通信终端10a再次连接到消息存储服务器20并发送对情绪数据的认可响应(S6)。

消息的寄存(S7)触发由消息存储服务器20对接收器通信终端10b的通知处理。在该通知处理中，消息存储服务器20将消息寄存的通知发送到接收器通信终端10b(S8)。已经接收该通知的接收器通信终端10b将访问请求发送到服务器(S9)，响应于此消息，存储服务器20产生(S10，S11)并发送(S12)选择屏幕，该选择屏幕指示分配给可由接收器通信终端10b下载的每个消息的情绪类型。接收器通信终端10b显示选择屏幕(S13)，使得用户通过在屏幕上观看与每个消息相关联的情绪类型来选择要下载的消息。接收器通信终端10b随后将对用户选择的消息的下载请求发送到消息存储服务器20(S14)。消息存储服务器20随后将选择的消息发送到接收器通信终端10b，以进行显示(S15，S16)。

图2是示出了根据本实施例的通信终端10的功能配置的框图。通信终端10能够是发射器通信终端10a或者接收器通信终端10b。如图所示，通信终端10具有发射器-接收器101、输入器(输入接收器)102、控制器103、显示器104和话音输出器105。发射器-接收器101用于执行与消息存储服务器20的无线通信，并且例如是天线，但是能够采用其他类型的已知配置。显示器104用于显示图像，并且例如是液晶显示屏，但是能够采用其它类型的已知配置。输入器102包括用于输入密钥的键盘、按钮、用于音频输入的传声器(即，获得话音表达的消息的话音和视频表达的消息的话音)、和用于获得视频的摄像机，但是能够采用其他类型的已知配置。例如，显示器104能够基于对屏幕的触摸操作产生输入信号，这种通过触摸操作的输入能够被包括在输入器102中。话音输出器105基于音频数据产生声音，以进行输出。

通信终端10是具有CPU(中央处理单元)、RAM(随机访问存储器)、和作为主存储装置的ROM(只读存储器)、用于执行通信的通信模块、作为辅助存储装置的比如硬盘的硬件、和由通信终端10的用户操作的工作单元(未示出)的计算机。这些元件彼此协同地工作，由此实现通信终端10的功能。

图3是示出了根据本实施例的消息存储服务器20的功能配置的图。如图所示，消息存储服务器20具有输入器-输出器201、存储装置202、通知器203、情绪识别器204、数据提取器205、发生器206和确认请求器207。

消息存储服务器20是具有CPU、RAM、和作为主存储装置的ROM、用于执行通信的通信模块、和作为辅助存储装置的比如硬盘的硬件(未示出)的计算机。这些元件彼此协同地工作，由此实现消息存储服务器20的功能。

输入器-输出器(消息接收器、屏幕数据发射器)201是用于将话音或者视频消息发送到通信终端10a，10b，并从通信终端10a，10b接收话音或者视频消息的装置，并且例如是通信接口。在从发射器通信终端10a接收到给接收器通信终端10b的话音或者视频消息的情况下，输入器-输出器201将接收的消息传送到存储装置202。确认请求器207在指示由情绪识别器204识别的情绪的类型的情绪数据被存储在存储装置202中时，从存储装置202读取情绪数据和相应的话音或者视频消息的数据，以指示输入器-输出器201将读取的多条数据作为确认请求发送到发射器通信终端10a。输入器-输出器201在从确认请求器207接收到发送确认请求的指令的情况下，将确认请求发送到发射器通信终端10a。通知器203在来自发射器通信终端10a的话音或者视频消息被寄存时，指示输入器-输出器201发送通知消息(寄存通知)。输入器-输出器201在从通知器203接收到发送通知的指令的情况下，将通知发送到接收器通信终端10b。

在该描述中，“话音或者视频消息的寄存”不仅仅意味着将消息存储到存储装置202中，而是指示发射器通信终端10a的用户认可由情绪识别器204对存储的消息所执行的情绪识别结果的情况。将在后面描述实现寄存的处理。

接收器通信终端10b在接收到寄存通知的情况下，将访问寄存的消息的访问请求发送到服务器20。输入器-输出器201在响应于来自接收器通信终端10b的访问请求接收由发生器206产生的屏幕数据的情况下，将屏幕数据发送到接收器通信终端10b。该屏幕数据是将要在接收器通信终端10b上显示的选择屏幕的图像数据。

存储装置202与话音或者视频消息的数据相关联地存储寄存的时间、消息的发起人、消息的总播放时间(即，长度)、指示最显著的情绪的情绪数据，和最显著的情绪所处的消息的识别点(参见图4，在存储装置202中的数据配置)。存储装置202在从输入器-输出器201接收到话音或者视频消息的情况下，存储所接收的消息。当由情绪识别器204对话音或者视频消息执行情绪识别时，存储装置202存储与相应的话音或者视频消息相关联的作为情绪识别的结果而产生的情绪数据。该情绪数据指示在由情绪识别过程所识别的不同类型的情绪当中最显著的情绪。

情绪识别器204在话音或者视频消息被存储在存储装置202中的情况下，从其读出消息并识别消息中的情绪类型，并连同话音或者视频消息一起，将指示对应于识别结果的情绪的情绪数据返回到存储装置201以存储在其中。可以每秒或者消息的每单位时间执行情绪的识别。能够识别的情绪类型包括，例如，快乐、惊奇、愤怒、厌恶、恐惧、哀愁等。

此外，既然能够在一个消息中识别出多个类型的情绪，对于每个话音或者视频消息识别具有最高频率或者最高的用于确定情绪的参数值的情绪类型，使得能够将识别出的情绪识别为话音或者视频消息的情绪类型。也可以存储指示与存储装置202中的消息相关联的多个识别的情绪类型的多条情绪数据。但是，在本实施例中，情绪识别器204为每个消息分配一条情绪数据。

作为用于识别情绪的方法，通过例如在话音消息的情况下与每个不同类型的情绪相关联地存储关于情绪表达的数据，比如“我是快乐的”和“我是忧愁的”或对应于音量、速度、音调或者话音的波形数据，并比较输入到情绪识别器204的话音消息与为每类情绪存储的数据，来识别情绪的类型。在视频消息的情况下，能够通过从视频提取面部表情(例如，在眉毛、眼睛和嘴的特征点之间的位置关系)或用户的手势，并比较提取的数据与关于预先与不同类型的情绪相关联地存储的面部表情或者手势的数据，来识别情绪。注意到，用于本实施例的话音数据和视频数据的情绪识别能够是任何其他类型的已知方法。

确认请求器(确认请求发射器)207在指示由情绪识别器204识别的情绪的类型的情绪数据被存储在存储装置202的情况下，从存储装置202读取情绪数据和相应的话音或者视频消息的数据，并将读取的多条数据作为确认请求发送到发射器通信终端10a，以用于请求确认由该情绪数据指示的情绪的类型是否符合用户本意。

通知器(寄存通知器)203在消息寄存在存储装置202中的情况下(即，其从发射器通信终端10a接收认可响应)，产生待发送到接收器通信终端10b的消息寄存通知(寄存通知)，该消息寄存通知包括关于已经寄存话音或者视频消息的发射器通信终端10a的信息、寄存的时间等，并指示输入器-输出器201将产生的通知发送到接收器通信终端10b。

优选地，由情绪识别器204识别为最显著的情绪的情绪数据可以被包括在该消息寄存通知中。

数据提取器(图像提取器)205在从接收器通信终端10b接收访问请求的情况下，从存储装置202读取接收器通信终端10b的话音或者视频消息和其相应的情绪数据。在所读取的消息是视频数据的情况下，数据提取器205从视频数据提取与最能显示出由情绪数据指示的情绪的类型的场景的图像相对应的图像。图像的所提取数据被传递到发生器206。在话音数据的情况下，将符合该类型的情绪的一组人物或者图像传递到发生器206。

在提取最能显示出由情绪数据指示的情绪类型的图像时，对于视频消息，数据提取器205对于存储在存储装置202中的情绪数据提取由识别点(图4)指示的时间点的图像。因此，数据提取器205还从存储装置202获得识别点的数据。对于话音消息，数据提取器205从存储器(未示出)读取对应于情绪数据的一组人物或者图像，其中对于每类情绪预先存储多组人物和图像的数据。

发生器(第一发生器，第二发生器)206在从数据提取器205接收到寄存的消息的图像数据的情况下，首先从存储装置202获得该消息的属性信息(消息信息)，该属性信息包括发信方、寄存的数据，总播放时间等。发生器206随后基于图像数据和属性信息，产生表示根据情绪类型显示一个或多个消息的屏幕图像的屏幕数据，并将该屏幕数据传送到输入器-输出器201。具体地说，在从消息存储服务器20将寄存通知发送到接收器通信终端10b之后，接收器通信终端10b作为响应将访问请求发送到服务器20的情况下，发生器206产生用于提示接收器通信终端10b的用户选择用户希望下载的消息的选择屏幕。在这种情况下，配置选择屏幕，以使得在已经显示选择屏幕的接收器通信终端10b的用户点击显示的图像之一的情况下，自动地将下载请求发送到消息存储服务器20，该请求用于从存储装置202中存储的消息当中下载对应于所点击的图像的话音或者视频消息，且随后下载所需的消息用于播放。

图5是在本实施例中在接收器通信终端10b显示的选择屏幕的实例的图。

在接收器通信终端10b在从消息存储服务器20接收到消息寄存通知时连接消息存储服务器20的情况下，从消息存储服务器20接收到选择屏幕的屏幕数据，该选择屏幕为每个寄存的消息示出所寄存消息的一组图像、发信方、寄存的日期和总播放时间。这些信息是示出了每个消息的属性的信息，且用户通过观看所显示的属性信息决定下载哪个消息。

在图5所示的实例中，通过按情绪的类型分类，显示了示出快乐的两个消息和示出愤怒的一个消息。以缩略图表示最好地表现每个消息的情绪的场景。每个缩略场景对应于由数据提取器205从每个消息中提取的图像数据。在由用户在接收器通信终端10b的屏幕上选择话音或者视频消息之一的情况下，从消息存储服务器20下载话音或者视频消息并播放。

在图4和5示出的实例的情况下，在消息存储服务器20中寄存给接收器通信终端10b的三个消息。能够由来自用户的删除指令删除寄存的消息，并且能够下载消息以播放除非该消息被删除。因此，寄存的消息是能够由接收器通信终端10b下载的消息。还应注意的是，服务器20可根据指定的规则删除寄存的消息。

接下来将给出根据本实施例的情绪识别消息系统的操作的描述。图6是示出了情绪识别消息系统的操作的序列图表。如图所示，发射器通信终端10a首先接收话音或者视频消息的输入(S1)，由此开始情绪识别消息系统的操作。由发射器通信终端10a的用户经由比如传声器和摄像机的输入器102输入消息来执行话音或者视频消息的输入。

将输入的话音或者视频消息发送到消息存储服务器20，同时由发射器通信终端10a指定接收器通信终端10b作为消息的目的地(S2a)。消息存储服务器20在接收到该消息的情况下，将其存储在存储装置202中(S2b)。该消息的存储触发情绪识别处理。

当存储消息时，消息存储服务器20使得情绪识别器204识别消息的情绪(S3)。情绪识别器204将作为情绪识别的结果的情绪数据分配给相应的消息。具体地说，将情绪数据与相应的消息关联地存储在存储装置202中。

消息存储服务器20使得确认请求器207将存储的话音或者视频消息的数据和作为在步骤S3中执行的情绪识别的结果的情绪数据作为确认请求发送给发射器通信终端10a，使得在发射器通信终端10a确认话音或者视频消息的内容和由情绪数据指示的情绪类型(S4)。

发射器通信终端10a在从消息存储服务器20接收到话音或者视频消息和作为情绪识别的结果的情绪数据的情况下，播放该话音或者视频消息并同时显示由接收的情绪数据表示的情绪的类型(S5)。该显示屏幕用于提示用户确认该消息的所识别情绪的类型是否与用户的意图相符。因此，当完成消息的播放时，发射器通信终端10a随后在显示器104显示用于提示用户输入用户是否同意所显示的情绪识别结果的屏幕。

在用户同意所显示的该话音或者视频消息的情绪类型的情况下，发射器通信终端10a将指示认可情绪识别结果的响应消息(认可响应)发送到消息存储服务器20(S6)。另一方面，在用户不同意所显示的情绪识别结果的情况下，发射器通信终端10a将指示不认可识别结果的响应消息(不认可响应)发送到消息存储服务器20(S6)。在后一情况下，消息存储服务器20使得情绪识别器204通过排除先前的识别结果执行情绪识别处理(S3)，并随后将修订的识别结果与话音或者视频消息一起发送到发射器通信终端10a(S4)。因此，消息存储服务器20重复从S3到S5的处理直到其从发射器通信终端10a接收到认可响应。做为选择地，用户可以指定情绪的所需类型，因为可能即使情绪识别重复执行多次，用户也可能不认可识别结果。作为另一选择，该用户可以在用户不同意识别的第一结果的情况下指定情绪的所需类型，而不重复情绪识别处理。

消息存储服务器20在从发射器通信终端10a接收到认可响应的情况下，确定寄存相应的话音或者视频消息(S7)，由此产生给接收器通信终端10b的通知消息(寄存通知)以通知寄存了话音或者视频消息(S8)。在发送通知消息时，消息存储服务器20还可以与消息的寄存一起通知所识别的情绪数据。

在没有来自发射器通信终端10a的对识别结果的认可的情况下，从不寄存在步骤S3中存储在存储装置202中的消息和情绪数据。因此，在没有来自发射器通信终端10a的对识别结果的认可的情况下，不向接收器通信终端10b通知在步骤S3中存储在存储装置202中的消息。因此，根据本实施例，因为由情绪识别器204执行消息的情绪识别，能够保证消息与相应情绪的一致性。此外，因为在由消息的发射者认可结果之后，将情绪识别的结果通知给相对方，所以与发射者的意图差别很大的情绪类型将不会被传送至相对方。因此，将在主观性和客观性之间平衡之后决定的情绪数据分配给消息，这又促进了在用户的发射器和接收器之间的流畅通信。

注意到，存储装置202可以被配置为使得自动地删除这样的所存储的消息：对于该消息在特定时间周期或者超时后没有接收到来自发射器通信终端10a的认可。

接收器通信终端10b在接收到寄存通知消息的情况下，连接到消息存储服务器20从而发送访问话音或者视频消息的访问请求(S9)。

消息存储服务器20的数据提取器205在从接收器通信终端10b接收到访问请求的情况下，从存储装置202读取给接收器通信终端10b的消息和其相应的情绪数据。在读取的消息是视频消息的情况下，数据提取器205提取最能表示由情绪识别器204识别的情绪数据所指示的情绪的类型的场景的图像。在读取的消息是话音消息的情况下，数据提取器205从存储器读取适合于该情绪数据的一组人物或者图像。在存储装置202存储给接收器通信终端10b的多于一个消息的情况下，数据提取器205执行图像的提取或者读取每个消息的一组人物或者图像(S10)。

消息存储服务器20的发生器206使用从数据提取器205传递的图像和从存储装置202获得的消息的属性信息，比如其寄存日期、发信方、总播放时间，以产生表示将要在接收器通信终端10b显示的选择屏幕的图像的屏幕数据。选择屏幕基于分配给每个消息的情绪数据按情绪类型显示消息(S11)。注意到，由数据提取器205提取的图像是对应于由情绪识别器204为每个寄存的消息识别的情绪数据的图像。因此，提取的图像被认为是属性信息的一部分。

消息存储服务器20将产生的选择屏幕的屏幕数据传送到接收器通信终端10b(S12)。

接收器通信终端10b在从消息存储服务器20接收到屏幕数据的情况下，显示由屏幕数据表示的图像(S13)。

接收器通信终端10b的用户通过观看显示的屏幕，输入该用户希望播放的消息的图像的选择结果。将输入的选择结果的信号作为选择的消息的下载请求发送到消息存储服务器20(S14)。该下载请求包括指定要下载哪个消息的信息。

消息存储服务器20在接收到该下载请求的情况下，从存储装置202读出有关的话音或者视频消息的数据，以将该消息发送到接收器通信终端10b(S15)。

接收器通信终端10b在接收到话音或者视频消息的数据的情况下，播放该消息(S16)。

修改

在上述实施例中，在消息存储服务器20提供发生器206，但是也可以由接收器通信终端10b产生选择屏幕的屏幕数据。图7是示出了在这种情况下情绪识别系统的操作的序列图表。在这种情况下，当接收器通信终端10b响应于消息寄存通知(S8)将访问请求发送到消息存储服务器20(S9)时，消息存储服务器20的数据提取器205提取与由情绪识别器204识别的情绪数据指示的情绪类型相适应的图像(S10)。随后，消息存储服务器20不执行选择屏幕生成而向接收器通信终端10b发送提取的数据、分配给消息的情绪数据和关于消息的属性信息，比如其寄存日期、发信方和消息的总播放时间(S11′)。在接收器通信终端10b，控制器102基于接收的数据产生屏幕数据以显示在显示器104上(S12′，S13)。在这种情况下，接收器通信终端10b的控制器102根据情绪类型执行消息的分类和显示。

在存储装置202中存储给接收器通信终端10b的多于一个消息的情况下，消息存储服务器20对于每个消息执行图像的提取并对于每个消息将提取的数据和关于该消息的属性信息发送到接收器通信终端10b。接收器通信终端10b的控制器102基于接收的数据产生选择屏幕，在其上按情绪的类型示出多个消息。

在上述实施例中，当将从发射器通信终端10a接收到的消息存储在消息存储服务器20的存储装置202中时触发情绪识别。做为选择地，可以当消息存储服务器20的输入器-输出器201接收从发射器通信终端10a发送的消息时触发情绪识别。在这种情况下，可以进行配置使得在将确认请求发送到发射器通信终端10a的时间点，不将消息和其情绪数据存储在存储装置202中。可以在消息存储服务器20在稍后的时间从发射器通信终端10a接收到寄存请求(即，认可响应)之后，将该消息和其情绪数据存储在存储装置202中。

在上述实施例中，在图6中的步骤S4中，消息存储服务器20的确认请求器207将作为由情绪识别器204执行的情绪识别的结果的情绪数据与在步骤S2a接收的消息一起发送到发射器通信终端10a。做为选择地，可以进行配置使得确认请求器207不将消息本身发送到发射器通信终端10a，而是仅发送情绪数据。在这种情况下，确认请求器207可以将情绪数据与识别相应的消息的信息一起发送。因为消息是话音数据或者视频数据，在发射器通信终端10a和消息存储服务器20之间的消息的多路传输在通信系统上施加了过多负担。然而，根据该修改，能够减少这种负担。

在上述实施例中，消息存储服务器20的数据提取器205在接收器通信终端10b将访问请求发送到消息存储服务器20之后提取图像(图6中的S9)。做为选择地，数据提取器205可在寄存消息数据的情况下提取图像，使得立刻由发生器206产生选择屏幕图像。具体地说，数据提取器205可以与将寄存通知消息发送到接收器通信终端10b并发地提取图像。根据该配置，减少了自从接收器通信终端10b将访问请求发送到消息存储服务器20直到接收器通信终端10b显示选择屏幕所需的时间。

在该实施例中，配置图5所示的选择屏幕使得按不同类型的情绪显示消息，但是本发明不限于此。做为选择地，可以按寄存的日期和时间或者按消息的发信方分类地列出消息。

在上述实施例中，消息存储服务器20设置有数据提取器205和发生器206。做为选择地，可在另一服务器提供数据提取器205和发生器206。也就是说，消息存储服务器可以专用于话音或者视频消息的存储和情绪识别处理，而数据提取器和发生器可以被配置为网络服务器。这使得能够简化消息存储服务器并有助于通过使用比如网络接口的通用接口从通信终端容易地访问。

在上述实施例中，接收器通信终端10b在步骤S16中仅播放话音或者视频消息，做为选择地，可以与播放消息一起另外显示情绪数据。具体地说，通过将通信终端的屏幕划分为两个部分，在一个屏幕上播放和显示话音或者视频，且可以将相应的情绪数据显示在另一个屏幕上。根据该修改，能够在消息播放的过程中同时显示消息的每个场景的情绪类型。在这种情况下，对于由情绪识别器204识别的多条情绪数据中的每一个，优选地将其识别点与相应情绪数据相关联地存储在存储装置202中。

在上述实施例中，由消息存储服务器20设置待识别的情绪类型。做为选择地，接收器通信终端10b可指定待识别的情绪的类型。也就是说，通信终端可登陆消息存储服务器以请求它从仅关于“愉快”的场景识别情绪或者识别由用户指定的许多类情绪。根据该修改，可以集中在接收器用户希望的情绪类型上执行情绪识别。

在上述实施例中，数据提取器205获得对应于话音消息的情绪数据的一组人物或者图像。做为选择地，数据提取器205可提取话音数据中最能表示出由情绪识别器204识别的情绪类型的部分，且可将提取的话音数据传递到发生器206。在这种情况下，提取对应于情绪数据的识别点的话音数据，且数据提取器205可提取播放周期包括识别点的短语或词。

Claims (9)

1.一种具有消息存储服务器和至少两个移动通信终端的消息系统，

所述至少两个移动通信终端的每一个包括：

发射器-接收器，其发送数据到消息存储服务器并从消息存储服务器接收数据；

显示器，其显示图像；

输入接收器，其从用户接收话音或者视频的输入；和

控制器，其控制所述发射器-接收器、显示器和输入接收器中的每一个，

其中，该控制器在由输入接收器接收给另一移动通信终端的话音或者视频的消息的情况下，将该消息经由发射器-接收器发送到消息存储服务器；

该消息存储服务器包括：

消息接收器，其从第一移动通信终端接收给第二移动通信终端的消息；

存储装置，其存储由消息接收器接收的消息；

情绪识别器，其对所述消息执行情绪识别并将指示由所述情绪识别所识别的所述消息中最显著的情绪的情绪数据分配给所述消息；和

确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的第一移动通信终端，

其中，该控制器在从消息存储服务器接收到确认请求的情况下，在显示器上显示对应于接收的情绪数据的图像，

所述消息存储服务器还包括：

寄存通知器，其在从第一移动通信终端接收到指示认可所述情绪数据的认可响应的情况下，将对应于所认可的情绪数据且被存储在所述存储装置中的消息的寄存通知发送到第二移动通信终端；

数据提取器，其在从第二移动通信终端接收到作为对所述寄存通知的响应的访问请求的情况下，从所述存储装置读取给第二移动通信终端的消息及其相应的情绪数据；

第一发生器，其在从第二移动通信终端接收到作为对所述寄存通知的响应的所述访问请求的情况下，产生表示选择屏幕的屏幕数据，该选择屏幕显示指示存储的消息的属性的消息信息，其中，该第一发生器产生在使用由所述数据提取器读取的情绪数据根据由所述消息的情绪数据指示的情绪类型对所述消息信息分类之后，显示能够由第二移动通信终端下载的消息的消息信息的屏幕作为选择屏幕；和

屏幕数据发射器，其将由第一发生器产生的屏幕数据发送到第二移动通信终端。

2.一种具有消息存储服务器和至少两个移动通信终端的消息系统，

所述至少两个移动通信终端的每一个包括：

发射器-接收器，其发送数据到消息存储服务器并从消息存储服务器接收数据；

显示器，其显示图像；

输入接收器，其从用户接收话音或者视频的输入；和

控制器，其控制所述发射器-接收器、显示器和输入接收器中的每一个，

其中，该控制器在由输入接收器接收给另一移动通信终端的话音或者视频的消息的情况下，将该消息经由发射器-接收器发送到消息存储服务器；

该消息存储服务器包括：

消息接收器，其从移动通信终端接收给另一移动通信终端的消息；

存储装置，其存储由消息接收器接收的消息；

情绪识别器，其对所述消息执行情绪识别并将指示由所述情绪识别所识别的所述消息中最显著的情绪的情绪数据分配给所述消息；和

确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的移动通信终端，

其中，该控制器在从消息存储服务器接收到确认请求的情况下，在显示器上显示对应于接收的情绪数据的图像，

所述消息存储服务器还包括：

寄存通知器，其在从第一移动通信终端接收到指示认可所述情绪数据的认可响应的情况下，将对应于所认可的情绪数据且被存储在所述存储装置中的消息的寄存通知发送到第二移动通信终端；

图像提取器，其在响应于寄存通知从第二移动通信终端接收访问请求的情况下，在存储的消息是视频的消息的情况下，从所述消息的视频数据中提取最能表示由对应于所述消息的情绪数据所指示的情绪的图像；

第二发生器，其产生表示选择屏幕的屏幕数据，该选择屏幕显示由图像提取器提取的图像作为指示所存储的消息的属性的消息信息的至少一部分；和

将由第二发生器产生的屏幕数据发送到第二移动通信终端的屏幕数据发射器。

3.一种移动通信终端，其连接具有消息存储服务器的移动通信系统并与另一移动通信终端通信，

该移动通信终端包括：

发射器-接收器，其发送数据到消息存储服务器和从消息存储服务器接收数据，该消息存储服务器用于在对从移动通信终端接收到的话音或者视频的消息执行情绪识别和将指示由所述情绪识别所识别的所述消息中最显著的情绪的情绪数据分配给接收的消息之后，寄存该接收的消息；

显示器，其显示图像；

输入接收器，其从用户接收话音或者视频的输入；和

控制器，其控制所述发射器-接收器、显示器和输入接收器中的每一个，

其中，该控制器在由输入接收器接收到给另一移动通信终端的话音或者视频的消息的情况下，将所述消息经由发射器-接收器发送到消息存储服务器；

其中，该控制器在作为确认请求从消息存储服务器接收到所发送的消息的情绪数据的情况下，在显示器上显示对应于所接收的情绪数据的图像；和

其中，该控制器在经由输入接收器接收到指示用户同意由在显示器上显示的图像指示的情绪类型的输入指示的情况下，经由发射器-接收器将指示认可所述情绪数据的认可响应发送到消息存储服务器。

4.根据权利要求3所述的移动通信终端，

其中，该控制器在经由发射器-接收器从消息存储服务器接收到寄存通知的情况下，将对寄存的消息的访问请求经由发射器-接收器发送到消息存储服务器，其中该寄存通知通知在消息存储服务器中寄存给所述移动通信终端的消息；

其中，该控制器在经由发射器-接收器从消息存储服务器接收到表示选择屏幕的屏幕数据的情况下，在显示器上显示由所述屏幕数据表示的选择屏幕，该选择屏幕显示指示寄存的消息的属性的消息信息，且其显示能够由移动通信终端下载的至少一个消息的消息信息，在根据由消息的情绪数据指示的情绪类型分类之后显示所述消息信息；和

其中，该控制器在所述至少一个消息中的一个被从所述选择屏幕中选出时，将对所选择消息的下载请求发送到消息存储服务器。

5.根据权利要求3所述的移动通信终端，

其中，该控制器在经由发射器-接收器从消息存储服务器接收到寄存通知的情况下，将对寄存的消息的访问请求经由发射器-接收器发送到消息存储服务器，该寄存通知通知在消息存储服务器中寄存给所述移动通信终端的消息；

其中，该控制器在经由发射器-接收器从消息存储服务器接收到表示选择屏幕的屏幕数据的情况下，在显示器上显示由所述屏幕数据表示的选择屏幕，该选择屏幕显示能够由移动通信终端下载的至少一个消息的消息信息，该消息信息指示寄存的消息的属性，该消息信息包括最能表示出由分配给该消息的情绪数据指示的情绪的图像；和

其中，该控制器在所述至少一个消息中的一个被从所述选择屏幕中选出时，将对所选择消息的下载请求发送到消息存储服务器。

6.根据权利要求5所述的移动通信终端，

其中，能够由移动通信终端下载的至少一个消息的消息信息在根据由消息的情绪数据指示的情绪类型被分类之后显示在所述选择屏幕中。

7.一种用于中继至少两个移动通信终端之间的通信的移动通信系统的消息存储服务器，

该消息存储服务器包括：

消息接收器，其从第一移动通信终端接收给第二移动通信终端的话音或者视频的消息；

存储装置，其存储由消息接收器接收的消息；

情绪识别器，其对所述消息执行情绪识别并将指示由所述情绪识别所识别的所述消息中最显著的情绪的情绪数据分配给所述消息；

确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的第一移动通信终端；

寄存通知器，其在从第一移动通信终端接收到指示认可所述情绪数据的认可响应的情况下，将对应于所认可的情绪数据且被存储在所述存储装置中的消息的寄存通知发送到第二移动通信终端；

数据提取器，其在从第二移动通信终端接收到作为对所述寄存通知的响应的访问请求的情况下，从所述存储装置读取给第二移动通信终端的消息及其相应的情绪数据；

第一发生器，其在从第二移动通信终端接收到作为对所述寄存通知的响应的所述访问请求的情况下，产生表示选择屏幕的屏幕数据，该选择屏幕显示指示存储的消息的属性的消息信息，其中，该第一发生器产生在使用由数据提取器读取的情绪数据根据由所述消息的情绪数据指示的情绪类型对所述消息信息分类之后，显示能够由第二移动通信终端下载的消息的消息信息的屏幕作为选择屏幕；和

屏幕数据发射器，其将由第一发生器产生的屏幕数据发送到第二移动通信终端。

8.一种用于中继至少两个移动通信终端之间的通信的移动通信系统的消息存储服务器，

该消息存储服务器包括：

消息接收器，其从第一移动通信终端接收给第二移动通信终端的话音或者视频的消息；

存储装置，其存储由消息接收器接收的消息；

情绪识别器，其对所述消息执行情绪识别并将指示由所述情绪识别所识别的所述消息中最显著的情绪的情绪数据分配给所述消息；

确认请求发射器，其将由情绪识别器分配的情绪数据作为确认请求发送给发送了所述消息的第一移动通信终端；

寄存通知器，其在从第一移动通信终端接收到指示认可所述情绪数据的认可响应的情况下，将对应于所认可的情绪数据且被存储在所述存储装置中的消息的寄存通知发送到第二移动通信终端；

图像提取器，其在响应于寄存通知从第二移动通信终端接收访问请求的情况下，在存储的消息是视频的消息的情况下，从所述消息的视频数据中提取最能表示由对应于所述消息的情绪数据所指示的情绪的图像；

第二发生器，其产生表示选择屏幕的屏幕数据，该选择屏幕显示由图像提取器提取的图像作为指示所存储的消息的属性的消息信息的至少一部分；和

将由第二发生器产生的屏幕数据发送到第二移动通信终端的屏幕数据发射器。

9.根据权利要求8所述的消息存储服务器，

其中，该第二发生器产生作为选择屏幕的屏幕，该屏幕在根据由所述消息的情绪数据指示的情绪类型对消息信息分类之后，显示能够由第二移动通信终端下载的消息的消息信息。

Images