CN1507295A - 通信终端、通信系统 - Google Patents

Abstract

为了提供使用方便的通信终端和利用该通信终端的通信系统，通信终端包括：用于输入声音的声音输入部；声音变换部，用于把通过上述声音输入部输入的声音变换为声音信号；文字变换部，用于把上述声音信号变换为文字信号；发送部，用于经过上述通信线路来发送上述声音信号和文字信号；控制部，根据上述通信线路的状态来控制上述发送部发送上述声音信号或者上述文字信号。而且，上述通信终端包括：接收部，用于接收声音信号和文字信号；输出部，用于输出通过上述接收部接收的声音信号；显示部，用于显示通过上述接收部接收的文字信号。通过这样的构成，即使在通信状况恶化的情况下，也能进行信息的发送接收。

Description

通信终端、通信系统

技术领域

本发明涉及能够进行声音通信和文字通信的通信终端以及使用该通信终端的通信系统。

背景技术

现有技术中已经存在这样的方法：通过声音文字双向变换服务器，把从发送终端发送的声音信息变换为文字信息，并发送给接收终端(例如，日本专利公开公报特开2002-162983号)。

在上述方法中，在服务器中进行声音文字的变换。为此，在从发送终端到通信公司等的服务器的通信状况不佳的情况下，不能从发送终端向服务器发送声音数据，发送者与接收者之间的通信中断，造成使用便利性变差。

发明内容

为了提供使用便利性良好的通信终端以及使用该通信终端的通信系统，通信终端包括：声音输入部，用于输入声音；声音变换部，用于把通过上述声音输入部输入的声音变换为声音信号；文字变换部，用于把上述声音信号变换为文字信号；发送部，可以经过上述通信线路来发送上述声音信号和文字信号；控制部，用于根据上述通信线路的状态来控制上述发送部发送上述声音信号或者上述文字信号。而且，上述通信终端还包括：接收部，能够接收声音信号和文字信号；输出部，用于输出通过上述接收部接收的声音信号；以及显示部，用于显示通过上述接收部接收的文字信号。利用这样的构成，即使在通信状况不佳的情况下，也能进行信息的发送接收。

附图说明

图1是表示通信系统的一个实施例的图；

图2是表示声音通信和文字通信的通信顺序的图；

图3是表示声音通信和文字通信的通信顺序的图；

图4是从文字通信向声音通信切换显示的一例；

图5是通信记录的显示例子；

图6是文字数据和声音数据的记录形式的一例；

图7是表示声音数据的重放顺序的图；

图8是表示通信系统的一个实施例的图；

图9是接收数据的显示例子；

图10是接收数据的显示例子；

图11是表示文字、声音和图像的数据量的一例的图；

图12是表示数据发送接收时的顺序的图。

具体实施方式

图1表示本发明的实施例所涉及的通信系统。通信终端1和2是可以经过通信网络3来进行数据的发送接收的终端，例如携带电话和PDA等通信终端。

首先，说明通信终端1进行声音、文字信息的发送时的动作。A/D变换部101将话筒100所收到的声音从模拟信号变换为数字信号。变换为数字信号的数字声音信号被输入声音压缩部102和文字变换部103。声音压缩部102对数字声音信号进行数字压缩，以使数据量被减少。文字变换部103通过进行数字声音信号的声音识别，而将声音变换为文字信息。加法器104把声音压缩部102的输出信号和文字变换部103的输出信号相加。

切换器108通过控制部207的指示，切换来自加法器104的输出和来自文字变换部103的输出，并输出给发送部107。发送部107经过通信网络3把声音数据和文字数据或者文字数据发送给通信终端2。而且，记录部106接收文字变换部103的输出，并记录文字信息。显示部105接收文字变换部103的输出，并显示从声音信号变换而成的文字信息。

下面说明通信终端1进行声音、文字信息的接收时的动作。由接收部200接收从通信终端2的发送部发送的数据。接收部200的输出被送给声音解码部201和文字解码部202。声音解码部201对从接收部200送来的数字信号进行解码，并提取出数字声音信号，送给D/A变换部203。D/A变换部203把从声音解码部201送来的数字声音信号变换为模拟信号，并发送给扬声器206。扬声器206接收从D/A变换部203送来的模拟声音信号，并输出声音。而且，文字解码部202对从接收部200送来的数字信号进行解码，并提取出文字信息，送给显示部204和记录部205。记录部205记录从文字解码部202送来的文字信息。

显示部105接收从文字解码部202送来的文字信息，并显示文字。而且，显示部105还可以显示从记录部106和205读出的文字信息。而且，记录部106、205可以是硬盘和RAM(Random AccessMemory)，也可以是IC卡等可以取下的记录媒体。

图2是表示声音·文字通信和文字通信的切换控制的流程图。控制部207通过存储在记录部106中的程序，进行下述的控制处理。但是，该程序可以在销售通信终端1时被预先安装，也可以在用户购买通信终端1后进行安装。在用户购买通信终端1后进行安装时，访问存储程序的服务器，下载该程序，并存储到记录部106中。

通过通话开始(S200)，文字变换部103进行数字声音信号的声音识别，由此，把声音变换为文字信息(S201)。切换器108选择来自加法器104的输出，进行从发送部107发送声音数据和文字数据的声音·文字通信(S202)。

当声音·文字通信(S202)的状态持续一定时间(例如1秒)时，控制部207进行通信出错率检验(S203)。在发送部107进行数据重发的次数超过预定次数的情况下以及在由接收部200接收的数据的纠错比例超过一定比例以上的情况下，控制部207判断通信出错率为「High」。

作为通信出错率检验(S203)的结果，如果通信出错率较低(S202：Low)，则继续进行声音·文字通信(S202)。当通信出错率较高时(S202：High)，切换器108选择来自文字变换部103的输出，进行发送部107发送文字数据的文字通信(S204)。当文字通信(S204)的状态持续一定时间(例如1秒)时，进行通信出错率检验(S205)。如果通信出错率较高(S205：High)，则继续进行文字通信(S204)。如果通信出错率较低(S205：Low)，则切换器108选择来自加法器104的输出，切换到声音·文字通信(S202)。

下面说明向用户通知声音通信与文字通信的切换的措施。当在声音·文字通信中通信出错率变为较高的状态(S203：Yes)时，从扬声器206发出向文字通信切换的声音(警告音或者表示切换的声音)。当在文字通信中通信出错率变为较低的状态(S205：No)时，如图4所示的那样，在显示部105上进行表示切换为声音通话的显示。通过这样进行通知，能够防止对用户的打搅。而且，在进行通知之后，可以在用户输入表示允许切换的情况下，进行切换。由此，能够防止违背用户意图而切换通信。

在本实施例中，进行控制以便于：在通信出错率较低的情况下，发送声音数据和文字数据，在通信出错率变高的情况下，切换为仅发送文字数据的文字通信。由于文字数据量比声音数据量小，即使在附加了较多的通过纠错编码而产生的纠错码数据的情况下，也由于原来的数据量较小，由纠错编码而产生的数据增加量较小。而且，即使在重复进行再发送处理的情况下，也由于数据量较小，则到达发送结束所花费的时间较短，所说的内容从通话者说话到通信对方听到为止的时间差较小。因此，即使在通信出错率高的状况下，也能保持通信。

而且，在通信出错率低的情况下，通过与声音数据一起来发送文字数据，即使在接收侧的通信终端不设置从声音变换为文字信息的变换部的情况下，接收者也能通过文字数据来确认通话内容。

而且，根据本实施例，能够一边进行声音通信，同时进行由文字所产生的通信。在噪声环境下，即使在难于听清通话对方的声音的情况下，也可以通过文字来识别对方所说的内容，因此，即便不移动到安静的场所中，也能一边确认通话对方所说的内容一边进行通话。

但是，本发明并不仅限于上述例子，也可以如图3所示的那样，在通信出错率低的情况下，进行声音通信(S211)，而在通信出错率变高的情况下，通过文字变换部103开始进行声音文字变换(S213)，从而进行文字通信。在此情况下，在图1所示的通信终端1中，向切换器108输入来自声音压缩部102的输出，并切换声音数据和文字数据。

此外，通过用户的选择，即使在不发送文字数据的情况下，也可以在通话开始的同时，由文字变换部103进行声音文字变换。由此，可以把通话内容作为文字信息，进行显示或存储。

而且，本发明并不仅限于存在通信出错率变高等通信状况的变化的情况，也可以在用户要求进行声音·文字通信的切换的情况下，控制部207进行控制以便于进行声音·文字通信的切换。例如，可以配合用户的需求来进行为了抑制通信费而仅进行文字通信等通信。而且，也可以在从对方终端接收到切换要求时，控制部207指示进行声音·文字通信的切换。由此，在接收侧的通信状况不佳的情况下，即使接收侧的终端没有设置声音·文字变换功能，通过在发送侧终端中切换为文字通信，也能够防止通信的中断。

而且，虽然在图1中没有表示，但是，也可以设置用于将接收部200接收的声音数据变换为文字数据的文字变换部。由此，即使发送侧的终端没有设置声音·文字变换功能，也能用文字显示通话内容或者将通话内容作为文字数据进行记录。而且，也可以设置将接收部200接收的文字数据变换为声音的声音变换部。由此，即使在仅接收到文字数据的情况下，也能够通过声音来确认内容。

在图5中表示了在显示部105上显示由记录部106和205记录的通话内容的画面的一例。在通话记录一览画面4中，显示了通话开始时间和通话对方的识别信息(通话对方的电话号码或者通话对方的姓名等)。当通过用户操作从通话记录一览画面4上所显示的一览中选择一个项目时，转移到通话记录内容画面5。在通话记录内容画面5中，显示记录部106和记录部205所读出的信息。由于文字信息与时间信息一起进行记录，从而能够结合从记录部106、205读出的文字信息来进行显示以重现会话内容。

由此，用户在通话过程中或者在通话结束后，可以阅览文字形式的通话内容。通过将通话内容作为文字来记录，能够以比在声音录音中所存储的数据量少的数据量来记录通话内容。而且，由于以文字形式进行了记录，即使在通话中或者通话结束后，也可以容易地进行通话内容的检索和复制等。而且，阅览所花费的时间由用户阅读文字的速度来决定，由于能够慢慢地读或者快速地读，所以内容把握变得容易。

而且，在图5所示的例子中，可以把通话的内容和听到的内容进行组合来显示，也可以把自己讲的内容和对方讲的内容分别进行显示。而且，也可以将记录部106和205设置为一体。而且，记录在记录部106和205中的数据并不仅限于文字数据，也可以记录声音数据和文字数据。

在图6中表示了声音数据和文字数据的记录形式的一个例子。文字数据7和声音数据8每隔一定时间(例如每隔一秒)被数字化。文字数据7是以声音数据8为根据所变换的数据。在文字数据7和声音数据8中分别放入共同的时间信息。这样，通过与声音数据一起记录文字数据，能够容易地进行声音数据的检索。而且，与声音数据和文字数据一起记录的信息并不仅限于时间信息，也可以是表示声音数据和文字数据的对应关系的记录位置信息。

下面使用图7来说明检索、重放记录在记录部106或205中的声音数据的方法。当重放声音数据时，用户输入关键词(S100)。通过关键词来进行文字数据7的检索(S101)。在找到关键词之前，重复进行检索(S101：NG)，当找到关键词时(S101：OK)，取出在找到的文字数据7中包含的时间信息9(S102)。接着，进行具有与提取出的时间信息9相同的时间信息9的声音数据的检索(S103)。当找到具有时间信息9的声音数据8时(S103：OK)，从所找到的声音数据8的位置开始进行重放(S104)。

如本实施例那样，通过进行把用户输入的文字串作为关键词的文字串检索，能够找到声音数据8的开头，从而能够容易地确认利用声音的通话内容。

而且，在图1所示的通信终端上进行声音通信和文字通信，但是，也可以追加在其上进行图像信息的发送接收。图8表示设有摄像机等拍摄部而能够进行图像信息的发送接收的通信系统的实施例。而且，对于与图1相同的构成部件，使用相同的标号，而省略其说明。

图像压缩部110对由摄像机109所拍摄的图像信号进行数据压缩。切换器108通过控制部207的控制，切换由图像压缩部110所压缩的图像信号、由声音压缩部102所压缩的声音信号、由文字变换部103进行文字变换后的文字数据，并进行输出。而且，虽然未图示，但切换器108包括加法器，能够根据通信状况或者用户选择来结合声音信息和图像信息、文字信息进行输出。

如图11所示的那样，当比较文字数据15的量和声音数据16的量、图像数据17的量时，一般地，文字信息量具有少于图像和声音信息量的特性。这样，与图像数据17和声音数据16的数据丢失的频率相比，文字数据15丢失的程度较低。因此，在通信出错率变高等通信状况恶化的情况下，通过从声音·图像通信切换为文字通信，能够保持通信。

由接收部200接收的信号被送给声音解码部201、文字解码部202、图像解码部208。送给图像解码部208的信号作为被解码的图像信号来输出。向加法器209输入来自文字解码部202的输出信号和来自图像解码部208的输出信号。在加法器209中，合成所输入的信号，并输出合成了文字信息和图像信号后的图像信号。

显示部105进行例如图9所示的显示。在图9的显示例子中，在下半部的文字显示部14a中显示由文字解码部202所解码的文字信息，在上半部的图像显示部13a中显示由图像解码部208所解码的图像信息。而且，在不能对图像信号进行解码的情况下，例如进行图10所示的显示。

而且，在本实施例中，能够与声音信号和图像信号一起把由声音变换为文字的数据记录到记录部106、205中。由此，能够把文字作为关键词来进行检索，从而能够容易地读出、重放包含会话和新闻发布等声音的活动图像。

图12是从通信终端1向通信终端2发送数据时的顺序图。首先，从通信终端1向通信终端2发送文字D1a和声音D1b和图像D1c的数据。通信终端2在正常接收完成(S1)的时刻，向通信终端1发送接收成功通知(S2)。而且，通信终端2进行用于通知接收的声音和图像数据的重放花费的时间经过情况的重放定时器设置(S3)。当通信终端1从通信终端2接收接收成功通知(S2)时，从发送侧通信终端10向接收侧通信终端11接着发送文字D2a和声音D2b和图像D2c的数据。在发送中发生失败时(S4)，在失败发生之后进行数据重发，并正常完成从通信终端1到通信终端2的接收(S5)。然后，从通信终端2向通信终端1发送接收成功通知(S6)，并进行重放定时器重设(S7)。由此，能够不中断地进行文字、声音、图像的发送。

接着，从通信终端1向通信终端2发送文字D3a和声音D3b和图像D3c的数据。当通信环境恶化时，数据发送难于进行，从而发送失败(S8)的频率变高。在文字D3a和声音D3b和图像D3c都到达通信终端1之前，出现重放定时器超时(S9)时，从通信终端2向通信终端1发送接收失败通知(S10)。此时，如果文字D3a的数据接收尚未完成，则请求重发文字D3a(S11)，发送侧通信终端10仅重发文字D3a(S12)。

重放定时器超时(S9)意味着：已经接收的声音D2b、图像D2c的重放结束，没有进行重放的数据。当连续进行图像和声音的重放时，必须一直存在进行重放的数据。即，意味着：在发生重放定时器超时(S9)的时刻，连续的实时声音和图像所产生的通信中断。但是，在进行文字通信时，即使在较长时间后才再次进行数据接收，也可以通过用户快速地阅读文字，而掩盖了暂时损失的时间，从而能够防止通信完全中断。

如上述那样，根据本实施例，即使在电波状态恶劣的环境中，通过并用利用文字的通信，在断续地出现不能进行图像和声音通信的时间，也能够通过发送接收文字形式的通话内容而使通信不会中断。而且，即使在周围的噪声下，通过使用文字通信，能够辅助进行通信。即，即使在通信状况恶化的情况下，也能进行信息的发送接收。

而且，由于能够通过文字信息来记录通话内容，因此，与原封不动地用声音来记录声音通话内容的情况相比，能够用较少的数据量进行保存。由于保存的数据是文字，从而容易进行检索和引用，并在保存大量的数据时，也易于活用。

Claims (7)

1.一种通信终端包括：

声音输入部，用于输入声音；

声音变换部，用于把通过上述声音输入部输入的声音变换为声音信号；

文字变换部，用于把通过上述声音变换部变换而成的声音信号变换为文字信号；

发送部，用于经过通信线路来发送上述声音信号和上述文字信号；

控制部，用于根据上述通信线路的状态来控制上述发送部发送上述声音信号或者上述文字信号。

2.根据权利要求1所述的通信终端，其中上述控制部在上述通信线路的出错率高于预定值时，控制上述发送部发送上述文字信号。

3.根据权利要求1所述的通信终端，其中上述通信终端还包括存储部，用于存储上述声音信号和上述文字信号。

4.根据权利要求3所述的通信终端，其中上述存储部存储与上述声音信号和上述文字信号在一起的时间信息。

5.根据权利要求4所述的通信终端，上述通信终端还包括用于输入文字的文字输入部，并根据与通过上述文字输入部输入的文字相对应的文字信号的时间信息，从上述存储部中读出声音信号。

6.一种通信终端，包括：

声音输入部，用于输入声音；

声音变换部，用于把通过上述声音输入部输入的声音变换为声音信号；

图像输入部，用于输入图像信号；

文字变换部，用于把上述声音信号变换为文字信号；

发送部，用于经过通信线路发送上述声音信号和上述文字信号以及上述图像信号；

控制部，用于根据上述通信线路的状态来控制上述发送部发送上述声音信号或者上述文字信号或者上述图像信号。

7.一种经过通信线路在第一通信终端与第二通信终端之间发送接收信号的通信系统，包括：

上述第一通信终端，具有：声音输入部，用于输入声音；声音变换部，用于把通过上述声音输入部所输入的声音变换为声音信号；文字变换部，用于把上述声音信号变换为文字信号；发送部，用于经过上述通信线路来发送上述声音信号和文字信号；控制部，用于根据上述通信线路的状态来控制上述发送部发送上述声音信号或者上述文字信号；

上述第二通信终端，具有：接收部，用于接收声音信号和文字信号；输出部，用于输出通过上述接收部接收的声音信号；显示部，用于显示通过上述接收部接收的文字信号。

Images