CN104468964A - 移动终端及其控制方法 - Google Patents

Abstract

一种移动终端及其控制方法，该移动终端包括：无线通信单元，该无线通信单元被配置为执行无线通信；麦克风，该麦克风被配置为接收输入话音；触摸屏；以及控制器，该控制器被配置为：接收所述触摸屏上的与所述输入话音相对应的书写触摸输入；在启用话音识别模式时识别所述输入话音；以及基于所识别的输入话音与所述书写输入的比较，在所述触摸屏上显示根据所识别的输入话音所提取的提取信息。

Description

移动终端及其控制方法

技术领域

本发明涉及用于在显示单元上显示经话音识别的字母的移动终端和控制该移动终端的方法。

背景技术

终端被广泛地分类成移动终端和固定终端。该移动终端还根据便携性分类成手持式终端和车载终端。

响应于针对多样化功能的增加需求，该终端操作为具有多种功能的多媒体播放器，如将拍摄对象拍摄为静止图像或运动图像、再现数字音频和视频压缩文件、玩游戏、接收广播等。

另外，该移动终端尝试识别电话交谈的内容或所生成的外部话音，并且按各种方式利用所识别的内容和所生成的话音。例如，可以通过执行语音至文本(SST)功能来创建消息，其中，电话交谈的内容或从外部生成的话音被转换成文本。

然而，对于用户来说，通过仅执行SST功能来输入电话交谈的内容或所生成的话音的全部内容花费长的时间。另外，用户难于容易地识别电话交谈的内容和所生成的话音的内容的任何一个的重要部分。

发明内容

因此，该详细描述的一方面是，提供一种用于在将通过麦克风输入的话音转换成文本时有效地利用书写输入部分的移动终端，和控制该移动终端的方法。

为实现这些和其它优点并且根据本说明书的目的，如在此具体实施和广泛描述的，提供了一种移动终端，该移动终端包括：输入话音的麦克风；显示单元，该显示单元被配置为，可用于书写输入的触摸，并且输出利用触摸来书写输入该话音输入的至少一部分；以及控制器，该控制器在启用了话音识别模式时，识别该话音输入，比较话音识别的内容与输出至该显示单元的书写输入，并且作为该比较的结果，控制该显示单元输出包括与话音识别的内容和该书写输入有关的信息的输入推荐信息。

在该移动终端中，在经话音识别的字母当中，该输入推荐信息可以包括以下信息中的至少一个或更多个：有关书写输入字母的位置信息、有关书写输入字母的校正信息、有关排除书写输入字母的剩余字母的信息、以及用于区分书写输入字母与除书写输入字母以外的剩余字母的标记信息。

在该移动终端中，该控制器可以将经话音识别的字母转换成采用句子单位的文本，并且可以使该转换结果在该显示单元的一个区域上弹出，由此，该转换的结果不与书写输入交叠，并且在选择弹出句子时，该控制器可以基于输入推荐信息，执行控制以使所选择句子的至少一部分被插入到输出该书写输入的区域中。

而且，当插入了所选择的句子的至少一部分时，该控制器可以利用所选择的句子中的字母替换输出至该显示单元的书写输入字母，并且可以控制该显示单元，以使替换字母与所选择的句子中的其它字母相区分。

另外，该控制器可以执行控制，以使该替换字母按与所选择句子中的其它字母不同的形状改变，或者向该替换字母输出加亮效果。

在该移动终端中，当确定用于书写输入的空间在该显示单元上不足时，或者当检测到向该显示单元施加沿第二方向的触摸输入时，该控制器可以控制该显示单元，以使通过调节已经输入字母的大小来确保备忘录空间。

在该移动终端中，当确定用于书写输入的空间在该显示单元上不足时，或者当检测到向该显示单元施加沿第二方向的触摸输入时，该控制器可以控制该显示单元，以使在输出翻页效果的同时显示新页面。

在该移动终端中，当该书写输入中包括图片图像时，响应于选择弹出句子，该控制器可以通过搜索存储器来检测形状上类似于该图片图像的表情符号，利用所检测的表情符号替换该图片图像，以及将所检测的表情符号显示至该显示单元。

该移动终端还可以包括用户输入单元，该用户输入单元被配置为接收控制命令作为输入，以执行两种模式中的任一种，即，根据是否将经话音识别的字母添加至书写输入而不同的第一画面模式和第二画面模式，其中该控制器可以执行控制，以使在第一画面模式中，仅与该话音输入的至少一部分相关联的书写输入被输出至该显示单元，而在第二画面模式中，与该话音输入的至少一部分相关联的书写输入和经话音识别的字母的至少一部分被添加至该该书写输入的画面被输出至该显示单元。

在该移动终端中，该用户输入单元可以被配置为，接收用于回放根据该话音输入的记录的控制命令，并且当在一画面对应于第一画面模式和第二画面模式中的任一个时输入用于回放该记录的控制命令时，该控制器可以控制该显示单元，以使根据回放所记录的话音的速度，滚动所输出的该画面。

在该移动终端中，当输出与第一画面模式和第二画面模式中的任一个相对应的画面时，当检测到将一预定触摸输入施加至输出的该画面时，该控制器可以进入编辑模式，并且可以将指示输入位置的指示符输出至检测到触摸输入的点。

在该移动终端中，在话音识别模式被改变至停用状态或者完成话音输入的记录时，该控制器可以控制该显示单元，以使可添加至该书写输入的字母的列表基于所生成的输入信息而被输出。

在该移动终端中，当检测到将第一触摸施加至该列表中的特定字母时，该控制器可以将该特定字母添加至该书写输入，而当检测到将第二触摸施加至所添加的特定字母时，该控制器可以将该特定字母设置在终止拖拽第二触摸的点处。

在该移动终端中，当在启用话音识别模式时选择自动输入功能时，该控制器可以将经话音识别的字母转换为采用恒定单位的文本，并且可以基于输入的推荐信息，将根据转换获得的文本实时添加至输出该书写输入的区域。

在该移动终端中，当在将与第一应用相对应的书写输入的画面输出至该显示单元时检测到第一控制命令时，该控制器可以执行控制，以使书写输入的画面被切换成与第二应用相对应的执行画面，并且将指示记录该话音输入在进行中的图形对象输出至该显示单元的一个区域。

在该移动终端中，当检测到将一预定类型的触摸输入施加至该图形对象时，该控制器可以将与第一应用相对应的书写输入的画面输出回至该显示单元，并且可以将在输出与第二应用相对应的执行画面时自动记录的与话音相对应的文本字母插入到输出书写输入的区域中。

在该移动终端中，当确定施加至该显示单元的书写输入的速度低于或高于话音的输入速度预定的范围时，该控制器可以执行控制，以使执行将经话音识别的字母转换成文本、并且将根据转换获得的文本实时添加至输出该书写输入的区域的自动输入功能。

该移动终端还可以包括用户输入单元，该用户输入单元被配置为接收用于执行与话音输入相关联的附加搜索的控制命令作为输入，其中，当输入了用于执行该附加搜索的控制命令时，该控制器可以分析话音输入，搜索主体的存储器，或者根据话音生成器针对和该话音输入相同的话音文本进行网络搜索，并且将根据该搜索获得的话音文件的列表输出至该显示单元。

在该移动终端中，响应于完成基于书写输入和输入推荐的信息的附加输入，该控制器可以生成至少一个话音备忘录文件，并且将与所生成的话音备忘录文件相对应的图标输出至该显示单元的一个区域。

在该移动终端中，响应于沿第一方向在与多个话音备忘录文件相对应的多个图标上拖拽施加至两个触摸开始点的触摸，该控制器可以组合所述多个图标，组合每一个都对应于该图标的所述多个话音备忘录文件，其呈现在所述多个图标之间，并且将指示组合话音备忘录文件的第一图标输出至该显示单元。

为实现这些和其它优点并且根据本说明书的目的，如在此具体实施和广泛描述的，提供了一种控制移动终端的方法，该方法包括以下步骤：通过设置在主体中的麦克风输入话音；针对该话音输入的至少一部分，输出与施加至主体的显示单元的触摸相对应的书写输入；在启用话音识别模式时识别该话音输入；以及比较经话音识别的内容与输出至该显示单元的书写输入，并且作为该比较的结果，输出包括与经话音识别的内容和该书写输入有关的信息的输入推荐信息。

在该方法中，在经话音识别的字母当中，该输入推荐信息可以包括以下信息中的至少一个或更多个：有关书写输入字母的位置信息、有关书写输入字母的校正信息、有关除书写输入字母以外的剩余字母的信息、以及用于区分书写输入字母与除书写输入字母以外的剩余字母的标记信息。

本申请进一步的可应用性范围根据下面给出的详细描述将变得更清楚。然而，应当明白，因为本领域技术人员根据该详细描述将明白本发明的精神和范围内的各种改变和修改，所以该详细描述和特定实施例虽然指示了本发明的优选实施方式，但仅通过例示给出。

附图说明

附图被包括进来以提供对本发明的进一步理解，并且被并入并构成本说明书的一部分，例示了实施方式并与说明书一起用于说明本发明的原理。

在图中：

图1是例示根据本发明的一个实施方式的移动终端的框图；

图2A和2B分别是从正面和背面观看时各自例示了根据本发明的一个实施方式的移动终端的立体图；

图3是例示根据本发明的一个实施方式的、在移动终端中将经话音识别的字母添加至书写输入的方法的流程图；

图4是例示图3中的流程图和显示添加字母的方法的图；

图5是例示根据本发明的一个实施方式的、在移动终端中处理不与经话音识别的字母相匹配的书写输入的方法的图；

图6是例示根据本发明的一个实施方式的、在移动终端中转换书写输入画面和可以添加经话音识别的字母的画面的方法的图；

图7A和7B是例示根据本发明的一个实施方式的、在移动终端中编辑添加了经话音识别的字母的书写输入的方法的图；

图8是例示根据本发明的一个实施方式的、在移动终端中将经话音识别的字母自动插入到书写输入中的方法的图；

图9是例示根据本发明的一个实施方式的、当在移动终端中执行多任务时将经话音识别的字母添加到书写输入中的方法的图；

图10是例示根据本发明的一个实施方式的、当在移动终端中基于书写输入的速度将经话音识别的字母添加至书写输入的方法的图；

图11A和11B是例示根据本发明的一个实施方式的、在移动终端中显示话音识别的多个可添加字母的列表的方法的图；

图12是例示根据本发明移动终端的一个实施方式的、在移动终端中搜索与话音备忘录文件相匹配的话音文件的方法的图；以及

图13是例示分类话音备忘录文件并且将分类的话音备忘录文件显示至显示单元的方法的图。

具体实施方式

下面，参照附图，对实施方式进行详细描述。为参照附图简要描述起见，相同或等同组件将设置有相同标号，并且将不重复其描述。用于下列描述中所公开的构成部件的后缀“模块”或“单元”仅仅旨在容易描述本说明书，并且该后缀本身未给出任何具体含义或功能。

本描述中的终端包括移动终端，如便携式电话、智能电话、笔记本计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、平板PC(slate PC)、平板PC(tablet PC)以及超级本(ultra book)。然而，除了针对移动的特定构造以外，本发明还可应用于诸如数字TV和台式计算机的固定终端。

图1是根据一个实施方式的移动终端100的框图。该移动终端100可以包括多个组件，如无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源190等。图1示出了具有各种组件的移动终端100，但实现全部所示组件不是必要条件。更多或更少的组件可以另选地实现。

下面，按顺序对每一个组件进行描述。

无线通信单元110可以典型地包括准许在移动终端100与无线通信系统之间或者允许在移动终端100与该移动终端100所位于的网络之间进行无线通信的一个或更多个模块。例如，无线通信单元110可以包括以下中的至少一个：广播接收模块111、移动通信模块112、无线因特网模块113、短距通信模块114、位置信息模块115等。

广播接收模块111经由广播信道从外部广播管理实体接收广播信号和/或广播关联信息。

该广播信道可以包括卫星信道和地面信道。该广播管理实体可以指示生成和发送广播信号和/或广播关联信息，或者接收预先生成的广播信号和/或广播关联信息并将它们发送给显示装置的服务器。该广播信号可以被实现为TV广播信号、无线电广播信号以及数据广播信号等。该广播信号还可以包括与TV或无线电广播信号相组合的数据广播信号。

广播关联信息的示例可以包括与广播频道、广播节目、广播服务提供方等相关联的信息。该广播关联信息可以经由移动通信网络来提供，并且通过移动通信模块112来接收。

该广播关联信息可以按各种格式来实现。例如，广播关联信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持式数字视频广播(DVB-H)的电子服务指南(ESG)等。

广播接收模块111可以被配置为，接收从各类广播系统发送的数字广播信号。这种广播系统可以包括：地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、仅媒体前向链路(MediaFLO)、手持式数字视频广播(DVB-H)、地面数字广播综合业务(ISDB-T)等。广播接收模块111可以被配置为，适于发送广播信号的每一种广播系统和数字广播系统。经由广播接收模块111接收到的广播信号和/或广播关联信息可以存储在合适的装置(如存储器160)中。

移动通信模块112在移动通信网络上向/从网络实体(例如，基站、外部显示装置、服务器等)中的至少一个发送/接收无线信号。而且，该无线信号可以包括：音频呼叫信号、视频(电话)呼叫信号或者根据发送/接收的文本/多媒体消息的各种格式的数据。

该移动通信模块112可以实现视频呼叫模式和话音呼叫模式。该视频呼叫模式指示在注视呼叫方的图像的同时进行呼叫。该话音呼叫模式指示呼叫某人而不注视该人的图像。该无线通信模块112可以发送和接收话音和图像中的至少一个，以便实现视频呼叫模式和话音呼叫模式。

无线因特网模块113支持针对显示装置的无线因特网接入。这个模块可以内部或外部地接合至移动终端100。这种无线因特网接入的示例可以包括：无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、微波接入全球互通(Wimax)、高速下行分组接入(HSDPA)等。

短距通信模块114指示用于短距通信的模块。用于实现这种模块的合适技术可以包括：BLUETOOTH^TM、射频识别(RFID)、红外数据关联(IrDA)、超宽带(UWB)、ZigBee^TM、近场通信(NFC)等。

位置信息模块115指示用于检测或计算显示装置的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块。

仍参照图1，该A/V输入单元120被配置为向显示装置提供音频或视频信号输入。A/V输入单元120可以包括相机121和麦克风122。相机121接收并处理在视频呼叫模式或拍摄模式下通过图像传感器获取的静止图片或视频的图像帧。经处理的图像帧可以显示在显示单元151上。

通过相机121处理的图像帧可以存储在存储器160中，或者经由无线通信单元110发送至外部。而且，用户的位置信息等可以根据由相机121获取的图像帧来计算。根据显示装置的配置可以设置两个或更多个相机121。

麦克风122可以在该显示装置处于特定模式(如电话呼叫模式、记录模式、话音识别模式等)时接收外部音频信号。该音频信号被处理成数字数据。所处理数字数据可以被输出转换成在电话呼叫模式的情况下可经由移动通信模块112发送至移动通信基站的格式。麦克风122可以包括分类噪声去除算法，以去除在接收外部音频信号期间生成的噪声。

用户输入单元130可以生成由用户输入的输入数据，以控制显示装置的操作。用户输入单元130可以包括：小键盘、圆顶状开关(dome switch)、触摸板(例如，静压式/电容式)、推轮、推动开关等。

感测单元140提供显示装置的各种方面的状态测量。例如，感测单元140可以检测显示装置的开启/闭合状态、移动终端100的位置变化、存在或不存在用户与移动终端100的联系、移动终端100的位置、移动终端100的加速度/减速度等，以生成用于控制移动装置100的操作的感测信号。

例如，有关滑动型显示装置，感测单元140可以感测显示装置的滑动部分是开启还是闭合。其它示例包括感测功能，如感测单元140感测由电源190提供的电力是否存在，是否存在接口单元170与外部装置之间的耦接或其它连接。

输出单元150被配置为输出音频信号、视频信号或触觉信号。输出单元150可以包括：显示单元151、立体显示单元152、音频输出模块153、告警单元154以及触觉模块155。

显示单元151可以输出在移动终端100中处理的信息。例如，如果显示装置正在按电话呼叫模式操作，则显示单元151将提供用户接口(UI)或图形用户接口(GUI)，其包括与该呼叫相关联的信息。作为另一实施例，如果显示装置处于视频呼叫模式或拍摄模式下，则显示单元151可以附加地或者另选地显示所拍摄和/或接收的图像、UI或GUI。

显示单元151例如可以利用液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器、三维(3D)显示器以及电子墨水显示器中的至少一种来实现。

这种显示器151中的一些可以被实现为可透过其看见外部的透明型或透光型，其被称为“透明显示器”。透明显示器的代表例可以包括透明OLED(TOLED)等。显示单元151的后表面部分还可以被实现成为光学上透明的。在这种构造下，用户可以透过被终端主体的显示单元151所占用的区域看到位于该终端主体的后侧的物体。

显示单元151可以根据移动终端100的配置方面在数量上按两个或更多个来实现。例如，可以将多个显示单元151设置在要彼此分离或集成的一个表面上，或者可以设置在不同表面上。

显示单元151还可以被实现为用于显示立体图像的立体显示单元152。而且，该立体图像可以是三维(3D)立体图像，而且该3D立体图像是指使观看者感觉监视器或屏幕上的对象的逐渐深度和逼真度和现实空间相同的图像的图像。

更详细地说，3D立体图像通过利用双目视差来实现。双目视差指由双眼位置造成的视差。当双眼观看不同的2D图像时，该图像通过视网膜传递至大脑，并且在大脑中组合，以提供对深度和真实感觉的察觉。

该立体显示单元152可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投射方案(全息方案)等这样的立体显示方案。常用于家庭电视接收器等的立体方案包括Wheatstone立体方案等。

自动立体方案例如包括：视差屏障方案、双凸透镜方案、综合成像方案等。投影方法包括反射全息方案、透射全息方案等。

一般来说，3D立体图像包括左图(左眼图像)和右图(右眼图像)。根据怎样将左图和右图组合成3D立体图像，该3D立体成像方法被划分成其中将左图和右图设置在一帧中的上侧和下侧的上下设置方法，其中将左图和右图设置在一帧中的L至R(左侧至右侧，并排)设置方法，其中按平铺显示形式设置左图和右图的片段的棋盘法，其中按列和行交替设置左图和右图的交错法，以及其中按时间帧交替显示左图和右图的时间顺序(或逐帧)方法。

而且，至于3D缩略图图像，左缩略图和右缩略图分别根据原始图像帧的左图和右图生成，并接着组合，以生成单一的3D缩略图图像。一般来说，缩略图指缩减图或缩减的静止视频。由此生成的左缩略图和右缩略图按和左图与右图之间的视差相对应的深度，随着其间的水平距离差显示在屏幕上，提供一种立体空间感觉。

如所示，为实现3D立体图像所需的左图和右图通过立体处理单元(未示出)显示在立体显示单元152上。该立体处理单元可以接收3D图像并提取左图和右图，或者可以接收2D图像，并将其改变成左图和右图。

而且，如果显示单元151和触敏传感器(称为触摸传感器)其间具有层状结构(称为“触摸屏”)，则显示单元151可以被用作输入装置和输出装置。该触摸传感器可以被实现为触摸膜、触摸片、触摸板等。

该触摸传感器305可以被配置为，将施加至显示单元151的特定部分的压力变化、或者从显示单元151的特定部分产生的电容变化转换成电输入信号。而且，该触摸传感器可以被配置为，不仅感测触摸位置和触摸区域，而且感测触摸压力。而且，触摸物体是将触摸输入施加到触摸传感器上的物体。该触摸物体的示例可以包括手指、触笔、针笔、点击装置等。

当触摸输入被触摸传感器感测到时，将对应信号发送至触摸控制器。该触摸控制器处理所接收的信号，并接着将对应的数据发送至控制器180。因此，控制器180可以感测触摸了显示单元151的哪一个区域。

仍参照图1，接近传感器141可以设置在移动终端100被触摸屏覆盖的内部区域处、或者靠近触摸屏。接近传感器141可以被设置为感测单元140的一个示例。接近传感器141指示用于在没有机械接触的情况下，利用电磁场或红外线来感测存在或不存在接近要感测表面的物体、或者靠近要感测表面设置的物体的传感器。与接触传感器相比，接近传感器141具有更长的使用期限和更增强的实用性。

接近传感器141可以包括：透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等。当触摸屏被实现为电容型时，根据电磁场的变化来感测点击装置与触摸屏的接近度。在这种情况下，触摸屏(触摸传感器)可以被分类成接近传感器。

下面，为简要说明起见，在不接触的情况下将点击装置定位成在触摸屏上接近的状况被称为“接近式触摸”，而点击装置大致与触摸屏相接触的状况被称为“接触式触摸”。对于与点击装置在触摸屏上的接近触摸相对应的位置来说，这种位置对应于其中在点击装置接近触摸时该点击装置与触摸屏垂直面对的位置。

接近传感器141感测接近触摸，和接近触摸模式(例如，距离、方向、速度、时间、位置、移动状况等)。与所感测接近触摸和所感测接近触摸图案有关的信息可以输出到触摸屏上。

当触摸传感器按分层方式覆盖在立体显示单元152上时(下面称为“立体触摸屏”)，或者当立体显示单元152和感测触摸操作的3D传感器组合时，立体显示单元152还可以被用作3D入装置。

作为3D传感器的示例，感测单元140可以包括接近传感器141、立体触摸感测单元142、超声感测单元143以及相机感测单元144。

接近传感器141在不需要机械接触和检测表面的情况下，通过利用电磁力或红外线来检测施加触摸的感测物体(例如，用户手指或针笔)之间的距离。利用该距离，该终端识别触摸了立体图像的哪部分。具体来说，当触摸屏是静电触摸屏时，基于根据感测物体的接近度的电场变化来检测到感测物体的接近程度，并且利用该接近程度来识别针对3D图像的触摸。

该立体触摸感测单元142被配置为检测施加至触摸屏的触摸的强度或持续时间。例如，该立体触摸感测单元142可以感测触摸压力。当压力较强时，其可以将该触摸识别为针对朝着该终端内部远离触摸屏定位的物体的触摸。

超声感测单元143被配置为，利用超声波来识别感测物体的位置信息。

该超声感测单元143例如可以包括一光学传感器和多个超声传感器。该光学传感器被配置为感测光，而该超声传感器可以被配置为感测超声波。因为光远比超声波快，所以光抵达光学传感器的时间比超声波抵达超声传感器的时间更短。因此，波发生源的位置可以基于作为参照信号的光，利用超声波抵达时间的时间差来计算。

相机感测单元144包括以下中的至少一个：相机121、光电传感器以及激光传感器。例如，相机121和激光传感器可以组合以检测感测物体针对3D立体图像的触摸。当通过激光传感器检测的距离信息被添加至通过相机拍摄的2D图像时，可以获取3D信息。

在另一个实施例中，光电传感器可以层叠在显示装置上。该光电传感器被配置为，扫描与触摸屏接近的感测物体的移动。更详细地说，光电传感器包括按行和列的光电二极管和晶体管，以利用根据所施加的光的量改变的电信号来扫描安装在光电传感器上的内容。即，光电传感器根据光的变化计算感测物体的坐标，由此获取感测物体的位置信息。

音频输出模块153可以按呼叫信号接收模式、呼叫模式、录制模式、话音识别模式、广播接收模式等，将从无线通信单元110接收的或者存储在存储器160中的音频数据进行转换并输出。而且，音频输出模块153可以提供与由移动终端100执行的特定功能有关的可听输出(例如，呼叫信号接收声音、消息接收声音等)。该音频输出模块153可以包括：扬声器、蜂鸣器等。

告警单元154输出用于通知有关移动终端100所发生的事件的信号。在显示装置中生成的事件可以包括：呼叫信号接收、消息接收、键信号输入、触摸输入等。除了视频或音频信号以外，告警单元154可以按不同方式输出信号，例如，利用振动来通知有关一事件的发生。该视频或音频信号还可以经由音频输出模块153输出，由此，显示单元151或音频输出模块153可以被分类为告警单元154的一部分。

触觉模块155生成用户可以感受的各种触觉效果。通过触觉模块155生成的触觉效果的典型例是振动。触觉模块155的强度和模式可以控制。例如，不同的振动可以组合输出或者顺序地输出。

除了振动以外，触觉模块155还可以生成各种其它触觉效果，如刺激效果(如针对接触皮肤垂直移动的针脚排布结构、空气通过喷射口和吸入口的喷射力和吸取力、皮肤上的接触、电极接触、静电力等)，通过利用可以吸热或发热的部件来再现冷热感觉的效果。

触觉模块155可以被实现成允许用户通过诸如用户手指或手臂的肌肉感觉来感受触觉效果，并且通过直接接触来传递触觉效果。根据移动终端100的构造可以设置两个或更多个触觉模块155。

存储器160可以存储被用于由控制器180执行的处理和控制操作的软件程序，或者可以临时存储输入或输出的数据(例如，电话本、消息、静止图像、视频等)。另外，存储器160可以存储与在向触摸屏输入触摸时所输出的振动和音频信号的各种模式有关的数据。

存储器160可以包括至少一个类型的存储介质，包括：闪速存储器、硬盘、微型多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘以及光盘。而且，移动终端100可以与因特网上的、执行存储器160的存储功能的网络存储装置有关地操作。

接口单元170用作与连接至移动终端100的每一个外部装置的接口。例如，该外部装置可以向一外部装置发送数据，接收并向移动终端100的每一个部件传送电力，或者向一外部装置发送移动终端100的内部数据。例如，接口单元170可以包括：有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。

该识别模块可以是存储用于认证使用移动终端100的授权的各种信息的芯片，并且可以包括：用户识别模块(user identity module)(UIM)、订户识别模块(subscriberidentity module)(SIM)、通用用户识别模块(USIM)等。另外，具有识别模块的装置(下面，称为“识别装置”)可以采取智能卡的形式。因此，该识别装置可以经由接口单元170与终端100连接。

当移动终端100与外部托架连接时，接口单元170可以用作允许电力穿过那里从托架提供给移动终端100的通道，或者可以用作允许用户所输入的各种命令信号穿过那里从托架传递至显示装置的通道。从托架输入的各种命令信号或电力可以操作为用于识别已经将显示装置适当地安装在托架上的信号。

控制器180典型地控制显示装置的一般操作。例如，控制器180执行与话音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以设置在控制器180内，或者可以被配置为与控制器180分离。

控制器180可以执行用于将在触摸屏上执行的手写输入和图片绘制输入分别识别为字符或图像的图案识别处理。

而且，控制器180可以在显示装置的状态满足一预置条件时，执行锁定状态，以限制用户输入针对应用的控制命令。而且，控制器180可以基于在显示装置的锁定状态下的显示单元151上感测的触摸输入，来控制按锁定状态显示的锁定画面。

电源单元190在控制器180的控制下，接收外部电力或内部电力并且提供为操作相应部件和组件所需的合适的电力。

本文描述的各种实施方式可以例如利用软件、硬件或其任何组合在计算机可读介质或其类似介质中实现。

对于硬件实现来说，本文描述的实施方式可以利用以下中的至少一个来实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及为执行本文描述的功能而设计的电子单元。在某些情况下，这种实施方式可以通过控制器180本身来实现。

对于一软件实现来说，诸如本文描述的过程或功能的实施方式可以通过分离软件模块来实现。每一个软件模块都可以执行本文描述的一个或更多个功能或操作。

软件代码可以通过按任何合适编程语言编写的软件应用来实现。该软件代码可以存储在存储器160中，并且通过控制器180来执行。

下面，将对根据本发明一实施方式的、图1的移动终端的结构进行说明。

图2A是根据本发明一实施方式的移动终端的前立体图，而图2B是根据本发明一实施方式的移动终端的后立体图。

根据本发明一实施方式的移动终端100是直板型移动终端。然而，本发明不限于此，而是可以应用至其中两个或更多个主体彼此耦接以执行相对运动的滑动型、折叠型，或旋启型、旋转型等。

移动终端100的主体具有前表面、侧表面以及后表面。该主体具有沿长度方向的两个端部。形成主体100的外观的外壳(壳体、外罩、盖子等)可以包括前壳101和后壳102。由前壳101和后壳102形成的空间在此可以容纳各种组件。还可以在前壳101与后壳102之间设置至少一个中间壳。

这种壳体可以通过注射成型合成树脂来形成，或者可以利用诸如不锈钢(STS)或钛(Ti)的金属材料来形成。在前壳101处，可以设置显示单元151、音频输出单元152、相机121、用户输入单元130/131和132、麦克风122、接口单元170等。

显示单元151占用前壳101的主表面的大部分。音频输出单元152和相机121被设置在与立体显示器151的一个端部相邻的区域处，而用户输入单元131和麦克风122被设置在与显示器151的另一端部相邻的区域处。用户输入单元131、接口单元170等可以设置在前壳101和后壳102的侧表面上。麦克风122设置在主体100的另一端部处。

用户输入单元130被操纵以接收用于控制移动终端100的操作的命令，并且可以包括多个操纵单元131和132。该操作单元可以被称为操纵部，并且可以包括可以按用户的触觉方式操纵的任何类型的操纵单元。

通过第一用户输入单元131或第二用户输入单元132输入的内容可以不同地设置。例如，第一操纵单元131被配置为，输入诸如START、END、SCROLL等的命令，而第二操纵单元132被配置为，输入用于控制从音频输出单元152输出的声音的水平的命令，或者用于将显示器151的当前模式转换成触摸识别模式的命令。

参照图2B，音频输出单元152'可以附加地设置在后壳102处。该音频输出单元152'可以与音频输出单元152(参照图2A)一起实现立体声功能，并且可以被用于按扬声器电话模式呼叫。

用于向移动终端100供电的电源单元190被安装至主体。电源单元190可以安装在主体中，或者可以以可分离方式安装至主体。

用于感测触摸的触摸板135可以附加地安装至后壳102。像显示器151一样，触摸板135可以形成为透光型。在这种情况下，如果显示器151被配置为从其两个表面输出可视信息，则该可视信息可以通过触摸板135来识别。从两个表面输出的信息可以通过触摸板135来控制。另选的是，可以将一显示器附加地安装至触摸板135，以使触摸屏可以设置在后壳102处。

可以将相机121'附加地设置在后壳102上。该相机121'面对与相机模块121(参照图2A)所面对的方向相反的方向，并且可以具有与相机121不同的像素。

例如，相机121可以以相对更低的像素(低分辨率)操作。由此，相机121可以在用户可以在视频呼叫等期间拍摄他的面部并将其发送至另一方时有用。另外，相机121'可以以相对较高的像素(更高分辨率)操作，以使其可以有用于用户获取更高质量图片以供以后使用。相机121和121'可以按旋转或弹出的方式安装在主体100处。

闪光灯123和镜子124可以附加地与相机121'相邻地设置。闪光灯123在利用相机121'拍摄图片时结合相机121'操作。镜子124可以与相机121'协作，以允许用户按自画像模式拍摄自身。

可以将音频输出单元252'附加地设置在主体的后表面上。音频输出单元252'(参照图2A)可以与音频输出单元252(参照图2A)协作，以实现立体声功能。而且，音频输出单元可以被配置为作为扬声器进行操作。

用于向移动终端100供电的电源单元190被安装至主体。电源单元190可以安装在主体中，或者可以以可分离方式安装至主体。

触摸板135与前壳101的显示器151相关联地操作。可以将触摸板并行设置在显示器151的后表面上。触摸板135可以具有等于或小于显示器151的尺寸的尺寸。

根据本发明的一个实施方式的移动终端被配置为，使得在输入预定话音的同时可以向显示单元书写输入。另外，在启用话音识别模式时，控制器识别通过麦克风输入的话音，并且从话音识别的字母中提取与向显示单元输出的书写输入相匹配的字母。接着，基于所提取的字母，按恒定单位生成与要添加至向显示单元输出的书写输入的剩余字母有关的输入推荐信息，并且输出至显示单元。

另外，在本发明的一个实施方式中，短语“提取匹配字母”意指“记住匹配字母”，或者“区分匹配字母与其它字母”。另外，短语“要添加至书写输入的剩余字母”意指“当从经话音识别的字母排除了书写输入字母时剩余的字母”。另外，“与剩余字母有关的输入信息”意指“为完成一个句子必需的信息”。

下面，参照附图，对基于用户的书写输入向显示单元输出话音识别的字母的方法进行详细描述。具体来说，图3是例示了根据本发明的一个实施方式的、在移动终端中将经话音识别的字母添加至书写输入的方法的流程图。而且，图4的(a)至图4的(d)是例示图3的流程图和针对向显示单元输出所添加的字母的方法的图。

参照图3，首先，通过麦克风122输入预定话音(S301)。而且，该预定话音是在话音电话呼叫期间另一方的话音、通过移动终端100的音频输出单元153输出的话音、或者从外部生成的话音。另外，该预定话音包括同时输入的多个人的话音。

在按这种方式输入话音时，用户可以在显示单元151上写入话音输入的至少一部分。即，在输入话音时，用户的书写输入被输出至显示单元151(S302)。而且，该书写输入允许用户在显示单元151上记录与输入的话音的至少一部分有关的项目，以记忆该话音的内容。该书写输入包括文本、图像，或两者的组合。即，该书写输入包括：字母、数字、符号、图片、图像等。

另外，该书写输入随着利用诸如用户手指、针笔等的工具的触摸来执行。而且，该书写输入被输入至并输出至显示单元151中的任意区域。例如，与话音相对应的书写被输入到并输出至与备忘录功能应用相对应的记事簿。如果与执行备忘录功能应用相对应的画面信息被输出至显示单元151，则显示用于执行语音至文本(STT)功能的图标。另外，例如，与话音相对应的书写可以输入到并输出至空闲画面以及限制针对一应用输入控制命令的锁定画面。

在这种情况下，控制器180识别输出至显示单元151的书写输入字母。具体来说，如果针对显示单元151的触摸(或书写)具有独特图案，则控制器180标识该独特图案并由此识别书写输入字母。例如，为了识别字母，在沿一个方向绘制触摸轨迹(例如，沿向上方向绘制的直线和沿向上方向连接的直线)时、在触摸轨迹沿预定方向发生变化(例如，顺时针圆形轨迹)时、以及在绘制预定形状或者绘制预定直线或环线或它们的组合)时当中，控制器180确定用户在向显示单元151施加输入时使用哪种情况。

另外，在通过麦克风122输入话音的同时，控制器180检测启用话音识别模式(S303)。即，控制器180确定是否启用语音至文本功能。

而且，启用话音识别模式通过输入预定键来进行。例如，语音至文本功能在用户下推设置在移动终端100中的特定键时或者在用户触摸显示在显示单元151上的软键时启用，或者随着对应菜单的操作、话音命令、从外部接收的预定的无线信号、或者预定姿势输入而启用。

例如，如图4的(a)所示，当将备忘录功能应用的执行画面输出至显示单元151时，在显示单元的至少一个区域(例如，上菜单区域)上，显示用于启用语音至文本功能的图标400。当用户在图标400上短触摸或长触摸时，启用语音至文本功能。如果按这种方式启用语音至文本功能，则图标400的形状(例如，颜色、外观、尺寸以及透明度)改变，并由此随着启用而外部地识别语音至文本功能。另外，当在启用语音至文本功能时再次短触摸或长触摸图标400时，终止话音识别模式的启用状态。

另外，如果满足预定条件，则自动执行话音识别模式的启用。该预定条件例如包括在输出备忘录功能应用的执行画面时将预定的话音信号输入到麦克风122中的条件。另外，该预定条件例如包括通过麦克风122输入的话音处于指定音量级或以上。在这种情况下，当该话音未输入达预定时间时，控制器180终止话音识别模式的启用状态，或者临时中断话音识别模式。

另外，话音识别模式在执行上述话音输入步骤S301和书写输入步骤S302之前可以处于启用状态，而在同时执行话音输入步骤S301时或者在同时执行书写输入步骤S302时被启用。

当按这种方式启用话音识别模式时，控制器180利用话音识别算法识别通过麦克风122输入的话音。而且，按恒定单位执行话音识别处理。例如，该话音识别按单词、音节或句子单位来执行。当该话音输入被中断达预定时间时，将话音识别处理设置成立即执行。接着，将按这种方式话音识别的字母转换成文本，并且显示在显示单元151的一个区域上。

另外，可以将话音识别处理设置成针对所有输入话音执行，并且被配置为仅针对超出预定值的话音部分地执行。在这种情况下，“话音识别功能”针对低识别率的字母执行，以便使用户在稍后时间收听该记录。

另外，在话音识别处理中，当用户的发音不清晰并由此不正确地话音识别该话音输入的一部分时，控制器180基于书写输入字母或者询问是否校正经话音识别的字母，来校正经话音识别的字母。当基于书写输入字母时，按这种方式执行语音至文本功能，同样得到了改进字母识别率的效果。

接着，控制器180比较经话音识别的内容与书写输入。具体来说，控制器180从经话音识别的字母中提取与向显示单元151输出的书写输入相匹配的字母。而且，响应于输入的话音，实时地执行识别话音的处理和针对书写输入进行匹配的处理。

即，在执行话音识别时，实时输入新的话音，并且连续执行用户的书写输入。因此，根据本发明的实施方式，该话音识别处理和匹配处理以恒定的单位执行(例如，音节、单词或句子单位)。

作为按这种方式比较经话音识别的内容与书写输入的结果，将信息输出至显示单元(S304)。即，作为按这种方式比较话音识别内容与书写输入的结果，将包括与经话音识别的内容和书写输入有关的信息的输入推荐信息输出至显示单元151。具体来说，当从话音识别的字母中提取匹配至书写输入的字母时，控制器180基于所提取的字母，以恒定的单位生成与要添加至书写输入的剩余字母有关的输入推荐信息。

而且，在话音识别的字母当中，该输入推荐信息包括以下信息中的至少一个或更多个：有关书写输入字母的位置信息、有关书写输入字母的校正信息、有关排除书写输入字母的剩余字母的信息、以及用于区分书写输入字母与排除书写输入字母的剩余字母的标记信息。

另外，有关书写输入字母的校正信息包括关于与经话音识别的字母相匹配的书写输入的至少一部分中是否存在印刷错误、字距错误以及输入次序错误的信息、以及有关这些错误的校正信息。

而且，控制器180以诸如句子单位这样的恒定单位将经话音识别的字母转换成文本。另外，控制器180使根据转换获得的文本在显示单元151的一个区域上弹出，由此，该文本不与书写输入交叠。

例如，参照图4的(b)和图4的(c)，当输出备忘录功能应用的执行画面时，随着用户在收听从外部生成的话音的同时利用针笔执行对显示单元151的书写，沿着触摸的轨迹将“today hot”和“tomorrow rain”连续输出至显示单元151。与其一起，以恒定单位(例如，逗号“，”，单位或句子“。”)来话音识别收听的话音，并且转换成文本。

例如，当“It's hot today”是通过麦克风122输入的话音时，将经话音识别的“It's hottoday”转换成文本，根据转换获得的文本410“It's hot today”在显示单元151的一个区域上弹出。另外，当将“but it will rain tomorrow in Seoul”话音输入到麦克风122中时，经话音识别的“but it will rain tomorrow in Seoul”被转换成文本，根据转换获得的文本“but it will rain tomorrow in Seoul”被实时添加至弹出文本410并显示。

而且，在与输出书写输入的区域不同的区域上显示弹出窗口410和420，因此不妨碍用户的书写输入。在一个实施例中，当选择在显示单元151的一个区域上弹出的句子时，该控制器180可以基于所生成的输入信息，将所选择的句子的至少一部分插入到输出该书写输入的区域中。

而且，选择弹出句子通过施加至设置在主体中的特定键的触摸输入，或者通过预定的触摸输入(如施加至显示一句子的区域的短触摸输入、长触摸输入或预定方向轻击触摸输入)来执行。

另外，在一个实施例中，如果将所选择句子的至少一部分插入到显示单元151中，则控制器180可以利用所选择句子中的字母替换输出至该显示单元151的书写输入字母。另外，控制器180控制该显示单元151，以使替换字母与所选择的句子中的其它字母相区分。

要做到这一点，控制器180执行控制，以使替换字母按与所选择句子中的其它字母的形状不同的形状改变(例如，改变文本尺寸或颜色)或者在替换字母上输出加亮效果(例如，闪烁效果或透明度调节效果)。

例如，参照图4的(c)和图4的(d)，当用户在显示文本420的区域上执行触摸输入时，将对应文本420插入到输出书写输入的位置或区域中。而且，如图4的(d)所示，将用户创建的“today hot tomorror rain”替换为文本420中的字母，从而校正并显示由用户创建的书写输入中的错误“tomorror”或未清晰地话音识别的字母。

而且，对应于书写输入的字母“hot today rain tomorrow”按粗体类型显示，因而它们与其它字母“It's but it will in Seoul.”可视地区分。将强调效果施加至由用户输入的关键字字母，因此可以一眼就识别出该关键字字母。

基于由控制器180生成的输入推荐信息中(即，在经话音识别的字母当中)的有关书写输入字母的位置信息、有关书写输入字母的校正信息、以及有关排除书写输入字母的剩余字母的信息，将话音识别的剩余字母添加至保持显示的已输出书写输入可以完成一个句子。

另外，如果该输入信息中包括有关书写输入字母的字体、尺寸以及间距的信息，则将剩余字母以与书写输入字母的字体、尺寸以及间距类似的字体、尺寸以及间距输出。而且，书写输入中施加书写的次序或书写输入中的错误基于弹出文本被改变或校正。

另外，在一个实施例中，当在显示单元151的一个区域上弹出的句子(或文本)未被选择达预定的时间(例如，2秒)时，控制器180可以弹出当该对应的句子从显示单元151消失或保持时被话音识别的下一句子。而且，未被选择的句子被存储在存储器160中，并且根据预定的控制命令被逐一推荐或者输出至显示单元151。

另外，用户的书写输入和经话音识别的字母的插入被重复，并由此，发生用于书写输入的空间或者用于插入经话音识别的字母的空间在显示单元151上不足的情况。例如，如果显示单元151的输出字母的区域超出预定比率，或者如果不输出字母的区域处于参考值或更低，则控制器180确定用于书写输入的空间不足。

作为一个实施例，如果确定用于书写输入的空间不足，或者如果检测到沿第一方向(例如，沿从施加书写输入的区域内向外的方向)的触摸输入，则控制器180可以调节已输出字母的尺寸，以保证备忘录空间。

作为另一实施例，当确定用于书写输入的空间在该显示单元151上不足时，或者当检测到向该显示单元151施加沿第二方向的触摸输入(例如，从右(左)向左(右)的轻击触摸输入)时，控制器180可以在输出翻页效果的同时在显示单元151上显示新备忘录页面。

当按这种方式保证用于书写输入的空间时，重复执行上述步骤，即，书写输入和输出话音输入的步骤(S302)和将经话音识别的字母附加地插入到书写输入中的步骤(S304)。

如上所述，根据本发明的实施方式，用户不正确地书写电话交谈的内容或外部生成的话音内容的一部分通过执行语音至文本功能而被自动地补偿，以完成一句子，并且这向用户提供了便利环境。

下面描述了这样的方法，其中，如果书写输入字母包括不与经话音识别的字母相匹配的文本或图像，则输出经话音识别的字母。更详细地说，图5包括例示了根据本发明的一个实施方式的、在移动终端中处理不与经话音识别的字母相匹配的书写输入的方法的图。

在根据本发明一实施方式的移动终端100中，当在启用语音至文本功能时通过麦克风122输入预定的话音时，将与该话音相关联的输入(其根据用户向显示单元151施加书写而获得)输出至显示单元151。

控制器180识别该话音输入，将结果转换成文本，并且使该文本在显示单元151上弹出。接着，当检测到用于添加根据转换所获得的文本的选择信号时，考虑到书写输入将该文本设置成输出。为此，控制器180匹配书写输入字母与经话音识别的字母，并且从经话音识别的字母中提取与书写输入相对应的字母。

另外，如果书写输入是与通过麦克风122输入的话音内容相关联的一串字母或图像，但不与经话音识别的字母相匹配，则执行后续的处理。作为一个实施例，控制器180可以在输出时保持不与经话音识别的字母相匹配的书写输入字母。

而且，根据与经话音识别的字母相匹配的在前面的字母和随后的字母所输出至的位置，确定输出对应字母的位置。作为另一实施例，控制器180可以利用已经向终端登记的图像来替换不与经话音识别的字母相匹配的书写输入字母和图像。

而且，根据替换图像在形状上类似的程度或针对对应字母的书写图案来选择替换图像。具体来说，如果一图片图像包括在输出至显示单元151的书写输入中，则响应于对显示单元151上所弹出的经话音识别的句子的选择，控制器180通过搜索存储器160或者网络搜索来检测形状上类似于该图片图像的表情符号(emoticon)，并且利用所检测的表情符号来替换该图片图像。

例如，在图5的(a)中，用户沿一个方向(即，沿向上的方向)向因显示单元151上的书写输入空间不足而没有施加书写输入的区域施加轻击触摸输入，书写输入字母510调节尺寸，并且输出至显示单元151(510")。如果按这种方式保证用于书写输入的空间，则如图5的(b)所示，用户添加与输入话音“In New York,it will veryvery sunny”相关联的书写输入501。

经话音识别的句子520“In New York,it will very very sunny”在显示单元151的一个区域上弹出，因此经话音识别的句子520在输入话音时不与用户的书写输入交叠。而且，根据话音输入被中断的程度和话音语调，将合适的标点符号(例如，逗号“，”、句号“。”等)添加至弹出句子520。

当用户选择该弹出句子520时，如图5的(c)所示，考虑到书写输入字母和图像(530)，将该弹出句子的至少一部分输出至显示单元151。具体来说，在用户输入的字母当中，“NY”被识别为经话音识别的“New York”的首字母，并且按粗体类型输出，因此，“N”和“Y”被可视地与其它字母相区分。另外，在用户输入的图像当中，“表示太阳的形状”是不与字母相匹配的图像，并由此，检测到表情符号“sun”，以替换其并且输出至显示单元151。

而且，用户可能希望在收听话音的同时查看他/她直接施加书写的视图画面。另外，用户可能有时希望比较他/她直接施加书写的第一视图画面与附加地输入经话音识别的字母的第二视图画面。

另外，图6的(a)和图6的(b)是例示根据本发明的一个实施方式的、在移动终端中转换书写输入画面和可以添加经话音识别的字母的画面的方法。当其中彼此结合地输入了书写输入字母和经话音识别的字母的画面信息被输出至显示单元151时，接收用于执行两种模式中的任一种的控制命令，即，根据是否将经话音识别的字母添加至书写输入而不同的第一画面模式和第二画面模式。

例如，当用户按压或选择一特定键或者在显示单元151的施加书写输入的区域上进行触摸时，控制器180将其识别为用于输出用于执行画面模式切换的弹出菜单的控制命令。接着，响应于输出弹出菜单的操作，控制器180向显示单元151输出第一画面模式或第二画面模式。

具体来说，在选择第一画面模式时，控制器180仅输出与输入到显示单元151中的话音的至少一部分相关联的书写输入。另外，在选择了第二画面模式时，控制器180输出这样的画面，其中，至少某些经话音识别的字母与和输入到显示单元151中的话音的至少一部分相关联的书写输入一起被附加地输入到书写输入中。

如图6的(a)所示，当包括书写输入字母和经话音识别的字母的画面信息显示在显示单元151上时，响应于预定的触摸输入，用于切换画面模式的菜单550在施加了书写输入的区域上弹出。当用户从菜单550中选择“原始视图”键551a时，如图6的(b)所示，显示单元151的画面被切换至仅包括由用户书写输入的字母的画面。

而且，“原始视图”键551a被切换至“话音文本视图”键551b，并且在从用户施加选择信号时，将当前画面切换回至其中彼此结合地输入书写输入字母和经话音识别的字母的画面。

另外，还将用于回放与通过麦克风122输入的话音相对应的记录的控制命令输入到用户输入单元130中。而且，根据本发明该实施方式的移动终端假定在通过麦克风122输入话音时话音记录功能处于启用状态。例如，当用户按压特定键或者在显示单元151的施加了书写输入的区域上触摸时，控制器180将其识别为用于输出用于回放所记录的话音的弹出菜单的控制命令。

接着，当输出与第一画面模式和第二画面模式中的任一个相对应的画面时，当响应于输出的弹出菜单的操作而输入用于回放记录话音的控制命令时，控制器180根据回放的记录话音的速度来滚动输出至显示单元151的画面。

在图6的(b)，当书写输入字母和经话音识别的字母的画面信息显示在显示单元151上时，响应于预定的触摸输入，用于回放与话音输入相对应的记录的菜单550在未施加书写输入的区域上弹出。当从弹出菜单550中选择“Play Voice”键552时，显示用于执行回放()、快倒()或快进()的菜单图标560。

另外，当随着菜单图标560的操作而回放记录话音时，根据回放输出至显示单元151的书写输入或经话音识别的句子的速度而将出现滚动或出现当前回放的位置显示在该画面上(例如，显示在卡拉OK机的监视器上的字幕)。

另外，图7和图8包括例示根据本发明的一个实施方式的、在移动终端中编辑添加至书写输入的经话音识别的字母的画面的方法的图。

在根据本发明的实施方式的显示单元151中，如上所述，其中仅输出用户直接书写输入的第一画面模式或者其中基于书写输入添加经话音识别的字母的第二画面模式根据弹出菜单的操作而被输出。

在这种情况下，当检测到向显示单元的一个区域施加触摸输入时，控制器180进入用于编辑书写输入和/或输入经话音识别的句子的编辑模式。当按这种方式进入编辑模式时，将一指示符(例如，光标)输出至显示单元151上检测到触摸输入的点。

例如，如图7A的(a)和图7A的(b)所示，当用户向插入了经话音识别的句子的区域上的特定位置(例如，“very”与“sunny”之间)施加长触摸输入时，“光标”701被输出为针对对应位置的编辑引导。另外，在一个实施方式中，预定的输入键可以被输出至显示单元151的下部区域。

另外，“光标”701可以随着用户的键操作而移动，或者可以将特定的字母输入到由“光标”指示的位置中，以便执行编辑。用户还可以触摸并拖拽光标701。例如，在图7A的(a)中，光标701被如所期望地向左拖拽，或者操作输入键当中的一特定键(例如，空格键或删除键)，并由此，删除了额外项“very”，如图7A的(b)所示。当光标701未移动达预定的时间(例如，五秒钟)时，光标701从画面消失，并且同时终止编辑模式。

另外，在本发明的一个实施方式中，即使语音至文本功能保持在启用状态下同时预定的话音被输入到麦克风122中，也将弹出的或推荐的经话音识别的句子识别为在完成话音输入之后执行一次。具体来说，当话音识别模式从启用状态改变至停用状态时，或者在完成记录通过麦克风122输入的话音时，基于由控制器180生成的输入推荐信息(例如，与书写输入字母有关的信息(位置、形状以及空间)、有关书写输入字母的校正信息以及与经话音识别的剩余字母有关的信息)来输出可以添加至书写输入的字母的列表。

例如，在图7B的(a)和图7B的(b)中，当完成话音生成时或者在针对用户的书写输入的画面703被输出至显示单元151时语音至文本功能处于OFF状态时，用户无法书写输入的按恒定单位的字母(例如，逗号单位)以列表710的形式输出。用户可以通过利用“√”标记与特定字母相对应的复选框而从列表710选择要附加地插入的特定字母。

当第一触摸(例如，短触摸)被施加至该列表中的特定字母(或特定句子)时，该控制器180可以将该特定字母添加至手写输入。另外，如果检测到将第二触摸(例如，长触摸)施加至显示单元151上的添加的特定字母，则控制器180将该特定字母设置在终止拖拽第二触摸的点处。即，通过拖拽触摸输入，用户可以确定将所选择的特定字母插入到的位置。

例如，参照图7B的(c)和图7B的(d)，当将长触摸施加至显示所添加的字母“Seoul rain tomorrow”711的区域时，全部字母沿触摸的轨迹移动。例如，当用户利用他/她的手指将字母711从点“a”移动至点“b”并且释放该触摸时，例如，其上布置有字母711的画面720被输出至用户所希望的点“b”。

上面描述了通过针对用户无法书写输入的一部分的选择(例如，触摸输入)来添加经话音识别的字母。下面描述在没有推荐的情况下将经话音识别的字母实时添加至书写输入。

具体来说，图8是例示根据本发明的一个实施方式的、在移动终端中将经话音识别的字母自动插入到书写输入中的方法的图。控制器180在话音识别模式的启用状态下检测对自动输入模式的选择。而且，选择自动输入模式可以通过操作特定的菜单键来进行，并且如果满足特定的条件，则可以自动地进行。

而且，该特定条件包括书写输入与话音输入之间的速度差是参考值或之上的条件、用户不执行任何书写输入达预定时间的条件、以及发生特定事件(例如，呼叫信号抵达)的条件。

当按这种方式选择自动输入模式时，控制器180将经话音识别的字母转换成文本，并且将转换结果实时添加至输出书写输入的区域。当检测到书写输入或者检测到特定菜单键的操作时，临时中断或终止自动输入模式。

另外，当按这种方式选择自动输入模式时，控制器180在显示单元151的一个区域上显示一指示符图标，用于控制经话音识别的字母被转换成文本和将转换结果添加至书写输入的操作状态。用户通过操作所显示的指示符图标来控制操作、临时中断、终止自动输入和自动输入的输入速度。

例如，如图8的(a)所示，用于切换成自动输入模式的特定键815显示在弹出经话音识别的句子810的区域上。当用户在对应键815上触摸(如图8的(b)所示)时，经话音识别的句子830被实时输入并且用于控制自动输入模式的操作状态的指示符图标820显示在显示单元151的下部上。

当用户在将经话音识别的句子自动插入显示单元151中时触摸与“临时中断”相对应的键时，自动输入的执行被临时中断。而且，可添加的经话音识别的句子在显示单元151的一个区域上弹出。另外，在图8的(c)和图8的(d)中，当用户在自动输入的“临时中断”状态下触摸与指示符图标820上的“操作”相对应的键时，将根据话音识别恢复生成的话音的内容而获得的句子“Tornado warning”840输出至显示单元。

另外，当在执行自动输入模式的同时由用户施加书写输入时，控制器180优先处理(输出)用户的书写输入。在这种情况下，可添加的经话音识别的句子被切换回至其中可在显示单元151上获得推荐的人工输入模式。

另外，如上所述，在通过麦克风122输入话音的同时，用户可以执行多任务或者可以在移动终端中接收特定事件。关于这点，参照图9，描述了一种当在移动终端100中进行多任务时将经话音识别的字母添加至书写输入的方法。

虽然如上所述在前台执行与备忘录功能应用相对应的执行画面，但在输入预定话音的同时，基于由用户施加的书写输入实时地插入经话音识别的句子。另外，即使在输入话音的同时向显示单元151输出与不同的应用相对应的执行画面，也基于书写输入和话音输入的话音识别来连续地生成输入信息。

因此，当在将与第一应用(例如，备忘录功能应用)相对应的手写输入的画面输出至显示单元151时检测到第一控制命令时，控制器180将该书写输入的画面切换成与第二应用相对应的执行画面。控制器180还向显示单元151的一个区域输出指示话音输入的自动记录的图形对象。

而且，第一控制命令是其中在输出书写输入的画面时沿预定的方向施加从显示单元151上的至少两个触摸点开始的拖拽触摸输入的命令。另外，当检测到向与第二应用相对应的执行画面上的图形对象施加预定类型的触摸输入时，控制器180将与第一应用相对应的手写输入的画面输出回显示单元151。当返回至前一画面时，控制器附加地将文本字母(其对应于在输出与第二应用相对应的执行画面的同时在后台自动记录的话音)输入到该书写输入中。

例如，在图9的(a)中，当通过麦克风122输出预定话音时，在显示单元151上的与用户的书写输入相对应的位置处显示包括该经话音识别的句子的画面902，并且当用户在画面902上从右向左施加从两个触摸点开始的拖拽触摸输入时，该画面被切换成输出与该应用相对应的多个图标的空闲画面。

当用户在与该空闲画面上的拍照功能应用相对应的图标上触摸(如图9的(b)所示)时，该画面被切换至预览画面903，以供相机拍照。而且，将在后台执行针对话音输入的语音至文本功能和话音记录功能的指示符输出至显示单元151的一个区域(例如，上部区域)。

当完成拍照时，显示单元151的画面返回至与备忘录功能应用相对应的画面。而且，如图9的(c)所示，所拍摄的图像930被复制粘贴或者作为附件输入。另外，当出现返回至与备忘录功能应用相对应的画面时，此时经话音识别的句子被附加地插入一次，并且同时将特定的动画效果(例如，旋转和飞行效果)输出至经话音识别的句子。

另外，如图9的(d)所示，在显示所添加的句子940的区域内显示用于取消插入的键“X”945，并且利用用户的触摸删除已经插入的句子。而且，如果在输出书写输入的画面时发生预定的事件(例如，呼叫信号抵达)，则控制器180在所接收的话音与从外部生成的话音之间进行区分(可以设置多个麦克风122以进行此)，并且在后台执行记录功能，并且执行针对从外部生成的话音的语音至文本功能。

而且，控制器在显示单元151的一个区域上显示对该后台执行的指示。另外，当完成电话交谈时，即使未向该指示施加触摸，也发生自动返回书写输入的前一画面。

参照图10，下面，对其中基于书写输入的速度来进行经话音识别的句子的推荐的实施方式进行描述。关于这点，图10的(a)至图10的(d)是例示根据本发明的一个实施方式的、基于移动终端中的书写输入的速度将经话音识别的字母添加至书写输入的方法的图。

根据上述实施方式，在话音识别模式的启用状态下按恒定单位向显示单元151推荐经话音识别的字母或者通过自动输入功能将经话音识别的字母实时插入到显示单元151中。另外，如果按这种方式将经话音识别的字母推荐至显示单元151或者插入到显示单元151中，则其妨碍用户的书写输入。

因此，为了最小化妨碍用户的书写输入，当通过麦克风122输入预定的话音时，继续保持语音至文本功能的启用状态，按平时优先输出书写输入。而且，当满足或者不满足一预定的条件时，推荐或插入经话音识别的字母。

具体来说，当确定施加至显示单元151的手写输入的速度低于或高于通过麦克风122输入的话音的输入速度预定的范围时，其中经话音识别的字母转换成文本并实时添加至书写输入的自动输入功能被设置为执行。即，在平时，仅将书写输入显示在显示单元151上，而不执行针对经话音识别的字母的任何指示或弹出。然而，仅在满足上述速度条件时，才进行针对允许自动输入功能的输入模式的切换。

当输出备忘录功能应用的执行画面(如图10的(a)所示)时，用户收听外部生成的话音的内容并且可以针对该内容的一个部分或一特定的单词执行书写输入1020。另外，当外部生成的话音输入的内容与书写输入1020的速度和匹配的字母相比较、并且结果确定超过了预定的范围(即，用户的书写输入速度高于外部生成的话音的速度)时，根据话音识别外部生成的话音的内容而获得的句子1030被推荐至显示单元151(如图10的(c)所示)，或者省略图10的(c)所示的步骤。

接着，如图10的(d)所示，实时地经话音识别的句子被附加地添加至书写输入(自动输入功能)。而且，显示与书写输入“it hot today it”相匹配的字母，因而，它们与其它字母可视地区分。另外，通过用户输入设置或者改变书写输入与话音输入之间的、用于启用自动输入功能的速度差。

而且，用于启用自动输入功能的条件可以改变成除了存在书写输入与话音输入之间的速度差的条件以外的其它条件。作为其一实施例，如果经话音识别的字母与书写输入中的字母的匹配率小于一参考值(例如，小于百分之三十)，则将自动输入功能设置成启用。

另外，图11A的(a)至11A的(b)以及图11B的(a)和11B的(b)是例示根据本发明的一个实施方式的、在移动终端中显示经话音识别的多个可添加字母的列表的方法的图。根据本发明一实施方式，基于书写输入字母，按各种形式提供针对通过执行语音至文本功能通过麦克风122输入的话音所推荐的字母。

作为一个实施例，在话音识别模式被改变至停用状态或者完成记录话音输入时，控制器180基于所生成的输入信息(即，有关匹配至书写输入字母的字母的信息和在经话音识别的字母当中的、与匹配的字母相区分的剩余的字母有关的信息)，输出可添加至书写输入的字母的列表。而且，在输出至该列表的字母中反映推荐优先级。

例如，控制器180仅推荐经话音识别的字母当中的、直接与书写输入字母相关联的文本，或者推荐将经话音识别的字母翻译成特定语言的测试。另外，当显示多个可添加字母的列表时，控制器180输出该列表，反映其中可添加字母的优先级(例如，对于推荐来说，将与书写输入最直接相关的字母放置在该列表顶部)。

如图11A的(a)所示，经话音识别的全部或一些字母按列表形式显示在弹出窗口1110上，但这些字母以针对书写输入字母“today hot”具有最高相关性的字母而开始显示。用户看到反映该优先级的列表，并且可以选择特定字母(例如，“It's hot today”)。

接着，如图11A的(b)所示，根据输入信息(即，与匹配至书写输入的字母相关的信息以及与在经话音识别的字母当中的剩余的字母相关的信息)，在书写输入字母“today hot”与其它字母“It's”(1110")可视地区分时将它们插入到句子中。而且，如果书写输入的次序(“today”跟着是“hot”)不匹配经话音识别的字母的次序(“hot”跟着是“today”)，则这些字母按输入经话音识别的字母的次序或者按遵守语法或句型的方式来显示。

另外，参照图11B的(a)和11B的(b)，根据将不同语言(例如，韩语或日语)翻译成应用书写输入的一种语言(例如，英语)而获得的经话音识别的字母被输出至图11B的(a)所示的弹出窗口1120。当选择了被翻译成用户所推荐的特定语言的字母(如图11B的(b)所示)时，将全部书写输入字母替换成所选择的特定的语言中的字母(1120")。

另外，基于为识别话音而花费的时间、话音识别率、频繁选择的单词、频繁生成的单词等来确定输出至该列表的字母的推荐优先级。

上面描述了其中附加地插入结合了用户的书写输入的经话音识别的字母的实施方式。添加了书写输入和经话音识别的字母的画面连同话音记录一起被存储为一个话音备忘录文件。即，在本发明所述的移动终端100中，当基于上述书写输入和按恒定单位生成的输入信息完成附加输入时，生成与其相对应的话音备忘录文件。

下面，对利用按这种方式生成的话音备忘录文件来进行搜索和分类的方法进行描述。图12是例示根据本发明的一个实施方式的、在移动终端中搜索匹配至话音备忘录文件的话音文件的方法的图，而图13是例示根据本发明的一个实施方式的、在移动终端中分类并显示话音备忘录文件的方法的图。

首先，将用于进行与通过麦克风122输入的话音相关联的附加搜索的控制命令输入到本发明所描述的移动终端100的用户输入单元130中。另外，在语音至文本功能的启用状态下，通过对响应于向与备忘录功能应用相对应的执行画面施加的预定的触摸输入而弹出的菜单进行操作，来执行控制命令的输入。

而且，与话音输入相关联的附加搜索意指针对被识别为和根据话音生成器输入的话音相同的话音文件的网络搜索。另外，与话音输入相关联的附加搜索意指针对与该话音输入相对应的人信息中的电话号码的网络搜索(当对应人的话音连同电话号码一起存储在电话号码簿中时)。

当输入用于执行与话音输入相关联的附加搜索的控制命令时，控制器180分析话音输入并且搜索主体，或者根据话音生成器针对与该话音输入相同的话音文件进行网络搜索。接着，将根据该搜索获得的话音文件的列表输出至显示单元151。

例如，当在如图12的(a)所示的生成话音别备忘录文件时弹出了备忘录窗口1210(根据该窗口进行与由用户的触摸生成的话音备忘录文件相对应的话音相关联的附加搜索)时，用户通过在“YouTube搜索”键上触摸来输入用于搜索的控制命令。接着，控制器180在YouTube搜索与记录在话音备忘录文件中的话音相一致的话音文件，并将搜索结果列表1229输出至显示单元151。

另外，当生成话音备忘录文件时，控制器180向执行画面的、与备忘录功能应用相对应的一个区域输出与所生成的话音备忘录文件相对应的图标。通过在按这种方式输出的图标上触摸可以进行移动、组合、分离、删除等。由此，方便地执行话音备忘录文件的编辑。具体来说，控制器180向显示单元151输出与所生成的话音备忘录文件相对应的图标。

另外，响应于沿第一方向在与多个话音备忘录文件相对应的多个图标上的两个点所施加的触摸的拖拽(例如，捏入或捏出)，根据拖拽的程度，控制器180组合所述多个图标，并且组合所述多个话音备忘录文件，每一个都对应于该图标，其呈现在所述多个图标之前(组合程度可以根据拖拽的程度而不同)。另外，控制器180向显示单元151输出指示组合话音备忘录文件的新图标(下面，称为“第一图标”)。

另外，响应于用户沿第二方向触摸拖拽第一图标(例如，捏入或捏出)，控制器180根据第一图标被触摸拖拽的程度，划分组合话音备忘录文件。另外，控制器180使第一图标消失，并且输出与根据划分所获得的话音备忘录文件相对应的图标。

例如，参照图13，当在将针对多个话音备忘录文件的图标1301、1302、1303以及1304输出至画面时，当将捏入触摸施加至与话音记录1相对应的图标1301和与话音记录3相对应的图标1303时，分别与话音记录1、话音记录2以及话音记录3相对应的图标1301、1302以及1303消失，并且将对应的文件组合成一个文件。接着，生成针对所得文件的新图标1310。如所示，显示针对所生成文件的组合时间信息，但所生成文件不限于组合时间信息(例如，显示有关组合的话音备忘录文件的数量的信息或者显示有关组合的话音备忘录文件的名称的信息)。

另外，当用户如图13的(c)所示，向新图标1310施加捏出触摸时，基于施加捏出的程度来划分组合话音备忘录文件。即，用于捏出的两个触摸点之间的距离越大，根据划分组合话音备忘录文件而获得的话音备忘录文件的数量就越大。当划分组合话音备忘录文件时，图标1310消失，与根据划分组合话音备忘录文件而获得的话音备忘录文件相对应的图标1301、1302以及1303显示。

如上所述，根据本发明的实施方式，用户在书写输入电话交谈内容或外部生成的话音内容时无法书写输入的一部分通过执行语音至文本功能而自动补偿，以完成一句子。由此，改进了用户便利性。另外，由用户书写输入的电话交谈的内容或外部生成的话音的内容、和通过执行语音至文本功能而插入的电话交谈内容或外部生成的话音内容按可视区分方式显示。由此，用户可以直观地识别他/她书写输入的字母。

前述实施方式和优点仅仅是示例性的，而不应视为对本发明的限制。本教导可以容易地应用至其它类型的装置。本描述旨在例示，而非限制权利要求书的范围。本领域技术人员应当清楚许多另选例、修改例以及变型例。本文描述的实施方式的特征、结构、方法以及其它特性可以按各种方式组合，以获取附加和/或另选的实施方式。

由于在不脱离本发明的特征的情况下可以按几种形式具体实施本特征，因而，还应当明白，上述实施方式不限于前述描述的任何细节，除非另外进行了规定，而相反，应当在其如所附权利要求中所限定的范围内广泛考虑，并由此，落入权利要求的界限内的所有改变和修改或这种界限的等同物都被所附权利要求所涵盖。

Claims (20)

1.一种移动终端，所述移动终端包括：

无线通信单元，所述无线通信单元被配置为执行无线通信；

麦克风，所述麦克风被配置为接收输入话音；

触摸屏；以及

控制器，所述控制器被配置为：

接收在所述触摸屏上的与所述输入话音相对应的触摸输入；

在启用话音识别模式时识别所述输入话音；以及

显示基于所识别的输入话音与所述触摸输入的比较的信息。

2.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：在所述触摸屏上的与所述触摸输入相对应的位置处显示所述信息。

3.根据权利要求2所述的移动终端，其中，所述控制器还被配置为：当所述信息被显示在所述触摸屏上的与所述触摸输入相对应的所述位置处时，停止显示所述触摸输入。

4.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：

将所识别的输入话音转换成文本；并且

将所述文本显示在所述触摸屏上的与显示所述触摸输入的位置不同的第一位置处。

5.根据权利要求4所述的移动终端，其中，所述控制器还被配置为：在接收到对所显示的文本的选择时显示所述信息。

6.根据权利要求1所述的移动终端，其中，所述触摸输入的与所述信息相对应的部分相对于其它部分被加亮。

7.根据权利要求6所述的移动终端，其中，所述控制器还被配置为：自动校正所述触摸输入的所述部分的拼写错误，并且添加从所述触摸输入中排除的剩余字母。

8.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：改变显示在所述触摸屏上的信息，或者显示新页面以确保用于接收所述触摸输入的备忘录空间。

9.根据权利要求1所述的移动终端，其中，在书写的触摸输入包括书写的图片时，所述控制器还被配置为：与显示在所述触摸屏上的所述信息一起显示与所述书写的图片图像在形状上相似的表情符号。

10.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：

基于预定的输入在第一画面模式与第二画面模式之间切换；并且

其中，所述第一画面模式仅显示所述触摸输入，而所述第二画面模式显示所述触摸输入和所识别的输入话音的文本两者。

11.根据权利要求10所述的移动终端，其中，所述控制器还被配置为：

显示用于回放所述输入话音的记录的回放显示选项；并且

根据回放所记录的话音的速度，滚动所述第一画面模式下的所述触摸输入并且滚动所述第二画面模式下的所述触摸输入和所识别的输入话音的所述文本。

12.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：进入编辑模式，并且将指示输入位置的指示符输出至检测到预定的触摸输入的点。

13.根据权利要求1所述的移动终端，其中，在所述话音识别模式被改变至停用状态或者完成所述话音输入的记录时，所述控制器还被配置为：

显示可以添加至所述触摸输入的字符的列表；并且

将来自所述字符的列表的所选择的字符添加至所述触摸输入的与从所选择的字符至所述触摸输入的触摸和拖曳相对应的位置处。

14.根据权利要求1所述的移动终端，其中，当在启用所述话音识别模式时选择了自动输入功能时，所述控制器还被配置为：

将所识别的输入话音转换成文本；并且

将所述文本实时添加至显示所述触摸输入的区域。

15.根据权利要求1所述的移动终端，其中，当在将与第一应用相对应的所述触摸输入的画面显示在所述触摸屏上时检测到第一控制命令时，所述控制器还被配置为：

将所述触摸输入的所述画面切换成与第二应用相对应的执行画面；并且

在所述触摸屏的一个区域上显示指示所述话音输入的记录在进行中的图形对象。

16.根据权利要求15所述的移动终端，其中，当检测到将一预定类型的触摸输入施加至所述图形对象时，所述控制器还被配置为：

在所述触摸屏上显示回与所述第一应用相对应的所述触摸输入的所述画面；并且

将与在显示对应于所述第二应用的所述执行画面时所记录的所述话音输入相对应的字符插入到显示所述触摸输入的区域中。

17.根据权利要求1所述的移动终端，其中，当所述控制器确定施加至所述触摸屏的所述触摸输入的速度比所述话音的输入速度更高或更低达预定的范围时，所述控制器还被配置为：

执行将所识别的输入话音转换成文本的自动输入功能；并且

将所述文本实时添加至显示所述触摸输入的区域。

18.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：

接收用于执行与所述话音输入相关联的附加搜索的控制命令；

分析所述话音输入；

搜索与所述移动终端相关联的存储器，或者针对与所述话音输入相匹配的话音文件进行网络搜索；以及

在所述触摸屏上显示所发现的话音文件的列表。

19.一种控制移动终端的方法，所述方法包括以下步骤：

经由麦克风接收输入话音；

经由触摸屏接收与所述输入话音相对应的触摸输入；

在启用了话音识别模式时经由控制器识别所述输入话音；以及

经由所述控制器显示基于所识别的输入话音与所述触摸输入的比较的信息。

20.根据权利要求19所述的方法，所述方法还包括以下步骤：

在所述触摸屏上的与所述触摸输入相对应的位置处显示所述信息。