CN105721668A - 移动终端及其控制方法 - Google Patents

Abstract

本发明涉及移动终端及其控制方法。移动终端包括：无线通信单元，该无线通信单元被配置成与会话伙伴无线地通信；显示单元，该显示单元被配置成显示会话窗口，该会话窗口显示与会话伙伴收发的消息；以及控制器，该控制器被配置成答复在被显示的消息之中的消息的选择，在会话窗口中显示虚拟助手并且控制虚拟助手以输出与所选择的消息有关的信息，并且响应于用户请求，控制虚拟助手以输出与用户请求有关的信息。

Description

移动终端及其控制方法

本申请要求2014年12月22日提交的韩国专利申请No.10-2014-0186099的优先权的权益，其整个内容通过引用被整体合并在此。

技术领域

本发明涉及一种能够在会话的中间为用户输出信息的移动终端及其控制方法。

背景技术

终端通常可以被分类成移动/便携式终端或者固定终端。移动终端也可以被分类成手持式终端或者车载终端。移动终端的功能是多样化的。例如，移动终端的功能可以包括数据和音频通信、经由相机的图片和视频捕获、语音记录、经由扬声器系统播放音乐文件并且在显示单元上输出图像或者视频。一些终端执行电子游戏的功能或者多媒体播放器的功能。具体地，最新的移动终端能够接收提供诸如广播、视频和电视节目可视内容的多播信号。

随着终端的功能被多样化，以被装备有包括例如捕获图片或者视频、播放音乐或者视频文件、玩游戏、接收广播等等的复杂功能的多媒体播放器的形式实现终端。另外，不论用户何时和何地需要，用户能够执行与不同人的通信。具体地，用户能够经由文本消息、即时消息、电子邮件等等向不同的人发送消息并且能够检查是否不同的人阅读消息。此外，用户能够响应于该消息从不同的人接收答复。

但是，为了发送消息，因为有必要执行特定应用以写下消息，在写下消息中经由不同的应用检查信息是不便的。作为示例，当用户打算检查对于在执行消息应用的中间写下消息所必需的日程消息时，在消息应用被终止(结束)之后用户应执行日程应用以检查日程信息。如果日程检查完成，则在日程应用终止(结束)之后用户应再次执行消息应用。

发明内容

因此，本发明针对一种设备及其方法，其本质地避免由于现有技术的限制和缺点造成的一个或者多个问题。

本发明的目的是为了提供一种增强用户便利的移动终端及其控制方法。

具体地，本发明的目的是为了提供一种能够提供对于在会话期间用户所必需的信息的移动终端及其控制方法。

本发明的另一目的是为了提供一种能够经由没有参与会话的虚拟人提供对于用户所必需的信息的移动终端及其控制方法。

从本发明可获得的技术任务不限于上述技术任务。并且，在本发明属于的技术领域的普通技术人员从下面的描述能够清楚地理解其他未提及的技术任务。

本发明附加的优点、目的和特征将在随后的描述中被部分地阐述，并且对于本领域普通技术人员在考察了下文之后将部分地变得明显，或者可以从本发明的实践中学到。本发明的目的和其他优点可以通过在撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。

为了实现这些和其他优点并且根据本发明的用途，如在此具体化和广泛地描述的，根据一个实施例，移动终端能够包括：无线通信单元，该无线通信单元被配置成执行与会话伙伴的无线通信；显示单元，该显示单元被配置成显示用于输出与会话伙伴收发的信息的会话窗口；以及控制器，该控制器被配置成当会话窗口被输出时控制由用户请求的信息或者与经由虚拟人要通过会话窗口输出的消息有关的信息。

为了进一步实现这些目的和其他优点并且根据本发明的用途，如在此具体化和广泛地描述的，根据不同的实施例，控制移动终端的方法包括下述步骤：输出会话窗口；输出经由会话窗口与会话伙伴收发的消息；以及经由虚拟人输出由用户请求的信息或者与消息有关的信息。

从本发明可获得的技术解决方案不限于上述解决方案。并且，本发明属于的技术领域中的技术人员从下面的描述中能够清楚地理解其他未被提及的解决方案。

从本发明可获得的效果可以不限于上述效果。并且，本发明属于的技术领域中的技术人员从下面的描述中能够清楚地理解其他未被提及的作用。要理解的是，本发明前面的一般描述和后面的详细描述都是示例性和解释性的，并且意在提供对所要求保护的本发明的进一步解释。

附图说明

被包括以提供本发明的进一步理解并且被并入在本申请中且组成本申请的一部分的附图，图示本发明的实施例并且连同描述一起用以解释本发明的原理。在附图中：

图1A是图示解释与本发明有关的移动终端的示例的框图；

图1B和图1C是从不同的方向看到的移动终端的一个示例的概念视图；

图2是图示会话窗口的示例的图；

图3是图示根据本发明的一个实施例的移动终端的操作的流程图；

图4是图示出现的助手的示例的图；

图5是图示经由助手输出在会话期间基于重复使用的关键词搜索到的搜索结果的示例的图；

图6是图示出现的助手的示例的图；

图7是图示出现的助手的示例的图；

图8是图示出现的助手的示例的图；

图9是图示经由助手输出通过分析在文本输入窗口中输入的文本获得的对于用户来说必需的信息的示例的图；

图10至图14是图示根据消息内容自动地出现的助手示例的图；

图15是图示出现的助手的示例的图；

图16是图示经由助手响应于用户的请求来输出答案的示例的图；

图17是图示解释根据用户触摸的点的语音处理的图；

图18是图示解释用户输入的文本的处理的图；

图19是图示将经由助手输出的信息发送到会话伙伴的示例的图；

图20是图示将经由助手输出的信息插入到文本输入窗口的示例的图；

图21是图示将经由助手输出的信息转换成要被发送到会话伙伴的消息的示例的图；

图22是图示输出关于会话伙伴的信息的示例的图；以及

图23是图示输出由用户请求的信息的示例的图。

具体实施方式

参考附图，根据在此公开的示例性实施例现在详细地给出描述。为了参考附图简要描述，相同的或者等效的组件可以被设有相同的附图标记，并且其描述将不会被重复。通常，诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此旨在仅有助于说明书的描述，并且后缀本身旨在没有给予任何特定意义或者功能。在本公开中，为了简要，通常已经省略了在相关领域中对于普通技术人员来说公知的那些。附图被用于帮助容易地理解各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此，本公开应被解释为延伸到除了在附图中特别陈述的之外的任何变更、等同物以及替代。

尽管在此可以使用术语第一、第二等等以描述各种元件，通过这些术语不应限制这些元件。这些术语通常仅被用于区分一个元件与另一元件。当元件被称为“被连接到”另一元件时，元件能够被连接到另一元件或者也可以存在中间元件。相反地，当元件被称为“被直接地连接到”另一元件时，不存在中间元件。

单数表示可以包括复数表示，除非根据上下文其表示明确不同的意义。在此使用诸如“包括”或者“具有”的术语并且应理解它们旨在指示在本说明书中公开的数个组件、功能或者步骤的存在，并且也理解可以同样地利用更多或者更少的组件、功能、或者步骤。

可以使用各种不同类型的终端实现在此提出的移动终端。这样的终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板式PC、平板PC、超级本、可佩戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。

仅通过非限制性示例，将会参考特定类型的移动终端进行进一步的描述。然而，这样的教导同等地应用于其他类型的终端，诸如在上面注明的那些类型。另外，这样的教导也可以被应用于诸如数字TV、桌上型计算机等等的固定终端。

现在参考图1A-1C，其中图1A是根据本公开的移动终端的框图，并且图1B和图1C是从不同的方向看到的移动终端的一个示例的概念视图。

示出移动终端100，其具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180、以及电源单元190的各种组件。不要求实现所有图示的组件，并且可以替换地实现更多或者更少的组件。现在参考图1A，示出移动终端100，该移动终端100具有被配置有数个被共同实现的组件的无线通信单元110。

无线通信单元110通常包括一个或者多个模块，其允许诸如在移动终端100和无线通信系统之间的无线通信的通信、在移动终端100和另一移动终端之间的通信、在移动终端100与外部服务器之间通信。此外，无线通信单元110通常包括将移动终端100连接到一个或者多个网络的一个或者多个模块。

为了有助于这样的通信，无线通信单元110包括一个或者多个广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及定位信息模块115中的一个或者多个。

输入单元120包括：用于获得图像或者视频的相机121；麦克风122，该麦克风122是一种用于输入音频信号的音频输入装置；以及用于允许用户输入信息的用户输入单元123(例如，触摸键、推动键、机械键、软键等等)。数据(例如，音频、视频、图像等等)通过输入单元120被获得并且可以根据装置参数、用户命令、以及其组合通过控制器180分析和处理。

通常使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等等的一个或者多个传感器实现感测单元140。例如，在图1A中，示出具有接近传感器141和照明传感器142的感测单元140。必要时，感测单元140可以可替选地或者附加地包括其他类型的传感器或者装置，诸如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射监测传感器、热传感器、以及气体传感器等)、以及化学传感器(例如，电子鼻、医疗传感器、生物传感器等等)，举了一些例子。移动终端100可以被配置成利用从感测单元140获得的信息，并且具体地，从感测单元140的一个或者多个传感器、和其组合获得的信息。

输出单元150通常被配置成输出诸如音频、视频、触觉输出等等的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉模块153、以及光学输出模块154的输出单元150。显示单元151可以具有与触摸传感器的层间结构或者集成结构以便于促进触摸屏幕。触摸屏幕可以在移动终端100和用户之间提供输出接口，并且用作在移动终端100和用户之间提供输入接口的用户输入单元123。

接口单元160用作对接能够被耦合到移动终端100的各种类型的外部装置。例如，接口单元160可以包括任何有线或者无线端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。在一些情况下，响应于被连接到接口单元160的外部装置，移动终端100可以执行与被连接的外部装置相关联的各式各样的控制功能。

存储器170通常被实现为存储数据以支持移动终端100的各种功能或者特征。例如，存储器170可以被配置成存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或者指令等等。经由无线通信可以从外部服务器下载这些应用程序中的一些。在制造或者装运时其他应用程序可以被安装在移动终端100内，其通常是用于移动终端100的基本功能(例如，接收呼叫、拨打电话、接收消息、发送消息等等)的情况。通常，应用程序被存储在存储器170中、安装在移动终端100中，并且通过控制器180执行以执行用于移动终端100的操作(或者功能)。

除了与应用程序相关联的操作之外，控制器180通常用作控制移动终端100的整体操作。控制器180处理通过在上面提及的组件输入或者输出的信号、数据、信息等等并且/或者运行被保存在存储器170中的应用程序，从而处理或者提供用户适当的信息和/或功能。

控制器180能够通过处理通过在图1A中描述的各种组件输入或者输出的信号、数据、信息等等，或者激活被存储在存储器170中的应用程序来提供或者处理适合于用户的信息或者功能。作为一个示例，控制器180根据已经被存储在存储器170中的应用程序的执行控制在图1A中图示的一些组件或者所有组件。

电源单元190能够被配置成接收外部电力或者提供内部电力以便于供应对于操作被包括在移动终端100中的元件和组件所要求的适当的电力。电源单元190可以包括电池，并且电池可以被配置成被嵌入在终端主体中，或者被配置成从终端主体可拆卸。

在前述的描述中所提及的各自的组件中的至少一部分能够协作地操作以具体化根据在下面的描述中所提及的本发明的各种实施例的操作、控制或者控制方法。此外，通过运行被保存在存储器170中的至少一个或者多个应用程序移动终端的操作、控制或者控制方法能够在移动终端被具体化。

继续参考图1A，现在将会更加详细地描述在本附图中描述的各种组件。关于无线通信单元110，广播接收模块111通常被配置成经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、陆地信道、或者两者。在一些实施例中，可以利用两个或者更多个广播接收模块111以有助于同时接收两个或者更多个广播信道，或者支持广播信道之间的切换。

移动通信模块112能够将无线信号发送到一个或者多个网络实体并且/或者从一个或者多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等等。这样的网络实体形成移动通信网络的一部分，其根据用于移动通信(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强的语音数据优化或者仅增强的语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等等)的技术标准或者通信方法构造。经由移动通信模块112发送和/或接收到的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号、或者各种格式的数据以支持文本和多媒体消息的通信。

无线互联网模块113被配置成有助于无线互联网接入。此模块可以被内部地或者外部地耦合到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络传送和/或接收无线信号。这样的无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(长期高级演进)等等。无线互联网模块113可以根据一个或者多个这样的无线互联网技术，或者其他互联网技术发送/接收数据。

在一些实施例中，当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等等作为移动通信网络的一部分实现无线互联网接入时，无线互联网模块113执行这样的无线互联网接入。正因如此，互联网模块113可以与移动通信模块112协作，或者用作移动通信模块112。

短程通信模块114被配置成有助于短程通信。适合于实现这样的短程通信的技术包括：蓝牙(BLUETOOTH^TM)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等等。经由无线局域网，短程通信模块114通常支持在移动终端100和无线通信系统之间的无线通信，在移动终端100和另一移动终端100之间的通信、或者在移动终端和另一移动终端100(或者外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线个人域网。

在一些实施例中，另一移动终端(可以类似于移动终端100配置)可以是可佩戴装置，例如，智能手表、智能眼镜或者头戴式显示器(HMD)，其能够与移动终端100交换数据(或者以其他方式与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴装置，并且允许在可佩戴装置和移动终端100之间的通信。另外，当感测到的可佩戴装置是被授权与移动终端100通信的装置时，例如，控制器180可以使在移动终端100中处理的数据经由短程通信模块114传输到可佩戴装置。因此，可佩戴装置的用户可以在可佩戴装置上使用在移动终端100中处理的数据。例如，当在移动终端100中接收到呼叫时，用户可以使用可佩戴装置应答呼叫。此外，当在移动终端100中接收到消息时，用户能够使用可佩戴装置检查接收到的消息。

定位信息模块115通常被配置成检测、计算、导出或者以其他方式识别移动终端的位置。作为示例，定位信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块、或者两者。如有必要，定位信息模块115可以与无线通信单元110中的任意其他模块可替选地或者附加地发挥作用以获得与移动终端的位置有关的信息。作为一个示例，当移动终端使用GPS模块时，可以使用从GPS卫星发送的信号获取移动终端的位置。作为另一示例，当移动终端使用Wi-Fi模块时，能够基于将无线信号发送到Wi-Fi模块或者从Wi-Fi模块接收无线信号的无线接入点(AP)有关的信息获取移动终端的位置。

输入单元120可以被配置成允许对移动终端120的各种类型的输入。这样的输入的示例包括音频、图像、视频、数据、以及用户输入。经常使用一个或者多个相机121获得图像和视频输入。这样的相机121可以处理在视频或者图像捕获模式下通过图像传感器获得的静止图片或者视频的图像帧。被处理的图像帧能够被显示在显示单元151上或者被存储在存储器170中。在一些情况下，相机121可以以矩阵配置排列以允许具有多个角度或者焦点的多个图像被输入到移动终端100。作为另一示例，相机121可以位于立体排列以获取用于实现立体图像的左图像和右图像。

麦克风122通常被实现为允许对移动终端100的音频输入。根据在移动终端100中执行的功能以各种方式能够处理音频输入。如有必要，麦克风122可以包括各种噪声消除算法以消除在接收外部音频的过程中产生的不想要的噪声。

用户输入单元123是允许用户输入的组件。这样的用户输入可以使控制器180能够控制移动终端100的操作。用户输入单元123可以包括机械输入元件中的一个或者多个(例如，键、位于移动终端100的前和/或后表面或者侧表面上的按钮、圆顶开关、转向轮、转向开关等等)、或者触摸灵敏的输入等等。作为一个示例，触摸灵敏的输入可以是通过软件处理被显示在触摸屏上的虚拟键或者软键、或者位于在除了触摸屏之外的位置处的移动终端上的触摸键。此外，虚拟键或者可视键可以以例如，图形、文本、图标、视频、或者其组合的各种形状显示在触摸屏上。

感测单元140通常被配置成感测移动终端的内部信息、移动终端的周围环境信息、用户信息等等中的一个或者多个。控制器180通常与感测单元140协作以基于通过感测单元140提供的感测控制移动终端100的操作或执行与被安装在移动终端中的应用相关联的数据处理、功能或者操作。可以使用任何种类的传感器实现感测单元140，现在将会更加详细地描述其中的一些。

接近传感器141可以包括传感器，以在没有机械接触的情况下通过使用磁场、红外线等等感测接近表面的对象、或者位于表面附近的对象的存在或者不存在。接近传感器141可以被布置在通过触摸屏覆盖的移动终端的内部区域处，或者触摸屏附近。

例如，接近传感器141可以包括任何透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等等。当触摸屏被实现为电容型时，接近传感器141能够通过响应于具有导电性的对象的接近的电磁场的变化来感测指示器相对于触摸屏的接近。在本实例中，触摸屏(触摸传感器)也可以被归类成接近传感器。

术语“接近触摸”将会在此被经常引用以表示其中指示器被定位为接近触摸屏而没有接触触摸屏的场景。术语“接触触摸”将会在此被经常引用以表示其中指示器物理接触触摸屏的场景。对于与指示器相对于触摸屏的接近触摸相对应的位置，这样的位置将会对应于指示器垂直于触摸屏的位置。接近传感器141可以感测接近触摸和接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等等)。

通常，控制器180处理与通过接近传感器141感测到的接近触摸和接近触摸模式相对应的数据，并且使在触摸屏上能够输出可视信息。另外，根据相对于触摸屏上的点的触摸是接近触摸还是接触触摸，控制器180能够控制移动终端100执行不同的操作或者处理不同的数据。

触摸传感器能够感测被施加到诸如显示单元151的触摸屏的触摸。这样的触摸方法的示例包括电阻型、电容型、红外型、以及磁场型等等。作为一个示例，触摸传感器可以被配置成将被施加到显示单元151的特定部分的压力的变化转换成电输入信号，或者将在显示单元151的特定部分出现的电容转换成电输入信号。触摸传感器也可以被配置成不仅感测被触摸的位置和被触摸的区域，而且感测触摸压力和/或触摸电容。触摸对象通常被用于将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、触笔、指示器等等。

当通过触摸传感器感测触摸输入时，相应的信号可以被发送到触摸控制器。触摸控制器可以处理接收到的信号，并且然后将相应的数据发送到控制器180。因此，控制器180能够感测已经触摸显示单元151的哪一个区域。在此，触摸控制器可以是与控制器180分离的组件、控制器180、或者其组合。

在一些实施例中，控制器180能够根据触摸了触摸屏或者除了触摸屏之外被设置的触摸键的触摸对象的类型执行相同或者不同的控制。例如，基于移动终端100的当前操作状态或者当前执行的应用程序，可以决定是否根据提供触摸输入的对象而执行相同或者不同的控制。

触摸传感器和接近传感器可以被单独地或者组合实现，以感测各种类型的触摸。这样的触摸包括短(或者轻敲)触摸、长触摸、多触摸、拖动触摸、轻弹触摸、捏缩触摸、捏放触摸、扫描触摸、悬停触摸等等。

如有必要，超声传感器可以被实现以使用超声波识别与触摸对象有关的位置信息。例如，控制器180可以基于通过照明传感器和多个超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得多，所以光到达光学传感器的时间远远比超声波到达超声传感器的时间短。使用此事实可以计算波生成源的位置。例如，可以基于光作为参考信号使用与超声波到达传感器的时间的时间差计算波生成源的位置。

相机121通常包括至少一个相机传感器(CCD、CMOS等等)、光传感器(或者图像传感器)、以及激光传感器。实现具有激光传感器的相机121可以允许相对于3D立体图像的物理对象的触摸的检测。光传感器可以被层压在显示装置上，或者与显示装置重叠。光传感器可以被配置成扫描接近触摸屏的物理对象的移动。更加详细地，光传感器可以包括在行和列处的光电二极管和晶体管以使用根据施加的光的量改变的电信号扫描在光传感器处接收到的内容。即，光传感器可以根据光的变化计算物理对象的坐标从而获得物理对象的位置信息。

显示单元151通常被配置成输出在移动终端100中处理的信息。例如，显示单元151可以显示在移动终端100处执行的应用程序的执行屏幕信息或者响应于屏幕执行信息的用户界面(UI)和图形用户界面(GUI)信息。在一些实施例中，显示单元151可以被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等等的立体显示方案。

音频输出模块152通常被配置成输出音频数据。可以从任何量的不同的来源获得这样的音频数据，使得可以从无线通信单元110接收音频数据或者可以已经将其存储在存储器170中。可以在诸如信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等等的模式期间输出音频数据。音频输出模块152能够提供与由移动终端100执行的特定功能(例如，呼叫信号接收声音、消息接收声音等等)有关的音频输出。音频输出模块152也可以被实现为接收器、扬声器、蜂鸣器等等。

触觉模块153能够被配置成产生用户能够感觉、感知、或者以其他方式体验的各种触觉效果。通过触觉模块153产生的触觉效果的典型示例是振动。能够通过用户选择或者通过控制器进行设置来控制通过触觉模块155产生的振动的强度、模式等等。例如，触觉模块153可以以组合的方式或者顺序的方式输出不同的振动。

除了振动之外，触觉模块153能够生成各种其他触觉效果，包括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等等。

触觉模块153也能够被实现为允许用户通过诸如用户的手指或者手臂的肌肉感觉来感觉触觉效果，以及通过直接接触传递触觉效果。根据移动终端100的特定配置也可以设置两个或者更多个触觉模块153。

光学输出模块154能够使用光源的光输出用于指示事件产生的信号。在移动终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等等。可以实现通过光学输出模块154输出的信号，因此移动终端发射单色光或者具有多种颜色的光的方式。例如，当移动终端感测用户已经检查产生的事件时信号输出可以结束。

接口单元160用作用于要连接到移动终端100的外部装置的接口。例如，接口单元160能够接收从外部装置发送的数据，接收电力以发送到移动终端100内的元件和组件，或者将移动终端100的内部数据发送到这样的外部装置。接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。

识别模块可以是存储用于认证使用移动终端100的权限的各种信息的芯片并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、通用订户标识模块(USIM)等等。另外，具有标识模块(在此也被称为“标识装置”)的装置可以采用智能卡的形式。因此，标识装置经由接口单元160能够与终端100相连接。

当移动终端100与外部托架相连接时，接口单元160能够用作允许电力从托架供应到移动终端100的通道或者可以用作允许用户从托架输入的各种命令信号传递到移动终端的通道。从托架输入的各种命令信号或者电力可以作为用于识别移动终端被正确地安装在托架上的信号操作。

存储器170能够存储程序以支持移动终端180的操作并且存储输入/输出数据(例如，电话簿、消息、静止图像、视频等等)。存储器170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和音频有关的数据。

存储器170可以包括一种或者多种类型的存储介质，包括闪存、硬盘、固态盘、硅盘、多媒体卡式、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等等。也可以关于在诸如互联网的网络上执行存储器170的存储功能的网络存储装置操作移动终端100。

控制器180通常能够控制移动终端100的一般操作。例如，当移动终端的状态满足预设条件时控制器180能够设置或者释放用于限制用户输入与应用有关的控制命令的锁定状态。

控制器180也能够执行与语音呼叫、数据通信、视频呼叫等等相关联的控制和处理，或者执行模式识别处理以将在触摸屏上执行的手写输入或者绘图输入分别识别为字符或者图像。另外，控制器180能够控制这些组件中的一个或者组合以便于实现在此公开的各种示例性实施例。

电源单元190接收外部电力或者提供内部电力并且供应对于操作被包括在移动终端100中的相应的元件和组件所需的适当的电力。电源单元190可以包括电池，该电池通常是可充电的或者可拆卸地耦合到终端主体，用于充电。

电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例，用于供应电力以对电池再充电的外部充电器被电气地连接到该接口单元160。作为另一示例，电源单元190可以被配置成在没有使用连接端口的情况下以无线的方式对电池再充电。在本示例中，使用以磁感应为基础的感应耦合方法或者以电磁谐振为基础的电磁谐振耦合方法，电源单元190能够接收从外部无线电力发射器传送的电力。可以使用例如软件、硬件、或者其任何组合，以计算机可读介质、机器可读介质、或者类似介质实现在此描述的各种实施例。

现在参考图1B和图1C，参考直板式终端主体描述移动终端100。然而，可以以任何各种不同的配置可替选地实现移动终端100。这样的配置的示例包括其中两个和更多个主体以相对可移动的方式相互组合的手表式、夹式、眼镜式、或者折叠式、翻盖式、滑盖式、摇摆式、以及旋转式和其组合。在此论述将会经常与特定类型的移动终端(例如，直板式、手表式、眼镜式等等)有关。然而，与特定类型的移动终端有关的这样的教导通常也将会应用于其他类型的移动终端。

移动终端100通常将会包括形成终端的外观的壳体(例如，框架、外罩、盖等)。在本实施例中，使用前壳体101和后壳体102形成壳体。各种电子组件被包含在前壳体101和后壳体102之间形成的空间中。至少一个中间外壳可以被附加地布置在前外壳101和后外壳102之间。

显示单元151被示出位于终端主体的前侧上以输出信息。如图所示的，显示单元151的窗口151a可以被安装到前壳体101以与前壳体101一起形成终端主体的前表面。在一些实施例中，电子组件也可以被安装到后壳体102。这样的电子组件的示例包括可拆卸的电池191、标识模块、存储卡等等。后盖103被示出，覆盖电子组件，并且此盖可以被可拆卸地耦合到后壳体102。因此，当从后壳体102拆卸后盖103时，被安装到后壳体102的电子组件被外部地暴露。

如图所示的，当后盖103被耦合到后壳体102时，后壳体102的侧表面被部分地暴露。在一些情况下，在耦合之后，后壳体102也可以被后壳体103完全地屏蔽。在一些实施例中，后盖103可以包括用于外部地暴露相机121b或者音频输出模块152b的开口。

壳体101、102、103可以通过注入成型合成树脂形成或者可以由例如不锈钢(STS)、铝(Al)、钛(Ti)等等的金属形成。作为对其中多个壳体形成用于容纳组件的内部空间的实例的替代，移动终端100可以被配置使得一个壳体形成内部空间。在本实例中，形成具有一体的移动终端100因此合成树脂或者金属从侧表面延伸到后表面。

如有必要，移动终端100可以包括防水单元，用于防止水进入到终端主体。例如，防水单元可以包括防水构件，其位于窗口151a和前壳体101之间、在壳体101和后壳体102之间、或者后壳体102和后盖103之间、以当这些壳体被耦合时密封地密封内部空间。

移动终端100可以被提供有显示单元151、第一音频输出单元152a、第二音频输出单元152b、接近传感器141、照明传感器142、光输出单元154、第一相机121a、第二相机121b、第一操纵单元123a、第二操纵单元123b、麦克风122、接口单元160等等。

图1B和图1C描述如被布置在移动终端上的某些组件。然而，可替选的布置是可能的并且在本公开的教导内。一些组件可以被省略或者重新布置。例如，第一操纵单元123a可以位于终端主体的另一表面上，并且第二音频输出模块152b可以位于终端主体的侧表面上。

显示单元151输出在移动终端100中处理的信息。使用一个或者多个适当的显示装置可以实现显示单元151。这样的适当的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器、以及其组合。

使用能实现相同或者不同的显示技术的两个显示装置可以实现显示单元151。例如，多个显示单元151可以被布置在一侧上，或者被相互分开，或者这些装置可以被集成，或者这些装置可以被布置在不同的表面上。

显示单元151也可以包括触摸传感器，该触摸传感器感测在显示单元处接收到的触摸输入。当触摸被输入到显示单元151时，触摸传感器可以被配置成感测此触摸，并且例如，控制器180可以生成与触摸相对应的控制命令或者其他信号。以触摸方式输入的内容可以是文本或者数值，或者能够以各种模式指示或者指定的菜单项目。

触摸传感器可以以具有触摸图案的膜或者在窗口151a的后表面上直接构图的金属线的形式配置，该膜被布置在窗口151a和窗口151a的后表面上的显示器之间。可替选地，触摸传感器可以与显示器集成地形成。例如，触摸传感器可以被布置在显示器的基板上或者显示器内。显示单元151也可以与触摸传感器一起形成触摸屏。在此，触摸屏可以用作用户输入单元123(参见图1A)。因此，触摸屏可以替换第一操纵单元123a的功能中的至少一些。

第一音频输出模块152a可以以扬声器的形式被实现以输出语音音频、报警声音、多媒体音频再现等等。显示单元151的窗口151a通常将会包括允许通过第一音频输出模块152a生成的音频通过的孔径。一个替选是允许音频沿着结构主体之间的组装间隙(例如，在窗口151a和前壳体101之间的间隙)被释放。在本实例中，独立地形成以输出声音的孔可以不被看到或者在外观上以其他方式被隐藏，从而进一步简化移动终端100的外观和制造。

光学输出模块154能够被配置成输出用于指示事件产生的光。这样的事件的示例包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、邮件接收、通过应用的信息接收等等。当用户已经检查被生的事件时，控制器能够控制光学输出单元154停止光输出。

第一相机121能够处理诸如在捕获模式或者视频呼叫模式下通过图像传感器获得的静止或者运动图像的图像帧。然后被处理的图像帧能够被显示在显示单元151上或者被存储在存储器170中。

第一和第二操纵单元123a和123b是用户输入单元123的示例，通过用户可以对其进行操纵以将输入提供给移动终端100。第一和第二操纵单元123a和123b也可以被统称为操纵部分，并且可以采用允许用户执行诸如触摸、推动、滚动等等的操纵的任何触觉方法。第一和第二操纵单元123a和123b也可以采用允许用户执行诸如接近触摸、悬停等等的操纵的任何非触觉的方法。

图1B图示作为触摸键的第一操纵单元123a，但是可能的替选包括机械键、推动键、触摸键、以及其组合。可以以各种方式使用在第一和第二操纵单元123a和123b处接收到的输入。例如，用户可以使用第一操纵单元123a以将输入提供给菜单、主屏键、取消、搜索等等，并且用户可以使用第二操纵单元123b提供输入以控制从第一或者第二音频输出模块152a或者152b输出的音量级，切换到显示单元151的触摸识别模式等等。

作为用户输入单元123的另一示例，后输入单元可以位于终端主体的后表面上。用户能够操纵后输入单元以将输入提供给移动终端100。可以以各种不同的方式使用输入。例如，用户可以使用后输入单元以提供用于从第一或者第二音频输出模块152a或者152b输出的电源开/关、开始、结束、滚动、控制音量级的输入，切换到显示单元151的触摸识别模式等等。后输入单元可以被配置成允许触摸输入、推动输入、或者其组合。

后输入单元可以位于在终端主体的厚度方向中重叠前侧的显示单元151。作为一个示例，后输入单元可以位于终端主体的后侧的上端部分上使得当用户使用一只手抓握终端主体时用户能够使用食指容易地操纵它。可替选地，后输入单元能够被定位在终端主体的后侧的至多任何位置处。

包括后输入单元的实施例可以实现后输入单元中的第一操纵单元123a的功能性的一些或者全部。正因如此，在其中从前侧省略第一操纵单元123a的情形下，显示单元151能够具有更大的屏幕。作为又一替代，移动终端100可以包括手指扫描传感器，该手指扫描传感器扫描用户的指纹。然后控制器180能够使用通过手指扫描传感器感测的指纹信息作为认证过程的一部分。手指扫描传感器也可以被安装在显示单元151中或者在用户输入单元123中被实现。

示出麦克风122位于移动终端100的末端处，但是其他位置是可能的。如有必要，通过允许接收立体声音的这样的布置，多个麦克风可以被实现。

接口单元160可以用作允许移动终端100对接外部装置的路径。例如，接口单元160可以包括用于连接到另一装置(例如，耳机、外部扬声器等等)的连接终端、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等等)、或者用于将电力供应到移动终端100的电源终端中的一个或多个。接口单元160可以以用于容纳诸如用户身份模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡的外部卡的插槽的形式实现。

示出第二相机121b位于终端主体的后侧处并且包括与第一相机单元121a的图像捕获方向大体上相反的图像捕获方向。如有必要，第二相机121b可以被可替选地位于其他位置，或者使其可移动，以便于具有不同于被示出的图像捕获方向。

第二相机121b能够包括沿着至少一条线布置的多个镜头。多个镜头也可以布置成矩阵配置。相机可以被称为“阵列相机”。当第二相机121b被实现为阵列相机时，可以使用多个镜头和具有更好的质量的图像以各种方式捕获图像。

如在图1C中所示，示出闪光灯124与第二相机121b相邻。当通过相机121b捕获对象的图像时，闪光灯124可以照明对象。如在图1C中所示，第二音频输出模块152b能够位于终端主体上。第二音频输出模块152b可以结合第一音频输出模块152a实现立体声功能，并且也可以被用于实现用于呼叫通信的扬声器电话模式。

用于无线通信的至少一个天线可以位于终端主体上。天线可以被安装在终端主体中或者通过壳体形成。例如，配置广播接收模块111的一部分的天线可以可伸缩到终端主体中。可替选地，使用被附接到后盖103的内表面的膜，或者包括导电材料的壳体，可以形成天线。

用于将电力供应到移动终端100的电源单元190可以包括电池191，该电池191被安装在终端主体中或者可拆卸地耦合到终端主体的外部。电池191可以经由被连接到接口单元160的电源电缆接收电力。此外，使用无线充电器以无线方式能够对电池191再充电。通过电磁感应或者电磁谐振可以实现无线充电。

示出后盖103，其被耦合到用于屏蔽电池191的后壳体102，以防止电池191的分离，并且保护电池191免受外部冲击或者外来物质。当从终端主体可拆卸电池191时，后壳体103可以被可拆卸地耦合到后壳体102。

用于保护外观或者协助或者扩展移动终端100的功能的附件也可以被设置在移动终端100上。作为附件的一个示例，可以提供用于覆盖或者容纳移动终端100的至少一个表面的盖或者袋。盖或者袋可以与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于协助或者扩展对触摸屏的触摸输入的触摸笔。

为了解释的清楚起见，假定根据本发明的实施例的移动终端包括从包括在图1A至图1C中示出的配置元件的组中选择的至少一个。具体地，假定根据本发明的实施例的移动终端包括无线通信单元110、麦克风122、显示单元151、存储器170以及控制器180。

在下面描述的实施例中，假定显示单元151对应于触摸屏。因此，显示单元151能够不仅用作输出信息的输出单元而且用作接收用户输入的输入装置。但是，触摸输入可以被替换成推动按钮的推动输入、移动移动终端的手势输入等等。

此外，使用根据本发明的移动终端的人在下面描述的示例中被称为用户。此外，根据本发明的示例的执行与移动终端的通信的不同终端(或者使用不同终端的人)被称为会话伙伴。如果三个或者多个参与者参与会话中，则除了用户之外的剩余的人能够被称为会话伙伴。

本发明的实施例关于在与会话伙伴进行会话的中间使助手(或者代理)出现以协助用户的方法。描述的助手对应于参与会话的虚拟用户并且协助用户的会话。通过助手输出的信息仅被暴露于用户并且不可以被暴露于会话伙伴。具体地，控制器180能够经由助手输出信息，并且能够控制输出信息不被发送到会话伙伴。

控制器180能够响应于操作移动终端的用户的输入或者通过会话内容分析控制用于协助用户的助手出现。用户能够通过相互发送和接收消息进行会话。具体地，在本发明中，在用户之间进行会话的状态可以对应于通过用户写入消息以将该消息发送到不同用户的状态、通过用户将消息发送到不同用户的状态、通过用户从不同用户接收消息的状态等等。在本发明中描述的消息不仅包括文本消息(SMS、LMS、MMS等等)、即时消息而且包括电子邮件、SNS(社交网络服务)等等。

即，在用户之间发送和接收(收发)文本消息、即时消息或者电子邮件能够被视为在用户之间的会话，并且在特定用户的SNS账户上发帖也能够被视为用户之间的会话。当在用户之间执行会话时，经由移动终端能够输出会话窗口(或者聊天窗口)。会话窗口被用于在用户之间显示会话内容并且写入要被发送的消息。

图2示出会话窗口的示例。参考图2，会话窗口能够包括用于显示在用户之间的会话内容和写入内容的消息的文本输入框。在本实例中，通过用户发送到会话伙伴的消息和从会话伙伴用户接收到的消息能够通过在视觉上被相互区分来显示。

参考图2(a)，从会话伙伴接收到的消息202/204通过被粘在会话窗口的左边被显示，并且用户发送的消息212通过被粘在会话窗口的右边被显示。会话伙伴的识别信息能够被显示在会话窗口上。

参考图2(a)，会话伙伴的姓名被显示在会话窗口的标题显示行220上，并且会话伙伴的资料图片230和姓名232被显示在从会话伙伴接收到的各个消息上。

此外，文本输入框240被用于显示用户写入的消息的内容。如果文本输入框被触摸，则控制器180能够输出用于输入文本的虚拟键盘。控制器180能够在文本输入框上显示根据虚拟键盘的触摸输入的文本。当经由助手输出信息时，识别信息能够在输出信息250的附近被输出以指示通过助手输出信息。

在本实例中，助手的识别信息能够包括指示助手的图像、指示助手的姓名等等。图2(b)示出指示助手的图像260和助手的姓名262在输出信息的附近被同时输出的示例。

接下来，图3是图示根据本发明的一个实施例的移动终端的操作的流程图。为了清楚起见，假定经由显示单元151输出用于显示两个或者更多个用户的会话内容的会话窗口。如所示出的，如果接收到用于请求与显示在会话窗口上的消息有关的信息或者用户请求的信息的用户输入(在S301中是)，则控制器180经由助手输出与消息有关的信息或者用户请求的信息(S303)。在本实例中，经由助手输出的信息仅被暴露于用户并且信息没有被暴露于会话伙伴。

如果没有接收到用户输入(在S301中否)，并且如果指定的条件出现(S302)，则控制器180经由助手给用户提供指定信息(S303)。在下面的描述中，参考附图详细地解释用于经由助手输出信息的各种实施例。

更加详细地，如果接收到用于从在会话窗口上输出的消息(即，从会话伙伴接收到的消息)选择消息或者选择消息的内容的一部分的触摸输入，则控制器180能够输出用于处理被选择的消息或者所选择的部分的菜单。如果从菜单选择用于调用助手的项目，则控制器180能够经由助手输出用于所选择的内容的搜索结果。

接下来，图4是图示出现的助手的示例的图。如果从会话窗口选择指定消息，如在图4(a)中所示，则控制器180能够显示用于处理所选择的消息410的菜单420。参考图4(a)，菜单420能够包括用于复制所选择的消息的项目422、用于将所选择的消息递送给不同用户的项目424、用于答复所选择的消息的项目428以及用于调用助手的项目429。

如果从菜单420选择用于调用助手的项目429，则控制器180分析所选择的消息410的上下文并且然后能够基于所分析的内容为用户输出信息。参考图4(a)，如果所选择的消息410的内容对应于诸如“让我检查我的日程”的用于请求日程检查的内容，则控制器180能够经由助手输出对于用户的日程的搜索结果。如果所选择的消息包括指示特定日期的特定日期或者词汇(例如，本周五、下周一等等)，则控制器180能够输出与特定日期相对应的用户的日程。

另外，如在图4(a)中所示，如果能够类推特定日期的词汇没有被包括在消息中，则控制器180能够考虑先前的会话内容。参考图4(a)，因为在消息“让我检查我的日程”被发送到会话伙伴之前从会话伙伴接收到包括诸如“11月3日或者11月5日”的指示特定日期的词汇的消息405，所以控制器180能够输出关于11月3日和5日的日程。

例如，图4(b)示出输出从11月3日至5日的日程430的示例。如果经由助手输出的信息量非常大，则由于信息的量用于显示会话参与者的会话内容的空间变小。因此，控制器180能够控制要经由助手输出的信息的量。

参考图4(b)，控制器180能够控制要经由助手输出的信息的总量。另外，参考图4(c)，控制器能够经由助手输出信息的一部分。在本实例中，通过用户输入能够控制要被输出的信息的量。控制器180能够经由助手输出信息的量以基于被包括在其中输出信息的会话框430中的处理程序435上的拖动输入被控制。

作为不同的示例，如果在经由助手输出信息的中间触摸文本输入框，则控制器180能够控制经由助手输出的信息的量被减少。因为触摸文本输入框被解释为用户打算将消息发送到会话伙伴，所以控制器180能够减少经由助手输出的信息的量以使用户能够检查先前的会话内容。

如果经由助手输出的日程信息选择特定日期，则控制器180能够详细地输出所选择的日期的日程。参考图4(b)，如果在日程之中触摸11月3日，如在图4(d)的示例中所示，则控制器180能够输出11月3日的详细日程440。在本实例中，控制器180能够基于用户输入执行诸如将新日程添加到11月3日、删除预先注册的日程、修改预先注册的日程等等的操作。

参考图4(d)，新日程添加项目442可以对应于用于将新日程添加到11月3日的项目，并且日程编辑项目444可以对应于用于编辑或者删除在11月3日先前注册的日程的项目。尽管日程信息被解释为图4中的示例，但是通过助手能够提供的内容可以不限于在图4中的示例，能够由助手提供的内容可以不限于日程信息。如果指示特定地点的词汇被包括在消息中，控制器180能够经由助手显示包括地点、其地点被注册的事件发生地的日程、在该地点捕获的图片等等的地图。

另外，如果指示特定人的词汇被包括在消息中，则控制器180能够经由助手输出人的联系信息、人的图片等等。如果特定产品的名称被包括在消息中，则控制器180能够经由助手输出关于特定产品的信息。

在本实例中，关于产品的信息能够包括产品的购买信息(例如，产品的价格、产品的最低价格等等)、关于产品的描述(例如，关于产品的广告或者产品的手册)等等。如果在会话期间重复使用的关键词被包括在用户选择的消息中，则控制器180能够经由助手输出基于关键词搜索的搜索结果。

接下来，图5是图示经由助手输出基于在会话期间被重复使用的关键词搜索的搜索结果的示例的图。

具体地，图5(a)示出诸如在会话期间重复使用的“祖母”的关键词被包括在用户选择的消息510中的示例。在本实例中，控制器180能够基于重复使用的关键词“祖母”输出搜索结果。图5(b)示出关于通过“祖母”指示的人的信息520经由助手被输出的示例。

根据图4和图5的示例，如果消息被选择，则消息被分析并且用于用户的信息经由助手被输出。作为不同的示例，如果消息的部分内容被选择，则控制器180也能够输出关于所选择的部分内容的信息。

图6是图示出现的助手的示例的图。如果消息的部分内容602被选择，则控制器180能够显示用于处理所选择的部分内容的菜单610。参考图6(a)，菜单包括用于复制所选择的内容的项目612、用于共享所选择的内容的项目614，以及用于请求关于所选择的内容的信息的助手项目616。

如果从菜单选择助手项目616，则控制器180能够经由助手输出与所选择的内容有关的信息。参考图6(a)，如果用户选择的内容602对应于“11月3日和5日”，则控制器180能够输出11月3日和5日的日程。图6(b)示出包括11月3日和5日的日程620被输出的示例。

另外，如果用户选择的部分指示特定人的姓名，则控制器180能够经由助手输出关于特定人的信息。此外，如果用户选择的部分指示特定地点，则控制器180能够经由助手输出关于特定地点的信息(例如，地图图像、其特定地点被注册为事件发生地的日程、在特定地点捕获到的图片等等)。

如果用户选择的部分指示特定产品，则控制器180能够经由助手输出关于特定产品的信息。在图5和图6中示出的示例中，当基于在会话期间重复使用的关键词或者用户选择的部分执行搜索时，可能难以请清楚地定义搜索的范围。

作为示例，因为难以定义是否重复使用的关键词或者用户选择的部分指示人、地点、日期或者不同的事情，所以基于关键词或者用户选择的部分得到搜索结果可能耗费大量的时间。因此，控制器180考虑消息的上下文并且然后确定对其执行用于选择的内容的搜索的种类。

具体地，图7是图示出现的助手的示例的图。图7(a)示出用户从消息中选择诸如“丝绸之路”710的单词的示例。在本实例中，控制器180能够经由助手输出基于“丝绸之路”搜索到的搜索结果。

然而，通过用户选择的“丝绸之路”指示什么不是清楚的。在本实例中，控制器180能够通过考虑消息的上下文设置对搜索种类的限制。图7(a)示出示例，就在用户选择的“丝绸之路”之前存在指示“丝绸之路”对应于书的标题的诸如“图书”的关键词。因此，控制器180能够仅从基于关键词“丝绸之路”搜索到的网络搜索结果提取用于图书种类的搜索结果并且输出搜索结果。

图7(b)示出包括诸如“丝绸之路”的名称的书籍信息720被输出的示例。作为不同的示例，为了对搜索范围清楚地设置限制，控制器180能够经由助手输出用于请求种类限制的消息。

接下来，图8是图示出现的助手的示例的图。图8(a)示出用户从消息选择诸如“搅拌机”的单词810的示例。在本实例中，为了缩小搜寻“搅拌机”的范围，控制器180能够输出用于询问哪个搅拌机的制造商以经由助手被搜索的消息820。

如果用户输入要被搜索的制造商，如在图8(b)的示例中所示，则控制器180能够输出通过用户输入的制造商制造的搅拌机的搜索结果840。作为示例，控制器180能够经由组合诸如“搅拌”的关键词和用于制造商“abc”830的关键词的网络搜索使用和条件来输出搅拌机的搜索结果。

在前述的实施例中，控制器180能够使用被存储在存储器170中的数据库执行搜索或者经由网络执行搜索。在本实例中，经由由特定网站(例如，www.google.com、www.bing.com、www.naver.com等等)提供的搜索引擎能够执行网络搜索或者也能够使用被存储在特定服务器中的数据库执行。

作为示例，如果用户选择的内容与人的姓名有关，则控制器180从电话本提取所选择的姓名的联系人信息并且能够经由助手输出被提取的信息。作为不同的示例，控制器180能够使用诸如关键词的人的姓名从经由指定的搜索引擎选择的搜索结果获得关于相应的人的信息并且输出该信息。可替选地，控制器180能够从指定的服务器的数据库接收关于被映射到人的姓名的人的信息。

在图4至图8中，如果经由会话窗口输出的消息或者消息的一部分被选择，则消息的内容被分析并且然后用于用户的信息经由助手被输出。类似地，控制器180也能够通过分析用户输入到文本输入框的内容经由助手为用户输出信息。

图9是图示经由助手为用户输出通过分析被输入到文本输入窗口的文本获得的信息的示例的图。当文本被输入到文本输入框时，如果接收到指定的触摸输入，则控制器180经由助手分析被输入到文本输入框的文本并且基于被分析的内容为用户输出信息。

参考图9(a)，如果被输入到文本输入框910的文本对应于用于请求诸如“让我检查我的日程”的日程检查的内容，如在图9(b)的示例中所示，则控制器180能够经由助手输出关于用户的日程的信息920。

根据图4至图9的示例，仅当从经由会话窗口输出的消息或者消息的一部分被选择之后输出的菜单选择助手项目时，经由助手提供用于用户的信息。不同于示例，如果经由消息内容分析确定给用户提供附加的信息，则控制器180能够控制助手消失。

更加详细地，图10至图14是图示根据消息内容自动分析助手的示例的图。如果从会话伙伴接收到的消息是问题形式，则控制器180能够经由助手输出与答案相对应的信息。参考图10(a)，因为从会话对方接收到的消息1010包括诸如“你怎样？”的问题，控制器180能够经由助手输出与对于问题的答案相对应的信息。

参考图10(a)，因为从会话对方接收到的消息对应于问题“你怎样”并且在问题1005之前在参与会话的参与者之间进行用于检查在11月3日和11月5日的日程的会话，所有控制器180响应于问题“你怎样？”输出包括用户的11月3日和11月5日的两天的日程。

图10(b)示出包括11月3日和11月5日的日程1020被输出的示例。因此，用户能够参考经由助手输出的答案容易地写入用于回答问题的消息。在从会话伙伴接收到问题消息之后，虽然包括用于问题消息的答案的消息被发送但是对于问题没有进行清楚的回答，控制器180能够经由助手输出用于响应的信息。

参考图11(a)，在从会话伙伴接收到包括问题的消息之后，如果通过用户发送到会话伙伴的答案1110示出诸如“嗯”、“给我一点时间”、“好吧”等等在没有理解回答问题的情况下的犹豫状态，则控制器180能够经由助手输出用于协助用户的答案的信息1120。

图11(b)示出包括11月3日和11月5日的日程1120被输出以协助用户回答从会话伙伴接收到的询问在11月3日和11月5日用户的日程的问题“你怎样？”的示例。如果与用户的偏好有关的项目或者用于请求推荐的内容被包括在会话内容中，则控制器180能够经由助手输出信息。

参考图12(a)，如果从会话伙伴接收到用于请求特定行为的推荐的内容的消息1210，则控制器180能够输出用于响应推荐的信息1220。图12(b)示出根据诸如“让我们在11月3日或者11月5日见面”的推荐消息1210的接收经由助手输出包括11月3日和11月5日的日程1220的示例。如果期待在会话期间与预先注册的日程重叠的新日程出现，则控制器180能够经由助手输出指示新产生的日程与预先注册的日程重叠的信息。

参考图13(a)，如果消息1310打算将新的日程添加到11月3日12:00PM但是在11月3日12:00PM预先注册的日程存在，如在图13(b)中所示，则控制器180能够输出关于在相应的时间线上重叠的日程的信息1320。因此，用户能够防止重叠的日程在相同的时间线被注册。如果在会话期间指定的关键词被重复等于或者大于指定次数，则控制器180能够经由助手输出关于重复使用的词汇的信息。

参考图14(a)，如果诸如“祖母”的词汇被重复地使用，如在图14(b)中所示，则控制器180能够经由助手输出关于由“祖母”指示的人的信息1410。图14(b)示出通过“祖母”输出的人的图片、姓名以及电话号码被输出的示例。

图4至图14示出通过分析从会话伙伴接收到的消息或者通过移动终端被发送到会话伙伴的消息确定经由助手的信息的示例。作为不同的示例，当用户打算检查从对方伙伴接收到的多个消息时，控制器180能够输出助手。

图15是图示出现的助手的示例的图。当从对方伙伴接收到多个消息时，如果打算输出会话窗口的用户输入被接收，如在图15(a)的示例中所示，则控制器180能够经由会话窗口输出从会话伙伴接收到的消息1501至1506。在本实例中，如果从会话伙伴接收到的消息等于或者大于指定的数目，则控制器180能够经由助手输出关于多个接收到的消息的概要信息。

图15(b)示出关于被包括在概要信息1510中的日期的日程信息1520和与被包括在概要信息1510中的位置链接的地图图标1530与其中多个接收到的消息的内容被隐式地概述的概要信息1510一起被输出的示例。如果在图15(b)中示出的地图图标1530被触摸，如在图15(c)的示例中所示，则控制器180能够输出用于显示在概要信息中提及的地点的地图。

根据图15的示例，当用户打算检查从会话伙伴接收到的多条消息时助手出现。然而，如果难以输出从会话伙伴新接收到的多条消息，则控制器180能够在滚动显示单元151的情况下控制助手以出现。

不同于前述的示例，如果用于请求信息的输入被接收，则控制器180能够经由助手输出用于用户的信息。在本实例中，经由麦克风122或者在文本输入框上输入的文本能够接收到用户的请求。

更加详细地，图16是图示经由助手响应于用户的请求来输出答案的示例的图。如果用于调用助手的用户输入被接收，则控制器180使助手在会话室出现并且能够经由助手输出预先确定的消息。在本实例中，预先确定的用户输入可以对应于触摸用于调用助手的图标或者当文本输入框是空的时推动发送按钮，本发明可以不限于此。

图16(a)示出用于调用助手的图标1610被输出的状态。如果助手图标被触摸，则控制器180使助手出现并且能够输出预先确定的消息。图16(b)示出经由助手输出诸如“我能帮你什么？”的消息的示例。在本实例中，控制器180能够输出从预先确定的消息TTS转换的语音数据，同时输出预先确定的消息。

如果助手图标被触摸，则控制器180能够激活麦克风122同时经由助手输出预先确定的消息。控制器180能够经由显示单元151显示指示麦克风122被激活的指示符。图16(b)示出指示麦克风122被激活的麦克风图标1630被输出的示例。

如果当麦克风122被激活时用户的语音被输入，则控制器180输出从用户的语音STT(语音到文本)转换的文本1640，并且能够响应于用户的语音经由助手输出响应信息。另外，控制器180能够经由助手输出通过用户语音请求的信息。在本实例中，控制器180能够不将从用户的语音STT转换的文本发送到会话伙伴。

即，会话伙伴接收除了从用户的语音STT转换的文本之外的消息，和在经由会话窗口输出的消息之中的仅经由助手输出的信息。参考图16(c)，如果用户输入的语音对应于诸如“让我检查我的11月3日至5日的日程”的在特定时间段内请求日程信息的请求，则控制器180能够输出用户请求的时段的日程信息，即，在11月3日和11月5日之间的日程信息1650。

即，如果在助手出现之后输入用户语音，则控制器180能够经由助手输出通过用户的语音请求的信息。因此，在助手出现之后输入的用户语音被用于与助手而不是会话伙伴的会话。

为了区分被发送到会话对方的消息与用于向移动终端(即，助手)请求信息的消息，控制器180能够控制两个消息以在视觉上可区分地显示。具体地，控制器180能够控制两个消息以通过区分两个消息的颜色、形状等等在视觉上被区分地显示。

如在图16(b)和(c)中所示，被发送到会话伙伴的消息1605被显示在矩形会话框中，并且用于向助手请求信息的消息1640被显示在环形形式的会话框中。假定在下面的附图中被发送到会话伙伴的消息以矩形的会话框被显示并且用于向助手请求信息的消息被显示在环形形式的会话框中。

控制器180能够根据用户触摸的对象确定用于递送用户语音的主实体。作为示例，如果在触摸会话伙伴的识别信息或者从会话伙伴接收到的消息时用户输入用户的语音，则控制器180能够控制从用户输入的语音STT转换的文本，以被发送到会话伙伴(或者，控制器能够将STT转换的文本插入到文本输入框以将文本发送到会话伙伴)。同时，如果在触摸助手的识别信息时用户输入用户的语音，则控制器180能够经由助手输出通过用户的语音请求的信息。

接下来，图17是图示根据用户触摸的点的语音处理的图。参考图17(a)，如果在触摸会话伙伴的识别信息1710时用户输入语音，则控制器180能够控制从语音的语音STT转换的文本，以被发送到会话伙伴，或者控制STT转换的文本以被插入到文本输入框1720。

图17(a)示出诸如“让我检查11月3日至5日我的日程”的从用户的语音STT转换的文本在文本输入框上被输出的示例。随后，如果发送按钮被触摸，则控制器180能够将包括被显示在文本输入框上的文本的消息1730发送到会话伙伴。

参考图17(b)，如果在触摸助手的识别信息1740时用户输入用户的语音，则控制器180能够经由助手输出通过用户的语音请求的信息。在本实例中，控制器180能够经由显示单元151输出从用户输入的语音STT转换的文本1750。

图17(b)示出根据用户语音的请求经由助手输出在11月3日和11月5日之间的日程信息1760的示例。虽然图17被描述为触摸会话伙伴的识别信息或者助手的识别信息，但是通过在图17中描述的内容没有限制触摸区域。

例如，当会话窗口的指定的第一区域被触摸时输入的语音可以被用于将消息发送到会话伙伴，并且当触摸除了第一区域之外的第二区域时输入的语音可以被用于请求信息。作为不同的示例，当显示单元被触摸时输入的语音可以被用于将消息发送到会话伙伴(或者经由助手输出信息)，并且当没有触摸显示单元时输入的语音可以被用于经由助手输出信息(或将消息发送到会话伙伴)。

作为不同的示例，如果预先确定的文本没有被包括在文本输入框上输入的文本中，则控制器180将文本发送到会话伙伴。如果预先确定的文本被包括在文本输入框上输入的文本中，则控制器能够经由助手输出由文本请求的信息而没有将文本发送到会话伙伴。

图18是图示用户输入的文本的处理的图。为了清楚起见，假定预先确定的文本对应于“#”。参考图18(a)，当预先确定的文本“#”没有被包括在文本输入框1810上输入的文本中时，如果用户触摸或按下发送按钮，则控制器180能够将包括在文本输入框上输入的文本的消息发送到会话伙伴。

作为示例，图18(a)示出诸如“让我检查在11月3日到11月5日的我的日程”的消息1820被发送到会话伙伴的示例。相反地，当预先确定的文本“#”被包括在文本输入框1810上输入的文本中时，如果用户推动发送按钮，则控制器180能够经由助手输出通过在文本输入框1810上输入的文本请求的信息。在本实例中，包括在文本输入框1810上输入的文本的消息不可以被发送到会话伙伴。

图18(b)示出响应于诸如用户的“让我检查在11月3日至11月5日的日程”的请求经由助手输出在11月3日和11月5日之间的日程信息1840的示例。

然而，因为将包括预先确定的文本(例如，“#”)的消息发送到会话伙伴可能发生，所以仅当预先确定的文本被定位在消息的开始或者结束处时，控制器180能够经由助手输出通过包括预先确定的文本的消息请求的信息。

即，虽然预先确定的文本被插入到消息，如果预先确定的文本被插入到消息的中间，则控制器180能够将消息发送到会话伙伴。控制器180也可以基于用户输入将经由助手输出的信息发送到会话伙伴。

图19是图示将经由助手输出的信息发送到会话伙伴的示例的图。如果触摸经由助手输出的信息1910的用户输入被接收，则控制器180能够输出用于处理所选择的信息的菜单1920。

图19(a)示出包括用于复制输出信息的项目1922、用于终止信息的输出的项目1924以及用于将输出信息发送到会话伙伴的项目1926被输出的示例。如果在图19(a)中示出的菜单选择用于将输出信息发送到会话伙伴的项目1926，如在图19(b)的示例中所示，则控制器180能够将包括经由助手使用的信息的消息发送到会话伙伴。

另外，如果在选择经由助手输出的信息的一部分之后用于将输出信息发送到会话伙伴的项目被选择，则控制器180能够将所选择的信息的一部分发送到会话伙伴。作为示例，如果在从在图19(a)中示出的日程选择日期之后用于将输出信息发送到会话伙伴的项目被选择，则控制器180能够将所选择的日期的日程发送到会话伙伴。

如果三个或者更多的参与者参与会话，则控制器180能够仅将经由助手输出的信息发送到多个会话伙伴中的一部分。作为示例，如果包括用户的会话伙伴A和会话伙伴B参与会话，则控制器180能够将经由助手输出的信息仅发送到会话伙伴A和会话伙伴B中的一个。

图19示出菜单被调用以将经由助手输出的信息发送到会话伙伴和用于将该信息发送到会话伙伴的项目被选择的示例。然而，这仅是发送信息的方法的示例。本发明不限于前述的方法。

作为示例，如果通过拖动会话伙伴的识别信息(例如，会话伙伴的资料图像或者会话伙伴的姓名)的用户输入(或者拖动指示器和释放指示器的用户输入)接收到经由助手输出的信息，控制器180能够将经由助手输出的信息插入到文本输入框。在本实例中，用户能够通过修改被插入到文本输入框的信息或者将附加的信息添加到文本输入框而将该信息发送到会话伙伴。

图20是图示将经由助手输出的信息插入到文本输入框的示例的图。参考图20(a)，如果接收到用于将经由助手输出的信息2010拖动到文本输入框的用户输入(或者用于拖动指示器和释放指示器的用户输入)，如在图20(b)的示例中所示，则控制器180能够将经由助手输出的信息插入到文本输入框2020。

图20(a)和(b)示出从日程选择11月3日的指示器被拖动到文本输入框2020并且11月3日的日程被插入到文本输入框202的示例。作为不同的示例，控制器180能够将经由助手输出的信息转换成消息以被发送到会话伙伴。

图21是图示将经由助手输出的信息转换成消息以被发送到会话伙伴的示例的图。如果接收到在超过指定时间内触摸经由助手输出的信息2110的用户输入，则控制器180能够控制经由助手输出的信息的输出被终止同时将经由助手输出的信息2110如原样发送到会话伙伴。

然后，如在图21(a)和(b)的示例中所示，诸如通过从经由助手输出的信息2110被转换而被发送到会话伙伴的消息2120的可视效果可以出现。控制器180能够经由助手输出会话伙伴的信息。在本实例中，关于会话伙伴的信息可以包括通过会话伙伴被上传到SNS的帖子、使用不同的应用通过会话伙伴被发送到用户的消息、会话伙伴的日程信息等等，由此本发明可以不受限制。

图22是图示输出关于会话伙伴的信息的示例的图。如果接收到触摸会话伙伴的识别信息2210(例如，会话伙伴的资料图像)的用户输入，则控制器180能够显示用于调用助手的菜单2220。如果在图22(a)中示出的助手项目被触摸，则控制器180能够经由助手输出关于会话伙伴的信息。

图22(b)示出通过会话伙伴被上传到SNS的帖子2330被输出的示例。在本实例中，如果会话内容的帖子2240被选择，则控制器180能够通过筛选帖子仅输出包括所选择的内容的帖子。作为示例，如果从会话伙伴的消息选择“祖母”2240，如在图22(c)的示例中所示，则控制器180能够通过筛选帖子输出包括“祖母”的帖子2250。

另外，在图22(b)中示出的示例中，如果因为通过会话伙伴上传到SNS的帖子的数目太多而难以输出所有的SNS帖子，则控制器180能够输出消息，其指示由于太多搜索结果而不能够输出所有的搜索结果，而不是输出会话伙伴的SNS帖子。

参考图22(c)，在本实例中，控制器180能够输出会话伙伴的信息以仅当要被搜索的关键词被限制时被输出。

在前述的实施例中，助手被描述为被定位在与参与会话的参与者相似的状态处。具体地，如果在经由助手输出的信息的附近输出指示经由助手输出信息的识别信息，则用户可以具有诸如与助手交谈的感觉。不同于在附图中示出的示例，控制器180将显示单元151划分成两个区域，在区域上连续地输出会话窗口并且能够在另一区域上输出用户请求的信息。

图23是图示输出用户请求的信息的示例的图。参考图23(a)，如果接收请求提供指定信息的用户输入2310同时会话窗口被输出，则控制器180将显示单元151划分成两个区域并且能够在区域2320上输出会话窗口并且在另一区域2330上输出用户请求的信息。

图23(b)示出经由上区域2320输出会话窗口并且经由在通过上区域和下区域划分的两个区域之中的下区域2330输出用户请求的日程信息的示例。另外，如果经由下区域输出的消息或者信息被拖动到上区域，则控制器能够将被拖动的信息或者信息发送到会话伙伴。相反地，如果经由上区域输出的消息被拖动到下区域，则控制器能够输出与被拖动的消息有关的信息。

因此，本发明的实施例提供数个优点。例如，提供增强用户便利的移动终端。能够在会话期间提供用于用户的信息的移动终端及其控制方法也被提供。另外，能够在没有中断会话的情况下使用没有参与会话的虚拟人为用户提供信息的移动终端及其控制方法被提供。

根据本发明的一个实施例，通过在程序中通过处理器可读的代码或者其中程序(或者应用)被记录的介质能够实现前述的方法(操作流程图)。通过处理器可读的介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等。介质也能够以载波(例如，经由互联网的传输)的形式被实现。

前述实施例的配置和方法没有被限制性地应用于在本发明中提及的移动终端100。通过被相互选择性地组合能够配置各个实施例的全部或者部分以在实施例中实现各种修改。

对于本领域内的技术人员来说将会显然的是，在不偏离本发明的精神和范围的情况下，能够在本发明中能够进行各种修改和变化。因此，旨在本发明覆盖落入随附的权利要求和它们的等效物的范围内的本发明的修改和变化。

Claims (20)

1.一种移动终端，包括：

无线通信单元，所述无线通信单元被配置成与会话伙伴无线地通信；

显示单元，所述显示单元被配置成显示会话窗口，所述会话窗口显示与所述会话伙伴收发的消息；以及

控制器，所述控制器被配置成：

响应于在显示的消息之中的消息的选择，在所述会话窗口中显示虚拟助手以及控制所述虚拟助手以输出与选择的消息有关的信息，以及

响应于用户请求，控制所述虚拟助手以输出与所述用户请求有关的信息。

2.根据权利要求1所述的移动终端，其中，所述控制器进一步被配置成控制所述虚拟助手以输出所述信息并且不将所述信息发送到所述会话伙伴。

3.根据权利要求1所述的移动终端，其中，所述虚拟助手与虚拟人的图像一起显示。

4.根据权利要求1所述的移动终端，其中，响应于指示特定日期被包含在选择的消息中的文本串，所述控制器进一步被配置成控制所述虚拟助手以显示关于所述特定日期的日程信息。

5.根据权利要求4所述的移动终端，其中，响应于指示所述特定日期没有被包含在所述选择的消息中的文本串，所述控制器进一步被配置成使用在所述选择的消息之前或者之后接收到的消息中包含的数据作为所述特定日期。

6.根据权利要求1所述的移动终端，进一步包括：

麦克风，所述麦克风被配置成接收所述用户请求，

其中，所述控制器进一步被配置成：

响应于在所述会话窗口的第一区域被触摸时所述用户对所述麦克风讲话，向所述会话伙伴发送包含从所述用户讲话转换的文本的消息，以及

响应于在所述会话窗口的第二区域被触摸时所述用户对所述麦克风讲话，基于所述用户对所述麦克风讲话的单词的意义来控制所述虚拟助手以输出信息。

7.根据权利要求6所述的移动终端，其中，所述控制器进一步被配置成在所述会话窗口中显示被发送到所述会话伙伴的消息。

8.根据权利要求7所述的移动终端，其中，在所述会话窗口中，被发送到所述会话伙伴的消息和从所述虚拟助手输出的信息在视觉上被相互区分。

9.根据权利要求1所述的移动终端，其中，所述控制器进一步被配置成：

响应于预先确定的识别文本没有被包含在输入到所述会话窗口的文本输入框中，将包含所述文本的消息发送到所述会话伙伴，以及

响应于预先确定的识别文本被包含在输入到所述会话窗口的文本输入框中，控制所述虚拟助手以输出与所述文本相对应的信息。

10.根据权利要求1所述的移动终端，其中，所述控制器进一步被配置成：

显示从所述会话伙伴接收到的多个未读的接收消息，以及

控制所述虚拟助手以显示未读的多个接收消息的概要信息。

11.根据权利要求1所述的移动终端，其中，响应于包含问题的从所述会话伙伴接收到的消息，所述控制器进一步被配置成控制所述虚拟助手以输出包括对所述问题的答案的信息。

12.根据权利要求1所述的移动终端，其中，响应于关键词在与所述会话伙伴收发的消息中被重复大于指定次数，所述控制器进一步被配置成控制所述虚拟助手以输出关于所述关键词的信息。

13.根据权利要求1所述的移动终端，其中，响应于触摸通过所述虚拟助手输出的信息的用户输入，所述控制器进一步被配置成将所述信息发送到所述会话伙伴。

14.根据权利要求1所述的移动终端，其中，所述信息包括在所述会话伙伴的SNS(社交网络服务)账户上发布的帖子。

15.根据权利要求14所述的移动终端，其中，响应于所述消息的一部分被选择，所述控制器进一步被配置成仅输出所述帖子之中的包含选择的部分的帖子。

16.一种控制移动终端的方法，所述方法包括：

经由无线通信单元，与会话伙伴无线地通信；

经由显示单元，显示会话窗口，所述会话窗口显示与所述会话伙伴收发的消息；

响应于显示的消息之中的消息的选择，在所述会话窗口中显示虚拟助手以及经由控制器来控制所述虚拟助手以输出与选择的消息有关的信息；以及

响应于用户请求，经由所述控制器来控制所述虚拟助手以输出与所述用户请求有关的信息。

17.根据权利要求16所述的方法，进一步包括：

控制所述虚拟助手以输出所述信息并且不将所述信息发送到所述会话伙伴。

18.根据权利要求16所述的方法，其中，所述虚拟助手与虚拟人的图像一起显示。

19.根据权利要求16所述的方法，其中，响应于指示特定日期被包含在选择的消息中的文本串，所述方法进一步包括控制所述虚拟助手以显示关于所述特定日期的日程信息。

20.根据权利要求19所述的方法，其中，响应于指示所述特定日期没有被包含在所述选择的消息中的文本串，所述方法进一步包括使用在所述选择的消息之前或者之后接收到的消息中包含的日期作为所述特定日期。