CN103516780A - 移动终端、服务器、系统及其控制方法 - Google Patents

Abstract

本发明提供了一种移动终端、服务器、系统及其控制方法。移动终端包括无线通信单元；情景信息捕获单元，其被构造为捕获包括关于移动终端的用户的用户专属情景信息的情景信息；以及控制器，其被构造为控制无线通信单元以将捕获的情景信息发送给云服务器，并且从云服务器接收响应于用户专属情景信息由云服务器生成的服务。

Description

移动终端、服务器、系统及其控制方法

相关申请的交叉引用

本申请要求2012年6月20日提交的韩国专利申请No.10-2012-0066020的申请日和优先权，通过应用将其整体并入这里。

技术领域

本发明涉及一种移动终端、服务器、系统和用于控制移动终端和服务器的方法。

背景技术

一般来说，云计算环境是指其中计算资源被作为服务进行传递并且连接到云服务器的云计算环境的用户能够使用简单类型的终端执行其任务的环境。

云计算还允许用户通过使用低成本PC连接到计算资源；消除了诸如购买用于个人使用的软件程序的PC的管理和数据存储；并且允许用户使用与当前操作程序最相关的服务器计算机而无需考虑诸如存储器、CPU、盘容量和辅助装置的技术规格。

同时，N屏是指允许在诸如TV、PC、平板PC和智能电话的各种装置中无缝地使用同一内容的服务。由于用户购买的内容存储在服务器中而不是终端中，因此，用户能够在用户想要的任何时间在各种装置中使用内容。

如果通过N屏装置获取的用户环境信息用于在云计算环境中提供服务，则N屏装置能够根据当前的用户情景为用户提供更大量的内容。

发明内容

本发明的目的在于提供一种移动终端、服务器、系统和用于控制移动终端和服务器的方法，其能够通过利用云计算服务将情景知晓（context-aware）服务提供给在N屏环境中操作的至少一个终端。

特别地，本发明提供了一种移动终端、服务器、系统和用于控制移动终端和服务器的方法，其能够基于由云服务器获得的用户情景信息将用户专属服务提供给在N屏环境中操作的至少一个终端。

根据本发明的一个方面的移动终端包括情景信息捕获单元；以及控制器，其将通过情景信息捕获单元获得的情景信息传输到云服务器并且从云服务器接收对应于基于情景信息识别的用户情景的服务。

情景信息捕获单元包括相机、传感器、SNS应用程序、语音识别模块和用户配置文件中的至少一个。

情景信息能够包括通过相机获得的用户的面部表情、通过温度传感器获得的用户的身体的至少一部分的温度、通过SNS应用程序通信的消息、通过语音识别模块获得的语音识别关键字和关于用户资料的变化的信息。

移动终端能够进一步包括通信单元，其与至少一个外部装置形成网络，其中，控制器能够监视由至少一个外部装置传输到服务器的情景信息并且将由外部装置传输的情景信息存储在数据库中。

控制器能够在数据库中按照提供给移动终端和通过服务器提供的至少一个外部服务的各服务的优先级的顺序存储服务的列表。

控制器在接收到改变服务的列表中包括的至少一个服务项目的输入时能够将改变后的服务列表传输到服务器并且基于改变后的服务列表，控制将被提供给移动终端和至少一个外部装置的预定服务。

控制器在移动终端被构造为评价用户满意度的反馈功能时能够向服务器传输关于满意度的评价信息并且根据评价信息请求低优先级的服务。

对应于用户情景的服务能够包括基于用户情景的内容推荐和移动终端的主题改变中的至少一个。

根据本发明的另一方面的服务器包括通信单元；数据库，其存储通过通信单元从移动终端接收到的情景信息；情景推断单元，其基于在数据库中存储的情景信息推断用户情景；以及控制器，其根据用户情景选择将被提供给移动终端和通过预定网络连接到移动终端的至少一个外部装置的至少一个服务并且将由内容提供商提供的服务传输给移动终端。

如果移动终端通过预定网络连接到至少一个电子装置，则控制器能够将服务传输给移动终端和至少一个电子装置。

数据库能够将用户的情绪和位置以及捕获情景信息的时间信息组合为一组并且通过将该组映射到对应的主题（theme）来存储该组。

通过分析从移动终端接收到的情景信息，情景推断单元能够推断在数据库中存储的用户的情绪信息并且控制器能够将与对应于所推断的用户情绪的主题相关的服务传输给移动终端和至少一个电子装置。

根据本发明的又一方面的系统包括获得情景信息的移动终端；以及云服务器，其接收来自移动终端的情景信息，根据情景信息推断用户情景，并且基于所推断的情景信息为移动终端提供对应于用户情景的服务。云服务器可以包括将用户的情绪和位置以及捕获情景信息的时间信息组合为组并且通过将该组映射到对应的主题来存储该组的数据库；并且根据数据库中包括的所推断的情景信息为移动终端提供与用户的情绪相关的服务。

移动终端通过网络连接到至少一个外部装置并且云服务器能够基于用户情景传输对应于至少一个外部装置的服务。

根据本发明的又一方面的移动终端的控制方法包括获得情景信息；将所获得的情景信息传输给云服务器；以及从云服务器接收对应于基于情景信息识别出的用户情景的服务。

根据本发明的又一方面的服务器的控制方法包括接收情景信息；根据情景信息推断用户情景；根据所推断的用户情景选择将提供给移动终端和通过预定网络连接到移动终端的至少一个外部装置；向内容提供商请求所选择的服务，并且将从内容提供商接收的服务传输给移动终端。

根据下面给出的详细描述，本发明的进一步的范围和可用性将变得更加明显。然而，应理解的是，指示本发明的优选实施方式的详细描述和具体示例仅为了示出的目的，这是因为根据该详细描述，本发明的精神和范围内的各种改变和修改对于本领域技术人员来说都是显而易见的。

附图说明

附图被包括进来以提供本发明的进一步理解，并且被并入本申请且构成本申请的一部分，示出了本发明的实施方式，并且与说明书一起用于说明本发明的方面和特征。

图1是示出与本发明的一个实施方式相关的系统结构的概述图；

图2是示出在图1的系统中捕获情景信息的环境的框图；

图3是根据本发明的实施方式的移动终端的框图；

图4是根据本发明的第一实施方式的移动终端的控制方法的流程图；

图5是更详细地示出第一实施方式的移动终端的操作的流程图；

图6示出了用于实施第一实施方式的移动终端的功能块；

图7是在根据本发明的第一实施方式的移动终端中产生的情景载荷的示例；

图8是根据本发明的第二实施方式的用于服务器的控制方法的流程图；

图9示出了用于实施第二实施方式的服务器的功能块；

图10是从图1中所示的内容提供商获得的内容映射列表，其表示按照提供给N屏环境的终端的优先级的顺序的服务的列表；

图11是用于示出本发明的第三实施方式的系统环境；

图12是根据本发明的第三实施方式的移动终端的控制方法的流程图；

图13至图18是用于示出本发明的第三实施方式的图；

图19是用于示出本发明的第四实施方式的系统环境；

图20至图21是用于示出本发明的第四实施方式的图；以及

图22至图23示出了通过特定的情景知晓的本发明的实施方式的云服务器的服务提供方法。

具体实施方式

现在将参考其中示出了本发明的示例性实施方式的附图来更完全地描述本发明。然而，本发明可以以很多不同形式来实施并且不应理解为限于这里阐述的实施方式；相反地，实施方式被提供为使得本公开将是完整和完全的，并且将本发明的概念完整地传达给本领域技术人员。

下面，将参考附图详细描述与本发明相关的移动终端。在下面的描述中，后缀“模块”和“单元”被提供给移动终端的组件并且仅用于方便描述，并且不具有彼此区分的意义或功能。

说明书中描述的移动终端能够包括蜂窝电话、智能电话、膝上计算机、数字广播终端、个人数字助理（PDA）、便携式多媒体播放器（PMP）、导航系统等等。

图1是示出与本发明的一个实施方式相关的系统结构的概述图。参考图1，根据本发明的一个实施方式的系统包括移动终端100、云服务器200和通过N屏连接到内容提供商和移动终端100的至少一个外部装置10a、10b、10c。

移动终端100能够获得情景信息并且将该信息传输给云服务器200。情景信息是指描述诸如人物、地方、对象和时间的影响与泛在计算关联的系统和装置的用户或应用程序之间的交互的情景的属性的信息；更具体地，情景信息可以被分为包含网络连接状态、通信带宽、显示和工作站的计算情景；包含位置和附近人物的用户情景；包含采光、噪声水平、交通、温度等等的物理情景和包含时间、星期、月和季节的时间情景。情景信息能够由系统使用各种感测装置和应用程序来捕获；并且用于提供各种应用服务。而且，特定的情景信息能够用于与其它情景信息结合地推断第三结论。

在下面，将基于情景信息中的用户情景描述本发明的实施方式。云服务器200存储从移动终端100接收的情景信息，通过分析情景信息识别用户情景，并且根据识别出的用户情景向内容提供商300请求服务（例如，内容）。

云服务器是指在将诸如电影、照片和音乐文件的媒体文件、文档、联系人地址等等的用户内容存储在服务器中的情况下用户能够通过使用包括移动终端或TV的任何装置自由地访问他或她的内容所通过的服务。云服务器200是指通过用于实施云服务的互联网连接到移动终端100的服务器。

内容提供商300根据云服务器200的请求将与用户情景相关的内容传输给云服务器200。此外，云服务器200能够将由内容提供商300提供的内容传输到移动终端100和通过预定网络连接到移动终端100的至少一个外部装置10a、10b、10c。

接下来，图2是示出在图1的系统中捕获情景信息的环境的概述。另外，情景信息捕获单元能够包括相机、传感器、SNS应用、语音识别模块和用户资料中的至少一个。

通过情景信息捕获单元获得的情景信息可以对应于通过相机获得的用户的面部表情。通过传感器（例如，温度传感器）获得的情景信息可以对应于用户的身体的一部分的温度。而且，通过SNS应用获得的情景信息可以对应于通过SNS应用通信的消息。通过语音识别模块获得的情景信息可以包括语音识别关键字、音高和关于用户资料的改变的信息中的至少一个。

同时，情景信息可以不仅通过移动终端100来获得而且通过通过N屏连接到移动终端100的至少一个外部装置10a、10b、10c来获得。

此外，移动终端100能够监视由外部装置10a、10b、10c捕获的传输到云服务器200的情景信息。同时，移动终端100能够以整合的方式管理从外部装置10a、10b、10c传输到云服务器200的情景信息。而且，通过添加N屏装置，移动终端100能够使传输到云服务器200的情景信息多样化。

根据本发明的一个实施方式，由移动终端100和通过N屏连接到移动终端100的至少一个外部装置10a、10b、10c获得的情景信息能够以整合的方式存储在云服务器200中，并且通过基于情景信息识别用户情景，云服务器200能够为移动终端和/或通过N屏连接到移动终端100的至少一个外部装置10a、10b、10c提供与用户情景相关的内容。

参考图3，参考附图详细描述作为与本发明相关的电子装置100的示例的移动终端100。特别地，图3是根据本发明的实施方式的移动终端的框图。如这里所使用的，为元件使用后缀“模块”和“单元”仅为了方便本公开的描述。因此，对于后缀本身没有赋予特殊的意义或作用并且连接的是，“模块”和“单元”能够一起或互换地使用。

参考图3，移动终端100包括无线通信单元110、音频/视频（A/V）输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190。虽然图1示出了具有各种组件的移动终端100，但是不要求所有示出的组件。可以替选地实施更多或更少的组件。

无线通信单元110包括一个或多个模块，其允许在移动终端100和无线通信系统之间或者在移动终端100和移动终端100所处于的网络之间进行无线通信。例如，无线通信单元110包括广播接收模块111、移动通信模块112、无线因特网模块113、短程通信模块114以及位置信息模块115。对于非移动终端来说，无线通信单元110可以替换为有线通信单元。无线通信单元110和有线通信单元可以统称为通信单元。

广播接收模块111通过广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。

广播管理实体可以表示发送广播信号和/或广播相关信息的系统。广播管理实体可以是生成和发送广播信号和/或广播相关信息的服务器或者用于接收先前生成的广播信号和/或广播相关信息并且向移动终端100发送广播信号和/或广播相关信息的服务器。广播信号不仅可以包括TV广播信号、无线电广播信号和数据广播信号，还可以包括TV广播信号和无线电广播信号组合的形式的信号。

广播相关信息可以是与广播频道、广播节目或广播服务提供商相关的信息。甚至可以通过移动通信网络来提供广播相关信息。在后一种情况下，可以经由移动通信模块112接收广播相关信息。广播相关信息的示例包括数字多媒体广播（DMB）的电子节目指南（EPG）和手持式数字视频广播（DVB-H）的电子服务指南（ESG）。

广播接收模块111可以接收从各种广播系统发送的广播信号。作为非限制性示例，广播系统包括地面数字多媒体广播（DMB-T）、卫星数字多媒体广播（DMB-S）、手持式数字视频广播（DVB-H）、已知为仅媒体前向链路（MediaFLO）的数据广播系统以及地面综合业务数字广播（ISDB-T）。广播接收模块111接收的广播信号和/或广播相关信息可以存储在适合的存储装置中，例如存储在存储器160中。

移动通信模块112向移动通信网络上的基站、外部终端或服务器中的至少一个发送无线信号/从移动通信网络上的基站、外部终端或服务器中的至少一个接收无线信号。根据文本和/或多媒体消息的发送/接收，无线信号可以表示例如语音通话信号、视频电话通话信号或者各种形式的数据。

无线因特网模块113支持移动终端100的互联网接入。该无线互联网模块113可以内部或外部地耦接到移动终端100。适合于无线互联网的技术包括（但不限于）WLAN（无线LAN）、Wi-Fi、

（无线宽带）、

（全球微波接入互操作性）、HSDPA（高速下行链路分组接入）。在非移动终端中，无线互联网模块113可以替换为有线互联网模块。无线互联网模块113和有线互联网模块可以统称为互联网模块。

短程通信模块114相对有利于短程通信。适合于短程通信的技术包括（但不限于）射频识别（RFID）、红外数据协会（IrDA）、超宽带（UWB）以及诸如和

的联网技术。

位置信息模块115识别或者获得移动终端100的位置。位置信息模块115可以通过使用全球导航卫星系统（GNSS）来获得位置信息。GNSS是用于描述无线电导航卫星系统的术语，该无线电导航卫星系统被构造为在绕着地球旋转的同时发射基准信号，其能够确定它们在地球表面上或者接近地球表面的位置。GNSS包括：美国运行的全球定位系统（GPS）、欧洲运行的伽利略、俄罗斯运行的全球轨道导航卫星系统（GLONASS）、中国运行的COMPASS以及日本运行的准天顶卫星系统（QZSS）。

作为GNSS的典型示例，位置信息模块115是GPS模块。位置信息模块115可以计算与一个点或者物体与至少三个卫星之间的距离相关的信息以及与测量距离信息的时间相关的信息，并且对所获得的距离信息应用三角法，以根据纬度、经度和高度在预定的时间获得点或物体的三维位置信息。此外，还可以使用利用三个卫星来计算位置和时间信息并且利用另一个卫星来校正计算出的位置和时间信息的方法。位置信息模块115实时地连续计算当前位置，并且基于位置信息来计算速度信息。

继续参考图3，音频/视频（A/V）输入单元120可以被构造为将音频信号或视频信号提供给移动终端100。A/V输入单元120可以包括摄像头121和麦克风122。摄像头121可以对在视频电话模式或者拍摄模式中由图像传感器获得的静止图片或视频的图像帧进行处理。可以在显示单元151上显示处理后的图像帧。

由摄像头121处理的图像帧可以存储在存储器160中或通过无线通信单元110发送到外部装置。可选地，在适合的情况下，移动终端100能够包括两个或更多摄像头121。

麦克风122在移动终端100处于诸如电话通话模式、录音模式和/或语音识别模式的特定模式中时接收外部音频信号。接收到的音频信号被处理并转换为数字数据。在通话模式中，处理后的数字数据被转换为可经由移动通信模块112发送给移动通信基站的格式并且然后进行输出。此外，移动终端100（特别地，A/V输入单元120）可以包括噪声消除算法以消除在接收外部音频信号过程中产生的噪声。

用户输入单元130响应于相关的输入装置的用户操作生成输入数据。这样的装置的示例包括键盘、薄膜开关、触摸板（例如，静电电压/电容）、操作轮和操作开关。用户输入单元130的特定示例是其中触摸板与显示器组合的触摸屏，将在下面进行描述。

感测单元140提供移动终端100各方面的状态测量。例如，感测单元140可以检测移动终端100的打开/关闭状态、移动终端100的组件（例如，显示器和键盘）的相对定位、移动终端100或移动终端100的组件的位置变化、用户是否触摸移动终端100、移动终端100的取向和/或移动终端100的加速/减速。

作为示例，移动终端100可以被构造为滑动型移动终端，其中感测单元140可以感测移动终端100的滑动部分打开还是关闭。感测单元140也可以感测电源单元190提供的电力的有无或接口单元170与外部装置之间的耦接或其它连接的有无。

输出单元150产生与视觉、听觉和触觉相关的输出。输出单元150可以包括显示单元151、音频输出模块152、告警单元153和触觉模块154。

显示单元151显示由移动终端100处理的信息。例如，当移动终端100处于通话模式时，显示单元151可以显示与通话相关的用户界面（UI）和/或图形用户界面（GUI）。如果移动终端100处于视频电话模式或拍摄模式，则显示单元151可以显示拍摄到的和/或接收的图片、UI或者GUI。

显示单元151可以包括液晶显示器（LCD）、薄膜晶体管液晶显示器（TFT LCD）、有机发光二极管（OLED）、柔性显示器或三维显示器。移动终端100可以包括这样的显示器中的一个或多个。

显示单元151可以具有透明型的或透光型的构造，下面称为透明显示器。透明OLED（TOLED）是透明显示器的示例。显示单元151的后部结构还可以具有光透射型构造。在该构造中，用户能够透过终端机体的被显示单元151占据的区域看见位于终端机体之后的物体。

可以提供至少两个显示单元151。例如，多个显示单元151可以以彼此隔开的方式或内置在一个主体内的方式设置在移动终端100的单面上。替选地，多个显示单元151中的每一个可以设置在移动终端100的不同面上。

如果显示单元151和用于检测触摸动作的传感器（在下文称为“触摸传感器”）被构造为多层结构（下面称为“触摸屏”），则显示单元151可以用作输入装置和输出装置。例如，触摸传感器可以包括触摸膜、触摸片或触摸板。

触摸传感器能够被构造为将施加到显示单元151的特定部分的压力或者从显示单元151的特定部分产生的静电电容的变化转换为电输入信号。触摸传感器可以检测触摸的压力以及触摸的触摸位置和大小。

如果对触摸传感器施加了触摸输入，则与该触摸输入相对应的信号传送到触摸控制器（未示出）。触摸控制器处理该信号并且向控制器180传送对应的数据。因此，控制器180可以确定显示单元151的哪个部分被触摸。

继续参考图3，接近传感器141能够设置在被触摸屏围绕的并且/或者触摸屏周围的移动终端100内。接近传感器141可以在没有机械接触的情况下使用电磁场强度或者红外线检测接近特定检测面的物体或者位于接近传感器141附近的物体。因此，接近传感器141可以具有比接触型传感器更长的耐用性和更广的应用。

接近传感器141能够包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、无线电频率振荡接近传感器、静电电容接近传感器、磁性接近传感器或红外接近传感器。如果触摸屏是静电型触摸屏，则接近传感器141可以利用根据指示物的接近的电场的变化来检测指示物的接近，并且触摸屏（触摸传感器）可以分类为接近传感器141。

将指示物靠近触摸屏而还没有接触触摸屏的动作识别为位于触摸屏上并且将其称为“接近触摸”。指示物实际触摸触摸屏的动作被称为“接触触摸”。指示物接近触摸的触摸屏上的位置是指当指示物执行接近触摸时指示物与触摸屏竖直相对的位置。

接近传感器141可以检测接近触摸和/或接近触摸方式（例如，接近触摸距离、接近触摸持续时间、接近触摸位置、接近触摸移动状态）。可以在触摸屏上显示与检测到的接近触摸动作和/或检测到接近触摸方式相对应的信息。

控制器180（图3）根据指示物的接近深度和位置将接近触摸识别为各种输入信号中的一个。控制器180根据各种输入信号执行各种操作控制。

再次参考图3，音频输出模块152可以输出在例如呼叫接收模式、电话呼叫模式或记录模式、语音识别模式或广播接收模式中从无线通信单元110接收到的音频数据。音频输出模块152可以输出在存储器160中存储的音频数据。音频输出模块152可以输出与移动终端100执行的功能相关的音频信号（例如，呼叫信号呼入铃声和消息接收铃声）。音频输出模块152可以包括例如接收器、扬声器或蜂鸣器。

告警模块153输出用于宣布与移动终端100相关的特定事件的发生的信号。典型事件包括呼叫信号接收、消息接收、键信号输入和触摸输入。告警模块153经由振动以及视频信号或音频信号输出用于宣布事件发生的信号。经由显示单元151输出视频信号并且经由音频输出模块152输出音频信号。因此，至少显示单元151或音频输出模块152能够被视为告警模块153的一部分。

触觉模块154可以产生用户能够感觉到的各种触觉效果。振动是触觉模块154产生的代表性触觉效果。触觉模块154所产生的振动的强度和方式可以是可控的。例如，彼此不同的振动能够通过合成在一起而输出或者能够顺序地输出。

除了振动之外，触觉模块154还可以产生各种触觉效果。例如，触觉模块154可以产生由相对于接触的皮肤垂直移动的针脚排列引起的效果，经由喷射孔产生的空气吸力、经由吸气孔产生的吸气力、皮肤表面上的摩擦效果、与电极接触的效果、静电效果和/或使用吸热或放热装置的热/冷感觉的效果。

触觉模块154能够被构造为通过直接接触提供触觉效果。触觉模块154还可以允许用户通过手指或者胳膊的肌肉感觉来感觉触觉效果。可以根据移动终端100的构造提供两个或更多触觉模块154。

存储器160被构造为存储用于控制器180的操作的程序。存储器160可以临时地存储输入/输出数据（例如，电话本、消息、静止图片和/或运动图像等等）。存储器160可以存储当触摸屏接收到触摸输入时以各种方式输出的振动和声音的数据。

存储器160可以包括例如闪存存储器、硬盘、多媒体卡微型存储器、卡型存储器（例如，SD存储器、XD存储器等等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁存储器、磁盘或光盘。移动终端100可以与经由因特网执行存储器160的存储功能的网络存储器相关联地进行操作。

接口单元170将移动终端100与外部装置耦接。接口单元170接收来自外部装置的数据。接口单元170被提供有电力并且可以被构造为将电力传递给移动终端100内的元件。接口单元170可以被构造为使得数据能够被从移动终端100传送到外部装置。接口单元170可以被构造为包括有线/无线耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接具有用户标识模块的装置的端口、音频I/O端口、视频I/O端口或耳机端口。

标识模块是存储用于对使用移动终端100的权限进行验证的各种信息的芯片或卡并且能够包括用户身份模块（UIM）、订户身份模块（SIM）和/或通用订户身份模块（USIM）。设置有上述标识模块的装置（下面称为“识别装置”）可以制造为智能卡的形式。标识装置可以通过对应的端口连接到移动终端100。

接口单元170可以被构造为将电力从连接到移动终端100的托架提供到移动终端100的路径。接口单元170可以有利于用户经由托架输入的各种命令信号传递给移动终端100。经由托架输入的各种命令信号或电力可以用作用于识别出移动终端100正确地设置在托架中的信号。

控制器180通常控制移动终端100的整体操作。例如，控制器180执行与语音通话、数据通信和视频会议相关的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以被构造为控制器180的一部分或者可以被构造为单独的组件。控制器180还可以执行模式识别处理以将在触摸屏上执行的手写输入识别为字符和/或将在触摸屏上执行的图片绘制输入识别为字符或图像。

电源单元190提供移动终端100的各部件所需的电力。该电力可以是内部电力、外部电力或其组合。

在下面的描述中描述的本发明的实施方式可以使用软件、硬件或其组合实施在能够由计算机或计算机类装置读取的记录介质内。对于硬件实施，可以用以下各项中的至少一种来实现实施方式和布置：专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理装置（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器或用于执行功能的电子单元。可以由控制器180实现这样的实施方式。

对于软件实现，可以用执行这里描述的功能或者操作中的一个或多个的诸如过程和功能的单独的软件模块来实现这里描述的实施方式和布置。可以利用以适当的编程语言编写的软件应用来实现软件代码，或者可以将软件代码存储在存储器160中并由控制器180来执行。

接下来，图4是根据本发明的第一实施方式的移动终端的控制方法的流程图。控制方法能够在参考图3描述的移动终端100中实施。现在将描述根据本发明的第一实施方式的移动终端的操作。

特别地，第一实施方式涉及捕获情景信息并且将捕获的信息传输给云服务器200和从云服务器200接收内容的移动终端100的操作。

参考图4，移动终端100的控制器180能够获得情景信息（S110）。如图1中所描述的，控制器180能够通过情景信息捕获单元收集情景信息。例如，情景信息捕获单元能够包括相机、温度传感器、SNS服务应用、语音识别模块和用户资料。

控制器180能够将所捕获的情景信息传输给云服务器200（S120）并且从云服务器200接收对应于基于情景信息识别出的用户情景的服务（S130）。

接下来，图5是更详细地示出第一实施方式的移动终端的操作的流程图，并且图6示出了用于实施第一实施方式的移动终端的功能块。参考图5至图6，控制器180能够从至少一个情景信息捕获单元获得情景信息（S210）。

如图6中所示，移动终端100能够通过用于收集情景信息的接口CI捕获情景信息。接口CI例如能够包括相机121、温度传感器142、SNS服务应用161、语音识别模块（麦克风）122和用户资料162。

另外，移动终端100能够通过整合模块183整合收集的情景信息中的至少一个（S220）。例如，捕获的情景信息可以使得（1）通过相机121获得的用户面部为暗；（2）通过移动终端100的感测单元（例如，温度传感器）140获得的用户手掌的温度升高两度；（3）从通过SNS服务应用161通信的消息中提取了与“聚会”相关的关键字；（4）通过语音识别模块122获得的用户的音高比正常条件下低；（5）从语音识别出的关键字中提取了“相亲”；（6）删除了用户资料162中存在的电话号码。

能够通过各情景信息捕获机构来收集在上述情况（1）至（6）中示出的情景信息，并且能够通过整合情景信息的整合模块183整合各情景信息。

之后，载荷生成器182能够生成关于整合后的情景信息的情景载荷并且将载荷存储在存储器160中。例如，图7是在根据本发明的第一实施方式的移动终端中产生的情景载荷的示例。

参考图7，情景载荷包括头1和收集的情景信息2-5。例如，通过相机121捕获的用户的脸部表情2、通过温度传感器140获得的温度3、通过语音识别模块122捕获的用户的语音4、通过位置信息模块115获得的用户的当前位置5能够组合为单个数据组并且传输给云服务器200（S230）。

上面描述了捕获用户的情景信息并且将信息传输给云服务器200的移动终端100。下面描述通过使用捕获的情景信息将内容提供给用户的云服务器200。

具体地，图8是根据本发明的第二实施方式的用于服务器（例如，云服务器200）的控制方法的流程图，并且图9示出了用于实施第二实施方式的服务器的功能块。参考图8至图9，云服务器200接收来自移动终端100的情景载荷（S310）。

如图9中所示，云服务器200包括载荷解析器210、情景推断单元220、整合DB230、反馈系统240、主题选择器250和表选择器260。云服务器200可以具有除了上述构造之外的不同构造。载荷解析器210解析接收到的情景信息载荷（S320）。

解析结果能够存储在整合DB230中并且每个情景信息能够根据各情景信息捕获单元来分类并且存储在其中。此外，情景推断单元220能够根据解析结果推断用户情景。例如，如上所述，能够从用户的面部表情、从用户资料中删除联系人地址、从通过SNS应用通信的消息中提取的关键字等等推断用户情景为“聚会”。

同时，情景推断单元220能够参考情景信息和情景信息的整合DB230推断用户的情绪因素（S330）。能够确定对应于如上确定的情绪因素的用户情景（S340）。例如，情景推断单元220能够推断当前的用户情景为“聚会”并且额外地确定用户的情绪为“沮丧”、“难过”、“孤独”或“悲伤”。

此外，主题选择器250能够将情绪、位置和情景信息的捕获日期组合为组并且各组能够包括组织根据内容的优先级为用户推荐的内容的数据列表。如果通过情景推断单元220确定了用户的情绪，则主题选择器250能够参考上面确定的用户的情绪选择可用的服务。

云服务器200的控制器能够向内容提供商请求与上面确定的用户情景相关的服务（S350）。接下来，控制器能够接收到来自内容提供商的表选择列表260并且根据表选择列表260为移动终端100提供适合的服务（S360）。类似地，控制器能够提供与连接到移动终端100的N屏的至少一个外部装置相关的服务。

这时，由于表选择列表260根据各属性提供将提供给特定装置的内容或服务的列表，因此，云服务器200能够通过考虑优先级而将适合于用户情景的服务提供给各装置。

能够根据云服务器200的服务请求从内容提供商300接收表选择列表260。将参考图10更详细地描述表选择列表260。

接下来，图10是从图1中所示的内容提供商获得的内容映射列表，其表示按照提供给N屏环境的终端的优先级的顺序的服务的列表。参考图10，内容提供商300能够包括组织多个主题信息的主题的列表。

每个主题信息能够包括针对各装置的至少一个优先级。例如，主题1提供指示将第一N屏的背景画面改变为灰色的项目。对于主题1所应用到的第二N屏，应用VOD0105%。当施加第二优先级时将VOD0206%应用于第二N屏。对于优先级3至5应用类似的规则，如图10中所示。

同时，参考图10，云服务器200能够从提供自内容提供商300的主题列表260中选择对应于用户的情绪的预定主题并且为移动终端100提供与所选择的主题对应的服务。

另外，云服务器200能够为通过移动终端100的N屏连接的至少一个外部装置提供与根据所选择的主题确定的优先级对应的服务。

接下来，图11是用于示出本发明的第三实施方式的系统环境。根据本发明的移动终端100通过预定网络连接到至少一个N屏装置10a、10b、10c。预定网络是局域网并且能够包括DLNA（数字生活网络联盟）网络。

移动终端100能够控制N屏装置10a、10b、10c并且控制由云服务器200提供给N屏装置10a、10b、10c的内容的类型。参考图11，移动终端100具有提供给移动终端100和通过N屏连接到移动终端100的至少一个N屏装置10a、10b、10c的内容的列表；并且能够改变内容的列表中将提供给特定N屏装置的内容。

移动终端100能够将改变后的内容的列表传输给云服务器200。云服务器200基于改变后的内容的列表将预定内容提供给移动终端100和N屏装置10a、10b、10c。

因此，用户针对N屏装置10a、10b、10c的用户模式可以根据用户的当前状况而改变；随着用户的状况的改变，提供给各N屏装置10a、10b、10c的内容可以对应于自动地反映用户的改变后的状况的那些内容。

图12是根据本发明的第三实施方式的移动终端的控制方法的流程图，并且图13至图18是用于示出本发明的第三实施方式的图。参考图12，移动终端100能够修改将提供给N屏装置10a、10b、10c的内容。

当将提供给N屏装置10a、10b、10c的内容被修改时，移动终端100能够将内容修改信息传输给云服务器200（S420），并且基于从云服务器200接收的修改后的内容表，接收内容（S430）。

参考图13，根据本发明的一个实施方式，优选地为移动终端100登记个人信息以便于用户访问由系统提供的服务。而且，移动终端100能够自动地设置至少一个外部装置（例如，N屏装置10a、10b、10c）以接收基于云的服务或者用户能够手动地设置至少一个外部装置。

当登记了用户的个人信息并且确定了用于N屏配置的方式时，根据本发明的实施方式，移动终端100能够在触摸屏151上显示用于提供基于云的服务的用户界面（UI）。

参考图14，用户界面（UI）是基本菜单，其包含“N屏登记”、“当前状态”、“设置”和“内容表”。而且，根据情况，各项目能够具有子项目。

参考图15，“N屏登记”能够通过自动地搜索将连接到移动终端100的N屏的装置或者通过用户手动输入各装置的MAC地址来选择将连接到N屏的装置。

当选择了“自动”时，移动终端100和作为N屏自动连接的装置（TV、PC和平板PC的MAC地址）被自动地登记并且能够在触摸屏151上显示已登记的装置的列表。当选择了“手动”时，用户能够直接登记各装置。

参考图16，“当前状态”能够包含用户的“情绪”、“位置”和“资料”。由于移动终端100收集各种信息并且将信息传输给云服务器200，因此，能够通过从云服务器200接收用于项目的信息来设置“当前状态”项目。

“情绪”项目可以用于通过设置各种环境来确定用户的情绪。“位置”项目能够用于分析用户的位置历史。“资料”项目能够包含用户的ID、国籍、地址、电话号码等等。用户能够直接检查“当前状态”项目。

参考图17，“反馈设置”项目能够设置反馈服务。反馈服务为云服务器200提供用户对于由云服务器200提供的内容（服务）的满意度的反馈；如果云服务器200从移动终端100接收到反馈，则云服务器200能够将下一优先级的内容提供给移动终端100。

同时，“信息设置”项目允许用户选择所捕获的情景信息的类型。因此，用户能够直接设置“相机、温度传感器、SNS服务和语音”中在用户从云服务器200接收预定服务时的情景信息的确定标准。

参考图18，“内容表”项目对应于包含按照优先级的顺序为N屏装置提供的内容的列表的文件，并且如果接收到与内容表相关的预定输入，则移动终端100的控制器180能够改变将提供给各N屏装置的内容或优先级。

例如，能够通过关于特定内容的拖放输入来改变将提供给N屏装置的内容和优先级。换言之，存储在移动终端100中的“内容表”项目在被传输到云服务器200时与云服务器200同步；云服务器200能够通过反映“内容表”中的修改的项目来将内容提供给各N屏装置。

根据本发明的第三实施方式，能够更容易地改变、修改和删除将提供给N屏装置的内容。而且，用户能够直接检查他或她的当前状态并且直接修改他或她的当前状态。而且，由于云服务器200的存在，用户能够检查移动终端100中的来自云服务器200的软件方面存在那些修改并且接收反映了修改的内容。

图19是用于示出本发明的第四实施方式的系统环境。参考图19，N屏装置10a、10b、10c不仅能够从云服务器200接收内容而且能够将与各装置的使用相关的情景信息传输给云服务器200。

例如，PC10a能够将PC使用时间的信息传输给云服务器200，并且TV10b能够将TV观看时间的信息传输给云服务器200。而且，平板PC10c能够将频繁访问的网站的信息传输给云服务器200。

云服务器200能够通过从N屏装置10a、10b、10c接收关于各装置的使用信息更新内容表并且将更新后的内容表传输给移动终端100。另外，云服务器200能够基于更新后的内容表将预定内容提供给移动终端100和N屏装置10a、10b、10c。

接下来，图20至图21是用于示出本发明的第四实施方式的图。参考图20，根据本发明的第四实施方式，当N屏装置10a、10b、10c的情景信息被传输给云服务器200时，移动终端100能够监视该传输。

为此，移动终端100能够执行用于监视N屏装置的情景信息的应用。当该应用被执行时，N屏状态和N屏设置项目能够显示在触摸屏151上。

如果选择了N屏状态项目，则为N屏装置当前提供的内容的列表能够显示在触摸屏151上。内容的列表能够包括内容的标题、各内容的用户满意度、使用时间的信息、对应内容的链接信息等等。

图21示出了移动终端100的控制器180执行用于监视N屏装置的情景信息的应用程序并且显示能够由各N屏装置传输到云服务器200的情景信息以便于选择的屏幕显示的示例。

换言之，参考图21，对于N屏装置（平板PC、TV、PC、导航装置）来说，使用时间信息可用于所有装置；能够从平板和PC收集书签项目；并且在平板和导航装置的情况下，它们能够被设置为能够收集位置信息。

如上所述，移动终端100能够设置从N屏装置传输到云服务器200的情景信息并且监视收集N屏装置的情景信息的当前状态。因此，N屏装置能够在软件方面将情景知晓因素传输给云服务器200并且移动终端100能够通过执行监视应用检查从N屏装置传输到云服务器200的信息。

接下来，图22至图23示出了通过特定的情景知晓的用于本发明的实施方式的云服务器的服务提供方法。参考图22，移动终端100能够执行N屏服务应用（S1001）。

对于N屏装置的自动登记（S1002），云服务器200能够接收来自移动终端100和通过N屏连接到移动终端的至少一个外部装置的情景信息。云服务器200能够基于接收到的情景信息识别用户情景（S2002）。

例如，云服务器200可以基于通过相机捕获的用户的面部表情推断用户当前不高兴。而且，云服务器200能够了解通过温度传感器获得的用户的手掌和面部的温度已经升高了两度。此外，云服务器200能够了解从通过SNS应用程序通信的消息中提取的关键字为词语“聚会”和“眼泪”。

通过语音识别模块获得的用户的音高低于正常情况并且能够了解，已经从语音识别出的关键字中提取了词语“相亲”。而且，云服务器200能够了解，用户的女朋友的电话号码已经被从用户资料中移除（S2100）。

云服务器200能够基于识别出的用户情景选择将提供给移动终端100的内容的主题。云服务器200推断出用户的情绪为“沮丧”并且能够基于收集用户的情绪、位置和情景信息的时间信息选择相关主题（主题32）（S2002）。

云服务器200能够基于所选择的主题向内容提供商（CP）请求内容（S2003）。内容提供商（CP）响应于云服务器200的请求将预定的内容表2300传输给云服务器200并且云服务器200能够将相关的内容传输给移动终端100和作为移动终端100的N屏连接的至少一个外部装置。

内容表2300基于用户的当前的情景信息（聚会且沮丧）可以推荐用于移动终端100的有趣的游戏应用程序的列表；用于TV的喜剧电影；用于PC的游戏项目的折扣信息；以及用于平板PC的旅行信息。换言之，基于从包括移动终端100的N屏装置收集的情景信息，云服务器200能够向各N屏装置提供相关内容（服务）。

同时，在图22的实施方式中，移动终端100能够执行手动设置N屏装置的过程。

参考图23，当手动设置N屏装置的登记时，用户能够直接修改移动终端100中的内容表。例如，基于图22中所示的内容表2500，TV02可以添加到N屏装置的列表。而且，用户能够通过移动终端100直接检查他或她的当前情绪状态。

而且，例如，用户能够从情景信息中移除面部表情相关因素并且能够将新的地址添加到用户资料中。而且，用户能够从图22中所示的内容表2500中移除为平板PC提供的电影。

在该情况下，如图23中所示，能够注意到的是，通过使用相机输入识别面部表情的项目已经被从用户情景识别结果2400中移除；TV02已经被新添加到内容表2500；并且已经删除了为TV01提供的电影。

根据本发明的一个实施方式的移动终端和移动终端的控制方法提供了下述有利效果。

根据本发明，通过使用云计算服务，能够将情景知晓服务提供给在N屏环境中操作的终端中的至少一个。而且，获得用户情景信息的云服务器能够基于用户情景信息为在N屏环境中操作的终端中的至少一个提供适合用户的服务。

此外，能够根据用户情景使在云计算环境中提供的服务个性化并且能够为用户提供个性化服务。

根据本发明的实施方式的用于控制移动终端的方法可以记录在计算机可读记录介质上作为将在计算机中执行的程序并且进行提供。此外，根据本发明的实施方式的用于控制移动终端的放哪广发可以由软件来执行。当由软件执行时，本发明的实施方式的元素是执行所需操作的代码段。程序或者代码段可以存储在处理器可读介质中或者可以在传输介质或者通信网络中通过与载波耦合的数据信号来进行发送。

计算机可读记录介质包括存储能够由计算机系统读取的数据的任意种类的记录装置。计算机可读记录介质包括ROM、RAM、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、硬盘、光学数据存储装置等等。而且，可以在计算机可读记录介质中存储并执行分布在由网络连接的计算机装置中并且能够由计算机以分布式的方式读取的代码。

由于在不偏离其特性的情况下可以以多种形式来实施本发明，因此应当理解的是，上述实施方式不受到前述描述的任何细节的限制，除非另有所述，相反地，上述实施方式应该在如所附权利要求限定的范围内广泛地进行理解，并且因此，落入权利要求的范围和边界或这样的范围和边界的等价物内的所有改变和修改因此意在由所附权利要求涵盖。

Claims (20)

1.一种移动终端，所述移动终端包括：

无线通信单元；

情景信息捕获单元，所述情景信息捕获单元被构造为捕获包括关于所述移动终端的用户的用户专属情景信息的情景信息；以及

控制器，所述控制器被构造为：

控制所述无线通信单元以将所捕获的情景信息发送给云服务器，以及

从所述云服务器接收响应于所述用户专属情景信息由所述云服务器生成的服务。

2.根据权利要求1所述的移动终端，其中，所述情景信息捕获单元包括用于捕获发送给所述云服务器的所述用户专属情景信息的相机、传感器、SNS应用程序、语音识别模块和用户资料中的至少一种。

3.根据权利要求2所述的移动终端，其中，所述用户专属情景信息包括通过所述相机获得的用户的面部表情、通过所述温度传感器获得的用户的身体的至少一部分的温度、通过所述SNS应用程序与用户通信的消息、通过所述语音识别模块获得的用户的语音识别关键字、音高和关于所述用户资料的变化的信息。

4.根据权利要求1所述的移动终端，其中，所述无线通信单元被进一步构造为与至少一个外部装置形成网络，并且

其中，所述控制器被进一步构造为监视并存储由所述至少一个外部装置传输给所述服务器的情景信息。

5.根据权利要求4所述的移动终端，其中，所述控制器被进一步构造为在数据库中按照提供给所述移动终端和通过所述服务器提供的至少一个外部服务的各服务的优先级的顺序存储服务的列表。

6.根据权利要求5所述的移动终端，其中，所述控制器被进一步构造为响应于接收到改变所述服务的列表中包括的至少一个服务项目的输入，控制所述无线通信单元以将改变后的服务列表发送给所述服务器，并且基于所述改变后的服务列表，控制将被提供给所述移动终端和所述至少一个外部装置的预定服务。

7.根据权利要求1所述的移动终端，其中，所述控制器被进一步构造为控制所述无线通信单元以向所述服务器发送关于用户满意度的评价信息并且根据所述评价信息请求较低优先级的服务。

8.根据权利要求1所述的移动终端，其中，对应于所述情景信息的服务包括基于所述情景信息的内容推荐和所述移动终端的主题改变中的至少一种。

9.一种服务器，所述服务器包括：

通信单元，所述通信单元被构造为与移动终端无线地通信；

数据库，所述数据库被构造为存储通过所述通信单元从所述移动终端接收到的情景信息；

情景推断单元，所述情景推断单元被构造为根据在所述数据库中存储的所述情景信息推断用户情景；以及

控制器，所述控制器被构造为响应于所推断的用户情景生成服务，并且将生成的服务发送给所述移动终端。

10.根据权利要求9所述的服务器，其中，所述控制器被进一步构造为，基于所述情景信息，将不同的生成的服务选择性地传输到连接到所述移动终端的不同的电子装置。

11.根据权利要求9所述的服务器，其中，所述数据库被进一步构造为，将用户的情绪和位置信息以及捕获所述情景信息的时间信息组合为一组并且通过将该组映射到对应的主题来存储该组。

12.一种控制移动终端的方法，所述方法包括：

经由所述移动终端的情景信息捕获单元捕获包括关于所述移动终端的用户的用户专属情景信息的情景信息；以及

经由所述移动终端的无线通信单元将捕获的情景信息发送给云服务器；以及

经由所述移动终端的控制器从所述云服务器接收响应于所述用户专属情景信息由所述云服务器生成的服务。

13.根据权利要求12所述的方法，其中，

经由所述移动终端的相机、传感器、SNS应用程序、语音识别模块和用户配置文件中的至少一个捕获所述情景信息。

14.根据权利要求13所述的方法，其中，所述用户专属情景信息包括通过所述相机获得的用户的面部表情、通过所述温度传感器获得的用户的身体的至少一部分的温度、通过所述SNS应用程序与用户通信的消息、通过所述语音识别模块获得的用户的语音识别关键字、音高和关于所述用户档案的变化的信息。

15.根据权利要求12所述的方法，所述方法进一步包括：

经由所述无线通信单元与至少一个外部装置形成网络；以及

监视并存储由所述至少一个外部装置传输给所述服务器的情景信息。

16.根据权利要求15所述的方法，所述方法进一步包括下述步骤：

响应于接收到改变所述服务的列表中包括的至少一个服务项目的输入，

经由所述无线通信单元将改变后的服务列表发送给所述服务器；以及

基于所述改变后的服务列表，将预定服务提供给所述移动终端和连接到所述移动终端的所述至少一个外部装置。

17.根据权利要求12所述的方法，所述方法进一步包括：

向所述服务器发送关于用户满意度的评价信息；以及

根据所述评价信息请求较低优先级的服务。

18.根据权利要求12所述的方法，其中，对应于所述情景信息的服务包括基于所述情景信息的内容推荐和所述移动终端的主题改变中的至少一种。

19.一种控制服务器的方法，所述方法包括：

经由所述服务器的通信单元与移动终端无线地通信；

在与所述服务器关联的数据库中存储通过所述通信单元从所述移动终端接收到的情景信息；

经由所述服务器的情景推断单元根据在所述数据库中存储的所述情景信息推断用户情景；以及

经由所述服务器的控制器，响应于所推断的用户情景生成服务，并且将生成的服务发送给所述移动终端。

20.根据权利要求19所述的方法，所述方法进一步包括：

基于所述情景信息，将不同的生成的服务选择性地传输到连接到所述移动终端的不同的电子装置。

Images