CN108293182A - 移动设备和方法 - Google Patents

Abstract

一种移动设备(100)，包括：显示器(940)和处理器(920)。其中，所述处理器(920)用于：拦截应用发送的信息，所述信息将在显示器(940)上显示；识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中；重新格式化识别出的将在显示器(940)上显示的信息实体的外观；转发拦截的信息，所述拦截的信息包括识别出的将在显示器(940)上显示的信息实体的重新格式化后的外观。所述显示器(940)用于：向所述移动设备(100)的用户呈现所述识别出的具有重新格式化后的外观的信息实体。还公开了一种相应的方法(800)。

Description

移动设备和方法

技术领域

本文所描述的实施方式通常涉及一种移动设备及其中的方法。特别地，本文描述了一种基于移动设备中所运行的应用的用户生成数据以增强用户体验的机制。

背景技术

移动计算中的活动感知对于在移动设备中创造智能个性化服务/功能的新方法有启发作用。这种方法的最终目标是丰富用户体验并增强软件功能。

将移动操作系统与活动感知计算相结合的主要挑战之一是难以在不涉及用户隐私并保护收集到的敏感数据的前提下，从用户的个人手机/移动设备捕捉并分析他们生成的内容。

尽管存在从社交计算应用中收集并提取用户生成的文本内容的传统方案，但是当涉及用户的个人信用时，这些方案都无法令人满意。所有已知的传统方案包括：从电子邮箱客户端和/或短消息业务(Short Message Service，简称SMS)应用等各种应用中收集用户生成文本；更通常地，统计与访问的网页、通信部件等相关的移动设备使用情况。

这种方法可以为用户提供例如关于他们的航班的提醒，符合他们偏好的附近的地点，也可以增强用户用他/她的手机主动进行的搜索查询。但不幸的是，用户只有在将他/她的个人数据公开并共享到例如云端等处于移动设备外部的网络服务之后，才能使用所有那些应用。此外，收集到的信息会被储存在用户个人移动设备外部的某些远程服务器中。

从用户的移动设备中提取个人/私人信息并通过网络将其发送至中央服务器进行分析和存储，会令很多重视他们隐私的用户感到沮丧。甚至，提取出的个人/私人信息可能会被恶意的第三方利用(例如，一个窃贼可能会检测到某个用户会在某段时间内旅行，并使用这个信息选择时间进行入室盗窃；或者关键的商业信息可能会泄露给竞争对手)。

这些严重的缺陷使很多用户不愿意使用所述的传统方案。但是，仍然存在个性化的主动服务功能的需求。

发明内容

因此，本文旨在避免上述提到的至少部分缺点，并基于移动设备中所运行的应用的用户生成数据增强用户体验。这个以及其他目的通过所附独立权利要求的特征来实现。结合从属权利要求、说明书和附图，具体实现形式显而易见。

第一方面，提供一种移动设备。所述移动设备包括显示器和处理器。所述处理器用于拦截应用发送的信息，所述信息将在移动设备的显示器上显示。进一步地，所述处理器还用于识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中。并且，所述处理器还用于重新格式化识别出的将在显示器上显示的信息实体的外观。此外，所述处理器还用于转发拦截的信息，所述拦截的信息包括识别出的将在显示器上显示的信息实体的重新格式化后的外观。所述显示器用于向所述移动设备的用户呈现所述识别出的具有重新格式化后的外观的信息实体。

由于所描述的方面，所述处理器可以检测到例如从第三方应用发送到显示应用的显示命令等信息，所述显示命令包括文本、图形、格式、位置等，所述信息属于预定义的信息实体类型。例如，所述预定义的信息实体类型可以与会议的时间和地点有关，所述会议的时间和地点由移动设备的用户或他/她的通信对象在第三方程序的通信交换中输入。在显示器上呈现之前，可以重新格式化这种检测到的信息，例如，突出显示某些信息，提供互联网快捷方式，或者将会议数据插入到移动设备的日历程序中等。从而增强用户体验。

通过在移动设备本地执行方法，不会侵犯用户的隐私。通过所提供的方案，也不会破坏文本的结构。

根据第一方面，在所述移动设备的第一种可能的实现方式中，所述应用为即时通讯应用，且所述拦截的信息包括即时消息，所述处理器用于基于所述拦截的信息确定所述即时消息在显示器上的显示位置。进一步地，所述处理器还用于基于确定的显示位置确定所述即时消息的来源。所述处理器也用于基于确定的来源重新格式化识别出的信息实体的外观。

因此，通过确定所述拦截的信息的显示位置，可以确定所述信息的来源，即移动设备的用户或者该用户的通信对象。通过基于所述来源重新格式化所述信息，可以进一步增强用户体验。

根据第一方面，或者根据第一方面的所述移动设备的第一种可能的实现方式，在所述移动设备的第二种可能的实现方式中，所述处理器还用于基于识别出的信息的信息实体类型将识别出的信息实体与另一应用进行映射。所述处理器也用于在识别出的信息实体和映射的应用之间创建快捷链接。进一步地，所述移动设备的显示器用于显示所述快捷链接。

因此，详细说明了另外的实施方式，以增强用户体验并简化用户的移动使用。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第三种可能的实施方式中，所述拦截的信息为从所述应用发送至显示应用的控制消息。所述控制消息至少包括将在显示器上显示的信息实体，并且指示在显示器上显示所述信息实体的外观，更可取地，还指示在显示器上显示所述信息实体的位置。所述处理器用于将拦截的信息转发至所述显示应用，所述拦截的信息包括识别出的信息实体的重新格式化后的外观。

通过拦截从第三方应用发送至显示应用(用于控制所述移动设备的显示器)的控制命令，可以在不访问所述第三方应用或不改变所述第三方应用的源代码的情况下，重新格式化所述信息实体。因此，对于所述第三方应用，重新格式化的全部过程是不可见的。因此，由于第三方应用的类型和功能的独立性，通过添加如本发明所述的功能以增强用户体验是可行的。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第四种可能的实施方式中，所述处理器还用于识别包括以下任一项的信息实体类型：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频或图像呈现的电子邮箱地址。

因此，进一步详细说明了信息实体类型。通过从移动设备(由用户或另一方输入)的会话中检测并提取这些信息实体类型，可以检测到某项预约，例如关于航班、商务会议或就医的预约，并将这项预约储存在日历应用中，而且可以设置提醒，以提醒用户这项预约。从而增强了用户体验并简化了移动设备的使用。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第五种可能的实施方式中，当识别出信息实体为时间相关的信息实体类型时，所述处理器还用于根据信息实体表示用户的日历应用中在识别出的时间/日期的事件。

通过识别例如聊天文本或消息交换中的日历相关的信息，可以将识别出的信息插入到用户的日历程序中。因此，用户无需将会议数据手动输入到日历程序中，节约了时间，并为用户带来便利。此外，降低甚至避免了向日历程序键入错误数据的风险。从而降低了错过会议、预约或预定事件的风险。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第六种可能的实施方式中，所述处理器还用于基于信息实体类型将识别出的信息实体与应用进行映射，具体为映射：姓名到电话簿应用，位置到地图应用，时间/日期到日历应用，地址到地图应用，URL到网络浏览器应用，电话号码到SMS应用，和/或电子邮箱地址到电子邮件应用。

因此，详细说明了另外的实施方式，以增强用户体验并简化用户的移动使用。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第七种可能的实施方式中，当信息实体包括文本时，所述处理器还用于通过富文本格式重新格式化识别出的信息实体在应用中的外观。

因此，用户可以立即识别并读取文本消息中的重要信息，从而进一步增强了用户体验。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第八种可能的实施方式中，所述处理器还用于设置提醒，以提醒用户在用户的日历应用中表示的事件。

因此，可以将检测到的事件通知给用户，有助于用户避免错过所述检测到的事件。

根据第一方面或其上述可能的实施方式中的任意一种，在所述移动设备的第九种可能的实施方式中，所述处理器还用于添加可点击事件，所述可点击事件与日历应用相链接，并显示会议的详细信息。

因此，用户可以轻松找到日历应用中的事件，并检查插入的数据是否正确，而且用户可以向日历应用中输入附加信息。

第二方面，提供一种在移动设备本地执行的方法。所述方法包括：拦截应用发送的信息，所述信息将在移动设备的显示器上显示。进一步地，所述方法包括：识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中。此外，所述方法也包括：重新格式化识别出的将在显示器上显示的信息实体的外观。所述方法还包括：转发拦截的信息，所述拦截的信息包括识别出的将在显示器上显示的信息实体的重新格式化后的外观。此外，所述方法还包括：向所述移动设备的用户呈现所述识别出的具有重新格式化后的外观的信息实体。

由于所描述的方面，可以检测到来自于第三方程序的显示命令等信息，所述显示命令包括文本、图形、格式、位置等，所述信息属于预定义的信息实体类型。例如，所述预定义的信息实体类型可以与会议的时间和地点有关，所述会议的时间和地点由移动设备的用户或他/她的通信对象在第三方程序的通信交换中输入。在显示器上呈现之前，可以重新格式化这种检测到的信息，例如，突出显示某些信息，提供互联网快捷方式，或者将会议数据插入到移动设备的日历程序中等。从而增强用户体验。

通过在移动设备本地执行方法，不会侵犯用户的隐私。通过所提供的方案，也不会破坏文本的结构。

根据第二方面，在所述方法的第一种可能的实现方式中，所述应用为即时通讯应用，且所述拦截的信息包括即时消息，所述方法还包括：基于所述拦截的信息确定所述即时消息在显示器上的显示位置。进一步地，所述方法包括：基于确定的显示位置确定所述即时消息的来源。此外，所述方法也包括：基于确定的来源重新格式化识别出的信息实体的外观。

因此，通过确定所述拦截的信息的显示位置，可以确定所述信息的来源，即移动设备的用户或者该用户的通信对象。通过基于所述来源重新格式化所述信息，可以进一步增强用户体验。

根据第二方面，或者第二方面的第一种可能的实现方式，在所述方法的第二种可能的实现方式中，所述方法也包括：基于识别出的信息的信息实体类型将识别出的信息实体与另一应用进行映射。所述方法还包括：在识别出的信息实体和映射的应用之间创建快捷链接。

因此，详细说明了另外的实施方式，以增强用户体验并简化用户的移动使用。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第三种可能的实施方式中，所述拦截的信息为从所述应用发送至显示应用的控制消息。所述控制消息至少包括将在显示器上显示的信息实体，并且指示在显示器上显示所述信息实体的外观，更可取地，还指示在显示器上显示所述信息实体的位置。所述方法也包括：将拦截的信息转发至所述显示应用，所述拦截的信息包括识别出的信息实体的重新格式化后的外观。

因此，进一步详细说明了移动设备的方法的实施方式细节。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第四种可能的实施方式中，所述信息实体类型包括以下任一项：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频或图像呈现的电子邮箱地址。

因此，进一步详细说明了信息实体类型。通过从移动设备(由用户或另一方输入)的会话中检测并提取这些信息实体类型，可以检测到某项预约，例如关于航班、商务会议或就医的预约，并将这项预约储存在日历应用中，而且可以设置提醒，以提醒用户这项预约。从而增强了用户体验并简化了移动设备的使用。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第五种可能的实施方式中，所述方法也包括：当识别出信息实体为时间相关的信息实体类型时，根据信息实体表示用户的日历应用中在识别出的时间/日期的事件。

通过识别例如聊天文本或消息交换中的日历相关的信息，可以将识别出的信息插入到用户的日历程序中。因此，用户无需将会议数据手动输入到日历程序中，节约了时间，并为用户带来便利。此外，降低甚至避免了向日历程序键入错误数据的风险。从而降低了错过会议、预约或预定事件的风险。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第六种可能的实施方式中，基于信息实体类型将识别出的信息实体与应用进行映射，具体为映射：姓名到电话簿应用，位置到地图应用，时间/日期到日历应用，地址到地图应用，URL到网络浏览器应用，电话号码到SMS应用，和/或电子邮箱地址到电子邮件应用。

因此，进一步详细说明了信息实体类型。通过从移动设备的会话中检测并提取这些信息实体类型，可以检测到某项预约，例如关于航班、商务会议或就医的预约，并将这项预约储存在日历应用中，而且可以设置提醒，以提醒用户这项预约。从而增强了用户体验并简化了移动设备的使用。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第七种可能的实施方式中，所述方法还包括：当信息实体包括文本时，通过富文本格式重新格式化识别出的信息实体在应用中的外观。

因此，用户可以立即识别并读取文本消息中的重要信息，从而进一步增强了用户体验。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第八种可能的实施方式中，所述方法还包括：设置提醒，以提醒用户在用户的日历应用中表示的事件。

因此，可以将检测到的事件通知给用户，有助于用户避免错过所述检测到的事件。

根据第二方面或其上述可能的实施方式中的任意一种，在所述方法的第九种可能的实施方式中，所述方法还包括：添加可点击事件，所述可点击事件与日历应用相链接，并显示会议的详细信息。

因此，用户可以轻松找到日历应用中的事件，并检查插入的数据是否正确，而且用户可以向日历应用中输入附加信息。

根据第三方面，提供一种计算机程序，所述计算机程序包括：程序代码，用于当所述计算机程序在计算机上运行时，执行根据第二方面或其可能的实施方式中任一项的方法。

第三方面的计算机程序的优点与相对应的第一方面的设备权利要求和/或第二方面的方法的优点相同。因此，基于从移动设备的应用中提取的用户生成数据，增强了用户体验。

以下将对本发明各方面的其他目的、优点以及新特性做清晰具体的描述。

附图说明

附图图示出本发明实施例的实例，结合这些附图对各实施例进行更详细地描述，在附图中：

图1为一实施例提供的移动设备和聊天程序会话的框图；

图2为一实施例提供的解析和编辑视图的层次的流程图；

图3为一实施例提供的文本视图中心的框图；

图4为一实施例提供的视图中心的框图；

图5为一实施例提供的基于位置聚类文本视图的数据流的流程图；

图6为一实施例提供的文本格式化的流程图；

图7A为一实施例提供的移动设备和聊天程序会话的框图；

图7B为一实施例提供的移动设备和聊天程序会话的框图；

图7C为一实施例提供的移动设备和聊天程序会话的框图；

图8为本发明实施例提供的移动设备中的方法的流程图；

图9为本发明实施例提供的移动设备的框图。

具体实施方式

本发明实施例定义了移动设备、以及在移动设备本地执行的方法，可以在下文描述的实施例中实施。然而，这些实施例可为示例性的并且可采取多种不同的形式实现，且不限于本文所提出的示例；实际上，提供了这些实施例的说明性示例使得本发明将变得透彻且完整。

从以下结合附图考虑的详细说明中，还可清楚地了解其他目标和特征。然而，应当理解的是附图仅仅为了说明，而不能作为对实施例的限制；对于实施例，应参考所附权利要求。进一步地，附图不一定按照比例绘制，除非另有说明，否则它们仅仅是对结构和流程的概念性说明。

图1为移动设备100以及聊天程序环境中的会话的示意图。

移动设备100可以包括蜂窝电话手机、智能手机、平板电脑、移动电脑、上网本、笔记本电脑、智能眼镜、智能手表、游戏设备等。

通过研究移动用户怎样使用他们的移动设备100进行日常活动，使构造出能够满足用户需求的非常个性化的服务/应用成为可能。本文所述的方法包括从移动设备100的第三方应用中提取文本内容的通用方法。可以使用客户端命名实体识别(Named EntityRecognition，简称NER)服务来分析提取和收集到的文本，以便通过外界将文本格式和可点击事件添加到原始文本中。

本文所述的各种实施例在智能移动操作系统和活动感知计算领域做出了贡献。具体的，本文描述了一种提取移动设备100中所发现的文本内容的实时方法。在提取并收集到数据之后，使用NER服务识别所有的关键词和命名实体。NER服务的结果将用于通过外界从视觉上注释并格式化应用中的文本。此外，某些可点击事件可能被输入到文本中。这些可点击事件可用于提出新的导航模型，新的可点击事件可包括一对可执行活动和数据集。进一步地，根据一些实施例，向用户提供了直接导航到具有非常细粒度的数据的应用的能力。例如，那些对可以包括{(短消息服务(Short Message Service，简称SMS)应用，编号：//0443350640)，(呼叫，联系人姓名：//Mikko Terho)，(视图，url：//www.huawei.com)}。从这个意义上说，数据指的是从第三方应用拦截的且与从第三方应用(自主地)收集的数据相融合的用户生成内容。另一方面，应用可执行指的是可用于运行/执行如电话号码、通用资源定位器(Uniform Resource Locator，简称URL)、位置、或图像等具体数据格式的应用端点。在任意第三方应用中加入这些特性可丰富用户体验。

根据一些实施例，基于活动的计算方案能够首先掌握上下文，然后呈现适合实时场合的数据程序对。这里，基础的用户交互模型是在可编辑工作区域呈现用于交互的最相关的数据程序对。数据是消费者已知的项目，例如日历事件、电话簿中的联系人、电子邮件、短消息或相关网页的URL。视图是模型/视图/控制器(Model/View/Controller，简称MVC)概念的可视化部分，它将项目呈现在用于交互和编辑的屏幕中。在完成与数据的交互之后，系统可以自动向随之而来的交互提供与上下文最相关的数据和动作。

行为感知模型的最终目标是捕获并拦截作为外界服务运行的不可见的用户活动。这种不可见的服务静默地收集数据，并不干扰或中断用户正在进行的任务。通过监测来自移动设备100中的第三方应用的文本内容可以直接从移动操作系统(Operating System，简称OS)的消息传送环中收集所有可用信息，例如包括从第三方应用发送至显示应用的信息的控制消息。这包括可以用于寻址用户在移动设备100上执行的状态和操作以及用户对第三方应用的参与度的信息，如在社交应用中的会话中的参与度，在社交媒体应用上进行发布，共享图像/数据，编辑联系人卡片，呼叫朋友，发送SMS或发送电子邮件，以及类似的通信应用。

本文所述的一些实施例在智能移动操作系统和活动感知计算领域做出了贡献。具体地，呈现了一种用于替换移动设备100中发现的标准导航模型的实时方法。当用户通过即时通讯(Instant Messaging，简称IM)应用等通信应用接收到来自朋友的会议请求时，在文本于设备的显示器上显示之前，可以先访问并分析该文本。所有在会话中提到的命名实体(预定义的信息实体集合中的信息实体)都可被识别。可以以相同的方式将新的日历事件添加到移动设备100的日历应用中。该事件将包括会议的位置、时间、与会人姓名等信息。可以以相同的方式采用运行时间文本输入突出显示IM应用中的这部分文本，例如，通过对文本加下划线或更改它的视觉外观。此外，在一些应用中，可以添加与文本部分相链接的可点击事件，从而当用户点击文本部分时，用户可进入日历应用，其显示会议的详细信息。该功能可以通过外界完成，而不会分散移动设备100的用户功能。

在移动设备100中采用运行时间机制，可以从移动设备100中的第三方应用中提取文本。通过扩展OS能力，可以从应用视图中剥离文本元素。如本文进一步的讨论和示例，在一些实施例中，所述OS可以是安卓系统。然而，在一些可选的实施例中，可以采用其它OS，例如iOS、Windows Phone、黑莓、火狐OS、旗鱼OS、泰泽、Ubuntu Touch、Linux和/或塞班系统。

在一些实施例中，可以修改安卓活动管理器以运行视图调试器，该调试器可以从视图中的文本视图字段中提取文本。

通过采用文本捕捉器程序，可以从图1所示的视图中提取文本。提取文本信息的机制可能需要以这种方式修改并扩展安卓活动生命周期，可能会调用文本捕捉器程序并将视图结构传递给该文本捕捉器程序。安卓视图可以构造成被称为mRoot的根节点的树，视图中的所有用户界面(User Interface，简称UI)元素可以构造成子节点。这是在安卓视图管理器所管理的视图中构造和绘制UI元素的通常构造规则。为了传递视图树，可以扩展安卓活动管理器以将mRoot视图、包名称和视图名称传递给图2所示的文本捕捉器程序。

在一些实施例中，文本捕捉器类可以作为安卓核心框架的一部分在android.util包内部运行。当在移动设备100中为用户创建活动时，Activity.Java类中的“onResume()”功能将应用的包名称、活动名称和mRoot视图传递给文本捕捉器类。通常，安卓活动管理器从ActivityRecord.Java中调用“reportLaunchTimeLocked()”功能，以确认已经向用户显示完整的视图。在一些实施例中，可以扩展这项功能，以调用我们在文本捕捉器类中的“dumpView”功能。该dumpView功能通过识别树中的所有文本视图解析安卓视图的树结构。一旦发现文本视图，会将其文本内容传递给文本聚类，文本聚类执行聚类算法以识别消息内容、发送方姓名、接收方姓名、以及文本的有效性。聚类算法如图5所示。

该算法可以采用哈希映射数据结构来分析原始文本和文本属性。在一些实施例中，可以基于文本在视图中的外观，将文本聚类为三种哈希映射(左，右，未知)。因此，基于文本在视图中的位置的坐标，将文本视图进行聚类。从而可以识别文本视图中的消息的来源。

通常，在即时通讯(Instant Messaging，简称IM)应用中，接收的文本出现在视图的左侧。如图1所示，发送方文本出现在视图的右侧。在图1中，接收方为Basel，发送方为CAadmin。采用这些坐标，可以基于文本视图到视图中心的距离识别该文本视图应当聚类于左集群还是右集群。

每个移动设备模型都具有密度独立像素(Density-independent Pixel，简称DP)的具体值，例如，Nexus5有480DPI。DP是一种虚拟像素单元，用于在定义UI布局时，以密度独立的方式表示布局的尺寸和位置。对于每个文本视图，如图3所示，假设文本视图为矩形，可以计算中心DP值。因此，如图4所示，计算/确定了文本视图矩形中心的位置，并将其与父视图的中心值进行比较。

以下方程式用于计算需要的值：

Eq1：dp＝px/(设备_dp/160)；

Eq2：X＝(左+右)/2；

Eq3：Y＝(顶部+底部)/2；

Eq4：文本视图_中心_DP＝(X，Y)；

Eq5：视图_中心_DP＝(视图X，视图Y)。

例如，在谷歌Nexus5中：视图X＝480/160，视图Y＝1060/160。

密度独立像素(Density-independent Pixel，简称DP)：一种在定义UI布局时使用的虚拟像素单元。该方法可以用于以密度独立的方式表示布局的尺寸和位置。DP相当于160dpi屏幕上的一个物理像素，这是由系统为“中等”密度屏幕假定的基线密度。在运行时，系统根据需要基于所使用的屏幕的实际密度，透明地处理DP单元的任何缩放。DP单元到屏幕像素的转换是简易的：px＝DP×(dpi/160)。例如，在240dpi屏幕上，1DP等于1.5物理像素。图5提供了基于文本视图相对于其根视图中心的位置对文本视图进行聚类的算法的概览图。

对文本视图的两个集群进行过滤以删除重复和不必要的字。在识别出文本的有用部分后，文本聚类将文本传递给命名实体识别服务(Named Entity Recognition Service，简称NERS)。NER服务识别文本是否包括姓名、位置、时间和地址等。NER服务使用特殊符号围绕文本的信息实体，每个符号用于识别信息实体的类。例如，对于每部分被识别为时间表达的文本，NER服务在该文本前后添加符号“％％”。NER服务可以使用“surroundExactMatch(字符串文本，精确字符串，字符串前标，字符串后标)”功能。例如，surroundExactMatch(文本，“芬兰”，“##”，“##”)指示子字符串芬兰为位置的命名实体。在一些实施例中，每个命名实体(即姓名、地址、位置、URL、电话号码、电子邮箱、时间和日期)可以被特殊字符围绕，每个特殊字符用于识别可以应用于这部分文本的文本格式。

命名实体的结果可以返回给文本聚类。在接收到命名实体列表后，文本聚类可以基于前述步骤中嵌入到文本中的特殊字符，使用“setSpanBetweenTokens()”功能来输入文本格式和可点击事件。可以将新的格式化和视图序列传递给能够使用视图序列id编辑视图节点的功能。在找到正确的节点后，可以将新的文本输入到该节点中。识别并格式化意义全文本的过程如图6所示，图6涉及文本格式化。分析和格式化文本的结果如图7A-7C中的故事板所示。

因此，本方法提供了一种从移动设备100的第三方应用中提取、分析并格式化用户生成内容的机制，而不需要在移动设备100外部发送或处理信息。在一些实施例中，安卓操作系统视图结构用于显示有意义的内容。进一步地，文本视图属性可以用于识别文本的位置和来源。文本可能来自移动设备100的用户，或者将此文本发送给该用户的某个人。在一些实施例中，文本视图的中心可以用于识别其相对于父视图的位置。进一步地，可以进行运行时间文本格式化，以在运行时间输入文本格式化，从而可以基于姓名、位置、时间或地址等格式化文本。

命名实体服务在移动设备100本地运行，以提高用户的私密性。收集的数据不会发送给任何外部实体，例如基于云端的服务或服务器。

所述实施例可以用于通过机器学习算法收集并分析有用的和有意义的内容。通过这种算法，移动设备100可以预测下一对用户动作数据。这种预测可以用于提出新的导航模型，所述导航模型包括一对可执行活动和数据集。

在一些实施例中，可以为用户提供应用和数据对列表，因此，移动用户可以直接导航到具有非常细粒度的数据的应用。例如，那些应用和数据对可以包括：{(SMS应用，编号：//0443350640)，(呼叫，联系人姓名：//Mikko Terho)，(视图，url：//www.huawei.com)}。在这个上下文中，数据指的是从移动OS消息传送环中拦截的用户生成内容，所述用户生成内容也与从移动设备100中自主收集的感知数据相融合。应用可执行指的是可用于运行/执行如电话号码、URL、位置、或图像等具体数据格式的应用端点。

根据本文所公开的实施例，基于活动的计算方案最终能够首先掌握上下文，然后呈现适合实时场合的数据程序对。可以在移动设备100的显示器上的可编辑工作区域中为用户呈现用于交互的最相关的数据程序对。

这里所使用的含义中的数据可以包括用户已知的项目，例如日历事件、电话簿中的联系人、电子邮件、短消息或相关网页的URL等。视图是模型/视图/控制器(Model/View/Controller，简称MVC)概念的可视化部分，其将项目呈现在用于交互和编辑的显示器中。在完成与数据的交互之后，系统可以自动向随之而来的交互提供与上下文最相关的项目和动作。

在一些所述的实施例中，可以为用户呈现多个项目以供选择。根据一些实施例，每次用户选择通过我们提供的预测进行导航时，系统可以通过其获知的用户做出的选择来提高其自身的准确性。

这种基于当前状态和所预测的下一状态的计算环境可能成为数据中心，并使当前的应用模型更稳定。在一些实施例中，例如，在图7A-7C所示的微件示例中，已经计算并提出了新的预测。这个主屏幕微件可以预测将会在某个时期用作导航快捷方式的应用和数据对的列表。一旦用户选择了网站图标，其可以将用户导航至堆栈溢出网站。

图8为在移动设备100本地执行的方法800的实施例的流程图。基于从移动设备100中所运行的应用中提取的用户生成数据，该方法用于增强用户体验。

所述应用可以为通信应用，例如SMS、电子邮件、即时通讯(Instant Messaging，简称IM)、或任意其他聊天程序或通信程序。

为了在不向移动设备100之外输出任何数据的情况下在移动设备100本地适当地执行方法800，并且增强用户体验，方法800可以包括步骤801-810。然而，需要注意的是，所述步骤801-810中的任一、部分或全部步骤可以按照与所列举的顺序有所不同的时间顺序执行，可以根据不同的实施例同时执行甚至以完全相反的顺序执行。例如步骤806-808和步骤810等部分方法步骤可以只在部分实施例中执行，不一定在所有实施例中执行。进一步地，需要注意的是，根据不同实施例，一些步骤可以在多个替代方式中执行，这些替代方式可以只在部分实施例中执行，不一定在所有实施例中执行。

在一些实施例中，步骤801-810中的任一、部分或全部步骤可以周期性地重复执行。所述方法800可以包括以下步骤。

步骤801包括：拦截应用发送的信息，所述信息将在移动设备100的显示器940上显示。

所述拦截的信息可以包括所述应用的用户信息输入。

所述用户信息输入可以由移动设备100的用户或所述用户的通信对象生成。所述用户信息输入可以包括不同实施例中的文本、附图、图像、图形、格式、位置或音频。

步骤802包括：识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中。

这种预定义的信息实体类型的集合可以包括以下任一项：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频或图像呈现的电子邮箱地址。

步骤803包括：重新格式化识别出的将在显示器940上显示的信息实体的外观。

在一些实施例中，在拦截的信息包含在预定义的信息实体类型的集合中时，可以进行信息外观的重新格式化。

在一些实施例中，重新格式化识别出的信息实体的外观可以是基于确定的来源，即移动设备100的用户或他/她的通信对象进行的。

在一些实施例中，当信息实体包括文本时，应用中的识别出的信息实体的重新格式化后的外观可以包括富文本格式等。

步骤804包括：转发拦截的信息，所述拦截的信息包括识别出的将在显示器940上显示的信息实体的重新格式化后的外观。

然而，在另外的实施例中，在转发拦截的具有重新格式化后的外观的信息以进行显示之前，可以执行一些其他的步骤。例如以下步骤所描述的，可以添加快捷链接或进行另外的信息实体分析。需要强调的是，以下步骤也可以在步骤803之前执行，或作为步骤803的一部分。

步骤805可以只在部分实施例中执行，可以包括：当所述应用为即时通讯应用，且所述拦截的801信息包括即时消息时，基于所述拦截的801信息确定所述即时消息在显示器940上的显示位置。

即时通讯(Instant Messaging，简称IM)是一组通信技术，用于通过互联网或其他类型的网络在两个及以上的参与者之间进行基于文本的实时通信。当每个用户思考完成并选择“发送”时，短消息通常在双方之间双向传输。一些即时消息应用可以采用推送技术来提供实时文本，在消息输入时，一个字符接着一个字符地进行传输。在一些实施例中，即时通讯可以添加文件传输、可点击超链接、基于IP的语音传输(Voice over IP，简称VoIP)和/或语音聊天等。

进一步地，在一些实施例中，也可以在接收方离线时进行即时通讯。

在一些实施例中，步骤806只在执行步骤805之后执行，可以包括：基于确定的805显示位置确定所述即时消息的来源。

所述即时消息的来源可以是移动设备100的用户或所述用户的通信对象。所述用户信息输入可以包括不同实施例中的文本、附图、图像、图形、格式、位置和/或音频、或者其任意组合。

步骤807可以只在部分实施例中执行，可以包括：基于识别出的802信息的信息实体类型将识别出的802信息实体与另一应用进行映射。

在一些实施例中，识别出的802信息实体和应用之间的映射可以基于信息实体类型进行，具体为映射：姓名到电话簿应用，位置到地图应用，时间/日期到日历应用，地址到地图应用，URL到网络浏览器应用，电话号码到SMS应用，和/或电子邮箱地址到电子邮件应用。

在一些实施例中，步骤808只在执行步骤807之后执行，可以包括：在识别出的802信息实体和映射的807应用之间创建快捷链接。

所述快捷链接可以是用户界面中的句柄，其允许用户从快捷链接所在的地方找出位于不同目录或文件夹下的文件或资源。所述快捷链接可以为包括某个对象的目标通用资源标识符(Uniform Resource Identifier，简称URI)的小文件，或者所述快捷方式所代表的目标程序文件的名称。

所述快捷链接可以是可触的，使得用户在移动设备100的触摸显示器上点触所述快捷链接时，能够通过所述快捷链接访问映射的807应用。

在一些实施例中，所述快捷链接与日历应用相链接，并显示会议的详细信息。在一些实施例中，所述快捷链接可以是包括突出显示链接的可点击事件、或可辨识的标准字等。

步骤809包括：向所述移动设备100的用户呈现所述识别出的802具有重新格式化后的803外观的信息实体。

步骤810可以只在部分实施例中执行，可以包括：当识别出802信息实体为时间相关的信息实体类型时，根据信息实体表示用户的日历应用中在识别出的时间/日期的事件。

进一步地，在一些实施例中，可以通过设置闹铃来提醒用户日历应用中所表示的事件。可选的，闹铃(基于声音、光、触觉信号或它们的组合)可设置在比日历应用中的事件提前一段(短暂)时间的某个时间。

图9示出了移动设备100的实施例。基于移动设备100中所运行的应用的用户生成数据，所述移动设备用于增强用户体验。移动设备100可以执行上述方法步骤801-810中的至少部分步骤。

移动设备100包括处理器920，用于拦截应用发送的信息，所述信息将通过例如负责显示内容的软件模块在显示器940上显示。例如，所述信息可以包括显示命令，所述显示命令包括文本、图形、格式、位置等。所述处理器920也用于识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中。进一步地，例如当所述信息实体包含在预定义的信息实体类型的集合中时，所述处理器920还用于重新格式化识别出的将在显示器940上显示的信息实体的外观。进一步地，所述处理器920还用于转发拦截的信息，所述拦截的信息包括识别出的将在显示器940上显示的信息实体的重新格式化后的外观，所述信息实体通过例如负责显示信息内容的软件模块显示。

所述移动设备100也包括显示器940，用于向所述移动设备100的用户呈现所述识别出的具有重新格式化后的外观的信息实体。

在一些实施例中，所述处理器920可以用于基于所述拦截的信息确定即时消息在显示器940上的显示位置。所述处理器920还可以用于基于确定的显示位置确定所述即时消息的来源。此外，当所述应用为即时通讯应用，且所述拦截的信息包括即时消息时，处理器920可以用于基于确定的来源重新格式化识别出的信息实体的外观。

在另外一些实施例中，所述处理器920可以用于基于识别出的信息的信息实体类型将识别出的信息实体与另一应用进行映射。进一步地，所述处理器920还可以用于在识别出的信息实体和映射的应用之间创建快捷链接。在一些实施例中，所述快捷链接可以包括识别出的信息实体到其他映射的应用的传输。

进一步地，在一些实施例中，所述显示器940可以用于显示所述快捷链接。

在一些实施例中，所述处理器920可以用于添加快捷链接，所述快捷链接与日历应用相链接，且显示会议的详细信息，以防信息指示将要举行会议。

在一些实施例中，所述拦截的信息为从所述应用发送至显示应用的控制消息，所述控制消息至少包括将在显示器940上显示的信息实体，并且指示在显示器940上显示所述信息实体的外观，更可取地，还指示在显示器940上显示所述信息实体的位置。所述处理器920可以用于将拦截的信息转发至所述显示应用，所述拦截的信息包括识别出的信息实体的重新格式化后的外观。

在一些实施例中，所述处理器920可以用于识别包括以下任一项的信息实体类型：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频和/或图像呈现的电子邮箱地址。

在一些实施例中，当识别出信息实体为时间相关的信息实体类型时，所述处理器920还可以用于根据信息实体表示用户的日历应用中在识别出的时间/日期的事件。

所述处理器920还可以用于基于信息实体类型将识别出的信息实体与应用进行映射，具体为映射：姓名到电话簿应用，位置到地图应用，时间/日期到日历应用，地址到地图应用，URL到网络浏览器应用，电话号码到SMS应用，和/或电子邮箱地址到电子邮件应用。

进一步地，在一些实施例中，当信息实体包括文本时，所述处理器920还可以用于通过富文本格式重新格式化识别出的信息实体在应用中的外观。

在一些实施例中，所述处理器920还可以用于设置提醒，以提醒用户在用户的日历应用中表示的事件。

所述处理器920可以包括处理电路，即中央处理器(Central Processing Unit，简称CPU)、处理单元、处理电路、处理器、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、微处理器、或其他可以解释和执行指令的处理逻辑中的一个或多个实例。因此，本文所述的“处理器”可以表示一个处理线路，包括多个处理电路，例如上述列举的任一、部分或所有的处理电路。

进一步地，在一些实施例中，所述移动设备100也可以包括接收电路910，用于接收无线信令。

所述移动设备100也可以包括传输电路930，用于传输无线信号。

进一步地，根据一些实施例，所述移动设备100还可以包括至少一个存储器925。所述可选的存储器925可以包括一个物理设备，用于暂时或永久地存储数据或程序，即指令序列。根据一些实施例，所述存储器925可以包括集成电路，集成电路包括硅晶体管。进一步地，所述存储器925可以是易失性或非易失性的。

所述方法800至少包括方法步骤801-810的部分步骤，可以通过移动设备100中的一个或多个处理器920以及用于执行方法800的功能的计算机程序产品来执行。

因此，计算机程序包括程序代码，用于根据方法步骤801-810的任一实施例执行方法800，当所述计算机程序加载到处理器920时，可以执行所述计算机程序。

例如，可采用数据载体的形式提供上述计算机程序产品，所述数据载体携带计算机程序代码，所述计算机程序代码用以在其加载至处理器920时根据一些实施例来执行方法步骤801-810中的至少一些动作。所述数据载体可为，例如，硬盘、CD-ROM光盘、存储棒、光储存装置、磁储存装置或任何其他合适的介质，如可以非暂时性方式中保存机器可读数据的磁盘或磁带。此外，所述计算机程序产品可进一步用作服务器上的计算机程序代码并且可远程下载至移动设备100，例如，通过互联网、WiFi或企业内部网连接。

本发明的具体实施方式中所用的以及附图中所示的术语并不意在限制于所述方法800和/或移动设备100。在不脱离所附权利要求书界定的本发明的情况下，可进行各种变更、替代和/或更改。

本文所用的术语“和/或”包括相关联的所列项目中的一者或多者的任何和所有组合。除非另有明确说明，否则本文所用的术语“或”解释为数学上的或，即是包含性的分离，而不是数学上的异或(exclusive OR，简称XOR)。此外，单数形式“一”和“所述”解释为“至少一个”，因此还包括多个，除非另外明确地陈述。应进一步了解，术语“包括”用于说明存在所述特征、动作、整体、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其它特征、动作、整体、步骤、操作、元件、部件和/或它们的组合。单个单元例如处理器可以实现权利要求中列举的若干项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。

Claims (15)

1.一种移动设备(100)，其特征在于，包括：

显示器(940)；

处理器(920)，用于：

拦截应用发送的信息，所述信息将在显示器(940)上显示；

识别拦截的信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中；

重新格式化识别出的将在显示器(940)上显示的信息实体的外观；

转发拦截的信息，所述拦截的信息包括识别出的将在显示器(940)上显示的信息实体的重新格式化后的外观；其中，所述显示器(940)用于：

向所述移动设备(100)的用户呈现所述识别出的具有重新格式化后的外观的信息实体。

2.根据权利要求1所述的移动设备(100)，其特征在于，

所述应用为即时通讯应用，且所述拦截的信息包括即时消息；

其中，所述处理器(920)还用于：

基于所述拦截的信息确定所述即时消息在显示器(940)上的显示位置；

基于确定的显示位置确定所述即时消息的来源；

基于确定的来源重新格式化识别出的信息实体的外观。

3.根据权利要求1或2所述的移动设备(100)，其特征在于，所述处理器(920)用于：

基于识别出的信息的信息实体类型将识别出的信息实体与另一应用进行映射；

在识别出的信息实体和映射的应用之间创建快捷链接；

所述显示器(940)用于显示所述快捷链接。

4.根据权利要求1至3任一项所述的移动设备(100)，其特征在于，所述拦截的信息为从所述应用发送至显示应用的控制消息，所述控制消息至少包括将在显示器(940)上显示的信息实体，并且指示在显示器(940)上显示所述信息实体的外观，更可取地，还指示在显示器(940)上显示所述信息实体的位置；

所述处理器(920)用于将拦截的信息转发至所述显示应用，所述拦截的信息包括识别出的信息实体的重新格式化后的外观。

5.根据权利要求1至4任一项所述的移动设备(100)，其特征在于，所述处理器(920)用于识别包括以下任一项的信息实体类型：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频或图像呈现的电子邮箱地址。

6.根据权利要求1至5任一项所述的移动设备(100)，其特征在于，当识别出信息实体为时间相关的信息实体类型时，所述处理器(920)还用于根据信息实体表示用户的日历应用中在识别出的时间/日期的事件。

7.根据权利要求3至6任一项所述的移动设备(100)，其特征在于，所述处理器(920)还用于基于信息实体类型将识别出的信息实体与应用进行映射，具体为映射：

姓名到电话簿应用，位置到地图应用，时间/日期到日历应用，地址到地图应用，URL到网络浏览器应用，电话号码到SMS应用，和/或电子邮箱地址到电子邮件应用。

8.根据权利要求1至7任一项所述的移动设备(100)，其特征在于，当信息实体包括文本时，所述处理器(920)还用于通过富文本格式改变识别出的信息实体在应用中的外观。

9.根据权利要求6至8任一项所述的移动设备(100)，其特征在于，所述处理器(920)还用于设置提醒，以提醒用户在用户的日历应用中表示的事件。

10.一种在移动设备(100)本地执行的方法(800)，其特征在于，包括：

拦截(801)应用发送的信息，所述信息将在移动设备(100)的显示器(940)上显示；

识别(802)拦截的(801)信息中的信息实体，所述信息实体包含在预定义的信息实体类型集合中；

重新格式化(803)识别出的(802)将在显示器(940)上显示的信息实体的外观；

转发(804)拦截的(801)信息，所述拦截的信息包括识别出的(802)将在显示器(940)上显示的信息实体的重新格式化后的(803)外观；

向所述移动设备(100)的用户呈现(809)所述识别出的(802)具有重新格式化后的(803)外观的信息实体。

11.根据权利要求10所述的方法(800)，其特征在于，当所述应用为即时通讯应用，且所述拦截的(801)信息包括即时消息时，还包括：

基于所述拦截的(801)信息确定(805)所述即时消息在显示器(940)上的显示位置；

基于确定的(805)显示位置确定(806)所述即时消息的来源；

基于确定的(806)来源重新格式化(803)识别出的(802)信息实体的外观。

12.根据权利要求10或11所述的方法(800)，其特征在于，还包括：

基于识别出的(802)信息的信息实体类型将识别出的(802)信息实体与另一应用进行映射(807)；

在识别出的(802)信息实体和映射的(807)应用之间创建(808)快捷链接。

13.根据权利要求10至12任一项所述的方法(800)，其特征在于，所述信息实体类型包括以下任一项：姓名、位置、时间、日期、地址、URL、电话号码和/或以文本、音频或图像呈现的电子邮箱地址。

14.根据权利要求9至12任一项所述的方法(800)，其特征在于，当识别出(802)信息实体为时间相关的信息实体类型时，还包括：

根据信息实体表示(810)用户的日历应用中在识别出的时间/日期的事件。

15.一种计算机程序，其特征在于，包括：程序代码，用于当所述计算机程序在计算机上运行时，执行根据权利要求10至14任一项所述的方法(800)。