CN110134466A - 信息处理方法和终端设备 - Google Patents

Abstract

本发明提供了信息处理方法和终端设备，所述方法包括：获取信息对象对应的处理指令；根据获取的处理指令，对所述信息对象进行相应处理。从而使得用户能够更加方便、快捷和高效地处理信息，可以提升用户体验。

Description

信息处理方法和终端设备

技术领域

本发明涉及终端设备技术领域，具体而言，本发明涉及一种信息处理方法和终端设备。

背景技术

个人信息管理系统(Personal Information Manager System，简称PIMS)通过软件对个人信息的产生、获取、分类、记录、维护、变更、分析及使用等方面进行全过程的管理。个人信息一般是由生活和工作两大方面构成。为了高效地完成个人信息管理，终端设备的软件系统一般都包括：邮件，联系人，任务，日历，备忘录，笔记，短信，信息聚合订阅等软件应用。目前个人信息管理系统呈现融合和集成化的倾向。例如可以把邮件，联系人，日历，任务，备忘录等进行了融合，从而打通各应用间的隔离。

随着智能技术的发展，很多应用已进行了智能化和自动化的尝试与创新。然而，本发明的发明人发现现有技术仍然存在信息管理较为繁琐、使用不便或效率较低等缺陷。

发明内容

本发明针对现有方式的缺点，提出一种信息处理方法和终端设备，用以解决现有技术存在信息管理较为繁琐、使用不便或效率较低的问题。

本发明的第一个方面，提供了一种信息处理方法，包括：

获取信息对象对应的处理指令；

根据获取的处理指令，对所述信息对象进行相应处理。

本发明的第二个方面，还提供了一种终端设备，包括：

存储器；

处理器；

至少一个程序，存储于所述存储器中，被配置为由所述处理器执行时实现本发明提供的第一个方面的任一项信息处理方法。

本发明实施例中，获取信息对象对应的处理指令，根据获取的处理指令对信息对象进行相应处理。对信息对象展示可感知线索，当接收到语音交互指令后，对语音交互指令涉及的可感知线索对应的信息对象进行相应处理，从而避免了用户通过语音交互指令操控终端设备时，无法准确、便捷的选取信息对象的问题，避免了终端设备无法准确识别语音交互指令所针对的对象的问题，简化了用户操作，提高了用户语音交互的便利性。

本发明实施例中，通过对信息对象进行：相应局部处理、关联处理、接收方智能排序、智能添加附件内容，智能展示关联内容等，可以更加智能地协助用户便捷地进行信息管理，使得用户能够更加方便、快捷和高效地处理信息，提升了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的信息管理系统的信息处理的一个特例的功能框架示意图；

图2为本发明的信息处理方法的流程示意图；

图3为本发明实施例一中信息对象的基于视觉线索的智能操控方法的流程示意图；

图4为本发明实施例一的视觉线索引导语音命令的一种具体实现流程示意图；

图5为本发明实施例一的视觉线索引导语音命令的工作流程示意图；

图6为本发明实施例一的邮件系统提供视觉线索引导用户选择的一个特例的示意图；

图7为本发明实施例一中信息对象的基于视频线索或音视频线索组合的智能操控方法的流程示意图；

图8为本发明实施例一的音频线索、或音视频线索组合引导语音命令的一种具体实现流程示意图；

图9为本发明实施例一中信息对象的基于视频线索和/或音视频线索的智能操控方法的流程示意图；

图10为本发明实施例一的视频线索和/或音视频线索引导语音命令的一种具体实现流程示意图；

图11为本发明实施例一的局部操作功能的一个特例的工作示意图；

图12为本发明实施例一的信息对象的局部翻译方法的流程示意图；

图13为本发明实施例一的局部翻译功能的一个实例的工作示意图；

图14为本发明实施例一的信息对象的局部加密方法的流程示意图；

图15为本发明实施例一的局部加解密功能的加密入口的一个实例的示意图；

图16为本发明实施例一的局部信息被加密并提供解密入口的一个实例的示意图；

图17为本发明实施例一的信息对象的局部折叠内容的方法的流程示意图；

图18为本发明实施例一的信息对象的局部折叠方法提供手动折叠入口的一个实例的示意图；

图19为本发明实施例一的信息对象的局部折叠方法中基于接收方的阅读习惯自动折叠部分内容的一个实例的示意图；

图20为本发明实施例一的信息对象的局部内容生成备忘录方法的流程示意图；

图21为本发明实施例一的基于用户选择的局部内容生成备忘录的一个实例的示意图；

图22为本发明实施例一的智能删除关联信息的一个特例的工作示意图；

图23为本发明实施例一的删除关联信息对象的方法的流程示意图；

图24为本发明实施例一的智能删除关系信息的一个实例的工作示意图；

图25为本发明实施例一的处理逾期信息对象的方法的流程示意图；

图26为本发明实施例一中判断出存在周期性邮件的一个实例的工作示意图；

图27为本发明实施例中一展示周期或系列性邮件的一个实例的示意图；

图28为本发明实施例一的快捷操作的一个实例的工作示意图；

图29为本发明实施例一的信息对象的快捷操作方法的流程示意图；

图30为本发明实施例一的拷贝新PIN码的快捷操作的示意图；

图31为本发明实施例一的归档附件并删除邮件的快捷操作的示意图；

图32为本发明实施例一的为账单关联相关操作入口或还款预约的快捷操作的示意图；

图33为本发明实施例二的基于插件的格式模板的邮件编辑示意图；

图34为本发明实施例二中信息对象基于格式模板的发送方编辑方法的流程示意图；

图35为本发明实施例二的发送格式化邮件的一个实例的示意图；

图36为本发明实施例二中信息对象基于格式模板的接收方编辑方法的流程示意图；

图37为本发明实施例二的接收并回复格式化邮件的一个实例的示意图；

图38为本发明实施例二中信息对象的接收方排序或置乱方法的流程示意图；

图39为本发明实施例二的接收方排序的一个实例的示意图；

图40为本发明实施例二中信息对象的其他会话内附文件选择方法的流程示意图；

图41为本发明实施例二的选择其他邮件的附件的一个实例的示意图；

图42为本发明实施例二中信息对象的其他应用内容选择方法的流程示意图；

图43a和图43b都为本发明实施例三中的基于用户关注的信息订阅方法的流程示意图；

图44为本发明实施例三的基于用户关注进行信息订阅的一个实例的示意图；

图45为本发明实施例三中的信息对象状态追踪方法的流程示意图；

图46为本发明实施例三的快递跟踪及状态显示的一个实例的示意图；

图47为本发明实施例三中的关联信息对象更新方法的流程示意图；

图48是本发明实施例三的基于信息查询与控制IOT设备的一个实例的示意图；

图49为本发明实施例四的信息处理设备的内部结构的框架示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路确定并显示器或多线路确定并显示器或没有多线路确定并显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

图1为本发明的信息管理系统的信息处理的一个特例的功能框架示意图。如图1所示：本发明提供了一种个人信息管理系统(PIMS)的信息处理的技术方案，包括：1、对信息管理系统的当前信息对象进行解析和理解；2、识别关键执行路径；3、结合用户的历史行为和用户能力；预判用户可能的操作意图；4、选择并启动PIMS智能协助模块，协助和引导用户对信息对象进行更智能便捷的操控、编辑及管理，包括：4.1智能操控功能；4.2智能编辑功能；4.3智能联接功能。PIMS还包括：5、自学习与训练系统。智能协助模块通过与自学习和训练系统交互，使PIMS系统更了解用户。此外，PIMS智能协助模块还可以与网络中的服务器进行交互。

4.1信息对象的智能操控功能主要包括：1)语音命令的视觉引导与反馈，用户可以通过终端设备中的语音命令按键开启语音命令的视觉引导与反馈功能(或模块)。2)信息对象的局部操作。3)信息对象的智能删除。4)信息对象的快捷操作。

4.2信息对象的智能编辑功能主要包括：1)基于格式内容的编辑。2)信息发送时的接收方排序或置乱。3)从会话或其附件中选择文件。

4.3信息对象的信息联接功能主要包括：1)基于用户关注的信息(对象)订阅。2)基于信息对象的信息(状态)追踪。3)基于信息对象控制IOT(Internet Of Things，物联网)设备。

部分功能或模块(如基于格式内容的编辑、信息对象的智能联接等)需要获得位于网络的服务器的支持。语音命令的视觉引导与反馈功能会接收语音命令按键及语音命令服务系统的相关消息，并对这些消息做出相应应对。

上述智能操控功能、智能编辑功能和信息联接功能的具体内容将在后续详细介绍，此处不再赘述。

本发明提供了一种信息处理方法，该方法的流程示意图如图2所示，包括下述步骤：S201获取信息对象对应的处理指令；S202：根据获取的处理指令，对信息对象进行相应处理。

本发明提供的信息处理方法，可以在单一应用程序(例如邮件应用、即时通讯应用、消费类应用或金融类应用)中单独使用，也可以在集成有多种应用功能的信息系统(例如个人信息管理系统)中使用。

本发明中的信息对象包括至少一个信息类对象，例如邮件列表(或界面)中的至少一封邮件、接收方列表(或界面)中的至少一个接收方、产品列表(或界面)中的至少一个产品、或资本项目列表(或界面)中的至少一个资本项目等等。进一步，信息对象还包括相关联的信息类对象，例如基于同一对话关系的多封邮件、基于同一对话关系(或归属同一单位)的多个接收方、用户浏览过的多个产品、或同一指定情况所涉及的多个资本项目等等。

本发明实施例中，获取信息对象对应的处理指令，根据获取的处理指令对信息对象进行相应处理。对信息对象展示可感知线索，当接收到语音交互指令后，对语音交互指令涉及的可感知线索对应的信息对象进行相应处理，从而避免了用户通过语音交互指令操控终端设备时，无法准确、便捷的选取信息对象的问题，避免了终端设备无法准确识别语音交互指令所针对的对象的问题，简化了用户操作，提高了用户语音交互的便利性。

本发明实施例中，通过对信息对象进行：相应局部处理、关联处理、接收方智能排序、智能添加附件内容，智能展示关联内容等，可以更加智能地协助用户便捷地进行信息管理，使得用户能够更加方便、快捷和高效地处理信息，提升了用户体验。

本发明的信息处理包括下述至少一项：信息对象的智能操控、信息对象的智能编辑、信息对象的智能联接等。下面介绍本发明的多个实施例。

实施例一

下面详细介绍信息对象的智能操控功能。

个人信息管理系统或邮件等应用的日常使用(例如邮件)存在大量的重复性的操作。1)重复阅读：用户在非第一次阅读信息时可能只对信息的局部或部分内容感兴趣，却需要每次重新阅读并定位到关注点或关键信息。2)反复操作：用户需要反复删除冗余的信息，或者由于存储空间、保密等原因，用户也会删除某些信息；在阅读超过用户理解能力以外的外文内容时需经常启动翻译软件进行翻译。3)系列操作：某些特定信息经常对应着用户的一个具体操作序列如：在应用中输入验证码时，从其他应用中拷贝接收到的验证码、切换应用、粘贴验证码等操作可看作一个操作序列；对于含附件的邮件，下载附件、对下载的附件进行归档、删除邮件等操作可看作一个操作序列。本发明实施例对全体信息、系列信息、具体信息、信息的局部进行智能呈现与操控，针对以上问题提出解决方案。

另外，语音操控技术在适配到个人信息管理系统或邮件等应用时，会带来新的适配问题。例如在复杂界面中，语音交互指令(也称为语音命令)可能无法快速地选择待控信息对象(选择之前为待控信息对象，选择之后为被控信息对象，统称为信息对象)，语言命令可能存在歧义等。现有技术并没有提出用户在发出语音命令时，如何方便的为用户提供待控信息对象的引导，本发明实施例将使用视觉信息引导用户选择待控信息对象消除歧义，辅助用户使用语音操控技术。

本发明实施例基于以上问题，为个人信息管理系统或邮件等应用的信息对象提出更智能和便捷的智能操控解决方案。本发明实施例的智能操控功能或模块尝试理解信息对象上下文，感知用户的意图，适时选择并启动，协助用户完成相关操作。主要包括：1)语音命令的视觉引导与反馈。2)信息对象的局部操作。3)信息对象的智能删除。4)信息对象的快捷操作。下面将进行详细介绍。

下面介绍本发明实施例中的信息对象的智能操控方法，该方法中获取信息对象对应的处理指令包括：接收语音交互指令；

本发明实施例中的信息对象的智能操控方法中，获取信息对象对应的处理指令之前，还包括：针对至少一个信息对象展示可感知线索。

以及，该方法中根据获取的处理指令，对信息对象进行相应处理包括：对接收到的语音交互指令涉及的可感知线索对应的信息对象进行相应处理。

较佳地，本发明实施例中的信息对象的智能操控方法中，针对至少一个信息对象展示可感知线索，包括：判断是否满足预设的可感知线索的提供条件；当判断结果为是时，执行针对至少一个信息对象展示可感知线索的步骤。

本发明实施例中的可感知线索具体可以为视觉线索和/或音频线索。

实施例1.1)语音命令的视觉引导与反馈

目前语音操控技术已从能识别语音并执行简单的语音命令的研究阶段发展到内嵌到终端设备的系统、服务、应用中支持全方位的语音操作的技术商业或试商用阶段。个人信息管理系统或邮件等应用软件在尝试适配语音命令接口时面临着如何更好地使用和适配该技术。具体问题有：在复杂界面选择待控信息对象时，语音命令没有触控操作(即Touch)方便；语音命令容易存在歧义等。本发明就这些问题提出生成和提供视觉或音频辅助线索引导用户选择待控信息对象消除歧义，协助用户使用语音操控技术。

实施例1.1.1)视觉线索引导语音命令

下面展开介绍本发明实施例中的基于视觉线索的智能操控方法，该方法的流程示意图如图3所示，包括下述步骤S301-S303：

S301：判断是否满足预设的视觉线索的提供条件；当判断结果为是时，执行步骤S302；否则继续执行本步骤。

根据下述至少一项判断是否满足预设的可感知线索的提供条件(当可感知线索为视觉线索时，可感知线索的提供条件可称为视频线索的提供条件)：a1)语音交互功能的状态；b1)信息对象的内容；c1)用户属性信息；d1)历史语音交互情况；e1)历史可感知线索提供情况；f1)用户指令；g1)已接收的语音交互指令。较佳地，可感知线索具体为视觉线索。

当满足预设的可感知线索的提供条件时，为语音命令启动视觉引导与反馈模块。视觉引导与反馈模块执行后续S302和S303。

a1)较佳地，根据语音交互功能的状态判断是否满足预设的可感知线索的提供条件，包括：判断语音交互功能是否处于激活状态，若处于激活状态，则确认满足预设的可感知线索的提供条件。

较佳地，基于下述至少一项，判断语音交互功能是否处于激活状态：语音命令服务的通知或消息(即，来自语音命令服务的通知或消息)、语音命令的按键消息(即，来自终端系统的语音命令的按键消息)、当前语音命令服务的状态的查询结果(即，应用向系统进行查询，获得当前语音命令服务的状态)、基于语音命令启动的应用及其携带的语音命令服务的状态(即，语音命令启动当前应用并携带当前语音命令服务的状态)。

b1)较佳地，根据信息对象的内容判断是否满足预设的可感知线索的提供条件，包括：根据信息内容对应的、用于表征信息对象间差异的内容属性，判断是否满足预设的可感知线索的提供条件。

用于表征信息对象间差异的内容属性，是指是否能够快速明确的区分信息对象和其他信息对象，是否具备明显的或排他的特征，该内容属性表示了信息对象间的可区分性。如果根据各信息对象的内容及上下文，不能快速明确的区分各信息对象，也就是说，根据上述内容属性确定出信息对象的可区分性不高，则可以认为用户输入语音命令时，很难快速的定位到被控信息对象，此时认为满足预设的可感知线索的提供条件，为语音命令启动视觉引导与反馈模块。

例如，信息对象为邮件应用中的邮件，如果邮件标题内容过于复杂，或者邮件标题内容过长，不能快速的区分各邮件，则可以认为满足预设的可感知线索的提供条件，为语音命令启动视觉引导与反馈模块。

c1)较佳地，根据用户属性信息判断是否满足预设的可感知线索的提供条件时，用户属性可以但不限于包括用户的年龄，性别，学历，职位，语言能力，用户的理解能力等，如果根据用户属性信息判断出用户不能快速的定位到待控信息对象，则认为满足预设的可感知线索的提供条件，为语音命令启动视觉引导与反馈模块。

例如，根据用户属性信息可知用户对除母语外的其他语言不熟悉，而此时邮件应用中包含其他语言的邮件，此时可以确认满足预设的可感知线索的提供条件。

d1)较佳地，根据历史语音交互情况判断是否满足预设的可感知线索的提供条件时，可以根据历史语音交互情况判断出用户习惯设置，根据用户习惯设置判断是否需要为其提供视觉线索。

例如，有的用户可能习惯于在某一类型的界面(例如显示多条内容的列表)使用或启动视觉线索引导。有的用户习惯于在特定的应用甚至特定应用的特定界面使用或启动视觉线索引导。有的用户习惯在某些特殊场景使用或启动视觉线索的引导。系统了解到用户这些需求后可以在类似情况自动或询问用户后提供视觉线索。

e1)较佳地，根据历史可感知线索提供情况判断是否满足预设的可感知线索的提供条件时，如果根据历史语音命令对应的历史可感知线索提供情况，判断出用户在输入某种类型的语音命令时，系统会频繁出现指令难以解析或解析错误或指令歧义等情况，那么可以认为此时需要为其提供视觉线索。

例如用户在使用包含除母语外的其他语言的语音命令时，由于发音和语法问题，有可能会频繁出现指令难以解析或解析错误或指令歧义，因此当界面中存在除母语外的其他语言的词汇时，可以尝试为其提供视觉线索。

f1)较佳地，根据用户指令判断是否满足预设的可感知线索的提供条件时，用户指令可以为语音命令或其他操作指令。用户可以根据自己的需求通过语音命令或手动操作来启动视觉线索，终端设备接收到用户指令后，确认满足预设的可感知线索的提供条件，为语音命令启动视觉引导与反馈模块。

g1)较佳地，根据已接收的语音交互指令判断是否满足预设的可感知线索的提供条件，包括：判断是否能够根据已接收的语音交互指令确定出对应的信息对象，若不能确定出已接收的语音交互指令对应的信息对象，则确认满足预设的可感知线索的提供条件。

本发明实施例中，可以只基于上述任一项来判断是否满足预设的可感知线索的提供条件，也可以结合多项内容来判断是否满足预设的可感知线索的提供条件，例如，根据(a1)，以及(b1)～(g1)中至少一项判断是否满足预设的可感知线索的提供条件。

S302：执行针对至少一个信息对象展示视觉线索的步骤。

在当前显示的信息对象中，根据下述至少一项确定需要展示可感知线索的信息对象，并针对确定出的信息对象展示对应的可感知线索：a2)信息对象的内容；b2)用户属性信息；c2)历史语音交互情况；d2)历史可感知线索提供情况；e2)用户指令；f2)已接收的语音交互指令。较佳地，可感知线索具体为视觉线索。

本发明实施例中，终端设备可以针对当前界面中显示的所有信息对象展示可感知线索，也可以只针对部分信息对象展示可感知线索。

a2)较佳地，根据信息对象的内容确定需要展示可感知线索的信息对象，包括：根据信息内容对应的、用于表征信息对象间差异的内容属性，确定需要展示可感知线索的信息对象。

如果根据各信息对象的内容及上下文，不能快速明确的区分某些信息对象，也就是说，根据上述内容属性确定出某些信息对象的可区分性不高，则可以针对这些信息对象展示可感知线索。

b2)较佳地，根据用户属性信息确定需要展示可感知线索的信息对象时，用户属性可以但不限于包括用户的年龄，性别，学历，职位，语言能力，用户的理解能力等，如果根据用户属性信息判断出用户不能很准确快速的理解某些信息对象，则可以针对这些信息对象展示可感知线索。

例如，根据用户属性信息可知用户对除母语外的其他语言不熟悉，而邮件应用中包含某些其他语言的邮件，此时可以将其他语言的邮件确定为需要展示可感知线索的信息对象感知，针对这些信息对象展示可感知线索。

c2)较佳地，根据历史语音交互情况确定需要展示可感知线索的信息对象时，可以根据历史语音交互情况判断出用户习惯设置，根据用户习惯设置确定需要展示可感知线索的信息对象。

例如，有的用户可能习惯于在应用中只针对某一类型的信息对象使用或启动可感知线索引导，系统了解到用户这些需求后可以只针对该类型的信息对象展示可感知线索。

d2)较佳地，根据历史可感知线索提供情况确定需要展示可感知线索的信息对象时，例如用户在使用包含除母语外的其他语言的语音命令时，由于发音和语法问题，有可能会频繁出现指令难以解析或解析错误或指令歧义，因此当界面中存在除母语外的其他语言的词汇时，可以尝试针对包含其他语言词汇的信息对象展示可感知线索。

e2)较佳地，根据用户指令确定需要展示可感知线索的信息对象时，用户指令可以为语音命令或其他操作指令。用户可以根据自己的需求通过语音命令或手动操作来选择需要提供可感知线索的信息对象，终端设备接收到用户指令后，为用户选择的信息对象展示可感知线索。

f2)较佳地，根据已接收的语音交互指令确定需要展示可感知线索的信息对象时，可以根据已接收的语音交互指令预估用户可能的操控对象，并针对用户可能的操控对象展示可感知线索。

在为信息对象展示可感知线索时，可以为需要展示可感知线索的信息对象对应生成可感知线索，并为该可感知线索添加对应的语音命令路径，以及展示可感知线索。

当可感知线索包括视觉线索时，视觉线索包括下述至少一项：数字、字母、文字、颜色、图像、图形、视频；图像包括下述至少一项：图标、头像、符号。终端设备可以使用上述任一项视觉线索用于描述待选被控信息对象的特征，也可以是多个或多种视觉线索的组合。例如：1)邮件收件列表的视觉线索可以是每个子项目(例如每封邮件)的数字编号，或使用不同的颜色对子项目进行标注，或它们的组合。2)也可以为收件列表的每个子项目选择字母或文字进行标注，或使用头像加文字等方式进行标注。当存在多封信件需要使用相同的字母或文字时，可以再增加下一级别的序号进行区分，使用的字母或文字可能来自发件人的姓名及其翻译，邮件题目等。

确定了具体的视觉线索后，需要为新增的视觉线索添加或注册其语音命令路径，一旦语音命令解析模块发现用户使用了这些视觉线索引导，语音命令模块尝试基于添加的语音命令路径实现对待选被控信息对象的选择，协助执行用户命令。

较佳地，针对至少一个信息对象展示可感知线索，包括：在至少一个信息对象对应的指定位置处展示视觉线索。上述指定位置包括：信息对象所处位置之外且与信息对象对应的指定位置；和/或，信息对象的关键内容对应的位置。

较佳地，在信息对象所处位置之外且与信息对象对应的指定位置处，展示视觉线索，包括：在新增的指定区域中显示该视觉线索。例如，在邮件应用中，在邮件列表左侧(或右侧)，且与该邮件对应的位置处显示该邮件的视觉线索。

较佳地，在信息对象的关键内容对应的位置处，展示视觉线索，包括：针对信息对象的显示内容中的关键内容标注视觉线索；进一步，针对信息对象的显示内容中的关键内容标注视觉线索，包括下述至少一项：对关键内容标注下划线、对关键内容高亮显示、对关键内容着色、对关键内容的背景色进行更改。

较佳地，除了直接增加额外的视觉线索显示区域显示视觉线索外，当视觉线索的关键内容出现在信息对象的显示内容中时，也可以选择特殊显示(如高亮或着色)当前显示内容中的上述关键内容作为视觉线索。视觉线索的关键内容也可以看作信息对象的关键内容。特殊显示关键内容包括下述至少一项：：对该信息对象显示内容中与视觉线索中的关键内容相同的部分标注下划线；对该信息对象显示内容中与视觉线索中的关键内容相同的部分高亮显示；对该信息对象显示内容中与视觉线索中的关键内容相同的部分着色；对该信息对象显示内容中与视觉线索中的关键内容相同的部分的背景色进行更改。

对信息对象展示视觉线索可以引导用户通过新的语音命令进行待选被控信息对象(简称待控信息对象)的选择，便于用户根据这些视觉线索进行语音命令操作，使用户更准确，简洁，快速地使用语音命令。

在某种意义下可以认为这些视觉线索是待选被控信息对象的一种临时简洁的别名或代号，引导用户使用更准确简洁的语音命令进行被控信息对象的快速选择，从而执行后续的用户指令。

S303：接收语音交互指令，对接收到的语音交互指令涉及的视觉线索对应的信息对象进行相应处理。

较佳的，接收到语音交互指令后，可以确定接收到的语音交互指令涉及的可感知线索；然后根据针对至少一个信息对象展示的可感知线索，确定接收到的语音交互指令涉及的可感知线索对应的信息对象；根据接收到的语音交互指令，对确定出的信息对象执行相应处理。较佳地，可感知线索具体为视觉线索。

较佳地，接收基于视觉线索的语音命令时，根据该视觉线索对应的语音命令路径识别出该语音命令的被控信息对象；根据该语音命令对该被控信息对象进行操作。

终端设备针对信息对象展示视觉线索之后，等待用户新的语音命令，语音命令模块根据视觉线索识别语音命令的操作信息对象(即被控信息对象)，并针对操作信息对象执行用户语音命令。

如图4所示，为本发明实施例提出的视觉线索引导语音命令的一种具体实现流程示意图，具体包括下述步骤S401-S410：

步骤S401，语音交互功能处于激活工作状态时，为语音命令启动视觉引导与反馈模块。

步骤S402，视觉引导与反馈模块判断是否为语音命令提供视觉线索，若判断结果为是，则转至步骤S403，若判断结果为否，则转至步骤S401。

步骤S403，生成视觉线索。

步骤S404，为视觉线索添加语音命令路径。

步骤S405，显示视觉线索引导用户通过新的语音命令进行被控对象的选择。

步骤S406，等待用户新的语音命令。

步骤S407，识别用户的语音命令。

步骤S408，根据视觉线索识别语音命令的被控信息对象，并针对被控信息对象执行用户语音命令。

步骤S409，判断是否关闭视觉线索引导，若判断出关闭，则转至步骤S410，若判断出不关闭，则转至步骤S403。

步骤S410，关闭视觉线索并注销线索的语音命令路径。

图5为本发明实施例一的视觉线索引导语音命令的工作流程示意图；如图5以电子邮件的为例介绍视觉线索引导语音命令的工作过程。电子邮件在启动语音命令后，语音交互功能处于激活状态时，会判断是否提供视觉线索。如需要，邮件应用会显示视觉线索(对应图中的显示命令线索，包括文字线索、颜色线索、数字和/或语音交互等)指导用户。用户根据视觉线索(选择目标邮件)发出语音命令，用户通过语音命令选择具体的目标邮件，语音命令解析模块解析语音命令，并按照用户的后续指令完成相关的操作。例如生成任务、备忘录、事件等，删除信件，关联邮件，下载附件或打开邮件等，更详细例子请参考后面的介绍。

下面具体介绍本发明实施例的基于视觉线索的智能操控的几个例子。

工作方式一(例一)：图6为本发明实施例一的邮件系统提供视觉线索引导用户选择的一个特例的示意图；以电子邮件为例，如果语音交互功能处于激活状态，已启动的视觉引导与反馈模块会判断是否提供视觉线索。如图6邮件客户端收件箱列表界面显示来自多人的邮件，显示的内容一般包括邮件的发件人，题目，发送日期等。视觉引导与反馈模块发现当前邮件收件箱界面显示的内容比较繁杂并且没有明显或排他的选择特征，所以尝试提供视觉线索。A)显示命令线索：文本，颜色等。具体地，在收件箱收件列表的每一项前增加一个矩形区域用于显示视觉线索。具体的视觉线索可以是为邮件列表每个子项目(每封邮件)提供的数字编号，或使用不同的颜色对列表的子项目进行标注。进一步可以为视觉线索显示增加语音命令的提示图标。B)语音命令选择目标邮件。具体地，一旦确定了具体的视觉线索后，将为新增的视觉线索添加语音命令路径。用户根据视觉线索发出语音命令，一旦语音命令解析模块发现用户使用了这些视觉线索引导，语音命令模块尝试基于添加的语音命令路径确定被控信息对象及其相关操作。并按照用户的指令执行相关的操作，如打开信件，删除信件，下载附件等。例如用户可以使用如下的语音命令进行操作收件箱，如：“请打开第五封信”，“请下载紫色信件的附件”(第五封信的视觉线索的背景色是紫色)等。

工作方式二(例二)：以电子邮件为例，视觉引导与反馈模块发现或预测用户使用语音命令选择被控信息对象时存在困难，将显示视觉线索引导用户进行快速选择。例如邮件客户端收到非用户母语的邮件时，用户使用发件人姓名或邮件题目进行语音选择被控信息对象时，可能存在发音障碍。视觉引导与反馈模块可以选择为显示列表的每个子项目进行字母或文字标注，或使用头像加文字等方式进行标注。当存在多封信件使用相同的字母或文字时可以再增加序号进行区分。使用的字母或文字可能来自发件人的姓名及其翻译，或邮件的题目及其翻译，也可以是发件人的昵称(昵称可以保存在联系人中)。当这些视觉线索出现在每个子项目的显示内容中时，可以选择高亮或着色当前显示的内容作为视觉线索而无须增加额外的视觉线索显示区域。用户可以用这样语音命令进行操作，如：“请转发标识为S的信”，“请删除编号为C2的信件”，“请根据标识为Pay的信生成备忘录”等。

实施例1.1.2)音频线索，或音视频线索引导语音命令

下面展开介绍本发明实施例中信息对象的基于音频线索，或音视频线索组合的智能操控方法，该方法的流程示意图如图7所示，包括下述步骤S701-S703：

S701：判断是否满足预设的音频线索、或音视频线索组合的提供条件；当判断结果为是时，执行步骤S702；否则继续执行本步骤。

根据下述至少一项判断是否满足预设的可感知线索的提供条件：语音交互功能的状态；信息对象的内容；用户属性信息；历史语音交互情况；历史可感知线索提供情况；用户指令；已接收的语音交互指令。较佳地，可感知线索具体为音频线索，或者视觉线索和音频线索。

判断是否满足预设的可感知线索的提供条件的方式如S301中视觉线索引导部分所述，这里不再累述。

视觉引导与反馈模块判断出满足预设的可感知线索的提供条件时，确认需要为语音命令提供音频线索，或者视觉线索和音频线索。

S702：执行针对至少一个信息对象展示音频线索或音视频线索组合的步骤。

在当前显示的信息对象中，根据下述至少一项确定需要展示可感知线索的信息对象，并针对确定出的信息对象展示对应的可感知线索：信息对象的内容；用户属性信息；历史语音交互情况；历史可感知线索提供情况；用户指令；已接收的语音交互指令。较佳地，可感知线索具体为音频线索，或者视觉线索和音频线索。

具体的，为每个信息对象对应生成音频线索，并为该音频线索添加对应的语音命令路径；播放该音频线索。

或者，为每个信息对象对应生成视觉线索和音频线索的组合，并为该视觉线索和音频线索的组合添加对应的语音命令路径；显示该视觉线索并播放该音频线索。

视觉线索的范畴等内容如视觉线索引导部分所述不再累述。音频线索的范畴可以包括：1)描述视觉线索的音频数据，指导用户使用当前视觉线索引导，例如播报生成的序号，别名，被下划线标注、高亮或着色的显示信息等。2)对存在排他性特征的显示内容，可以不生成新的视觉线索，直接生成引导音频，指导用户使用已有显示内容中提取排他性特征的信息，例如序号，别名，关键字等。

为新增的音频线索或音视频线索组合添加语音命令路径，一旦语音命令解析模块发现用户使用了这些音频线索或音视频线索组合，语音命令模块尝试基于添加的语音命令路径确定被控信息对象进而执行用户操控命令。

终端设备可以单独播报音频线索，或是显示视觉线索同时播报音频线索，以引导用户通过新的语音命令选择被控信息对象。

音频线索的播放可以被理解为：1)当前视觉线索的使用说明或补充。2)对有排他性特征的显示内容单纯通过音频播报提供语音命令线索，无需新增视觉线索。3)使用音频播报指导用户如何选择或发现合适的标识或别名用于语音命令确定被控信息对象。

S703：接收语音交互指令，对接收到的语音交互指令涉及的音频线索、或音视频线索组合对应的信息对象进行相应处理。

确定接收到的语音交互指令涉及的可感知线索；根据针对至少一个信息对象展示的可感知线索，确定接收到的语音交互指令涉及的可感知线索对应的信息对象；根据接收到的语音交互指令，对确定出的信息对象执行相应处理。较佳地，可感知线索具体为音频线索，或者视觉线索和音频线索。

较佳地，语音命令模块通过语音命令获得用户希望操作的被控信息对象，基于语音命令展开相关的操作。

终端设备针对信息对象展示音频线索、或音视频线索组合之后，等待用户新的语音命令，根据线索识别语音命令的被控信息对象，并针对被控信息对象执行用户语音命令。

如上所述，在某种意义下可以认为这些视觉及音频线索、或音频线索是一种临时的简洁的别名或代号，或指导用户选择或发现合适的别名或代号。

如图8所示，为本发明实施例提出的音频线索、或音视频线索组合引导语音命令的一种具体实现流程示意图，具体包括下述步骤S801-S810：

步骤S801，语音交互功能处于激活工作状态时，为语音命令启动视觉引导与反馈模块。

步骤S802，视觉引导与反馈模块判断是否为语音命令提供音频线索、或音视频线索组合，若判断结果为是，则转至步骤S803，若判断结果为否，则转至步骤S801。

步骤S803，生成音频线索、或音视频线索组合。

步骤S804，为生成的线索添加语音命令路径。

步骤S805，显示视觉线索同时播报音频线索、或单独播报音频线索，引导用户通过新的语音命令选择被控对象。

步骤S806，等待用户新的语音命令。

步骤S807，识别用户的语音命令。

步骤S808，根据音频线索、或音视频线索组合识别语音命令的被控信息对象，并针对被控信息对象执行用户语音命令。

步骤S809，判断是否关闭音频线索引导、或音视频线索组合引导，若判断出关闭，则转至步骤S810，若判断出不关闭，则转至步骤S803。

步骤S810，关闭音频线索、或音视频线索组合，并注销线索的语音命令路径。

下面以邮件为例对展示视觉及播报音频线索引导语音命令进行举例说明：

工作方式一：如图6所示在显示视觉线索的同时可以增加音频播报介绍如何使用视觉线索，指导用户使用视觉线索。视觉引导与反馈模块通过语音播报通知用户使用为列表生成的序号或颜色选择被控信息对象。甚至可以向用户播放语音命令的范例，如：“请打开第二封信”，“请删除绿色信件”。

工作方式二：如图6所示的场景下可以向用户播报显示的内容自身已有排他的信息特征，指导用户使用从显示内容中提取出别名，关键字或序号等信息对信息对象进行选择。例如：1)语音播报可以使用信件题目和摘要中的关键字作为别名对邮件进行选择；2)语音播报可以使用发件人的首字母作为别名对邮件进行选择。3)播报当前共有7封邮件，可以使用序号对邮件进行选择如第一封，倒数第二封等。用户根据音频播报可以通过如下的语音命令进行操作“请转发别名为B2B的信”，“请删除别名为pay的信件”等。

实施例1.1.3)根据已接收的语音交互指令来确认是否通过视觉和/或音频线索引导语音命令

本实施例基于对用户当前的语音命令的识别和理解情况，结合当前的显示上下文提供视觉或音频的反馈，引导用户更好地使用语音命令。本实施例的视觉线索的触发条件是用户当前的语音命令的识别与理解情况，通过对已接收的语音交互指令来确认是否启动视觉引导与反馈模块。

下面展开介绍本发明实施例中信息对象的基于视频线索和/或音频线索的智能操控方法，该方法的流程示意图如图9所示，包括下述步骤S901-S903：

S901：判断是否满足预设的视频线索和/或音频线索的提供条件，当判断结果为是时，执行步骤S902；否则继续执行本步骤。

较佳的，根据下述至少一项判断是否满足预设的可感知线索的提供条件。语音交互功能的状态；信息对象的内容；用户属性信息；历史语音交互情况；历史可感知线索提供情况；用户指令；已接收的语音交互指令。较佳地，可感知线索具体为视觉线索和/或音频线索。

较佳地，根据已接收的语音交互指令判断是否满足预设的可感知线索的提供条件，包括：判断是否能够根据已接收的语音交互指令确定出对应的信息对象，若不能确定出已接收的语音交互指令对应的信息对象，则确认满足预设的可感知线索的提供条件。

具体的，接收到用户的语音命令后，可以判断已接收的语音命令是否清晰，是否根据已接收的语音指令能够准确的定位到被控信息对象，如果能准确的定位到被控信息对象，则可以认为已接收的语音指令是清晰的，如果不能准确的定位到被控信息对象，则可以认为已接收的语音指令是不清晰；当判断出已接收的语音命令清晰时，可以直接对用户的语音命令进行相应处理；当判断出已接收的语音命令不清晰时，则可以确认此时满足预设的可感知线索的提供条件，并为至少一个信息对象对应生成并展示可感知线索，后续接收到用户基于可感知线索输入的新的语音命令时，对该语音命令涉及的可感知线索对应的信息对象进行选择并执行相应操作。

例如，外语不熟练的用户在使用包含外文词汇的语音命令时，由于发音或语法问题，其输入的语音命令可能不清晰，有可能会频繁出现指令解析错误的情况，此时可以尝试提供视觉线索和/或音频线索。

具体地，判断用户语音命令是否清晰主要由语音命令模块完成，此处不做进一步说明。判断语音交互功能是否处于激活工作状态的方式如前面S301视觉线索引导部分所述不再累述。

如果语音命令不清晰，视觉引导与反馈模块还可以进一步通过如下至少一种方式判断是否为语音命令提供视觉线索和/或音频线索：1)当前显示内容存在语音命令提到的词汇，例如当前的用户指令虽然不是很清晰，但指令中提及的词汇和当前显示内容存在一定的匹配度，可以尝试提供视觉线索和/或音频线索。2)用户习惯或个人设置，例如用户可能习惯于在某些特定的应用、界面、场景使用视觉线索。3)当前用户的语音命令，用户可以根据自身的需求通过语音命令或触摸操作来启动视觉线索。

如不能提供视觉线索和/或音频线索，则等待用户新的语音命令，继续执行步骤S901，主要由语音命令模块完成，此处不做进一步说明。如可以提供视觉线索和/或音频线索，则执行步骤S902。

S902：执行针对至少一个信息对象展示视觉线索和/或音频线索的步骤。

在当前显示的信息对象中，根据下述至少一项确定需要展示可感知线索的信息对象，并针对确定出的信息对象展示对应的可感知线索：信息对象的内容；用户属性信息；历史语音交互情况；历史可感知线索提供情况；用户指令；已接收的语音交互指令。较佳地，可感知线索具体为视觉线索和/或音频线索。

展示视觉线索和/或音频线索时，可以为至少一个信息对象对应生成视觉线索和/或音频线索，并为其添加语音命令路径。

反馈的可感知线索范畴包括：1)基于已接收的语音命令，推测用户意图，将所解析的操作指令由用户进行确认，例如显示所解析的操作指令的图标或弹出操作询问对话框，然后等待用户进一步的确认。2)可视化或部分可视化已接收的用户语音命令，也可以提供预测的后续操作提示，用户可以根据可视化的语音命令或操作提示直接进行操作，或者输入对应的语音命令；语音命令中可视化的部分和/或操作提示属于可感知线索。4)基于已接收的用户指令和多个信息对象的具有上下文关系的内容，播放音频线索，以指导用户使用语音命令，例如询问用户意图并给出推荐语音命令。5)终端设备是可穿戴设备如手表、手环、戒指等时，终端设备除了使用视觉或音频线索进行反馈的可感知线索外，也可以使用振动等形式实现反馈的可感知线索引导语音命令。例如通过不同的振动方式通知用户是否理解用户的语音命令，是否已完成当前的指令等。

终端设备为新增的视觉和/或音频线索添加其语音命令路径，一旦语音命令解析模块发现用户使用了这些视觉线索，语音命令模块尝试基于添加的语音命令路径确定被控信息对象执行用户命令。

S903：接收语音交互指令，对接收到的语音交互指令涉及的视觉线索和/或音频线索对应的信息对象进行相应处理。

终端设备接收到语音交互指令后，确定接收到的语音交互指令涉及的可感知线索；根据针对至少一个信息对象展示的可感知线索，确定接收到的语音交互指令涉及的可感知线索对应的信息对象；根据接收到的语音交互指令，对确定出的信息对象执行相应处理。较佳地，可感知线索具体为视觉线索和/或音频线索。

较佳地，语音命令模块通过语音命令获得用户希望操作的被控信息对象，基于语音命令展开相关的操作。

在某种意义下可以认为这些视觉和/或音频线索是当前可能的操作指令的可视化显示、确认或引导，引导用户使用更准确简洁的语音命令进行语音操作。

语音命令模块基于语音命令，执行相关的操作，此处不做进一步说明。

如图10所示，为本发明实施例提出的视频线索和/或音视频线索引导语音命令的一种具体实现流程示意图，具体包括下述步骤S1001-S1010：

步骤S1001，语音交互功能处于激活工作状态时，为语音命令启动视觉引导与反馈模块，准备为语音命令提供视觉和/或音频线索。

步骤S1002，等待并识别用户语音指令。

步骤S1003，判断用户语音指令是否清晰，若判断结果为是，则转至步骤S1004，若判断结果为否，则转至步骤S1007。

步骤S1004，执行或应对用户语音命令。

步骤S1005，判断是否关闭视觉和/或音频线索引导，若判断出关闭，则转至步骤S1006，若判断出不关闭，则转至步骤S1002。

步骤S1006，关闭视觉和/或音频线索引导，并注销线索的语音命令路径。

步骤S1007，判断是否为语音命令提供视觉和/或音频线索反馈，若判断结果为是，则转至步骤S1008，若判断结果为否，则转至步骤S1002。

步骤S1008，生成视觉和/或音频反馈。

步骤S1009，为生成的视觉和/或音频反馈添加语音命令路径。

步骤S1010，显示视觉线索反馈和/播报音频线索反馈，然后转至步骤S1002。

下面以邮件为例对显示视觉和/或播报音频线索引导语音命令进行举例说明：

工作方式一：如图6所示的场景下用户尝试对邮件列表第五封信进行操作。因为某些原因通过语音命令模块发送的命令，邮件客户端无法确定用户具体的操作类型。视觉引导与反馈模块此时可为在列表的上的第五封信进行视觉线索和/或音频线索的反馈，例如1)可以为第五封信显示可以对其实施的具体操作指令图标：如删除，打开，下载附件等，等待用户选择。2)也可以使用视觉或音频线索，直接询问用户是否希望进行下载并删除操作，等待用户确认。3)可以猜测用户希望进行的命令，可视化或部分可视化当前的用户语音命令并提供潜在的后续操作提示，等待用户的选择。4)当用户终端是可穿戴设备如手表、手环、戒指等时，用户终端除了使用视觉或音频线索进行反馈外，也可以使用振动等形式实现反馈引导语音命令。具体方式可以是：通过不同的振动方式通知用户是否理解用户的语音命令，是否已完成当前的指令等。

视觉引导与反馈模块在终端存在的形式有如下至少之一：

1)视觉引导与反馈模块作为具体应用或服务的一部分，为本应用的具体界面添加视觉引导和反馈线索，并针对添加的线索注册相关的语音命令映射表到语音命令模块，接收来自语音命令模块解析后的用户语音命令并执行相关的操作。本发明以该种形式为例进行说明。

2)视觉引导与反馈模块作为语音命令模块的一部分。视觉线索以图层，局部叠加等形式和当前的应用进行融合，视觉线索需要的上下文信息均来自语音命令模块对当前应用显示的内容的查询，抓取及理解。语音命令模块解析用户语音命令后，对使用了视觉线索的用户语音命令，将该语音命令中涉及视觉线索的语音内容转换为应用程序可以识别的内容，例如将视觉线索使用的别名转换为应用程序使用的名称，得到应用程序可以识别并执行的语音命令，以便当前应用程序可以接收并执行相关的用户指令。

3)视觉引导与反馈模块作为终端软件系统的一项基础功能。系统控件提供对生成和显示视觉线索的功能支持。例如列表类控件提供通过序号，摘要，缩写或者颜色等区别不同的子项，并能自动注册当前的视觉线索的语音命令映射表。语音命令模块解析用户语音命令，当前应用根据解析后的用户语音命令执行相关的操作。

实施例1.2)信息对象的局部操作

用户在非第一次阅读信息时可能只对信息的部分内容感兴趣，却在每次阅读时需要重新定位到感兴趣的内容。有时对重要的局部内容可能需要进行翻译、加密隐藏、高亮、生成备忘录等操作。有时某些重要或紧急的信息可能被其他已阅的或非紧急的信息淹没。以往的智能化操作多集中于对全体信息的管理和呈现，而在具体某个信息、信息的局部与操控上就比较少。

基于以上的问题，本发明为信息交互类软件(例如邮件应用)提供局部操作功能，期望减少用户的重复性操作，快速地定位到最重要的和紧急的信息，加密或隐藏机密信息防止泄露。就以上情况，局部操作功能帮助用户对局部信息进行操作和管理，具体包括：1)局部翻译，2)局部加密，3)折叠内容，4)局部内容生成备忘录等。

本发明实施例中的信息对象的智能操控方法包括信息对象的局部操作方法。

本发明实施例中的信息对象的局部操作方法，包括：判断是否满足预设的局部操作条件；当判断结果为是时，对信息对象进行相应处理。也就是说，首先确定是否启动局部操作，如果启动，则对信息对象进行相应处理。

较佳地，本发明实施例中的信息对象的局部操作方法中，还包括：确定信息对象中需要进行处理的局部内容；对确定出的局部内容进行相应局部处理。其中，局部处理包括下述至少一项：语言翻译处理(也称为局部翻译)、加密处理(也称为局部加密)、折叠显示处理(也称为折叠内容)、局部内容生成备忘录。

较佳地，确定信息对象中需要进行处理的局部内容，包括：根据下述至少一项确定信息对象中需要进行处理的局部内容：用户指令；历史操作情况；用户属性信息。

具体的：用户可以通过语音指令或操作指令等指定需要进行局部操控的局部内容，终端设备根据用户指令就可以确定出需要进行处理的局部内容；

终端设备可以获取用户的历史操作情况，如用户在处理语言A的邮件时，经常会启动翻译应用进行内容翻译，因此当邮件中包含语言A的内容时，终端设备可以确定出该部分内容为需要进行处理的局部内容。

终端设备可以获取用户的属性信息，并根据用户的属性信息确定需要进行处理的局部内容。例如，终端设备检测到用户正在运行邮件应用，且当前显示的邮件中有语言A的内容，语言A并非用户的母语，根据用户的属性信息可知，用户对语言A并不熟悉，因此终端设备可以确定出该部分内容为需要进行处理的局部内容。

较佳地，图11是本发明实施例的局部操作功能的一个特例的工作示意图。如图11所示：对信息对象启动信息解析；判断满足预设的局部操作条件时，为待局部操作的局部信息对应生成并显示局部操作的线索，例如折叠线索、段落线索、语句线索和/或图像线索等，这些局部操作的线索可以作为局部操作的入口；用户根据显示的局部操作的线索选择操作目标，输入操作命令；接收到用于基于局部操作的线索的操作时，执行局部操作。局部操作包括但不限于部分翻译、部分加密、高亮内容、折叠内容、展开折叠和基于折叠生成备忘录等。

实施例1.2.1)局部翻译

在阅读超过自身理解能力的外文内容时，用户需经常启动翻译软件进行翻译。本发明基于对用户外语能力的了解和对外文信息的解析，自动选择用户可能存在理解困难的部分，进行自动翻译并添加到原文附近，方便用户提高用户体验。

下面介绍本发明实施例的信息对象的局部翻译方法，该方法的流程示意图如图12所示，包括下述步骤S1201-S1203：

S1201：判断信息对象是否满足预设的局部翻译条件；当判断结果为是时，执行步骤S1202；否则继续执行本步骤。

终端设备读取当前信息对象并尝试提取外文部分，判断是否需要局部翻译功能。如需要，执行步骤S1202。

下面介绍如何判断当前信息对象是否需要局部翻译(即是否满足预设的局部翻译条件)的多种方法：1)局部翻译功能提供的通用识别标准，局部翻译提供API(ApplicationProgramming Interface，应用程序编程接口)供应用调用，局部翻译基于用户的词汇表或生词表对当前的信息对象进行阅读难度评分，当分值超过一定阈值时提供局部翻译；2)局部翻译根据用户的阅读翻译或查字典类操作进行学习并形成需要局部翻译的识别标准，例如来自某个特定来源的信息，或某个主题的信息，或特定类型的信息，或超过一定字数的信息等；3)用户自定义的识别标准，例如用户可以设置所有来自某个网站的新闻内容进行局部翻译。用户可以设置对某类信息的摘要部分进行局部翻译。局部翻译功能不断维护用户外语能力数据，具体可以包括：1)熟练掌握的词汇，2)未掌握的词汇，3)存在理解困难的语法，4)历史手动翻译的语句等。用户也可以设置不需要局部翻译的标准。

S1202：确定信息对象中需要进行处理的局部内容。

根据下述至少一项确定信息对象中需要进行处理的局部内容：用户指令；历史操作情况；用户属性信息。

本发明提出，在判断出满足预设的局部翻译条件后，终端设备可以启动局部翻译功能并对信息对象进行解析，按段和句进行分割并标识。较佳地，对内容的解析包括：获得信息的来源和主题，提取信息中的关键词，生僻词汇，复杂语句等。确定信息对用户的重要性。对信息按段落、句子等进行分割并标识。提供用户界面允许用户对每个段落和句子通过图标进行手动折叠与展开等操作。

对信息对象进行解析后，可以进一步确定用户可能存在阅读或理解困难的部分(即需要进行处理的局部内容)。较佳地，基于对用户的外语能力的了解(可以通过用户属性信息获知)，识别当前信息对象中的用户难点词汇，按句子和段落统计用户难点词汇或阅读障碍点的数量，并结合用户设置为每个句子和段落计算阅读难度分值，进而基于句子给每段进行阅读难度评分。分值超过一定阈值的句子或段落被视为需要局部翻译的部分。

S1203：对确定出的局部内容进行相应语言翻译处理。

如果用户之前已设置允许自动进行局部翻译，即已获得用户授权，则终端设备可以自动对存在阅读和理解困难的部分进行翻译并显示。其中，局部翻译内容可以被视为信息原文的补充部分，可以直接加入原文进行融合显示或提供局部翻译的展开操作图标。添加到原文的翻译文本可以使用不同的字体、颜色、背景色或背景框等方式与邮件的原文进行区分。翻译文本及与正文的关联关系将被保存以便之后再次查看时使用。也可以仅仅提供翻译文本的链接提示，等待用户的手动展开。

如果用户之前未设置允许自动进行局部翻译，即未获得用户授权，可以添加局部翻译的相关图标，等待用户指令。其中，可以提供局部翻译的启动与设置图标等待用户的操作。用户可以启动局部翻译，也可以为局部翻译设置翻译途径(如通过哪些翻译应用进行翻译)等。

上述局部翻译的启动与设置图标可以认为是局部翻译的入口。接收到基于局部翻译的入口的操作指令(也可以称为处理指令)时，执行用户的操作指令，对局部信息进行局部翻译。

下面以邮件为例对局部翻译功能如何翻译信息进行举例说明：

工作方式一：图13为本发明实施例的局部翻译功能的一个实例的工作示意图；如图13所示，邮件客户端的局部翻译功能基于对当前正文的分析和对用户外语能力的了解，判断用户对第三段的内容存在阅读障碍后自动进行了局部翻译。如果用户发现局部翻译的效果并不满意，可以尝试切换或添加其他的翻译途径。

实施例1.2.2)局部加解密

用户阅读机密信息后，有时仍需存档备查不能立即销毁。这样在后续的日常使用中可能存在无意中泄密的可能性，所以本发明提出局部加密隐藏功能对最机密的信息片段进行局部加密。提高信息对象中的机密信息的保密能力。

下面介绍本发明实施例的信息对象的局部加密方法，该方法的流程示意图如图14所示，包括下述步骤S1401-S1405：

S1401：判断信息对象是否满足预设的局部加密条件；当判断结果为是时，执行步骤S1402；否则继续执行本步骤。

终端设备读取当前的信息对象，判断是否需要局部加解密功能。如需要，执行步骤S1402。

较佳地，下面介绍如何判断当前信息对象是否需要局部加密的多种方法：1)局部加密模块提供通用识别标准，判断当前信息对象是否需要局部加密；2)基于对用户操作的记录与自学习形成的判断标准。局部加密功能根据用户的历史加解密行为形成需要局部加密的识别标准，例如用户经常对某些特定来源的信息，或某个主题的信息，或特定类型的信息，进行加解密操作。基于这些操作生成相应的识别标准用于之后的判断；3)用户自定义的识别标准，例如用户可以设置所有来自某个信息源的信息对象需要局部加密，设置某种类型的信息需要局部加密。也可以设置某种类型的信息或某个信息来源的信息不需要加解密。

其中，记录的用户的历史加密行为的内容包括：1)加密信息片段所在信息自身的安全级别，来源，发件人，题目，类型等；2)加密信息片段的内容，类型，及其特征；3)用户设置的信件安全级别或者机密信件的识别规则。4)用户为该加密信息片段使用的加密方式和等级。加密级别分为：秘密，机密，核心机密等不同级别。5)基于以上内容的汇总进一步分别为信息体的不同来源，类型，特征，发件人等赋予不同的机密级别。

S1402：确定信息对象中需要进行处理的局部内容。

本发明提出，在确定进行局部加解密时，可以对信息对象进行分割与解析。识别需要局部加密的信息片段，并提供加解密入口。

较佳地，确定需要局部加密的信息片段的方法可以包括：对信息对象按句子、段落等进行分割并标识。基于用户的历史加密行为对潜在的信息片段进行机密分值评估，机密分值超过一定阈值时，提供局部加密入口。同时也为手动选择的信息片段提供局部加密入口。

其中，为信息片段评估机密分值的方法可以是：1)对加密候选信息片段的来源，内容，特征等与用户历史加密过的信息片段的相关部分进行模糊查找，找到匹配条目；2)基于匹配的条目的历史机密级别，分别从信息来源，类型，内容，特征，发件人等不同角度评估机密级别；3)汇总不同角度评估的机密级别，得到最终机密级别和机密分值。

加密入口提示信息的形式可以是以下形式的之一或组合：1)特殊符号、2)提示文字、3)图标或图片等。

S1403：对确定出的局部内容进行相应加密处理。

接收到基于局部加密的入口的操作指令(也可以称为处理指令)时，执行用户的操作指令，对局部信息进行局部加密。

本发明提出，用户执行加密时，可以对用户进行身份识别，并确认加密级别、加密方式等。

较佳地，对用户进行身份识别可以沿用现有的身份识别方式比如：密码验证、生物信息识别(指纹、声纹、人脸、虹膜等)、屏幕图案信息验证。确认加密级别、加密方式、秘钥的方法有：1)根据加密内容的机密等级评估确定加密级别、方式及秘钥等。2)根据用户历史加密行为推荐默认加密级别、方式及秘钥等。3)也允许用户修改当前加密信息片段的加密级别、方式及秘钥等。也可以设置默认的加密级别、方式及秘钥等。

S1404：局部加密后，生成并显示局部解密的入口。

完成局部加密后，加密信息段可以被加密提示信息替换，并提供解密入口。

较佳地，用户通过加密入口对信息片段进行了局部加密后，加密信息段被加密提示信息替换例如：1)系列的星号：*******，2)涂黑的色块：■■■■，3)文字提示：--已加密--，等。并在加密提示信息附近提供解密入口。解密入口的形式类似加密入口。

S1405：对确定出的局部内容进行相应解密处理。

接收到基于局部解密的入口的操作指令(也可以称为处理指令)时，执行用户的操作指令，对局部信息进行局部解密。

用户执行解密时，首先进行身份验证，通过验证后解密加密片段并显示。

较佳地，本步骤中的身份验证与步骤S1403中的身份识别可以一致。如解密成功，将以明文的形式显示之前被加密的信息片段。

较佳地，局部加解密功能提供加解密信息片段的显示生命周期、转发等管理操作。解密信息片段的生命周期管理：1)与当前业务会话的生命周期一致，直到当前的业务会话被终结。方便转发，转存解密信息片段。2)与当前会话的显示生命周期一致，一旦当前的显示会话被暂停、中断或转入后台，就终结显示解密。3)永久解密，取消对该信息片段的局部加密操作。加密信息片段的转发或拷贝的管理：1)当加密信息片段处于加密显示状态时，将提示用户存在加密信息，由用户决定对加密信息进行何种操作：解密，删除，或使用加密提示信息作为发送内容。2)当加密信息片段处于解密显示状态时，将提示用户存在加密信息，由用户决定对加密信息进行何种操作：明文发送，删除，或使用加密提示信息作为发送内容。

下面以邮件为例对局部加解密进行举例说明：

工作方式一：图15为本发明实施例的局部加解密功能的加密入口的一个实例的示意图；如图15所示邮件客户端的局部加解密功能基于用户历史加密行为，判断用户可能对保密项目的开发日程存在局部加密的需要，将提供加密入口供用户使用。用户也可以手动选择希望局部加密的信息并调用局部加密功能。当局部加密功能被调用后，首先启动用户身份识别模块验证身份。验证通过后，基于内容推荐局部加密级别及方式。用户也可以修改加密的具体细节。较优的，用户可以设置秘密，机密，核心机密等不同加密级别，不同级别可能使用不同的加密方法，秘钥，及解密信息显示生命周期的管理方式。当用户希望再次阅读加密的信息时可以选择对加密显示的信息进行解密，如图16。图16为本发明实施例的局部信息(例如信息片段)被加密并提供解密入口的一个实例的示意图。

实施例1.2.3)折叠内容

用户在非第一次阅读信息时可能只对信息的部分内容感兴趣，却在每次阅读时需要重新定位到感兴趣的内容。基于这个问题本发明为个人信息管理软件(例如邮件)提供折叠内容的模块，允许用户在阅读时就对不关心的信息片段或者无价值的信息进行自动或手动的折叠隐藏，方便用户在后续的阅读中快速地定位到最重要的或用户关注的信息。

下面介绍本发明实施例的信息对象的局部折叠内容的方法，该方法的流程示意图如图17所示，包括下述步骤S1701-S1703：

S1701：判断信息对象是否满足预设的局部折叠条件；当判断结果为是时，执行步骤S1702；否则继续执行本步骤。

读取当前信息对象并判断是否需要启动折叠模块。如需要，执行步骤S1702。

较佳地，下面介绍如何判断当前信息对象是否需要启动折叠模块的多种方法：1)折叠模块基于通用识别标准供应用调用进行判断；2)折叠模块根据用户的日常手动折叠和展开操作进行学习并形成识别标准，使用该标准进行判断；例如记录用户已读的信息、用户不关心的信息、重复的或已知的信息等，基于这些信息判断当前的信息片段是否需要被折叠。3)用户自定义的识别标准，例如用户可以设置所有来自某个信息源的信息，某种类型的信息需要启动折叠模块。4)用户也可以设置默认给所有信息对象打开信息折叠模块。

S1702：确定信息对象中需要进行处理的局部内容。

启动折叠模块并解析信息对象，按层次结构分割信息对象。

较佳地，后续以电子邮件为例说明信息对象中内容的层级结构。邮件包括：1)主题、收发件人信息、附件等附属信息。2)正文部分，具体包括：称谓，祝语，正文(开头、主体、结束)，落款/签名。正文部分也可以有插图附表等。正文部分也可以进一步使用层级结构表示：全文、段落、句子、附图等附属信息。称谓、祝语、落款/签名等可以根据实际情况归属为段落或句子并进行标识。考虑邮件有多次回复和转发情况的存在，这些层次结构也从中嵌套或者组合等形式。基于层次结构可对信息进行细致的分割和标注。

分割信息对象之后，可以查询用户历史操作，识别出可以被自动折叠的信息片段。较佳地，折叠模块查询用户折叠操作历史、用户阅读习惯、已阅内容、不关心信息类型的数据记录。基于对信息对象的解析、用户习惯、历史、意图及已阅信息，可以识别出可以被自动折叠的信息片段，自动折叠已阅读内容或用户不关心的内容。所以折叠模块需要记录用户折叠和展开内容的操作历史，并对操作进行学习提取用户习惯。也需要记录用户的邮件发送、回复、已阅读内容、不关心的信息类型等。折叠模块不断对用户的折叠和展开操作进行记录和自学习。

S1703：对确定出的局部内容进行相应折叠显示处理。

进行折叠显示处理时，终端设备可以基于内容的层级结构提供折叠或展开操作的入口，等待用户的折叠或展开操作。当接收到基于折叠入口的操作指令(也可以称为处理指令)时，执行用户的操作指令，对局部信息进行折叠。

对于折叠的信息可以显示其摘要，子层次结构，相关操作的图标等。

较佳地，折叠模块提供折叠和展开操作入口，也可以进一步进行自动折叠。对于折叠的信息可以显示相关信息，包括折叠信息片段的信息摘要，如果折叠隐藏了大段信息还可以显示信息片段的子层次结构图示等，方便用户后续展开折叠等操作图标。这些信息也可以用浮动窗口的信息展现，例如当用户点击折叠模块的感应区域或图标时浮动显示折叠信息片段的摘要。为了提高手动折叠和展开信息的能力，可以提供以下功能入口：1)根据信息交互参与者进行折叠和展开，例如折叠特定人的所有回复。2)根据信息交互时间进行折叠和展开，例如某日之前的回复均折叠隐藏，3)根据交互信息的内容类型进行折叠和展开，例如用户折叠一个“已阅”或“参加”等的回复，系统协助用户对这一类信息都进行折叠。

用户的展开和折叠操作将被再次被记录并用于折叠模块的自学习与训练。

下面以邮件为例对折叠模块进行举例说明：

工作方式一：图18为本发明实施例的信息对象的局部折叠方法提供手动折叠入口的一个实例的示意图；图19为本发明实施例的信息对象的局部折叠方法中基于接收方(例如收件人)的阅读习惯自动折叠部分内容的一个实例的示意图；项目经理发送了如图18所示的布置工作任务的信件。位于中国的协作项目组收到的信件时，所有的段落均进行了段落标识但处于未折叠状态，但是提供手动按段或句折叠信件的操作入口。而且，信件的标题和内容自动局部翻译为英文。如果是负责某项具体任务的项目成员收到该信，如图19，项目组1和项目组2的成员收到信件时结合以往他们不关注项目组3的任务的阅读习惯，邮件系统自动折叠信件的由项目组3负责的第三个任务的细节，同时提供展开操作入口。

工作方式二：用户就某一个主题进行多轮的讨论与回复，一份最新的邮件可能是原始信件与多封回复的集合体。当收到最新的回复时邮件系统可以自动折叠用户已经阅读过的历史信息，仅仅显示这些历史回复信息的摘要即可。摘要可能包括回复人，主题，回复时间等。用户在有再次阅读需要的情况下可以展开该回复。也可以根据回复人进行折叠和展开，例如只显示某个人的所有回复，折叠其他人的回复；或者折叠特定人的所有回复等。

工作方式三，用户在系列信件的某一封信中对部分历史回复进行了折叠操作，这些折叠操作将作为用户历史行为被记录，在系列信件的最新回复中，也将执行这些操作。即对一封信的折叠操作可以被扩展到该信所在的一系列信中。

工作方式四，多位接收方对某信件进行了类似的回复时，系统可以根据回复的内容进行归类，只显示一份回复，然后列举出所有的回复人。例如发件人发送邮件调查接收方对某个事情的意见，五个接收方回复了“同意”或“赞同”，而四个接收方回复了“反对”。折叠模块可以直接显示一个“赞同”正文，然后在附近显示五位回复“赞同”的接收方的姓名或ID等，列举回复人的顺序可以考虑回复顺序，回复人的姓名或ID排序等；显示一个“反对”正文，然后在附近显示四位回复“反对”的接收方的姓名或ID等。

实施例1.2.4)局部内容生成备忘录

基于折叠用户可以对信息的一处或多处关注信息片段进行显示，不关注信息片段进行折叠。有时为了突出关注的信息片段，也可以进行如高亮、变换背景色、变换字体等标注操作。本发明进一步基于当前显示的信息片段及其高亮标识生成备忘录等。

下面介绍本发明实施例的信息对象的局部内容生成备忘录方法，该方法的流程示意图如图20所示，包括下述步骤S2001-S2003：

S2001：判断信息对象是否满足预设的生成备忘录条件；当判断结果为是时，执行步骤S2002；否则继续执行本步骤。

S2002：确定信息对象中需要进行处理的局部内容。

S2003：对确定出的局部内容生成相应的备忘录。

对信息对象进行自动或手动折叠与标注。提供生成备忘录的入口，等待用户的处理指令。基于用户的处理指令，基于折叠后的显示信息及用户标识生成备忘录。

用户也可以手动选择感兴趣的内容，基于选择信息生成备忘录。

下面以邮件为例对折叠模块基于局部内容生成备忘录进行举例说明：

工作方式一：图21为本发明实施例的基于用户选择的局部内容生成备忘录的一个实例的示意图；如图21所示用户手动选择了希望局部操作的部分内容，通过右击或长按等启动系列操作入口：翻译、加密、高亮、生成备忘录等。用户如果选择了生成备忘录，系统将基于用户的选择的内容生成备忘录而忽略没有被选择的信息。如果用户在已进行了折叠操作的邮件上进行生成备忘录操作，可以忽略所有被折叠隐藏的信息，同时用户新增的高亮等标注信息将被加入到备忘录中。

本发明实施例中的信息对象的智能操控方法，还包括：确定与处理指令对应的信息对象对应的关联信息对象；根据处理指令，对关联信息对象进行关联处理；其中，关联处理包括删除处理。

较佳地，上述对关联信息对象的关联处理包括智能删除。较佳地，智能删除包括下述至少一项：删除关联信息、处理逾期信息。

实施例1.3)信息对象的智能删除

当用户尝试删除某个信息时，往往也希望删除类似的、关联的或冗余的信息。群发或自动发送的通知类信息往往会反复地发送给用户；周期类或系列信息的最新内容一般包含着一定范围内的所有信息，而之前收到系列信息包含的内容往往是过时的或局部的；部分经过多轮多人回复的信息，往往后续的信息体带着之前交互的大量冗余信息，对这些冗余信息也可以采取一些删除或隐藏的操作；还会根据接收到的信息生成一些提醒，通知，日程等，当原始信息被删除时很可能意味着基于原始信息产生的衍生内容也需要删除。就以上情况本发明提出了信息对象的智能删除。

实施例1.3.1)删除关联信息

图22为本发明实施例的智能删除关联信息的一个特例的工作示意图。如图22所示：当用户进行删除操作时，根据用户习惯查询与用户想要删除的信息相关及类似的项目(即关联的信息)，在删除(确认)界面提供关联搜索结果，用户可进行二次删除选择，帮助用户进行全面和有针对性的删除。下面将详细介绍。

下面介绍本发明实施例的删除关联信息对象的方法，该方法的流程示意图如图23所示，包括下述步骤S2301-S2302：

S2301：获取信息对象对应的处理指令，确定与处理指令对应的信息对象对应的关联信息对象。

其中，上述处理指令可以为用户的信息删除指令。当终端设备接收到用户的信息删除指令时，进入删除信息界面，启动智能删除。

终端设备可以分析用户的当前删除操作，获取信息删除指令对应的信息对象，即用户想要删除的信息对象，提取当前待删除信息对象的特征和/或类型。

较佳地，提取待删除信息对象的特征可以有如下至少之一或组合：1)待删除信息对象(例如邮件)的时间特征，包括待删除信息对象的接收、发送时间、删除信息对象内容提及的时间点等；2)待删除信息对象的地点特征，包括待删除信息对象提到的地点，收发件人所在地点等；3)待删除信息对象的人物特征，包括发件人、接收方及待删除信息对象内容提及的人等；4)待删除信息对象的主题事件，包括待删除信息对象的标题、核心事件、关键字等；5)待删除信息对象的类型包括：广告或订阅信息、工作或私人交流信息、抄送或转发信息等。如是多个待删除信息对象，也尝试提取多个待信息对象的共性特征。

基于提取的特征查询历史删除记录，获得此删除操作对应的信息对象的分类及可能关联操作。

较佳地，通过待删除信息对象的特征查询用户历史删除操作记录，综合不同特征的反馈结果可以确认删除信息对象的分类及其可能的关联操作。待删除信息对象的分类信息：1)周期性的信息(例如项目组的周报邮件)，2)有一定时效的通知类信息(例如通知类群发邮件)，3)多轮回复的信息等。基于这些特征和分类可以获得待删除信息对象的用户潜在操作信息如：1)待删除信息对象分类的关联操作等；2)待删除信息对象分类的用户历史操作习惯。

基于提取的特征及分类，从不同的角度和方向为用户进行关联搜索，搜索待删除信息对象的关联信息对象。

较佳地，根据待删除信息对象的特征进行关联搜索的方向主要有：1)来自同一个发件人的信息及其衍生信息和内容；2)同一个题目或主题的系列信息及其衍生；3)类似主题或类型的相关信息及其衍生等。用户可以根据上面提到待删除信息对象的特征及其组合自定义关联搜索语句进行搜索。基于用户潜在操作对搜索到的内容进行分组、排序以及设置默认处理方案等。

当获得待删除操作信息对象的历史分类及可能关联操作时、或关联搜索到关联信息对象(如待删除操作信息对象的衍生信息或系列信息或待删除信息对象的类似主题或类型的相关信息及其衍生信息)时，判断满足预设的删除关联信息条件，执行步骤S2302。

S2302：根据处理指令，对关联信息对象进行删除处理。

在删除界面添加关联信息的删除操作入口，便于用户进行二次删除。

较佳地添加关联信息的删除操作入口例如“删除推荐”，方便用户进行二次删除。“删除推荐”显示不同关联搜索方向的搜索结果列表，用户可以进行删除操作的二次选择，实现对待删除信息对象的类似或相近内容的同步删除。

下面以邮件为例对智能删除关联信息进行举例说明：

工作方式一：图24为本发明实施例的智能删除关系信息的一个实例的工作示意图；如图24所示当用户选择了两封邮件进行删除时，邮件客户端在删除确认界面提供“删除推荐”的入口。用户点击进入后可以看到智能删除模块使用发件人，邮件题目，邮件主题对当前删除操作进行了关联搜索，并列出搜索到的关联邮件及其衍生内容。用户可以选择：1)删除来自同一发件人的其他类似信息及其衍生信息，2)删除具有相同标题的所有信息及其衍生信息，3)删除类似主题的其他信息及其衍生信息，4)用户也可以自定义搜索字段及其组合实现定制化删除推荐。在关联信息选择列表中二次选择了希望同时删除的条目后，可以添加这些条目到删除列表一并删除。

实施例1.3.2)处理逾期信息

周期类或系列性信息总是最新的信息对象包含或继承着大部分历史信息，而先前的信息对象包含的内容可视为是老旧的、已被更新的、已处理完毕的或局部的信息。本发明把系列信息集中到一个会话中，以时间轴等方式展现信息的更新过程并突出最新的信息，并提供对历史信息进行回溯的方法。方便用户把注意力放在最新的信息上。

下面介绍本发明实施例的处理逾期信息对象的方法，该方法的流程示意图如图25所示，包括下述步骤S2501-S2502：

S2501：获取信息对象对应的处理指令，确定与处理指令对应的信息对象对应的关联逾期信息。

其中，上述处理指令可以为用户的信息对象选择或打开指令。当终端设备接收到用户的信息对象选择或打开指令时，终端设备获取该指令对应的信息对象，即用户想要选择或打开的信息对象，智能删除模块可以提取当前信息对象的特征和/或类型。

较佳地，提取信息对象的特征可以有如下至少之一或组合：1)信息对象的时间特征，包括信息对象的接收、发送时间、信息内容提及的时间点等；2)信息对象的地点特征，包括信息对象提到的地点，收发件人所在地点等；3)信息对象的人物特征，包括发送方(例如发件人)、接收方(例如收件人)及信息内容提及的人等；4)信息对象的主题，包括信息对象的标题、核心事件、关键字等。5)信息对象的类型包括：广告或订阅信息、工作或私人交流信息、抄送或转发信息等。

终端设备可以判断处理指令对应的信息对象是否是周期性或系列性的信息。如果是则可以继续。

较佳地，终端设备可以判断处理指令对应的信息对象是否是周期信息或系列性的信息的方法：1)根据信息对象的发件人，题目，内容格式和历史重复性信息数据记录进行比对。2)根据信息对象的收发时间特征和历史重复性信息数据记录进行比对，因为系统自动发送周期性信息或系列性的信息往往发生时间是固定的。4)根据信息系统自动聚类并提取的周期特征和系列性特征与标准进行识别。4)根据用户之前的设置的周期信息、已处理完毕的或系列性的信息的特征和标准进行判断。

终端设备可以基于提取的特征和/或类型检索相似及其衍生信息。

较佳地，终端设备可以根据信息的特征进行关联搜索相似及其衍生信息的方法有：1)来自同一个发件人的信息及其衍生信息和内容；2)同一个题目或主题的系列信息及其衍生；3)类似主题或类型的相关信息及其衍生等。用户可以根据上面提到信息的特征及其组合自定义关联搜索语句进行搜索。

终端设备根据相似及其衍生信息，判断是否存在逾期或冗余信息，逾期或冗余信息可以认为是处理指令对应的信息对象对应的关联信息对象，也可以称为关联逾期信息。若存在，则认为满足预设的处理逾期信息条件，继续执行步骤S2502。

S2502：根据处理指令，对关联逾期信息进行删除处理。

终端设备可以提供处理逾期或冗余信息的操作入口，等待用户相关操作指令。

较佳地，提供处理逾期或冗余信息的操作入口的方法可能是：1)提供二次选择界面允许用户删除冗余信息，2)提供用户设置界面，允许自动为用户隐藏冗余信息，3)集成相关信息到一个会话中，以时间轴等方式展现信息的更新过程并突出最新的信息，并提供对历史信息进行回溯的方法。

较佳地，接收到基于处理关联逾期信息的入口的用户操作指令时，执行用户的指令，对待处理的关联逾期信息进行处理：如删除，隐藏，集成到一个会话统一管理。

较佳地，基于搜索结果，终端设备集成相关信息的方法包括：1)根据检索到的所有信息的发件人，题目，内容格式的重复性进行聚类。2)根据检索到的所有信息的收发时间、周期特征、系列性特征聚类。3)根据用户设置特征和标准对检索到的所有信息进行聚类。当前信息存在多条聚合信息即被视为存在逾期或冗余信息。

下面以邮件为例对智能删除模块处理逾期或冗余信息进行举例说明：

工作方式一：图26为本发明实施例中判断出存在(属于逾期信息的)周期性邮件的一个实例的工作示意图；图27为本发明实施例中展示(属于逾期信息的)周期或系列性邮件的一个实例的示意图；用户在打开加班与倒休的周期性通知信件时，邮件客户端提醒用户可以选择：1)在以后每次收到最新的该周期信件时自动删除或隐藏该邮件本周期内的所有逾期信件，如图26所示。2)在以后每次收到新的邮件时，智能删除模块发现信息没有更新或者用户已阅或知悉，自动删除或隐藏这封没有信息更新的信件，示意图略。3)自动把周期邮件的一个周期内的邮件收集并集成到一个会话中，以时间轴等方式系列化地展示这些邮件，突出信息的更新过程和最新的信息，并提供对历史信息进行回溯的方法。如图27所示，用户可以通过时间轴等方式浏览系列邮件，用户可以点击时间轴上的之前时间点查看该时间点的邮件。更进一步可以只保留最新的邮件或最初的邮件及每封邮件和他们的变化部分。

实施例1.4)信息对象的快捷操作

某些特定信息(例如某些类型的电子邮件)经常对应着用户的一系列操作，如：找回密码信件的拷贝密码、切换应用、粘贴密码等操作；含附件信件的附件下载、归档、删除邮件等系列操作。快捷操作模块可以为这些特定信息设置或增加快捷操作引导，为特定的内容和潜在的系列操作及其他应用建立联结方便用户执行相关操作。

本发明实施例中的信息对象的智能操控方法包括信息对象的快捷操作方法。

本发明实施例中的信息对象的快捷操作方法中，获知信息对象、其相关状态或相关操作时，确定并展示该信息对象的相关元素的入口，包括：接收到信息对象时，判断是否满足预设的快捷操作条件；当判断结果为是时，为信息对象对应生成并显示快捷操作的入口。

以及，本发明实施例中的信息对象的快捷操作方法中，接收到基于相关元素的入口的操作时，对相关信息和/或相关元素进行智能操控，包括：接收到基于快捷操作的入口的操作时，对信息对象进行快捷操作。

较佳地，快捷操作可以包括信息对象所关联的一系列操作。

图28为本发明实施例的快捷操作的一个实例的工作示意图，如图28所示，以邮件为例，读取邮件；根据由关联APP等获得的历史操作数据库，对邮件内容分析；为邮件添加关联操作；响应用户操作。

实施例1.4.1)快捷操作

下面介绍本发明实施例的信息对象的快捷操作方法，该方法的流程示意图如图29所示，包括下述步骤S2901-S2904：

S2901：快捷操作模块提取当前信息对象的特征和/或类型。

较佳地，下面以邮件为例对快捷操作进行举例说明：

提取信息对象的特征可以有如下至少之一或组合：1)信息对象的时间特征，包括信息对象的接收、发送时间、信息内容提及的时间点等；2)信息对象的地点特征，包括信息提到的地点，收发件人所在地点等；3)信息对象的人物特征，包括发送方(例如发件人)、接收方(例如收件人)及信息内容提及的人等；4)信息对象的主题，包括信息的标题、核心事件、关键字等。5)信息对象的类型包括：密码找回信息对象、含附件的信息对象、订阅信息、金融机构发送的账单信息等。

S2902：判断当前信息对象是否对应系列操作，其中系列操作也可以认为是至少两项关联操作；若是，则转至S2903；若否，则转至S2904。

较佳地，下面介绍如何判断当前信息对象是否对应着一系列操作的多种方法：1)快捷操作模块提供通用识别标准，提供API供应用调用。基于信息对象的特征(如关键字，来源等)和快捷操作记录进行配合，确定该信息对象是否可能存在系列操作。2)服务器提供判断标准或模板，基于信息对象的特征(如关键字，来源等)使用来自服务器的判断标准和模板进行判断；3)快捷操作模块也可以根据用户的日常重复性操作进行学习并形成用户识别标准，基于该标准进行判断；4)通过当前信息对象的分类选择判断标准进行识别和判断；5)基于用户自定义的判断标准进行识别和判断。

较佳地，快捷操作模块可以基于提取的特征和/或类型查询快捷操作模块的数据记录，尝试获得信息对象潜在的系列操作。系列操作在数据记录中可能以快捷操作引导脚本的形式存在。脚本包括：1)一条或多条潜在操作序列；2)配置和修改操作序列的方法；3)相关显示资源或其ID，如用户提示文字，图标等。

S2903：提供快捷操作入口，等待用户的操作指令。

较佳地，基于查询到的潜在系列操作的引导脚本为当前信息对象提供用户操作入口，等待用户的操作指令。并提供用户进行设置或修改的入口。

提供潜在系列操作的快捷操作入口的方式有：1)在内容摘要区等小尺寸区域，以图标或其他较小的UI(User Interface，用户界面)提示用户存在“快捷操作”，用户点击后以弹出框的形式展开；2)在内容展开或充分显示的大尺寸区域，可以显示独立的“快捷操作”显示块，例如可以在原始内容的末尾或右侧空白区域显示；3)在内容展开或充分显示的大尺寸区域，还可以把“快捷操作”完全和当前内容融合起来显示，如使用特殊颜色或字体等方式和原始内容进行区分。

S2904：执行用户的操作指令，并更新快捷操作的记录。

较佳地，快捷操作记录可能以快捷操作引导脚本的形式存在。生成和更新快捷操作的记录的方式有：1)基于用户历史操作数据提取并生成快捷操作数据记录；2)由用户基于模板设置或编辑操作序列引导用户操作并生成新的快捷操作记录；3)基于用户当前的操作系列调用生成“快捷操作记录”的接口直接生成一份快捷操作记录。

工作方式一：案例1:图30为本发明实施例的拷贝新密码的快捷操作的示意图；用户忘记密码后在线申请修改密码，在收到密码修改邮件时，如图30可以在收件箱的列表添加“快捷操作”图标，提示用户并等待用户点击。点击后弹出的“快捷操作”显示框，系列动作包括拷贝新PIN码，24小时后可以自动删除该邮件。

案例2:图31为本发明实施例的归档附件并删除邮件的快捷操作的示意图；用户收到所在组织的周报，快捷操作模块基于对用户历史操作的学习为用户提供了“快捷操作”包括的系列动作有：保存附件到特定的归档目录，下载完成自动删除邮件，如图31所示。

工作方式二：图32为本发明实施例的为账单关联相关操作入口或还款预约的快捷操作的示意图；如图32，用户收到了信用卡消费账单。当用户打开账单信件时，“快捷操作”自动添加到账单里，并以和正文不同的颜色显示。用户可以直接在正文里完成记账，生成自动还款授权，或直接调用第三方支付方式还款。

本发明实施例一的第一方面中，判断是否满足预设的可感知线索的提供条件；当判断结果为是时，执行针对至少一个信息对象展示可感知线索的步骤；可感知线索类似于信息对象的一个可识别标签，可以引导用户将可感知线索增加到针对信息对象的选择指令(例如语音交互指令)中，起到协助用户更加精确地选择信息对象的作用；当系统接收到用户输入的基于可感知线索的语音交互指令时，可以从该语音交互指令中解析出可感知线索，根据解析出的可感知线索可以更加精确地确定出对应的信息对象，进而根据语音命令对更加精确地确定出的制信息对象进行操作；大大提升了用户选择信息对象、且系统确定信息对象的精确度，大大降低误选的几率，整体上提升操作信息对象的效率，可以提升用户体验。

而且，本发明实施例一的第一方面中，可以根据语音交互功能的状态、信息对象的内容、用户属性信息、历史语音交互情况、历史可感知线索提供情况、用户指令、和/或已接收的语音交互指令等多种途径，判断是否满足预设的可感知线索的提供条件，尽可能地预测用户的意图；进而在后续根据符合预测的用户意图的可感知线索的提供条件，为至少一个信息对象对应生成并展示合适的可感知线索。有利于满足用户个性化的需求或偏好，提升用户体验。

进一步，本发明实施例一的第一方面中，可感知线索包括视觉线索和/或音频线索；视觉线索包括下述至少一项：数字、字母、文字、颜色、图像、图形、视频；而图像包括下述至少一项：图标、头像、符号。视觉线索的种类丰富多样，有利于最大限度地满足用户个性化的需求或偏好，提升用户体验。而且，在至少一个信息对象对应的指定位置处展示视觉线索；指定位置包括：信息对象所处位置之外且与信息对象对应的指定位置；和/或，信息对象的关键内容对应的位置。视觉线索的显示方式丰富灵活，有利于最大限度地满足用户个性化的需求或偏好，提升用户体验。

此外，本发明实施例一的第一方面中，可感知线索还包括音频线索、或视觉线索和音频线索的组合。可以通过听觉、或听觉和视觉等人类可感知的途径，引导用户将可感知线索增加到针对信息对象的选择指令(例如语音命令)中，进一步起到协助用户更加精确地选择信息对象的作用。

本发明实施例一的第二方面中，确定信息对象中需要进行处理的局部内容，例如从海量的信息中确定出可能存在用户需要进行翻译、加密隐藏、高亮、和/或生成备忘录等操作的重要的局部内容，对确定出的局部内容进行相应局部处理，使得用户通过局部操作就可以大概率快速定位到重要的和紧急的信息，并进行相应操作，大大减少了用户的重复性操作，大大减轻了用户的回忆和查找负担，提升了用户对重要的信息(局部内容)的操作效率。

本发明实施例一的第三方面中，获取信息对象对应的处理指令后，确定与处理指令对应的信息对象对应的关联信息对象，例如确定出待删除的类似的、关联的或冗余的信息；根据处理指令，对关联信息对象进行关联处理，如删除处理，使得用户通过智能删除就可以大概率快速定位到待删除的类似的、关联的或冗余的信息，并进行相应的删除操作，大大减少了用户的重复性操作，大大减轻了用户的回忆和查找负担，提升了用户的删除效率。

本发明实施例一的第四方面中，确定信息对象是否存在对应的系列操作，若存在，可以引导用户使用快捷操作功能，根据用户的处理指令，对信息对象进行快捷操作处理，例如找回密码信件的拷贝密码、切换应用和粘贴密码等系列操作，或含附件信息的附件下载、归档和删除邮件等系列操作。上述方法大大减少了用户的操作量，提升了用户的系列操作或关联操作的效率。

实施例二

下面详细介绍信息对象的智能编辑功能。

个人信息管理系统、或邮件应用等会话交互类软件，在编辑信息时存在一些繁复的操作步骤。下面以邮件应用为例进行说明。

邮件的常规交流是发送方(例如发件人)和接收方(收件人)进过若干次回复进行信息共享，或协商事宜，或分配任务。多轮邮件的最新完整信息经常是分散在多次的回复中而不是全部集中在当前回复中，甚至过时或不准确的阶段性信息会一直保留在邮件历史中，造成用户有时需要浏览邮件的整个历史交互并筛除无效内容才能了解信息全貌。重要或紧急的信息容易被其他信息淹没。

出于礼节、社会风俗或者防范法律诉讼风险等，发件人有时需要对接收方进行排序，如按照职务高低进行排序，按照姓名字母表排序，沿用历史排序的次序等等。有时也需要对接收方排序进行置乱。现有技术目前还没有提出能够便捷地对接收方进行排序和置乱的方案。本发明将就该类问题提出解决方案。

个人信息管理系统或邮件应用在选择文件的大部分时候是比较方便和快捷的，但如果是回复已存在的会话并希望添加其他会话中包含的文件就比较繁琐。例如邮件的会话交互过程中选择其他会话中的文件并添加到本会话时，需要先从其他会话中保存文件到本地，然后再添加到本会话。直接添加其他会话的内容也存在一定困难的。如果希望直接添加其他应用的内容作为附件也是存在一定困难的。本发明将就该问题提出解决方案。

下面介绍本发明实施例中的信息对象的智能编辑方法，包括：获知信息对象、其相关状态或相关操作时，确定并展示该信息对象的相关元素的入口；接收到基于相关元素的入口的操作时，对相关信息和/或相关元素进行智能编辑。

基于以上智能编辑功能尝试结合应用上下文，感知用户的意图，适时启动，帮助用户完成相关操作。主要包括：1)基于格式内容的编辑。2)信息发送时的接收方(例如收件人)排序或置乱。3)从会话或其附件中选择文件。以下将进行详细介绍。

实施例2.1)基于格式内容的编辑

格式模板可以根据信息的特点和用户的需求设定信息的层次结构，内容格式，呈现形式等等。以便用户随时调用生成新的信息，减少用户重复输入，统一格式。

现有技术中只是提出通过用户输入选择预制电子邮件模板生成邮件，模板主要由各种带有格式的文本段组成，而本发明提出的邮件模板由不同类型的在线控件构成，控件接受用户输入和更新，并根据用户的本地设置进行个性化显示，用户直接更新在线控件内容对邮件进行回复。更具体的例子是用户使用的邮件格式模板内嵌在线插件，发送方仅需对模板进行填充，对控件进行初始化并填充即可完成初始会话内容的生成。接收方可以通过插入和更新在线插件实现对当前格式内容的更新，无须新建格式内容即可回复。插件还会根据用户的本地配置属性进行个性化的显现。如考虑时区因素的时间控件，考虑位置相关因素的地点控件，实时显示最新投票结果的投票控件等。下面将从格式内容的生成及发送，接收及更新两个方面进行介绍。

下面介绍本发明实施例中信息对象基于格式模板的编辑方法，该方法中，获取信息对象对应的处理指令，包括：接收到信息对象时，确定并显示作为更新内容的入口的插件。其中，接收到信息对象包括：接收到用户输入的信息对象。

以及该方法中，根据获取的处理指令，对信息对象进行相应处理，包括：根据获取的涉及插件的处理指令，对信息对象进行相应处理。

本发明实施例中信息对象基于格式模板的编辑方法中，根据获取的涉及插件的处理指令，对信息对象进行相应处理，包括：接收到基于插件的更新内容时，根据基于插件的格式模板生成包含更新内容的格式信息。

以邮件为例，图33为本发明实施例的基于(插件的)格式模板的邮件编辑示意图，如图33所示，读取邮件当前输入(信息)，判断是否是格式内容邮件，是否存在格式敏感词；当某一判断为是时，从格式模板数据库中获取基于插件的格式模板，或者通过在线控件服务器获取插件；生成包含在线插件的格式邮件，等待用户操作；接收用户的发送操作，将格式邮件发送出。

实施例2.1.1)格式信息：生成及发送

较佳地，用户通过格式模板可以复用之前信息的层次结构，格式设置，呈现形式等。为格式模板插入内嵌插件，可以提高模板的交互性，更加智能。格式模板可能会用到的在线插件的类型有：显示框插件、编辑框插件、菜单插件、单选插件、多选插件、进度条插件、状态栏插件、按钮插件、列表框插件、对话框插件等基础性插件。也提供或允许用户自定义复合插件，即多个不同或相同类型的插件按一定的逻辑或位置等关系组成一个集合体。复合插件通过内置一些逻辑代码及业务数据使基础插件间存在一定的关联及互动。例如格式化内容经常可能用到的时间复合插件，位置复合插件，投票复合插件。时间插件的填写是基于本地时区的时间，但提交给插件服务器的时间是世界标准时间或服务器进行标准时变换。可以理解包括内嵌插件的模板是插件的容器，也可以把模板本身看作一个容器插件。

本发明实施例中信息对象基于格式模板的发送方编辑方法的流程示意图如图34所示，包括下述步骤S3401-S3403：

S3401：接收到用户输入的信息对象时，确定并显示信息对象涉及的插件。

基于用户当前输入，动态地推荐格式模板或在线插件，供用户选择。

解析用户当前输入的信息中的交互题目或内容，推荐格式模板或在线插件。

较佳地，推荐格式模板或在线插件的方式有如下至少之一：基于用户输入信息的题目推荐格式模板，例如用户输入邮件标题“会议记录”时推荐对应的会议记录模板；根据用户输入的内容推荐格式模板并自动提取用户之前的输入填充模板及其包含的在线插件；基于用户输入的内容为当前的信息编写推荐在线插件；也可以同时考虑用户输入的题目和内容推荐格式模板。此外用户也可以浏览格式模板列表选择合适的模板。

S3402：接收到基于插件的更新内容时，根据基于插件的格式模板生成包含更新内容的格式信息。

基于选择的(格式)模板或插件生成新的信息，信息可以包含在线插件。

较佳地，基于用户选择的(格式)模板或插件生成新的信息。信息可以根据内容的不同选择包含不同类型的在线插件。用户在插件上输入的数据或信息由插件服务器维护。

在线插件需要具备的基本功能有：1)在线插件实例化：在新增或生成一个插件的过程也是在插件服务器进行插件实例化的过程。每个实例化的插件具有一个唯一的网络标识ID。2)在线插件的读操作(查询)：客户端可以通过该网络标识ID对存在于插件服务器的插件实例进行读操作实现数据的查询。3)在线插件的写操作(更新)：具有写权限的客户端可以通过该网络标识ID对插件实例进行写操作实现数据的更新或填写。4)在线插件的更新通知：当更新者设置了通知更新时，插件服务器会推送存在新的未读更新信息给其他用户等待用户更新。5)在线插件的关闭：具有写权限的用户可以关闭在线插件，关闭后插件提供读操作不再接受新的修改和更新。6)在线插件的删除：当所有的插件处于关闭状态或具有插件服务器删除权限的用户进行删除，同时将推送最新信息或通知更新最新信息，然后在特定时限后在服务器完全删除实例化的插件并对插件的信息进行序列化转储，实现文本化解除对在线插件的依赖。

撰写信息内容被转化为选择并填充格式模板或在线插件。如需要也可手动添加插件。从而生成填充有符合格式模板或在线插件格式要求的更新内容的格式邮件。

较佳地，撰写信息内容被转化为选择并填充模板或在线插件。当用户选择一个包含插件的模板或插件后，基于模板和插件生成邮件。首先对该插件在服务器进行插件实例化；然后允许用户在客户端通过唯一的网络标识(ID)对该插件实例进行操作，例如使用用户的输入对插件进行写操作，完成信息的更新；进而完成信息的撰写过程并等待用户的发送信息给其他人。相当于将信息撰写过程转化为填充模板，初始化、更新或添加在线插件。

撰写完毕的格式内容也可以作为母版生成新的格式模板，保持到本地和/或服务器。

S3403：接收到针对包含更新内容的格式信息的发送指令时，发送该包含更新内容的格式信息。

较佳地，接收到针对包含更新内容的格式邮件的发送指令时，发送该包含更新内容的格式邮件。

下面以邮件为例对格式信息如何生成及发送信息进行举例说明：

工作方式一：根据用户输入的信息的题目推荐模板。图35为本发明实施例的发送格式化邮件的一个实例的示意图；如图35展示了生成及发送格式化邮件的过程。用户在输入邮件标题时，邮件客户端动态推荐可用的邮件模板。可能的场景有当输入“会议通知”时，邮件客户端推荐“会议”模板；当输入“会议通知：Project X的头脑风暴”时，邮件客户端推荐“内部会议”模板。用户也可以浏览模板列表选择合适的邮件模板。图35中的会议模板默认包含时间插件用于用户填写初步预设会议时间，发件人填写的是基于本地时区的时间，但提交给插件服务器的时间是世界标准时间或服务器进行标准时变换。位置插件用于组织位于不同地理位置的分会场。出席人插件用于邀请和统计参会人员，出席人插件可以直接将接收方(例如收件人)列表添加到会议邀请列表。会议议题列表可以由多个编辑框组成。一些通知类的信息可以直接填充于显示框插件，接受方无法修改。

工作方式二：基于用户输入的邮件内容推荐邮件在线插件。

如图35所示，当用户在邮件正文输入类似“投票”等插件敏感词或信息时，邮件客户端提供方法让用户选择投票相关的插件并插入邮件正文。发件人在发送邮件之前就可以为自己的喜好的项目进行投票。添加或新增一个插件的过程也是在插件服务器进行插件实例化的过程。

另外，当用户在邮件正文输入类似“饭费”等插件敏感词或信息时，邮件客户端提供方法让用户选择收款相关的插件组件并插入邮件正文。插件组件可能是收款插件和账单插件组成。收款插件关联收款账号信息，可以是二维码，收款小程序，收款链接等不同形式；账单插件用于通知付款细节，或者让付款人登记付款信息。如发件人可以填充所有应付款项目并发送给可能的付款人，填充内容包括付款条目、金额、默认付款人等。等待相关人付款并更新应付款，当爸爸或妈妈收到付款邀请时可以清晰看到孩子的应缴款项是否对方已付清，特定收款条目可以指定一定范围内的几个人有付款权限，并且一旦付款即关闭该收款通道；也可以是提供空白表单，每个付款人在付款时同步填写或付款动作自动填写，如有重复付款提示用户。

工作方式三，根据用户输入的邮件内容推荐模板并自动提取用户输入填充模板和初始化在线插件；当用户撰写了一份会议通知时，系统会提供方法允许基于这份文本会议通知转换为格式化的会议通知信件。自动提取会议通知信件的文本信息进行语义分析，并填充到格式化会议通知的对应插件中。用户可以对存在歧义或者填充错误的部分进行手动修改。

实施例2.1.2)格式信息：接收及回复

较佳地，本发明实施例中信息对象基于格式模板的编辑方法中，获取信息对象对应的处理指令，还包括：接收到基于格式模板或包含在线插件的信息时，确定并显示作为更新内容的入口的插件。

本发明实施例中信息对象基于格式模板的接收方编辑方法的流程示意图如图36所示，包括下述步骤S3601-S3603：

S3601：接收到基于格式模板或包含在线插件的对象信息时，确定并显示信息对象涉及的插件。

接收到基于格式模板或包含在线插件的信息。

较佳地，格式模板的在线插件的种类，在线插件的基本功能如上所述，此处不再累述。

打开信息时，格式内容中的在线插件自动查询插件服务器，获得插件最新附着信息。

较佳地，格式信息中的插件与插件服务器同步数据的过程即对在线插件进行读操作。可以通过插件的网络标识(ID)对存在于插件服务器的插件实例进行读操作实现数据的查询。具体的方式可能有：1)从服务器直接获取所有插件附着数据替代本地保存的插件数据；2)比对本地数据和服务器数据，仅下载更新的数据增量部分。

根据接收方的本地参数配置和呈现在线插件。

较佳地，插件服务器保存的数据是与收发件人本地设置无关的数据。插件数据被下载到本地后，信息客户端根据用户的本地设置对数据进行本地化，然后通过在线插件呈现数据给接收方。

S3602：接收到基于插件的更新内容时，根据基于插件的格式模板生成包含更新内容的格式信息。

部分或全部的回复过程可被转化为更新在线插件，如需要也可新增在线插件。

较佳地，具有写权限或者最高权限的收发件人可以给信息添加新的插件，关闭特定或者全部插件的写权限。设置在线插件的生命周期等。例如信息的回复过程理解为对已有在线插件的写操作。用户通过写操作操作可以更新插件的附着信息到插件服务器。

S3603：接收到针对包含更新内容的格式信息的回复指令时，向对方回复该包含更新内容的格式信息。

发送回复将触发插件服务器发送更新通知或直接推送最新信息给接收方。

较佳地，发送回复将触发插件服务器发送更新通知，接收方通过插件服务器的通知功能推送最新的插件附着信息给所有接收方。

接收到的格式内容也可以作为母版生成新的格式模板。

下面以邮件为例对格式模板如何编辑并发送回复进行举例说明：

工作方式一：图37为本发明实施例的接收并回复格式化邮件的一个实例的示意图；如图37展示接收并回复格式化邮件的过程。接收方打开邮件后，时间插件根据用户的本地时区设置自动把时间插件默认显示时间设置为北美UTC-4时区时间。如果用户点击展开时间插件后，将可以看到基于发件人时区(中国北京UTC+8时区)的会议时间。如果用户考虑还有其他时区的参会人员，用户可以手动增加新的时区时间。位置插件可以用于不同分会场组织会议，插件可以集成不同会场的会议接入方式，可以基于会议接入方式在邮件客户端调用会议应用基于分会场的形式发起会议。参会插件可以用于统计参会人员的情况，插件可以集成不同参会人员的会议接入方式，可以基于参会人员的会议接入方式在邮件客户端调用会议应用基于参会人员的形式发起会议。收发件人可以修改或增加会议议题列表插件，对会议的议题进行讨论和协商。接收方可以在邮件内浏览当前特定议题的投票结果，也可以直接对该议题进行投票。

包含在线插件的邮件在每次打开邮件时都和在线插件服务器进行同步，从而获得最新的插件附着信息。当插件服务器向邮件客户端推送信息更新的通知时，邮件客户端可以把格式邮件重新放入未读信件列表或者更新格式邮件的状态图标，通知接收方邮件存在更新。

邮件也可以包含协商会议时间的插件，例如会议发起者提供若干个会议时间。接收方接收到信息后，协商会议时间的插件直接查询接收方的日程表。对存在时间冲突的时间进行标注。接收方根据实际情况对可行的时间进行确认，也可以添加新的会议时间建议。

实施例2.2)信息发送时的接收方排序或置乱

出于礼节，社会风俗或者防范法律诉讼风险等，发送信息(例如邮件、彩信、短信、社交软件群发等)有时需要对接收方进行排序，如按照职务高低进行排序，按照接收方姓名或收件ID排序，沿用历史排序的次序等。有时也存在对送件人置乱的需求。现有技术目前还没有提出能够便捷地对接收方进行排序和置乱的方案。

本发明实施例提供一种信息对象的接收方顺序调整方法，包括：针对待发送的信息对象，根据下述至少一项，对待发送的信息对象的接收方的顺序进行调整；接收方的用户属性；历史排序情况；接收方对应的输入顺序；信息对象的内容。

实施例2.2.1)信息发送时的接收方排序或置乱

本发明实施例中信息对象的接收方排序或置乱方法的流程示意图如图38所示，包括下述步骤S3801-S3803：

S3801：针对待发送的信息对象，判断是否满足预设的接收方排序条件；当判断结果为是时，执行步骤S3802；否则继续执行本步骤。

发送信息时，如存在多个接收方，则判断出满足预设的接收方排序条件，执行步骤S3802。

S3802：为待发送的信息对象生成并显示接收方排序或置乱的入口。

启动接收方排序功能。

根据接收方的类别进行分组聚类。

较佳地，接收方的类别至少有如下几种：发送(To)、抄送(CC)、密送(BCC)、群发等。可以根据接收方的类别进行分组聚类。类别间的排列顺序可以使用：发送、抄送、密送；也可以是用户设置的顺序。

在各分组内根据接收方的所属组织名进行组内聚类。

较佳地，当接收方列表里的接收方所属组织不同时，可以根据组织名称对接收方进行聚类，对完成组织聚类的接收方，可以在其组织内进行排序。组织分组间的排序可以基于组织名或客户优先，用户设定等方式进行。

基于类别和所属组织的分组，提供接收方排序或置乱的入口。等待用户指令。

较佳地，对所有接收方进行了类别和所属组织分组后，可以在其组内进行排序或置乱。具体的排序的方式可能有：接收方的用户属性(组织名，职务，年龄，字母顺序)，历史排序，输入顺序，信息对象的内容(邮件上下文)等。也可以是复合式排序，例如职务+年龄，职务+历史排序等。例如可以为在抄送类别列所有A组织接收方选择按照职位排序；对发送类别中所有B组织接收方选择按照字母顺序排序；也可以为其他分组内的所有接收方进行不体现先后顺序的置乱处理。

S3803：接收到基于接收方排序或置乱的入口的操作时，对待发送的信息对象的接收方进行排序或置乱。

也可以忽略所属组织信息，仅基于接收方的类别进行排序或置乱。

也可以忽略类别和组织信息，在所有接收方范围内进行排序或置乱。

较佳地，用户可以通过设置忽略基于类别和组织信息的分组，在不同层次范围为接收方进行排序或置乱。

此外，也可以把步骤S3802中的分组聚类工作延迟到本步骤中用户选择的排序方式后进行。

下面以邮件为例对如何进行接收方排序进行举例说明：

工作方式一：图39为本发明实施例二的接收方排序的一个实例的示意图；如图39所示邮件客户端已开启自动聚类，对接收方根据发送(To)、抄送(CC)、密送(BCC)等类别分别进行了聚类并进行了组间排序。用户可以直接在工具栏对每个分组：发送(To)、抄送(CC)、密送(BCC)分别选择排序方式。例如对发送分组按照上次邮件接收方排序顺序进行排序。也可以选择某个分组内的部分成员进行排序操作。用户也可以给不同分组设置默认排序方式。

工作方式二：邮件客户端可能已开启自动聚类，对接收方根据发送(To)、抄送(CC)、密送(BCC)等类别分别进行了聚类并进行了组间排序。用户可以在工具栏在每个分组(发送(To)、抄送(CC)、密送(BCC))内进行置乱而组间的排序不变，也可以选择在所有接收方范围进行置乱操作不考虑接收方的分类和分组情况。

实施例2.3)从会话或其附件中选择文件

个人信息管理系列的会话类软件(例如：邮件、社交软件等)在选择文件或者共享内容大部分时候是比较方便和快捷的，例如：直接从终端的文件系统选择已知路径的文件以附件等形式发送或共享给他人。但如果是回复已存在的会话并希望添加其他会话中包含的文件就比较繁琐。例如回复邮件时希望添加其他邮件包含的附件，就需要先保存希望发送的附件到本地文件系统，再添加到当前的邮件。如果在个人信息管理应用软件(例如邮件)希望直接添加其他应用的内容作为附件等形式也是存在一定困难的。现有技术目前还没有提出能够便捷地从会话或其附件中选择文件的方案。

本发明实施例中信息对象的智能编辑方法包括信息对象的附件选择方法。

本发明实施例中信息对象的附件选择方法中，获取信息对象对应的处理指令包括：接收到在信息对象中添加附加内容的处理指令。

以及，信息对象的附件选择方法中，根据获取的处理指令，对所述信息对象进行相应处理包括：从其他信息对象的内容中，选择需要添加的附加内容，并添加到所述信息对象中。信息对象包括会话和/或应用。

较佳地，本发明实施例中信息对象的附件选择方法包括：信息对象的其他会话内附文件(也可以称为附件或附加内容)选择方法和信息对象的其他应用内容选择方法。

实施例2.3.1)选择其他会话内附文件

较佳地，对会话内附文件进行记录和建立索引的可能具体内容有如下及组合：1)文件特征：文件类型、文件名、生成时间、作者、发送时间、发送人、摘要、主题等；2)文件所属会话特征：所属会话的发起时间、主题、参与者、会话所属分类、摘要等。

下面介绍本发明实施例中信息对象的其他会话内附文件选择方法，该方法的流程示意图如图40所示，包括下述步骤S4001-S4002：

S4001：接收到在会话中添加附加内容的处理指令。

较佳地，接收到在会话(例如邮件会话)中选择或添加文件时，提供“从会话内选择文件”的操作入口。

S4002：从其他会话的内容中，选择需要添加的附加内容，并添加到该会话中。

展示其他信息对象中的附加内容。其它信息对象具体可以是其它会话。

较佳地，展示包含其它信息对象在内的多个信息对象中的附加内容。

会话内附文件的索引包括下述至少一项：会话内附文件的特征、会话内附文件所属会话的特征；会话内附文件的特征包括该会话内附文件的下述至少一项：文件类型、文件名、生成时间、作者、发送时间、发送人、摘要、主题；会话内附文件所属会话的特征包括该会话内附文件所属会话的下述至少一项：发起时间、主题、参与者、会话所属分类、摘要。

较佳地，显示至少一个会话内附文件，包括：根据会话内附文件的索引，在内容浏览和选择界面中排列显示多个会话内附文件。

较佳地，显示至少一个会话内附文件，还包括：当信息对象具体为会话时，基于当前会话之前的会话内附文件的选择、与当前会话上下文相似的主题、和/或用户的会话历史，推荐至少一个会话内附文件并显示在内容浏览和选择界面中。

较佳地，根据下述至少一项，对其他信息对象中的附加内容的展示顺序进行调整：历史操作情况；信息对象的内容；用户属性信息。

较佳地，显示至少一个会话内附文件，还包括：接收到基于会话内附文件的类型的正向选择操作时，将所选择的类型的会话内附文件进行显示，隐藏其它类型的会话内附文件。或者，接收到基于会话内附文件的类型的反向选择操作时，将所选择的类型的会话内附文件进行隐藏或过滤后，显示其它类型的会话内附文件。

当入口被选择后，提供对会话内附文件的浏览与选择。

较佳地，对会话内附文件的浏览方式可以有如下至少之一：1)按照内附文件的类型等文件特征进行浏览，例如文件类型，主题，发件人进行显示等待用户选择。2)按照内附文件所属会话的特征进行选择：文件所属会话的时间排序；文件所属会话的分类(例如邮件收件箱、发件箱等)进行浏览选择。也可以基于以上特征提供搜索功能供用户进行查找。

在文件浏览和选择界面提供文件推荐。

较佳地，基于用户习惯，应用上下文等可以为用户提供文件推荐功能。推荐文件的方法可以有如下至少之一：1基于之前的文件选择或用户操作进行文件推荐；2根据当前会话上下文进行相似主题的文件推荐；3基于用户的会话历史进行文件推荐。文件推荐功能不仅限于会话内附文件也可以应用于来自文件系统等他处的文件。

也可以通过语音命令接口进行选择文件的语音交互。

较佳地，中语音交互的内容可以有如下至少之一：1通过语音命令隐藏或过滤某种类型的文件；2通过语音命令选择特定的文件。

等待用户的操作指令。

从其他信息对象的内容中，选择需要添加的附加内容，并添加到信息对象中包括：根据用户选择附加内容的操作，确认需要添加的附加内容。

选择操作具体为语音命令。

执行用户的操作指令。

较佳地，执行选择文件并添加到当前会话的指令时，首先从其他会话中拷贝选择的文件，然后作为附件添加到当前的会话。也可以把这些会话内的文件的访问接口以API的形式暴露给系统供其他应用使用。

下面以邮件为例对如何选择其他会话的内附文件进行举例说明：

工作方式一：图41为本发明实施例二的选择其他邮件的附件的一个实例的示意图；如图41所示用户可以浏览和选择其他邮件包含的附件文件，当用户尝试从其他邮件选择其内附的附件时可以根据附件的文件特征如类型，附件的发件人，附件的发送时间等对附件进行排序和浏览帮助用户快速找到附件。在文件选择界面用户还可以使用文件推荐功能。如图38右侧部分，如果用户在选择文件之前刚刚浏览过两封其他信件的附件或者尝试选择这些附件，这两封信的附件将被优先推荐。如果用户在邮件的正文提到了特定主题和附件名等信息，文件推荐模块将根据模糊匹配自动推荐相关主题或名称的附件。如果用户经常给特定的接收方发生特定类型或者特定信息源的附件，邮件客户端将根据用户的历史习惯进行附件推荐。

实施例2.3.2)选择其他应用内容

下面介绍本发明实施例中信息对象的其他应用内容选择方法，该方法的流程示意图如图42所示，包括下述步骤S4201-S4202：

S4201：接收到在会话中添加附加内容的处理指令。

较佳地，接收到在会话(例如邮件会话)中选择或添加文件时，提供“从其他应用选择内容”的入口。

S4202：从其他应用的内容中，选择需要添加的附加内容，并添加到该会话中。

展示其他信息对象中的附加内容。其它信息对象具体可以是其它应用。

较佳地，展示包含其它信息对象在内的多个信息对象中的附加内容。

较佳地，显示至少一个其他应用内容，包括：根据其他应用的默认呈现方式、应用内容的时间特性、和/或应用内容与调用者内容的主题相关度，在内容浏览和选择界面中排列显示至少一个其他应用内容。

当入口被选择后，提供对其他应用内容的浏览。

较佳地，浏览其他应用内容的方式可以有如下至少之一：1)按照其他应用的默认呈现方式；2)按照应用内容的时间特性进行排序；3)按照应用内容与调用者内容的主题相关度；4提供搜索功能供用户进行查找。

在内容浏览和选择界面提供内容推荐功能。

较佳地，内容推荐的功能可以有如下至少之一：1)基于之前的用户选择或用户操作进行内容推荐；2)根据信息上下文进行相似主题的内容推荐；3)基于用户习惯进行内容推荐。

也可以通过语音命令接口进行选择内容的语音交互。

较佳地，中语音交互的内容可以有如下至少之一：1通过语音命令隐藏或过滤特定内容；2通过语音命令选择特定的内容。

等待用户的操作指令。

从其他信息对象的内容中，选择需要添加的附加内容，并添加到信息对象中包括：根据用户选择附加内容的操作，确认需要添加的附加内容。

执行用户的操作指令。

较佳地，执行选择其他应用的内容并添加到当前会话的方式有：1)调用其它应用提供API对其内容进行选择，并添加到当前会话。2)访问其它应用的原数据，根据选择的原数据生成内容拷贝并添加到当前会话。内容拷贝的形式可能是以文本段、文件等形式。对于有通用交流格式的应用内容使用通用交流格式，没有通用交流格式的应用内容可以采用图片快照的形式。拷贝的文本段可以直接添加到当前的会话中，拷贝的文件也可以作为当前会话的附件。

下面以邮件为例对如何选择其他应用的内容进行举例说明：

工作方式一：如图41所示用户可以浏览和选择来自其他应用的内容作为附件。当用户尝试从其他应用选择内容作为附件时，用户可以按照其他应用的默认呈现方式浏览内容；或按照应用内容的时间特性进行浏览；或按照应用内容与调用者内容的主题相关度浏览内容；或提供搜索功能供用户进行查找。用户可以选择使用特定内容的通用文件格式或者图片格式生成文件。

本发明实施例二的第一个方面中，接收到用户输入的信息对象时，确定并显示信息对象涉及的插件，例如显示基于插件的格式模板，格式模板可以根据信息的特点和用户的需求设定信息的层次结构、内容格式和/或呈现形式等等，便于用户随时调用生成新的信息；接收到基于插件的更新内容时，根据插件的格式模板生成包含更新内容的格式信息，可以减少用户重复输入，统一信息格式，提升用户发送或回复格式信息的效率，可以提升用户体验。

本发明实施例二的第二个方面中，针对待发送的信息对象，根据接收方的用户属性、历史排序情况、和/或接收方对应的输入顺序，对待发送的信息对象的接收方的顺序进行调整；例如，对待发送的信息对象的接收方的顺序进行排序或置乱，既可以体现出用户的礼节、符合社会风俗、或防范法律诉讼风险等，又节省了用户手动进行排序或置乱的操作工作量，还可以避免用户忘记进行排序或置乱的尴尬，可以提升用户体验。

本发明实施例二的第三个方面中，接收到在信息对象中添加附加内容的处理指令；从其他信息对象的内容中，选择需要添加的附加内容，并添加到信息对象中，免除了传统地将其他会话内附文件或其他应用内容保持到本地文件系统、再人工查找添加到当前信息对象(例如会话)中的复杂步骤，大大提升了用户为当前信息对象添加其他会话或其他应用的内容作为附件的效率，可以提升用户体验。

而且，本发明实施例二的第三个方面中，根据获取的处理指令，展示其他信息对象中的附加内容；例如，根据预先记录的至少一个会话内附文件的索引，显示至少一个会话内附文件。会话内附文件的索引包括下述至少一项：会话内附文件的特征、会话内附文件所属会话的特征；会话内附文件的特征包括该会话内附文件的下述至少一项：文件类型、文件名、生成时间、作者、发送时间、发送人、摘要、主题；会话内附文件所属会话的特征包括该会话内附文件所属会话的下述至少一项：发起时间、主题、参与者、会话所属分类、摘要。多种多样的会话内附文件的索引，使得显示时更加丰富灵活，能够充分地满足用户个性化的需求，提升用户体验。

进一步，本发明实施例二的第三个方面中，根据历史操作情况、信息对象的内容、和/或用户属性信息，可以尽可能地预测出用户的意图，进而根据预测出的用户意图对应的先前选择、相似主题或会话历史，对其他信息对象中的附加内容的展示顺序进行调整；能够进一步满足用户个性化的需求，提升用户体验。

此外，本发明实施例二的第三个方面中，接收到基于会话内附文件的类型的正向选择操作时，将所选择的类型的会话内附文件进行显示，隐藏其它类型的会话内附文件；或者，接收到基于会话内附文件的类型的反向选择操作时，将所选择的类型的会话内附文件进行隐藏或过滤后，显示其它类型的会话内附文件，能够进一步去除用户不欲选择的内容，缩小选择范围，提升用户的选择效率。

实施例三

下面详细介绍信息对象的信息联接功能。

各独立应用之间、或个人信息管理系统的各个应用间可能存在融合与互动的情况。以个人信息管理系统为例，了解用户的个人信息、最新动态及日程计划等，由个人信息管理系统驱动和组织终端各个服务或应用的互动更容易做到智能、个性化、有针对性。

下面介绍本发明实施例中信息对象的智能联接方法，包括：获取信息对象对应的处理指令；根据获取的处理指令，对信息对象进行相应智能联接处理。

较佳地，对信息对象进行相应智能联接处理包括基于用户关注的信息订阅、基于信息对象的信息追踪、和/或基于信息对象控制IOT设备。

实施例3.1)基于用户关注的信息订阅

区别传统信息对象聚合服务的基于订阅目录进行内容订阅，本发明提出基于用户关注的问题或话题、用户画像、阅读反馈等，由信息对象聚合服务系统为用户生成个性化的订阅词、订阅标签、及检索词，实现更智能和个性化的信息对象聚合服务。

用户可以在客户端设置近期关注的问题或话题进行信息对象订阅，系统结合用户画像为用户订阅的话题或问题增加检索词和标签，服务器按照检索词定期检索相关信息，并向用户推送检索到的信息。服务器将定期发送个性化的订阅内容给用户。随着用户阅读和操作在这些定阅内容，系统进一步提取及优化用户的关注点与偏好，优化标签。从而实现更贴切和个性化的订阅。

下面介绍本发明实施例中基于用户关注的信息订阅方法，该方法的流程示意图如图43a所示，包括下述步骤：S4301获取基于用户关注的信息订阅处理指令；S4302根据获取的订阅处理指令，对信息对象进行相应智能联接处理。

更优的，本发明实施例提供的基于用户关注的信息订阅方法的流程示意图如图43b所示，包括下述步骤：

S4311：获取用户关注的内容。

其中，用户关注的内容可以包括关注的问题或话题，较佳地，用户可以在客户端通过设置“关注的问题或话题”进行信息对象订阅。用户可以设置一个具体的问题或一个主题，有别以往的基于关键字的检索和基于订阅中心提供的分类或领域进行订阅。

S4312：根据用户关注的内容确定检索词。

较佳地，可以基于输入的问题或话题生成检索词，组成检索语句。然后还进行同义语和多语言拓展，从而实现对用户意图的最大程度的覆盖。检索词可以以集合和语句的形式存在。

本发明还提出，可以进一步从用户画像中提取用户关注点和偏好标签，优化检索词和语句。例如用户是一个手机终端工程师，系统在用户工作相关的主题的检索词上可以考虑加入：“软件行业”，“智能终端设备”等检索标签。可以把这些检索标签作为检索的检索词或信息显示排序的依据。

更进一步系统也可能会尝试询问用户输入的问题中涉及到的关联对象的进一步信息，例如尝试从社交应用中抓取关联对象的个人喜好等。也可能生成一份问卷调查给用户来获取关联对象的个人喜好。

S4313：根据检索词进行信息检索，将检索到的信息推送给用户。

推送的时机有：1)根据用户的订阅设置周期性地推送，2)响应用户的手动操作，实时推送或刷新。对新检索到的内容或用户已阅的内容存在更新将被优先推荐给用户。

本发明还提出，可以跟踪用户阅读订阅信息对象的过程，优化用户标签，完善检索词和语句。用户可以对内容进行评价或打分。系统针对积极评价和高分内容进行正向检索词或标签的优化，针对负面评价和低分内容进行负面检索词或标签的优化，用于排除类似内容或方向。用户也可以手动设置内容的相关度。

工作方式一：图44为本发明实施例三的基于用户关注进行信息对象订阅的一个实例的示意图；如图44所示，用户在信息订阅中心输入其关注的问题和话题，例如：“今年夏天准备去北京旅游”；“什么礼物送朋友最好？预算1600元”；“我关心优秀终端公司的专利和创新，例如公司A、公司M、公司G等”；“怎样变成一个发明者？怎样进行发明创造？”等等。内容订阅服务基于用户设置的订阅方式向用户推送内容。在每个主题可以看到订阅中心已经推送给用户的内容数量和用户已阅的内容数量。当用户展开推送的内容时，优先呈现新增或存在更新的内容。用户可以对内容进行评价或打分。订阅中心针对积极评价和高分内容进行正向检索词或标签的优化，针对负面评价和低分内容进行负面检索词或标签的优化，用于排除类似内容或方向。

工作方式二：如图44所示用户在内容订阅中心输入问题：“什么礼物送朋友最好？预算1600元”时。订阅中心也可能会尝试询问关联对象的进一步信息，如其朋友的社交账号，个人网站等。订阅中心尝试抓取关联对象的个人喜好等，从而更准确的完成内容的推送。也可能生成一份问卷调查给用户，尝试通过问卷调查帮助用户提取关联对象的个人喜好。也可以要求授权获得访问用户与关联对象的存在交互行为的其他应用，尝试获得更多的关联对象的对象信息。

实施例3.2)基于信息对象的信息追踪

个人信息管理系统可能保存着：快递通知邮件，机票火车订票短信，已购彩票的备忘录等等。这些信息对象的关联状态是随时间变化的，故需要进一步追踪。目前信息对象追踪服务为待追踪的信息对象增加追踪链接，本发明基于待追踪的信息对象的状态变化提供信息对象的自动追踪、呈现、及管理。所以信息对象追踪模块把这类信息对象集中起来，为这些信息对象建立关联查询。一旦信息对象有了更新，将提示用户进行信息对象状态跟踪。

下面介绍本发明实施例中的信息对象状态追踪方法，该方法的流程示意图如图45所示，包括下述步骤S4501-S4503：

S4501：判断是否对当前信息对象进行状态追踪；当判断结果为是时，执行步骤S4502；否则继续执行本步骤。

本发明提出，终端设备提取当前信息对象的特征和/或类型。较佳地，提取信息对象的特征可以有如下至少之一或组合：1)信息对象的时间特征，包括信息对象的接收、发送时间、信息对象内容提及的时间点等；2)信息对象的地点特征，包括信息对象提到的地点，收发件人所在地点等；3)信息对象的人物特征，包括发件人、接收方及信息对象内容提及的人等；4)信息对象的主题，包括信息对象的标题、核心事件、关键字等。

较佳地，判断当前信息对象是否需要状态跟踪方法是：使用提取到的信息对象的特征和/或类型与可追踪信息对象类型特征库进行比对，基于比对的结果判断当前信息对象是否需要进行状态追踪。

可追踪信息对象类型特征库的数据来源有：1)服务器提供通用的或基础的可追踪信息对象类型特征库；2)从用户的历史操作提取可追踪信息对象类型特征，并添加到特征库中；3)用户自行添加新的信息对象类型到可追踪信息对象类型特征库。

S4502：确定出当前信息对象的更新状态信息并显示更新提醒信息。

判断需要对当前信息对象进行状态追踪后，可以添加待追踪的信息对象到状态追踪模块，为其建立状态关联查询。

较佳地，可追踪信息对象类型特征库可以提供某类信息对象的关联查询网址，查询结果的可能格式等。基于以上信息可以为待追踪信息对象建立信息对象状态关联查询。

较佳地，状态追踪模块根据设置查看当前的信息对象的状态是否存在变化。如存在变化时，通知用户存在更新，等待用户查阅。

S4503：接收到基于更新提醒信息的操作时，显示当前信息对象和/或状态更新信息。

当用户查阅时，可以只显示追踪到的最新状态变化(即状态更新信息)，也可以同时显示原始的信息对象和追踪到的最新状态变化。

终端设备允许用户设置追踪信息对象状态的策略。

工作方式：图46为本发明实施例三的快递跟踪及状态显示的一个实例的示意图；如图46所示用户收到一封快递通知邮件，该邮件也会被集中到信息对象追踪模块统一管理。当该邮件提到的快递状态发送变化时，会通知用户进行查阅。在用户打开该邮件时，邮件正文的下方自动增加了追踪信息对象显示区域。该区域用于当前该快递的最新投送状态。直到用户确认收件后，将不再进行查询并设置“已收件”作为最终状态。用户也可以对该快件的跟踪策略进行修改和设定。类似的处理也适用于对飞机、火车的出发到达进行跟踪，方便用户接送亲友等。

实施例3.3)基于信息对象控制IOT设备

个人信息管理系统了解用户的个人信息、最新动态及待办事宜等，这些信息中的信息对象与IOT设备的管理和控制联动起来，使互动更智能和有时效性。目前智能设备的联动多采用基于事件的驱动，例如发现房间被侵入自动报警。本发明在用户制定、修改和执行其日程或计划时，与其他设备进行的关联、联动操作，不用等到具体的事件发生才与其他设备进行联动。基于对当前信息对象涉及的事件的理解，为与该信息对象有较大关联的IOT设备提供查询和控制入口，方便用户进行联动操作。

下面介绍本发明实施例中的关联信息对象更新方法，该方法的流程示意图如图47所示，包括下述步骤S4701-S4703：

S4701：判断是否存在与当前信息对象相关联的IOT设备；当判断结果为是时，执行步骤S4702；否则继续执行本步骤。

终端设备可以提取当前信息对象的特征和/或类型。较佳地，提取信息对象的特征可以有如下至少之一或组合：1)信息对象的时间特征，包括信息对象的接收、发送时间、信息对象内容提及的时间点等；2)信息对象的地点特征，包括信息对象提到的地点，收发件人所在地点等；3)信息对象的人物特征，包括发件人、接收方及信息对象内容提及的人等；4)信息对象的主题，包括信息对象的标题、核心事件、关键字等。

综合以上特征可以判断出信息对象的类型及与哪种类型的IOT设备存在关联的可能，例如：1)涉及出行的信息对象存在与车以及车载IOT设备进行互联的可能；2)涉及购物的信息对象存在与冰箱等IOT设备进行互联的可能；3)涉及作息时间变化的信息对象存在与关联处所的IOT设备进行互联的可能；4)信息对象的关联对象自身就是一个IOT设备等。基于对该信息对象涉及事件的理解，提取该事件的时间、地点、关联对象、状态等。

终端设备基于提取的信息对象的特征和/或类型，判断当前信息对象是否与IOT设备存在潜在的关联，方式可以包括：使用提取到的信息对象的特征和/或类型查询用户事件与IOT设备的关联数据记录，基于查询的结果判断当前信息对象是否需要进行IOT设备的关联，获取可能存在关联的IOT设备列表。

用户事件与IOT设备的关联数据记录来源有：1)服务器提供通用的用户事件与IOT设备的关联数据记录；2)从用户的历史操作提取用户事件与IOT设备的关联数据，并添加到数据记录中；3)用户自行添加新的关联数据到用户事件与IOT设备的关联数据记录中。随着用户的不断使用该关联数据集将不断记录事件与用户IOT设备的关联关系。

S4702：确定并显示IOT设备的交互入口。

较佳地，为有关联IOT设备的信息对象，添加关联IOT设备的查询和控制入口，方便用户进行联动操作，以协助用户便捷的完成待办事宜。

S4703：接收到基于IOT设备的交互入口的联动操作时，执行用户的联动控制操作，对当前信息对象涉及的事件与IOT设备的关联数据记录进行更新。

较佳地，基于附着于原始信息对象的IOT设备查询与控制入口，用户可以查询IOT设备的状态对IOT设备执行联动控制操作。

较佳地，系统将不断更新用户事件与IOT设备的关联数据记录。在第一次运行该数据记录时可能使用来自服务器提供的通用的用户事件与IOT设备的关联数据记录。

工作方式一：图48是本发明实施例三的基于信息对象控制IOT设备的一个实例的示意图；如图48所示用户在个人信息管理系统设置了为晚餐购物的待办事宜。当待办事宜进入预备状态时(如预定时间的前2个小时)，用户浏览待办事宜时会发现该信息对象被自动关联了可能存在联动关系的IOT设备。例如：1)自动向家庭冰箱查询了存量食品的情况；2)与智能车进行了互动确保购物车在后备箱，并发现需要加油；3)为打开车载空调编制了联动指令：用户离开办公室并且车内温度超过30摄氏度时自动打开车载空调降温。4)考虑购物会延迟到家时间，将通知家居IOT设备管理中心，用户可能要延迟到家，家居IOT中心可以根据最新的时间信息对象从新检查基于时间的IOT设备管理策略。起居室的空调定时打开指令将被延后执行，或者替换为用户到达的事件触发。

本发明实施例三的第一个方面中，用户可以输入个性化的订阅信息，如关注的话题或问题等，系统定期检索并推送用户订阅的相关信息，使订阅能够更加契合用户的个性化需求，可以提升用户体验。

本发明实施例三的第二个方面中，对于快递通知邮件、机票火车订票短信、已购彩票的备忘录等等当前信息对象的状态变化实现自动追踪，节省了用户查询的工作量，大大减轻了用户记忆是否需要去查询状态的负担，方便用户根据实时状态采取及时的应对措施，可以提升用户体验。

本发明实施例三的第三个方面中，显示与当前信息对象关联的IOT设备的交互入口，执行用户的联动控制操作。当前信息对象可以是用户的日程或计划，在用户制定、修改和执行其日程或计划时，无需等到具体的事件发生，就可以与其他IOT设备进行关联或联动操作，方便用户进行联动操作，可以提升用户体验。

实施例四

基于同一发明思路，与本发明的上述内容相对应，本发明实施例四中还提供一种的终端设备，该终端设备的内部结构的框架示意图如图49所示，包括：存储器4901和处理器4902。

本发明实施例四的终端设备中还包括至少一个程序。

至少一个程序存储于存储器4901中，被配置为由处理器4902执行时实现下述步骤：

获取信息对象对应的处理指令；

根据获取的处理指令，对信息对象进行相应处理。

较佳地，本发明实施例中的至少一个程序在实现获取信息对象对应的处理指令的过程之前，还实现下述步骤：针对至少一个信息对象展示可感知线索；

以及，本发明实施例中的该至少一个程序在实现获取信息对象对应的处理指令的过程中，具体实现下述步骤：接收语音交互指令；

以及，该至少一个程序在实现根据获取的处理指令，对信息对象进行相应处理的过程中，具体实现下述步骤：对接收到的语音交互指令涉及的可感知线索对应的信息对象进行相应处理。

进一步，本发明实施例中的至少一个程序在实现针对至少一个信息对象展示可感知线索的过程中，具体实现下述步骤：

判断是否满足预设的可感知线索的提供条件；

当判断结果为是时，执行针对至少一个信息对象展示可感知线索的步骤。

进一步，本发明实施例中的至少一个程序具体实现下述步骤：根据下述至少一项判断是否满足预设的可感知线索的提供条件：

语音交互功能的状态；

信息对象的内容；

用户属性信息；

历史语音交互情况；

历史可感知线索提供情况；

用户指令；

已接收的语音交互指令。

进一步，本发明实施例中的至少一个程序在实现根据语音交互功能的状态判断是否满足预设的可感知线索的提供条件的过程中，具体实现下述步骤：判断语音交互功能是否处于激活状态，若处于激活状态，则确认满足预设的可感知线索的提供条件；

和/或，该至少一个程序在实现根据信息对象的内容判断是否满足预设的可感知线索的提供条件的过程中，具体实现下述步骤：根据信息内容对应的、用于表征信息对象间差异的内容属性，判断是否满足预设的可感知线索的提供条件；

和/或，该至少一个程序在实现根据已接收的语音交互指令判断是否满足预设的可感知线索的提供条件的过程中，具体实现下述步骤：判断是否能够根据已接收的语音交互指令确定出对应的信息对象，若不能确定出已接收的语音交互指令对应的信息对象，则确认满足预设的可感知线索的提供条件。

进一步，本发明实施例中的至少一个程序在实现对接收到的语音交互指令涉及的可感知线索对应的信息对象进行相应处理的过程中，具体实现下述步骤：

确定接收到的语音交互指令涉及的可感知线索；

根据针对至少一个信息对象展示的可感知线索，确定接收到的语音交互指令涉及的可感知线索对应的信息对象；

根据接收到的语音交互指令，对确定出的信息对象执行相应处理。

进一步，本发明实施例中的至少一个程序在实现针对至少一个信息对象展示可感知线索的过程中，具体实现下述步骤：

在当前显示的信息对象中，根据下述至少一项确定需要展示可感知线索的信息对象，并针对确定出的信息对象展示对应的可感知线索：

信息对象的内容；

用户属性信息；

历史语音交互情况；

历史可感知线索提供情况；

用户指令；

已接收的语音交互指令。

进一步，本发明实施例中的可感知线索包括：视觉线索和/或音频线索。

进一步，本发明实施例中的视觉线索包括下述至少一项：数字、字母、文字、颜色、图像、图形、视频；图像包括下述至少一项：图标、头像、符号。

进一步，本发明实施例中的至少一个程序在实现针对至少一个信息对象展示可感知线索的过程中，具体实现下述步骤：

在至少一个信息对象对应的指定位置处展示视觉线索；指定位置包括：信息对象所处位置之外且与信息对象对应的指定位置；和/或，信息对象的关键内容对应的位置。

进一步，本发明实施例中的至少一个程序，还实现下述步骤：

确定信息对象中需要进行处理的局部内容；对确定出的局部内容进行相应局部处理；

其中，局部处理包括下述至少一项：语言翻译处理、加密处理、折叠显示处理。

进一步，本发明实施例中的至少一个程序，在实现确定信息对象中需要进行处理的局部内容的过程中，具体实现下述步骤：

根据下述至少一项确定信息对象中需要进行处理的局部内容：

用户指令；

历史操作情况；

用户属性信息。

进一步，本发明实施例中的至少一个程序，还实现下述步骤：

确定与处理指令对应的信息对象对应的关联信息对象；

根据处理指令，对关联信息对象进行关联处理；

其中，关联处理包括：删除处理。

进一步，本发明实施例中的至少一个程序，还实现下述步骤：

针对待发送的信息对象，根据下述至少一项，对待发送的信息对象的接收方的顺序进行调整；

接收方的用户属性；历史排序情况；接收方对应的输入顺序；信息对象的内容。

较佳地，本发明实施例中的至少一个程序，在实现获取信息对象对应的处理指令的过程中，具体实现下述步骤：接收到在信息对象中添加附加内容的处理指令；

以及，该至少一个程序在实现根据获取的处理指令，对信息对象进行相应处理的过程中，具体实现下述步骤：从其他信息对象的内容中，选择需要添加的附加内容，并添加到信息对象中。

较佳地，本发明实施例中的至少一个程序，在实现从其他信息对象的内容中，选择需要添加的附加内容的过程中，具体实现下述步骤：展示其他信息对象中的附加内容；

根据用户选择附加内容的操作，确认需要添加的附加内容。

进一步，本发明实施例中的至少一个程序，还实现下述步骤：

根据下述至少一项，对其他信息对象中的附加内容的展示顺序进行调整：历史操作情况；信息对象的内容；用户属性信息。

进一步，本发明实施例中的至少一个程序，还实现下述步骤：

确定与信息对象相关联的终端设备对应的关联内容；

展示关联的终端设备对应的关联内容。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种信息处理方法，其特征在于，包括：

获取信息对象对应的处理指令；

根据获取的处理指令，对所述信息对象进行相应处理。

2.根据权利要求1所述的方法，其特征在于，所述获取信息对象对应的处理指令之前，还包括：针对至少一个信息对象展示可感知线索；以及

所述获取信息对象对应的处理指令，包括：接收语音交互指令；以及

所述根据获取的处理指令，对所述信息对象进行相应处理，包括：对接收到的语音交互指令涉及的可感知线索对应的信息对象进行相应处理。

3.根据权利要求2所述的方法，其特征在于，所述针对至少一个信息对象展示可感知线索，包括：

判断是否满足预设的可感知线索的提供条件；

当判断结果为是时，执行所述针对至少一个信息对象展示可感知线索的步骤。

4.根据权利要求3所述的方法，其特征在于，根据下述至少一项判断是否满足预设的可感知线索的提供条件：

语音交互功能的状态；

信息对象的内容；

用户属性信息；

历史语音交互情况；

历史可感知线索提供情况；

用户指令；

已接收的语音交互指令。

5.根据权利要求4所述的方法，其特征在于，根据语音交互功能的状态判断是否满足预设的可感知线索的提供条件，包括：判断语音交互功能是否处于激活状态，若处于激活状态，则确认满足预设的可感知线索的提供条件；和/或

根据信息对象的内容判断是否满足预设的可感知线索的提供条件，包括：根据信息内容对应的、用于表征信息对象间差异的内容属性，判断是否满足预设的可感知线索的提供条件；和/或

根据已接收的语音交互指令判断是否满足预设的可感知线索的提供条件，包括：判断是否能够根据已接收的语音交互指令确定出对应的信息对象，若不能确定出已接收的语音交互指令对应的信息对象，则确认满足预设的可感知线索的提供条件。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述对接收到的语音交互指令涉及的可感知线索对应的信息对象进行相应处理，包括：

确定接收到的语音交互指令涉及的可感知线索；

根据针对至少一个信息对象展示的可感知线索，确定接收到的语音交互指令涉及的可感知线索对应的信息对象；

根据接收到的语音交互指令，对确定出的信息对象执行相应处理。

7.根据权利要求2-5任一项所述的方法，其特征在于，所述针对至少一个信息对象展示可感知线索，包括：

在当前显示的信息对象中，根据下述至少一项确定需要展示可感知线索的信息对象，并针对确定出的信息对象展示对应的可感知线索：

信息对象的内容；

用户属性信息；

历史语音交互情况；

历史可感知线索提供情况；

用户指令；

已接收的语音交互指令。

8.根据权利要求2-7任一项所述的方法，其特征在于，所述可感知线索包括：视觉线索和/或音频线索。

9.根据权利要求8所述的方法，其特征在于，所述视觉线索包括下述至少一项：数字、字母、文字、颜色、图像、图形、视频。

10.根据权利要求9所述的方法，其特征在于，所述针对至少一个信息对象展示可感知线索，包括：在至少一个信息对象对应的指定位置处展示视觉线索；

所述指定位置包括：信息对象所处位置之外且与信息对象对应的指定位置；和/或，信息对象的关键内容对应的位置。

11.根据权利要求1所述的方法，其特征在于，还包括：

确定信息对象中需要进行处理的局部内容；对确定出的局部内容进行相应局部处理；

其中，所述局部处理包括下述至少一项：语言翻译处理、加密处理、折叠显示处理。

12.根据权利要求11所述的方法，其特征在于，所述确定信息对象中需要进行处理的局部内容，包括：

根据下述至少一项确定信息对象中需要进行处理的局部内容：

用户指令；

历史操作情况；

用户属性信息。

13.根据权利要求1所述的方法，其特征在于，还包括：

确定与所述处理指令对应的信息对象对应的关联信息对象；

根据所述处理指令，对所述关联信息对象进行关联处理；

其中，所述关联处理包括：删除处理。

14.根据权利要求1所述的方法，其特征在于，还包括：

针对待发送的信息对象，根据下述至少一项，对所述待发送的信息对象的接收方的顺序进行调整；

接收方的用户属性；历史排序情况；接收方对应的输入顺序；信息对象的内容。

15.根据权利要求1所述的方法，其特征在于，所述获取信息对象对应的处理指令，包括：

接收到在信息对象中添加附加内容的处理指令；以及

所述根据获取的处理指令，对所述信息对象进行相应处理，包括：

从其他信息对象的内容中，选择需要添加的附加内容，并添加到所述信息对象中。

16.根据权利要求15所述的方法，其特征在于，所述从其他信息对象的内容中，选择需要添加的附加内容，包括：

展示其他信息对象中的附加内容；

根据用户选择附加内容的操作，确认需要添加的附加内容。

17.根据权利要求16所述的方法，其特征在于，还包括：

根据下述至少一项，对其他信息对象中的附加内容的展示顺序进行调整：历史操作情况；信息对象的内容；用户属性信息。

18.一种终端设备，其特征在于，包括：

存储器；

处理器；

至少一个程序，存储于所述存储器中，被配置为由所述处理器执行时实现权利要求1-17中任一项所述的方法。