CN108885800B - 基于智能增强现实(iar)平台的通信系统 - Google Patents

Abstract

本申请文件公开了基于智能增强现实(IAR)平台通信的系统、设备和方法。在通信过程中，实时捕获实时音频、视频和/或传感器数据；实时执行场景分析和数据分析以从原始数据中提取信息。可以进一步分析提取的信息以提供知识。可以基于一个或多个标准通过集成原始数据、AR输入数据、信息输入、知识输入以生成实时AR数据，该一个或多个标准包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合。在一些实施例中，可以通过在分析中加入大数据(Big Data)来获得信息和知识。

Description

基于智能增强现实(IAR)平台的通信系统

交叉引用

本申请要求以下专利申请的优先权：申请号为62/373822，提交于2016年8月11日，发明名称为“基于智能增强现实(IAR)平台的通信系统”的美国临时专利申请；申请号为15/367,124，提交于2016 年12月1日，发明名称为“个性化、交互式和智能搜索的方法和系统”的美国临时专利申请；申请号为 15/479,269，提交于2017年4月4日，发明名称为“基于增强现实的通信中实时图像和信号处理的方法和系统”的美国临时专利申请；申请号为15/479,277，提交于2017年4月4日，发明名称为“具有增强现实强化的基于场景的实时广告”的美国临时专利申请；以及申请号为15/665,295，提交于2017年7月 31日，发明名称为“实时交互控制的真实感人体全息增强现实通信方法和系统”的美国临时专利申请。以上申请在本申请文件中整体引用。

技术领域

本发明主要涉及用于多个级别(例如原始数据、信息、知识等)的实时数据处理的系统、设备和方法。

背景技术

现有视频会议技术使人们可以远程进行实时面对面的通信。然而，因为有许多限制的存在，它并没有被广泛使用。这种系统要求具有高带宽的网络连接。当使用无线通信时，图像质量会受到显著影响。此外，现有系统不提供隐私选项。有些用户比较腼腆，不十分情愿入镜，也有的用户不愿意自己周围的环境入镜。现有系统也不允许用户在通信期间保持匿名。此外，当通信存在语言或文化障碍时，现有系统无能为力。例如，参与同一视频会议会话的用户可能持不同语言、使用十分专业化的技术术语、或者因为有不同的文化背景而出现不同的举止。这些障碍会对人际关系、业务合作产生不利影响，有时还会对国际贸易和外交关系造成严重损害。

提供数据增强的实时通信系统(例如电话、视频会议、聊天平台、消息传递、数据通信等)很少。而且即便是提供数据增强的实时通信系统，它们的数据增强也是非常落后的。例如，不同形式的数据被简单地覆盖在每一个数据上。现有一代的增强不执行实时数据理解，而且不将实时数据理解应用于数据增强。据此，当前的实时通信系统呈现的结果是粗糙的、有严重缺陷的，并且常常与用户完全无关。

本领域需要的是可以克服现有缺陷和不足的智能高效的实时通信方法和系统。

发明内容

一方面，本申请文件公开了一种用于提供实时增强现实(AR)数据的方法。该方法包括：在多个时间点在计算机设备上实时连续地接收原始数据，该原始数据包括可视数据，或可视数据与一个或多个音频数据、一个或多个传感器数据中任意一种的组合，或三者的任意组合；基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准通过集成原始数据、AR输入数据、信息输入和知识输入生成实时AR数据；其中，信息输入基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在一个或多个时间点实时地从原始数据或其变体中提取，知识输入基于从多个时间点提取的信息进行学习，并且实时AR数据包括与信息输入相对应的信息数据和与知识输入相对应的知识数据；用多组数据参数表示实时AR数据的信息数据或知识数据的至少一部分，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

一方面，本申请文件公开了一种用于提供实时增强现实(AR)数据的系统。该系统包括一个或多个处理器；以及非暂时性计算机可读介质。非暂时性计算机可读介质包括一个或多个指令序列。当所述一个或多个指令序列由一个或多个处理器执行时，使得所述一个或多个处理器执行的操作包括：在多个时间点在计算机设备上实时连续地接收原始数据，该原始数据包括可视数据，或可视数据与一个或多个音频数据、一个或多个传感器数据中任意一种的组合，或三者的任意组合；基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，通过集成原始数据、AR输入数据、信息输入和知识输入生成实时AR数据；其中，信息输入基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在一个或多个时间点实时地从原始数据或其变体中提取，知识输入基于从多个时间点提取的信息进行学习，并且实时AR数据包括与信息输入相对应的信息数据和与知识输入相对应的知识数据；用多组数据参数表示实时AR数据的信息数据或知识数据的至少一部分，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

一方面，本申请文件公开的是一种非暂时性计算机可读介质，包括一个或多个指令序列。当所述一个或多个指令序列由一个或多个处理器执行时，使得所述处理器执行的操作包括：在多个时间点在计算机设备上实时连续地接收原始数据，该原始数据包括可视数据，或可视数据与一个或多个音频数据、一个或多个传感器数据中任意一种的组合，或三者的任意组合；基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，通过集成原始数据、AR输入数据、信息输入和知识输入生成实时AR数据；其中，信息输入基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在一个或多个时间点实时地从原始数据或其变体中提取，知识输入基于从多个时间点提取的信息进行学习，并且实时AR数据包括与信息输入相对应的信息数据和与知识输入相对应的知识数据；用多组数据参数表示实时AR数据的信息数据或知识数据的至少一部分，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

在一些实施例中，所述方法或操作包括：基于包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，将原始数据、AR输入数据、信息输入和知识输入进行全面地组合。

在一些实施例中，所述方法或操作包括：从原始数据或其变体中移除不需要的数据，该不需要的数据包括不需要的环境场景数据、基于包括用户偏好、系统设置、原始数据的对象或场景的特性的一个或多个标准被确定为不相关的数据、从中提取了信息的被选数据、从中学习了知识的被选信息，或者它们的组合。

在一些实施例中，表示信息数据或知识数据的至少一部分的至少一组数据参数与对应于信息输入或知识输入的原始数据中的数据参数属于不同类型。

在一些实施例中，用于提取信息输入的一个或多个标准还包括基于大数据的至少一个标准。

在一些实施例中，基于信息学习知识输入，所述信息基于包括用户偏好、系统设置、原始数据的对象或场景的特性、集成参数、交互式用户控件、基于大数据的至少一个标准，或它们的组合的一个或多个标准在多个时间点提取。

在一些实施例中，所述方法或操作包括：选择性地对实时AR数据的至少一部分进行压缩。

在一些实施例中，在计算机设备上从另一计算机设备接收原始数据。

在一些实施例中，所述方法和操作包括：在计算机设备上实时地接收来自另一计算机设备的现有 AR数据，现有AR数据包括现有的信息数据和现有的知识数据。

在一些实施例中，现有的信息数据和现有的知识数据用于集成原始数据，以呈现原始数据的重构变体。

在一些实施例中，所述方法和操作包括：基于包括用户偏好、系统设置、基于大数据的至少一个标准、现有信息数据，或它们的组合的一个或多个标准，在所述一个或多个时间点基于原始数据的重构变体提取信息输入。

在一些实施例中，系统还包括数据输入和输出部件，该数据输入和输出部件包括麦克风、相机、显示器、传感器，或它们的组合。

在一些实施例中，相机包括2D相机、3D相机、4D相机、彩色相机、近红外相机、红外相机、热相机、多光谱相机、高光谱相机，或它们的组合。

可以理解，本申请中公开的任何实施例可以在适用时应用于本发明的任何方面，单独应用或任意组合应用。

在附图和下面的说明中阐述了一个或多个实施方式的具体内容。其他特征、方面和潜在优势将在说明书和附图以及权利要求中得到体现。

附图说明

本领域技术人员会理解，以下附图仅用于阐释的目的。附图并非旨在以任何方式限制本教导的范围。

图1A示出了在不同的层级上学习的示意图。

图1B示出了用于执行基于智能AR的实时通信的示例性系统。

图1C示出了用于执行基于智能AR的实时通信的示例性系统。

图2示出了一种用于执行基于双向智能AR的实时通信的实例设备。

图3示出了用于执行基于智能AR的实时通信的计算机设备上的实例过程。

图4示出了用于执行基于智能AR的实时通信的计算机设备上的实例过程。

图5示出了用于执行基于智能AR的实时通信的计算机设备上的实例过程。

图6示出了用于实施附图1-5的特征和过程的实例系统体系结构的示意图。

各附图中相似的附图标记表示相似的元件。

具体实施方式

概述

本申请文件所公开的方法和系统涉及实时学习及其在基于智能AR的通信中的应用。为了理解在方法和系统中嵌入的学习的深度和广度，有必要了解一般的数据学习。

人类时时刻刻都面对的，是他们周围世界的事实或数据。一般而言，对于事实的理解是有阶段性或分层次的：原始数据、信息、知识等等。参见图1A。通常，信息是以原始数据定义的，而知识是以信息定义的。金字塔的每一层都是通过一个升华的过程(归纳、抽象化、提取、处理、组织、分析、解释、学习和应用)来区分的，升华的过程通过揭示世界的关系和真理来增加组织、意义和价值。

如本申请文件所公开的，术语“原始数据”指的是使用数据采集设备(如相机、麦克风、传感器等) 采集的无组织的、客观的事实、数字或信号。事实、数字或信号与事物或事件相关；而且它们是可以量化的，可以重复测量、存储和传输。在一些实施例中，数据采集设备可以是独立的设备或工具，例如录音器。在一些实施例中，数据采集设备可以是更大设备的一个组件，例如计算机或智能电话设备上的相机。如本申请文件所公开的，术语“原始数据”、“元素”、“事实”、“数字”、“信号”和“测量”可以互换使用，例如，可视数据、音频数据和传感器数据都是原始数据的形式。如本申请文件中所讨论的，处理过的原始数据，如经过去噪声操作的原始数据，仍然被认为是原始数据。

使用能够检测和捕获现象或事件的一个或多个方面的设备采集原始数据。数据采集可以在不同的层次上进行。例如，对于可视数据，设备可以检测和测量可见光信号的强度和颜色(包括色相(hue)、明调(tint)、暗调(shade)、饱和度(saturation)、亮度(brightness)、色度(chroma)等)的幅度和/或变化。更复杂的设备将能够检测和测量反射、折射、色散、内反射、干涉、衍射、光散射和偏振等性能。这些特性常常反映光是如何与环境相互作用的。此外，可以通过红外相机等特殊设备检测和捕获肉眼不可见的光信号。如本申请文件所公开的，在一些实施例中，可以在任何进一步处理之前处理原始数据以增强性能，例如质量、效率、准确性和有效性。

相反，术语“数据”将被更广泛地解释为包括原始数据和源自原始数据的任何内容，例如信息、知识、AR数据或它们的组合。此外，如本申请文件所公开的，术语“数据”还包括但不限于本地存储在计算机设备上的材料、通过网络连接从另一计算机设备接收的材料或可从因特网检索的材料。

如本申请文件所披露的，术语“信息”可以用来指场景化的、分类的、计算的和浓缩的数据。信息可以从原始数据中提取，例如，通过组织和应用相关性、目的、场景等。例如，温度读数本身价值很小或没有价值。然而，如果读数与特定目的和相关性相关，则原始数据可以提供信息。例如，环境温度测量和具有相同值的体温测量有不同含义。例如，环境温度反映天气状况，而体温可以反映健康状况。

例如，可以从视觉特性、音频特性、传感器特性或它们的组合中提取信息。例如，视觉特性包括但不限于空间特性、尺寸特性、边缘特性、形状特征、运动特性、颜色特性、曝光特性、亮度特性、阴影特性、高亮特性、对比度特性、光照度和反射率特性、时间特性、或透明特性、深度特性、材料特性或它们的组合。在一些实施例中，视觉特性包括三维空间特性。

在一些实施例中，音频特性包括但不限于音高/音调特性、频率特性、幅度/振幅特性、速度特性、语音模式特性、声学特性、噪声特性(例如，周围环境噪声或其它环境噪声)、延迟特性、失真特性、相位特性或它们的组合。

在一些实施例中，传感器特性可以包括灵敏度特性、频率特性、幅度/振幅特性或它们的组合。

在一些实施例中，信息可以与来自原始数据的对象或场景相关联。

如本申请文件所公开的，可以根据原始数据的质量和数量，或者根据用于提取的一个或多个标准，在不同的级别提取信息。例如，一个简单的超声设备(如多普勒)可以用来测量胎儿的心率，而一个复杂的超声波机可以让医生“看见”胎儿心脏的结构。因此，从复杂的超声机获得的数据中提取的信息将处于更深和更完整的水平。

在一些实施例中，当从原始数据中提取信息时，应用一个或多个标准。示例性标准包括但不限于用户偏好、系统设置、来自原始数据的对象或场景的特性、集成参数、交互式用户控制、基于大数据的至少一个标准、或它们的组合。在一些实施例中，也可以应用基于大数据的标准。

如本申请文件所公开的，术语“知识”可以用来指过程性知识(know-how)、经验、领悟(insight)、理解和场景化信息。知识通常是可操作的。例如，环境温度为100°F被认为是热的，而110°F被认为是热到了危险的程度。当天气炎热时，人们可以采取预防措施，多喝水，在室外时注意遮挡阳光。当热到了危险的程度，人们可以完全停止户外活动。

获取知识包括将复杂的认知过程如感知、综合、提取、联想、推理和通信应用于信息。一般来说，知识比信息更有价值，因为它们是对理解、解释和描绘事物或某些事件的领悟的基础，这可以用来制定政策和行动。

在一些实施例中，不同场景中的相同信息可以提供不同的知识。例如，如果成年人的体温读数达到 100.4°F或以上，将被视为发烧。然而，幼儿不会被视为发烧直到体温读数达到101.4°F或以上。一旦诊断出“发烧”的原因，医生可以给病人开药，针对症状或病因进行治疗。

如本申请文件所公开的，可以通过信息的累积学习获得知识。在一些实施例中，信息可以与多个时间点相关联。在一些实施例中，时间点是连续的。在一些实施例中，时间点是非连续的。在一些实施例中，从多个类型的信息中学习知识，例如两个或更多类型、三个或更多类型、四个或更多类型、五个或更多类型或六个或更多类型。在一些实施例中，可以使用十种或更多种类型的信息。

在一些实施例中，辅助特性也可以与原始数据的对象或场景关联。

如本申请文件所公开的，还可以根据可用信息的数量和质量(最终确定为原始数据的质量和数量) 在不同的层次上学习知识。在同一个例子中，使用多普勒与使用复杂的超声机相比，医生可以使用多普勒来解读不规则的胎儿心跳(知识)。受过训练的医生，使用复杂的超声机能够确定不规则心跳是否对应于任何先天缺陷胎儿心脏的结构缺陷(知识)。可以依赖从更复杂的分析得出的知识，从而作出决定是否应该在具有严重先天性心脏缺陷的婴儿一出生时就对他/她实施心脏手术进行挽救。

在一些实施例中，当从信息中学习知识时，应用一个或多个标准。这里，所使用的标准可以与提取信息时使用的标准相同或不同。示例性标准包括但不限于用户偏好、系统设置、来自原始数据的对象或场景的特性、集成参数、交互式用户控制、基于大数据的至少一个标准，或它们的组合。

在下文中，根据本申请，在基于AR的实时通信场景中提供了两个综合实例。这些实例可以说明原始数据、信息和知识之间的差异。

在第一实例中，两个人在AR通信环境中进行交谈。每个用户都可以看到和听到对方。某时，其中一个用户大声说：“我们去夏威夷怎么样？！”同时，她兴奋地上下移动双手，脸部涨红。

在这个例子中，原始数据包括可视信号和音频信号。某些音频信号与高幅值相关联。在下一级，例如，通信系统可以从音频数据中识别出用户强调“夏威夷”(Hawaii)这三个字。通信系统从可视数据中提取手的运动、用户的面部和相关的特征。在此，信息可以包括对“夏威夷”的强调，移动的手，面部表情和红色。在下一级，例如，通信系统可以将提取的信息组合起来，从而了解到用户对于将夏威夷作为旅游目的地是快乐和兴奋的(从她的声音的语调、她的面部表情和红色等得出结论)。在此，该信息可以作为结论：用户希望选择夏威夷作为一个可能的旅游目的地。

基于所述信息和知识，通信系统可以用夏威夷的图片或视频实时地增强与该用户相关的数据(例如图片或视频)，并为该用户提供实时查看增强数据的选项。例如，系统可以提供用户在威基基海滩上的图片作为其通信的新背景。

在第二实例中，医生和患者根据本发明使用基于AR的实时通信系统进行远程通信。在患者端同时获取视觉、音频和传感器数据。需要患者与一个或多个传感器接触以测量心率、血压和血氧水平。医生可以看到病人做一些运动，并接收用户心率和血压的传感器数据。

在本例中，原始数据包括视觉、音频和传感器数据。例如，在下一级，通信系统可以从可视数据中识别出用户正在坐着并进行缓慢的运动。该通信系统还识别出，用户的心率为180，血压读数为(高压 240，低压150)。通信系统还识别出用户的呼吸模式可能是不规则的。血氧仪显示用户血液中的氧含量较低。

在下一级，通信系统可以将所提取的信息汇集在一起，从而了解到用户心脏病发作或其他心脏/血液相关问题的风险高，需要注意就医(例如，用户没有进行剧烈的体力活动，而他的心率和血压值惊人地高)。

基于信息和知识，通信系统可以实时地增强与用户有关的数据(例如，用户心脏的三维模型)，并使心脏模型根据观察到的心率、血压和呼吸模式运动，可以实时地观察到增强的心脏运动。

在此，医生可以提供对患者的增强数据的交互式控制，并要求看到患者的模拟心脏运动的心率、血压。或者，通过整合患者过去的相关医疗记录，在医生端进一步增强来自患者的AR数据。例如，如果过去的CT扫描或MRI显示潜在的心脏缺陷，医生可能能够预测心脏病即刻发作的风险，并安排病人立即住院。

示例性系统实施例

图1B示出了基于多级实时学习和数据处理的实时通信的示例性系统。如本申请文件所公开的，除非另有说明，术语“数据”可被广泛地解释为包含原始数据、信息、知识、AR输入数据等。示例性系统 10包括设备20和设备30，通过因特网40连接到远程智能服务器50。

如本申请文件所公开的，除非另有说明，学习和处理，或只是处理，被广泛地解释为涵盖数据、信息、知识和其它的所有形式的处理或升华。示例性的处理和/或升华包括但不限于质量改进、错误纠正、发现、消化、解剖、融合、分析、抽象、理解、解释、操作、修改、论证、感知、综合、提取、鉴定，关联、推理、归纳、组织、应用、格式转换、传递、通信等。

如本申请文件所公开的，每个用户设备(例如，元件20和30)配备有以下功能：基于人工智能开展学习，基于增强现实(AR)对原始数据、信息、知识进行学习和处理。

在一些实施例中，数据学习和处理可以单独地或以任何可能的组合形式应用于原始数据、信息和知识中的一个或多个。

数据、信息和知识的学习和处理的结果可以在用户设备20和用户设备30之间传送，和/或用户设备20和用户设备30中的一个或一起和智能服务器50之间传送。

例如，用户设备20获取、处理和扩充数据(例如音频、视频和传感器数据)，并通过有线或无线网络通信将处理后的数据发送到智能服务器50或用户设备30。在一些实施例中，用户设备20将处理后的数据直接发送到设备30(例如，通过红外传输)。在一些实施例中，除了处理后的数据之外(或代替处理后的数据)，还可以传输原始数据。

在一些实施例中，设备20和30中的一个或它们一起具有它们自己的本地智能和AR处理模块，以在本地增强数据。在一些实施例中，设备20和30中的一个或它们一起其自身具有一些智能分析和处理功能。在一些实施例中，设备20和30中的一个或它们一起其自身还能够利用远程大数据数据库(例如，在智能服务器50上)执行基于人工智能的更多和更深入的学习和处理，以获得更完整和更深层次的信息、知识等。在一些实施例中，学习和处理可以在相反的方向上进行。例如，基于所学到的信息和/或知识，智能服务器50可以使用或修改现有数据或创建包含信息和/或知识的新数据。

在一些实施例中，来自设备20和30中的任一个或两个的数据、信息或知识可以保存在大数据数据库中，并且也发送给用于基于人工智能的额外学习和处理的智能服务器50。

在一些实施例中，智能服务器50可以基于大数据数据库(例如在服务器上本地保存以便于通过网络通信访问)处理含有智能信息的数据，从而自动消化信息/知识，并分别基于用户偏好和系统设置，将消化后的信息/知识作为智能数据提供给发送了原始数据或处理后的数据的设备(例如，设备20)和接收设备(例如，设备30)。

在一些实施例中，发送到发送方设备或接收方设备的数据因它们不同的用户偏好和系统设置而不同。

在一些实施例中，接收方设备(例如，设备30)可从设备20和智能服务器中的一个或两个接收原始数据或经处理过的数据。接收方设备30可进一步处理所接收的数据，包括，例如，解释所接收的数据且将所接收的数据转换为适于接收方设备30的形式和格式、用学习的信息和/或知识增强数据，以及以各种形式输出所得数据。在一些实施例中，输出数据将基于用户的偏好和/或系统设定而呈现，例如显示可视数据、播放音频数据和控制对应的传感器。

在一些实施例中，设备30可充当发送方设备，将数据传递到设备20和智能服务器50。在一些实施例中，可应用本申请公开的系统和方法来促进交互式双向/多向通信系统。

在一些实施例中，数据处理的所有方面(例如，原始数据处理、信息提取、知识学习、基于AR的数据增强、AR数据的表示、数据压缩等)可经由安全处理器和安全通道在一个设备中进行，其中受到保护的存储设备包括加密以确保数据安全。在一些实施例中，数据处理的一部分可经由安全处理器、安全通道进行，其中安全存储设备包括加密以确保安全性，而数据处理的其它部分可经由具有普通安全级的处理器、通道和存储设备进行。在一些实施例中，数据处理的所有方面可经由具有普通安全级的处理器、通道和存储设备进行。

如本申请文件所公开的，智能服务器50具有很多优点。例如，用于实行基于人工智能和AR的数据学习及处理的功能可在服务器50处以增强的效率和速度进行。此外，此数据学习和处理可在存储于服务器50上的数据库52的大数据上执行。

如本申请文件所公开的，计算机设备(例如，设备20或30)包括作为一体式部件的相机和任选地麦克风或者一个或多个传感器，或以通信方式连接到相机和任选地麦克风或者一个或多个传感器。在一些实施例中，相机是例如计算机、蜂窝电话或录像机等用户设备的组成部分。在一些实施例中，相机是可连接到用户设备的外部硬件部件。在一些实施例中，用户设备是具有网络功能的相机。优选地，相机是深度相机。在一些实施例中，图像/音频捕获设备包括一组相机。如本申请文件所公开的，用户设备应装备有CPU/GPU处理器、相机、麦克风、显示器、扬声器、通信单元和存储设备。其包括(但不限于) 台式计算机、膝上型计算机、智能电话设备、个人数字助理、具有网络功能的相机、平板计算机、AR眼镜、AR头盔、虚拟现实(VR)眼镜、智能电视(TV)等。相机包括(但不限于)2D、3D或4D相机、彩色相机、灰度阶相机、普通的RGB相机、红外(IR)相机、近红外(NIR)相机、热相机、多光谱相机、高光谱相机、360度相机等。麦克风可以是能够检测和捕获音频信号的任何设备。传感器可以是可检测其环境中的事件或改变且将信号发送到另一设备(例如，计算机处理器)的任何部件、模块或子系统。示范性信号包括(但不限于)与心跳、血压、方向(orientation)、温度、运动、海拔高度、压力、接近度 (proximity)、加速度等相关联的信号。如本申请文件所公开的，借助于实例描述用于产生实时AR数据的方法和系统。然而，本领域的技术人员可以理解，所述方法和系统可应用于其它类型的数据。此外，其它类型的数据可单独地或与图像数据组合而处理以创建如本申请文件所公开的基于AR的数据。一个例子为声音数据与图像数据的组合。另一个例子为传感器数据与图像数据的组合。如本申请文件所公开的，传感器数据包括振动数据、温度数据、压力数据、方向数据、接近度数据等。

结合图1C详细地描述用于实行数据的基于人工智能的学习和基于AR的处理的功能性的示范性实施方案。

图1C示出了用于基于多级实时学习和处理进行基于AR的实时通信的示例性系统。示例性系统100 包括经由因特网160连接到远程智能服务器170的计算机设备120和计算机设备140。如本申请文件中所公开的，数据的学习和处理可在一个或多个设备上进行。

示例性计算机设备120示出了一种具有多个功能的本地设备，包括用户输入和输出(I/O)模块122、本地数据库124和多个功能模块(例如，原始数据获取和处理模块126、提取模块128、学习模块130、增强模块132、表示模块134、压缩模块136等)。如本申请文件所公开的，本地设备可访问真实生活对象，并且可以由用户操作。在一些实施例中，用户是真实生活对象，例如在基于AR的实时通信中。设备 120示例了能够实时执行几乎所有执行实时AR通信所需的功能的本地设备。例如，这样的功能包括在场景中捕获用户(或用户以外的真实生活对象)的视觉和音频数据(即原始数据)，分离用户(或用户以外的真实生活对象)或场景，基于原始数据提取信息，基于提取的信息学习知识，基于信息、知识、AR输入数据、提取的真实生活对象或场景、实时交互用户控制、用户偏好、系统设置等创建实时AR数据。任何可用的计算机设备都可用作设备120，包括但不限于与图1B所示的设备20和设备30关联的计算机设备。

在一些实施例中，用户设备120包括用户输入和输出模块(I/O模块)122。例如，I/O模块122可以接收向用户设备120的用户输入，并使用文本、音频、视频、运动和/或触觉输出机制呈现来自用户设备102的输出。在一些实施例中，I/O模块122包括一个或多个数据采集组件，例如相机、麦克风、键盘、鼠标、触摸敏感屏幕、一个或多个传感器等。在一些实施例中，I/O模块122还用于检测和跟踪眼球运动、面部表情等。在一些实施例中，I/O模块122或用户设备120还包括一个或多个用于收集数据的传感器设备。例如，收集的数据如心跳、血压、方向、温度、运动、高度、压力、接近度、加速度等。

在一些实施例中，I/O模块122还可以向用户呈现音频、视觉、运动和/或触觉输出。例如，I/O模块122在用户设备120的监视器上显示集成图像或视频。在一些实施例中，I/O模块122包括一个或多个输出部件，例如监视器(可以是触摸敏感的)、扬声器、触摸敏感屏幕和一个或多个传感器。在一些实施例中，输出设备允许用户接收肢体体验例如接触(例如，用户可以接收远程握手或亲吻)。

在一些实施例中，数据采集和输出组件形成为I/O模块122或用户设备120的一个组成部分。在其他实施例中，数据采集和输出组件是可以耦合到计算机设备(例如，设备120)并执行I/O模块122的功能的外部设备。

如本申请文件所公开的，实时交互控制用于动态生成实时AR数据。例如，I/O模块122可以接收手势输入、肢体运动、眼球运动、表情、输入的命令、鼠标动作(例如，点击、拖放)或来自用户的语音输入以启动基于AR的实时通信(例如，通过启动用于获取数据并最终生成实时AR数据的处理)。在一些实施例中，类似的输入可用于通过实时指定用户偏好或选择系统偏好来改变通信的过程或其内容。I/O 模块能够从许多不同的角度捕获用户输入。该方法/系统可由具有一种或多种存在生理缺陷的用户使用。例如，盲人可以签署和作出其他手势，或使用语音命令，而聋哑人可以用手势、使用面部表情或眼球运动。

在一些实施例中，I/O模块122可以呈现使能或支持本申请文件描述的方法/系统的功能的图形用户界面(GUI)，包括但不限于本地数据库124和多个功能模块(例如，原始数据获取和处理模块126、提取模块128、学习模块130、增强模块132、表示模块134、压缩模块136等)。在一些实施例中，I/O模块122包括多个菜单命令，每个菜单命令对应于一个或多个查询处理模块的功能。

在一些实施例中，I/O模块122提供菜单选项，使得用户可以选择一个或多个选项来启动一个或多个功能。例如，用户可以点击图标，启动图像捕获过程。此外，还可以通过菜单选项提供多个类别的AR 输入数据(例如，虚拟环境相关材料)。

在一些实施例中，用户可以使用I/O模块122来请求在本地用户设备120上可用的材料，或者可以通过网络连接从服务设备170或另一用户设备140获得的材料。例如，I/O模块122可以允许用户使用语音命令来请求AR输入数据，例如某种类型的虚拟环境(例如，中世纪欧洲城堡的图像)。一旦图像被传送(在本地传送或通过网络连接传送)，用户可以请求处理图像以构建虚拟环境。

在一些实施例中，用户可以使用I/O模块122来管理各种功能模块。例如，用户可以通过使用I/O 模块122请求在实时通信过程中改变AR输入数据(例如，不同的虚拟环境)。用户可以在不中断通信的情况下通过分散地选择命令中的菜单选项或类型来进行这样的操作。

如本申请文件所公开的，用户可以通过I/O模块122使用任何类型的输入，例如手势输入、肢体运动、眼球运动、表情、输入的命令、鼠标动作(例如点击、拖放)或语音输入，来指挥和控制方法/系统。

在一些实施例中，设备120还包括本地数据库124。例如，本地数据库124可以存储捕获的数据，例如图像、视频、音频文件、传感器数据、接收的或预先存在的数据，例如AR输入数据、用户偏好和系统设置；以及处理过的数据，例如信息、知识、部分或完全集成的AR数据。在一些实施例中，本地数据库124存储用户特定信息；例如，用户可以存储私有数据、用户偏好设置和用于生成实时AR数据的一个或多个优选的虚拟环境的数据。在一些实施例中，本地数据库124可以存储从另一设备或服务器检索的数据。在一些实施例中，本地数据库124可以存储从因特网搜索实时检索的数据。

在一些实施例中，本地数据库124将数据发送到一个或多个功能模块，并从一个或多个功能模块接收数据，所述功能模块包括但不限于原始数据获取和处理模块126、提取模块128、学习模块130、增强模块132、表示模块134、压缩模块136和其他功能模块。如本申请文件所公开的，这些功能模块可以广泛地涵盖数据、信息、知识等的所有形式的处理或升华。示例性的处理和/或升华包括但不限于质量改进、错误纠正、发现、消化、解剖、融合、分析、抽象、理解、解释、操作、修改、论证、感知、综合、提取、识别，关联、推理、归纳、组织、应用、格式转换、传递、通信等。

在一些实施例中，可以组合两个或多个模块的功能。在一些实施例中，可以使用一个或多个子模块来执行一种类型的功能。例如，提取模块128可以执行数据发现并从实时接收的原始数据中提取信息。例如，可以分析每种类型的数据以识别或提取诸如人体特征模式(例如，面部、虹膜、身体、手势等)、语音模式、生物状态或对象的任何其他肢体或非肢体特征的信息。在一些实施例中，学习模块130还组织和分析在模块128中识别的信息从而确定知识。例如，一个人是否发烧或可否被诊断具有某种疾病。

在一些实施例中，一个或多个功能模块可以分别评估和分析每种类型的实时数据(例如，视觉、音频或传感器)。在一些实施例中，功能模块可以同时评估和分析多种类型的实时数据(例如，视觉和传感器数据可用于检测心脏病的发作)。

在一些实施例中，用户设备120包括原始数据获取和处理模块126，其也可以被称为“获取和处理模块126”或“模块126”。例如，获取和处理模块126可以使用一个或多个数据采集组件，例如，相机、麦克风、键盘、鼠标、触摸敏感屏幕、一个或多个传感器等，来获取数据。在一些实施例中，模块126 还用于检测和跟踪眼球运动、面部表情等。在一些实施例中，模块126或用户设备120还包括一个或多个传感器设备，用于收集数据，如心跳、血压、方向、温度、运动、高度、压力、接近度、加速度等。I/O 模块122和获取和处理模块126的功能重叠。许多数据获取部件也构成I/O模块122的一部分。

在一些实施例中，获取和处理模块126包括相机。在一些实施例中，相机是深度启用的。在一些实施例中，使用两个或多个相机。在一些实施例中，可使用内置麦克风或外部麦克风进行音频采集。在一些实施例中，模块126捕获多个图像。在一些实施例中，模块126还捕获语音数据。在一些实施例中，模块126连续捕获视频。在一些实施例中，模块126可以通过使用与设备120相关联的一个或多个传感器来捕获传感器数据。如本申请文件所公开的，传感器数据包括生物特征数据，例如心跳和呼吸模式、振动数据、温度数据、压力数据、方向数据、接近数据等。在一些实施例中，模块126捕获多种类型的数据。

如本申请文件所公开的，在捕获用户的原始数据之后，模块126还可以处理原始数据以提高其质量用于后续处理。在一些实施例中，获取和处理模块126可以执行标准数据处理算法，例如降噪、信号增强、信号归一化等。在一些实施例中，模块126可以应用一个或多个滤波器来去除或添加特定形式的数据。例如，模块126可以处理一个或多个域中的数据(例如，执行空域、频域、频谱域、小波域和/或这些域的混合)，以去除噪声并提高数据质量。

在一些实施例中，设备120包括信息提取模块128，其中信息从原始数据中提取。本申请文件公开的“信息提取模块128”、“提取模块128”和“模块128”可以互换使用。如本申请文件所公开的，信息可以通过对数据进行场景化、分类、计算和浓缩来提取。在一些实施例中，信息提取还可以根据一个或多个标准来进行，该一个或多个标准包括用户偏好、系统设置、集成参数、原始数据的对象或场景的特性、交互式用户控件或它们的组合。每个标准可以被看作是对原始数据进行组织和场景化的一种方式。在一些实施例中，至少一个标准是基于大数据的。

如本申请文件所公开的，所提取的信息可以由信息数据表示。在一些实施例中，信息数据可以包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵或它们的组合。在一些实施例中，信息数据可以包括一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或者它们的组合。这里，图像、音频信号和传感器信号可以是，并且优选地，不同于包含在从中提取信息的原始数据中的那些信号。

在一些实施例中，一旦开始数据捕获，就触发实时信息提取。在一些实施例中，通过组织数据来实现信息提取。例如，当原始数据包括多个类型的数据(例如，对象或场景的视觉、音频或传感器数据) 时，可以通过根据其数据类型对数据进行分离来实现数据组织。在一些实施例中，基于数据的内容对每种类型的数据进行分离；例如，与对象相对应的数据可以与对应于场景的数据分开组织。例如，对象的实时信息提取包括识别对象和其环境之间的边界，例如，基于它们在图像内的相对位置、对比度、光、颜色、热特性等的差异。在一些实施例中，图像数据使用深度启用相机收集，并且深度信息被用于在从任一信息中提取信息之前将对象分离为背景和前景。在一些实施例中，提取模块128可以通过实时对象识别和数据分离来提取信息。例如，对象识别包括将人与环境分开。在一些实施例中，对象识别包括检测人的不同身体部位。在一些实施例中，对象识别还包括将某些特征与人的身体部位相关联，这可以有助于提取与运动、大小有关的信息。

在一些实施例中，提取模块128通过基于一个或多个特性实时将数据进一步组织(例如，分离)为与对象和其环境相关联的一个或多个子类别来提取信息。例如，共享相同或类似视觉特性(例如，颜色、暗度)的相同对象的部分可组织在一起。在一些实施例中，信息提取利用基于综合特性的机制，包括基于人工智能的机制。例如，基于综合特性的机制可辨识人、对象和环境的一个或多个特性及其差异。示范性特性可包括且不限于例如空间特性、尺寸特性、形状特性、运动特性、颜色特性、光照度和反射特性、时间特性或透明度特性、深度特性、材料特性或其组合等视觉特性。在一些实施例中，空间特性包括三维空间特性。在一些实施例中，所述特性可以是实时学习的特性，包括但不限于颜色、形状、边缘、光反射、光照度、曝光、亮度、阴影、高光、对比度、运动、深度、材料或其组合。在一些实施例中，预先学习的特征还包括但不限于颜色、形状、边缘、光反射、光照度、曝光、亮度、阴影、高光、对比度、运动、深度、材料或其组合。

在一些实施例中，根据用户偏好或系统设定组织原始数据，例如通过排除不相关数据或聚焦于一种或多种类型的数据来组织原始数据。在一些实施例中，用户偏好可经设置以指定用于信息提取的数据的类型，可移除或忽略不相关数据以促进对相关数据的信息提取。例如，如果医生对关于心脏病的医疗数据感兴趣，那么信息提取将聚焦于例如脸的颜色、脉搏/心跳、呼吸数据、血压等数据。在另一实例中，如果医生对关于患者的皮肤状况的信息感兴趣，那么可仅针对皮肤相关数据实行信息提取。

在一些实施例中，可利用交互式用户控制执行信息提取。例如，在基于本发明的方法/系统的远程诊断会话中，医生可请求某一类型的信息。例如，医生可请求基于由一个或多个传感器捕获的心跳数据计算心率。

在一些实施例中，本申请文件中所公开的系统/方法可包括指定在特定预定义场景中彼此相关的数据类型的系统设定。指定数据类型的数据可经选择和处理以用于信息提取。

通过应用各种分析工具，表示不同对象和场景的数据可组织和放置到场景中。例如，通过比较来自不同时间点获得的不同图像的对象的位置数据，有可能提取对象的位置或运动信息。在一些实施例中，有可能在多个对象存在于原始数据中时计算或比较相对速度。

在一些实施例中，提取模块128从一种类型的数据提取信息。在一些实施例中，提取模块128从多个类型的数据提取信息。例如，人的外表可与体温读数组合以用于额外信息提取。在一些实施例中，多个类型的数据可在信息提取之前融合。

在一些实施例中，如本申请文件中所公开的信息提取过程可在一个轮次中或多个轮次中完成。在一些实施例中，一个轮次的粗略信息提取可在实行一个或多个额外轮次的精细提取之前首先执行。例如，粗略提取可提供例如心率等信息，而更深层级的信息提取可产生一个或多个完整心博周期的信息：例如流入期、等容收缩、流出期和等容舒张的信息。更深层级的信息提取将包括提取与A-V瓣膜封闭、主动脉瓣膜打开、等容收缩、喷射、等容舒张、快速流入、A-V瓣膜打开相关联的信息。示范性信息可包括主动脉压力、心房压力、心室压力、心室容积。在一些实施例中，从心电图和心音图提取信息。如所提到，可在其处提取信息的层级可能受可用的分析方法，原始数据的数量、类型和质量的限制。

在一些实施例中，提取模块128可使用预先学习的信息提取实时信息。例如，对象和场景的预先存在的模式可在进一步实时信息学习之前用作开始点。在一些实施例中，信息提取可在不同设备上多次发生。例如，初始信息提取可在具有有限计算能力的本地设备上发生。初始信息提取可能是粗略的且受到深度的限制。所提取的信息和原始数据可传递到具有较强计算能力和对其中发生进一步信息提取的较综合数据库(例如，包括大数据)的较好访问的另一计算机设备。图3到5中说明多级信息提取过程的示范性实施例。

在一些实施例中，可基于机器学习和模式识别方法来执行信息提取，所述方法可以为例如深度学习、神经网络、基于特征点的方法、主分量分析(principal componentanalysis,简称“PCA”)、线性判别分析 (linear discriminant analysis,简称“LDA”)等。

在一些实施例中，设备120包括学习模块130，其也可以被称为“知识学习模块130”或“模块130”。如上所述，基于对从原始数据中提取的信息的分析来学习或导出知识。

在一些实施例中，通过理解信息和将信息置于场景中来学习知识。在一些实施例中，所述置于场景中可通过将相关信息组织成类别来实现。这种增加的组织层级可辅助理解数据。例如，在其中患者具有即将发生心脏病发作的高风险的实例中，医生可通过将相关信息组织在一起来学习此知识。例如，患者表现出令人担忧的症状，例如面色潮红、心率急促、血压很高、呼吸短促、行动缓慢等。

类似于信息提取，还可根据一个或多个标准进行知识学习，所述标准包括用户偏好、系统设定、整合参数、原始数据的对象或场景的特性、交互式用户控制或其组合。例如，特定设计用于医疗诊断的方法/系统可具有每种疾病的一个或多个预定类别，每种疾病有可能可以基于例如可视数据、音频数据和传感器数据等非侵入性数据进行识别。例如，心脏病的类别将告知所述方法/系统聚焦于特定类型的信息，例如脸色、呼吸模式、心率、血压值等。在一些实施例中，所述方法/系统还提供参考标准，将对照所述参考标准比较所获得的信息，且所述比较的结果可产生学习的知识。在一些实施例中，至少一个标准是基于大数据。

如本申请文件中所公开的，学习的知识可由知识数据表示。在一些实施例中，知识数据可包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵或其组合。在一些实施例中，知识数据可包括一个或多个图像、一个或多个音频信号、一个或多个传感器信号或其组合。在此，图像、音频信号和传感器信号可以且优选地不同于从其间接导出知识的原始数据中包括的图像、音频信号和传感器信号。

在一些实施例中，知识学习包括基于一个或多个特性将可用信息实时组织(例如，分离)为与对象和其环境相关联的一个或多个子类别。例如，反映对象的视觉特性的信息可组织成一个类别。在一些实施例中，知识学习除使用例如基于人工智能的机制之外，还利用基于综合特性的机制来促进学习。例如，基于综合特性的机制可辨识人、对象和环境的一个或多个特性及其差异。示范性特性可包括(但不限于) 视觉特性。例如，视觉特性可以为空间特性、尺寸特性、形状特性、运动特性、颜色特性、光照度和反射特性、时间特性或透明度特性、深度特性、材料特性或其组合等。在一些实施例中，空间特性包括三维空间特性。在一些实施例中，所述特性可以是实时学习的特性，包括但不限于颜色、形状、边缘、光反射、光照度、曝光、亮度、阴影、高光、对比度、运动、深度、材料或其组合。在一些实施例中，预先学习的特征还包括但不限于颜色、形状、边缘、光反射、光照度、曝光、亮度、阴影、高光、对比度、运动、深度、材料或其组合。

在一些实施例中，知识学习可利用交互式用户控制执行。例如，在基于本发明的方法/系统的远程诊断会话，医生可请求系统研究某人是否患有某一类型的疾病或病况的可能性。在一些实施例中，在接收此类用户指示后，系统可集合可能对于诊断特定疾病或病况有帮助的相关信息。

在一些实施例中，从一种类型的信息导出知识。在一些实施例中，可从多个类型的信息导出知识。大多数医疗诊断在知识层级发生。使用以上相同实例，例如发热的最大值、发热持续时间、对热和病菌的暴露或水化状态等额外信息可产生不同的诊断和不同的治疗。

在一些实施例中，可基于机器学习和模式识别方法来执行信息提取，例如，所述方法可以为深度学习、神经网络、基于特征点的方法、主分量分析(PCA)、线性判别分析(LDA)等。

在一些实施例中，设备120包括增强模块132。如本申请文件中所公开的，增强模块132可通过整合原始数据、AR输入数据、信息输入和知识输入来产生实时AR数据。在一些实施例中，根据一个或多个标准发生整合，所述标准包括用户偏好、系统设定、整合参数、原始数据的对象或场景的特性、交互式用户控制或其组合。

如本申请文件中所公开的，数据增强可在许多不同层级进行。在信息实施例中，可基于信息(实时学习或现有信息)、知识(实时学习或现有知识)、用户偏好、系统设定或额外输入数据中的一个或多个进行数据增强。在此，数据可包括原始数据、经处理的数据，或例如设备上预先存在的其它数据、经由网络通信实时检索的数据，或实时创建的数据，或它们的组合。

在一些实施例中，所提取的对象信息与增强现实(AR)输入数据组合以产生实时AR数据。如所公开的，AR输入数据包括虚拟现实信息或从所捕获数据处理得到的信息。在图像数据的情况下，组合过程也被称为图像整合。在一些实施例中，用户设备120包括单独的增强模块。例如，整合可逐像素进行以保证效率和准确性。

在一些实施例中，实时提取的信息可用于产生实时AR数据。在一些实施例中，实时学习的知识也可用于产生实时AR数据。例如，在其中在关于旅行目的地的友好对话期间强调词语“夏威夷”的实例中，对于“夏威夷”的强调与面部表情和肢体移动组合允许系统得出结论：用户对于去夏威夷很激动。此结论(知识)促进系统创建包括关于夏威夷的内容的实时AR数据。

在一些实施例中，用户偏好可限定用户想要的AR输入数据的特定类型。例如，人们可在进行商务会议时选择坐在虚拟的安静茶楼，但在与家庭成员或朋友交谈时选择在沙滩上休息。在一些实施例中，整合标准由系统基于所提取的现实对象(例如，用户)和AR输入数据(例如，系统选定的虚拟环境)完全自动限定。

在一些实施例中，用户可通过话音或手势输入提供实时交互式控制以在整合过程期间重新限定或修改所提取的现实对象(例如，用户)和AR输入数据(例如，虚拟环境)之间的关系。

产生实时AR数据的其他示范性方法可查阅例如申请号为15/479,269，提交于2017年4月4日，发明名称为“基于增强现实的通信中实时图像和信号处理的方法和系统(Methods and Systems for Real-Time Image and Signal Processing in AugmentedReality based Communications)”的美国专利申请；申请号为 15/479,277，提交于2017年4月4日，发明名称为“具有增强现实强化的基于场景的实时广告(Real-Time and ContextBased Advertisement with Augmented Reality Enhancement)”的美国专利申请；申请号为 15/665,295，提交于2017年7月31日，发明名称为“实时交互控制的真实感人体全息增强现实通信方法和系统(Methods and Systems for Photorealistic Human HolographicAugmented Reality Communication with Interactive Control in Real-Time)”的美国专利申请；以上每一申请在本申请文件中整体引用。

在一些实施例中，设备120包括表示模块134，其也可被称作“数据表示模块134”或“模块134”。如本申请文件中所公开的，表示模块134可使用数据参数表示一种或多种类型的数据。例如，数据参数可包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号；或它们的组合。例如，特定AR输入数据(例如，特定虚拟环境)可用数字代码表示。用户的表情可表示为一系列数字或矩阵。用户的手势可由使用特定针对用户的手势模型的手势模型参数来表示。

如本申请文件中所公开的，不同数据参数可用于表示相同信息。特定形式的数据参数可由若干因素确定，所述因素包括但不限于文化背景、语言差异、个人习惯、个体差异等。例如，来自美国的用户向远程通信设备处的另一用户的典型初次问候语可由词语“Hello”或“Hi”表示，后跟短语“nice to meet you”，以及友好挥手致意。英国用户的相同问候语可包括短语“how do you do？”和友好的点头致意。在此，表示问候语的数据参数包括口头问候语的音频信号和手或头移动的图像。

在一些实施例中，基于文化差异，差异较大的数据参数可用于表示AR数据。例如，来自美国的用户与来自日本的用户在正式商务会议上使用根据本发明的方法/系统交流。日本用户代表传统公司，因此美国用户指示系统根据日本习俗定制所述交流。或者，系统可基于提供到系统的场景和背景信息自动建立设定以促进正式会议。在此，信息：词语“Hello”或“Hi”、短语“nice to meet you”、友好挥手致意和可选的背景信息可用于导出知识层级的数据；例如系统可自动学习会议的场景和目的。随后，可基于此信息和知识产生实时AR数据。在实时AR数据中，知识和信息可由不同于与输入数据相关联的数据参数的数据参数表示。例如，系统可使用表示美国用户的虚拟形象来通过根据标准日本习俗鞠躬而创建所述用户问候日本用户的动画。在此，实时AR数据显著不同于原始数据输入：挑选完全不同形式的数据参数来表示相同信息和知识。

表示模块134可以将任何级别的数据表示成适当的格式，包括但不限于包括全部或部分增强数据、信息数据、知识数据、AR输入数据等。例如，增强数据在为数据传输而压缩之前可以被分离成多个文件。 (例如图3中的步骤316-320，图4中的步骤416-420)。在一些实施例中，表示模块134可以包括数据构造或重建功能，其可以改变特定数据的数据参数形式或类型，例如，从而适应特定类型的硬件设计(例如，3D显示到2D显示或反之亦然)或更好地向特定观众(例如，存在视觉、听觉和其他形式的生理缺陷的人)呈现数据。

在一些实施例中，设备120包括压缩模块136，其还可被称作“数据压缩模块136”或“模块136”。如本申请文件中所公开的，数据经压缩以达到最佳压缩率，同时保持数据完整性。无损和有损压缩方法两者都可用于数据压缩，例如由系统或用户指定的压缩方法。示范性无损方法包括(但不限于)Lempel-Ziv (LZ)方法、Lempel-Ziv-Welch(LZW)方法、LZX(LZ77系列压缩算法)、霍夫曼编码、基于语法的代码、概率建模、基于小波的方法等。

在有损数据压缩期间，一些数据损失是可接受的。在此，所述数据包括原始数据、信息乃至知识，这取决于其相应关联性。从数据源丢弃非必需的细节可节省存储空间。有损数据压缩方案是通过研究人们如何感知所提及的数据而设计的。例如，人眼对于亮度的细微变化比其对于颜色的变化更敏感。JPEG 图像压缩部分地通过舍弃非必需的信息位而工作。存在保持信息和缩减尺寸之间的对应折衷。若干流行的压缩格式采用这些感知差异，包括音乐文件、图像和视频中使用的格式。

在一些实施例中，数据类型在有损数据压缩期间用作参数。在有损音频压缩中，心理声学方法用于移除音频信号的听不到(或不太能听到)的部分。常常利用更加专门的技术执行人类语音的压缩；语音编码或话音编码有时区分为与音频压缩分离的规范。不同的音频和语音压缩标准在音频编码格式下列出。话音压缩在因特网电话中使用，例如，音频压缩用于CD分离(CD ripping)且由音频播放器解码。

在一些实施例中，无论数据类型，都可应用选择性压缩。例如，选择性压缩方法可组合无损和有损数据压缩方法。在此，不同压缩方法根据其相应重要性而应用于不同数据位。对于需要完全预留的数据，将应用有损压缩方法，包括例如Lempel-Ziv(LZ)方法、Lempel-Ziv-Welch(LZW)方法、LZX(LZ77 系列压缩算法)、霍夫曼编码、基于语法的代码、概率建模、基于小波的方法等。例如，当虹膜扫描用作一种验证形式时，几乎所有信息将驻留在图像的虹膜部分(眼睛的彩色部分)内。数据可被压缩以保持眼睛的完整性，同时脸乃至整个人的剩余部分可以大幅度压缩。例如，除脸以外的任何东西甚至可完全移除。组合方法允许在相关数据中保持关键特性，同时减小不相关数据的负担。

在一些实施例中，压缩模块136还可执行各种层级的数据解压缩，包括完全地或部分地增强的数据、信息数据、知识数据、AR输入数据等。

如本申请文件中所公开的，数据(例如，分析的数据或结果)可在数据获取和处理模块126、提取模块128、学习模块130、增强模块132、表示模块134、压缩模块136和此处未提到的任何其它功能模块之间共享。

在一些实施例中，可应用预定义的用户偏好和系统设定来指定或限制本申请文件中所公开的功能模块中的任一个的功能。

这些功能模块的更多细节可查阅与图3-5相关的描述。

在一些实施例中，示例性系统100还包括用户设备140。在一些实施例中，用户设备140可具有与用户设备120相同的功能模块；例如，用户输入和输出模块142、本地数据库144、原始数据获取和处理模块146、提取模块148、学习模块150、增强模块152、表示模块154、压缩模块156，以及其它功能模块。当呈现功能模块时，其可类似于用户设备120中或根据任何可适用的已知技术来实施。

在一些实施例中，用户设备140可以具有较少的功能模块，而依赖于服务器170提供一个或多个功能。如图1C所示，除了数据获取和处理模块146之外，其他功能模块，包括提取模块148、学习模块150、增强模块152、表示模块154、压缩模块156等。实际上，这些功能可以以任意组合在用户设备140和服务器170之间分配。例如，在双向或多向通信过程中，用户设备140可以将捕获的图像发送到服务器170 进行处理(例如，信息提取和知识学习)。如本申请文件所公开的，提取和学习可以在服务器上，在更深和更高级的水平上进行，因为服务器通常具有更强的计算能力，能够更好地访问不同的数据库，包括例如与大数据相关的数据库。在一些实施例中，可以在服务器170上生成实时AR数据。在一些实施例中，提取的信息和学习的知识可以被传送回用户设备140以与虚拟环境等AR输入数据集成。例如，用户可以选择提供定制的虚拟环境。或者，用户设备140可以在发生在服务器170上的随后的增强之前向服务器 170发送所选择的虚拟环境。尽管未示出，但是可以理解，任何已知的输入/输出设备或组件，例如公开的与用户设备120和用户设备140相关联的输入/输出设备或组件，都可以被服务器170使用。

如本申请文件所公开的，提取模块148、学习模块150、增强模块152、表示模块154、压缩模块156 的功能可以在用户设备140和服务器170之间进行分配。在一些实施例中，数据获取和处理模块146的一些功能也可以在服务器170上进行。

在一些实施例中，示例性系统100还包括服务器170。服务器170与一个或多个用户设备通信，并且包括服务器数据库174、原始数据处理模块176(可以执行模块126和模块146的部分功能)、提取模块178、学习模块180、增强模块182、表示模块184、压缩模块186这些功能模块和其他功能模块。

在一些实施例中，原始数据处理模块176(其可以执行模块126和模块146的部分功能)、提取模块 178、学习模块180、增强模块182、表示模块184、压缩模块186可以执行本申请文件中公开的与用户设备120或用户设备140相关的功能。在一些实施例中，与用户设备相比，由于服务器具有增强的计算能力、较大的存储空间，并且能够更好地访问数据库，这些模块可以在服务器170上能够更深刻、更完整地执行相同的功能。例如，提取、学习和增强可以并行地进行，且比用户设备允许的程度更深刻、更完整。

一方面，本申请文件公开了用于基于实时提取的信息和/或实时学习的知识执行多向基于AR的实时通信的方法和系统，尤其是数据增强。

图2示出了能够执行多向实时数据处理和通信的示例性计算机系统。示例性计算机系统能够处理本地处理的出站数据和来自另一设备的入站数据。示例性实施例200通过在计算机设备202上实现用户输入和输出(I/O)模块210、数据库212、可选原始数据获取模块220、提取模块230、学习模块232、增强模块234、表示模块240、网络通信模块250，以及附加功能模块如数据压缩模块、数据传输模块等来实现这些功能。如本申请文件所公开的，与计算机设备202相关联的功能可以与同图1C相关的内容所示功能相同或类似，包括但不限于设备120、设备140或服务器170。

在一些实施例中，本地获取的数据可以在通过网络通信模块250发送到另一个设备(例如，另一个本地设备或服务器)之前处理(例如，使用提取模块230、学习模块232、增强模块234和表示模块240)。

在一些实施例中，可以通过网络通信模块250在设备202处接收入站数据，例如来自另一用户设备或服务器的实时AR数据。入站数据可以基于用户偏好和设备202的系统设置来表示。在一些实施例中，在最终AR数据可以通过表示模块240呈现给设备202的用户之前，增强模块234、提取模块230和学习模块232可以进一步执行增强、信息/知识重构。

如图所示，计算机设备202可以是允许用户处理、分析和操作出站数据和入站数据的综合通信平台。

如本申请文件所公开的，计算机设备202可以是任何适用的计算机设备，例如用户设备或智能服务器。在一些实施例中，提取模块230、学习模块232、增强模块234和表示模块240等功能模块与同图1C 的用户设备120相关联描述的相应功能模块相似或相同。

对于用户设备，用户I/O模块210也可以与同图1C的用户设备120相关联描述的相应功能模块相似或相同。重要的是，用户I/O模块210包括显示器、扬声器、一个或多个传感器设备(例如热敏触摸板等)，以处理入站数据并将它们呈现在本地设备上。

然而，对于智能服务器来说，用户I/O模块210可以更简单，因为从用户获取原始数据和将最终数据呈现给用户仅在本地进行，不在服务器上进行。因此，与这些功能相关联的许多硬件组件不需要在服务器设备上。然而，在一些实施例中，智能服务器的用户I/O模块210也可以与用户设备的I/O模块相似或相同。可选的数据获取模块可以仅在用户设备上设置。

在一些实施例中，本申请文件公开的系统和方法提供了不同级别(例如，数据、信息和知识水平) 的基于较高级别人工智能的实时学习。

有利地，本申请文件公开的系统和方法使用实时可视数据(例如，图像或视频)作为输入数据，有时与音频数据或传感器数据相结合。在此，与亚马逊回声(Amazon Echo)或谷歌家庭(Google Home) 相比，实时可视数据自身可以提供丰富的信息，远远超过音频数据可以提供的程度。例如，可以由可视数据确定实时信息，例如肢体移动、面部表情、手势输入，或它们的组合。这些实时信息可以带来更好的实时知识学习和随后的正确动作。例如，用户可以只需要指一指灯，而不用为不同的灯起复杂的名字。这样就不会有错误发生。在一些实施例中，可以使用来自视觉、音频和传感器数据的全面实时信息来提供用户对通信的实时交互控制。例如，用户可以实时地改变通信的内容。此外，用户还可以为一个或多个处理步骤提供实时方向，例如，用户可以请求提供某种类型的信息。这样的请求可以包括，例如，计算心率、识别呼吸模式、或者虚拟地显示一种或多种类型的具有嵌入信息和知识的数据。

在一些实施例中包括其他类型的实时数据，如音频和传感器数据，以提供附加的实时信息水平的学习。例如，语音命令可以与手势数据相结合，以进一步提高清晰度。通常，不同类型的实时数据可以提供补充信息。有利地，本申请文件所公开的实时信息提取和知识学习可以以比现有技术中已知的更为全面和复杂的程度进行。

此外，在一些实施例中，根据当前系统和方法可获得的实时数据的广度或深度提供多层、互补和可熔合的实时数据，这些数据可以在信息的程度上或知识的程度上或信息和知识的程度上通过人工智能进行深度实时学习。例如，可视数据、音频数据和传感器数据可以组合运用，一起便于远程实时医疗诊断。目前用于远程医疗诊断的系统/方法很大程度上依赖于患者提供的信息。事实上，大多数都是通过电话进行的，所以收集到的数据很少。通过使用可视数据、音频数据和传感器数据，医生可以在信息层面上获得更全面、更准确的了解，这样就可以进行更好更复杂的可行性诊断。

在一些实施例中，现有信息(例如，基于根据本申请文件公开的系统和方法实时捕获的数据未获得的信息)也可用于促进实时信息学习和实时知识学习。

如本申请文件所公开的，网络通信模块250可以在多个设备之间建立通信，例如，用户设备202可以与多个用户设备通信。在一些实施例中，用户设备202可以同时与服务器和用户设备通信。可以实施任何类型的通信协议，包括有线或无线网络连接和本地通信协议，例如通过红外和/或蓝牙连接建立的本地通信协议。

示例性发送器实施例

图3示出了用于在计算机设备上执行数据处理的示例性实施例。示例性实施例300包括执行数据获取/处理、信息提取、知识学习、数据增强、数据表示、数据压缩、数据传输等的多个步骤。这里的多个步骤可以由与图1C和图2所描述的相关功能模块来执行。在此，计算机设备可以是本地设备或服务器。

步骤302，单个地或组合地捕获图像数据以及可选的音频和传感器数据。示范性数据捕获单元包括(但不限于)麦克风、相机(例如，2D、3D、IR等)，以及一个或多个传感器。如本申请文件中所公开的，传感器设备收集心跳、血压、方向、温度、运动、海拔高度、压力、接近度、加速度等数据。如本申请文件中所公开的，传感器可记录和存储用户或传感器所处的环境的测量值。

步骤304，可视数据处理单元处理相机数据以用于场景理解和对象检测、跟踪及识别。例如，可视数据包括(但不限于)使用2D、3D、4D、彩色、近红外(NIR)数据、红外IR数据、热感、多光谱和/ 或高频谱图像或其组合的面部表情、手势、身体语言跟踪和识别。此单元还可基于脸、手势、体型、手掌、虹膜、巩膜等执行身份识别。在一些实施例中，可包括文本数据作为可视数据。

步骤306，音频数据处理单元处理来自一个或多个麦克风的麦克风数据用于音频数据理解和/或音频噪声缓解。此单元还可基于话音模式执行身份识别。在一些实施例中，特定音频数据不提供有意义的信息，且可视为背景噪声。此音频数据可视为场景。

步骤308，传感器数据处理单元处理传感器数据用于环境理解、用户生物状态监视和/或人类行为理解。

在一些实施例中，每一功能数据单元单独地和个别地处理输入数据。例如，多类型数据可由两个不同的单元同时或循序处理。在一些实施例中，一个或多个功能数据单元可组合成一个功能数据单元。

步骤310，数据融合单元基于用户偏好和系统设定将音频数据、可视数据和传感器数据融合在一起。在数据融合期间，整合多个数据源以产生比由任何个别数据源提供的信息更恒定、准确和有用的信息。实例数据融合是将可视数据和音频数据融合在一起以分析用户情绪。在另一实例中，系统可进一步融合可视数据、音频数据和传感器数据(例如心率、血压等)以提供对用户情绪更精确的分析。

步骤312，基于一个或多个标准从原始数据或融合的数据提取必需的信息，所述标准包括例如用户偏好、系统设定、整合参数、原始数据的对象或场景的特性、交互式用户控制或其组合。在一些实施例中，还可使用基于大数据的标准。例如，系统可提取表示用户表情信息的用户面部肌肉移动。对于另一实例，系统可使用话音幅值改变和音调改变提取用户语音加强。可选地，在此步骤，所提取的信息(实时学习或现有)可用于根据一个或多个标准基于实时数据、AR输入数据和额外数据创建增强现实数据，所述标准包括用户偏好、系统设定、来自实时数据的对象或场景的特性或其组合。

同样在步骤312中，可进一步分析先前所获得的信息以确定知识。如所描述的，从所提取信息的知识学习可基于一个或多个标准，包括例如用户偏好、系统设定、整合参数、原始数据的对象或场景的特性、交互式用户控制或其组合。在一些实施例中，还可使用基于大数据的标准。

步骤314，知识与先前信息组合将用于增强实时数据(经处理或原始)、AR输入数据(314-1)和额外数据以根据一个或多个标准创建实时AR数据，所述标准包括例如用户偏好、系统设定、整合参数、原始数据的对象或场景的特性、交互式用户控制或其组合。在一些实施例中，还可使用基于大数据的标准。在一些实施例中，仅将知识用于增强。在一些实施例中，仅将信息用于增强。

如本申请文件中所公开的，任何合适的数据可用作AR输入数据(314-1)。例如，其可为实时数据或预创建的数据。AR输入数据(314-1)可以是现实的或包括虚拟要素。

在一些实施例中，在数据增强之前，可排除或添加一些数据。例如，可排除关于用户隐私的数据。可排除特定数据以获得较好压缩结果。或者，可添加额外数据以创建特定效应(例如，表现为冷酷、有趣、神秘、友好、严肃等)。还可添加数据以促进较好的对话参与。如本申请文件中所公开的，可基于用户偏好、系统设定、对象/场景的特性、信息、知识和/或交互式用户控制等任何原因排除或添加数据。例如，基于知识/信息的增强单元将从相机数据排除背景场景，且出于隐私保护原因使用用户选定的背景场景替代真实背景信息。在另一实例中，增强单元可移除用户的脸和身体，同时使用预先选择的虚拟形象来表示用户，但为了娱乐而将用户的面部肌肉移动、眼睛移动、手势、肢体移动等复制到虚拟形象中。在再一实例中，信息增强单元可移除用户的真实话音信息，但保持用户的语音音调和幅值改变连同语音内容以实现较好的对话参与。在又一实例中，基于知识/信息的增强单元将执行用户的脸/身体/话音/背景场景等的实时变形。

除以上实例外，增强单元的一个重要功能是：其可以以一种形式提取实时信息，且将所述实时信息变换为另一类型的信息以用于显示器、音频和/或传感器控制。例如，一个单元可提取用户的心跳改变且使用所述心跳改变作为另一单元中的一些传感器的控制信号，或将所述心跳改变显示为虚拟世界中人的身高。

步骤316，数据表示单元使用数据以呈现来自步骤314的实时AR数据。作为一实例，用户的表情可表示为表示表情模型参数的一系列数字/矩阵。在另一实例中，如果用户选择增强场景背景，那么背景场景可以是系统中的场景数字。在再一实例中，用户的手势可由使用用户的手势模型的参数表示。在又一实例中，用户身份可在系统识别之后通过使用ID号表示。在一些实施例中，经增强数据可分离成多个文件以为后续动作(例如数据压缩和传输)做准备。例如，实时AR数据的视频/音频部分可呈现为具有视频和音频信号两者的MPEG文件。或者，实时AR数据的视频/音频部分可在单独的视频和音频文件中表示。类似地，传感器相关数据可在单独文件中表示。

步骤318，数据压缩单元压缩所述数据以实现最佳压缩率，同时保持数据完整性。无损或有损压缩方法两者可用于基于设计需要进行数据压缩，例如Lempel-Ziv(LZ)方法、Lempel-Ziv-Welch(LZW) 方法、LZX(LZ77系列压缩算法)、霍夫曼编码、基于语法的代码、概率建模、基于小波的方法等。在有损数据压缩期间，数据的一些损失是可接受的。在此，数据包括原始数据、信息乃至知识，这取决于其相应关联性。从数据源丢弃非必需的细节可节省存储空间。在一些实施例中，可通过组合无损和有损数据压缩方法来使用选择性压缩方法。在此，不同压缩方法根据其相应重要性而应用于不同数据位。对于需要完全预留的数据，将应用有损压缩方法，包括例如Lempel-Ziv(LZ)方法、Lempel-Ziv-Welch(LZW) 方法、LZX(LZ77系列压缩算法)、霍夫曼编码、基于语法的代码、概率建模、基于小波的方法等。例如，当虹膜扫描用作一种验证形式时，几乎所有信息将驻留在用户的眼睛图像内。数据可被压缩以保持眼睛的完整性，同时脸乃至人的剩余部分可很大程度上压缩。例如，除脸以外的任何东西甚至可完全移除。组合方法允许在相关数据中保持关键特性，同时减小不相关数据的负担。在步骤320，经压缩的数据可使用适当通信协议(例如使用数据传输单元)传递到适当接收器设备和云端。在一些实施例中，数据还可经加密以确保安全变换。

如本申请文件中所公开的，每一个步骤本身可为包括许多轮次的分析或处理的迭代过程。由此，许多步骤可在实时同时并行过程中实行。例如，可视、音频和传感器数据的处理(例如，步骤304、306和 308)可同时发生。并且，例如，一旦在312-1处提取一些信息，就可开始在312-2处的知识学习，同时连续接收正同时提取的额外信息。

在一些实施例中，数据处理的所有方面可在一个设备中经由安全处理器和安全通道发生，其中受保护的存储设备包括加密以确保数据安全。在一些实施例中，数据处理的一部分可经由安全处理器、安全通道而发生，其中安全的存储设备包括加密以确保安全性，同时处理的其它部分可经由具有普通安全级的处理器、通道和存储设备发生。在一些实施例中，数据处理的所有方面可经由具有普通安全级的处理器、通道和存储设备而发生。如本申请文件中所公开的，数据处理包括原始数据、信息、知识及其它的处理。

示例性服务器实施例

图4描绘用于在计算机设备上执行数据处理的示范性实施例。示范性实施例400包括用于执行数据处理、信息提取、知识学习、数据增强、数据表示、数据压缩、数据传输等的多个步骤。此处的许多步骤可由与图1C和图2描述的相关功能模块实行。在此，计算机设备还可为本地设备或服务器，优选地为服务器。

步骤402，计算机设备(例如，服务器)从另一设备(例如，用户设备)接收数据。如本申请文件中所公开的，所接收的数据包括原始数据、经部分处理的数据、经完全处理的数据(包括经增强的数据) 或其组合。示范性实施例400说明其中计算机设备处接收的数据已经在不同设备上增强的情境。在一些实施例中，所接收数据被解压(例如，先前经增强的数据)为适于在服务器上处理的合适格式。如果数据经加密用于安全传递，那么在此单元中数据将被解密。解压缩可由压缩模块(例如图1C的元件136、 156、186)执行。

步骤404，所接收的数据保存在计算机设备(例如，服务器)上的数据库中。大数据信息也保存在服务器数据上，其可用于促进深入信息提取和深度知识学习。

步骤406，可解封所接收数据中的现有信息/知识。例如，表情模型参数可变换成表情信息。在另一实例中，背景数字还可变换为选定的背景场景，例如由发送数据的设备的用户先前选择的背景场景。在一些实施例中，手势模型参数可变换成手和手臂位置及形状，且反之亦然。如所公开的，此步骤的功能可由表示模块(例如，图1C和图2的元件134、154、184、240)执行。

步骤408，与来自先前步骤的音频、视频、传感器数据相关联的解封的现有信息/知识可用一个或多个数据参数重建，所述数据参数常常涉及一种或多种类型的变换。例如，用户面部表情信息、手势信息和肢体移动信息可连同用户的音频信息和用户的传感器信息一起重建。在一些实施例中，数据重构可以包括在集中智能理解中，例如步骤412。

步骤410，可访问大数据资料用于后续处理。在一些实施例中，可实时检索大数据资料。在一些实施例中，大数据资料可保存在计算机设备上的数据库中。在一些实施例中，来自步骤402和404的所接收数据也可保存在数据库中。在一些实施例中，所接收数据和大数据资料可以在后续处理中使用；例如用于深入信息提取和知识学习。

步骤412，基于所构造的信息/知识、所接收数据和大数据的集中智能理解可根据一个或多个用户偏好和/或系统设定实行。在此，可通过利用大数据的可用性和例如服务器等设备的高计算能力实现较完整和深入的智能理解。在此，可在步骤412-1基于现有信息从先前经增强的数据中提取新信息。类似地，在步骤412-2，可基于与先前经增强的数据相关联的现有知识学习新知识。例如，对于智能通信应用，智能信息消化单元(例如，被实施为图1C的元件128、130、148、150、178、180或图2的元件230、232) 可确定用户意图、用户的情绪状态(开心、悲伤、疼痛、正常等)，或用户的行为状态(正常、异常等)。在另一实例中，对于远程医疗诊断应用，智能信息消化单元可基于当前信息和过去信息以及健康和患病群体的其它健康状况信息进行用户健康状况的深入分析。在又一实例中，对于国际商业通信应用，所述单元可提供智能信息以缓解文化差异：例如，如果日本用户在交流期间避免眼神接触，那么所述单元可向非日本用户告知在日本文化中避免眼神接触是尊重的表现。同时，所述系统可向日本用户告知在交流期间进行眼神接触是美国文化。在再一实例中，如果在商业会议期间已经使用了在参与交流的另一用户的特定文化环境下可能被感知为具有侵犯性的不当语言，那么系统自动警告用户。作为一种补救或缓解形式，系统可允许用户或另一用户(例如，对于交流具有优先控制权的监管员)停止传输具有侵犯性的内容。

在一些实施例中，智能信息消化单元还可执行自动语言翻译和行为翻译。例如，其可自动将英文翻译为中文，且反之亦然。其还可将美国用户的“hi”自动翻译为日本用户的例如“鞠躬”等行为，同时将日本用户的鞠躬翻译为“hi”或其它形式的问候语。在多方群组交流中，相同语言或行为可基于交流的其它参与者的文化背景而翻译为不同形式。

步骤414，基于知识/信息的增强单元(例如，被实施为图1C的元件132、152、182或图2的元件 234)可通过应用从步骤412学习的信息和知识增强所接收的数据和额外的AR输入数据(例如，414-1)。在此，还可通过利用大数据的可用性和例如服务器等设备的高计算能力执行数据的增强。在一些实施例中，步骤414应用机器学习和模式识别方法来执行智能数据增强。例如，在先前步骤中将美国用户的“Hi”变换为“鞠躬”之后，增强单元将例如使用表示美国用户的虚拟形象增强手势、肢体移动和用户的表情以执行“鞠躬”。例如，在增强期间，可构建用户的3D模型并在问候语中使用用户鞠躬的3D场景。

步骤416，数据表示单元将经增强的信息数据翻译为表示不同类型的数据(例如，文本、数字、矩阵、图像、信号等)的数据参数。如本申请文件中所公开的，数据表示单元可被实施为例如图1C的元件 134、154、184或图2的元件240。

步骤418，数据压缩单元对经变换的数据进行压缩以实现最佳压缩率，同时保持数据完整性等。如本申请文件中所公开的，数据压缩单元可被实施为图1C的元件136、156、186。

步骤420，数据传输单元使用合适的通信协议将经压缩的数据传递到一个或多个合适的接收器单元。在一些实施例中，经压缩的数据可传递回到发送器设备。数据传递单元还可对数据进行加密用于安全传输需要。尽管先前未说明，人们可以理解，数据传输单元可利用例如图2的网络通信模块250的功能实施于用户设备或服务器的任一个上。

如本申请文件中所公开的，每一个步骤可本身为包括许多轮次的分析或处理的迭代过程。由此，许多步骤可在实时同时并行过程中实行。例如，保存数据(例如，步骤404)、访问大数据(例如，步骤410) 和解封所接收的数据(例如，步骤406)可同时发生。并且，例如，一旦在412-1处提取一些信息，就可开始412-2处的知识学习，同时连续接收正同时提取的额外信息。

在一些实施例中，数据处理的所有方面可在一个设备中经由安全处理器和安全通道发生，其中受保护的存储设备包括加密以确保数据安全。在一些实施例中，数据处理的一部分可经由安全处理器、安全通道而发生，其中安全的存储设备包括加密以确保安全性，同时处理的其它部分可经由具有普通安全级的处理器、通道和存储设备发生。在一些实施例中，数据处理的所有方面可经由具有普通安全级的处理器、通道和存储设备而发生。如本申请文件中所公开，数据处理包括对原始数据、信息、知识及其它的处理。

示例性接收器实施例

图5描绘用于在计算机设备上执行数据处理的示范性实施例。示范性实施例500包括用于执行数据处理、信息提取、知识学习、数据增强、数据表示、数据压缩、数据传输等的多个步骤。此处的多个步骤可由与图1C和图2描述的相关功能模块实行。在此，计算机设备还可为本地设备或服务器，优选地为服务器。

步骤504，在计算机设备处从另一设备(例如，用户设备或智能服务器)接收数据。在一些实施例中，所接收的数据可基于接收器设备的确认而解压为一个或多个合适的格式。如果数据经加密用于安全传递，那么数据可在此步骤解密。

步骤506，所接收的数据(例如，经解压/解密的数据)可基于一个或多个用户偏好和系统设定翻译为合适的信息。例如，如果计算机设备并不具有3D显示能力，那么在此步骤3D信息可恰当地变换成2D 可显示信息。在另一实例中，计算机设备的功能可能有限，使得大量处理、分析和操作在另一设备(例如服务器)上发生。当用户更喜欢具有轻微能力的本地设备时，这是合适的。此步骤执行的功能使系统能够适应用户正使用的特定硬件单元。在一些实施例中，此处的计算机设备可为接收器设备，从而形成与发送器设备(例如，图3)和服务器设备(例如，图3和图4)的完全通信循环。

步骤508，可基于接收者的偏好、接收器设备的设定、接收侧上对象/场景的特性、接收者的交互式控制来进一步增强数据。例如，在远程医疗通信会话中，发送者是医生，且接收者是儿童。儿童将其健康水平表达和理解为其心仪的玩具熊的愉悦程度。玩具熊越高兴，他就越健康。系统可将医生评估的健康水平增强为他手上的玩具熊的愉悦程度。例如，屏幕可展示健康例行检查之后的开心的熊，且当儿童遭受例如发热、疼痛、咳嗽等不适状况时为熊提供舒缓的话音以提供安抚。

步骤510，所述方法可决定可用以呈现经增强信息的格式和设备。例如，此系统可决定使用显示器呈现所有图像相关信息，且使用扬声器为盲人呈现所有音频相关信息。对于另一实例，系统可为失聪者将所有音频信号重建为视觉信号。在一些实施例中，此处的功能还可由表示模块执行。在一些实施例中，重建功能可在先前增强步骤实施。

步骤512，经重建的信息和知识可翻译为具有合适格式的合适数据。

步骤514，可视数据可变换成恰当格式且递送到例如监视器或屏幕以供显示。步骤516，音频数据可变换成恰当音频格式且递送到例如扬声器。

步骤518，传感器数据可变换成合适的控制信号且传送到对应传感器。例如，可传送振动信号且所述振动信号导致与计算机设备相关联的一个或多个马达振动。对于另一实例，所述单元传递运动控制信号可被传送且致使与计算机设备相关联的一个或多个设备移动。

如本申请文件中所公开，每一个步骤可本身为包括许多轮次的分析或处理的迭代过程。由此，许多步骤可在实时同时并行过程中实行。例如，步骤514到518的数据解封和传送可同时发生。实际上，在一些实施例中，数据的传送必须在时序上协调以创建特定所期望的效果。例如，人说出Hi的视觉和音频数据应与传送握手感觉同时发生。并且，例如，一旦在步骤508已经增强一些数据，就可开始步骤510 和512的数据重建和/或数据表示，同时连续接收来自步骤508的额外数据。

在一些实施例中，数据处理的所有方面可在一个设备中经由安全处理器和安全通道发生，其中受保护的存储设备包括加密以确保数据安全。在一些实施例中，数据处理的一部分可经由安全处理器、安全通道而发生，其中安全的存储设备包括加密以确保安全性，同时处理的其它部分可经由具有普通安全级的处理器、通道和存储设备发生。在一些实施例中，数据处理的所有方面可经由具有普通安全级的处理器、通道和存储设备而发生。如本申请文件中所公开，数据处理包括对原始数据、信息、知识等的处理。

系统架构实例

图6是用于实施图1-5的特征和过程的实例系统架构的示意图。

一方面，一些实施例可采用计算机系统(例如计算机系统600)来执行根据本发明的各种实施例的方法。计算机系统600的示范性实施例包括总线602、一个或多个处理器612、一个或多个存储设备614、至少一输入设备616、至少一输出设备618、通信子系统620、工作存储器630。工作存储器630包括操作系统632、设备驱动程序、可执行库和/或其它代码，例如一个或多个应用程序634。

根据一组实施例，此类方法的程序中的一些或全部由计算机系统600响应于处理器612执行工作存储器630中所含有的一个或多个指令的一个或多个序列(其可能并入到操作系统632和/或例如应用程序 634等其它代码中)而执行。此类指令可从例如存储设备614中的一个或多个等另一计算机可读媒体读取到工作存储器630中。仅作为例子，工作存储器630中所含有的指令序列的执行可能致使处理器612执行本申请文件所描述的方法的一个或多个程序。另外或替代地，可通过专门的硬件执行本申请文件中所描述的方法的部分。仅作为例子，相对于上文所论述的方法(例如方法200、方法240、方法280、图3-5 中说明的方法)描述的一个或多个程序的一部分可能由处理器612实施。在一些例子中，处理器612可以是用户设备120的实时学习模块130的实例。在一些实例中，应用程序634可以是执行图1 B中描绘的迭代实时学习方法的应用的实例。

在一些实施例中，计算机系统600可进一步包括一个或多个非暂时性存储设备614(和/或与之通信)，所述非暂时性存储设备可包括(不限于)本地和/或网络可访问存储设备；且/或可包括(不限于)磁盘驱动器、驱动阵列、光学存储设备、固态存储设备，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可为可编程、可快闪更新的等等。此类存储设备可经配置以实施任何适当数据存储，包括但不限于各种文件系统、数据库结构和/或类似物。在一些实施例中，存储设备614可以是用户设备120的本地存储器124、用户设备140的本地数据库144、或服务器170的服务器数据库174的实例。

在一些实施例中，计算机系统600可进一步包括一个或多个输入设备616，其可包括(不限于)允许计算机设备(例如，用户设备120或140)从用户、从另一计算机设备、从计算机设备的环境，或从可通信地与计算机设备连接的功能部件接收信息的任何输入设备。输入设备的实例包括(但不限于)相机、麦克风或传感器。示范性相机设备包括(但不限于)具有网络功能的相机、深度相机、一组相机、2D、 3D或4D相机、彩色相机、灰度阶相机、普通的RGB相机、红外(IR)相机、近红外(NIR)相机、热相机、多光谱相机、高光谱相机、360度相机等。麦克风可以是能够检测和捕获音频信号的任何设备。传感器可以是可检测其环境中的事件或改变且将信号发送到另一设备(例如，计算机处理器)的任何部件、模块或子系统。示范性信号包括(但不限于)与心跳、血压、方向、温度、运动、海拔高度、压力、接近度、加速度等相关联的信号。

在一些实施例中，计算机系统600可进一步包括一个或多个输入输出设备618，其可包括(不限于) 可从计算机设备(例如，设备120或140)接收信息且将此信息传送到用户、另一计算机设备、计算机设备的环境或可通信地与计算机设备连接的功能部件的任何输出设备。输入设备的实例包括(但不限于) 显示器、扬声器、打印机、灯、传感器设备等。传感器设备可以可产生用户的感觉感知的形式接收和展现数据。此类形式包括(但不限于)热、光、触摸、压力、运动等。

可以理解，例如结合用户设备120、用户设备140或服务器170公开的任何可适用的输入/输出设备或部件可应用于输入设备616和输出设备618。

在一些实施例中，计算机系统600可能还包括通信子系统620，其可包括(不限于)调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组(例如Bluetooth.TM.设备、802.11设备、 WiFi设备、WiMax设备、蜂窝式通信机构等)等等。通信子系统620可包括一个或多个输入和/或输出通信接口以准许与网络、其它计算机系统和/或任何其它电气设备/外围设备交换数据。在许多实施例中，计算机系统600将进一步包括工作存储器630，其可包括RAM或ROM设备，如上文所描述。

在一些实施例中，计算机系统600还可包括展示为当前定位于工作存储器630内的软件元件，包括操作系统632、设备驱动程序、可执行库和/或其它代码，例如一个或多个应用程序634，其可包括由各种实施例提供的计算机程序，和/或可经设计以实施其它实施例提供的方法和/或配置其它实施例提供的系统，如本申请文件所描述。仅作为例子，与上文所论述的方法(例如相对于图2-5所描述的方法)相关描述的一个或多个程序的一部分可被实施为可由计算机(和/或计算机内的处理单元)执行的代码和/或指令；在一方面中，随后，此类代码和/或指令可用于配置。在一些实施例中，通用计算机(或其它设备)可适于执行根据所描述方法的一个或多个操作。在一些例子中，工作存储器630可以是设备120或140的存储器的实例。

这些指令和/或代码的集合可能存储在例如上文描述的存储设备614等非暂时性计算机可读存储媒体上。在一些情况下，存储媒体可能并入到例如计算机系统600等计算机系统内。在其它实施例中，存储媒体可能与计算机系统(例如，可装卸式媒体，例如光盘)分开，及/或提供于安装包中，使得存储媒体可用于编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可能呈现可由计算机系统600 执行的可执行代码的形式和/或可能呈现为源代码和/或可安装代码的形式，所述源代码和/或可安装代码在编译和/或安装于计算机系统600上之后(例如，使用多种通常可用的编译程序、安装程序、压缩/解压缩工具等中的任一个)即刻呈现为可执行代码的形式。在一些例子中，存储设备630可以是设备120或140 的存储器的实例。

所属领域的技术人员将显而易见可根据特定要求作出大量变化。例如，还可能使用定制硬件，且/ 或可将特定元件实施于硬件、软件(包括便携式软件，例如小程序等)或两者中。另外，可利用到其它计算设备(例如网络输入/输出设备)的连接。

如本申请文件中所使用的，术语“机器可读媒体”和“计算机可读媒体”指代参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统600实施的实施例中，各种计算机可读媒体可能参与将指令/代码提供到处理器612以用于执行，及/或可能用于存储和/或携载此类指令/代码。在许多实施方案中，计算机可读媒体是物理和/或有形存储媒体。此媒体可呈非易失性媒体或易失性媒体的形式。非易失性媒体包括例如光盘和/或磁盘，例如存储设备614。易失性媒体包括(但不限于)例如工作存储器 630等动态存储器。

常见形式的物理及/或有形计算机可读媒体包括(例如)软盘、柔性磁盘、硬盘、磁带，快闪盘、快闪驱动器或任何其它磁性媒体、CD-ROM、任何其它光学媒体、具有孔图案的任何其它物理媒体、RAM、 PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带，或计算机可从其读取指令及/或代码的任何其它媒体。

在将一个或多个指令的一个或多个序列加载到处理器612以用于执行时可涉及各种形式的计算机可读媒体。仅作为例子，起初可将指令加载于远程计算机的磁盘和/或光学光盘上。远程计算机可能将指令加载到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机系统600接收和/或执行。

通信子系统620(和/或其部件)通常接收信号，且总线602随后可能将信号(和/或所述信号携带的数据、指令等)加载到工作存储器630，处理器612从工作存储器630检索和执行所述指令。由工作存储器630接收的指令可任选地在由处理器612执行之前或之后存储在非暂时性存储设备614上。

示例性应用实施例

提供本发明的方法/系统的可能应用的实例。如本申请文件中所公开，除非另外指定，所有方法步骤和过程实时发生。

视频会议

本发明的方法和系统可用于利用增强现实进行视频会议。以下是可使用当前方法/系统实现的特征的实例。

在一些实施例中，用户可选择由方法/系统提供的标准背景或指定个人准备的背景。例如，用户可选择用例如静止图像(例如，使用专业办公室的图像替代由相机捕获的真实杂乱旅馆卧室视图)、视频(例如，使用预先录制的视频作为背景以替代实际背景)，或来自另一相机的实时视频(例如，使用时代广场的监视相机视图替代当前用户背景)等虚拟背景替代真实背景。

在一些实施例中，用户可选择在视频会议期间增强其自身的外貌。例如，用户可使其自身看起来更瘦/更胖、更矮/更高，改变其肤色(例如，以描绘更多棕黄色或移除皮肤的明显瑕疵，例如深色可见疣或胎记)、添加配饰(例如，添加耳环、帽子、项链、眼镜、纹身、虚拟化妆等)。

在一些实施例中，用户可各自选择虚拟形象来表示其自身，且使所述虚拟形象复制其表情、肢体移动和/或手势。

在一些实施例中，用户可增强其话音以使其听起来更好、作为娱乐或隐藏其身份。

在一些实施例中，用户可在其彼此远程通信时使其出现在与远程方相同的虚拟空间中。

在一些实施例中，所述系统/方法还可经由基于智能增强现实(IAR)的通信系统允许相同物理空间处的用户远程地出现。

在一些实施例中，用户可选择跟随不是她的实际环境的一部分的另一人或对象出现。其它人或对象不是通信的一部分，且可为相机上先前或同时捕获的现实人或对象。例如，某人可选择跟随她心仪的流行歌手偶像的视频出现。所述视频可以是现场音乐会的预先录制镜头或同时广播的视频。

在一些实施例中，方法/系统可执行通信内容的实时监视，且可在检测到一些文化/社交不当内容(例如手势、词汇等)的情况下向用户提供警告，且让用户决定是否撤回通信内容。同时，系统将暂停信号发送到远程用户以中止通信。

在一些实施例中，本申请文件中所公开的方法/系统可提供仅单方通信，以供用户自己娱乐或用于广告应用。在通信的另一侧不存在远程方。

在一些实施例中，所述方法/系统可提供自动语言翻译来帮助不同语言的用户彼此通信。

在一些实施例中，所述方法/系统可提供实时分析，且在通信期间提供用户表情、意图和文化暗示的智能。

在一些实施例中，所述方法/系统可提供实时智能和需要特定领域的专门知识来理解的一些特殊术语的阐释。此外，所述系统还可向用户提供实时智能、阐释和特定文化背景的背景以使通信更有效。

实时交互式控制

在一些实施例中，当前方法/系统可用于在通信期间向用户提供营销和电子商务信息。

例如，用户可在通信期间点击视频屏幕的着装/配饰/背景对象，且系统向用户提供关于类似产品或相关产品的价格信息和实时商品推荐信息。

在一些实施例中，所述方法/系统可用于向用户提供旅行、尝试新产品、培训技能、体验新事物、展示新不动产(办公室、家、建筑物、购物中心等)、探究新设备设计、参观新机构和上课等的虚拟现实体验。

在一些实施例中，所述方法/系统可用于供用户利用增强现实表达情绪和喜爱。例如，用户可利用经增强的传感器控制以心率数据、呼吸模式和体温改变向其他人发送其喜爱。例如，其可使用心率增加来控制通信的另一侧的灯颜色改变。其可使用呼吸模式改变来致使与远程通信单元相关联的一个或多个马达振动。温度改变可用于控制通信系统的另一侧的声音改变。

远程医疗服务

一方面，本申请文件中所公开的方法和系统可用于实时远程医疗服务。

在一些实施例中，患者可使用所述系统依据其家居舒适度向医疗服务提供者提供生物状态，同时隐藏背景以保护更多隐私。在一些实施例中，医疗服务提供者(例如，医生或护士)还可利用增强现实居家工作以隐藏背景来保护更多隐私且保持专业形象。

在一些实施例中，所述方法/系统可提供患者的当前生物状态数据连同患者的过去健康状况信息的较好视觉化和数据呈现。所述系统可提供患者的当前生物状态和过去健康状况信息的智能摘录以为服务提供者提供用户健康状况的更个人化和整体了解来帮助服务提供者提供更好的定制医疗服务。

在一些实施例中，所述方法/系统还可使用患者的生物状态信息(例如心率、呼吸模式、体温等) 来控制一些远程传感器(例如警报、灯光、振动、音频、视频等)以警告远程医疗服务提供者与用户相关联的任何异常健康状况。

在一些实施例中，所述方法/系统还可将医生的命令、手势、肢体移动翻译为针对患者侧的一个或多个传感器控制，以帮助控制传感器(例如心率监视器、体温监视和/或一些医疗设备控制)。

在一些实施例中，系统还可为患者提供医疗术语的实时翻译以帮助患者具有较好的理解。

远程教育和培训

一方面，本申请文件中所公开的方法和系统可用于提供远程教育和培训。

教育提供者(例如，教授、老师、讲师、助教等)可使用系统将经增强的教育内容传送给用户。例如，在教授人类解剖学中，系统可使人类解剖学与学生的真实身体在场景中叠加来帮助学生将解剖学信息与其自身身体相关。学生可能变得更感兴趣，更有动力对所述主题进行研究。此还可帮助教育提供者更生动地阐释内容且使学生更容易理解。

在一些实施例中，所述方法/系统还可用于帮助学生远程地协作完成项目且参与课堂讨论，但他们可看上去在相同虚拟教室工作以促进较好的合作和学习体验。

在一些实施例中，所述方法/系统可通过提供沉浸式AR环境帮助学生更容易地探究太空未知领域。

在一些实施例中，所述方法/系统还可帮助较好地用智能AR数据培训学生、专业人士、军队以提供沉浸式和交互式培训环境。

与物联网(IoTs)通信

本申请文件中所公开的方法和系统可用于智能家居、智能办公室、智能建筑物、智能车辆、智能太空站等。

在一些实施例中，所述方法/系统可将用户数据(例如，表情、行为、肢体移动、手势和生物状态) 表示为其它形式，例如传感器控制信号。这些控制信号可由IoTs(物联网)接收用于对于智能家居、智能办公室、智能建筑物和智能车辆的实时控制。

例如，用户的生物状态可再呈现和智能地分析以理解用户的环境需求，且这些需求随后翻译为经增强的信息来控制用户的家居、办公室、建筑物、太空站等的条件(例如，房间温度、照明条件、湿度等)。

在另一实例中，系统可基于用户的手势、肢体移动和/或命令远程地控制智能车辆。

在一些实施例中，所述方法/系统可用于供用户试穿衣服、试戴配饰。系统的AR功能让用户在购买之前能够虚拟地试穿衣服和配饰。

在一些实施例中，所述方法/系统可用于供用户锻炼体育运动。系统的AR能力让用户锻炼体育运动，且为用户记录其运动来研究/分析和学习。所述系统的智能还可为用户提供指导使之更好地进行体育运动。

在一些实施例中，所述方法/系统可用作用户玩游戏的游戏顾问。

在一些实施例中，所述方法/系统可用于供用户使用其命令、肢体移动、手势、生物状态等来控制远程机器、航天飞机、太空控制器、轮船、水下机器、无人驾驶车辆、无人驾驶航空运载工具并向其发送控制信号等。通信单元的远程侧可与本地/远程机器、航天飞机、太空控制器、轮船、水下机器、无人驾驶车辆、无人驾驶航空运载工具连接并向其发送控制信号。所述方法/系统可将用户的命令、肢体移动、手势、生物状态等表示和增强为控制信号。

附加通信实例

本申请文件中所公开的方法和系统可用于与动物、植物和外星生物交互式地和智能地通信。例如，所述方法/系统可使用机器学习和模式识别方法使用大数据、科学原理学习动物、植物和可能外星生物的语言、行为和表情；所述方法可以为例如深度学习、主分量分析(PCA)、线性判别分析(LDA)等。

在一些实施例中，所述方法/系统还可学习人类语言、行为和表情与动物、植物和可能外星生物的语言、行为和表情之间的关系。

在通信期间，所述方法/系统可将人类语言、行为和表情翻译为动物、植物和可能外星生物的语言、行为和表情，且反之亦然。

在一些实施例中，所述方法/系统可由一组人类、动物、植物和可能外星生物使用以利用基于AR和智能的分析与另一组(或多组)人类/动物/植物/外星生物通信。

上文描述的各种方法和技术提供实行本发明的若干方式。当然，应理解，根据本申请文件中所描述的任何特定实施例，不一定能实现所描述的所有目标或优点。因此，例如，所属领域的技术人员将认识到，所述方法可按实现或优化如本申请文件中教导的一个优点或一组优点的方式执行，而不一定实现如本申请文件中可能教导或暗示的其它目标或优点。本申请文件提及多种有利的和不利的替代形式。应理解，一些优选实施例特定地包括一个、另一个或若干有利的特征，而其它优选实施例特定地排除一个、另一个或若干不利特征，而另外其它优选实施例特定地通过包括一个、另一个或若干有利特征来缓解当前不利特征。

此外，技术人员将认识到来自不同实施例的各种特征的适用性。类似地，上文所论述的各种元件、特征和步骤以及每一此类元件、特征或步骤的其它已知等效成分可由所属领域的一般技术人员混合和匹配以执行根据本申请文件中所描述的原理的方法。在各种元件、特征和步骤当中，在多种多样的实施例中将特定地包括一些元件、特征和步骤且特定地排除其它元件、特征和步骤。

尽管已在某些实施例和实例的场景中公开本发明，但所属领域的技术人员可以理解，本发明的实施例扩展超出特定公开的实施例到其它替代实施例和/或用途及修改和其等效成分。

本发明的实施例中已经公开许多变化和替代要素。更多的变化和替代要素对所属领域的技术人员来说仍将是显而易见的。

本申请文件所公开的本发明的替代要素或实施例的分组不应解释为限制。每个群组成员可以个别地或与所述群组的其它成员或本申请文件中所见的其它要素以任何组合形式提及和要求。群组的一个或多个成员可出于便利性和/或专利性原因包括在群组中或从群组删除。当任何这类包括或删除发生时，本说明书在本申请文件中被认为含有所修改的群组，因此满足所附权利要求书中所用的所有马库什组的 (Markush groups)的书面描述。

最后，应理解，本申请文件所公开的本发明实施例说明本发明的原理。可以采用的其它修改在本发明的范围内。因此，作为实例而非限制，可以根据本申请文件的教导来利用本发明的替代性配置。因此，本发明的实施例不限于所精确展示和描述的实施例。

Claims (27)

1.一种用于提供实时增强现实（AR）数据的方法，所述方法包括：

在计算机设备上实时地接收可视数据流；

基于一个或多个标准，通过集成所述接收的可视数据流、AR输入数据、信息输入和知识输入生成所述实时AR数据，所述一个或多个标准包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合；其中，

所述信息输入包括所述可视数据流的实时提取部分，所述可视数据流的所述实时提取部分在接收所述可视数据流时基于所述包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在多个时间点实时地提取；

基于从所述多个时间点的可视数据提取的所述信息和从所述可视数据的所述实时提取部分学习得到的用户行为来累积地学习所述知识输入；

所述实时AR数据包括与所述信息输入相对应的信息数据，所述接收的可视数据和与所述知识输入相对应的知识数据；以及

用多组数据参数表示所述实时AR数据的所述信息数据或所述知识数据的至少一部分，包括用基于所述信息数据或知识数据的AR数据替换背景图片数据，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

2.如权利要求1所述的方法，还包括：从所述可视数据流或其变体中移除不需要的数据，所述不需要的数据包括不需要的环境场景数据、基于包括用户偏好、系统设置、可视数据流的对象或场景的特性的一个或多个标准被确定为不相关的数据、从中提取了信息的被选数据、从中学习了知识的被选信息，或者它们的组合。

3.如权利要求1所述的方法，其中表示所述信息数据或所述知识数据的至少一部分的所述至少一组数据参数与对应于所述信息输入或所述知识输入的所述可视数据流中的所述数据参数属于不同类型。

4.如权利要求1所述的方法，其中用于提取所述信息输入的所述一个或多个标准还包括基于大数据的至少一个标准。

5.如权利要求1所述的方法，其中基于所述信息学习所述知识输入，所述信息基于包括用户偏好、系统设置、可视数据流的对象或场景的特性、集成参数、交互式用户控制、基于大数据的至少一个标准，或它们的组合的一个或多个标准在所述多个时间点提取。

6.如权利要求1所述的方法，还包括：

选择性地对所述实时AR数据的至少一部分进行压缩。

7.如权利要求1所述的方法，其中在所述计算机设备上从另一计算机设备接收所述可视数据流。

8.如权利要求7所述的方法，其中，所述接收步骤还包括：

在所述计算机设备上实时地接收来自所述另一计算机设备的现有AR数据，所述现有AR数据包括现有的信息数据和现有的知识数据。

9.如权利要求8所述的方法，其中所述现有的信息数据和现有的知识数据用于集成所述可视数据流，以呈现所述可视数据流的重构变体。

10.如权利要求9所述的方法，还包括：

基于包括用户偏好、系统设置、基于大数据的至少一个标准、所述现有的信息数据，或它们的组合的一个或多个标准，在所述多个时间点基于所述可视数据流的重构变体提取所述信息输入。

11.一种用于提供实时增强现实（AR）数据的系统，所述系统包括：

一个或多个处理器；和

非暂时性计算机可读介质，包括一个或多个指令序列，当所述一个或多个指令序列由所述一个或多个处理器执行时，使得所述一个或多个处理器执行操作，包括：

在计算机设备上实时地接收可视数据流；

基于一个或多个标准，通过集成所述接收的可视数据流、AR输入数据、信息输入和知识输入生成所述实时AR数据，所述一个或多个标准包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合，其中：

所述信息输入包括所述可视数据流的实时提取部分，所述可视数据流的所述实时提取部分在接收所述可视数据流时基于所述包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在多个时间点实时地提取，

基于从所述多个时间点的可视数据提取的所述信息和从所述可视数据的所述实时提取部分学习得到的用户行为来累积地学习所述知识输入，并且

所述实时AR数据包括与所述信息输入相对应的信息数据，所述接收的可视数据和与所述知识输入相对应的知识数据；以及

用多组数据参数表示所述实时AR数据的所述信息数据或所述知识数据的至少一部分，包括用基于所述信息数据或知识数据的AR数据替换背景图片数据，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

12.如权利要求11所述的系统，还包括数据输入和输出部件；

所述数据输入和输出部件包括麦克风、相机或视频捕获设备、显示器、传感器，或它们的组合。

13.如权利要求12所述的系统，其中，所述相机或视频捕获设备包括2D相机、3D相机、4D相机、彩色相机、近红外相机、红外相机、热相机、多光谱相机、高光谱相机，或它们的组合。

14.如权利要求11所述的系统，其中表示所述信息数据或所述知识数据的至少一部分的至少一组数据参数与对应于所述信息输入或所述知识输入的所述可视数据流中的所述数据参数属于不同类型。

15.如权利要求11所述的系统，其中用于提取所述信息输入的所述一个或多个标准还包括基于大数据的至少一个标准。

16.如权利要求11所述的系统，其中所述操作还包括：

选择性地对所述实时AR数据的至少一部分进行压缩。

17.如权利要求11所述的系统，其中在所述计算机设备上从另一计算机设备接收所述可视数据流。

18.一种非暂时性计算机可读介质，包括一个或多个指令序列，当所述一个或多个指令序列由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，包括：

在计算机设备上实时地接收可视数据流；

基于一个或多个标准，通过集成所述可视数据流、AR输入数据、信息输入和知识输入生成所述实时AR数据，所述一个或多个标准包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合，其中，

所述信息输入包括所述可视数据流的实时提取部分，所述可视数据流的所述实时提取部分在接收所述可视数据流时基于所述包括用户偏好、系统设置、集成参数、可视数据流的对象或场景的特性、交互式用户控制或它们的组合的一个或多个标准，在多个时间点实时地提取，

基于从所述多个时间点的可视数据提取的所述信息和从所述可视数据的所述实时提取部分学习得到的用户行为来累积地学习所述知识输入；并且

所述实时AR数据包括与所述信息输入相对应的信息数据，所述接收的可视数据和与所述知识输入相对应的知识数据；以及

用多组数据参数表示所述实时AR数据的所述信息数据或所述知识数据的至少一部分，包括用基于所述信息数据或知识数据的AR数据替换背景图片数据，其中每一组数据参数包括文本、一个或多个代码、一个或多个数字、一个或多个矩阵、一个或多个图像、一个或多个音频信号、一个或多个传感器信号，或它们的组合。

19.如权利要求18所述的非暂时性计算机可读介质，还包括：

从所述可视数据流或其变体中移除不需要的数据，包括不需要的环境场景数据、基于包括用户偏好、系统设置、可视数据流的对象或场景的特性的一个或多个标准被确定为不相关的数据、从中提取了信息的被选数据、从中学习了知识的被选信息，或者它们的组合。

20.如权利要求18所述的非暂时性计算机可读介质，其中表示所述信息数据或所述知识数据的所述至少一部分的至少一组数据参数与对应于所述信息输入或所述知识输入的所述可视数据流中的所述数据参数属于不同类型。

21.如权利要求18所述的非暂时性计算机可读介质，其中用于提取所述信息输入的所述一个或多个标准还包括基于大数据的至少一个标准。

22.如权利要求18所述的非暂时性计算机可读介质，其中基于所述信息对所述知识输入进行学习，所述信息基于包括用户偏好、系统设置、可视数据流的对象或场景的特性、集成参数、交互式用户控件、基于大数据的至少一个标准，或它们的组合的一个或多个标准在所述多个时间点提取。

23.如权利要求18所述的非暂时性计算机可读介质，还包括：

选择性地对所述实时AR数据的至少一部分进行压缩。

24.如权利要求18所述的非暂时性计算机可读介质，其中在所述计算机设备上从另一计算机设备接收所述可视数据流。

25.如权利要求24所述的非暂时性计算机可读介质，其中所述接收步骤还包括：

在所述计算机设备上实时接收来自所述另一计算机设备的现有AR数据，所述现有AR数据包括现有的信息数据和现有的知识数据。

26.如权利要求25所述的非暂时性计算机可读介质，其中所述现有的信息数据和现有的知识数据用于集成所述可视数据流，以呈现所述可视数据流的重构变体。

27.如权利要求26所述的非暂时性计算机可读介质，还包括：

基于包括用户偏好、系统设置、基于大数据的至少一个标准、所述现有的信息数据，或它们的组合的一个或多个标准，在所述多个时间点基于所述可视数据流的重构变体提取所述信息输入。

Images