CN114206560A - 移动性代理 - Google Patents

移动性代理 Download PDF

Info

Publication number
CN114206560A
CN114206560A CN202080053988.1A CN202080053988A CN114206560A CN 114206560 A CN114206560 A CN 114206560A CN 202080053988 A CN202080053988 A CN 202080053988A CN 114206560 A CN114206560 A CN 114206560A
Authority
CN
China
Prior art keywords
user
mobility agent
mobility
data
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080053988.1A
Other languages
English (en)
Inventor
H.克鲁尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Imagination Co ltd
Original Assignee
Super Imagination Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Imagination Co ltd filed Critical Super Imagination Co ltd
Publication of CN114206560A publication Critical patent/CN114206560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0838Key agreement, i.e. key establishment technique in which a shared key is derived by parties as a function of information contributed by, or associated with, each of these
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/18Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03Protecting confidentiality, e.g. by encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/67Risk-dependent, e.g. selecting a security level depending on risk profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Bioethics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Technology Law (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

移动性代理包括支持至少一个相机的人形形式,该相机从第一移动性代理部署在其中的第一物理位置捕获图像数据以产生图像信号;以及移动性底座。移动性底座包括支撑件机构,人形形式附着到移动性底座上的支撑件;以及运输模块,包括机械驱动机构和包括处理器和存储器的被配置为从网络接收控制消息并根据从网络接收的控制消息来处理控制消息以控制运输模块的运输控制模块。

Description

移动性代理
优先权要求
本申请根据35 USC§119(e)要求于2019年6月5日提交的标题为“MOBILITYSURROGATES”的美国临时专利申请序列No.62/857,347的优先权,其全部内容通过引用在此并入本文。
技术领域
本公开涉及用于通过通信、观察、接触和移动性为个人和团体相遇提供虚拟代理的设备和系统。
背景技术
人们可以被物理距离分隔开,但仍可以通过诸如电话和电话会议之类的常规技术进行交互。最近,随着联网以及尤其是互联网的出现,人们可以听到彼此的声音并观看到彼此的图像。其它发展已增加了对物理接近的感知。
例如,在2005年6月16日发布的已发布专利申请US 2005-0130108 A1中描述了各种类型的虚拟相遇。在该已发布的申请中,可以部署人体模型或人形类型机器人作为人类的代理。在一种类型的相遇中,人体模型与远程位置中的一副护目镜配对。在另一种类型中,代理被配置为使得具有传感器的人可以产生致动信号,该致动信号被发送到远程位置中的机器人的致动器,以经由被发送到致动器的致动信号来远程控制机器人的移动。相反,在另一种类型的相遇中,人形机器人可以配置有传感器,该传感器用于将传感器信号发送到具有接收传感器信号的致动器的人体套装,使得穿着人体套装的用户感受到人形机器人的感觉。
在其它类型的相遇中还公开了使用由发送与虚拟场景重叠的视频图像的代理所支持的相机,这些图像由用户穿戴的护目镜呈现,或者在可以变形为由护目镜呈现的不同图像的视频图像中。
在该已公开的申请中还公开了使用一对代理和一对人类,它们被配置为使得在第一位置中的一对人类中的第一人类在远程的第二位置中拥有自己的代理,并可以通过代理体验发生在第二位置的刺激,无论这些刺激是触感、听觉、视觉等,并且反之亦然。
为虚拟相遇带来移动性的一种方法是使用上述公开的申请中描述的机器人类型。此外,越来越需要在自然环境中使用机器人技术来远程执行常见任务。
远程视频应用越来越需要变得更加安全。由于视频数据的性质和保护视频馈送所需的加密量,制作高度安全和低延迟的视频连接一直是困难的。一些现有的数据发送协议采用多条通路或多个频率。但是,这些协议并没有实现相同的目标,因为它们没有专门解决数据安全性和时延方面的考虑。
远程实时数字视觉是众所周知的。但是,远程数字视觉平台具有显著的内置时延,其通常称为滞后。例如,考虑普通的家庭安全相机。有人走进屋内,查看监视器,并且仍然观看到外面的自己进来的情况并不少见。此外,从处理和联网两者的角度来看,高清视频及相关数据的发送都是成本高昂的过程。捕获和压缩高清视频所需的硬件是昂贵的,并且发送此类图像所需的带宽也是昂贵的。
现代虚拟专用联网中使用的当前安全协议依赖于高加密等级来保护发送中的数据。使用的这些加密方法要求将被发送的未加工数据分解成较小的经加密分组,每个经加密分组都经过构建,并且然后使用资源密集型和时间密集型算法重新组成原始形式。出于安全原因,有时这些算法被有意地设计为要求大量计算和/或时间来实现。
许多现代网络还采用“服务质量”(QoS)技术来优先递送时间关键信息。但是,为了优化化身通信中固有的特定类型的内容,可以要求一些附加的特定于应用的特征。
发明内容
根据一方面,移动性代理包括:人形形式,其支持至少一个相机,该至少一个相机从第一移动性代理被部署在其中的第一物理位置捕获图像数据以产生图像信号;以及移动性底座。移动性底座包括支撑件机构,其中人形形式附着(affix)到移动性底座上的支撑件;以及包括机械驱动机构和运输控制模块的运输模块,该运输控制模块包括处理器和存储器,该处理器和存储器被配置为从网络接收控制消息,并处理控制消息以根据从网络接收的控制消息来控制运输模块。
移动性代理的实施例可以包括以下特征或如本文公开的其它特征中的任何一个或多个。
移动性代理包括人工智能系统,该人工智能系统包括处理器设备、存储器和存储计算机指令的存储装置以使人工智能引擎训练移动性代理,其中人工智能引擎执行计算机指令以观察人类执行现实世界中的给定任务的动作,分析观察到的人类的动作以产生针对给定任务的动作序列,并将分析的动作打包到存储在计算机存储装置中的序列包中。人工智能引擎利用数据库进行操作。人工智能引擎演化以使用移动性代理执行任务。动作被分析并用于在现实世界中训练人工智能引擎,而不是经由训练程序。人工智能引擎是辅助人类对任务的控制的机构。
移动性代理包括通过观察用户动作来训练人工智能引擎的指令。训练包括指令以:将自组织地图空间定义为节点的有限二维区域,其中节点布置在网格中,并将网格中的每个节点与作为输入空间中的位置的权重向量相关联。训练还包括指令以:将训练示例应用于自组织地图,随机化地图中的节点权重因子,从训练数据输入中随机选择训练向量,计算给定的训练向量与地图中的每个节点的距离;并比较其权重与训练示例的权重最接近的节点作为最佳匹配单元。
人工智能引擎被配置为对任务进行学习以减少或消除时延或延迟时间或者提高执行任务的效率或可靠性。延迟是双向的并且能够是由于指令通过电子装备和通信的传播、用于发送指令的网络以及执行指令的处理时间而产生的。
人工智能引擎是使用自组织地图或自组织特征地图构建的,自组织地图或自组织特征地图是通过无监督学习技术被训练以产生训练样本的输入空间的低维离散表示的人工神经网络类型。移动性代理还包括数据中心,该数据中心被配置为累积和存储与人工智能引擎一起使用的技能集。人工智能引擎从数据中心下载技能集。移动性代理还包括经由网络将操作者连接到移动性代理的平台和传感器用户接口链接。
移动性代理还包括别名替换处理模块,该别名替换处理模块包括处理器,该处理器被配置为:接收图像信号,检测图像信号中的第二移动性代理,并将第一物理位置的第二代理的图像数据替换为在第一物理位置的用户的图像数据,以形成经变换的图像。
根据附加方面,虚拟现实相遇系统包括在第一物理位置的移动性代理,该移动性代理包括人形形式,其支持至少一个相机,该至少一个相机从第一移动性代理被部署在其中的第一物理位置捕获图像数据以产生图像信号;以及移动性底座,其中人形形式附接到移动性底座;以及在不同的第二物理位置的用户控制设备,该用户控制设备被配置为控制移动性代理。
虚拟现实相遇系统的实施例可以包括以下特征或如本文公开的其它特征中的任何一个或多个。
移动性代理是第一移动性代理,用户控制设备是第一用户控制设备,并且系统还包括位于第二第一物理位置的第二移动性代理,第二移动性代理包括人形形式,以及包括支撑件和运输模块的移动性底座,其中人形形式附接到移动性底座,以及位于第一物理位置的第二用户控制设备,该用户控制设备被配置为控制第一移动性代理。
虚拟现实相遇系统还包括别名替换处理模块,该模块包括处理器,该处理器被配置为:接收图像信号,检测图像信号中的第二移动性代理,并将第一物理位置的第二代理的图像数据替换为第一物理位置的用户的图像数据以形成经变换的图像。
虚拟现实相遇系统还包括用户设备,该用户设备包括显示器和换能器,该用户设备被部署在第二位置中,其中显示器被配置为接收经变换的图像。虚拟现实相遇系统还包括将人形形式支撑到移动性底座的支撑件机构,以及包括机械驱动机构和运输控制模块的运输模块,该运输控制模块包括处理器和存储器,该处理器和存储器被配置为从网络接收控制消息,并处理控制消息以根据从网络接收的控制消息来控制运输模块。
根据附加方面,感测用户接口包括处理器和存储器,该处理器和存储器被配置为用感测用户接口链接来操作和控制移动性代理单元,还被配置为:控制移动性代理单元与和移动性代理单元相关联的人类的活动保持对齐,使得移动性代理单元的运动与移动性代理的运动同步。
感测用户接口的实施例可以包括以下特征或如本文公开的其它特征中的任何一个或多个。
感测用户接口还被配置为通过向用户提供移动性代理的设定位置作为用户复制的起始位置来使用户与移动性代理单元同步。感测用户接口在被激活时使得由用户穿戴的虚拟现实头戴式耳机使用户通过移动性代理的眼睛进行观看。感测用户接口在被激活时使移动性代理被放置在多个位置中的给定位置,以允许用户复制那个位置。感测用户接口在被激活时补偿时延。
根据附加方面,一种从发送器向接收器发送数据的方法包括:根据请求发送的数据的类型来确定混合数据的数据发送的优先级,以便为混合数据中每个确定的数据类型指派服务级别;查明发送器和接收器之间的至少两条不同路径,至少两条不同的路径具有在至少两条不同发送路径中不同的至少一个节点;将混合数据拆分成多个片段;将每个片段指派给至少两条不同发送路径之一,其中每个片段被指派序列号,该序列号向该片段提供在接收器处将片段重构为数据发送流的次序;用多个不同的发送密钥之一加密每个片段;并且根据指派的服务级别在至少两条不同发送路径上发送片段。
发送方法的实施例可以包括以下特征或如本文公开的其它特征中的任何一个或多个。
发送密钥和接收密钥是非对称加密模式的私钥和公钥。通过多条不同路径进行发送允许以较低的加密级别对各个分组进行加密。其中一些数据通过完全不同的网络路径被传送。在发送开始时,密钥集合可以是也可以不是完全已知的。密钥是对称密钥。
上述方面中的一个或多个可以包括以下优点中的一个或多个。
本文公开的方法根据移动性代理单元是人类的替代身体的原则进行操作。因此,AI引擎是通过像潜意识一样来辅助人类控制的机构。用于AI引擎的训练机构观察用户执行任务,并通过对用户动作的这种观察(以及也许用户经由口头帮助记录或其它辅助帮助训练AI关于其正在做什么)提供关于观察的数据。这些数据被记录并上传到中央服务器。随着AI引擎被训练,AI引擎可以辅助用户执行任务并减少用户的时延,最终变得足够智能以扩增用户的动作,并最终自主执行动作。
不是将视频数据作为一系列大的压缩图像发送,而是使用机器学习算法发送视频数据,这将大大减少发送时间,超出通过标准数据压缩手段所能达到的水平。相机的远程操作者将观看到似乎是实时高清处理过的图像,与常规方法相比,滞后将显著减少。
本文描述的是允许使用分布式发送过程进行安全连接的平台,与常规的加密和服务质量(QoS)方法相比,该过程增加了安全性、可靠性和发送速度。该平台使用几种现有技术的混合来产生同步的分布式虚拟专用网络(VPN),其允许在逐个服务的基础上在VPN内应用服务质量测量。
附图说明
图1是示出包括与移动性代理相关联的用户接口控制的处理组件的功能框图。
图2是移动性代理的移动性底座的操作控制的功能框图。
图3是移动性代理的移动性底座的示例的示意图。
图4是示出移动性底座的发送控制模块的处理组件的功能框图。
图5是描绘运输控制处理的流程图。
图6A-6C描绘了具有移动性底座的移动性代理的示例。
图7是训练系统的框图。
图7A-7E是用于理解由图7的系统执行的训练过程的流程图。
图8是远程视觉处理系统的框图。
图8A是对于理解图8的系统有用的流程图。
图9是示出移动性代理单元服务系统的各方面的框图。
图10是对理解移动性代理单元服务系统有用的框图。
图11是对理解具有两个移动性代理单元的移动性代理单元服务系统有用的框图。
图12是描绘数据发送的框图。
图13是具有移动性代理单元的多用户、多位置虚拟相遇系统的示意图。
图14A是移动性代理单元头部的左侧的视图。
图14B是移动性代理单元头部的右侧的视图。
图14C是第三移动性代理单元头部的左侧和右侧的视图。
图15是示出包括与物理上远程的移动性底座相关联的用户接口控制的处理组件的功能框图。
具体实施方式
现在参照图1,示出了用户接口控制设备14(代表下面讨论的用户接口)。用户接口控制设备14包括控件14a(例如,操纵杆控件或方向箭头控件(定位N、S、E、W的箭头))的集合。接口控制设备14还包括缓冲电路14b,该缓冲电路14b在需要的情况下缓冲来自控件集合的模拟输入并将其转换成数字信号以供处理电路14c处理。处理电路14c可以将代表来自控件14a的集合的用户选择的数字信号转换成可以被用于直接控制移动性代理单元20a的控制信号。本领域技术人员将认识到的是,这种数字信号转换的性质将取决于移动性代理单元20a的具体要求和规格,这些具体要求和规格可能会根据所使用的移动性代理单元20a的类型而变化。
因此,在图1中,用户接口控制14被配置为使得处理电路14c将从机械控件14a产生并从缓冲电路14b接收的用户输入信号转换成可以被用于直接控制移动性代理单元(MSU)20和相关联的代理平台部分22的信号。这些信号被编码到命令消息中并且可以被打包到网络分组中以用于跨网络24发送到移动性底座22a。(参见下面的安全机器人应用专用网络适配器讨论。)在其它实施例中,可以将消息编码到例如经由短距离无线技术(例如,蓝牙)发送到配对的代理平台的分组。
处理电路14c可以包括分组处理功能,该分组处理功能将命令消息打包到包括对应网关(或路由器,如果适用)的网络地址(包括但不限于互联网协议地址或IP地址)以及与移动性代理单元20相关联的移动性底座22的专用网络地址的分组中(或打包到具有用于配对的移动性代理单元20的适当配对信息的分组中)。
可以使用几种技术中的任何一种来通过网络24将命令消息从用户接口控制设备14传送到移动性底座22。一种这样的方法是所谓的“物联网”。远程控件14可以使用由互联网服务提供商(ISP)提供的静态或者动态指派的网络地址连接到物联网。另一方面,如果使用完全私有的网络,那么可以使用其它方法。
每次重新连接到ISP时,通过指派的网络地址与ISP的连接可以改变。所谓的“动态主机配置协议”(DHCP)是一种在互联网协议(IP)套件的应用层起作用的网络协议,其可以动态地为网络上的设备指派网络地址。确切的联网细节会在联网领域的技术水平之内,并因此无需在此广泛涵盖。可以说用户接口控制和移动性平台经由通信网关16a-16b(或路由器)和网络24进行通信就足够了。通信网关16a-16b还在位置11a和11b之间从移动性代理单元20a传送其它信息,如现在将讨论的。
参照图2,现在将描述系统10的操作。用户接口控制设备14a被配置为经由网关16a、16b和网络24与MSU 20a通信,而用户接口控制设备14b也被配置为经由网关16a、16b和网络24与MSU 20a通信。接口控制设备14a控制移动性底座22a的移动,从而控制移动性底座22a作为其一部分的移动性代理单元20a。接口控制设备14b控制移动性底座22b的移动,从而控制移动性底座22b作为其一部分的移动性代理单元20b。网关16a、16b还经由网关16a、16b通过网络24在(移动性代理单元20a、20b中的)代理电子器件和用户携带的电子设备(诸如护目镜、人体套装、触感致动器等,未示出)之间传送其它信息。
本文讨论的用户和移动性代理单元(MSU)可以彼此远离(经由网络进行通信的远程物理位置)或可以位于相同的一般位置中(经由短距离通信进行直接通信或经由网络在与远程服务器计算机通信时传送)。
如本文所使用的,移动性代理单元(MSU)被定义为人类操作者的替代身体。MSU通过移动性平台拥有移动性,并通过AI引擎拥有智能。MSU通常具有类似人的躯干。有助于定义MSU的方面还包括与移动性代理单元感测系统(或平台)和AI引擎相结合的操作,该AI引擎通过观察人类(或另一个MSU)执行任务而被训练。MSU的其它特征在下面讨论。
参照图3,移动性代理单元20a(MSU 20a)的示例被示为包括移动性底座20a,该移动性底座包括容纳了运输控制模块30a和机械驱动机构30b的运输模块30。运输控制模块30耦合到支撑件机构32,该支撑件机构32支撑附着到或以其它方式固定到支撑件机构32的人形形式或人形形式躯干34。例如,支撑件机构32可以包括座位部分32a、靠背部分32b和支柱部分32c。支柱部分32c支撑座位部分32b,并且支撑件部分可以支撑在运输模块30上。运输控制模块30a和驱动机构30b还可以并入有各种传感器31,这些传感器向它们提供关于它们的环境和它们在环境中的朝向的信息,运输控制模块30a和驱动机构30b还根据需要与其它组件互连。例如,一个这样的传感器是陀螺仪,以帮助MSU维持平衡。
如上面所讨论的,根据所使用的移动性平台的类型,机械驱动机构30a一般是常规类型的。运输控制模块30b被示为在运输模块30内,但运输控制模块30a可以位于移动性底座上或MSU 20a中的任何地方。
可以提供各种配置用于将人形形式安装在移动性底座座位32a上以提供MSU 20a。例如,人形形式可以是站立的人形形式(如图6A中,或图6B的坐着的人形形式或图6C的集成到移动性底座中的站立的人形形式)。
现在参照图4,运输控制模块30a用于从网络24(参见图2)接收命令消息,并根据需要处理命令消息,以产生控制机械驱动机构30b(参见图3)的特定操作的控制信号。运输控制模块30a包括被配置为与网关(或路由器)(诸如网关16b(图2))建立连接的无线网络接口卡(WNIC)40a、处理器40b、存储器40c、存储装置40d和输入/输出接口40e,所有这些都通过总线或网状网络或其它互连方案40f适当地互连。机械驱动机构30b还包括所使用的特定类型的移动性平台(如上所述)所需要的电子驱动组件,诸如马达、万向节(gimbal)、传动控件等。这些电子驱动组件以另外的常规方式与机械驱动机构30b进行接口。现在参照图5,示出了运输控制模块30a的功能操作44至50。运输控制模块30a从网络24接收44控制消息,这些命令消息由用户接口设备(诸如用户接口设备14a)发起。运输控制模块30a处理46接收到的命令消息并且一般地解译接收到的命令消息和本地传感器信息以在I/O输出接口电路40f处产生控制信号,该信号被通信48到运输模块30中的电子驱动组件电路40g。这些信号根据从网络接收的命令消息控制50机械驱动组件30b(图3)。底座经由远程控制进行操作,并通过将远程命令与实际的本地传感器数据(诸如墙壁的位置)合并来生成最终动作。
现在参照图6A-6C,示出了移动性代理20的示例。图6A和6B描绘了后视图和侧视图,而图6C描绘了前视图。
在图6A-6C中,移动性代理包括躯干部分和移动性底座,该移动性底座要求人类来操作移动性底座以完成某些功能。图6A中移动性代理的躯干部分被示为与移动性底座集成在一起。
移动性底座22a可以是电动轮椅的改装,并且更一般地,移动性代理可以是任何类似移动性底座的改装。移动性底座22a的要求可以包括诸如动态平衡之类的特点,使得底座可以保持垂直,例如,站在两个轮子上并补偿位于其上的人类躯干的运动。如果人向前倾斜,那么它可以向前滚动;如果人向后倾斜,那么移动性底座22a可以回滚到原始位置。如果被推动,它将不会移动—施加反作用力使人类躯干保持直立。移动性底座22a的要求还可以包括爬楼梯的能力。移动性底座22a具有电源,使得移动性底座可以长时间携带重物并且移动性底座可以在一系列环境中导航。
为移动性底座22a供电的电源可以被用于至少部分地为人形形式供电(在一些实施例中)。系统经由作为人形形式的一部分的移动性代理处理器等与移动性底座处理电路(图1)通信,或者使得可以发送控制信号来控制移动性底座的运动。人形形式移动性代理的形式启用移动性底座的全部功能—使得它可以通过与移动性底座一起工作来爬楼梯。移动性底座22a不是自主移动性代理—而是人形形式—这意味着MSU 20由人类使用视觉、音频和运动捕获系统的组合通过网络被远程控制——因此人类正在通过MSU 20动作(图1)。
有多种方式可以将移动性底座与人形形式进行对接。人形形式可以用螺栓固定到底座,实际上坐在移动性底座上(如果它有腿的话),或者经由可移动的关节连接,这将使人形形式可以从连接点旋转或弯曲。
各个方面覆盖从人类到移动性底座22a或MSU 20a的通信。
人形形式可以连接到移动性底座的电源,从它汲取所有的电力。可替代地,它可能会从底座吸取其部分电力,并从移动性代理内部或者在移动性底座的顶部或外部和无线性质携带的其它电源吸取附加电力。它也可能不吸取任何电力。
可以经由CAN(控制器区域网)与移动性底座执行通信,以控制其运动。如上所述的接口可以被用于控制移动性底座的运动。控制将主要经由网络或蓝牙或其它近场通信功能经由人类发起的控制来实现。
移动性底座22a和/或MSU 20a的控制可以来自人形形式中的处理器或如下详述的。用于控制的那些信号将主要来自通过无线网络与移动性代理中的接收器通信的人类操作者,然后被传递到移动性底座22a。可替代地,接收器可以直接连接到移动性底座而不经过MSU 20a中的任何处理器。
此外,如果人工指令将导致MSU 20a采取会伤害他或其他人的行动,那么有时处理器会经由人工智能或其它程序进行控制。移动性底座22a可以具有可以超越人类远程指令的防撞系统。但是,大部分时间都是由人类控制的,但有时这些指令会被否决或修改。
所传送的其它数据可能影响移动性底座22a或MSU 20a的操作。例如,移动性底座的常规用途是运输人形形式。因此,常规而言,移动性底座22a被构建为考虑到人形形式的运动。在当前情况下,移动性代理包括具有合适控制和通信技术的移动性底座22a,以及具有其自身合适的控制和通信技术的人形形式,使得移动性底座和人形形式的组合模拟了人类乘坐移动性底座22a,并且该组合近似于人类。
人形形式在移动性代理中的应用使用了被远程控制的人形形式的元件来控制移动性底座22a并因此控制MSU 20a的动作。诸如传送MSU 20a各个部分的运动可以进一步被增强—甚至在移动性代理移动之前—以便移动性底座22a可以在需要时相应地移动,以维持平衡或其预期的运动路径。如果人形形式将要以使得它可以将移动性底座倾倒的方式倾斜,那么移动性底座感测到该移动,并例如通过减慢移动速度或放下其轮子来覆盖该移动或补偿该移动。
除了运动数据之外,所传送的数据还可以包括各种传感器数据、电源管理数据和其它数据。跟踪这些数据以优化人形形式和移动性底座单独通信的操作并更好地操作移动性代理。
来自移动性底座的运动的触觉数据也可以发送回人类,以获得更好的体验和控制。例如,可以发送回振动数据,以便用户感觉到移动性底座22a的运动。代理和移动性底座22a之间的动态反馈也可以发送回给人类—使得例如,如果坐在椅子上的人类接收倾斜和振动的数据信号—人类可以在椅子上平衡以防止移动性代理翻倒(可替代地,这可以由移动性底座中的板载系统自动完成—以便调整移动性底座的配置)。
移动性代理与简单的自主汽车之间的独特区别在于,鉴于移动性底座是为人类构建的,在人类操作者的辅助下自动或者远程控制的、类似人类的移动性代理可以移位以防止移动性代理翻倒。通过移位重量或身体位置来提供对人类操作者的辅助提供了可以使用人形形式的腿、臂、腰等的控制机构,使得人形形式动态地像人一样动作。
以下是一些替代实施例:
人类通过其连接到MSU 20a的人类和软件平台的生态系统是经由无线链路(WiFi、蓝牙、蜂窝等)的—使得为了尽可能减少时延,控制不会被路由通过处理并然后到移动性底座,而是直接被发送到移动性底座。换句话说,人类直接但远程地控制移动性底座和代理。
可替代地,信号在到达MSU 20a之前被路由通过一个或多个处理器。在一些实施例中,安装防撞系统,以便在来自操作者的指令将导致碰撞或其它有害动作的情况下,系统可以忽略该指令。另一个替代实施例包括自主模式,其中人类发送指令让移动性底座22a移动到特定目的地或按特定路径移动。用户可以以其它方式操作代理,同时移动性底座沿着指定路径移动或移动到指定位置。
另一方面涉及人类经由虚拟现实头盔通过代理的眼睛进行观看,并观看到示出了到达目的地或物体的最佳路径的扩增覆盖层,并且人类控制移动性底座—遵循该投影路径。这可能来自例如经由将人类连接到移动性代理单元的平台向人类发送指令的第三方。例如,人类操作者可以是经由平台与代理进行连接以执行任务的工人—他们可能不知道任务是什么—但是当他们到达时,AR覆盖过程会传达任务。系统使用AR覆盖来允许用户引导移动性底座。可替代地,AR覆盖可以仅允许用户选择批准或调整路径、批准并因此允许移动性底座和移动性代理接管对移动性代理的控制。
在其它实施例中,代理具有腿和经由无线连接与移动性底座的接口。还有其它实施例涉及带腿版本,在此版本中其通过磁性连接或通过某种其它可以被释放的物理连接来连接,使得代理可以离开移动性底座。其它腿版本经由系绳连接,该系绳提供一些电力或数据通信或两者,以便其可以在坐在移动性底座上时以及在离开移动性底座时进行通信和/或获得电力。在这种配置的其它版本中,也有可能与系绳断开连接并四处走动,并且然后重新连接以从移动性底座获取电力。
另一个实施例是当人形形式与移动性底座物理断开时,电力被无线发送到代理。这种电力可以来自移动性底座22a或来自连接到移动性底座22a的附加电池。移动性底座可以包括“爬楼梯辅助”,这样人类就不需要控制人形形式—因为控制是在移动性底座中编程的,因此一旦移动性底座开始爬楼梯,移动性底座就会控制人形形式的运动以安全地爬楼梯。
进一步的实施例可能涉及将附加组件结合到人形形式中,以扩展或增强远程操作者的正常人类功能。作为示例而非限制,这样的附加组件可以包括全向视觉系统、多于两个肢体,或者甚至多个躯干。
自组织AI引擎
这方面涉及“人工智能潜意识”的“产生”—经由使用机器学习的人工智能(AI)网络的训练,并通过基于观察人类以及人类的代理在现实世界中的动作而预测的AI技术将其内置到人形形式处理器中。人工智能潜意识(AI潜意识)是指实体不被用于训练AI,而是AI通过观察代理的主机和用户的活动来变为被训练的。
现在参照图7,示出了训练系统60。系统60包括音频/视频组件62和机器学习系统64。音频/视频组件62包括例如聚焦于执行任务65的用户的麦克风和相机。系统60还包括跨越网络70的一对网关66、68。机器学习系统64包括处理电路72、存储器74和存储AI潜意识引擎80的存储装置76。AI潜意识引擎80是使用机器学习算法的自组织AI引擎。AI潜意识引擎80(AI引擎80)参考存储由AI引擎80观察到的信息的数据库84。AI引擎80和数据库84将演化以增强代理和人类能力两者。AI引擎80将通过观察人类在现实世界中执行给定任务来进行演化以执行人类任务。AI引擎80接收基于人类执行的动作的信息,这些动作将被用于训练该移动性代理单元以更好地执行这样的任务,例如,以更低的时延和更高的准确度。
传统上,AI例如在应用于移动性代理时被视为核心产品,因为移动性代理的形式将由这个AI产品控制以产生自主AI引擎。常规而言,这种方法在应用于移动性代理单元类技术时经由移动性代理单元外骨骼来训练AI,以便AI将能够独立控制移动性代理的形式。本文公开的用于移动性代理的方法不同于这些传统方法。
本文公开的方法根据移动性替代单元是人类的替代体的原理进行操作。因此,AI引擎80是通过像潜意识一样动作来辅助人类控制的机构。
最初,用于AI引擎的训练机构观察用户执行任务65,并通过对用户动作的这种观察(以及也许用户经由口头来帮助进行记录或其它辅助帮助训练AI关于其正在做什么)来提供关于观察的数据。这些数据被记录并上传到中央服务器82。服务器82分析这些数据并使用分析的结果来训练AI引擎80。最终,随着AI引擎80被训练,AI引擎80可以开始辅助用户执行任务65并减少用户的时延。随着AI引擎80从用户的交互中学习,AI引擎80变得足够智能以扩增用户的动作,并最终自主地执行动作。
所描述的方法经由分析用户在现实世界中的动作而不是经由训练程序来训练AI引擎80。AI引擎的一个目的是减少或消除时延或延迟时间。延迟时间是调用指令执行与发生指令执行之间的时间量。这些延迟是双向的并且可以是由于指令通过电子装备和通信的传播、用于发送指令的网络和执行指令的处理时间造成的,例如,由感测单元接口(SUIL)捕获用户的动作、将其发送到MSU 20a并由移动性代理执行所花的时间延迟,以及由MSU 20a捕获感测数据以从MSU 20a发送并返回到由人类用户携带的感测用户接口链接的时间延迟。
有一系列方法可以被部署,以便用户不会注意到延迟中的一些(例如,预处理),以及一系列技术(诸如投影路径和扩增叠加对象)以便即使存在延迟也能实现更好的用户体验。通过在MSU 20a中构建5G网络或其它相对高速的网络功能,将大大减少通信延迟。
AI引擎80从用户的动作中外推并预测可以被用于最小化这些延迟的可能的后续动作。AI引擎学习用户如何完成动作,并且根据学习,AI引擎80可以执行指令以使移动性代理完成学习动作。AI引擎80被配置为学习和构建将通过观察执行任务的多个用户来提高其预测人类身体行为的能力的AI引擎80。
AI引擎80也可以被训练以通过上述技术增加其操作的准确性、可重复性和速度。以类似于减少时延的方式,移动性代理的动作的质量的这些改进也将有助于帮助用户及时完成动作,尤其是更复杂的动作。
AI引擎80是使用自组织地图(SOM)或自组织特征地图(SOFM)的原理构建的。这些地图各自均为通过无监督学习技术训练以产生训练样本(例如,用户移动)的输入空间的低维离散表示的人工神经网络类型。
自组织地图不同于其它人工神经网络,因为这些地图使用竞争学习(节点竞争以便响应于输入数据)而不是纠错学习方法,并使用邻域方法来保存和学习输入空间的拓扑特性。
鉴于大多数人类采取的大部分动作以及人类如何采取这些动作的数量相对有限,AI引擎80将能够管理和处理各个动作。个人很快就会发展出习惯并陷入易于识别的模式。每个人的移动方式可以有其独特的方面,但每个人的移动库远远少于他们可能的移动总数。例如,个人如何穿过房间、伸手去拿水杯、打开门、接球等——每天甚至每年都几乎没有变化。
此外,人类的身体动作具有“告知功能(tell)”,这意味着在给定动作之前是先前先于给定动作的特定动作。例如,人类一般会在伸手去拿物体之前先看一看。可以通过人的(一个或多个)先前运动来高度准确地预测人的下一个足迹。例如,人类通过移动身体的一部分来平衡身体运动的另一个部分来进行补偿以保持平衡。正如AI可以被编程为模式识别和自学习、自组织词和那些词的含义一样,AI引擎80将对人类移动做同样的事情。
最初,AI引擎80将被用于预测和辅助每个用户,以便用户插入感测单元接口链接(下面讨论)以及他们经由对应MSU与之交互的体验表现出最小滞后时间。随着时间的推移,AI引擎80将建立起存储在数据库84中的庞大的身体动作和技能库。成熟的(例如,经过实质性训练的)AI引擎80可以被用于增强由人类使用MSU执行的动作。经由AI引擎80和扩增现实视觉的技能转移将随后辅助人类更好地执行此类技能。
利用成熟的AI引擎80,许多人类执行的任务将变得更容易,因为用户将能够利用一个MSU或多个MSU的所有先前用户的专业知识的总和。AI引擎80可以经由各种技术辅助用户的动作,包括但不限于引导式扩增视觉、触觉反馈和引导,以及引导用户意图/动作并帮助用户生产力、运动精度、运动强度以及这些辅助动作的任何组合的精确控制。
现在参照图7A,阐述了通过对人类用户操作机器人时产生的数据流进行分析来对产生MSU行为有用的过程。在最简单的层面上,该过程设想捕获和回放用户动作的任意序列。例如,用户可能拿起螺丝刀、将螺丝放入孔中,然后继续拧紧。如果环境在重复动作时相同,那么可以在具有最小改变的情况下记录和播放这个序列。这是本发明解决的最基本的级别。
更具体而言,过程100涉及机器学习系统以观察102相同序列的重复,分析104针对相同任务的捕获的序列的集合。机器学习系统捕获并提取关于序列的有用的共用元素并使用提取的元素产生更好和更可靠的序列106。过程持续地观察人类。因此,对于每个新观察108,该过程重复。
更具体而言,观察特征142(参见图7C)涉及每次操作者执行任务时在例如数据库84(图7)的数据库中记录任务的动态。数据包括但不限于MSU20a和人类的所有动态移动,这些将在视频数据和音频数据中被捕获。还将包括的是环境数据,诸如温度、湿度、照明等。此外,其它数据包括任务评级、对象定义、空间传感器、动力学传感器和运动学传感器,以及化学传感器—类似于人类的嗅觉,以及机电传感器—关节角度/位置、马达功率使用等。还将包括的是眼动跟踪和脑电图传感器。该过程设想针对相同动作从用户和其他用户那里捕获相似的数据。
一旦捕获了这个信息,就由机器学习系统分析104该信息以产生更好的序列。下面讨论的方法被用于分析捕获数据。
现在参照图7B,地图空间被预先定义122为节点的有限二维区域,其中节点布置在网格中。从训练数据输入(由中央服务器82或图7中的AI引擎80捕获的一系列移动等)中随机选择训练向量。网格中的每个节点都与权重向量相关联124,权重向量是输入空间中的位置。从训练数据中随机选择的向量被用于与其它向量进行比较,以计算哪个向量的权重与所选择的训练向量最相似。通过在不破坏地图空间的拓扑的情况下将权重向量朝着输入数据移动126减少距离度量,来使用权重向量来训练二维区域。
现在参照图7C,自组织地图使用竞争学习。当训练示例被馈送到自组织地图142时,自组织地图的不同部分对某些输入模式的响应类似。对地图中的节点权重因子进行随机化144。从训练数据输入(由中央服务器82或AI引擎80捕获的一系列移动等)中随机选择146训练向量。训练向量与地图中每个节点的距离被计算148,并且其权重最接近训练示例的权重的节点是最佳匹配单元。最佳匹配单元和最接近最佳匹配单元的节点的权重朝着输入向量被调整150。这个过程被AI引擎80重复很多次。
一般而言,例如在结束或满足限制条件时,将有一个被声明为154获胜节点的单个节点,即,最接近的节点。获胜节点是权重向量最接近相关联输入向量的节点。然后将这个节点打包106(图7A)到打包的序列动作中。打包的序列被加索引或以其它方式以可以被检索的方式存储。
用户可能希望执行和记录更复杂的行为,诸如设备的拆卸或组装、化学品的混合或食品的制备,仅举几例。机器学习系统将执行与更简单的任务相同的捕获信息、分析捕获的信息并将信息打包成序列的序列,并最终提取出广义行为的核心集合,这些行为被表示为准确且高效地复制提出的任务的打包的序列。
现在参照图7D,机器学习系统存储172这些序列。机器学习系统还具有在记录更复杂的动作的期间对更简单的动作进行组合的能力,从而提供附加的概念数据,机器学习算法可以使用这些数据来进一步优化和概括它们的序列。
例如,假设AI引擎80观察到174用户组装了设备,该设备要求钻孔、用螺钉连接组件并添加旋钮。AI引擎80先前将这些动作记录为序列,在该序列中系统先前学习了这三个子任务中的每一个。用户希望采用176这些序列来提供另一个更复杂的序列的这个附加信息上下文允许机器学习系统保留这些序列是附加的、更复杂的序列的一部分的有用元知识178,并且还能够在回放给定的序列时执行先进推理以适应物理世界中的可变条件。
相反,现实世界数据流可以是“嘈杂的”。即,现实世界数据流可以包含出现错误或超出预期范围的数据点。如本文所述,系统并入了用于最小化此类嘈杂内容的机构。AI引擎80可以观察多个训练数据序列并以帮助其理解序列中哪些元素是重要的以及哪些仅仅是不期望的噪声的方式来概括行为。以这种方式,AI引擎80可以产生更高效、更可靠和最优的序列。
“嘈杂”数据的另一方面是在序列的启动和关闭期间可能涉及花费大量时间来执行与要训练的任务没有直接关系的任务。因此,如果期望,用户可以为任何给定序列指定“起始点”和“停止点”。第二个相关特征是人类操作者将能够可选地出于任何原因而“暂停”记录,从而向机器学习系统指示数据点捕获应当挂起一段时间。
现在参照图7E,并非所有训练都需要在实际物理世界中发生。AI引擎80同样适用于记录在真实或模拟环境中产生的数据流。例如,一些高风险序列可以最好在受控条件下的模拟中执行,然后再在物理世界中进行尝试。AI引擎80执行高风险序列的模拟192。AI引擎80优化最初从人类那里学到的序列。AI引擎80通过在模拟世界内执行194任意置换来优化。使用任意置换,AI引擎应用196图7B-7D的处理。
随后,AI引擎80评估198序列196是否能够在广泛变化的条件下实现其目标和/或在人类实际经历现实世界之前预测可能在现实世界中出现的问题。这种方法将减少使训练更加灵活和稳健所需的时间,并提高安全性。
一些序列可能非常关键——它们可能涉及与人类健康、工业安全性、环境缓解或敏感个人信息的处理相关的活动。在此类情况下,AI引擎80使用自动化的测试来为这些关键序列建立可靠的边界和最低性能参数。AI引擎80还可以执行序列的自动、周期性认证,以确保序列满足特定的、人类建立的性能参数,并且可以被信任以执行针对其产生来执行的任务。
AI引擎80的另一个特征是AI引擎80产生最优序列,该最优序列然后可以被用户使用。AI引擎80还向用户提供推荐以便帮助其更好地执行。例如,AI引擎80评估数十个执行相同任务的个人的动作,并使用由用户提供的或者由机器学习系统学习的适当测量的集合对他们的表现进行排名。
并非每个用户都会在每次操作中使用完全相同的工具或MSU能力的集合。与上述示例类似,AI引擎80的另一个价值是它可以评估用不同机器人执行的相同序列的性能,并确定哪些特征最有用。这种分析的结果可以节省资金、提高安全性或提高速度,仅举几个可能的结果。以这种方式,机器学习系统能够对非常大的数据集执行大规模复杂分析,并建立合理的建议,以持续改进过程。
例如,通过使用网球包训练的MSU 20a来动作的新手网球运动员可以经由AI引擎80的辅助像专家一样打网球,AI引擎80已经经由许多打网球的网球运动员进行了学习。AI引擎80可以使用扩增视觉来示出球将击中的位置以及击球的最佳位置。它还可以调整MSU手臂和手部动作的速度和方向,以便当人类试图击球时,他们可以利用以前网球运动员的技巧来击球。
AI引擎80可以被用于推动自主人形移动性代理单元的发展。AI引擎80将通过继续从MSU的人类操作中学习新技能以及从部分地由AI引擎80供电的每个自主人形代理中学习来取得进步。这种协同关系意味着AI引擎80软件和存储在数据库84中的身体动作和技能的分层库可以被上传到各种数据中心并下载到广泛的AI平台。
此外,人类可以选择经由口头、动作或其它输入来帮助这个训练功能,以帮助推进AI引擎80获得自主权。因此,AI引擎80将从扩增使用MSU的人发展到最终能够独立地在MSU中执行许多任务,以及应用于MSU之外的其它系统。AI引擎80在这些其它系统中的使用可以在那些系统中进步,并且被应用回AI引擎80,使得AI引擎80可以进一步成长。全部沿着从第一次观察、然后帮助完成动作、到扩增那些动作、再到自主动作的方式,人工智能引擎80的能力将随着其被各种人类操作者用在MSU中执行各种任务而成长。
例如,某些人类技能可以从人类那里获取,然后包装在基于AI的软件中,然后转移到除MSU之外的各种人形自主代理单元。由这些自主代理采取的动作可以被进一步记录并用于增强AI引擎80,以及自主AI的未来版本。这些升级的技能可以收取服务费,或者可以免费提供升级的技能。
数据中心累积人类技能数据,存储这个数据,并处理这个数据以产生AI引擎80的AI算法(离线和实时),这些AI引擎80的AI算法可以在AI引擎80和MSU之间上传和下载,从而提供不断进步的技能集并减少技能执行的时延。可以预见最终人工智能引擎80的某些功能将演化,使得AI引擎80可以完成部分或全部给定任务;换句话说,AI引擎80将演化到可以几乎或完全自主地动作的程度。
低时延计算机视觉平台
描述了用于以非常低的时延压缩和发送实时视频数据的机器智能系统210。不是将视频数据作为一系列大的压缩图像进行发送,而是使用机器学习算法发送视频数据,这将大大减少发送时间,超出通过标准数据压缩手段所能达到的水平。相机的远程操作者将观看到似乎是实时高清处理过的图像,与传统方法相比,滞后将显著减少。
现在参照图8,机器智能系统210被示为包括远程捕获设备212,该远程捕获设备212包括捕获传感器数据的一个或多个传感器(例如,相机等)。远程捕获设备212耦合到远程相机处理单元214,该远程相机处理单元214使用机器智能来仅选择所捕获的传感器数据中设备214确定观众需要的那些元素。远程相机处理单元214执行由在知识库218中编码的机器智能指示的动作,以经由网络222(其可以是网络24)将场景的优化影像和相关元数据发送到操作者系统217以用于重建和显示。
操作者系统217包括操作者处理单元216,其接收发送的数据并使用发送的数据实时重建场景以在操作者显示器220上显示。这可以涉及由知识库218提供的附加机器智能,以对要求重建的场景的元素进行优先化。重建还可以涉及非视觉信息的通信,诸如关于机器智能系统210标记的问题的警告。
操作者处理单元216还可以选择经由反馈通道224向远程捕获系统212和操作者显示器220提供关于用户动作的反馈,以便在其决策过程中提供可以通知机器学习系统210的附加上下文。机器智能系统210将机器智能应用于确定什么构成视觉场景中的“必要的”和“令人感兴趣的”信息的特定问题。因此,机器学习算法之一包括对象识别算法。
现在参照图8A,捕获的过程230开始于识别场景不仅仅是指向物理世界中的位置的相机并且捕获简单的图像序列。远程捕获设备212捕获232关于场景的信息。虽然远程捕获设备212可以是单个相机,但一般远程捕获设备是相机的集合,并且还可以包括非视觉性质的传感器,诸如音频传感器加上激光雷达(光检测和测距)、雷达、用于捕获温度、湿度和特定化学特征的红外和环境传感器。因此,捕获设备的输出是具有多个分量的复杂数据流,其中至少一个分量通常是视频。捕获设备还可以包括立体相机,例如具有多于一个透镜和多于一个图像传感器的相机以模拟人类双眼视觉。产生的数据流还包括234经由反馈通道214提供的信息。
远程相机处理单元214采用机器智能来准备236数据流以通过网络222进行发送。机器智能将接受训练,以使用人类如何感知世界的知识来选择数据流中最有价值的方面。举例来说,当前的视频压缩方案使用此类信息的更简单版本来减少它们处理的数据的尺寸。例如,他们知道在YUV颜色空间中,一些分量比其它分量更重要,因此它们降低了人类不会注意到的低质量部分的保真度。与那个简单示例不同,机器智能系统210在更广泛的输入范围内操作,并且还可选地基于操作者在执行给定任务集时的意图的知识。
为了回答什么是“令人感兴趣的”问题,机器学习算法将其知识应用于所有传感器数据,以选择可能是用户关注的场景元素。因此,机器学习系统将根据流中存在的数据的类型将数据流解析238为至少两个分量。机器学习系统将选择240知识输入的集合以应用于至少两个分量中的每一个,以便优化至少两个分量以通过网络进行发送222,并根据所选择的知识输入242的集合进行过滤/优化。
作为示例而非限制,机器学习算法可以包括以下知识集中的一个或多个。
图像知识集
检测场景的“前景”中并且因此更有可能是用户将交互的项的对象。检测场景中本质上是静态且改变很小的元素(诸如墙壁或窗户),尤其是那些不在前景中的元素,并认为它们不是有令人感兴趣的。检测哪些对象包含用户可能希望读取的文字(诸如一个人拿着的标志或纸片)并优先为那些项提供更高的分辨率,以便用户将能够更轻松地读取文本。检测用户最近关注的场景部分并优先包含有关那些区域的附加数据;这种信息可以经由反馈通道224获得。
视觉知识集
机器学习算法使用人类视觉系统的知识,以有选择地降低操作者眼睛的“中心凹区域”(杆状和锥状体密度最高并因此最能感知细节的区域)之外的捕获的数据的保真度。使用人类如何处理周边视觉来告知他们对物体的位置和关系的感知的知识,机器学习算法可以过滤或抽象或以其它方式调整处于“视觉边缘”但对于操作者清楚地感知远程位置的情况仍然是重要的元素的细节水平。检测场景中过暗或过亮的区域并调整强度以使操作者更容易察觉这些区域。这个过程还可以可选地包括将数据发送回远程捕获设备212以便辅助远程捕获设备212调整其捕获参数,诸如透镜光圈和快门速度。
环境知识集
机器学习算法可以包括检测表现出异常温度梯度(诸如来自即将发生故障的机架中的计算机的热量)的场景的方面,并且提供附加细节或者产生可以被用于向操作者传达警告的特殊元数据。检测危险并优先化将那些危险传达给操作者所需的信息,诸如快速接近的车辆或坠落的物体。检测场景中每个人的位置并优先化来自当前正在讲话的人的音频数据。检测背景音频噪声并隔离噪声的源,以便主动抑制它们。
对象知识集
机器学习算法可以包括识别场景中的人并优先化在操作者显示器200上显示他们的形式的关键元素(诸如对于与那些个人交流很重要的面部和表情),并且识别其它生物并确定它们是否是远程操作者或本地场景中的其他人感兴趣的。确定是否正在发生任何异常行为(一个人处于困境或正在攻击另一个人)。识别场景中人类或其它生物的异常活动,例如,制造设施中的狗或卧室地板上的蛇等。
任务知识集
机器智能系统将使用其编码在知识库218中的关于人类行为和正在执行的特定任务的知识加上可选的关于用户意图的信息来优先化“必要”场景的元素。作为示例而非限制,这样的确定可以包括识别远程物理位置中所有障碍物的位置,以便移动设备可以避免碰撞。识别远程物理位置的关键元素(诸如门)并以高准确性确定它们的特点,以使远程设备能够可靠地通过它们而不会发生碰撞。识别远程物理位置的关键元素(诸如地板、墙壁和天花板),以确保它们始终准确地被呈现给操作者,并且即使它们并不是“令人感兴趣的”,也能清楚地表示它们的关系。识别视觉场景中的某些项是远程操作者可能希望与之交互的人。
相反,识别场景中人类不感兴趣的项(诸如距离较远的人或人群的一部分)。识别看似人类但实际上不是人类的图像(诸如真人大小的照片,其包括一个或多个人类的部分或全部图像)。同样的过程用于非人类的有生命元素。
元数据
机器学习系统210使用来自知识库218的信息来产生特定于应用的元数据,诸如温度信息、空间关系信息或适用于远程操作者正在试图执行的特定任务的其它信息。
过滤
远程相机处理单元214使用上述机器学习信息集来过滤和优化242来自远程捕获设备212的未加工输入数据流,以便生成经由网络222发送到操作者处理系统217的输出数据流。
优化可以包括但不限于以下内容:
仅选择捕获的视频图像的子部分进行压缩并发送到操作者处理单元216。确定要用于压缩视频流的不同区域的质量级别并在发送之前应用那些质量级别。如果适当,那么将未加工视频数据转换成完全不同的形式(诸如多边形网格和纹理或体素表示)以便优化表示它们所需的数据的量。为非视频数据(诸如红外覆盖层)确定适当的分辨率以优化其压缩。优先化对数据的多遍次压缩,以便首先发送低分辨率数据,稍后发送较高分辨率数据,以减少操作者对时延的感知。这可以被应用于任何类型的数据:视觉、听觉或传感器数据。
确定如何最好地合并来自多个视频捕获设备(诸如3D前置相机和360度广角相机以及自上而下的相机)的数据流。此类动作可能包括将高分辨率前视图与广角相机捕获的较低分辨率视图“拼接”在一起,以便为操作者提供看似单一、无缝的广角视图。
过滤掉不令人感兴趣的或不必要的音频数据。过滤掉不令人感兴趣的或不必要的传感器数据,诸如温度、距离等。移除视觉数据的整个帧,从而虽然缺少针对给定帧的实际数据,但仍可以使用插值来重建操作者处理单元216中的有效等效项。将来自操作者处理单元216的反馈提供给远程捕获设备212和/或远程相机处理单元220,以便向这些设备提供可以增强他们对操作者任务或意图的了解的信息,并因此允许机器学习系统应用附加的技术来优化要经由网络222发送的所生成的数据流的尺寸和时延。
在优化242接收到的输入数据集之后,优化的输入数据集现在通过网络222发送244到接收器,例如,操作者处理系统217。算子处理系统217(例如,操作者处理单元216)重构优化的输入数据流,以供在平台上使用。
移动性代理单元服务
现在参照图9,移动性代理单元服务系统通过经由一个或多个MSU行动来实现人的即时数字运输,例如,MSU 20a在MSU 20a的位置而人在物理上远离MSU 20a的位置。移动性代理单元服务系统(MSUSS)250包括一套软件应用,MSU所有者和租用者可以注册、接收账户,然后通过感测用户接口链接(SUIL)247以各种方式使用MSUSS 250。
使用的类别包括硬件所有者或租赁者(诸如企业、公司、政府、组织等)的“内部”使用。另一种使用是“外部”使用—诸如对于一定范围的用例由实体以外的人出租使用—旅行、社交、探索、艺术等,并且第三种用途是“就业”使用——诸如供第三方操作MSU 20a以便为个人、要素、制造、小企业、公司、教育、医疗、工作中心、个人服务执行任务,并且第四种使用是“志愿者”使用—诸如用于教育、医疗保健、社会公益等。
例如,在外部使用类别中,注册用户可以租用已注册并链接到MSUSS 250中的MSU,然后通过硬件的集合(诸如虚拟现实头戴式耳机、音频输入和输出硬件,以及某种形式的运动控制和可选的触觉和其它感测输入(诸如气味和味道)控制MSU 20a,以便他们可以远程操作MSU 20a。
同样,对于内部使用类别,MSU的所有者也可以以类似的方式使用相同的软件平台供自己使用或供家人、朋友、客人、员工等使用。
MSUSS 250能够控制MSU,其中数据从用户流向MSU 20a(数据是运动、音频、视觉等),并且数据从MSU流向用户(诸如视觉、触觉、音频)并具有完整的经验以被记录和分析。
这种所谓的“用户存档的”数据可以以多种方式被使用,诸如用于重放、数据挖掘和重新体验。MSUSS 250使用户能够经由虚拟现实系统或混合现实系统重温这样的体验。用户存档的数据还允许对现实世界的体验进行数据挖掘—搜集类似于在智慧城市中搜集的数据,但在这种情况下是从第一人称视角。
这种数据搜集方法提供了从每个用户搜集的数据,其可以被用于经由MSU确定人们在城市中的交互方式及其活动。
收集的数据还可以被用于训练AI潜意识(上面讨论的)。运动、视觉、音频和触觉(以及潜在地其它感测数据)可以经由机器学习被使用以训练AI潜意识,使得随着时间的推移,AI潜意识从每个用户体验中学习。最终,这个AI潜意识可以安装到MSU中,并辅助MSU功能。
还设想用户或者第三方可以在学习过程中辅助AI,诸如通过识别MSU正在经由人工操作者执行的任务。
AI潜意识分几个步骤演化。在那些步骤当中包括:(1)观察和学习,达到它可以(2)减少操作者的时延的状态,然后在许多用户完成同一任务之后(3)扩增执行此类任务的用户,并演化到其可以(4)自主完成此类任务的点。例如,随着AI潜意识演化,它将达到已经学会了足够多的知识来减少识别任务(某些运动或活动,诸如走路、拿起某个物体、开门等)的时延并在数据指令不连续或不准确的情况下移动以帮助用户完成该任务的状态。
AI潜意识被用于扩增用户的技能水平。扩增将来自收集和学习MSU的所有用户执行某些任务的所有活动。MSU将实现各种任务的自主运行。该系统和MSUSS 250被设计为促进将数据馈送到驻留在“云”中的机器学习AI潜意识,并周期性地将升级后的AI反馈到MSU20a。此类升级可以是免费的或者需要一定的成本,可以租用或购买等。同样的AI可以在MSU20a之外销售到各种机器人类型的系统中。
MSUSS 250将使那些希望购买或租赁新的或已使用的MSU的人能够通过MSUSS 250进行购买或租赁并获得筹资,就像一些汽车销售平台已经建立的筹资方式一样。MSUSS 250之外的筹资也将被实现。通过MSUSS 250,一旦AI已经得到训练,就可以租用增强的技能。
现在参照图10,示出了移动性代理单元服务系统(MSUSS)250。移动性代理单元服务系统250包括用户设备252(例如,SUIL)、网络254和基于云的系统257,系统257接收数据、将接收的数据处理成多个技能单元253并在基于云的存储装置中存储多个技能单元253。技能单元253是一系列计算机指令(和相关联的数据,如果有的话),当被MSU 20a加载并执行时,这些指令使MSU 20a执行某个任务255。技能单元253可以例如付费下载到MSU 20a中;在将技能单元253下载到MSU 20a中后,MSU 20a执行相关联的任务255。这些特征通过网络(例如,通过网关258a-258c)接收消息。
现在还参照图11,示出了系统270。系统270包括系统250的特征,诸如用户设备252(例如,SUIL)、MSUSS 250和MSU 20a,全部经由网关258a-258c耦合到网络254。现在考虑所下载的技能单元是网球运动员技能单元255。用户使技能单元下载到MSU 20a中。在网球技能单元的成功下载和安装之后,用户经由用户设备252控制MSU 20a。用户与另一个用户或如图所示的另一个MSU 20b发起网球比赛。用户272和MSU 20b经由网关278a和278b耦合到网络254。
用户控制MSU 20a来控制挥杆。挥杆将基于已下载并安装在MSU 20a中的技能单元255中的计算机指令。类似地,对于MSU 20b,由MSU 20a的挥杆返回的球将被来自MSU 20b的返回挥杆击中,但由用户设备272的用户控制。任何其它任务都将以类似的方式提供。该系统将提供来自一系列供应商的技能单元。
MSU可以拥有自主功能。用户可以选择机器学习技能单元,其将MSU变成服务员、厨师、女仆、医生等,前提是这些能力已经被训练到MSU中,如上面所讨论的。
MSUSS 250在用户的账户中记录用户在使用MSU期间贡献的训练数据量。这意味着当用户使用例如MSU 20a时,数据被上传并标记有用户ID,以便系统跟踪每个注册用户的贡献。MSUSS 250可以经由内部信用系统或某种形式的加密或数字硬币或其它机构给予那个用户信用。这将激励用户成为第一批采用者,因为他们可以获得价值增长并超过他们租用代理所花费的金额的信用。
RAU的外部使用
MSU的外部使用是经由MSUSS 250完成的,它使所有者能够将其MSU注册到MSUSS250中,以便非所有者可以租用,以及由所有者和他们指定能免费访问的人进行访问。这个用户可以限制谁有权访问代理、何时可以访问、租用或租赁它的成本,甚至购买MSU的金额。MSUSS 250通过从其租用MSUSS 250方便了MSU的即时使用。
MSUSS 250的租赁方面有几个层次。考虑人计划举办派对。人想要MSU作为服务员、厨师和表演者。这个人不拥有任何MSU。MSUSS 250使拥有或控制MSU的第三方能够将其出租给当事人一方。该人将使用MSUSS 250以进行租用并交付MSU。该人还将使用MSUSS 250雇用“飞行员”,即,具有控制MSU所需技能的操作者。MSUSS 250将具有认证过程以及证明过程,以向用户确保飞行员有足够的技能来操作该人租用的MSU。
认证
在基本级别,用户用他们的设备进行注册,例如智能电话或膝上型计算机以及电子邮件地址或电话号码。这使他们可以访问MSUSS 250的基本级别。作为注册的一部分,用户将向MSUSS 250核实他们的身份。这将涉及提供可以被用于识别用户的附加信息。可以采用诸如指纹、面部识别或视网膜扫描之类的身体度量以及诸如在开设银行账户时会提供的其它个人标识符。
证明是用MSUSS 250执行的注册过程的另一方面。现在系统已经认证了您是谁,用户需要知道该用户正在与具有所需技能背景的人签约,并且该人知道如何通过特定的MSU课程提供这些技能。技能水平不必针对完全相同的MSU,但可以针对一类MSU。
可以经由MSU在一个或多个环境中的虚拟现实模拟来执行证明。证明将涉及用户执行任务的集合;当用户达到要求的技能水平时,用户获得证明。MSUSS 250将使用户能够进行这些测试并获得不同级别MSU的各种证明。根据将要执行的任务的难度或复杂程度,多种类型的证明是可能的,并且级别不同。服务员的证明可以与厨师的证明不同,而医生的证明则与两者截然不同且更难。除了证明您具有操作MSU以执行您所拥有的任务的技能外,它还可以包括其它度量,诸如您在VR练习中花费了多少小时,实际操作中花费了多少小时等。
MSUSS 250使用户或公司能够推销他们的服务。这些服务可以是各种服务,诸如教师、医生、工程师、牙医、讲师、检查员、水管工、厨师、清洁工、舞者等。MSUSS 250将启用用于任何技能的营销的简单过程,将其放入适当的类别。
提供者将被认证和证明(包括被外部机构或政府组织的证明)。提供者将设置他们的服务价格、列出他们的技能集合、可用的操作时间等。当用户的服务被预订时,该小时或该天变得不可用。系统可以收取一小部分支付的费用,然后再将其余部分发送给提供者。
可以在MSUSS 250中部署的另一个特征是内置于MSU中的隐私功能。这个功能获取视觉数据并模糊或遮挡图像的某些部分以维护客户和/或客人的隐私,以及可能出现在MSU视野内的任何文档。MSUSS 250可能用某个扩增的覆盖层来代替每个人的脸。这种覆盖层实际上可以帮助服务员以帮助服务员提供服务的方式识别每个人,但同时保持他们的私密性。可以将音频以及图像或视频数据设为私有。例如,如果有人直接与MSU通话或从MSU请求服务,那么MSU会听到请求。
通过该平台启用扩增图像阻塞。来自MSU的视觉相机数据经由MSUSS250得到扩增。扩增可以出于任何原因。扩增可以是视觉、音频,或者甚至触觉修改。
AI潜意识平台特征
假设目前我们有AI潜意识,让我们探索平台中的一些应用。在操作者(飞行员)和MSU之间发送的数据通过平台。MSUSS 250将所有这些数据输入到AI潜意识过程中。来自多个单元的所有MSU操作的所有数据都成为学习数据的一部分。随着AI潜意识能力的增长,它也可以在每个MSU中具有基于这种学习的AI程序。
最终,AI将从简单的学习(阶段1功能)进阶到阶段2,即,部署在MSU中以减少时延并提高某些动作的质量的点。这个动作将在MSU中安装的系统中进行。系统被设计为补偿来自MSUSS 250的控制信号发送缓慢或丢失的情况。这个AI功能将有助于填补从穿过房间到到达和捡起物体,再到从a点导航到b点的这些间隙。在阶段3,系统将进阶到它可以扩增或增强用户行为的阶段。这可以是执行简单任务(诸如进行切割)或复杂任务(诸如缝合伤口)。扩增可以是物理增强的,也可以是视觉增强的。
在第一阶段—学习阶段—MSUSS 250还可以执行跟踪用户在操作MSU时供应哪些有用数据的功能。当用户使用MSU进行操作时,用户的数据会提升某些特质,并且将跟踪用户的贡献,并且如果这些贡献导致应用生成收入,那么系统可以为此类贡献提供信用或甚至现金的支付。
在扩增的阶段3之后,系统最终将针对一些活动进阶到阶段4,这些活动成为自主活动。这些特定的自主功能又是可以与用户或RAU相关联的功能。各种特定功能将不断累积,从而构建更通用的自主机器人,但是不是真正的通用AI系统—而是特定自主功能的大集合。
服务
这个MSUSS 250的益处之一是其提供服务的能力。这与出于某种目的而想要租用MSU的用户的功能不同。代替地,它是用户从一个或多个人类那里获得他们想要的服务的合同。可能性非常大—医生、工程师、诗人、厨师、清洁工、维修人员、网球教练、园丁、调酒师等。MSUSS 250被设计为使那些想要提供其服务的个人或实体能够提供服务。如前面所提到的那样设置它们的成本和可用性,它还提供了我们已经涵盖的证明和认证。
身体工作中心
这个MSUSS 250的另一方面是它可以被用于促进身体工作中心。身体工作中心类似于呼叫中心,不同之处在于,人才(talent)可以执行特定的任务,而不是对话。通过向第三方提供如下面所讨论的感测用户接口链接(SUIL),MSUSS 250将有能力让第三方建立集中式以及分布式的劳动力。
注意:这与拥有其装备并具有连接性并且为人们提供服务以便进行订购的人不同。在这种情况下,第三方营销并覆盖控制设备的基本成本,而操作者则为第三方工作以完成已订购的任务。MSUSS 250将从提供的所有服务中收取一些小额费用或百分比—在每笔交易中为公司创造收入。
在提供服务时,另一个需要是提供给定任务可能需要的工具。MSUSS 250将检查您是否具有该工具。如果用户没有该工具,那么可以在平台上租用或出售工具,并且MSUSS250将为服务收取少量费用。
拥有或具有一个或多个MSU并且需要工人来操作它们的公司、组织甚至个人可以广告他们的工人需求,并且符合要求的工人可以获得操作MSU的合同。MSUSS 250营销工作需求,使工人能够获得工作,并跟踪工人的表现。MSUSS 250也可以支付工人的工资。对于这项工作以及经由MSU提供的而不是由拥有MSU的公司的工人提供的任何其它工作,系统将收取支付给提供其服务的工人一定比例的费用。
MSUSS 250促进行进,而无需考虑特定任务。这个行进功能使用户能够从想要提供其MSU资产的实体或个人列出的可用MSU池中进行选择。
另一方面是地理围栏。地理围栏是选择MSU将在其中操作并且可以约束MSU在其内的地理区域的能力。相反,根据任务的性质/位置,地理围栏还意味着能够防止MSU进入给定区域。
投影
一些MSU可以具有可以显示用户的面部的屏幕。这些可以是任何形状、尺寸或构造的屏幕,例如平面屏幕、曲面屏幕、深度投影屏幕、投影屏幕等。可以有一个屏幕或多个屏幕。这些屏幕可以被用于投影用户的面部或用户身体的其它部位(或者甚至其整个身体)。
进入这些屏幕的数据将主要但不完全来自平台。数据也可以来自MSU以及来自其它外部源。例如,用户的作为动画对象的面部投影可以存储在MSU上(经由平台上传、直接从数据棒或从另一个源读取)。这可以是静态图像,但也可以是3D动画对象,例如,当用户操作MSU时,它可以经由通过MSUSS250发送的数据来映射操作者的表情。
另一方面,数据可以来自MSU的内部操作。它也可以是操作者想要向观察MSU的人显示的视频、音频、文本或图像数据。数据可以源自房间内或房间外部或MSU位置的第三方。MSU的用户可以从中选择的各种源可以显示在一个或多个屏幕上。以这种方式,MSU可以充当门户平台。MSU的操作可以投影他们想要被视为操作者的任何图像—而不仅限于他们自己的脸或者甚至是人类。
可替代地,用户可以通过扩增现实设备查看真实环境中的扩增对象,而人类将观看到飞行员选择的任何图像。这可以直接从云到扩增现实设备完成,这样就不会将数据发送到MSU。
多用户
现在让我们考虑单个MSU中的多用户的情况。在这个实施例中,两个或更多个飞行员控制MSU。他们可以控制不同的方面—比如一个飞行员控制左臂,另一个飞行员控制右臂,并且另一个飞行员控制底座。根据用例,任何部分都可以由一个或多个用户控制。
其它实施例包括将控制交给作为“乘客”的用户组中的一个用户的彩票(lottery)系统。例如,在MSU放置在特定位置,并且许多人经由MSU观看到、听到和感觉到但一次只有一个人可以获得控制的情况下,这是有用的。也可以通过竞标系统,其中每个乘客竞标以取得对MSU的控制。
用于操作和控制移动性代理的数字感测用户接口链接:
该系统包括MSU 20a(参见图11)和MSUSS 250,MSUSS 250经由网络和作为硬件和软件(VR、动作捕获、触觉、音频、计算机等)的系统的感测单元接口链接将操作者连接到MSU20a,如图9中所示。
用户的运动与MSU 20a的运动同步。该系统可以使用设定的位置,使得MSU 20a处于起始位置并且人尝试匹配该位置。
在本文讨论的系统中,数字感测单元接口链接使用人的数字化身,当用户将虚拟现实头戴式耳机戴在用户头上时,用户在连接到MSU之前可以首先观看到这个人的数字化身。用户戴上VR头戴式耳机,但还没有通过MSU 20a的眼睛进行观看。代替地,用户观看虚拟房间,并且在这个房间里,用户观看到人自己的数字版本,例如,从用户的角度来看。
此后,当VR头戴式耳机和MSU 20a相机视觉之间的数字感测单元接口链接被激活时,数字感测单元接口链接观看到MSU 20a。现在,用户可以通过MSU 20a的眼睛进行观看,并且可以向下看并观看到用户的移动性代理身体。这里的优点是,无论移动性代理的位置如何,用户都可以使用户的身体、手臂、腿对齐。移动性代理头部是焦点,因此移动性代理的头部与操作者对齐,从而确保他们从相同的角度进行观看。
MSUSS 250将移动性代理MSU 20a调用到任何数量的就绪位置,并且用户匹配该定位。此外,根据发送速度,有时会有时延。在MSUSS 250中,用户可以选择查看该时延—这样,如果用户伸手去拿物体,用户就会看到虚拟—数字SUIL—手伸向物体—但如果移动性代理慢—那么用户的虚拟现实手可能与移动性代理单元分离—但用户知道用户到达了该物体并且可以等待移动性代理手赶上。用户还可以选择发出某个命令、手势或其它信号,以便用户可以脱离,将用户的数字手留在用户想要MSU 20a的手去的地方,并放下用户的手,同时用户等待以便移动性代理的手赶上。
当用户脱离时,用户可能观看到另一个数字版本,例如不同颜色或更暗的版本,即,现在用户观看到移动性代理手的位置,其中虚拟数字SUIL是移动性代理手最终将赶上并且用户的实际手相对于其所在的位置。一旦移动性代理手赶上,用户就可以将用户的辅助虚拟SUIL重新对齐、重新同步并继续用户的动作。对于另一个示例,用户有时可能想要松开右手和右手臂或左手和左手臂来控制操纵杆以控制移动性底座,同时将移动性代理的手臂保持在原处。用户可以移动移动性代理,然后重新参与。
一旦活动被设置为任务,MSU就可以具有其可以执行的活动的级别。例如,用户开始切菜。一旦开始这个任务,用户就可以脱离并让MSU继续该任务,同时用户的手臂休息等,或者用户可能正在控制额外的MSU。即,有时用户会想要参与和脱离以及跟踪用户何时领先于移动性代理的动作。使用可以参与和脱离以及分离的数字SUIL实现了原本不可能进行的一系列活动。
安全机器人应用专用网络适配器
下面描述的是用于将操作者安全地连接到远程MSU的平台。该平台包括若干层认证,包括人员、设备和应用层。当操作者连接到远程MSU时,除了用户所在位置的任何有效策略外,操作者遵守与MSU所在设施相同的安全策略是重要的。用户的连接应当能够防止故意中断和故意接管对化身的控制。当来自MSU的数据在用户和MSU之间发送时,用户的连接也应当是安全的。
用户与MSU的连接是实时发生的。即,它将充分同步,以使得用户能够以与如果用户与MSU在同一个房间并直接连接到MSU那么化身将被控制的方式可比的方式来控制化身。
下面描述的是允许使用分布式发送过程进行安全连接的平台,与常规的加密和服务质量(QoS)方法相比,该过程提高了安全性、可靠性和发送速度。该平台使用几种现有技术的混合来产生同步的分布式虚拟专用网络(VPN),其允许在逐个服务的基础上在VPN内应用服务质量测量。
需要考虑的一个方面是优先级。例如,当视频正在穿越VPN时,视频信号将获得比其它业务更高的优先级,以确保操作者的低时延体验。类似地,如果语音数据正在穿越VPN,那么根据手头的任务,它可以被赋予略高于或低于视频的优先级,以便确保为操作者提供尽可能流畅的体验。其它信息的优先级可以低于视频和音频信息。要考虑的另一方面是发送路径。分布式虚拟专用网络依赖于通过多条不同路径发送的数据。要考虑的另一方面是加密密钥。常规加密算法在产生安全连接时协商单个加密密钥,然后通过单条路径发送数据。
现在参照图12,示出了平台280。该平台包括发送器282和接收器284,它们分别通过网关G1和G2与虚拟专用网络286通信。在发送器282中是考虑发送的优先级的服务级别确定器。平台280中启用了不同的服务级别。平台280,例如,在发送器282中或在平台280中的其它地方,确定被请求发送的数据的类型并为不同数据类型中的每一个指派服务级别。
例如,提供视频、音频和其它数据的混合数据流。第一服务级别是确定视频信息是否正在穿越VPN 286。当视频正在穿越VPN 286时,视频信号将被赋予比其它业务更高的优先级,以确保操作者的低时延体验。根据手头的任务,其它类型的数据(诸如语音数据)被赋予比视频略高或略低的优先级。还有其它类型的数据被赋予比视频和语音或音频信息更低的优先级。VPN286由数据穿越的多个节点286a、286b(路由器、交换机等)组成。图12中的节点286a形成第一发送路径并且节点286b形成第二发送路径,该第二发送路径在至少一个节点中不同。在发送的另一端是接收器系统284,例如MSU20a(图1)。
发送器系统282将数据发送流拆分成多个片段并将每个片段指派给多条发送路径之一。每个片段被指派序列号,该序列号向该片段提供在接收器端将这些片段重构为数据发送流的次序。发送器282通过为片段协商不同的发送路径跨VPN 286的不同路径287a或287b发送片段。
在发送之前,每个片段都用几个不同的私有发送密钥之一加密。例如,可以使用安全发送和接收“密钥”(例如,私钥和公钥,诸如RSA或DSA或ECDSA密钥)。此外,在一些实施例中,可以使用对称加密,前提是对称密钥以另外的安全方式交换。分布式虚拟专用网络286依赖于通过多条不同路径发送的数据。通过多条不同路径的发送允许以较低的加密级别对各个分组进行加密,因为如果数据被危及,那么它只会是整个数据流的一部分(例如,帧的一小部分),但危及不会影响整个数据流,并且因此不足以危及数据。
常规加密算法在产生安全连接时协商单个加密密钥,然后通过单条路径发送数据。这个平台使用多个密钥来实现不同的目标,并以独特且不同的方式实现其协议。
多条路径的特征包括沿着发送路径的中间机器会有所不同,因此一个分组可能会通过特定的三个设备的集合,而下一个分组可能通过至少一个不同的设备。一些数据可以通过完全不同的网络路径被传送,如图12中所描绘的,并且实际上数据可以通过完全不同的网络被发送。例如,一些数据可以通过一种类型的网络(诸如蓝牙)被传送,而同一逻辑流中的其它数据将使用WiFi。加密密钥协商过程可能发生在多于一个网络上,或发生在不用于数据传送的通道上。
用于每条路径的加密密钥不必相同。理论上,每条不同的路径都可以使用不同的密钥,这进一步阻碍了解密和破坏数据流的尝试。某些形式的数据可以使用不同类型的加密算法进行加密,其中一些算法比其它算法更安全,以便更可靠地保护更敏感的信息。
可以用更好的算法对包含名称或涉及文档传送的文本流进行保护,因为它们更容易被危及。包括低分辨率数据的流的部分可以用较不复杂的更快的算法进行编码,因为它们包含的敏感信息较少(尤其是,没有文本或可识别的面部)。可以用与视频数据不同的级别对语音数据进行编码。
其它加密方法包括在传送期间周期性地重新协商加密密钥,经由相同或不同的通道,从而使得整个流的捕获和可靠解码更加困难;即,如果忽略了密钥,那么访问它所适用的流就困难得多。这种重新协商可以基于时间、发送的分组的数量或发送器系统282和接收器系统284两者已知或可知的任何其它参数。
中间设备可以添加加密,使得在传送的最后一步之前不存在分组的完全加密版本。这将挫败试图在发送器282和接收器284两者之间的交换中间截取数据的捕获机构。
一些分组可能会被多于一次地发送。这可以由于要求重新发送丢失的分组的不稳定连接而发生,但也可以是故意这样做以混淆试图拦截流的人。编码和发送过程中的其它考虑因素可以包括:
数据的编码和解码的部分可以用硬件而不是软件来实现。这样做提高了此类操作的速度,这对于减少时延是有用的。可以通过充分利用在发送过程中使用的设备中可用的现有QoS协议来促进发送,从而将一些分组的递送优先于其它分组的递送。
并非所有通过各种路径发送的信息都需要是“真实”数据。数据分组中的一些可以是“诱饵”分组:在外部观察者看来是完全合法的数据分组,但实际上不包含可用数据并且插入流中只是为了转移对真实分组的注意力并延迟或复杂化解密流的过程。
发送器282和接收器284系统都知道哪些加密密钥用于加密哪些数据,以及哪些路径用于数据发送等。而且,发送器282和接收器284都知道哪些数据是“真实”数据以及哪些数据是“诱饵”分组。即,发送的所有变化都可以在发送之前通过发送器282和接收器284之间的带外消息交换来协商。
协商加密/解密密钥的过程可以生成比实际需要的更多的密钥。因此,一些密钥可能在发送期间未使用,并且如果那些密钥被盗,则尝试使用那些密钥来解密数据将不会提供任何有用的数据,并且反而会延迟和复杂化对数据流的不期望的拦截。发送器282和接收器284系统都知道使用了哪些加密密钥。
并入的认证可以是常规性质的。这可以涉及用户名和密码。
替代的基于多用户的应用
下面讨论的是上面讨论的移动性代理概念的替代的基于多用户的应用。这些替代方案将移动性代理概念与美国专利10,223,821中描述的多用户场景相结合,该专利由Raymond C.Kurzweil于2017年4月25日提交并转让给Beyond Imagination公司,其全部内容通过引用并入本文。
参照图13,虚拟相遇系统310在第一位置311a包括第一代理平台312a(例如,MSU)、第一用户314a、第一通信网关316a、由第一用户314a穿戴的第一副护目镜320a,以及也由第一用户314a穿戴的第一无线耳机对(耳机322a和耳机323a)。虚拟相遇系统310还包括至少第二位置311b。在第二位置311b的是第二代理平台313b(例如,MSU)、第二用户315b、第二通信网关316b、由第二用户314b穿戴的第二护目镜集合320b和也由第二用户314b穿戴的第二无线耳机对(耳机322b和耳机323b)。网关316a和网关316b通过网络24(例如,互联网)连接。
至少一个并且通常所有的MSU 312a、312b都具有移动功能并且具有支撑类人头部(未提及)的类人上部躯干321a、321b的至少一部分。通常,支撑类人头部的类人上部躯干321a、321b可以由制造相对便宜但仍可传达人类的外观的类人形形式元件制造。移动性功能是指代理在物理位置周围移动的能力。
如图所示,至少一个并且通常所有的MSU 312a、312b都是上面讨论的移动性MSU并且包括移动性底座323a、323b以提供移动性功能,并且至少一个并且通常所有的代理躯干321a、321b如图所示布置在移动性底座323a、323b上。移动性底座323a、323b的示例可以包括经修改的常规的电动轮椅,以及更先进的底座。
移动性底座的这些示例被修改以通过跨诸如公共网络(例如,互联网或专用网络)之类的网络发送命令消息来实现对底座的远程控制。先进移动性底座的一些示例是美国专利5,701,965和7,131,706中描述的那些底座,如本文所讨论的,这些移动性底座被修改。
这些命令消息将包括控制移动性底座的各方面的控制信息(移动、开始、停止、爬升等)以及控制数据(例如,方向和范围或行进速度)或作为控制数据的补充,具有由移动性底座的类型确定的命令消息的细节。
包括移动性功能的完整机器人类型代理(诸如结合上面提到的2005年6月16日公开的公布US 2005-0130108 A1中的一些实施例所提到的)被排除在本文使用的代理的含义之外。但是,包括其它功能性(诸如移动其头部和/或手臂部分的能力)的机器人类型代理(即,依靠分离的移动性平台进行移动的机器人躯干)包括在本文使用的代理的含义内。
如本文所使用的,移动性底座是机械化车辆。移动性底座包括各种结构组件,这些结构组件包括用于携带人体模型或机器人躯干的支撑件和包括轮子等的机械化运输模块以及具有转向的驱动机构,其提供车辆跨地面或其它表面的运输。如下文将解释的,当用户314a在位置311a中与第一代理平台312a交互时,用户314a实际上感知到在位置311b中观看到用户314b和听到用户314b。此外,利用与第二代理平台312b相关联的移动性底座323b,用户314a在与位置311a中的第一代理平台312a交互时,可以通过在位置311a中的第一用户接口控制设备314a来控制与第二代理平台312b相关联的第二移动性底座323b。第一用户接口控制装置360a被配置为控制在位置311b中的第二移动性底座323b。这允许用户314a基于代理312b在位置311b周围的物理行进来实际感知用户314b、听到位置311b中的用户314b听到的内容。代理312b的行进(即,移动性)由用户314a经由用户接口设备360a控制移动性底座323b来控制。
同样,当用户314b与位置311b中的第二代理平台312b交互时,用户314b实际上感知到在位置311a观看到用户314a和听到用户314a。此外,利用与第一代理平台312a相关联的移动性底座323a,用户314b可以通过位置311b中的第二用户接口控制设备360b来控制与第一代理平台312a相关联的第一移动性底座323a。第二用户接口控制设备360b被配置为控制位置311a中的第一移动性底座323a。这允许用户314b基于代理312a在位置311a周围的物理行进来实际感知用户314a、听到位置311a中的用户314a听到的内容。代理312a的移动(即,移动性)由用户314b经由用户接口设备360b控制移动性底座323a来控制。
下面讨论网关316a和316b的细节。可以说例如当用户314a和314b通过使用分别与移动性底座323b、323a配对的远程控件360a和360b通过相应的MSU 312b和312a进行交互时,网关316a和316b执行过程来处理和运输从设备产生的未加工数据。在这里还可以说MSU上携带的相机和麦克风提供发送到用户护目镜的图像和音频,这允许用户观看到和听到对应代理所观看到和听到的内容。移动性底座323a、323b分别由远程控件360b、360a控制,远程控件360b、360a位于与移动性底座323a、323b的物理位置不同的物理位置,从而允许位于远程控件的位置的用户控制移动性底座的移动,并因此人形形式的行进以非常经济有效的方式提供代理移动性。
在下面的讨论中,当用户和配对的代理处于不同位置时,用户被视为与代理“配对”(即,一个位置中的代理充当该位置的代替位于不同位置的用户的“替身”),并且当用户和代理在物理上位于同一位置并且用户在同一物理位置与代理交互时,该用户被视为与代理“相关联”。因此,在图13中,用户314a和第二代理平台312b“配对”,就像用户314b和第一代理平台312a“配对”那样,而用户314a与第一代理平台312a“相关联”并且用户314b与第二代理平台312b“相关联”。在会话期间,配对是固定的,而关联可以变化。
类似地,当用户接口和代理平台的配对的移动性底座位于不同位置时,用户接口被认为与代理平台的移动性底座“配对”(即,一个位置的代理平台的移动性底座由不同位置的用户接口控制,在用户将移动时,该用户接口有效地允许代理在那个位置代替用户移动)。
因此在图13中,用户接口360a和第二代理平台312b“配对”,就像用户接口360b和第一代理平台312a“配对”那样,而用户314a与第一代理平台312a“相关联”并且用户314b与第二代理平台312b“相关联”。而且,在图13中,用户接口360a由用户314a携带并与第二代理平台312b的第二移动性底座323b配对,并且用户314b携带的用户接口360b与第一代理平台312a的第一移动性底座323a配对。
图13中还示出了两个附加的实体集合,一个集合在位置311a中,而另一个集合在位置311b中。(在实际应用中,每个位置中可以有许多附加的实体集合,但为了清楚起见,本文只讨论两个附加集合。)而且,在实际应用中,可以有多于两个位置,但为了清楚起见,下面讨论仅两个位置。在位置311a中存在具有用户接口361a的附加用户315a和具有移动性底座325a的附加代理平台313a(例如,MSU)。在位置311b中存在具有用户接口361b的附加用户315b和具有移动性底座325b的附加代理平台313b(例如,MSU)。对于这个讨论,首先仅考虑位置311b中的附加实体(用户315b和代理平台313b)。
因此,在至少一个位置存在由移动性底座支持的代理底座,并且在至少一个不同位置存在被配置为允许用户控制移动性底座的用户接口控制设备。
关于在位置311a处的用户314a,用户314a将通过第二代理平台312b如上观看到用户314b,但有时用户314a还将通过第二代理平台312b观看到代理平台313b。期望用户314a不是观看到代理平台313b,而是观看到与代理平台313b配对的用户315a。即,用户314a观看到代理平台313b,因为用户314a观看到和听到第二代理平台312b观看到和听到的东西,因此当第二代理平台312b在其视野中具有代理平台313b时,用户314a感知观看到代理平台313b,并且(如果用户315b也在视野中,也可以观看到用户315b)在位置311b处。在这种情况下,第二代理平台312b看到代理平台313b,但看不到用户315a。
为了解决这个问题,虚拟相遇系统310包括别名替换处理。在一种实施方式中,对于两个位置集合有一个别名替换处理模块。在另一种实施方式中,每个网关处都有别名替换处理模块。在后一种实施方式中,每个网关系统316a、316b分别包括别名替换处理模块317a、317b。
在上面提到的已发布的美国专利10,223,821中公开了对别名替换处理的完整描述,该专利的全部内容通过引用并入本文。根据需要,下面将讨论别名替换处理的一般概念。此外,将呈现具体地与本申请的主题相关的别名替换处理的方面。
别名替换处理模块317a、317b处理从相应位置的MSU接收的图像并执行实时图像变换,以便用户看到代理表示的用户而不是在远程位置看到另一个用户的代理。本质上,无论存在一个还是多个别名替换处理模块,别名替换处理都以类似的方式工作。
换句话说,在图13的上下文中,别名替换处理317b从第二代理平台312b接收图像并且通过用代理平台313b表示的用户315a的图像替换接收到的图像中具有代理平台313b的那些部分,来实时地变换从第二代理平台312b接收的一些图像的部分。即,别名替换处理317b用位置311a中的配对的用户315a的图像来替换代理平台313b图像。这种替换可以是静态替换,这意味着可以在所有替换中使用相同的图像,从而忽略相关联的人类用户的任何移动,或者替换可以是动态替换,这意味着图像的替换将包括与相关联的人类用户的移动对应的图像。
在任一情况下,都可能需要修复周围场景的图像(特别是在背景和用户图像之间的交叉区域),以使图像看起来不会参差不齐或不寻常。基于像素的别名处理可以被用于修复这些交叉,以移除锯齿状边缘并将图像与背景混合。在通过位置311b中的第二代理平台312b观看时由用户314a穿戴的护目镜呈现的图像将不呈现代理平台313b而是呈现用户315a。实现此目的的技术如下所述。
关于用户314b,用户314b将通过位置311a中的第一代理平台312a在位置311a观看到用户314a,并且用户314b还将观看到代理平台313a而不是用户315b。再次,这个问题可以通过虚拟相遇系统310使用别名替换处理模块317a执行别名替换处理以执行实时图像变换来解决,这样用户314b就不会在远程位置311b观看到用户315b的代理平台313a,用户314b观看到与代理平台313a配对的用户315b。
在单个别名替换处理模块(未示出)的实施方式中,该模块将执行由别名替换处理模块317a和别名替换处理模块317b执行的功能。
如同别名替换处理317b一样,别名替换处理317a从第一代理平台312a接收图像并且用静态或者动态替换来实时变换从第一代理平台312a接收的图像,这意味着相同的图像可以用于所有替换,或者替换可以是动态的,这意味着替换将捕获相关联的人类用户的移动。在任一种情况下,都可能需要再次修复周围场景,以使图像看起来不会参差不齐或不寻常。因此,在通过位置311a中的第一代理平台312a观看时由用户314b穿戴的护目镜呈现的图像将不呈现代理平台313a而是呈现用户315b。
参照图14A和14B,每个代理平台312a-312b(所描绘的替代的更像人类的MSU,但是可以使用MSU 20)包括分别位于左眼眶334a和334b中的相机(例如,相机330a和330b)和分别位于右眼眶338a和338b中的相机(例如,相机336a和相机336b)。每个代理平台312a-312b还包括分别位于左耳346a和346b内的至少一个麦克风(例如,麦克风342a和麦克风342b)和分别位于右耳352a和352b内的麦克风(例如,麦克风348a和麦克风348b)。每个代理平台312a-312b还包括包含电池(未示出)的发送器(例如,发送器372a和发送器372b)。发送器372a-372b将来自相机和麦克风的音频和视频信号发送到通信网关316a-316b。
参照图14C,代理平台313b(所描绘的替代的更像人的MSU,但是可以使用MSU 20)包括分别定位在左眼和右眼框(未示出)中的相机335a、335b、分别定位在左耳/右耳(343a、343b)内的麦克风349a、349b,如上面所讨论的,以及发送器372c(类似于第二代理平台312b)。
虽然在上述美国专利10,223,821中描述了护目镜并且包括左显示器和右显示器以及左接收器和右接收器,但也可以可替代地使用头戴式耳机。接收器接收从配对的代理发送的音频和视频信号,其中声音由耳机呈现。
参照图15,每个通信网关316a-316b包括适配器378a-378b、处理器380a-380b、存储器384a-384b、接口388a-388b和存储介质392a-392b(例如,硬盘、闪存等)。每个适配器378a-378b与网络24建立双向信号连接。每个接口388a-388b经由代理平台312a-312b中的发送器372a-378b接收来自相机330a-330b、336a-336b的视频信号和来自麦克风342a-342b、348a-348b的音频信号。每个接口388a-388b经由接收器370a、370b向护目镜320a-320b中的显示器356a、356b和360a、360b发送视频信号。每个接口388a-388b经由接收器374a-374b向护目镜320a-320b中的耳机324a-324b、326a-326b发送音频信号。每个存储介质392a-392b存储操作系统396a-396b、用于建立与其它通信网关的通信链接的数据398a-398b,以及由处理器380a-380b在相应存储器384a-384b中执行以向网络24和从网络24协调、发送和接收音频、视觉和其它感测信号的计算机指令394a-394b,。图13的系统310内的信号使用标准的流发送连接使用带时间戳的分组或位流通过连续连接被发送。
图13中的每个MSU都经由通用代理平台(USP)通过到MSU的相应SUIL与其对应的用户进行交互。图13中系统的一个潜在应用是作为虚拟相遇的一部分,其中用户通过用于MSU的移动性代理在虚拟世界中的训练场景更充分地在虚拟世界中操作,与上面讨论的现实世界训练相反。
使用系统310,两个用户(或四个用户)可以进行交谈,其中每个用户通过配对的MSU 314a、314b和/或315a、315b感知到与他们在同一位置的另一方。在操作中,相机330b和相机336b从位置311b记录视频图像。视频图像作为视频信号被无线地发送到通信网关316b。通信网关316b通过网络24将视频信号发送到通信网关316a。通信网关316a将视频信号无线地发送到护目镜320a。由相机330b记录的视频图像被呈现到显示器356a上,并且记录在相机336b上的视频图像被呈现到显示器360a上。
同样,通信网关316a和通信网关316b通过网络24在相反方向上工作,使得来自位置A的由相机330a记录的视频图像被呈现到显示器356b上。由相机336a记录的视频图像被呈现在显示器360b上。
由在位置A处的麦克风342a接收的声音被发送到耳机324b,并且由麦克风348a在位置311a处接收的声音被发送到耳机326b。由在位置311b处的麦克风342b接收的声音被发送到耳机324a,并且由麦克风348b在位置311b处接收的声音被发送到耳机326a。
类似的考虑适用于关于用户315a、315b和MSU 313a和313b的附加信道。
使用系统310,两个用户或四个用户还可以控制其对应MSU 314a、314b和/或315a、315b的移动,这些MSU在与对应用户接口312a、312b、361a、361b的位置不同的物理位置并与之配对。因此,每个用户除了通过用户对应的配对移动性代理感知到另一方与该用户在同一位置外,当移动性代理在具有用户接口设备的用户的控制下移动时,该用户还感知到与移动性代理位于不同位置和不同位置环境的用户在不同的相应物理位置四周移动。
例如,返回参照图13,假设两个用户312a、312b(四个用户将是相似的)正在进行交谈。用户312a通过用户312a的配对的移动性代理314b将其他用户312b感知为与用户312a处于相同的物理位置。通过用户接口控制360a,用户312a控制配对的移动性代理314b的移动。类似地,用户312b通过用户312b的配对的移动性代理314a将用户312a感知为与用户312b处于相同的物理位置。通过用户接口控制360b,用户312b控制配对的移动性代理314a的移动。因此,用户312a、312b中的每一个除了感知到另一方在同一位置(感知到正在听到并观看到移动性代理听到和观看到的内容)还具有随着代理移动/位置的改变而改变的感知。
如在其全部内容通过引用并入本文的2005年6月16日公开的专利申请US 2005-0130108A1中更详细地示出和解释的,可以包括其它特征,并且可以根据移动性平台的使用进行修改。例如,可以更改由MSU捕获的背景,使得用户感知到不同的背景、可以对用户图像进行变形等。
例如,用户314a可以接收用户314b的图像,但是用户314b背后的实际背景被更改。例如,用户314b在房间内,但用户314a感知到用户314b在海滩或山顶(未示出)上。
在其它实施例中,用户314a可以接收用户314b的变形的图像。例如,用户314b的图像通过网络24发送到通信网关316a。
可以修改公布的美国专利10,223,821中公开的别名替换处理,以考虑移动性代理相对于给定物理位置中的关联用户的移动。别名替换处理接收指定每个MSU的物理位置的信息。从MSU接收的信息可以包括位置信息以及速度、倾斜度、行进方向等。可以处理这个信息以进一步辅助移动性代理313b的位置中的别名替代处理。这个信息将通过与用于输送控制信息的信道不同的信道来输送。
另一方面,这个信息可以代替地根据从用户接口发送的命令消息来导出。例如,移动性代理的参考位置可以在会话开始时建立,并且该参考被传送到别名处理。在会话期间,在从用户接口发送的命令消息中,除了命令信息(例如,控制移动性底座的命令)之外,还可以有数据。消息中包含的数据可以例如是指定距离和行进方向的信息(或者行进距离和方向可以通过例如用户控件的声明的物理和时间范围来推断,诸如操纵杆或按下控制按钮或滑动条的声明程度等。)这个数据(无论是发送到(一个或多个)对应移动性底座的数据还是推断的数据)都在具有多用户和多MSU的位置跟踪移动性平台中作为附加输入提供给别名处理。
处理模块可以是作为网关设备的一部分的编程的计算设备,或者可以是分开的计算设备(诸如计算机和/或服务器计算机系统)。服务器可以是单个服务器,或者是位于同一位置或不同位置的一组服务器。这些服务器系统可以是专用系统,例如,在“云计算”环境中运行并使用适当的联网技术(诸如互联网连接)联网的传统服务器和/或虚拟服务器。在那些服务器上运行的应用可以使用XML/SOAP、RESTful web服务和/或其它适当应用层技术(诸如HTTP和ATOM)进行通信。
服务器系统经由接口从客户端设备和/或用户设备接收信息。接口的具体实施方式可以是能够通过网络接收信息的任何类型的接口,诸如以太网接口、无线联网接口、光纤联网接口等等。服务器还包括处理器和存储器、包括例如数据总线和主板的总线系统,其可以被用于建立和控制服务器的组件之间的数据通信。
处理器可以包括一个或多个微处理器。一般而言,处理器可以包括能够接收和存储数据并且能够通过网络(未示出)进行通信的任何适当的处理器和/或逻辑。存储器可以包括硬盘驱动器和随机存取存储器存储设备,诸如动态随机存取存储器、机器可读介质或其它类型的非暂态机器可读存储设备。
组件还包括被配置为存储信息(包括数据和软件)的存储设备。实施例可以在数字电子电路中、或在计算机硬件、固件、软件或其组合中实现。本发明的装置可以在有形地实施或存储在机器可读存储设备和/或机器可读介质中以供可编程处理器执行的计算机程序产品中实现;以及方法动作可以由执行指令程序的可编程处理器执行以通过对输入数据进行操作并生成输出来执行本发明的功能和操作。本发明可以有利地在一个或多个计算机程序中实现,这些计算机程序可在包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备的可编程系统上执行,该可编程处理器被耦合以从数据存储系统接收数据和指令并将数据和指令发送到数据存储系统。每个计算机程序都可以用先进过程或面向对象的编程语言实现,如果期望,也可以用汇编语言或机器语言实现;并且在任何情况下,该语言都可以是编译型或解释型语言。
举例来说,合适的处理器包括通用和专用微处理器。一般而言,处理器将从只读存储器和/或随机存取存储器接收指令和数据。一般而言,计算机将包括一个或多个大容量存储设备,用于存储数据文件;此类设备包括磁盘,诸如内置硬盘和可移动盘;磁光盘;以及光盘。适于有形地实施计算机程序指令和数据的存储设备包括所有形式的非易失性存储器,例如包括半导体存储设备,诸如EPROM、EEPROM和闪存设备;磁盘,诸如内部硬盘和可移动盘等。前述任何一项都可以由ASIC(专用集成电路)补充或结合在其中。
其它实施例在本描述权利要求的范围和精神内。例如,由于软件的性质,上述功能可以使用软件、硬件、固件、硬连线或这些的任何组合来实现。实现功能的特征也可以物理地位于各种位置,包括被分布成使得功能的部分在不同的物理位置实现。

Claims (32)

1.一种移动性代理,包括:
人形形式,其支持至少一个相机,所述至少一个相机从第一移动性代理被部署在其中的第一物理位置捕获图像数据以产生图像信号;以及
移动性底座,其包括:
支撑件机构,其中所述人形形式附着到所述移动性底座上的支撑件;以及
运输模块,其包括:
机械驱动机构;以及
运输控制模块,其包括:
处理器和存储器,被配置为:
从网络接收控制消息;以及
处理所述控制消息以根据从所述网络接收的所述控制消息来控制所述运输模块。
2.如权利要求1所述的移动性代理,还包括:
人工智能系统,其包括处理器设备、存储器和存储计算机指令的存储装置以使人工智能引擎训练所述移动性代理,其中所述人工智能引擎执行所述计算机指令以:
观察人类执行现实世界中的给定任务的动作;
分析观察到的人类的动作以产生针对所述给定任务的动作序列;以及
将分析的动作打包到存储在计算机存储装置中的序列包中。
3.如权利要求1所述的移动性代理,其中所述人工智能引擎利用数据库进行操作。
4.如权利要求1所述的移动性代理,其中所述人工智能引擎演化以使用所述移动性代理执行任务。
5.如权利要求1所述的移动性代理,其中动作被分析并用于在现实世界中而不是经由训练程序来训练所述人工智能引擎。
6.如权利要求1所述的移动性代理,其中所述人工智能引擎是辅助人类对任务的控制的机构。
7.如权利要求1所述的移动性代理,还包括指令以:
通过观察用户动作来训练所述人工智能引擎。
8.如权利要求1所述的移动性代理,其中训练包括指令以:
将自组织地图空间定义为节点的有限二维区域,其中所述节点布置在网格中;以及
将网格中的每个节点与作为输入空间中的位置的权重向量相关联。
9.如权利要求8所述的移动性代理,其中训练还包括指令以:
将训练示例应用于所述自组织地图;
随机化所述地图中的节点权重因子;
从训练数据输入中随机选择训练向量;以及
计算给定的训练向量与所述地图中的每个节点的距离;以及
比较其权重与所述训练示例的权重最接近的节点作为最佳匹配单元。
10.如权利要求2所述的移动性代理,其中所述人工智能引擎被配置为:
对任务进行学习以减少或消除时延或延迟时间或者提高执行任务的效率或可靠性。
11.如权利要求10所述的移动性代理,其中所述延迟是双向的并且能够是由于指令通过电子装备和通信的传播、用于发送指令的网络以及执行指令的处理时间而产生的。
12.如权利要求2所述的移动性代理,其中所述人工智能引擎是使用自组织地图或自组织特征地图构建的,所述自组织地图和自组织特征地图是通过无监督学习技术被训练以产生训练样本的输入空间的低维离散表示的人工神经网络类型。
13.如权利要求10所述的移动性代理,还包括:
数据中心,其被配置为累积和存储与所述人工智能引擎一起使用的技能集。
14.如权利要求13所述的移动性代理,其中所述人工智能引擎从所述数据中心下载所述技能集。
15.如权利要求10所述的移动性代理,还包括:
平台,其经由网络将操作者连接到所述移动性代理;以及
传感器用户接口链接。
16.如权利要求2所述的移动性代理,还包括:
别名替换处理模块,其包括:
处理器,被配置为:
接收图像信号;
检测所述图像信号中的第二移动性代理;以及
将所述第一物理位置中的第二代理的图像数据替换为所述第一物理位置中的用户的图像数据,以形成经变换的图像。
17.一种虚拟现实相遇系统,包括:
在第一物理位置的移动性代理,所述移动性代理包括:
人形形式,其支持至少一个相机,所述至少一个相机从第一移动性代理被部署在其中的第一物理位置捕获图像数据以产生图像信号;以及
移动性底座,其中所述人形形式附接到所述移动性底座;以及
在不同的第二物理位置的用户控制设备,所述用户控制设备被配置为控制所述移动性代理。
18.如权利要求17所述的虚拟现实相遇系统,其中所述移动性代理是第一移动性代理,所述用户控制设备是第一用户控制设备,并且所述系统还包括:
第二第一物理位置中的第二移动性代理,所述第二移动性代理包括:
人形形式;以及
移动性底座,其包括支撑件和运输模块,其中所述人形形式附接到所述移动性底座;以及
所述第一物理位置中的第二用户控制设备,所述用户控制设备被配置为控制所述第一移动性代理。
19.如权利要求17所述的虚拟现实相遇系统,还包括:
别名替换处理模块,其包括:
处理器,被配置为:
接收图像信号;
检测所述图像信号中的第二移动性代理;以及
将所述第一物理位置中的第二代理的图像数据替换为所述第一物理位置中的用户的图像数据以形成经变换的图像。
20.如权利要求19所述的虚拟现实相遇系统,还包括:
用户设备,其包括显示器和换能器,所述用户设备被部署在第二位置中,其中所述显示器被配置为接收所述经变换的图像。
21.如权利要求19所述的虚拟现实相遇系统,还包括:
支撑件机构,以将所述人形形式支撑到所述移动性底座;以及
运输模块,其包括:
机械驱动机构;以及
运输控制模块,其包括:
处理器和存储器,被配置为从网络接收控制消息,并处理控制消息以根据从网络接收的控制消息来控制所述运输模块。
22.一种感测用户接口,包括:
处理器和存储器,被配置为:
用感测用户接口链接来操作和控制移动性代理单元,还被配置为:
控制移动性代理单元与和移动性代理单元相关联的人类的活动保持对齐,使得移动性代理单元的运动与移动性代理的运动同步。
23.如权利要求22所述的感测用户接口,还被配置为:
通过向用户提供移动性代理的设定位置作为用户复制的起始位置来使用户与移动性代理单元同步。
24.如权利要求22所述的感测用户接口,其中所述感测用户接口在被激活时使得由用户穿戴的虚拟现实头戴式耳机使用户:
通过移动性代理的眼睛进行观看。
25.如权利要求22所述的感测用户接口,其中所述感测用户接口在被激活时使得移动性代理被放置在多个位置中的给定位置,以允许用户复制该位置。
26.如权利要求25所述的感测用户接口,其中所述感测用户接口在被激活时补偿时延。
27.一种从发送器向接收器发送数据的方法,包括:
根据请求发送的数据的类型来确定混合数据流的数据发送的优先级,以便为混合数据流中的每个确定的数据类型指派服务级别;
查明发送器和接收器之间的至少两条不同路径,所述至少两条不同路径具有在至少两条不同发送路径中不同的至少一个节点;
将混合数据流拆分成多个片段;
将每个片段指派给所述至少两条不同发送路径之一,其中每个片段被指派序列号,该序列号向该片段提供在接收器处将片段重构成数据发送流的次序;
用多个不同的发送密钥之一加密每个片段;以及
根据指派的服务级别在所述至少两条不同发送路径上发送片段。
28.如权利要求27所述的方法,其中发送密钥和接收密钥是非对称加密模式的私钥和公钥。
29.如权利要求27所述的方法,其中通过多条不同路径进行发送允许以较低的加密级别对各个分组进行加密。
30.如权利要求27所述的方法,其中一些数据通过完全不同的网络路径被传送。
31.如权利要求27所述的方法,其中在发送开始时,所有密钥都是未知的。
32.如权利要求27所述的方法,其中密钥是对称密钥。
CN202080053988.1A 2019-06-05 2020-06-04 移动性代理 Pending CN114206560A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962857347P 2019-06-05 2019-06-05
US62/857,347 2019-06-05
PCT/US2020/036113 WO2020247622A1 (en) 2019-06-05 2020-06-04 Mobility surrogates

Publications (1)

Publication Number Publication Date
CN114206560A true CN114206560A (zh) 2022-03-18

Family

ID=73650685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080053988.1A Pending CN114206560A (zh) 2019-06-05 2020-06-04 移动性代理

Country Status (5)

Country Link
US (2) US11544906B2 (zh)
EP (1) EP3980225A4 (zh)
JP (1) JP2022534797A (zh)
CN (1) CN114206560A (zh)
WO (1) WO2020247622A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461867B2 (en) * 2019-09-19 2022-10-04 Sanctuary Cognitive Systems Corporation Visual interface and communications techniques for use with robots
US11213746B2 (en) * 2019-10-22 2022-01-04 Microsoft Technology Licensing, Llc Providing automated user input to an application during a disruption
CA3119567A1 (en) * 2020-05-25 2021-11-25 PatriotOne Technologies System and method for situational awareness assist view
US20220331966A1 (en) * 2021-04-09 2022-10-20 Beyond Imagination Inc. Mobility surrogates

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316014A (ja) * 1999-04-30 2000-11-14 Nec Corp Atmスイッチ及びその制御方法ならびにスイッチング制御プログラムを格納した記憶媒体
US20050100209A1 (en) * 2003-07-02 2005-05-12 Lockheed Martin Corporation Self-optimizing classifier
WO2009021029A2 (en) * 2007-08-06 2009-02-12 Marvell World Trade Ltd. Dynamic internet protocol addressing solutions with network-based mobility
US20150193940A1 (en) * 2012-07-30 2015-07-09 National University Corporation Yokohama National University Image Synthesis Device, Image Synthesis System, Image Synthesis Method and Program
US20160059412A1 (en) * 2014-09-02 2016-03-03 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US20170080565A1 (en) * 2014-06-05 2017-03-23 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilitles
US20180308268A1 (en) * 2017-04-25 2018-10-25 Kurzweil Technologies, Inc. Multi-User And Multi-Surrogate Virtual Encounters

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316014A (ja) * 1999-04-30 2000-11-14 Nec Corp Atmスイッチ及びその制御方法ならびにスイッチング制御プログラムを格納した記憶媒体
US20050100209A1 (en) * 2003-07-02 2005-05-12 Lockheed Martin Corporation Self-optimizing classifier
US7362892B2 (en) * 2003-07-02 2008-04-22 Lockheed Martin Corporation Self-optimizing classifier
WO2009021029A2 (en) * 2007-08-06 2009-02-12 Marvell World Trade Ltd. Dynamic internet protocol addressing solutions with network-based mobility
CN101779440A (zh) * 2007-08-06 2010-07-14 马维尔国际贸易有限公司 具有基于网络的移动性的动态互联网协议寻址方案
US20150193940A1 (en) * 2012-07-30 2015-07-09 National University Corporation Yokohama National University Image Synthesis Device, Image Synthesis System, Image Synthesis Method and Program
US9449394B2 (en) * 2012-07-30 2016-09-20 National University Corporation Yokohama National University Image synthesis device, image synthesis system, image synthesis method and program
US20170080565A1 (en) * 2014-06-05 2017-03-23 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilitles
US20160059412A1 (en) * 2014-09-02 2016-03-03 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
US20180308268A1 (en) * 2017-04-25 2018-10-25 Kurzweil Technologies, Inc. Multi-User And Multi-Surrogate Virtual Encounters

Also Published As

Publication number Publication date
US20230139454A1 (en) 2023-05-04
EP3980225A4 (en) 2023-06-21
EP3980225A1 (en) 2022-04-13
US11856098B2 (en) 2023-12-26
WO2020247622A1 (en) 2020-12-10
JP2022534797A (ja) 2022-08-03
US11544906B2 (en) 2023-01-03
US20200388074A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US11856098B2 (en) Mobility surrogates
US20220167021A1 (en) Virtual Reality Viewing System
US7949616B2 (en) Telepresence by human-assisted remote controlled devices and robots
EP3413570B1 (en) Video display method and video display device
Ng et al. Body2hands: Learning to infer 3d hands from conversational gesture body dynamics
EP3794427A1 (en) Dynamic graphics rendering based on predicted saccade landing point
KR20210137473A (ko) 홀로그래픽 콘텐츠를 포함한 비디오 통신
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
Venugopal et al. The realm of metaverse: A survey
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN110178159A (zh) 具有集成式投影仪的音频/视频可穿戴式计算机系统
US11810219B2 (en) Multi-user and multi-surrogate virtual encounters
JP2014164537A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
US11282282B2 (en) Virtual and physical reality integration
KR20220064370A (ko) 성인용 애플리케이션을 위한 라이트필드 디스플레이 시스템
US20220331966A1 (en) Mobility surrogates
US11518036B2 (en) Service providing system, service providing method and management apparatus for service providing system
KR20180122802A (ko) 에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법
JP6937803B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7492577B2 (ja) 成人向けライトフィールドディスプレイシステム発明者:ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム
WO2024089870A1 (ja) 携帯情報端末、仮想空間システム、および携帯情報端末の制御方法
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
Luna Introduction to Virtual Reality
Sauer Mixed-reality for enhanced robot teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination