CN115588098A - 机器人传感器数据管理 - Google Patents

机器人传感器数据管理 Download PDF

Info

Publication number
CN115588098A
CN115588098A CN202210685881.XA CN202210685881A CN115588098A CN 115588098 A CN115588098 A CN 115588098A CN 202210685881 A CN202210685881 A CN 202210685881A CN 115588098 A CN115588098 A CN 115588098A
Authority
CN
China
Prior art keywords
robot
sensor data
mode
sensor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210685881.XA
Other languages
English (en)
Inventor
R·H·沃海比
A·哈塔尔卡
H·穆斯塔法
S·W·钦
S·马内帕利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN115588098A publication Critical patent/CN115588098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人传感器数据管理。机器人可包括：处理器，该处理器被配置成用于根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，其中第二传感器数据包括相机数据；在根据第一操作模式进行操作时，确定表示环境感知操作的置信度的置信度因子；确定该置信度因子是否在范围之外；以及如果该置信度因子在范围之外，则根据第二操作模式进行操作。

Description

机器人传感器数据管理
技术领域
本公开的各个方面总体上涉及传感器数据的管理，并且具体地涉及管理机器人操作中的非相机传感器数据与相机传感器数据的使用。
背景技术
在许多实现方式中，机器人非常依赖于相机数据以进行它们的操作(例如，以用于感测机器人的附近区域、用于检测对象、用于执行定位操作，等等)。尽管在某些情况下，相机数据可以迅速提供与机器人的环境有关的大量信息，但在其他情况下，对相机数据的依赖可能会得到不好的结果或是不期望的。例如，在某些工厂环境中，诸如较差的照明条件、灰尘、恶劣温度、较差的空气质量等之类的因素或上述各项因素中的任一因素均可能限制相机数据的效用。此外，相机数据可能与某些隐私要求冲突，因此这可能使对相机数据的依赖变得不期望。最后，相机操作和相机数据的处理可能与不期望的电力要求和/或计算成本相关联。
附图说明
在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的示例性原理。在以下描述中，参照以下附图描述本公开的各示例性实施例，其中：
图1描绘了以机器人和任选的人类存在为特征的示例性工业设施；
图2描绘了在第一操作模式与第二操作模式之间进行切换的过程；
图3描绘了从第一操作模式切换到第二操作模式，以及基于相机对感兴趣区域的捕获来进一步选择用于提供第二传感器数据的相机；
图4描绘了用于共享传感器数据或从传感器数据得出的确定的任选的机器人对机器人的通信；
图5描绘了对传感器信息的任选的请求；
图6描绘了如本文所述的使用人工智能的传感器管理/操作模式管理；以及
图7描绘了具有各种任选的和非任选的元件的机器人
具体实施方式
下列具体实施方式引用附图，这些附图通过说明的方式示出示例性细节以及本公开可在其中实施的各方面。
在本申请中使用词“示例性”来意指“充当示例、实例或说明”。在本申请中被描述为“示例性”的任何实施例或设计不一定被解释为相对于其他实施例或设计是优选的或有优势的。
贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
短语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、两个、三个、四个、[...]等)。关于一组要素的短语“至少一个”在本文中可用于意指来自由要素组成的组的至少一个要素。例如，关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择：所列要素中的一个、多个的所列要素中的一个要素、多个个体所列要素、或多个的数个个体所列要素。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地援引上述词语来指代某个数量的要素的短语(例如，“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。例如，短语“多个(aplurality)”可被理解为包括大于或等于二的数量(例如，两个、三个、四个、五个、[...]等)。
说明书中和权利要求书中的短语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集，说明性地，指代集合的包含比该集合少的元素的子集。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。
例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路，例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能的单个实体等等，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能的两个(或更多个)分开的实体等等。
如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质(例如，非暂态计算机可读介质)。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱、3D XPointTM等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令，包括固件。
除非明确地指定，否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。相似地，术语“接收”涵盖直接和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他相似术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收，其中，物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者，即，在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/等式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
在给定的实现方式中，机器人包括处理器，该处理器被配置成用于根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，并且其中第二传感器数据包括相机数据。当处理器根据第一操作模式进行操作时，处理器确定表示环境感知操作的置信度的置信度因子。该处理器进一步确定该置信度因子是否在预定范围之外；并且如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。以此方式，机器人依赖于非相机传感器数据，直到或除非置信度确定值变得在预定范围之外，此时机器人接收相机数据，这具有增加置信度确定的效果。术语“机器人”在本文中被用来包括自主地操作的任何设备。术语“机器人”旨在至少包括基于地面的自主设备(例如，在轨道上、在车轮等上的机器人)、无人驾驶空中交通工具、水域交通工具等。
环境感知操作可包括检测机器人附近区域内的对象和/或检测机器人附近区域内的环境状况。机器人需要检测其环境中的各种细节，以维持安全和/或有效的操作。对于这些环境检测操作，机器人依赖于传感器数据，这些传感器数据提供了与周围环境的特定方面有关的信息。出于本公开的目的，对第一传感器数据(例如，非相机数据)和第二传感器数据(例如，来自相机图像传感器的数据)作出区分。第一传感器可以包括除相机以外的可以使用直接感测或间接感测来检测周围对象的任何传感器。直接感测可被理解为利用非相机传感器来检测周围对象、状况、距感测对象的距离或上述各项的任一项。例如，这可以通过使用光检测和测距传感器和/或红外传感器来执行。间接感测可被理解为经由Wi-Fi或任何无线电通信执行的感测，以用于感测对象相对于其周围的定位，和/或通过机器人对机器人的通信来接收关于机器人相对于其他机器人的存在和/或关于机器人可以检测到的并向附近区域中的其他机器人通知的障碍物的存在。
第一传感器数据可以包括压力传感器数据、触摸传感器数据、扭矩传感器数据、加速度计数据、温度传感器数据、声音传感器数据、距离传感器数据、无线电检测和测距传感器数据、从Wi-Fi得出的非相机数据、从蓝牙得出的非相机数据、从任何其他无线连接得出的非相机数据或上述各项中的任一项。出于本公开的目的，第一传感器数据可任选地包括与对具有380nm至700nm范围之外波长的电磁波的检测相对应的任何传感器数据。相反，第二传感器数据可任选地包括与对具有380nm至700nm范围内波长的电磁波的检测相对应的传感器数据。
机器人可以完全地或主要地使用第一传感器数据执行各种任务。例如，众所周知，机器人基于参考点和加速度计数据来对其自身进行定位。以此方式，机器人可基于反映相对于参考位置的移动的数据来对其位置进行近似。基于非相机数据定位或执行其他任务的其他此类策略也是可能的。例如，机器人可以仅在特定温度(例如，一种温度的安全区域和不同温度的非安全区域)、基于空气质量(例如，仅在存在特定灰尘浓度的情况下，或从不在存在特定气体的情况下)、基于移动(例如，从不在存在表明人类存在的移动对象的情况下)，或各种其他群集中的任何群集的环境中执行任务。对于给定的任务，所依赖的特定第一传感器数据或非相机传感器的组合基本上是无限的。
然而，在实际应用中，对第一传感器数据的依赖可能提供对环境的不完全理解，并可能导致减低的置信度因子。在此类情况下，第二数据(例如相机数据)可以提供对机器人环境的经改善的理解，并且/或者可以确认或否认机器人对其环境的理解，该理解仅仅基于第一传感器数据。例如，如果期望仅在没有人类的情况下执行某种操作(例如，危险的操作或其副产物对人类健康构成危险的操作)，机器人可以依赖于第一传感器数据(诸如温度、红外线、声音等)来确定是否有人类存在。然而，这可能会提供不完整的画面，并且机器人可能会以第二传感器数据的形式寻求附加的信息，以形成对机器人的环境的更好理解，或确认对环境的先前假设。返回到人类存在的示例，一个相机图像或少量的相机图像通常足以确认或排除人类的存在。类似地，第二传感器数据可以提供与机器人位置有关的更多信息(例如，在一个或多个标记或地标附近、查看图像中的标识符(例如QR码或其他机器可读代码)，等等)。以此方式，机器人可以主要地或甚至完全地使用第一传感器数据进行操作，并且随后仅根据需要利用第二传感器数据补充其操作(例如，诸如以改善置信度因子)。
对传感器数据源的此类管理，以及因此依赖于第一传感器数据的增加的能力提出了若干优点。首先，第二传感器数据，尽管其具有如上所述的用处，但要以能量使用和计算需求为代价。相机本身可能具有比许多非相机传感器更高的功耗，而非相机传感器通常能够以非常小的功率操作。此外，一旦获得了相机数据，处理这些数据可能存在显著的计算成本。例如，处理图像传感器数据的当前方法包括摄影测量(例如，诸如根据第二传感器数据中创建环境的三维模型)、对象检测和规避，等等。这些技术的具体细节在本文中将不进行描述，而替代地仅说明可以采用从相机数据中得出信息的任何已知技术。这些技术可能需要大量的处理能力，这进而转化为用于操作处理器的更高功率要求、用于包括能够执行这些操作的处理器的更高组件价格，或既转化为用于操作处理器的更高功率要求又转化为用于包括能够执行这些操作的处理器的更高组件价格。因此，增加对第一传感器数据的依赖/减少对第二传感器数据的依赖可能是成本节省的和/或功率节省的。
对第一传感器数据增加的依赖的第二优点在于，在某些情况下，第二传感器数据可能是不可用的或使用受到限制，并且相比于依赖于不完整或减弱的第二传感器数据，依赖于第一传感器数据的能力可能提供对环境更完整的理解。例如，相机可能需要适当的照明和空气质量来提供有用的第二传感器数据。在低照明、眩光、特别明亮的环境中，或在空气中充满灰尘或含有某些气体的环境中，由相机提供的图像可能是有噪声的或昏暗的，或在其他方面可能是效用有限的。在此类情况下，管理传感器数据要求，使得机器人可以主要地或完全地使用第一传感器数据来执行其任务是有利的。
对第一传感器数据增加的依赖的第三优点在于，减少或消除隐私问题。在一些管辖区，包含人类图像的图像数据会触发某些法律责任和/或限制。例如，如果没有来自相应人员的明确许可，存储人类面部图像可能是被禁止的。此外，可能存在其他隐私问题，或不期望创建人类存在或动作的视觉记录的其他原因。无论什么原因，对第一传感器数据增加的或主要的依赖可能会缓解该问题。
机器人可以被配置成用于根据多个情境模式中的一个情境进行操作，以管理对第一传感器数据的依赖，而不是对第二传感器数据的依赖。多个情境模式中的每个情境模式可具有唯一预定范围，其中确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。
一种示例性情境模式可以是安全性情境模式。当然，机器人必须被配置成用于在其环境中为人类安全地执行其动作。在一些情况下，诸如当可能与机器人密切接触时，或当机器人可能执行可能以其他方式对人类健康有害的活动时，实现需要附加安全性措施的情境模式可能是必要的。例如，当人类存在或达到工厂车间上的人类特定数量时，可以跨工厂车间以显著速度行进的机器人可以实现安全性环境模式；相反，当人类不存在或人类数量低于预定值时，这些机器人可以退出安全性环境模式。安全性情境模式可能需要较高的置信度因子(例如，需要较高程度的置信度并且因此导致更多使用相机数据的置信度因子)，随后是非安全性情境模式，其可能以较低的置信度因子来满足。换言之，第二传感器数据/相机数据可以提供与人类存在有关的最可靠的信息，并且在避开人类或以其他方式保护人类是特别重要的地方，可以利用更大的置信度因子，使得更经常地使用第二传感器数据/相机数据，从而得到人类接触或人类伤害将被避免的更大的置信度。
第二示例性情境模式可以是功率节省情境模式。在该情境模式中，第一传感器数据可能比第二传感器数据更强地优选用于功率节省措施。在许多实现方式中，机器人依赖于电池电力来执行其各种功能。至少由于对电池的依赖，功率效率可能是非常重要的，并且实现过程以增加机器人的功率效率可能是期望的。正如本公开的其他地方所讨论，相较于第二传感器数据，第一传感器数据可能与减少的功率使用相关联，并且因此，增加对第一传感器数据的依赖和/或减少对第二传感器数据的依赖可能导致整体的功率节省。在实际层面上，机器人可以监测其可用的电力存储，并预测其是否能够继续执行其任务(例如，具有剩余的电力继续执行其任务)，直到其轮班/任务结束。如果机器人确定其没有足够的所存储的功率，则机器人可以实现功率节省情境，以通过将重点从第二传感器数据转移到第一传感器数据来减少其功耗。附加地或替代地，进入功率节省模式的能力可以允许机器人使用减少容量的电池和/或减少容量的处理器进行操作，这对于某些实现方式可能是期望的。明确指出的是，安全性情境模式和功率节省情境模式的示例在本文中出于说明性目的而被提供；本文中公开的机器人可被配置成用于根据安全性情境模式、功率节省情境模式或这两种模式进行操作。根据本公开的机器人可以替代地或附加地被配置成用于根据一种或多种其他情境模式进行操作。
第三示例性情境模式可以是隐私模式。如上所述，某些管辖区可能限制或防止对人类图像的使用和/或存储，并且因此可能需要避免在人类存在时检测或至少存储相机数据。此外，可能存在与人类图像(例如，面部图像、标识图像等)的身份相关的隐私问题。鉴于此，隐私情境模式可被实现，以确保符合这些目标。在隐私情境模式下，机器人可以完全依赖于第一传感器数据，并且第二传感器数据可以被禁止或急剧减少。替代地或附加地，除了图像处理所需的非常短暂的存储之外，隐私情境模式可以防止图像数据(第二数据)被存储。替代地或附加地，图像数据(第二数据)可以被评定，以确定是否可以在图像数据中标识人类。如果人类被标识，数据将被删除或隔离。如果人类未被标识，那么该数据可用于定位、进行定位等。
机器人可被配置成用于从各种源中的任何源接收传感器信息，包括机器人本地的传感器信息和/或机器人外部的传感器信息。也就是说，机器人可配置有一个或多个传感器，机器人可以根据需要激活或停用其自己的任何或所有传感器。尽管机器人可配备有多个传感器的事实，但机器人具有对来自其环境中的一个或多个外部设备的传感器的访问权。也就是说，在许多应用中，机器人不会以完全隔离的方式操作，而是与一个或多个其他包含传感器的机器(例如，其他机器人、其他包含处理器控制的传感器的设备、被配置成用于将其数据发送到机器人的其他传感器、连接到发射器以将传感器数据发送到机器人的其他传感器，或其他包含传感器的机器)一起操作。机器人可被配置成用于发现其环境中的其他传感器(例如，不直接连接到机器人和/或不直接受机器人控制的传感器)，并且用于选择用于接收其传感器信息的一个或多个传感器。
机器人可被配置成用于从机器人附近区域内的各个传感器中接收传感器标识符。传感器标识符可包括特定传感器的唯一标识符、由传感器提供的数据类型、传感器的类型、传感器的位置、与传感器数据相对应的位置或焦点、由一个或多个机器人使用传感器数据的先前历史、该机器人对传感器数据的预测可用性，或上述各项中任一项。也就是说，一个或多个传感器可以向其附近区域中的机器人发送信息，使得机器人能够选择传感器中的一个或多个传感器(例如，传感器的全部或传感器的子集)来接收其传感器数据，使得机器人可以将传感器数据并入其处理例程。从传感器接收到的该信息可由一个或多个传感器本身、一个或多个其他处理器或设备发起，或者可响应于来自机器人的请求而发起。也就是说，机器人可以发送(例如，例如在进入新的区域时)对可用的传感器数据的请求，并且作为响应，机器人可以接收来自可用的各个传感器的传感器标识符。在接收到传感器信息后，机器人可进一步被配置成用于基于传感器类型来将机器人附近区域内的传感器的传感器标识符指定为检测第一传感器数据或第二传感器数据。
如果机器人选择传感器中的一个或多个传感器来接收其传感器数据，则可以使用任何已知的方法将对应的传感器数据递送给机器人。此类方法可以包括但不限于通过Wi-Fi递送、通过蓝牙递送、经由光信号递送、经由导电连接(例如有线连接)递送或其他方式。所接收的传感器数据可以是第一传感器数据和/或第二传感器数据。也就是说，所接收的传感器数据可以不包括相机数据或者可以包括相机数据。如果所接收的传感器数据不包括相机数据(例如，第一传感器数据)，则机器人可以请求此类数据来增强以其他方式对于机器人可用的传感器数据。例如，如果特定类型的传感器是有用的但从机器人本身是不可用的，则机器人可以从特定类型的传感器请求要递送给机器人的传感器数据。替代地或附加地，所请求的传感器数据可以是与事实上对机器人可用的传感器类型相对应的传感器数据。在此类情况下，对于机器人而言，诸如出于功率节省的原因，可能期望不激活特定的本地(例如位于机器人上的)传感器，并且替代地请求递送来自远程源的传感器数据。
如果所请求的传感器数据是或包含第二传感器数据，则机器人可以请求来自可能被认为可能提供有用信息的特定相机的数据。换句话说，当多个相机是可用的时，它们通常会被指向不同的区域或以其他方式具有不同的聚焦区域。由此，来自任何相机的传感器数据可能比来自任何其他相机的传感器数据更相关或更不相关。机器人可被配置成用于基于所选择的相机将提供对特定目有用的传感器数据的可能性来选择递送其传感器数据的相机。例如，可以期望机器人对自己进行定位或以其他方式维持其相对于一个或多个参考点的位置的估计。基于机器人的当前估计位置或机器人的预期未来位置，机器人可以选择用于递送相机数据的一个或多个相机，因为此类一个或多个相机提供了与机器人的当前位置、机器人的预期未来位置或当前位置与预期未来位置之间的行进路径有关的信息。
在一些配置中，机器人和/或一个或多个处理器可以被配置成用于从各个外部传感器接收传感器数据，并且可以进一步配置有神经网络，以用于选择一个或多个外部传感器进行数据递送。该神经网络可被配置成用于接收与各个传感器的先前使用有关的信息。该神经网络可被配置成用于接收先前使用传感器的成功率(例如，传感器数据的有用程度、与先前使用来自此类传感器的传感器数据相关联的置信度因子等的改变)，并且可以被配置成用于基于机器人的当前操作状况(例如，机器人位置、空气质量、照明、功率可用性、任务要求或上述各项中任一项)预测来自给定传感器的传感器数据的有用程度。基于来自神经网络的预测，机器人可以选择一个或多个传感器进行数据递送。该神经网络可任选地是或包括卷积神经网络，其被配置成用于接收第一传感器数据，并用于基于所接收的第一传感器数据输出机器人环境信息，并且其中处理器被配置成用于基于机器人环境信息执行机器人操作。
在选择一个或多个外部传感器进行传感器数据递送时，机器人可任选地配置成用于控制收发器以发送表示对机器人附近区域中的传感器的传感器标识符的请求的信号。也就是说，机器人可被配置成用于与传感器通信和/或与连接到传感器和/或控制传感器的一个或多个设备通信，以请求传感器数据。该请求可以经由任何已知方法(无论是有线还是无线通信)被发送。
在一些配置中，对附加传感器数据(例如外部传感器数据)的请求可能与机器人从第一操作模式到第二操作模式的切换密切相关联。也就是说，机器人可能没有配备相机，或者机器人激活其自己的相机可能是不期望的(例如，由于相机的可用视场、相机的可用聚焦区域、相机的功率要求等)。在此类情况下，机器人可以请求来自一个或多个外部相机的相机数据，使得机器人可以接收所述相机数据以根据第二操作模式进行操作。该请求可任选地指定要发送的相机数据的持续时间、要发送的图像帧的数量或其他。机器人可以基于提高置信度因子以使其位于预定范围内所需的估计相机数据量来计算相机数据的任选持续时间和/或要发送的图像帧的数量。
图1描绘了以机器人和任选的人类存在为特征的示例性工业设施。在该工业设施中，机器人102存在以执行各种任务中的任何任务。该机器人可以偶尔或不断地与一个或多个人类104a-c一起工作或在一个或多个人类104a-c附近区域中工作。机器人在其工作过程期间可以在第一操作模式与第二操作模式之间进行切换。在第一操作模式中，机器人可以利用非相机传感器数据(贯穿本文被称为第一传感器数据)来执行一项或多项任务(例如，定位、在工业设施内移动或其他任务)。在第二操作模式中，机器人可以利用相机数据(贯穿本文被称为第二传感器数据)或相机数据和非相机传感器数据的组合来执行各种任务。无论是在第一操作模式还是在第二操作模式中，机器人102都可以使用来自机器人本地的传感器(例如，传感器102a(机器人上的其他传感器被描绘成白点，但未被标注)、机器人106a-f外部的传感器或上述各项的组合)的传感器数据进行操作。
图2描绘了在第一操作模式与第二操作模式之间进行切换的过程。也就是说，图2描绘了在按需征集第二传感器数据(例如相机)的情况使用第一传感器数据。机器人可包括处理器，该处理器可被配置成用于运行传感器融合和场景分析模块202。传感器融合和场景分析模块202可被配置成用于从一个或多个第一传感器204a-c(即一个或多个非相机传感器)接收传感器数据，并根据传感器数据计算是否存在足够的场景信息206。对是否存在足够的场景信息206的确定可以根据置信度因子的计算来描述，该置信度因子可表示环境感知操作的置信度。用于基于传感器信息来计算置信度因子的各种技术在本领域中(例如，在统计学领域中、在对象检测领域中、在自主导航领域中)是已知的，并且任何此类技术可以用于此目的。如果机器人确定存在足够的场景信息(例如，置信度因子在预定范围内)206，则机器人继续仅从第一传感器204a-c接收第一传感器数据，并继续执行传感器融合和场景分析202。如果机器人确定不存在足够的场景信息206，那么机器人可以通过一个或多个相机208触发对第二传感器数据的感测。这些相机208可以位于机器人上或作为机器人的一部分、在机器人的外部或上述各项的组合。
图3描绘了从第一操作模式切换到第二操作模式，以及基于相机对感兴趣区域的捕获来进一步选择用于提供第二传感器数据的相机。以此方式，图3可被理解为描绘了使用第一传感器进行直接感测的感测流水线，该感测流水线可以补充第二传感器数据或被用来(至少暂时地)代替第二传感器数据。在该情况下，机器人可被配置成用于从第一传感器(非相机传感器)302a-b接收第一传感器数据。尽管第一传感器可以是任何种类的非相机传感器，并且示例性配置可包括光检测与测距传感器和红外传感器。在接收到第一传感器信息后，机器人可处理第一传感器信息以确定置信度因子。作为置信度因子确定的一部分，机器人可以确定其传感器数据304中是否缺失感兴趣的区域。也就是说，机器人可以确定它是否缺少与位置(例如，其当前位置和预期位置或其当前位置与预期位置之间的位置)相对应的传感器数据，并且如果是，则可以触发对相机数据的接收。机器人可配置有相机触发模块306，该相机触发模块306可实现获取相机数据的指令和/或从一个或多个相机308获取相机数据的请求。机器人可以在硬件或软件中实现相机触发器模块306，或者替代地，相机触发器模块306可以在机器人外部被实现，使得机器人向相机触发器模块306发出请求，相机触发器模块306随后从各个相机308请求传感器数据。
根据本公开的一方面，相机流可以在主机平台处被处理。机器人可具有用于在其可用的第一传感器数据中发现感兴趣的区域的预定义的持续时间。如果机器人在该预定时间持续期内不能发现或没有发现感兴趣的区域，则机器人可以触发相机激活。机器人上的一个或多个应用可以定义预定的持续时间。在触发相机激活时，机器人可以向相机发送捕获请求。捕获请求可包括捕获配置(例如，包括精确的位置、角度、帧数、相机图像的持续时间或上述各项中的任一项)。机器人可使用应用程序接口(API)来进行相机捕获触发，和/或使用控制通道、软件开发工具包(诸如用于一个或多个相机的软件开发工具包)。
图4描绘了用于共享传感器数据或从传感器数据得出的确定的任选的机器人对机器人的通信。设施中的机器人可被配置成用于执行无线电通信以进行定位。以此方式，机器人可包括信标无线电(例如蓝牙无线电)，信标无线电可允许接收方机器人(诸如通过使用通过引用利用无线电信标定位对象的算法得出的已知位置)创建位置地图。如果任何一个机器人创建定位地图，那么该机器人可以将定位地图或任何相关数据共享给设施中的其他机器人中的任一者。以此方式，机器人可以以最新的方式接收分布式位置地图。各个机器人对位置地图的此类消耗允许机器人利用精确定位获得关于存在的障碍物和关于存在的其他设备的实时信息。
机器人可使用任何无线通信协议(诸如例如，Wi-Fi、5G、D2D、V2V等)执行机器人与机器人的通信。该通信允许机器人建立一种列队(一个具有先进能力的机器人使用不同的触觉传感器进行仔细的检测，并与其附近区域中的其他机器人共享警报，并且接近区域可以基于部署场景来进行调整)。
如图4所描绘，工业设施可包括各种建筑装备402a-d、多个机器人406a-c以及各个机器人404a-d之间的无线连接区域。以此方式，机器人可以(例如，诸如通过无线连接、Wi-Fi、5G、D2D、V2V或以其他方式)彼此链接，并可以共享它们的传感器数据和/或计算。例如，如果机器人406a接收第二传感器数据，机器人406a可以通过无线连接404b向机器人406b共享其第二传感器数据和/或从第二传感器数据得出的任何确定(例如，对象、障碍物、点云、深度信息、人类位置、工业危险或其他)；类似地，机器人406b可以通过无线连接404c与机器人406c共享该信息，等等。附加地或替代地，这些机器人中的一个机器人(例如机器人406a)可以通过无线连接404a从建筑装备402d(例如作为工业设施的一部分的安装的相机)获得第二传感器数据。当然，这些机器人中的任一者可被配置成用于从建筑装备402a-d的元件中的任一者和/或从其他机器人406a-c中的任一者接收传感器信息或由建筑装备402a-d的元件中的任一者和/或从其他机器人406a-c中的任一者得出的确定。
图5描绘了对传感器信息的任选的请求。机器人可被配置成用于进入环境(步骤502)，并且用于发送身份和对感测服务(例如，对一个或多个第一传感器和/或一个或多个第二传感器的查询)的查询(步骤504)。机器人可(诸如基于查询凭证)接收响应，该响应包括可用的传感器、可用的服务、先前的成功率或比率、传感器情境、地理位置或上述各项中的任一项(步骤506)。机器人可被配置成用于基于情境(诸如基于特定的情境模式(例如，安全性情境模式、功率节省情境模式或其他情境模式))来对响应进行排序(步骤508)。机器人可被配置成用于根据需要请求对成功比率的更新(步骤510)。
图6描绘了如本文所述的使用人工智能的传感器管理/操作模式管理。在该情况中，机器人可配置有人工智能(例如，人工神经网络、卷积神经网络等)，并且可被配置成用于对每个人工智能驱动的决策602执行决策评估。例如，机器人可被配置成用于确定置信度因子604。在一种配置中，机器人可将置信度因子与关键性能指标(例如，阈值)604进行比较。该关键性能指标可以是专用于机器人在其中操作的情境(例如，安全性模式情境或功率节省模式情境)的关键性能指标。在另一配置中，关键性能指标可以是范围，而不是阈值，并且机器人将置信度与关键性能指标进行比较可以是确定置信度是在关键性能指标的范围之内还是在关键性能指标的范围之外。如果置信度因子小于关键性能指标或在关键性能指标的范围之外(步骤604)，则机器人可以从传感器服务的经排序列表中选择出传感器服务(步骤606)。这可以是，例如，机器人在进入附近区域时接收到的列表，并且可选地作为对机器人请求的响应。基于从经排序列表中选择出的传感器服务(步骤606)，机器人可以从一个或多个传感器请求数据(步骤608)。该数据请求可以包括数据类型、数据持续时间、数据情境或上述各项中的任一项。机器人可接收对该请求的响应，诸如批准或拒绝(步骤610)。在许多配置中，安全可能是非常重要的，并且传感器数据可能仅对某些经授权的用户是可用的和/或可用于某些目的。因此，请求传感器信息的机器人可遵从于一个或多个检查或认证/验证过程。如果确定机器人被允许访问传感器信息，则机器人可能会接收批准请求。如果机器人接收到拒绝请求，那么机器人可以从经排序列表中选择出下一个传感器服务(步骤606)。假设机器人接收到批准，机器人可将所接收的传感器数据用于一个或多个人工智能驱动的决策(步骤612)。机器人可以确定所接收的数据是否是有用的(例如，它们是否提供了与缺失位置有关的信息、它们是否辅助机器人做出决策或其他)，并且基于此，机器人可以更新传感器服务的成功比率(步骤614)。传感器服务的成功比率可以是机器人上存储和/或管理的比率。替代地或附加地，传感器服务的成功比率可以是由外部设备(例如，由传感器、由操作传感器的处理器、由中央处理器或其他外部设备)存储和/或管理的比率。假设该比率被存储在机器人外部，机器人可以与传感器服务共享其置信度的改变(步骤616)。该过程可针对任何或所有人工智能驱动的决策而被执行。
图7描绘了包括处理器702的机器人700。该处理器被配置成用于根据第一操作模式或第二操作模式来操作。第一操作模式包括使用第一传感器数据执行环境感知操作，其中，第一传感器数据不包括相机数据。第二操作模式包括使用第二传感器数据执行环境感知操作，其中，第二传感器数据包括相机数据。这些数据可以来自机载相机和/或来非机载相机。在根据第一操作模式进行操作时，处理器确定表示环境感知操作的置信度的置信度因子，确定该置信度因子是否在预定范围之外；并且如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。与本段落的任何其他一个或多个特征组合，环境感知操作可以任选地包括检测机器人附近区域内的对象或检测机器人附近区域的环境状况。与本段落的任何其他一个或多个特征组合，其中，机器人任选地被配置成用于根据多个情境模式中的一个情境模式进行操作，多个情境模式中的每个情境模式具有唯一预定范围；其中，确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。与本段落的任何其他一个或多个特征组合，多个情境模式可任选地包括安全性模式和功率节省模式，并且安全性模式的唯一预定范围可任选地要求比由功率节省模式的唯一预定范围所要求的置信度因子更大的置信度因子。与本段落的任何其他一个或多个特征组合，处理器可任选地被配置成用于接收表示机器人附近区域内的传感器标识符的第一信号。与本段落的任何其他一个或多个特征组合，处理器可进一步被配置成用于基于传感器类型将机器人附近区域内的传感器的传感器标识符指定为检测第一传感器数据或第二传感器数据。与本段落的任何其他一个或多个特征组合，处理器可任选地进一步被配置成用于控制收发器以发送表示对机器人附近区域内的传感器的传感器标识符的请求的第二信号，其中第一信号是响应于第二信号而被接收的。与本段落的任何其他一个或多个特征组合，第一信号可任选地进一步表示机器人附近区域内的、与机器人附近区域内的多个传感器中的某一传感器检测到的传感器数据相对应的位置，并且其中根据第二操作模式进行操作包括发送表示对多个传感器中的、其传感器数据与机器人的位置相对应的传感器的传感器数据的请求的信号。与本段落的任何其他一个或多个特征组合，如果处理器根据第二操作模式进行操作，则处理器被配置成用于确定使置信度因子在预定范围内所需的相机数据量，并用于接收与所确定的相机数据量相对应的相机数据量。与本段落的任何其他一个或多个特征组合，第一传感器数据可任选地包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据、Wi-Fi数据、从Wi-Fi数据得出的数据、蓝牙数据、从蓝牙数据得出的数据或上述各项中的任一项。与本段落的任何其他一个或多个特征组合，第一传感器数据可任选地进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据，并且该第二传感器数据可任选地包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。与本段落的任何其他一个或多个特征组合，机器人可任选地进一步包括卷积神经网络，卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据来输出机器人环境信息，并且其中处理器被配置成用于基于机器人环境信息来执行机器人操作。与本段落的任何其他一个或多个特征组合，根据第二操作模式进行操作可任选地进一步包括开启相机(例如，诸如机器人上的相机)和/或使相机(例如，诸如机器人外部的相机)被开启。
情境模式对于给定的实现方式可是可选择的。例如，在实现方式被部署之前，可能期望诸如基于对环境的预评定来确定一组适当的情境模式(例如，安全性模式、隐私模式、功率节省模式等)。每种模式可进一步由反映环境的某些动态的多个“操作状态”组成。在每次运行开始时，每个机器人可以基于当前的“安全性级别评定”来接收(例如，被分配)针对环境的安全性模式。例如，当没有人类存在时，机器人可以利用<安全性模式＝＝‘降低的’>来操作(例如，不在安全性情境模式中，在安全性情境模式的经修改的版本中，等等)。给定的模式可能适用于环境中的所有装备(例如，适用于所有机器人、自动化和或其他环境传感器/致动器)。情境模式可在整个任务中被重新评定。以此方式，机器人和/或底层控制系统可以评定环境的改变。当机器人或控制系统检测到相关的改变时(例如，人类进入机器人附近区域)，机器人可以改变为安全性情境模式，并且可以动态地重新配置其感测模态和/或其装备的其他安全性参数。机器人可任选地被配置成用于仅当机器人接收到其装备确认情境模式被改变的确认时才继续进行任务。
作为进一步的任选特征，一个或多个情境模式可被理解为暂时不可中断，诸如在预定的持续时间内。例如，在机器人根据需要高分辨率相机的情境模式进行操作，但当人类存在时一般不需要相机的情况下，当前的操作情境可以在预定的时间长度内阻止人类进入(例如，直到情境模式结束)。在此类情况下，根据情境模式进行操作可以包括控制某些外围致动器(诸如门锁)或使得某些外围致动器(诸如门锁)被控制以防止人类进入该区域。
作为进一步的任选特征，所感测的数据可以被隔离(例如，“沙盒封装化(sandboxed)”)以促进安全和/或隐私。使用该策略，在某些情境模式期间收集到的数据可以被标记，并与其他数据分开处置。例如，当人类隐私是顾虑时，每当操作状态指示人类可能存在时，来自某些传感器的数据可以被模糊、被加密、被存档或上述各项中的任一项。
将以示例的方式描述本公开的附加方面：
在示例1中，一种机器人，包括处理器，该处理器被配置成用于根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，其中第二传感器数据包括相机数据；在根据第一操作模式进行操作时，确定表示环境感知操作的置信度的置信度因子；确定该置信度因子是否在预定范围之外；以及如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。
在示例2中，示例1的机器人，其中环境感知操作包括检测机器人附近区域内的对象或检测机器人附近区域的环境状况。
在示例3中，示例1的机器人，其中，机器人被配置成用于根据多个情境模式中的一个情境模式进行操作，多个情境模式中的每个情境模式具有唯一预定范围；其中，确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。
在示例4中，示例3的机器人，其中多个情境模式包括安全性模式和功率节省模式，并且其中安全性模式的唯一预定范围要求比由功率节省模式的唯一预定范围所要求的置信度因子更大的置信度因子。
在示例5中，示例1至4中任一项的机器人，其中，处理器进一步被配置成用于接收表示机器人附近区域内的传感器的传感器标识符的第一信号。
在示例6中，示例5的机器人，其中，处理器进一步被配置成用于基于传感器类型将机器人附近区域内的传感器的传感器标识符指定为检测第一传感器数据或第二传感器数据。
在示例7中，示例5或6的机器人，其中处理器进一步被配置成用于控制收发器以发送表示对机器人附近区域内的传感器的传感器标识符的请求的第二信号，其中第一信号是响应于第二信号而被接收的。
在示例8中，示例5至7中任一项的机器人，其中第一信号进一步表示在机器人附近区域内的、与由机器人附近区域内的多个传感器中的传感器检测到的传感器数据相对应的位置，并且其中根据第二操作模式进行操作包括发送表示对多个传感器中的、其传感器数据与机器人位置相对应的传感器的传感器数据的请求的信号。
在示例9中，示例1至8中任一项的机器人，其中，如果处理器根据第二操作模式进行操作，则处理器被配置成用于确定使置信度因子在预定范围内所需的相机数据量，并用于接收与所确定的相机数据量相对应的相机数据量。
在示例10中，示例1至9中任一项的机器人，其中，第一传感器数据包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据或上述各项中的任一项。
在示例11中，示例10的机器人，其中，第一传感器数据进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据。
在示例12中，示例10或11中任一项的机器人，其中第二传感器数据包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。
在示例13中，示例1至12中任一项的机器人，其中该机器人进一步包括卷积神经网络，该卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据来输出机器人环境信息，并且其中该处理器被配置成用于基于机器人环境信息来执行机器人操作。
在示例14中，示例1至13中任一项的机器人，其中根据第二操作模式进行操作进一步包括开启相机，其中该相机是机器人中的或机器人上的相机，或者该相机是在机器人附近区域中的机器人外部的相机。
在示例15中，一种传感器数据管理系统，包括：机器人，包括：
处理器，该处理器被配置成用于：根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，其中第二传感器数据包括相机数据；在根据第一操作模式进行操作时，确定表示环境感知操作的置信度的置信度因子；确定该置信度因子是否在预定范围之外；以及如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。
在示例16中，示例15的传感器数据管理系统，其中环境感知操作包括检测机器人附近区域内的对象或检测机器人附近区域的环境状况。
在示例17中，示例15的传感器数据管理系统，其中，机器人被配置成用于根据多个情境模式中的一个情境模式进行操作，多个情境模式中的每个情境模式具有唯一预定范围；其中，确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。
在示例18中，示例17的传感器数据管理系统，其中多个情境模式包括安全性模式和功率节省模式，并且其中安全性模式的唯一预定范围要求比由功率节省模式的唯一预定范围所要求的置信度因子更大的置信度因子。
在示例19中，示例15至18中任一项的传感器数据管理系统，进一步包括外部传感器电路，该外部传感器电路在机器人外部并且不由机器人直接控制，其中，外部传感器电路包括外部传感器；其中，机器人进一步被配置成用于从外部传感器电路接收表示外部传感器的传感器标识符的第一信号。
在示例20中，示例19的传感器数据管理系统，其中，机器人进一步被配置成用于基于传感器类型将传感器标识符指定为检测第一传感器数据或第二传感器数据。
在示例21中，示例19或20的传感器数据管理系统，其中机器人进一步被配置成用于控制收发器以发送表示对机器人附近区域内的传感器的传感器标识符的请求的第二信号，其中第一信号是响应于第二信号而被接收的。
在示例22中，示例19至21中任一项的传感器数据管理系统，其中，第一信号进一步表示与由外部传感器检测到的传感器数据相对应的位置，并且其中根据第二操作模式进行操作包括发送表示对外部传感器的传感器数据的请求的信号。
在示例23中，示例15至22中任一项的传感器数据管理系统，其中，如果处理器根据第二操作模式进行操作，则处理器被配置成用于确定使置信度因子在预定范围内所需的相机数据量，并用于接收与所确定的相机数据量相对应的相机数据量。
在示例24中，示例15至23中任一项的传感器数据管理系统，其中，第一传感器数据包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据、Wi-Fi传感器数据、从Wi-Fi传感器数据得出的数据、蓝牙传感器数据、从蓝牙传感器数据得出的数据或上述各项中的任一项。
在示例25中，示例24的传感器数据管理系统，其中，第一传感器数据进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据。
在示例26中，示例24或25的传感器数据管理系统，其中，第二传感器数据包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。
在示例27中，示例15至26中任一项的传感器数据管理系统，其中机器人进一步包括卷积神经网络，该卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据输出机器人环境信息，并且其中处理器被配置成用于基于机器人环境信息来执行机器人操作。
在示例28中，示例15至27中任一项的传感器数据管理系统，其中根据第二操作模式进行操作进一步包括开启相机，其中该相机是机器人中的或机器人上的相机，或者该相机是在机器人附近区域中的机器人外部的相机。
在示例29中，一种用于传感器数据管理的装置，包括：处理装置，该处理装置被配置成用于：根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，其中第二传感器数据包括相机数据；在根据第一操作模式进行操作时，确定表示环境感知操作的置信度的置信度因子；确定该置信度因子是否在预定范围之外；以及如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。
在示例30中，示例29的用于传感器数据管理的装置，其中环境感知操作包括检测机器人附近区域内的对象或检测机器人附近区域的环境状况。
在示例31中，示例29的用于传感器数据管理的装置，其中，机器人被配置成用于根据多个情境模式中的一个情境模式进行操作，多个情境模式中的每个情境模式具有唯一预定范围；其中，确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。
在示例32中，示例31的用于传感器数据管理的装置，其中多个情境模式包括安全性模式和功率节省模式，并且其中安全性模式的唯一预定范围要求比由功率节省模式的唯一预定范围所要求的置信度因子更大的置信度因子。
在示例33中，示例29至32中任一项的用于传感器数据管理的装置，其中，处理装置进一步被配置成用于接收表示机器人附近区域内的传感器的传感器标识符的第一信号。
在示例34中，示例33的用于传感器数据管理的装置，其中，处理装置进一步被配置成用于基于传感器类型将机器人附近区域内的传感器的传感器标识符指定为检测第一传感器数据或第二传感器数据。
在示例35中，示例33或34的用于传感器数据管理的装置，其中处理装置进一步被配置成用于控制收发器以发送表示对机器人附近区域内的传感器的传感器标识符的请求的第二信号，其中第一信号是响应于第二信号而被接收的。
在示例36中，示例33至35中任一项的用于传感器数据管理的装置，其中第一信号进一步表示在机器人附近区域内的、与由机器人附近区域内的多个传感器中的传感器检测到的传感器数据相对应的位置，并且其中根据第二操作模式进行操作包括发送表示对多个传感器中的、其传感器数据与机器人位置相对应的传感器的传感器数据的请求的信号。
在示例37中，示例29至36中任一项的用于传感器数据管理的装置，其中，如果处理装置根据第二操作模式进行操作，则处理装置被配置成用于确定使置信度因子在预定范围内所需的相机数据量，并用于接收与所确定的相机数据量相对应的相机数据量。
在示例38中，示例29至37中任一项的用于传感器数据管理的装置，其中，第一传感器数据包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据或上述各项中的任一项。
在示例39中，示例38的用于传感器数据管理的装置，其中，第一传感器数据进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据。
在示例40中，示例38或39的用于传感器数据管理的装置，其中，第二传感器数据包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。
在示例41中，示例29至40中任一项的用于传感器数据管理的装置，其中机器人进一步包括卷积神经网络，该卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据输出机器人环境信息，并且其中处理装置被配置成用于基于机器人环境信息来执行机器人操作。
在示例42中，示例29至41中任一项的用于传感器数据管理的装置，其中根据第二操作模式进行操作进一步包括开启相机，其中该相机是机器人中的或机器人上的相机，或者该相机是在机器人附近区域中的机器人外部的相机。
在示例43中，一种包括指令的非暂态计算机可读介质，该指令如果被执行，则使得处理器用于：根据第一操作模式或第二操作模式进行操作，其中第一操作模式包括使用第一传感器数据为机器人执行环境感知操作，其中第一传感器数据不包括相机数据，并且其中第二操作模式包括使用第二传感器数据执行环境感知操作，其中第二传感器数据包括相机数据；在根据第一操作模式进行操作时，确定表示环境感知操作的置信度的置信度因子；确定该置信度因子是否在预定范围之外；以及如果该置信度因子在预定范围之外，则根据第二操作模式进行操作。
在示例44中，示例43的非暂态计算机可读介质，其中环境感知操作包括检测机器人附近区域内的对象或检测机器人附近区域的环境状况。
在示例45中，示例43的非暂态计算机可读介质，其中，该指令进一步被配置成用于使处理器根据多个情境模式中的一个情境模式进行操作，多个情境模式中的每个情境模式具有唯一预定范围；其中，确定置信度因子是否在预定范围之外包括确定置信度因子是否在机器人根据其进行操作的情境模式的唯一预定范围之外。
在示例46中，示例45的非暂态计算机可读介质，其中多个情境模式包括安全性模式和功率节省模式，并且其中安全性模式的唯一预定范围要求比由功率节省模式的唯一预定范围所要求的置信度因子更大的置信度因子。
在示例47中，示例43至46中任一项的非暂态计算机可读介质，其中，该指令进一步被配置成用于使处理器接收表示机器人附近区域内的传感器的传感器标识符的第一信号。
在示例48中，示例47的非暂态计算机可读介质，其中，该指令进一步被配置成用于使处理器基于传感器类型将机器人附近区域内的传感器的传感器标识符指定为检测第一传感器数据或第二传感器数据。
在示例49中，示例47或48的非暂态计算机可读介质，其中，该指令进一步被配置成用于使处理器控制收发器以发送表示对机器人附近区域内的传感器的传感器标识符的请求的第二信号，其中第一信号是响应于第二信号而被接收的。
在示例50中，示例47至49中任一项的非暂态计算机可读介质，其中第一信号进一步表示在机器人附近区域内的、与由机器人附近区域内的多个传感器中的传感器检测到的传感器数据相对应的位置，并且其中根据第二操作模式进行操作包括发送表示对多个传感器中的、其传感器数据与机器人位置相对应的传感器的传感器数据的请求的信号。
在示例51中，示例43至50中任一项的非暂态计算机可读介质，其中，如果处理器根据第二操作模式进行操作，则该指令进一步被配置成用于使处理器确定使置信度因子在预定范围内所需的相机数据量，并用于接收与所确定的相机数据量相对应的相机数据量。
在示例52中，示例43至51中任一项的非暂态计算机可读介质，其中，第一传感器数据包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据或上述各项中的任一项。
在示例53中，示例52的非暂态计算机可读介质，其中，第一传感器数据进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据。
在示例54中，示例52或53中任一项的非暂态计算机可读介质，其中第二传感器数据包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。
在示例55中，示例43至54中任一项的非暂态计算机可读介质，其中，该指令进一步被配置成用于使处理器操作卷积神经网络，该卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据输出机器人环境信息，并且其中处理器被配置成用于基于机器人环境信息来执行机器人操作。
在示例56中，示例43至55中任一项的非暂态计算机可读介质，其中根据第二操作模式进行操作进一步包括开启相机，其中该相机是机器人中的或机器人上的相机，或者该相机是在机器人附近区域中的机器人外部的相机。
尽管以上描述和相关描述、附图可将组件描绘为单独的元件，但技术人员将会领会将分立的元件组合或集成为单个元件的各种可能性。此类可能性可包括：组合两个或更多个电路以用于形成单个电路，将两个或更多个电路安装到共同的芯片或基座上以形成集成元件，在共同的处理器核上执行分立的软件组件，等等。相反，技术人员将意识到可将单个元件分成两个或更多个分立的元件，诸如，将单个电路分解为两个或更多个单独的电路，将芯片或基座分成最初设置在其上的分立的元件，将软件组件分成两个或更多个部分并在单独的处理器核上执行每个部分，等等。
应当领会，本文中详述的方法的实现方式在本质上是说明性的，并且因此被理解为能够在相应的设备中实现。同样，应当领会，本文中详述的设备的实现方式被理解为能够被实现为相应的方法。因此，应当理解，与本文详述的方法对应的设备可以包括被配置成执行相关方法的每个方面的一个或多个组件。
以上描述中定义的所有首字母缩写词附加地包含在本文包括的所有权利要求中。

Claims (20)

1.一种机器人，包括：
处理器，所述处理器被配置成用于：
根据第一操作模式或第二操作模式进行操作，其中所述第一操作模式包括使用第一传感器数据执行环境感知操作，其中所述第一传感器数据不包括相机数据，并且
其中所述第二操作模式包括使用第二传感器数据执行所述环境感知操作，其中所述第二传感器数据包括相机数据；
在根据所述第一操作模式进行操作时，确定表示所述环境感知操作的置信度的置信度因子；
确定所述置信度因子是否在范围之外；以及
如果所述置信度因子在所述范围之外，则根据所述第二操作模式进行操作。
2.如权利要求1所述的机器人，其特征在于，所述环境感知操作包括检测所述机器人的附近区域内的对象或检测所述机器人的附近区域的环境状况。
3.如权利要求1所述的机器人，其特征在于，所述机器人被配置成用于根据多个情境模式中的一个情境模式进行操作，所述多个情境模式中的每个情境模式具有唯一范围；其中，确定所述置信度因子是否在所述唯一范围之外包括确定所述置信度因子是否在所述机器人根据其进行操作的情境模式的唯一范围之外。
4.如权利要求3所述的机器人，其特征在于，所述多个情境模式包括安全性模式和功率节省模式，并且其中所述安全性模式的唯一范围要求比由所述功率节省模式的唯一范围所要求的置信度因子更大的置信度因子。
5.如权利要求1至4中任一项所述的机器人，其特征在于，所述处理器进一步被配置成用于接收表示所述机器人的附近区域内的传感器的传感器标识符的第一信号。
6.如权利要求5所述的机器人，其特征在于，所述处理器进一步被配置成用于基于传感器类型将所述机器人的附近区域内的所述传感器的所述传感器标识符指定为检测第一传感器数据或第二传感器数据。
7.如权利要求5所述的机器人，其特征在于，所述处理器进一步被配置成用于控制收发器以发送表示对所述机器人的附近区域内的传感器的传感器标识符的请求的第二信号，其中所述第一信号是响应于所述第二信号而被接收的。
8.如权利要求5所述的机器人，其特征在于，所述第一信号进一步表示在所述机器人的附近区域内的、与由所述机器人的附近区域内的多个传感器中的传感器检测到的传感器数据相对应的位置，并且其中根据所述第二操作模式进行操作包括发送表示对所述多个传感器中的、其传感器数据与所述机器人的位置相对应的传感器的传感器数据的请求的信号。
9.如权利要求1至4中任一项所述的机器人，其特征在于，如果所述处理器根据所述第二操作模式进行操作，则所述处理器被配置成用于确定使所述置信度因子在所述范围内所需的相机数据量，并且用于接收与所确定的相机数据量相对应的相机数据量。
10.如权利要求1至4中任一项所述的机器人，其特征在于，所述第一传感器数据包括压力传感器数据、触摸传感器数据、扭矩传感器数据、温度传感器数据、声音传感器数据、距离传感器数据、光检测和测距传感器数据或上述各项中的任一项。
11.如权利要求10所述的机器人，其特征在于，所述第一传感器数据进一步包括被配置成用于检测具有380nm至700nm范围之外的波长的电磁波的任何传感器的数据。
12.如权利要求10所述的机器人，其特征在于，所述第二传感器数据包括被配置成用于检测具有380nm至700nm范围内的波长的电磁波的传感器的数据。
13.如权利要求1至4中任一项所述的机器人，其特征在于，所述机器人进一步包括卷积神经网络，所述卷积神经网络被配置成用于接收第一传感器数据，并且用于基于所接收的第一传感器数据来输出机器人环境信息，并且其中所述处理器被配置成用于基于所述机器人环境信息来执行机器人操作。
14.如权利要求1至4中任一项所述的机器人，其特征在于，根据所述第二操作模式进行操作进一步包括开启相机。
15.一种包括指令的非暂态计算机可读介质，所述指令在被执行时使得处理器用于：
根据第一操作模式或第二操作模式进行操作，其中所述第一操作模式包括使用第一传感器数据执行环境感知操作，其中所述第一传感器数据不包括相机数据，并且
其中所述第二操作模式包括使用第二传感器数据执行所述环境感知操作，其中所述第二传感器数据包括相机数据；
在根据所述第一操作模式进行操作时，确定表示所述环境感知操作的置信度的置信度因子；
确定所述置信度因子是否在范围之外；以及
如果所述置信度因子在所述范围之外，则根据所述第二操作模式进行操作。
16.如权利要求15所述的非暂态计算机可读介质，其特征在于，所述环境感知操作包括检测所述机器人的附近区域内的对象或检测所述机器人的附近区域的环境状况。
17.如权利要求15或16所述的非暂态计算机可读介质，其特征在于，所述指令进一步被配置成用于使所述处理器根据多个情境模式中的一个情境模式进行操作，所述多个情境模式中的每个情境模式具有唯一范围；其中，确定所述置信度因子是否在所述唯一范围之外包括确定所述置信度因子是否在所述机器人根据其进行操作的情境模式的唯一预定范围之外。
18.一种传感器数据管理系统，包括：
机器人，包括：
处理器，所述处理器被配置成用于：
根据第一操作模式或第二操作模式进行操作，其中所述第一操作模式包括使用第一传感器数据执行环境感知操作，其中所述第一传感器数据不包括相机数据，并且其中所述第二操作模式包括使用第二传感器数据执行环境感知操作，其中所述第二传感器数据包括相机数据；在根据所述第一操作模式进行操作时，确定表示所述环境感知操作的置信度的置信度因子；确定所述置信度因子是否在范围之外；以及如果所述置信度因子在所述范围之外，则根据所述第二操作模式进行操作。
19.如权利要求18所述的传感器数据管理系统，其特征在于，所述环境感知操作包括检测所述机器人的附近区域内的对象或检测所述机器人的附近区域的环境状况。
20.如权利要求18或19所述的传感器数据管理系统，进一步包括外部传感器电路，所述外部传感器电路在所述机器人外部并且不由所述机器人直接控制，其中，所述外部传感器电路包括外部传感器；其中，所述机器人进一步被配置成用于从所述外部传感器电路接收表示所述外部传感器的传感器标识符的第一信号。
CN202210685881.XA 2021-06-23 2022-06-16 机器人传感器数据管理 Pending CN115588098A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/355,213 US20210321044A1 (en) 2021-06-23 2021-06-23 Robot sensor data management
US17/355,213 2021-06-23

Publications (1)

Publication Number Publication Date
CN115588098A true CN115588098A (zh) 2023-01-10

Family

ID=78006838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210685881.XA Pending CN115588098A (zh) 2021-06-23 2022-06-16 机器人传感器数据管理

Country Status (3)

Country Link
US (1) US20210321044A1 (zh)
CN (1) CN115588098A (zh)
DE (1) DE102022106278A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211255A1 (de) 2022-10-24 2024-04-25 Siemens Healthineers Ag Steuerung von Robotern mit zentralisierter Positionserfassung

Also Published As

Publication number Publication date
DE102022106278A1 (de) 2022-12-29
US20210321044A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
EP3557358B1 (en) Adaptive autonomy system architecture
EP3525992B1 (en) Mobile robot and robotic system comprising a server and the robot
CN110612554B (zh) 用于车辆的智能访问系统和方法
EP2980546B1 (en) Intelligent noise monitoring device and noise monitoring method using the same
CN111837083A (zh) 信息处理装置、信息处理系统、信息处理方法和程序
US10948907B2 (en) Self-driving mobile robots using human-robot interactions
US20210107152A1 (en) Autonomous machine collaboration
US20200257311A1 (en) Cart having leading and following function
US10356367B2 (en) Blind spot coverage device, control device, and recording medium storing distributed control program for moving body
US11258987B2 (en) Anti-collision and motion control systems and methods
US20210109538A1 (en) Restricted area autonomous vehicle control techniques
KR102321942B1 (ko) 인공지능을 이용한 이동식 무인보트와 환경 정보 분석을 통한 수자원 모니터링 시스템
WO2019065431A1 (en) INFORMATION PROCESSING APPARATUS, MOBILE APPARATUS, INFORMATION PROCESSING METHOD, MOBILE APPARATUS CONTROL METHOD, AND PROGRAMS
CN115588098A (zh) 机器人传感器数据管理
US20220073062A1 (en) Systems and methods for operating one or more self-driving vehicles
WO2018101962A1 (en) Autonomous storage container
CN111007751A (zh) 用于控制无线网络容量的设备、方法和计算机程序
US20210109493A1 (en) Automated machines and systems
US20210311505A1 (en) Assisted movement method and device, and movable platform
JP7248603B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10726692B2 (en) Security apparatus and control method thereof
US11537132B2 (en) Mobile robot and method for operating the same
CN115326057A (zh) 路径规划方法、装置、机器人以及可读存储介质
EP4220088B1 (en) Localization using sensors that are tranportable with a device
JP2021135895A (ja) 検知装置、検知方法、およびロボット並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication