CN113687652A - 使用时空对象清单确定监测参数的系统和方法 - Google Patents

使用时空对象清单确定监测参数的系统和方法 Download PDF

Info

Publication number
CN113687652A
CN113687652A CN202110849698.4A CN202110849698A CN113687652A CN 113687652 A CN113687652 A CN 113687652A CN 202110849698 A CN202110849698 A CN 202110849698A CN 113687652 A CN113687652 A CN 113687652A
Authority
CN
China
Prior art keywords
pose
time
movement
determining
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110849698.4A
Other languages
English (en)
Inventor
彼得.艾尔温.安德森-施普雷歇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Dynamics Inc
Original Assignee
Boston Dynamics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Dynamics Inc filed Critical Boston Dynamics Inc
Publication of CN113687652A publication Critical patent/CN113687652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0297—Fleet control by controlling means in a control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

提供了用于基于来自移动机器人的对象观测来生成时空对象清单并且基于时空对象清单来确定在未来时间段用于一个或多个移动机器人的监测参数的方法、设备、系统和计算机可读介质。一些实施方式涉及基于时空对象清单确定在特定时段期间在环境的至少一个区域中发生的对象的移动的量，基于在特定时段期间发生的移动的量，确定针对一个或多个未来时段的用于移动机器人的一个或多个监测参数，向移动机器人中的一个或多个提供基于一个或多个监测参数的命令。

Description

使用时空对象清单确定监测参数的系统和方法
本申请是申请日为2016年09月09日、申请号为201680062267.0、发明名称为“使用时空对象清单确定监测参数的系统和方法”的专利申请的分案申请。
背景技术
机器人可以被编程为执行各种任务，诸如自主或半自主导航、操纵对象(例如，重新定位对象、改变对象和/或拾取对象并将它移动到不同的定位)、运送对象(而不必操纵那些对象)、监测环境状况、充当“轮上视频会议”等。
此外，已经提出了利用机器人来检测机器人的环境中的各种对象的位置的各种技术。例如，机器人可以利用一个或多个相机、激光扫描器、深度传感器和/或其它传感器来检测其环境中的对象的位置。然而，那些技术中的一种或多种可以遭受一个或多个缺点。例如，许多技术可能不利用来自环境中的多个移动机器人的对象观测来生成使得能够跟踪环境中的对象的位置和/或定向的时空对象清单。附加地和/或可替选地，许多技术可能不采用与分析时空对象清单有关的一个或多个某些技术来生成在一个或多个未来时间段用于机器人的监测参数，和/或可能不采用与基于这些监测参数影响机器人的未来移动有关的一个或多个某些技术。可以呈现前述技术和/或其它技术的附加和/或替代缺点。
发明内容
本公开一般地致力于用于下列的技术特征：基于来自移动机器人的对象观测生成时空对象清单；和/或基于时空对象清单确定在一个或多个未来时间段内用于移动机器人的监测参数。监测参数在未来时间段影响移动机器人的移动。在各种实施方式中，监测参数使移动机器人资源的整体利用率减小和/或使移动机器人资源被更高效地利用。本文中所公开的技术的实施方式可以用在各种环境中，诸如其中清单的对象可以由环境的一个或多个人类移动到环境中、移出环境和/或在环境内移动的混合人类自动化环境。
本技术的一些实施方式涉及使用来自环境中的多个移动机器人的对象观测来生成环境中的对象的时空对象清单。对象观测各自至少包括用于对应对象的对象识别符以及指示对应对象的姿态的被测对象姿态。
基于对象观测生成的时空对象清单定义针对环境中的多个对象中的每一个的姿态以及用于那些姿态的对应测量时间。因此，模型可以针对对象中的每一个来定义对象的初始姿态(例如，基于具有识别对象的对象识别符的初始对象观测的被测对象姿态)以及可选地对象的一个或多个后续姿态(例如，基于识别对象并且从初始对象观测的被测姿态值改变了至少阈值量的后续对象观测的被测姿态值)。如本文中所使用的，对象的“姿态”可以仅引用对象的位置(例如，多维坐标)，或者可以引用对象的位置和对象的定向两者。在一些实施方式中，针对时空对象清单中的对象而定义的“姿态”中的一个或多个可以指示对象不再存在于所述环境中(即，指示在环境之外的位置)和/或其定位是未知的(即，指示未知位置)。
在一些实施方式中，用于生成时空模型的多个观测来自已经参与任务的移动机器人和/或空闲机器人(即，可能在移动，但是非参与任务)。在一些实施方式中，时空模型基于新接收到的对象观测被连续地或周期性地更新(每个更新构成模型的“生成”)，以反映环境中的清单的变化(例如，对象在环境内移动、将新对象引入到环境中和/或从环境中移除对象)。
本技术的一些实施方式涉及使用时空对象清单来确定当满足一个或多个特定准则时在环境的一个或多个区域中发生的对象的移动(例如，进入区域的移动、离开区域的移动和/或在区域内达到至少阈值量的移动)的量，以及使用该确定来确定可被利用来向移动机器人中的一个或多个提供命令的监测参数，监测参数在还满足一个或多个特定准则的未来时间段影响移动机器人的移动的一个或多个方面。
作为一个示例，如果基于时空对象清单确定了当满足某些准则时环境的区域中的对象的移动是相对频繁的，则相对大量的移动机器人可以在还满足那些准则的未来时间段期间被显式地引导到该区域，和/或一个或多个移动机器人可以被引导成更可能选择在未来时间段期间遇到该区域的路径。这可以在未来时间段期间由移动机器人在该区域中产生更大量的对象观测，从而使得时空对象清单更准确地反映清单的实际当前状态。另一方面，如果确定了当满足某些其它准则时区域中的对象的移动是相对不频繁的，则相对少量的移动机器人(或甚至没有)可以在还满足那些其它准则的未来时间段被显式地引导到该区域和/或一个或多个移动机器人可能被引导成不太可能选择在未来时间段期间遇到该区域的路径。这可以在未来时间段期间由移动机器人在该区域中产生更少量的对象观测，从而总体降低移动机器人资源的利用率和/或使得移动机器人资源能够被引导到其它任务(并且因此被更高效地利用)。
在一些实施方式中，可以提供一种方法，所述方法包括由一个或多个计算机的系统接收来自环境中的多个移动机器人的对象观测。多个对象观测各自包括用于对应对象的对象识别符以及针对对象识别符的指示对应对象的对象姿态的被测对象姿态。可以基于来自移动机器人中的对应一个的一个或多个传感器的传感器数据来确定对象识别符和/或被测对象姿态。所述方法还包括由系统基于对象识别符、被测对象姿态和对象观测的测量时间来生成时空对象清单。时空对象清单针对通过对象观测的对象识别符指示的多个对象中的每一个来定义对象的一个或多个姿态和用于姿态的对应测量时间。所述方法还包括由系统并基于时空对象清单来确定当满足一个或多个准则时发生的对象的移动的量。对象的移动包括下列中的至少一种：对象进入环境的至少一个区域的移动，以及对象离开环境的所述区域的移动。所述方法还包括：由系统并基于当满足准则时发生的移动的量来确定在还满足准则的一个或多个未来时间段内用于移动机器人的一个或多个监测参数；以及由系统向移动机器人中的一个或多个提供基于监测参数的命令。命令在未来时间段影响移动机器人的移动的一个或多个方面，并且最终影响在未来时间段接收的针对环境的区域的对象观测的量。
本文中所公开的技术的这个方法和其它实施方式可以各自可选地包括以下特征中的一个或多个。
在一些实施方式中，一个或多个准则包括特定时间段，并且所述方法还包括由系统基于确定在特定时间段期间发生了对象的移动来确定当满足一个或多个准则时发生了对象的移动。在那些实施方式中的一些中，特定时间段是下列中的一个：一周中的一个或多个特定日、一年中的一个或多个特定日或者在一周中的特定日或一年中的日中的一个或多个期间的一个或多个时间段。在一些实施方式中，确定当满足一个或多个准则时发生了对象的移动包括由系统确定在特定时间段期间发生了对象移动到区域中的移动。在那些实施方式中的一些中，确定在特定时间段期间发生了对象移动到区域中的移动包括：确定对象的姿态中的第一姿态在区域之外并且具有对应测量时间中的时间上在时间段之前的第一对应测量时间；以及确定对象的姿态中的第二姿态在区域内并且具有对应测量时间中的时间上在时间段内的第二对应测量时间。在那些实施方式中的一些中，确定在特定时间段期间发生了对象移动到区域中的移动包括：确定没有为时空对象清单中的对象定义时间上在时间段之前的姿态；以及确定对象的姿态中的姿态在区域内并且具有对应测量时间中的时间上在时间段内的对应测量时间。在一些实施方式中，确定当满足一个或多个准则时发生了对象的移动包括由系统确定在特定时间段期间发生了对象移出区域的移动。在那些实施方式中的一些中，确定在特定时间段期间发生了对象移出区域的移动包括：确定对象的姿态中的第一姿态在区域内部并且具有对应测量时间中的时间上在时间段之前的第一对应测量时间；以及确定对象的姿态中的第二姿态在区域之外并且具有对应测量时间中的时间上在时间段内的第二对应测量时间。
在一些实施方式中，一个或多个准则包括一个或多个人类的群组存在于区域中，并且所述方法还包括由系统接收指示在区域中存在一个或多个人类的群组的多个时间段的人类存在数据。在那些实施方式中的一些中，所述方法还包括基于确定在所述区域中存在群组的时间段中的一个期间发生了对象的移动来确定当满足一个或多个准则时发生了对象的移动。
在一些实施方式中，一个或多个准则包括在区域中存在一个或多个人类的一个或多个特定量，并且所述方法还包括由系统接收指示在区域中存在一个或多个人类的一个或多个特定量的多个时间段的人类量时间。在那些实施方式中的一些中，所述方法还包括基于确定在区域中存在一个或多个特定量的时间段中的一个期间发生了对象的移动来确定当满足一个或多个准则时发生了对象的移动。
在一些实施方式中，一个或多个准则包括环境的清单准则，并且所述方法还包括基于确定当在环境中存在清单准则时发生了对象移动来确定当满足一个或多个准则时发生了对象的移动。在那些实施发生中的一些中，环境的清单准则是局限于环境的区域的清单准则。
在一些实施方式中，区域是所述环境的子集。
在一些实施方式中，基于监测参数在未来时间段影响移动机器人的移动的一个或多个方面的命令包括在未来时间段期间将移动机器人引导到区域的命令。
在一些实施方式中，基于监测参数在未来时间段影响移动机器人的移动的一个或多个方面的命令包括增加移动机器人将选择在未来时间段遇到区域的路径的可能性的命令。
其它实施方式可以包括一种存储指令的非暂时性计算机可读存储介质，指令可由一个或多个处理器执行以执行诸如上述方法中的一个或多个的方法。又一个实施方式可以包括一种系统，该系统包括存储器和一个或多个处理器，处理器可操作来执行存储在存储器中的指令，以实现一个或多个模块或引擎，模块或引擎单独或共同地执行诸如上述方法中的一个或多个的方法。
应该理解的是，在本文中更详细地描述的前述构思和附加构思的所有组合均被设想为是本文中所公开的主题的一部分。例如，在本公开的结尾处出现的要求保护的主题的所有组合均被设想为是本文中所公开的主题的一部分。
附图说明
图1图示可以基于来自移动机器人的对象观测生成时空对象清单和/或可以基于时空对象清单确定在一个或多个未来时间段内用于移动机器人的监测参数的示例环境。
图2图示使用移动机器人的对象观测来生成时空对象清单的一部分的示例。
图3图示基于时空对象清单确定用于移动机器人的监测参数并且向移动机器人提供基于监测参数的命令的示例。
图4A图示在第一时间的建筑物的一部分的平面图。
图4B图示在比图4A的第一时间晚的第二时间的建筑物的所述部分的平面图。
图4C图示在比图4B的第二时间晚的第三时间的建筑物的部分的平面图。
图5描绘图示基于来自移动机器人的对象观测生成时空对象清单并且基于时空对象清单确定在一个或多个未来时间段内用于移动机器人的监测参数的示例方法的流程图。
图6示意性地描绘机器人的示例架构。
图7示意性地描绘计算机系统的示例架构。
具体实施方式
本公开一般地致力于用于下列的技术特征：基于来自移动机器人的对象观测生成时空对象清单；和/或基于时空对象清单确定在一个或多个未来时间段内用于移动机器人的监测参数。监测参数在未来时间段影响移动机器人的移动。在各种实施方式中，监测参数使移动机器人资源的整体利用率减小和/或使移动机器人资源被更高效地利用。
图1图示可以基于来自移动机器人130A-N的对象观测140A-N生成时空对象清单170和/或可以基于该时空对象清单170确定在一个或多个未来时间段内用于移动机器人130A-N的监测参数的示例环境。在图1的示例环境中图示了三个机器人130A、130B和130N。也可以像由图1的位于机器人130B与机器人130N之间的省略号所指示的那样存在附加机器人。在图1的环境中还提供了时空对象清单生成系统150、机器人命令生成系统160、时空对象清单170、期望对象移动数据库175以及对象观测140A、140B和140N。该环境的各种组件可以经由诸如局域网(LAN)和/或诸如因特网的广域网(WAN)的一个或多个网络彼此通信。在其它实施方式中，可以利用一个或多个组件之间的直接连接。
对象观测140A、140B和140N可以由对应的机器人130A、130B和130N提供给系统150以根据本文中所描述的技术来生成时空对象清单170。此外，机器人命令生成系统160可以使用时空对象清单170来确定当满足一个或多个特定准则时在环境的一个或多个区域中发生的对象的移动的量，并且当还满足一个或多个特定准则时基于可被利用来向移动机器人中的一个或多个提供命令的量确定监测参数，监测参数在未来时间段影响移动机器人的移动的一个或多个方面。
机器人130A-N中的每一个可以位于诸如建筑物(例如，仓库、制造设施、办公楼)、一批附近建筑物的一个或多个建筑物、多层办公室或其它建筑物的一个或多个楼层等的环境中。可以在其它实施方式中提供附加和/或替代机器人，诸如在一个或多个方面中与图1中所图示的那些机器人不同的附加机器人。例如，自主或半自主叉车机器人可以作为唯一机器人和/或与其它机器人一起被提供。
机器人130A、130B和130N中的每一个包括对应的基部133A、133B和133N，其中轮子被设置在其相对侧面上以用于移动对应的机器人130A、130B和130N。基部133A、133B和133N中的每一个可以包括例如用于驱动对应轮子以针对对应的机器人130A、130B和130N实现期望的运动方向、速度和/或加速度的一个或多个电机。
机器人130A、130B和130N中的每一个也包括至少一个姿态设备，姿态设备包括一个或多个对应的姿态传感器。如本文中所使用的，姿态传感器是可感测与在传感器的视线(或其它感测范围)中的对象的形状、颜色、射频和/或其它特征有关的数据的传感器，其中，所感测到的数据可(可选地与其它数据相结合地)用于确定对象的定位和/或定向。作为姿态设备的一个示例，机器人130A和130N包括对应的3D激光扫描器131A和131N，其各自包括发射光的一个或多个激光器以及收集与所发射的光的反射有关的数据以使得能够确定各种对象的定位和/或定向的一个或多个传感器。激光扫描器131A和131N可以是例如飞行时间3D激光扫描器或基于三角测量的3D激光扫描器，并且可以包括位置敏感检测器(PSD)或其它光学位置传感器。
作为姿态设备的另一示例，机器人130B包括立体相机131B，立体相机131B包括两个传感器(例如，电荷耦合器件(CCD))，每个传感器在不同的有利位置处。通过对由在不同的有利位置处的两个传感器所感测到的数据进行比较，可以确定各种对象的位置和/或定向。作为姿态设备的又一个示例，机器人可以包括机器视觉相机，机器视觉相机包括捕获尤其与对象上的参考标签有关的数据的传感器。可利用与对象上的参考标签有关的数据来检测参考标签并且基于该参考标签确定对象的位置和/或定向。作为姿态设备的又一个示例，机器人可以包括读取对象的RFID标签(无源的或有源的)的射频识别(RFID)读取器，并且机器人可以在读取RFID标签时使用其自身的姿态来确定对象的位置。尽管在本文中描述了姿态设备和相关传感器的具体示例，然而可以利用附加和/或替代姿态设备和相关传感器。
机器人130A、130B和130N中的每一个也包括一个或多个控制器，控制器例如向致动器和/或其其它操作组件提供控制命令，生成本文中所描述的对象观测的全部或各方面，和/或接收由机器人命令生成系统160提供的一个或多个命令145并且生成基于命令145的一个或多个控制命令。例如，机器人130A的一个或多个控制器可以向伺服电机提供控制命令，伺服电机驱动机器人130A的轮子以自主地将机器人130A导航到环境中的各个定位，其中那些控制命令是由机器人130A考虑到从系统160接收到的命令145而生成的。另外，例如，机器人130A的一个或多个控制器可以经由机器人130A的网络接口与时空对象清单生成系统150和/或机器人命令生成系统160建立网络连接，并且将对象观测140A的全部或各方面提供给系统150和/或从机器人命令生成系统160接收命令145。在本文中提供了各种机器人的结构和功能性的一些示例的附加描述。
机器人130A可以是在环境周围移动并且经由3D激光扫描器131A和/或其它传感器收集数据但是不执行任何附加非监测/观测任务的监测/观测机器人。机器人130B包括具有对应的末端执行器135B1和135B2的机器人臂134B1和134B2，对应的末端执行器135B1和135B2各自采取带有两个相对“手指”或“指头”的抓取器的形式。可以自主地、半自主地和/或基于由用户经由用户的计算设备提供的控制命令来控制机器人臂134B1、134B2和末端执行器135B1、135B2。例如，机器人臂134B1可以被自主地控制以将末端执行器135B1定位为接近于对象，并且末端执行器135B1可以被自主地控制以抓住对象。机器人130N是包括显示屏幕132N并且除了其它功能性之外还可以提供移动视频会议的远程呈现(telepresence)机器人。例如，可以利用机器人130N来使得远程计算设备处的用户能够从机器人130N(例如，经由机器人130N的附加相机)接收“实况视图”和/或在显示屏幕132B上显示用户的一些标记。用户的标记可以是例如用户的图像、从耦合到用户的计算设备的相机馈送的实况视频等。尽管在图1中图示了一组异构机器人，然而在其它实施方式中环境中的机器人可以是同构的。
机器人130A-N向时空对象清单生成系统150提供对应的对象观测140A-N，并且时空对象清单生成系统150基于所提供的对象观测生成时空对象清单170。生成时空对象清单170可以包括更新清单170以反映由对象观测所指示的环境中的变化，诸如对象在环境中移动、向环境引入新的对象或从环境中移除对象。时空对象清单生成系统150可以连续地、周期性地、基于一个或多个新的对象观测的接收和/或基于其它准则来更新清单170。
机器人130A-N可以在各种情况下提供对象观测140A-N。例如，机器人130A-N可以在它们已经参与另一任务(例如，机器人130B可以随着它正在导航到要执行任务的定位而提供多个对象观测140B)时和/或在它们未参与另一非监测/观测任务(例如，不是坐视不管，而是机器人可以在环境各处移动以提供对象观测)时提供对象观测140A-N。如关于本文描述所理解的，机器人130A、130B、130N将通常在一定时间段期间提供多个对象观测。例如，机器人130A的对象观测140A包括多个对象观测，其中对象观测中的每一个是针对不同时刻的。
对象观测140A-N中的每一个尤其可以分别包括：对象的至少一个对象识别符、对象的被测对象姿态和用于被测对象姿态的测量时间。被测对象的对象识别符可以例如基于对象上的参考标签、对象的射频识别(RFID)标签(无源的或有源的)和/或对象的特征点，并且可以由机器人130A-N中的对应一个基于各种技术来确定。例如，当对象识别符基于对象上的参考标签(例如，快速响应(QR)码或其它条形码、字母数字标签)时，机器人130A可以基于从由机器人130A捕获的对象的图像中的参考标签中提取对象识别符来确定被测对象的对象识别符。另外，例如，当对象识别符基于对象的RFID标签时，机器人130A可以包括读取RFID标签和用作对象识别符的已读取的RFID标签的ID信号的RFID读取器。此外，例如，当对象识别符基于对象的特征点时，机器人130A可以利用激光扫描器131A、相机和/或其它传感器来生成特征点并且基于这些特征点确定识别符。
在一些实施方式中，对象的被测对象姿态可以由机器人130A-N中的对应一个基于由姿态设备131A-N中的对应一个的一个或多个传感器感测到的数据来确定。对象的被测对象姿态可以作为单个姿态(诸如SE(3)配置空间中的单个平均姿态)来提供，或者可以作为具有协方差量度的姿态(诸如在均值周围的6维正切空间内具有相关高斯协方差量度的SE(3)配置空间中的平均姿态)来提供。
测量时间指示被测对象姿态所基于的传感器数据被感测到的时间。测量时间可以基于传感器数据被感测到的时间，或者可以基于另一事件，诸如被测对象姿态被确定的时间(当它与传感器数据不同时)。在一些实施方式中，对象观测140A-N中的一个或多个(例如，全部)可以省略测量时间，并且测量时间可以由时空对象清单生成系统150基于接收到所对应的对象观测140A-N的时间来推断。
在一些实施方式中，对象观测140A-N中的一个或多个也可以包括被利用来在测量时间生成对应的被测对象姿态的一个或多个传感器的被测源姿态。换句话说，对象观测的被测源姿态指示当针对被测对象姿态的测量结果被取得时对应机器人和/或该机器人的对应传感器的姿态。被测源姿态可以作为单个姿态(诸如SE(3)配置空间中的单个平均姿态)来提供，或者可以作为具有协方差量度的姿态(诸如在均值周围的6维正切空间内具有相关高斯协方差量度的SE(3)配置空间中的平均姿态)来提供。
如本文中所描述的，在一些实施方式中时空对象清单生成系统150可以基于对应的被测对象姿态和对应的被测源姿态两者来确定用于时空对象清单170的对象姿态。在一些实施方式中，系统150可以基于对应的被测对象姿态并且在不用参考对应的被测源姿态的情况下确定用于时空对象清单170的对象姿态。在那些实施方式中的一些中，被测源姿态可以作为被测对象姿态被提供给系统150。
在一些实施方式中，对象的被测源姿态可以由机器人130A-N中的对应一个基于由其一个或多个传感器感测的数据来确定。机器人130A-N可以利用各种定位技术来确定诸如微粒过滤器、地标检测和/或GPS的被测源姿态。在一些实施方式中，可以利用机器人外部的一个或多个传感器来确定机器人的被测源姿态。例如，可以利用来自观测机器人的固定相机的测量结果来确定机器人的被测源姿态。该测量结果可以基于例如机器人的参考标签和/或RFID标签与机器人相关联，并且可以给该测量结果加时间戳以使该测量结果与对象观测的对应测量时间相关联。作为另一示例，可以利用来自观测给定机器人的另一机器人的测量结果来确定给定机器人的被测源姿态。该测量结果可以基于例如机器人的参考标签和/或RFID标签与机器人相关联，并且可以给该测量结果加时间戳以使该测量结果与对象观测的对应测量时间相关联。在一些实施方式中，当给定机器人其本身不提供被测源姿态(例如，给定机器人缺少适当的传感器或者包括一个适当的传感器但是无法定位)时，可以利用来自观测给定机器人的另一机器人的测量结果来确定给定机器人的被测源姿态。注意的是，被利用来确定给定机器人的被测源姿态的来自另一机器人的测量结果可以是来自另一机器人的被测对象姿态，其中被测对象姿态的对象是给定机器人。来自机器人外部的一个或多个传感器的测量结果可以被用作用于机器人的被测源姿态的唯一源和/或与来自(机器人的或机器人外部的)其它传感器的测量结果组合以确定机器人的被测源姿态。
时空对象清单生成系统150可以包括通过一个或多个网络(未描绘)连接的一个或多个计算系统并且可以使用对象观测140A-N来生成时空对象清单170，时空对象清单170定义对象、对象姿态以及用于可由机器人130A-N访问的环境中的多个对象的对应测量时间。在图7中示意性地描绘了这种计算系统的示例。可以将各种模块或引擎作为软件、硬件或两者的任何组合实现为时空对象清单生成系统150的一部分。例如，在图1中系统150包括对象姿态生成引擎152和清单生成引擎154。尽管关于针对机器人130A-N的对象观测140A-N讨论下面的示例，然而在一些实施方式中时空对象清单生成系统150也可以使用未安装在机器人上的固定传感器的对象观测来确定环境中的一个或多个对象的对象姿态和对应测量时间中的至少一些。
对象姿态生成引擎152被配置成针对对象观测140A-N中的每一个来确定由观测所指示的测量时间内由观测所指示的对象的姿态。由对象姿态生成引擎152确定的对象姿态相对于参考系，诸如所谓的“世界坐标系”。
在一些实施方式中，可以相对于参考系提供对象观测140A-N中的一个或多个的被测对象姿态。例如，由机器人130A提供的被测对象姿态可以是作为机器人130A已经考虑到对应的被测源姿态修改了被测对象姿态的结果在参考系中的姿态。作为另一示例，在一些实施方式中机器人130B的被测对象姿态可以是机器人130B的已经在参考系中的被测源姿态。例如，机器人130B可以基于对象的RFID标签和/或对象的参考标签来确定对象的对象识别符，并且机器人130B可以提供它自身的源姿态作为对象在那时的被测对象姿态。
在一些实施方式中，对象观测140A-N中的一个或多个的被测对象姿态可以相对于被利用来确定被测对象姿态的传感器，并且那些对象观测也可以被提供有相对于参考系的被测源姿态。在那些实施方式中，对象姿态生成引擎152可以基于考虑到被测源姿态修改被测对象姿态来确定参考系中的对象姿态。换句话说，对象姿态生成引擎152可以使用被测源姿态来将被测对象姿态变换到参考系中。
清单生成引擎154将由对象姿态生成引擎152确定的姿态值连同这些姿态值的对应对象识别符和这些姿态值的对应测量时间一起存储在时空对象清单170中。因此，所生成的清单170可以针对多个对象中的每一个来定义多个对象姿态以及用于这些对象姿态的相关测量时间。值得注意的是，所确定和存储的对象姿态中的每一个来自对象观测140A-N中的不同的对象观测，并且对象观测140A-N来自多个对应的机器人130A-N。
在一些实施方式中，当新接收到的对象观测包括从由清单生成引擎154最近存储的对象的最近的对象姿态未改变至少阈值量的对象的被测对象姿态时，引擎154可以不存储基于新接收到的对象观测的附加对象姿态。在那些实施方式中的一些中，引擎154可以替代地使新接收到的对象观测的测量时间与最近的对象姿态相关联。在一些实施方式中，引擎156可以组合(例如，平均)最近的对象姿态和基于新接收到的对象观测而确定的附加对象姿态，并且用经组合的对象姿态替换最近的对象姿态。
在一些实施方式中，清单生成引擎154可以将时空对象清单170中的对象的对象姿态中的一个或多个定义为对象不再存在于环境中(即，指示位置在环境之外)和/或其定位是未知的(即，指示未知位置)的指示。在一些实施方式中，清单生成引擎154基于例如在至少阈值时间量内未接收到识别对象的对象观测来确定对象不再存在于环境中。在一些实施方式中，清单生成引擎154基于识别对象在期望对象移动数据库175中存在条目(可选地，与在至少阈值时间量内未接收到识别对象的对象观测相结合地)确定对象不再存在于环境中。期望对象移动数据库175针对一个或多个对象中的每一个可以包括指示对象期望移出环境的数据。指示对象期望被移出环境的数据可以基于例如对象的接收顺序、移动对象的请求和/或一个或多个机器人的与移动对象有关的记录动作。
在一些实施方式中，基于例如接收到在对象的最后已知姿态处或附近的其它对象的一个或多个对象观测但是未接收到该对象的对象观测，清单生成引擎154确定该对象的位置是未知的。在那些实施方式中的一些中，清单生成引擎154进一步基于识别对象在期望对象运动数据库175中不存在条目来确定对象的位置是未知的(否则，如果它存在，则对象的位置可以被称为“在环境之外”)。在一些实施方式中，清单生成引擎154基于例如引导移动机器人130A-N中的一个或多个以具体地朝向对象的最后已知姿态引导其姿态设备来确定对象的位置是未知的。如果一个或多个被引导的移动机器人未检测到在最后已知姿态处或附近的对象，则清单生成引擎154可以确定对象的位置是未知的。在那些实施方式中的一些中，引擎154可以基于例如在至少阈值时间量内未接收到识别对象的对象观测而将移动机器人130A-N中的一个或多个引导到对象。在一些实施方式中，阈值时间量和/或引擎154是否将移动机器人中的一个或多个引导到对象可以基于例如对象的重要性水平。
时空对象清单170的值和关系可以以各种方式被存储在清单170中。例如，时空对象清单170可以是其中对象识别符为索引值的索引，索引值分别指向元组，元组分别至少包括：关于一个或多个对应时间的对象姿态值和该一个或多个对应时间。另外，例如，时空对象清单170可以具有其中对象识别符是节点并且节点分别通过一条或多条边连接到中心节点的图拓扑。每条边可以基于一个或多个对象观测并且可以包括诸如针对一个或多个对应时间的对象姿态值和该一个或多个对应时间的属性。例如，给定节点可以具有多条边，其中每条边基于对应的对象观测。作为又一个示例，时空对象清单170可以具有其中对象识别符是节点并且对象姿态也是节点的图拓扑。对象识别符节点可以分别通过一条或多条边连接到一个或多个对象姿态节点，其中每条边基于针对指示对应对象姿态的对应对象识别符的对象观测。例如，给定边可以在给定对象识别符节点与给定对象姿态节点之间并且可以基于对应的对象观测。给定边可以包括诸如对应测量时间的属性。
在一些实施方式中，可以利用时空对象清单170来改进一个或多个清单管理系统的期望对象移动数据库175和/或其它数据库中的数据质量。例如，可以利用针对清单170中的对象所定义的姿态来验证那些对象的由清单管理系统期望的姿态。例如，可以利用清单170来验证应该在环境中的对象实际上在环境中，验证环境中的对象的预期姿态如期望的那样，和/或验证应该已离开环境的对象实际上离开了环境。如下所述，机器人命令生成系统160可以采用各种技术来使移动机器人130A-N遍布环境，这可以改进清单170的准确性和/或及时性(和/或改进对移动机器人130A-N的利用的效率)。这可以使清单170在验证由清单管理系统期望的姿态时更有效和/或对于其它目的更有效。
机器人命令生成系统160可以包括通过一个或多个网络(未描绘)连接的一个或多个计算系统并且使用时空对象清单170来确定在一个或多个未来时间段的针对环境的一个或多个区域的用于移动机器人130A-N的监测参数。另外，系统160可以向移动机器人130A-N中的一个或多个提供命令145，以用于考虑到监测参数在未来时间段影响在环境的一个或多个区域处的对象观测的量。可以将各种模块或引擎作为软件、硬件或两者的任何组合实现为机器人命令生成系统160的一部分。例如，在图1中系统160包括移动量引擎162、监测参数引擎164和命令引擎166。
移动量引擎162确定当满足一个或多个准则时在环境的至少一个区域中发生的时空对象清单170的对象的移动的量。准则可以包括例如下列中的一个或多个：一个或多个特定时间段、一个或多个人类的特定群组存在于区域中、一个或多个特定量的人类存在于区域中，和/或清单准则。
在一些实施方式中，移动量引擎162可以确定移动的未加权的量(即，每个移动被计数为相同的)。在一些其它实施方式中，移动量引擎162可以在确定量时基于各种准则对一个或多个移动进行加权。例如，引擎162可以基于与当前时间的时间接近度对一个或多个移动进行加权(例如，更接近的那些移动可以被更重地加权)。另外，例如，引擎162可以基于与移动相关联的对象识别符的重要性水平对一个或多个移动进行加权。例如，与高价值对象相关联的一些对象识别符可以具有比低价值对象更高的重要性水平和/或与需要在特定环境条件中(例如，在某些温度内)的对象相关联的一些对象识别符可以具有比不在特定环境条件中的那些项目更高的重要性水平。另外，例如，引擎162可以基于移动是“期望移动”还是“未知移动”对一个或多个移动加权(例如，如上所述)。例如，“未知”移动可以被更重地加权以增加对“未知移动”的关注(例如，基于指示对象的定位的对象姿态而确定的那些移动是未知的)。
在一些实施方式中，移动量引擎162可以基于各种准则限制针对其确定量的那些移动。例如，由移动量引擎162使用来确定区域中的移动的量的对象的移动可以局限于“未知移动”的移动。另外，例如，由移动量引擎162使用来确定区域中的移动的量的对象的移动可以局限于与至少具有阈值重要性水平的对象相关联的移动。作为又一个示例，由移动量引擎162使用来确定区域中的移动的量的对象的移动可以局限于“未知移动”，并且与至少具有阈值重要性水平的对象相关联的移动。
在准则包括特定时间段的实施方式中，该特定时间段可以是例如一周中的一个或多个特定日、一年中的一个或多个特定日或在一周中的一个或多个特定日或一年中的特定日期间的一个或多个时间段。在准则包括特定时间段的实施方式中，用于确定区域中的移动的量的对象的移动可以至少局限于在该特定时间段期间发生的那些移动。此类移动可以由移动量引擎162基于例如确定指示那些移动具有清单170中所定义的指示在该时间段期间区域中的移动的测量时间的姿态值来确定。
例如，移动量引擎162可以基于确定清单170中的对象的第一姿态在区域之外并具有时间上在特定时间段之前的第一对应测量时间以及确定清单170中的对象的第二姿态在区域内并具有时间上在时间段内的第二对应测量时间，来确定在特定时间段期间发生了对象中的一个进入区域的移动。另外，例如，移动量引擎162可以基于确定没有为清单170中的对象定义时间上在时间段之前的姿态并且确定清单170中的对象的姿态在区域内并具有时间上在时间段内的对应测量时间，来确定在特定时间段期间发生了对象中的一个进入区域的移动。作为又一个示例，移动量引擎162可以基于确定清单170中的对象的第一姿态在区域内部并具有时间上在时间段之前的第一对应测量时间并且确定清单170中的对象的第二姿态在区域之外并具有时间上在时间段内的第二对应测量时间，来确定在特定时间段内发生了对象中的一个离开区域的移动。
在准则包括一个或多个人类的群组存在于区域中的一些实施方式中，该群组可以是例如一个或多个特定人类和/或一个或多个特定“类别”的人类。例如，该群组可以包括下列中的一个或多个：特定雇员、多个特定雇员、一个或多个特定承包商、一个或多个一般承包商，和/或一个或多个一般客人。
在准则包括一个或多个人类的群组存在于区域中的一些实施方式中，用于确定区域中的移动的量的对象的移动可以至少局限于当一个或多个人类的群组存在时发生的那些移动。移动量引擎162可以基于例如接收到指示一个或多个人类的群组存在于区域中的多个时间段的人类存在数据以及基于清单170确定指示那些移动并且具有在一个或多个人类的群组存在的时间段中的一个期间的测量时间的姿态值，来确定此类移动。在一些实施方式中，人类存在数据可以基于由一个或多个电子访问控制系统提供的识别符，诸如由访问控制系统响应于人类“签入/签出”和/或使用生物计量特征来获得对区域的访问所提供的识别符。在一些实施方式中，人类存在数据可以由移动机器人130A-N、固定相机系统和/或环境的其它传感器提供。例如，人类存在数据可以由移动机器人130A-N基于从由人类佩戴的徽章中的“RFID标签”感测到的和/或基于图像分析而确定的识别符来确定。
在准则包括一个或多个人类的群组存在于区域中的一些实施方式中，本文中所描述的技术可以促进在存在人类的与相对大量的对象移动相关联的一个或多个区域中由移动机器人对清单的额外监测。例如，当在区域中存在频繁地移动对象的第一群组时，由机器人130A-N进行的清单监测相对于当在区域中存在很少移动对象的第二群组时可以增加。例如，第一群组可以是其工作是检索用于将对象运送到另一区域和/或离开环境的对象的工作人员，并且第二群组可以是其工作是修理机械设备(并且很少移动对象)的工作人员。在那些和/或其它实施方式中的一些中，由移动量引擎162使用来确定区域中的移动的量的对象的移动可以局限于离开区域并且是“未知移动”的移动，诸如基于指示对象的定位是未知的对象姿态而确定的对象的移动。这可以使得能够确定当满足一个或多个准则时发生的意外移动的量，并且可以在所述量相对较高时，进一步使得由一个或多个移动机器人对清单的监测能够在满足该准则的未来时间段内增加。
在准则包括在区域中存在一个或多个人类的一个或多个特定量的一些实施方式中，特定量可以是例如诸如“5”的单个量，或者一个或多个范围的量，诸如“5-10”，或者“2-4和6-10”。在一些实施方式中，用于确定区域中的移动的量的对象的移动可以至少局限于当在区域时存在特定量时发生的那些移动。移动量引擎162可以基于例如接收到指示在区域中存在特定量的一个或多个人类的多个时间段的人类存在数据(例如，从“签入”接收的、从“RFID标签”接收的、通过图像分析确定的)并且基于清单170确定指示那些移动的姿态值具有在区域中存在特定量的时间段中的一个期间的测量时间来确定此类移动。
在准则包括环境的清单准则的实施方式中，清单准则可以是例如存在至少阈值量的一个或多个特定类型的清单和/或通常为清单、存在小于阈值量的一个或多个特定类型的清单，和/或一般清单，和/或至少一个或多个特定类型的清单和/或一般清单的量中的阈值变化。在一些实施方式中，环境的清单准则是局限于正在确定对象的移动的量而针对的环境的区域的清单准则。
在一些实施方式中，用于确定区域中的移动的量的对象的移动可以至少局限于当特定清单准则存在时发生的那些移动。移动量引擎162可以基于例如基于时空对象清单170确定在区域中存在特定清单准则的时间段并且确定指示那些移动的对象姿态具有清单170中所定义的在区域中存在特定清单准则的时间段中的一个期间的测量时间，来确定此类移动。
尽管在上面提供了仅依靠单个准则的若干示例，然而应理解的是，移动量引擎162可以确定满足多个准则时在区域中发生的移动的量。例如，引擎162可以确定当存在至少5个人类并且存在“类型A”的对象的至少100个量时在上月内任何工作日在区域中发生的移动的量。另外，尽管在上面提供了仅描述基于一组一个或多个准则确定一个或多个区域的单个量的若干示例，然而应理解的是，移动量引擎162可以针对多个实例中的每一个来确定对应量，其中每个实例针对不同的区域和/或一组不同的准则。例如，可针对第一组准则为环境的第一区域确定第一量并且可针对第二组准则为环境的第二区域确定第二量。另外，例如，可针对第二组准则为环境的第一区域确定第三量。
对于由引擎162确定的每个量，监测参数引擎164确定在还满足对应准则的一个或多个未来时间段用于对应区域的一个或多个监测参数。监测参数引擎164可以按相关区域并按相关准则存储确定的监测参数以供由命令引擎166像本文中所描述的那样利用。监测参数通常定义应该将多少移动机器人130A-N部署到区域和/或移动机器人130A-N中的一个或多个应该多久遇到该区域。例如，假定对于环境的第一区域并且对于第一组一个或多个准则，由引擎162确定的移动的量是10。进一步假定对于环境的第二区域并且对于第一组准则，由引擎162确定的移动的量是250。监测参数引擎164将针对第一组准则为第二区域确定监测参数，监测参数定义应该部署和/或应该按比它针对第二组准则为第一区域确定的数目和/或频率更大的频率部署大量的移动机器人。
在一些实施方式中，基于当满足某些准则时在区域中发生的移动的量确定监测参数包括基于由引擎162确定的原始量确定监测参数。例如，如果原始量小于50则可以确定第一监测参数，如果原始量是从50到100则可以确定第二监测参数等。在一些实施方式中，基于当满足某些准则时在区域中发生的移动的量确定监测参数包括基于对由引擎162确定的量的归一化或者基于对量的某个其它变换来确定量。例如，在一些实施方式中可以相对于诸如通过移动的原始量所表示的天数、小时数和/或周数的一个或多个值对由引擎162确定的原始量进行归一化。例如，如果量的基于在最后一日期间在区域中发生的移动的量，则可以使该量归一化为每小时移动的平均量(例如，原始量除以24)。作为另一示例，如果量是基于在随后一小时期间在区域中发生的移动的量，则可以使该量归一化为每分钟移动的平均量(例如，原始量除以60)。作为又一个示例，如果量是在过去52周内在星期二发生的移动的量，则可以使该量归一化为每天移动的平均量(例如，原始量除以52)。
作为一个特定示例，可以使由引擎162确定的所有量归一化为每分钟移动的平均量。监测参数引擎164可以在每分钟移动的平均量小于1的情况下确定第一监测参数，在每分钟移动的平均量为从1到5时的情况下确定第二监测参数，在每分钟移动的平均量为从6到10的情况下确定第三监测参数等。第三监测参数与第二监测参数相比可以定义区域中的移动机器人的更大量和/或区域中的机器人移动的更大频率，并且第二监测参数与第一监测参数相比可以定义更大量和/或更大频率。
如本文中所描述的，监测参数引擎164可以确定监测参数的多个实例，其中每个实例与环境的一个或多个对应的区域和一个或多个对应的准则相关联。对于监测参数的一个或多个实例中的每一个，命令引擎166向移动机器人130A-N提供命令145，命令145基于那些监测参数并且将在满足与那些监测参数相对应的准则的未来时间段影响移动机器人130A-N的移动的一个或多个方面。作为在未来时间段影响移动机器人130A-N的移动的一个或多个方面的结果，所提供的命令145将在那些未来时间段期间影响与那些监测参数相对应的一个或多个区域的对象观测的量。
在一些实施方式中，命令145可以显式地引导移动机器人130A-N的量以行进到已经确定监测参数而针对的一个或多个区域，其中所述量基于监测参数。例如，在监测参数定义应该部署至少5个移动机器人的情况下，这些命令可以将移动机器人130A-N中的5个引导到一个或多个区域和/或将许多可用的移动机器人130A-N(直至5个)引导到一个或多个区域。
在一些实施方式中，命令145可以影响移动机器人130A-N将选择在未来时间段期间遇到区域的路径的可能性。例如，命令145可以增加或者减小移动机器人130A-N中的一个或多个将在该时间段期间“转移”离开“最短”或另外“最佳”路径到要访问该区域的定位的可能性(例如，可以增加和/或减小一个或多个移动机器人130A-N将转移的距离)。例如，在监测参数定义机器人应该被以相对较高的频率部署到区域的情况下，如果这样做会导致机器人130A-N通过该区域，则命令145可以引导移动机器人130A-N以从最佳路径偏离直至100码。另一方面，在监测参数定义机器人应该以相对较低的频率被部署到区域的情况下，如果这样做将导致机器人130A-N通过该区域，则命令145可以引导移动机器人130A-N以从最佳路径偏离直至15码。
在一些实施方式中，命令引擎166监测已经通过监测参数引擎164针对其确定了监测参数的任何准则的满足性，并且响应于已经针对其确定监测参数的实例的准则的满足性而向移动机器人130A-N发送对应的命令145。例如，在准则由特定时间段(例如，星期二从15:00到17:00)构成的情况下，命令引擎166可以监测该特定时间段(例如，星期二在15:00-17:00内的任何时间)的发生。响应于发生，命令引擎可以发送基于所对应的监测参数而定制的命令145。在一些其它实施方式中，命令引擎166可以在发生之前将命令145连同对应于那些命令的准则一起发送到移动机器人130A-N。在那些实施方式中，机器人130A-N本身可以监测准则的满足性并且响应于准则的满足性而根据命令145来操作。
在一些情况下，可以在给定时间段期间满足用于监测参数的多个实例的准则。例如，假定监测参数的第一实例可具有“星期二从15:00到17:00”的相关准则并且监测参数的第二实例具有“人类的群组A存在”的相关准则。进一步假定它是星期二在15:00并且人类的群组A存在于环境中。在一些实施方式中，命令引擎166可以生成基于监测参数的第一实例和监测参数的第二实例两者的命令145。在一些其它实施方式中，命令引擎166可以生成基于监测参数的实例中的仅一个的命令145。例如，命令引擎166可以仅基于最近确定的监测参数的实例生成命令。另外，例如，命令引擎166可以基于与最特别定义的准则相关联的监测参数的实例生成命令。例如，可以优于具有“星期二”的相关准则的第二监测参数利用具有“在清单X存在情况下星期二从13:00到15:00”的相关准则的第一监测参数。
虽然在图1中单独地描绘了机器人130A-N、系统150和系统160，但是这不意在为限制性的。在各种实施方式中，可以在机器人命令生成系统160中实现时空对象清单生成系统150的一个或多个方面，或者反之亦然。此外，在各种实施方式中，可以在机器人130A-N中的一个或多个中实现系统150和/或160的一个或多个方面。例如，可以在移动机器人130A-N中的每一个中实现命令引擎166的实例。在机器人130A-N、系统150和/或系统160是单独的组件的实施方式中，它们可以通过一个或多个有线或无线网络或者使用其它无线技术(诸如无线电、蓝牙、红外线等)来通信。
图2图示出使用移动机器人的对象观测来生成时空对象清单的一部分的示例。在图2中图示出对象观测140A(图1)的对象观测140A1并且其包括对象标识符142A1、测量对象姿态144A1、测量时间146A1和测量源姿态148A1。
对象姿态生成引擎152使用测量对象姿态144A1以及测量源姿态148A1来确定对象姿态。例如，测量源姿态148A1可以与参考帧有关，并且测量对象姿态144A1可以与传感器有关，利用该传感器的测量来确定测量对象姿态145A1，并且对象姿态生成引擎152可以使用测量源姿态148A1将测量对象姿态144A1变换成参考帧。对象姿态被提供给清单生成引擎156。
清单生成引擎156生成时空对象清单170的条目，其包括对象标识符142A1、确定的对象姿态和测量时间146A1。
虽然图2针对单个对象观测140A1来描述，但应理解到，图2的技术可以用来利用附加的对象观测140A至140N而生成时空对象清单170的附加部分。对象观测140A至140N可以在它们被接收时受到处理，以使时空对象清单170保持最新。
图3图示出基于时空对象清单来确定移动机器人的监测参数以及向移动机器人提供基于监测参数的命令的示例。在图3中，准则101被提供给移动量引擎162。如本文所述，准则可以例如包括以下中的一个或多个：一个或多个特定时段、该区域中存在特定群组的一个或多个人类，该区域中存在特定数量的一个或多个人类，和/或清单准则。
移动量引擎162基于时空对象清单170和/或环境中人类数据的数据库177来确定当满足准则101时在环境的区域中发生的、清单170中所定义的对象移动量。环境中人类数据的数据库177可以包括人类存在数据，其针对多个时段中的每一个指示那些时段期间在环境中存在的一个或多个人类和/或那些时段期间在环境中存在的人类数量。移动量引擎162可以利用数据库177来确定清单170中指示的移动是否满足“该区域中存在特定群组的一个或多个人类和/或该区域中存在特定数量的一个或多个人类”准则。移动量引擎162可以依靠清单170来确定清单170中所指示的移动是否满足“时段和/或清单”准则。
移动量引擎162将所确定的移动量以及关于所确定的移动量的区域和准则提供给监测参数引擎164。监测参数引擎164基于所接收的移动量来确定也满足准则的一个或多个未来时间段内移动机器人的一个或多个监测参数。例如，如果移动量相对较大，则引擎164可以确定监测参数，这些参数指示也满足准则的一个或多个未来时间段内应将相对大量的移动机器人部署到该区域，和/或也满足准则的一个或多个未来时间段内移动机器人应相对频繁地遇到该区域。
监测参数引擎164将所确定的监测参数以及区域和准则提供给命令引擎166。在图3的实施方式中，针对由引擎164提供的准则“当前满意性”，命令引擎166监测清单170和/或数据库177。响应于确定当前满意性，命令引擎166向移动机器人130A至130N发送基于监测参数定制的命令。在一些实施方式中，命令引擎166在当前满意性之前向移动机器人130A至130N发送命令。例如，命令引擎166可以在预期当前满意性时(例如，将满足时段准则之前5分钟)提供命令。在一些实施方式中，这些命令可以明确地指导一定数量的移动机器人130A至130N行进到已经确定监测参数的一个或多个区域，其中该数量是基于监测参数。在一些实施方式中，命令可以影响移动机器人130A至130N将选择遇到该区域的路径的可能性。
作为一个具体示例，在准则由特定时段和环境中存在的人类数量组成的情况下(例如，周二15:00至17:00以及存在至少10个人类)，命令引擎166可以监测该特定时段(例如，周二15:00至17:00内的任何时间)的出现，并且可以访问数据库177以监测出现环境中存在10个人类。响应于出现，命令引擎166向移动机器人130A至130N发送基于监测参数定制的命令。
参照图4A至图4C，提供机器人130A、130B、130C和130N移动通过环境并且确定和提供与环境中的对象105A至105M有关的对象观测的示例。图4A图示出在第一时间的建筑物一部分的平面图。在第一时间，对象105A至105M被图示在它们各自的位置，并且机器人130A、130B、130C和130N也被图示出在它们各自的位置。对象105A至105H可以例如是箱子、货板和/或其他对象。对象105A至105M可以例如是鼓、桶和/或其他对象。在图4A的第一时间，机器人130A、130B、130C和130N中的一个或多个中的每一个可以提供对象105A至105M中的一个或多个的对应对象观测。例如，对象105A可以位于机器人130A的一个或多个传感器的视野中，并且机器人130A可以提供具有对象105A的对象标识符和对象105A的测量对象姿态的对象观测。
图4B图示出晚于图4A的第一时间的第二时间的建筑物一部分的平面图。对象105A至105M在图4B中具有与它们在图4A中所做的相同的姿态。然而，机器人130A、130B、130C和130N皆已因执行任务(观测/监测任务或者非观测/监测任务)而移动。在图4B的第二时间，机器人130A、130B、130C和130N中的一个或多个中的每一个可以提供对应的对象观测，其包括具有对象105A至105M中一个或多个的测量对象姿态的对象观测。应当指出，也可能在图4A的第一时间与图4B的第二时间之间提供多个观测。
图4C图示出晚于图4B的第二时间的第三时间的建筑物一部分的平面图。对象105A至105M在图4C中具有与它们在图4A和4B中所做的相同的姿态。然而，对象105A至105C和105E至105M皆因一个或多个人类的移动、一个或多个人类控制的机器的移动和/或一个或多个机器人(它们可以包括机器人130A、130B、130C和130N中的一个或多个)的移动而具有不同的姿态。由于对象105D移出环境，对象105D不再存在于图4C中。而且，机器人130A、130B、130C和130N皆已因执行任务(观测/监测任务或者非观测/监测任务)而移动。在图4C的第三时间，机器人130A、130B、130C和130N中的一个或多个中的每一个可以提供对应的对象观测，其包括具有对象105A至105M的一个或多个的测量对象姿态的对象观测。应当指出，也可能在图4B的第二时间与图4C的第二时间之间提供多个对象观测。
根据本文所述的技术，时空对象清单170可以被更新成反映图4C中的变化。而且，命令生成系统160可以考虑到在在图4B与图4C之间发生的对象105D的移动(以及考虑到对象在其他时间上不同的移动)确定监测参数，并且在未来时间段利用这样的监测参数向机器人130A、130B和130N提供控制命令，其中这些控制命令是基于监测参数并且影响机器人130A、130B和130N在未来时间段移动的一个或多个方面。
图5描绘出图示基于来自移动机器人的对象观测来生成时空对象清单以及基于时空对象清单来确定一个或多个未来时间段内移动机器人的监测参数的示例性方法的流程图。方便起见，参照执行操作的系统来描述该流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如图1的时空对象清单生成系统150和/或机器人命令生成系统160。此外，虽然方法500的操作以特定顺序示出，但这并无限制意义。可以重新排序、省略或添加一个或多个操作。
在框502处，系统从环境中的多个移动机器人接收环境中的对象的对象观测。对象观测中的每一个至少包括对象的标识符和对象的测量对象姿态。
在框504处，系统基于在框502处接收的对象观测来生成时空对象清单。所生成的时空模型针对环境的多个对象中的每一个定义对象姿态和对应的测量时间。
在框506处，系统基于时空对象清单来确定当满足一个或多个准则时发生的对象移动量。准则可以例如包括以下中的一个或多个：一个或多个特定时段、该区域中存在特定群组的一个或多个人类，该区域中存在特定数量的一个或多个人类，和/或清单准则。
在框508处，系统基于当满足一个或多个准则时发生的对象移动量来确定也满足准则的一个或多个未来时间段内移动机器人的监测参数。
在框510处，系统向一个或多个移动机器人提供基于监测参数并影响移动机器人在未来时间段移动的命令。
图6示意性描绘出机器人的示例性架构。机器人600可以采取各种形式，包括但不限于远程临场机器人、拟人形体、动物形式、轮式设备、潜水载具、无人航空载具(“UAV”)等等。在各种实施方式中，机器人600可以包括控制器602。控制器602可以采取各种形式，诸如一个或多个处理器、一个或多个现场可编程门控阵列(“FPGA”)、一个或多个专用集成电路(“ASIC”)、一个或多个所谓的“实时控制器”等等。
在各种实施方式中，控制器602可以例如经由一个或多个总线610与一个或多个致动器604a至604n和/或一个或多个传感器608a至608m可操作地耦合。传感器608a至608m可以采取各种形式，包括但不限于3D传感器、相机、深度传感器、光线传感器、压力传感器、压力波传感器(例如麦克风)、接近传感器、加速度计、陀螺仪、温度计、气压计等等。虽然传感器608a至608m被描绘为与机器人600整合，但这并无限制意义。在一些实施方式中，一个或多个传感器608a至608m可以位于机器人600之外，例如作为独立单元。
控制器602可以向致动器604a至604n提供控制命令来完成一个或多个任务。那些控制命令包括响应于计算设备处的用户接口输入而将致动器604a至604n引导到驱动轮和/或其他组件以使机器人600自主地、半自主地和/或响应于由计算设备提供的控制命令遍历一个或多个路径的命令。控制器602可以进一步提供控制命令以生成本文所述的对象观测的全部或一些方面，和/或接收由机器人命令生成系统160提供的一个或多个命令145并且生成基于命令145的一个或多个控制命令。例如，控制器602可以向一个或多个致动器604a至604n提供控制命令以将机器人600自动导航到环境中的各个位置，其中那些控制命令是由机器人600考虑到命令145而生成。此外，例如，控制器602可以经由网络接口子系统615与时空对象清单生成系统150和/或机器人命令生成系统160建立网络连接。网络接口子系统615提供到外部网络的接口并且被耦合到一个或多个其他计算机系统中的一个或多个对应的接口设备，诸如参与与机器人会话的计算设备。在一些实施方式中，除其他组件之外，机器人600还可以包含计算机系统的一个或多个方面，诸如下述的计算机系统710。
图7是示例计算机系统710的框图。计算机系统710通常包括至少一个处理器714，其经由总线子系统712与数个外围设备通信。这些外围设备可以包括存储子系统724，例如包括存储器子系统725和文件存储子系统726、用户接口输出设备720、用户接口输入设备722以及网络接口子系统716。输入和输出设备允许用户与计算机系统710相交互。网络接口子系统716提供到外部网络的接口并且被耦合至其他计算系统中的对应接口设备。
用户接口输入设备722可以包括键盘、诸如鼠标、跟踪球、触控板或绘图板的定点设备、扫描仪、并入显示器中的触摸屏、诸如语音识别系统的音频输入设备、麦克风和/或其他类型的输入设备。一般而言，术语“输入设备”的使用意在包括用于将信息输入到计算系统710中或者通信网络上的所有可能类型的设备和方式。
用户接口输出设备720可以包括显示子系统、打印机、传真机或者非视觉显示器，诸如音频输出设备。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或者用于创建可见图像的一些其他机制。显示子系统还可以提供非视觉显示，诸如经由音频输出设备。一般而言，术语“输出设备”的使用意在包括用于将信息从计算系统710输出到用户或者另一机器或计算机系统的所有可能类型的设备和方式。
存储子系统724存储提供本文所述的模块中的一些或全部的功能的编程和数据结构。例如，存储子系统724可以包括用于执行方法500的所选方面和/或实现控制器602、引擎152、引擎154、引擎162、引擎164和/或引擎166的一个或多个方面的逻辑。用于存储子系统724中的存储器725能够包括数个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)730以及在其中存储固定指令的只读存储器(ROM)732。文件存储子系统726能够提供对于程序和数据文件的永久存储，并且可以包括硬盘驱动器、CD-ROM驱动器、光盘驱动器或者可移动介质盒。实现某些实施方式的功能的模块可以由存储子系统724中的文件存储子系统726来存储，或者被存储在可由处理器714访问的其他机器中。
总线子系统712提供用于令计算机系统710的各种组件和子系统按预期彼此通信的机制。虽然总线子系统712被示意性示为单总线，但总线子系统的替选实施方式可以使用多条总线。
计算机系统710能够是不同的类型，包括工作站、服务器、计算集群、刀片服务器、服务器机群、智能电话、智能手表、智能眼镜、机顶盒、平板型计算机、膝上型计算机或者任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质，在图7中描绘的对计算机系统710的描述仅旨在作为用于图示一些实施方式的具体示例。计算机系统710的许多其他配置可能具有比在图7中所描绘的计算机系统更多或更少的组件。

Claims (16)

1.一种使用时空对象清单来确定监测参数的系统，包括：
一个或多个计算系统；以及
配置为在环境中行进的多个移动机器人，
其中，所述一个或多个计算系统包括当由所述一个或多个计算系统执行时使所述一个或多个计算系统执行以下的指令：
基于时空对象清单，确定在特定时段期间在所述环境的至少一个区域中发生的对象的移动的量，其中，所述时空对象清单对于所述对象的每个定义包括对象的第一姿态、测量第一姿态的第一测量时间、对象的第二姿态、以及测量第二姿态的第二测量时间的测量信息，其中，至少部分地基于所述时空对象清单中包括的对象的测量信息确定对象的移动，
基于在特定时段期间发生的移动的量，确定针对一个或多个未来时段的用于所述移动机器人的一个或多个监测参数，所述一个或多个监测参数针对所述一个或多个未来时段定义应当部署到所述环境的所述至少一个区域的所述移动机器人的数量和/或多久所述移动机器人应当部署到所述环境的所述至少一个区域，以及
向所述移动机器人中的一个或多个提供基于所述一个或多个监测参数的命令；
其中，接收所述命令的所述移动机器人中的所述一个或多个基于所述命令来控制它们在所述未来时段的移动的一个或多个方面。
2.根据权利要求1所述的系统，其中，所述特定时段是以下中的一个：一周中的一个或多个特定日，一年中的一个或多个特定日，或者在一周中的特定日中的一个或多个、或一年中的特定日中的一个或多个期间的一个或多个时段。
3.根据权利要求1所述的系统，其中，确定在所述特定时段期间在所述环境的至少一个区域中发生的对象的移动的量包括：确定在所述特定时段期间所述对象进入所述至少一个区域和/或离开所述至少一个区域的移动的量。
4.根据权利要求3所述的系统，其中，确定在所述特定时段期间所述对象进入所述至少一个区域的移动的量是基于：
确定所述对象中的所选择对象的第一姿态处于所述至少一个区域之外并且第一对应测量时间在时间上处于所述特定时段之前；以及
确定所选择对象的第二姿态处于所述至少一个区域之内并且第二对应测量时间在时间上处于所述特定时段内。
5.根据权利要求3所述的系统，其中，确定在所述特定时段期间所述对象进入所述至少一个区域的移动的量是基于：
确定在所述时空对象清单中没有针对所述对象中的所选择对象定义时间上处于所述特定时间段之前的姿态；以及
确定所选择对象的第一姿态和/或第二姿态处于所述至少一个区域内并且具有时间上在所述特定时段中的对应第一和/或第二测量时间。
6.根据权利要求3所述的系统，其中，确定在所述特定时段期间所述对象离开所述至少一个区域的移动的量是基于：
确定所述对象中的所选择对象的第一姿态处于所述至少一个区域之内并且第一对应测量时间在时间上处于所述特定时段之前；以及
确定所选择对象的第二姿态处于所述至少一个区域之外并且第二对应测量时间在时间上处于所述特定时段内。
7.根据权利要求1所述的系统，其中，所述环境是仓库。
8.一种使用时空对象清单来确定监测参数的计算机实现的方法，所述方法包括：
基于时空对象清单，确定在特定时段期间在环境的至少一个区域中发生的对象的移动的量，其中，所述时空对象清单对于所述对象的每个定义包括对象的第一姿态、测量第一姿态的第一测量时间、对象的第二姿态、以及测量第二姿态的第二测量时间的测量信息，其中，至少部分地基于所述时空对象清单中包括的对象的测量信息确定对象的移动，
通过一个或多个计算系统，基于在特定时段期间发生的移动的量，确定针对一个或多个未来时段的用于移动机器人的一个或多个监测参数，所述一个或多个监测参数针对所述一个或多个未来时段定义应当部署到所述环境的所述至少一个区域的所述移动机器人的数量和/或多久所述移动机器人应当部署到所述环境的所述至少一个区域，以及
向所述移动机器人中的一个或多个提供基于所述一个或多个监测参数的命令，其中，所述命令影响所述移动机器人在所述一个或多个未来时段的移动的一个或多个方面。
9.根据权利要求8所述的计算机实现的方法，其中，所述特定时段是以下中的一个：一周中的一个或多个特定日，一年中的一个或多个特定日，或者在一周中的特定日中的一个或多个、或一年中的特定日中的一个或多个期间的一个或多个时段。
10.根据权利要求8所述的计算机实现的方法，其中，基于所述监测参数影响所述移动机器人在所述一个或多个未来时段的移动的一个或多个方面的所述命令包括：在所述一个或多个未来时段期间将所述移动机器人引导到所述至少一个区域的命令。
11.根据权利要求8所述的计算机实现的方法，其中，基于所述监测参数影响所述移动机器人在所述一个或多个未来时段的移动的一个或多个方面的所述命令包括：增加所述移动机器人在所述一个或多个未来时段期间将选择从最优路径转移并且遇到所述至少一个区域的路径的可能性的命令。
12.根据权利要求8所述的计算机实现的方法，其中，确定在所述特定时段期间在所述环境的至少一个区域中发生的对象的移动的量包括：确定在所述特定时段期间所述对象进入所述至少一个区域和/或离开所述至少一个区域的移动的量。
13.根据权利要求12所述的计算机实现的方法，其中，确定在所述特定时段期间所述对象进入所述至少一个区域的移动的量是基于：
确定所述对象中的所选择对象的第一姿态处于所述至少一个区域之外并且第一对应测量时间在时间上处于所述特定时段之前；以及
确定所选择对象的第二姿态处于所述至少一个区域之内并且第二对应测量时间在时间上处于所述特定时段内。
14.根据权利要求12所述的计算机实现的方法，其中，确定在所述特定时段期间所述对象进入所述至少一个区域的移动的量是基于：
确定在所述时空对象清单中没有针对所述对象中的所选择对象定义时间上处于所述特定时间段之前的姿态；以及
确定所选择对象的第一姿态和/或第二姿态处于所述至少一个区域内并且具有时间上在所述特定时段中的对应第一测量时间或第二测量时间。
15.根据权利要求12所述的计算机实现的方法，其中，确定在所述特定时段期间所述对象离开所述至少一个区域的移动的量是基于：
确定所述对象中的所选择对象的第一姿态处于所述至少一个区域之内并且第一对应测量时间在时间上处于所述特定时段之前；以及
确定所选择对象的第二姿态处于所述至少一个区域之外并且第二对应测量时间在时间上处于所述特定时段内。
16.根据权利要求8所述的计算机实现的方法，其中，所述环境是仓库。
CN202110849698.4A 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法 Pending CN113687652A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/850,909 2015-09-10
US14/850,909 US10195740B2 (en) 2015-09-10 2015-09-10 Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
CN201680062267.0A CN108369419B (zh) 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680062267.0A Division CN108369419B (zh) 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法

Publications (1)

Publication Number Publication Date
CN113687652A true CN113687652A (zh) 2021-11-23

Family

ID=56990972

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680062267.0A Active CN108369419B (zh) 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法
CN202110849698.4A Pending CN113687652A (zh) 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680062267.0A Active CN108369419B (zh) 2015-09-10 2016-09-09 使用时空对象清单确定监测参数的系统和方法

Country Status (7)

Country Link
US (3) US10195740B2 (zh)
EP (1) EP3335090B1 (zh)
JP (1) JP2018530089A (zh)
KR (1) KR20180067523A (zh)
CN (2) CN108369419B (zh)
TW (1) TWI629150B (zh)
WO (1) WO2017044851A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10195740B2 (en) 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
MY200573A (en) * 2016-01-04 2024-01-03 Zhejiang Libiao Robots Co Ltd Method and device for returning robots from site
WO2017192868A1 (en) * 2016-05-04 2017-11-09 Wal-Mart Stores, Inc. Distributed autonomous robot systems and methods
US11036946B2 (en) * 2016-05-07 2021-06-15 Canyon Navigation, LLC Navigation using self-describing fiducials
US10417469B2 (en) * 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
EP3407232B1 (en) * 2017-05-23 2021-07-28 Ordnance Survey Limited Spatiotemporal authentication
US11338430B2 (en) * 2017-09-11 2022-05-24 Mitsubishi Electric Corporation Article carrying robot
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
EP3789841B1 (en) * 2018-05-01 2023-05-17 Sony Group Corporation Information processing device, information processing method, program, and autonomous robot control system
US10733445B1 (en) 2018-06-22 2020-08-04 X Development Llc Enhanced object state discrimination for robots
US10957066B2 (en) * 2019-03-19 2021-03-23 General Electric Company Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11270464B2 (en) 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11064154B2 (en) * 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11553123B2 (en) 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US20200026289A1 (en) * 2019-09-28 2020-01-23 Ignacio J. Alvarez Distributed traffic safety consensus
CN112224733B (zh) * 2020-11-05 2022-08-12 北京极智嘉科技股份有限公司 仓储管理系统及方法
JP2022148261A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラム
US11807349B1 (en) * 2022-09-16 2023-11-07 Fmc Technologies, Inc. Submersible remote operated vehicle vision assistance and control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226622B1 (en) * 1995-11-27 2001-05-01 Alan James Dabbiere Methods and devices utilizing a GPS tracking system
US20100049366A1 (en) * 2006-12-08 2010-02-25 Electronics And Telecommunications Research Institute Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
WO2012153629A1 (ja) * 2011-05-12 2012-11-15 株式会社Ihi 運動予測制御装置と方法
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
CN103687079A (zh) * 2013-08-09 2014-03-26 机械科学研究总院 一种地下管网无线监测定位系统
US20140207281A1 (en) * 2013-01-18 2014-07-24 Irobot Corporation Environmental Management Systems Including Mobile Robots and Methods Using Same
US20140207282A1 (en) * 2013-01-18 2014-07-24 Irobot Corporation Mobile Robot Providing Environmental Mapping for Household Environmental Control

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2722760B2 (ja) * 1990-03-30 1998-03-09 神鋼電機株式会社 移動ロボットシステム
US6895301B2 (en) * 2002-07-15 2005-05-17 Distrobot Systems, Inc. Material handling system using autonomous mobile drive units and movable inventory trays
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
JP4792823B2 (ja) * 2005-06-09 2011-10-12 ソニー株式会社 ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
US7783382B2 (en) 2006-02-24 2010-08-24 Qisda Corporation Controlling machine actions based on luminance of environmental light and distance from user
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US7667602B2 (en) * 2007-01-19 2010-02-23 Wal-Mart Stores, Inc. Multi-directional RFID reader for controlling inventory and shelf stock
JP4886572B2 (ja) * 2007-03-29 2012-02-29 本田技研工業株式会社 ロボット
US20090037244A1 (en) 2007-07-31 2009-02-05 Greta Pemberton Inventory management system
US8140188B2 (en) * 2008-02-18 2012-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic system and method for observing, learning, and supporting human activities
US9147174B2 (en) 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
CN100573388C (zh) * 2008-10-30 2009-12-23 中控科技集团有限公司 实时颜色自动采集的机器人控制方法及机器人
CN101854518A (zh) * 2009-03-30 2010-10-06 鸿富锦精密工业（深圳）有限公司 物体侦测系统及方法
CN101957194A (zh) * 2009-07-16 2011-01-26 北京石油化工学院 基于嵌入式的移动机器人快速视觉定位及远程监控系统及方法
KR101619076B1 (ko) 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
JP2013509902A (ja) 2009-11-04 2013-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 距離センサを使用した衝突の回避と探知
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9205886B1 (en) * 2011-05-06 2015-12-08 Google Inc. Systems and methods for inventorying objects
CN102411368B (zh) * 2011-07-22 2013-10-09 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CA2849739C (en) * 2011-09-22 2018-09-04 Aethon, Inc. Monitoring, diagnostic and tracking tool for autonomous mobile robots
WO2013071150A1 (en) 2011-11-11 2013-05-16 Bar Code Specialties, Inc. (Dba Bcs Solutions) Robotic inventory systems
ES2827192T3 (es) * 2012-02-08 2021-05-20 Omron Tateisi Electronics Co Sistema de gestión de tareas para una flota de robots móviles autónomos
CN104769962B (zh) * 2013-01-18 2019-03-12 艾罗伯特公司 包括移动机器人的环境管理系统以及其使用方法
WO2014120180A1 (en) 2013-01-31 2014-08-07 Hewlett-Packard Development Company, L.P. Area occupancy information extraction
JP6020326B2 (ja) * 2013-04-16 2016-11-02 富士ゼロックス株式会社 経路探索装置、自走式作業装置、プログラム及び記録媒体
US9664510B2 (en) 2013-06-22 2017-05-30 Intellivision Technologies Corp. Method of tracking moveable objects by combining data obtained from multiple sensor types
JP5802241B2 (ja) * 2013-07-04 2015-10-28 富士重工業株式会社 車両の運転支援制御装置
CN103455822B (zh) * 2013-08-19 2016-10-19 江苏科技大学 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法
US20150073580A1 (en) * 2013-09-08 2015-03-12 Paul Ortiz Method and system for dynamic and adaptive collection and use of data and metadata to improve efficiency and reduce leakage and theft
EP3058524B1 (en) * 2013-10-14 2020-08-19 Keonn Technologies S.L. Automated inventory taking moveable platform
US9916561B2 (en) 2013-11-05 2018-03-13 At&T Intellectual Property I, L.P. Methods, devices and computer readable storage devices for tracking inventory
KR101534947B1 (ko) * 2013-11-21 2015-07-07 현대자동차주식회사 초음파 센서를 이용한 장애물 맵 생성 장치 및 그 방법
US9415513B2 (en) * 2014-08-29 2016-08-16 General Electric Company Systems and methods for railyard robotics
CA2964775C (en) * 2014-10-14 2021-05-18 Nextshift Robotics, Inc. Storage material handling system
CN104570771A (zh) * 2015-01-06 2015-04-29 哈尔滨理工大学 基于场景-拓扑的自主定位方法的巡检机器人
US9914218B2 (en) * 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
CN205247204U (zh) * 2015-07-02 2016-05-18 朱宇晨 一种自组织机器人系统
US10195740B2 (en) 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
CN105760894A (zh) * 2016-03-16 2016-07-13 哈尔滨伟方智能科技开发有限责任公司 一种基于机器视觉及机器学习的机器人导航方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226622B1 (en) * 1995-11-27 2001-05-01 Alan James Dabbiere Methods and devices utilizing a GPS tracking system
US20100049366A1 (en) * 2006-12-08 2010-02-25 Electronics And Telecommunications Research Institute Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
WO2012153629A1 (ja) * 2011-05-12 2012-11-15 株式会社Ihi 運動予測制御装置と方法
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
US20140207281A1 (en) * 2013-01-18 2014-07-24 Irobot Corporation Environmental Management Systems Including Mobile Robots and Methods Using Same
US20140207282A1 (en) * 2013-01-18 2014-07-24 Irobot Corporation Mobile Robot Providing Environmental Mapping for Household Environmental Control
CN103687079A (zh) * 2013-08-09 2014-03-26 机械科学研究总院 一种地下管网无线监测定位系统

Also Published As

Publication number Publication date
EP3335090A1 (en) 2018-06-20
US20190143515A1 (en) 2019-05-16
CN108369419B (zh) 2021-08-03
US20170072563A1 (en) 2017-03-16
JP2018530089A (ja) 2018-10-11
CN108369419A (zh) 2018-08-03
US11660749B2 (en) 2023-05-30
TWI629150B (zh) 2018-07-11
EP3335090B1 (en) 2021-03-17
KR20180067523A (ko) 2018-06-20
US10195740B2 (en) 2019-02-05
US20220001535A1 (en) 2022-01-06
US11123865B2 (en) 2021-09-21
WO2017044851A1 (en) 2017-03-16
TW201722652A (zh) 2017-07-01

Similar Documents

Publication Publication Date Title
CN108369419B (zh) 使用时空对象清单确定监测参数的系统和方法
US10127677B1 (en) Using observations from one or more robots to generate a spatio-temporal model that defines pose values for a plurality of objects in an environment
EP3347171B1 (en) Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
US9280757B2 (en) Automated inventory management
US11235464B1 (en) Robot task optimization based on historical task and location correlated durations
EP3516445B1 (en) Adaptive process for guiding human-performed inventory tasks
US11493930B2 (en) Determining changes in marker setups for robot localization
Rosa et al. Towards a ROS-based autonomous cloud robotics platform for data center monitoring
EP4180895B1 (en) Autonomous mobile robots for coverage path planning
US10846282B2 (en) Behavior characteristic amount analysis system and behavior characteristic amount analysis method
Petkovic et al. Human motion prediction framework for safe flexible robotized warehouses
Celinski et al. Achieving efficient data fusion through integration of sensory perception control and sensor fusion
Geretti et al. Process-driven collision prediction in human-robot work environments
Gunal Data collection inside industrial facilities with autonomous drones
US20220197304A1 (en) Systems and methods for centralized control of a fleet of robotic devices
RAVANKAR et al. Distributed Docking Station System for Mobile Robots
Rajaraman Where to Look? Probabilistic Reasoning Methods to Locate Workpieces in Unstructured Manufacturing Environments
KR20240005367A (ko) 공장내 위치 추적 시스템 및 그 방법
WO2022271181A1 (en) High-level sensor fusion and multi-criteria decision making for autonomous bin picking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination