CN112513762A - 可扩展的远程操作自主机器人 - Google Patents

可扩展的远程操作自主机器人 Download PDF

Info

Publication number
CN112513762A
CN112513762A CN201980048703.2A CN201980048703A CN112513762A CN 112513762 A CN112513762 A CN 112513762A CN 201980048703 A CN201980048703 A CN 201980048703A CN 112513762 A CN112513762 A CN 112513762A
Authority
CN
China
Prior art keywords
robot
data
control data
control
target state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980048703.2A
Other languages
English (en)
Other versions
CN112513762B (zh
Inventor
D·里特
D·伦茨
R·威廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112513762A publication Critical patent/CN112513762A/zh
Application granted granted Critical
Publication of CN112513762B publication Critical patent/CN112513762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种用于远程操作来自多个机器人中的一个机器人的方法。该方法包括确定机器人的实际状态;确定机器人的第一目标状态;生成第一控制数据,该第一控制数据配置用于使机器人转变到第一目标状态;基于第一控制数据控制机器人;将当前运行数据传输到服务器;从服务器接收第二控制数据,该第二控制数据配置用于使机器人转变到第二目标状态;基于第二控制数据控制机器人;并且使机器人进行自主控制。本发明还涉及一种机器人,其包括控制单元,所述控制单元配置用于实施根据本发明的方法。本发明还涉及一种用于远程操作来自多个机器人中的一个机器人的方法。该方法包括由服务器接收机器人的当前运行数据;确定机器人的第二目标状态;生成第二控制数据,该第二控制数据配置用于使机器人转变到第二目标状态;并且将第二控制数据发送到机器人。本发明还涉及一种包括服务器的系统,该服务器配置用于实施根据本发明的方法。

Description

可扩展的远程操作自主机器人
技术领域
本公开涉及用于远程操作自主机器人的系统和方法。本公开尤其是涉及在紧急状况下用于远程操作自主机器人的可扩展(skalierbar)的智能系统和方法。所述系统和方法尤其是涉及自动化运输工具。
背景技术
自主机器人的远程操作在现有技术中是已知的。在此假定机器人原则上独立自主地完成其任务并且仅在特殊状况下才需要干预控制。此外,机器人分别配备有传感器、执行器和一个或多个计算单元。所述计算单元设计用于计划相应所赋予任务的完成或预定目标的实现并在特定条件下停止机器人的运行。
术语“自主机器人”概括而言涉及配置用于自动化和/或自主运行的固定机器人和移动机器人。尤其是本公开涉及基本上无需人工干预就能自动化驾驶的自动化运输工具。在本文范围中,术语“自动化驾驶”可理解为具有自动化纵向或横向引导的驾驶或具有自动化纵向和横向引导的自主驾驶。自动化驾驶例如可涉及高速公路上的较长时间的驾驶或停车入位或调车范围中的有限时间内的驾驶。术语“自动化驾驶”包括具有任何自动化程度的自动化驾驶。示例性的自动化程度是辅助性、部分自动化、高度自动化或全自动化驾驶。这些自动化程度由联邦公路研究所(BASt)定义(参见BASt出版物“Research compact”,版本11/2012):在辅助性驾驶时,驾驶员持续地执行纵向或横向引导,而系统会在一定限度上接管其它功能。在部分自动化驾驶(TAF)时,系统将在一定时间段内和/或在特定状况下接管纵向和横向引导,在此驾驶员必须像在辅助性驾驶时那样持续地监控系统。在高度自动化驾驶(HAF)中,系统将在一定时间段内接管纵向和横向引导,而驾驶员不必持续地监控系统;但驾驶员必须能够在一定时间内接管运输工具控制。在全自动化驾驶(VAF)中,系统可对于特定应用在所有状况下自动完成驾驶;对于该应用不再需要驾驶员。根据BASt定义的上述四种自动化程度相应于SAE J3016(SAE-汽车工程学会)标准的SAE级别1至4。例如根据BASt的高度自动化驾驶(HAF)相应于SAE J3016标准的级别3。此外,在SAE J3016中还设有SAE级别5作为最高的自动化程度,其未包含在BASt的定义中。SAE级别5相应于无人驾驶,在其中系统可在整个行驶期间像人类驾驶员那样自动完成所有状况;通常不再需要驾驶员。本公开尤其是涉及高度或全自动化驾驶。
在机器人的自主运行期间可能出现这样的状况,在所述状况中机器人无法再借助本地可用资源来确定会确保安全的进一步自主运行的运行参数。在这种状况下,自主机器人通常会完全停止运行,并在必要时建立安全状态并且随后依赖于来自外部的人工干预。针对自主机器人的相应紧急状况例如可包括物体进入机器人的运动或运行路径中并且机器人无法绕过该物体。例如机器人的传感器系统和/或执行器系统中的技术故障也可具有类似效应并影响进一步的安全运行或无法安全运行。在所描述的和类似的紧急状况下,自主机器人通常会停止运行并等待外部的人工干预。这种干预可包括直接的手动控制或附加的干预、如处理机器人的环境(例如移除对象)。
自动化运输工具通常会经受非常复杂的运行条件。自动化运输工具的环境有时具有高动态元素、如并非总是采取合理行动的其它交通参与者、动态的交通路线、具有变化显示的交通信号灯设备等。
对于自动化运输工具成问题的状况例如可包括交通路线的变化。这些变化例如可发生在建筑工地区域中,其包括改变的交通路线、车道减少、偏离地图数据、改道等。此外,这些变化也可出现在发生事故时(如封锁、改道、在事故现场对交通进行交替管控)或在信号设备发生故障警察手动管控交通时。此外,日常状况可对自动化运输工具产生类似影响,例如在送货运输工具停在第二排并且至少部分阻塞车道的情况下。
尽管上述状况对于人类驾驶员而言相对容易识别并且通常可毫无问题地完成,但自动化运输工具在此常常达到其极限。
因此,在自动化运输工具运行时,一方面必须防止运输工具通过行驶运行产生危险状况,但另一方面也要避免在有问题的状况下未简单停止行驶运行和/或暂时或持久地阻塞交通线路。在高度自动化或全自动化运输工具中,由于缺少相应的操作元件或运输工具使用者没有控制运输工具的能力或许可,运输工具使用者通常不再能在本地干预运输工具的控制。
文献DE102016213300描述了一种用于引导自主驾驶运输工具的方法。该方法在运输工具中实施并且包括基于关于运输工具环境的传感器数据来确定即将发生运输工具不能自主驾驶的紧急驾驶状况。另外,该方法包括发送关于紧急驾驶状况的状况数据以及发送移交请求到与运输工具分开设置的中央单元。该方法还包括从中央单元接收用于引导运输工具的控制数据,该控制数据与状况数据有关。此外,该方法还包括根据控制数据在紧急驾驶状况期间引导运输工具。中央单元可包括用户界面,该用户界面允许人员可基于状况数据至少部分地手动远程控制运输工具。例如中央单元可提供驾驶模拟器,该驾驶模拟器基于状况数据使得中央单元处的人员可了解紧急驾驶状况(例如通过显示关于运输工具环境的图像数据)。然后,人员可通过中央单元处的控制装置(如通过加速踏板和/或方向盘)生成控制数据,借助该控制数据对运输工具进行远程控制。因此,自主驾驶运输工具可由人远程控制。因此,运输工具在紧急驾驶状况中可由位于运输工具外部的驾驶员可靠地手动引导。所描述的方法以运输工具和由人员手动操作的中央单元之间的连接为前提。
文献US2006/089800A1描述了一种用于运输工具的多模式控制的系统和方法。执行器操纵输入装置(如铰链控制装置和驱动控制装置、如节气门、制动器、油门踏板、节气门杆、转向机构、转向横拉杆或换档杆等)以控制运输工具的运行。执行器与表征运输工具运行模式的行为方式相关联。在接收到用于选择决定运输工具运行模式(如有人运行、远程控制无人运行、辅助远程运行和自主无人运行)的模式的命令之后,执行器根据所述行为来操纵操作者输入装置,以影响希望的运行模式。该文献主要描述了运输工具在离散运行模式中的运行,其中一些模式规定由运输工具外部的操作员对运输工具进行手动远程控制。
文献US2015/0248131A1描述了使得自主运输工具能够在某些预定状况下向远程操作者请求协助的系统和方法。所描述的方法包括基于环境的传感器数据确定自主运输工具的环境的表示。基于该表示,该方法也可包括从自主运输工具请求远程协助的一组预定状况中识别一种状况。该方法还可包括向远程辅助者发送协助请求,该请求包含环境的表示和所识别的状况。该方法可附加地包括从远程操作者接收指示自主操作的响应。该方法还可包括使自主运输工具执行自主操作。
文献DE102013201168描述了一种用于机动车的、可根据需要而通过与中心的无线电数据通信连接被激活的远程控制系统。根据本发明,所述中心构造用于从远离中心的个人数据终端接收对机动车进行远程监控和/或远程控制的请求以及用于对机动车进行远程控制的提议并且在接受提议之后在机动车与提议所源自的个人数据终端之间提供数据通信连接。另外,每个个人数据终端构造用于通过以驾驶模拟计算机游戏的方式提供的数据通信连接对机动车进行远程监控和/或远程控制。
在自动化运输工具的情况下,可认为随着自动化运输工具比例的增加直接可用于手动控制单个运输工具的操作员的数量也必将增加,因为在自动化运输工具无法继续独立驾驶的紧急状况下可能的等待时间对于运输工具使用者是不可接受的。如现有技术中所描述的那样,基于人工操作员的人工干预的解决方案具有以下缺点:它们不能良好地扩展并且仅较差地适用于大量运输工具。
此外,也有可能人工操作员已经完成过一次或几次特定的问题状况。在预期的大量人工操作员的情况下,难以为所有操作员始终提供相同的知识水平,以便能有效且有效率地完成已知的问题状况。就此而言,已知方法也不容易扩展。
此外,如现有技术中所描述的那样,基于人工操作员的人工干预的解决方案具有以下缺点:这些解决方案依赖于在操作员与运输工具之间的直接且基本上无延迟的连接,因为操作员必须基本上立即获得关于运输工具环境的可用信息(如通过音频/视频数据流),为了要由操作员实施对运输工具控制的人工干预,并且控制命令也必须基本上立即返回运输工具。即使是相对短的延迟时间(例如在通过卫星的连接中在500毫秒范围内)也可能会非常不利地影响控制可能性。另外,对于这种应用而言,对数据连接的带宽要求非常高,以便例如能够提供关于运输工具环境的足够质量的视频流和/或足够详细的数据。
在自动化运输工具的情况下还存在一个重要要求,即在运输工具无法完成的状况下,运输工具必须占据至少一种安全状态。这例如可包括不在其它运输工具使用的车行道或车道上停车。否则,依赖于协助的运输工具可能很快成为其它运输工具的障碍和/或引起危险状况。现有技术中已知的解决方案可能需要在操作员可以开始接管运输工具的控制之前首先联系操作员并使其对状况做好准备。例如在交通繁忙时这段时间可能不可用。
基于上述问题,需要用于远程操作自主机器人的系统和方法,其提供良好的可扩展性并且也可有效且高效地应用于大量运输工具。
此外,还需要用于远程操作自主机器人的系统和方法,所述系统和方法即使在具有较高延迟时间和/或较低带宽的连接中也能使用。
此外,还需要用于远程操作自主机器人的系统和方法,所述系统和方法能够对问题状况,尤其是对已知、相似和/或频繁发生的问题状况做出快速反应。
发明内容
本公开的任务在于提供一种用于远程操作自主机器人的系统和方法,所述系统和方法避免了一个或多个前述缺点或实现一个或多个前述优点。
所述任务通过独立权利要求的技术方案来解决。在从属权利要求中给出有利的实施方式。
在根据本公开实施方式的第一方面中提出一种用于远程操作来自多个机器人中的一个机器人的方法。该方法包括确定机器人的实际状态;基于机器人的实际状态将当前运行数据传输到服务器;从服务器接收第二控制数据,该第二控制数据配置用于使机器人转变到第二目标状态;基于第二控制数据控制机器人;并使机器人进行自主控制(机器人的自主控制)。可选地,所述方法还包括确定机器人的第一目标状态;生成第一控制数据,该第一控制数据配置用于使机器人转变到第一目标状态;并且基于第一控制数据控制机器人,上述步骤优选在确定机器人的实际状态之后并且在基于机器人的实际状态将当前运行数据传输到服务器之前或期间执行。
在根据第一方面的第二方面中,机器人在实际状态中不能自主完成赋予其的任务。
在根据第一和第二方面中任一方面的第三方面中,所述当前运行数据包括描述机器人环境的环境数据。优选所述当前运行数据包括在一段时间上记录的数据,该数据描述直到发生实际状态的预定时间段。
在根据上述方面中任一方面的第四方面中,所述方法还包括基于第二控制数据以及可选的第二目标状态在本地模型上的应用生成评估数据;并且将评估数据传输到服务器。可选地,所述方法还包括再次接收第二控制数据,当第二控制数据已被服务器确认时,基于所述第二控制数据控制机器人。
在根据本公开实施方式的第五方面中,提出一种用于远程操作来自多个机器人中的一个机器人的方法。该方法包括由服务器接收机器人的当前运行数据;确定机器人的第二目标状态;生成第二控制数据,该第二控制数据配置用于使机器人转变到第二目标状态;并且将第二控制数据发送到机器人。
在根据第五方面的第六方面中,确定机器人的第二目标状态包括:将当前运行数据与来自多个预定运行数据中的预定运行数据进行比较。在当前运行数据和来自所述多个预定运行数据中的预定运行数据具有预定关系的情况下,所述方法还包括基于所述预定运行数据生成第二控制数据。否则,所述方法还包括基于当前运行数据执行一次或多次模拟,基于所述一次或多次模拟生成第二控制数据,并将当前运行数据和所生成的第二控制数据作为附加的预定运行数据添加到所述多个预定运行数据中。所述预定关系优选包括当前运行数据与来自所述多个预定运行数据中的预定运行数据基本上一致。
在根据第五和第六方面中任一方面的第七方面中,所述方法还包括从机器人接收评估数据。
在根据本公开实施方式的第八方面中,提出一种用于远程操作机器人的系统。所述系统包括服务器,该服务器配置用于实施根据第五至七方面中任一方面所述的方法。
在根据第八方面的第九方面中,所述系统还包括多个远程操作员中的一个远程操作员。由所述远程操作员执行确定机器人的第二目标状态并生成配置用于使机器人转变到第二目标状态的第二控制数据的步骤。可选地,所述远程操作员包括人工操作员。
在根据本公开实施方式的第十方面中提出一种机器人。所述机器人包括控制单元,所述控制单元配置用于实施根据第一至四方面中任一方面所述的方法。可选地,所述机器人包括自动化运输工具,其具有用于部分自主或自主控制运输工具的装置。
附图说明
在附图中示出并且在下面详细阐述本公开的实施例。除非下面另有说明,否则在附图中相同的附图标记用于相同和相同作用的元件。附图如下:
图1示出根据本公开实施方式的用于远程操作机器人的系统的框图;
图2示出根据本公开实施方式的用于远程操作机器人的方法的流程图;以及
图3示出根据本公开实施方式的用于远程操作机器人的方法的流程图。
具体实施方式
图1示出根据本公开实施方式的用于远程操作机器人100的系统200的框图。机器人100、如自动化运输工具包括传感器系统/执行器系统110,该传感器系统/执行器系统110包括一个或多个用于检测机器人周围的环境的传感器(如雷达、激光雷达、红外线、超声波)以及一个或多个用于运行机器人100的执行器。此外,机器人100还包括控制单元130,该控制单元另外配置用于从传感器系统接收数据、处理数据并且基于所接收的数据和/或所述处理来控制执行器系统。存储单元、通信单元、处理单元等集成在控制器中和/或与控制器连接。机器人还包括上级策略、一个或多个配置用于定义机器人100的一项或多项任务的计划和/或目标的适合的表示120。在自动化运输工具的情况下,表示120例如可包含导航任务的起点和/或终点以及相应的路线标准。
机器人100原则上能够独立自主地完成赋予其的任务。在自动化运输工具的情况下,控制器130可基于可用数据、尤其是基于起点(如当前位置)、路线标准(如计划、策略)和终点(如目的地)的表示独立地确定适合的路线并借助传感器系统和执行器系统沿所确定的路线行驶到目的地。必要时机器人从服务器(如后端)接收附加数据、如当前交通数据或通常无法保存在本地数据库(参见运输工具中存在的地图数据)中的其它动态数据。
机器人100可选地经由通信接口(未示出)与服务器260和/或远程操作员中心280进行数据通信。如果应将数据从机器人100传输到服务器260或远程操作员中心280或者反过来,则可根据需要建立数据连接。
在控制单元130中实现的“意识功能”或“看门狗”监控机器人100的所有必要的子系统(如传感器系统、执行器系统)。该功能用于识别异常现象、系统极限、传感器失配和其它可能导致机器人100不能再继续自主行动或不能再自行找到优化决策的事件。在自动化运输工具的情况下,这种状况例如可包括由于未在地图资料中记录的建筑工地而改变的交通路线、通过交通警察的手势的手动交通管控或一个或多个交通参与者的不确定或难以解释的行为(如二排停车、报警闪光灯等;如上所述)。
在这些情况中,通过控制器130触发了触发信号,所述触发信号被发送到服务器260。该服务器负责使机器人100——机器人的控制器130已经确定问题——与中心280的远程操作员连接。根据优先级、问题的严重性等,由服务器260选择一个操作员,该操作员在其操作员工位286处被告知情况。如果操作员接受这个情况,则他从机器人100获得来自传感器系统和执行器系统110的所有信息以及所有其它功能的当前状态(如机器人数据、运行参数、位置),只要这些信息可帮助解决状况。这些信息可选地包括发生状况之前直到状况发生的一定时间段,以便在此基础上能够推断产生、原因以及其它影响参数。在自动化运输工具的情况下,例如这种信息尤其是可包括:识别的交通标志、其它交通参与者的驾驶行为和/或位置、运输工具的运行参数及其走向等。
必须传输到远程操作员中心的数据量可根据状况/问题变得相对大,例如在几百KB(如一个或多个静止图像和识别的对象)到多个GB(如来自一个或多个相机的附加高分辨率视频流)的范围内,以使操作员能够制定解决方案。数据从机器人到服务器或远程操作员中心的传输借助适合的数据传输装置实现。可假设问题/状况在大量自主行动的机器人中通常是偶尔发生的。因此,根据本公开实施方式的设计方案允许少量的操作员可管理大量的机器人100。
为了不受低信息传输延迟影响,这样设计系统200和方法300,使得操作员可间接地行动。因此,不需要具有低延迟的直接双向连接来由操作员控制(即实时控制)机器人100。对此的前提是机器人在它无法自主完成的状况或状态中占据“安全状态”,因而不需要实时控制。为此机器人100首先确定其不再能够自主行动以完成其任务的状况的发生,随后机器人基于实际状态生成目标状态(=“安全状态”)并趋向目标状态。在自动化运输工具的情况下,一种示例状况相应于由建筑工地引起的变化的交通路线并且一种安全状态例如相应于在紧急停靠车道上停车并激活报警闪光灯设备。在此情况下,应避免在车行道上停车并且至少应暂时占据安全(停车)位置。
机器人在这种状况中将其当前运行状态传输到服务器260,操作员可访问该服务器的数据。当前运行状态可包含大量参数和信息,如机器人的具体运行参数(如类型、状态、驱动参数、位置、定向、音频/视频信息、来自传感器系统/执行器系统的数据等)。此外,实际状态和安全状态(即第一目标状态)以及机器人100的(本来待自主完成的)任务(在运输工具的情况下是例如要到达的目的地和路线标准)也可包含在当前运行参数中。此外,在发生状况或问题(即直到实际状态并且必要时直到第一目标状态或“安全状态”发生)之前的预定时间段(如最多30秒)内记录当前运行数据,以便允许推断状况或问题或实际状态是如何发生的。
现在,操作员首先可检验是否已经发生过类似状况或类似问题并存在相应的解决方案。在大量的机器人100中可认为只有很少的问题或状况确实是新的并需要新的解决方案。在大多数情况下,问题或状况应是已知的并且已经存在(如存储于服务器260上的)解决方案。这可基于机器人100的所传输的当前运行数据来实现。如果已经存在解决方案(例如是控制数据以及基于所述控制数据可实现的第二目标状态的形式),则可将所述解决方案以控制数据的形式直接传输给机器人100。机器人100随后执行所传输的控制数据并且如需要再次转变到自主运行。问题得到解决并且操作员可为其它机器人100的请求做好准备。
如果尚不知道针对所述状况或问题的解决方案,则操作员可基于所传输的当前运行数据执行一次或多次模拟,其中,本地模型可基于来自直到状况发生的过去的所有可用信息描述问题并可以生成进一步的操作和可能的解决方案。操作员受过相应培训并且对整个机器人系统有全面的了解。因此,他可为了解决状况而短暂地调整目标或策略、改变规则或使规则失效或增加规则,以确保机器人随后可继续独立自主地遵循其初始目标。在自动化运输工具的情况下,操作员例如可允许运输工具在实线上行驶(通常不这样做)或可忽略交通标志或信号灯。以此方式,即使存在冲突的车道标记,运输工具也可遵循变化的车道路线,或者当交通警察在十字路口处手动管控交通时,可忽略信号灯设备。
此外,如果操作员制定出这种在其本地模拟中有效的解决方案,则存在向机器人100请求一次或多次反馈的可能性。这可能是必要的,因为本地(即在远程操作员中心)使用的模型有可能比在机器人100中实现的模型更简单。为此将解决方案在未授权执行的情况下经由服务器发送到机器人并且将预测、计划和策略的结果作为反馈发送回来。如果操作员收到已找到有效解决方案的信号,则他可授权执行。否则,解决方案建议会在本地进行修正和调整,直到找到满意的结果。然后再次授权解决方案,所述解决方案以控制数据的形式传输到机器人100。
机器人执行为其授权的解决方案并且随后再次转变到其自主模式中,该自主模式无需远程访问即可执行任务或控制目标。在执行过程中,存在于机器人100中的存储器继续用于记录相关信息,这些信息可发送给操作员进行评估。这些评估信息的发送对于时间不敏感/对于延迟不敏感。如果操作员确定解决方案实际导致了希望的结果,则操作员可在服务器/后端中将所述解决方案提供用于所有机器人100或具有匹配属性的机器人。如果另一机器人100发现类似或相同的状况或具有类似或相同的问题并且如上所述请求协助,则必要时可立即提供已经被验证的(即已知是成功的并且尤其是被这样评估的)解决方案。这同样导致针对大量机器人100需要少量的操作员,因为已知的解决方案可迅速或实时(即基本上没有延时)地发送到相应的机器人100。替代或附加地,机器人可基于赋予其的任务预防性地、即在发生状况或问题之前就已经请求可能要使用的控制数据形式的解决方案并在情况发生时准备就绪。在自动化运输工具的情况下,服务器例如可基于生成的路线来检验是否存在可能需要操作员协助的特殊状况(如建筑工地、交通阻碍)。因此在到达特殊状况之前就已经可请求并传输可能存在的、控制数据形式的解决方案,以使所述解决方案在特殊状况发生的情况下在运输工具中可用。替代或附加地,可由服务器向所有机器人100分配授权的解决方案,从而理想的是在机器人100中根本不需要确定问题并且机器人也不必进入“安全状态”并可无中断地完成其任务或达到其目标。
服务器的另一任务是基于当前的加密、验证、授权、数据传输和数据存储标准来确保数据安全性。由此保护所有传输或存储的数据不受陌生人访问。未经授权的人不能控制机器人100并且未经授权的机器人也不能向服务器260请求协助。
总之,根据本公开的系统和方法使制定解决方案所需的数据传输量最小化并且另外通过安全状态和间接控制促使在机器人100和操作员之间的剩余信息交换对于延迟不敏感。此外,还描述了可实现良好的可扩展性的措施。因此可在需要时由少量操作员控制大量机器人。
图2示出根据本公开实施方式的用于远程操作机器人100的方法300的流程图。方法300主要示出机器人侧的方法步骤。
方法300在步骤301中开始。在步骤302中确定机器人100的实际状态。该实际状态相应于机器人100不能自主完成的状态,而是在该状态中机器人依赖于协助来完成赋予其的任务。首先,机器人100在步骤304中确定第一目标状态(“安全状态”),在该第一目标状态中自主运行可安全地停止。在运输工具的情况下,运输工具尽可能离开车道并驶向例如紧急停靠车道或停车位。为机器人100要设定相应状态(例如地点、位置)。在步骤306中,生成第一控制数据,该第一控制数据配置用于使机器人转变到第一目标状态。在步骤308中,基于第一控制数据控制机器人100,以使机器人转变到第一目标状态(“安全状态”)。在机器人可能已经处于“安全位置”的情况下或者在不能占据安全位置或替代位置的情况下(例如基于建筑元素或其它机器人或运输工具),步骤304至308是可选的。在这种或类似情况下可省却步骤304至308。在步骤310中,将当前运行数据发送到服务器260。当前运行数据(参见上文)包含所有用于寻找解决方案所需的信息。在步骤312中,从服务器260接收第二控制数据,所述第二控制数据配置用于使机器人100转变到第二目标状态,该第二目标状态配置用于通过解决问题或完成状况能再次实现机器人的自主运行。然后,在步骤314中基于第二控制数据控制机器人100。并且在步骤316中机器人100进行自主控制。方法300在步骤318中结束。
图3示出根据本公开实施方式的用于远程操作机器人100的方法400的流程图。方法400主要示出服务器侧的方法步骤。
方法400在步骤401中开始。在步骤402中,服务器260接收机器人100的当前运行数据。如上所述,当前运行数据包含所有用于寻找解决方案所需的信息。在步骤404中,确定机器人100的第二目标状态。所述第二目标状态配置用于在解决问题之后再次实现机器人的自主运行。在步骤406中,生成第二控制数据,所述第二控制数据配置用于使机器人100转变到第二目标状态。在步骤408中,将第二控制数据发送到机器人。方法400在步骤410中结束。
运输工具100优选包括控制单元130,该控制单元配置用于实施根据本发明的方法300。在另一方面,本公开包括控制单元130,所述控制单元尤其是包括用于电子控制单元的相应计算机程序。
本公开还包括一种计算机程序、尤其是具有计算机程序的计算机程序产品,所述计算机程序构造成用于在运输工具的数据处理装置(如控制单元130)或移动用户设备上实施根据本发明方法的至少一部分或根据该方法的一个或多个特征的方法的有利实施方式。计算机程序尤其是软件程序,所述软件程序例如可作为应用(即应用程序、如“App”或“Application”)在安装于运输工具中或可由其携带的控制单元130上运行。控制单元的一部分在此可以是移动用户设备或者控制单元可与移动用户设备进行数据通信,以便尤其是(分布式)执行应用。计算机程序在此包括可执行程序代码,所述可执行程序代码在由数据处理装置执行时实施该方法的至少一部分。
计算机程序产品可被构成为先前计算机程序的更新,所述更新例如在功能扩展的范围中、例如在所谓的远程软件更新范围中包括用于运输工具的相应控制单元的计算机程序或相应程序代码的部分。
本文提到的运输工具优选是单车辙或多车辙机动车(如轿车、卡车、货车、摩托车)。由此产生多个在本文范围中明确描述的优点以及技术人员可理解的多个其它优点。尤其是在应用于高度或全自动驾驶运输工具时可产生特别大的优势。作为替代方案,运输工具可以是飞机或船只,所述方法可比照适用于飞机或船只。
尽管已经通过优选实施例对本发明进行了更详细的说明和解释,但本发明不受公开示例的限制并且本领域技术人员可从中得出其它变型,而不脱离本发明的保护范围。因此清楚的是,存在多种变型可能性。同样清楚的是,示例性提到的实施方式实际上仅表示示例,其不应以任何方式被理解为对本发明的保护范围、应用可能性或设计的限制。相反,上述说明和附图说明使本领域技术人员能够具体地实施示例性实施方式,其中,本领域技术人员在了解所公开的发明构思的情况下可做出各种改变,例如关于在一种示例性实施方式中提到的一些元件的功能或布置,而无需离开由权利要求及其法律对应部分、如说明书中的进一步说明定义的保护范围。

Claims (10)

1.一种用于远程操作来自多个机器人中的一个机器人(100)的方法(300),该方法包括:
-确定(302)机器人(100)的实际状态;
-基于机器人(100)的实际状态将当前运行数据传输(310)到服务器(260);
-从服务器(260)接收(312)第二控制数据,该第二控制数据配置用于使机器人(100)转变到第二目标状态;
-基于第二控制数据控制(314)机器人(100);并且
-使机器人(100)进行自主控制(316)。
2.根据前述权利要求所述的方法(300),所述方法还包括:
-确定(304)机器人(100)的第一目标状态;
-生成(306)第一控制数据,该第一控制数据配置用于使机器人(100)转变到第一目标状态;
-基于第一控制数据控制(308)机器人(100)。
3.根据前述权利要求中任一项所述的方法(300),其中,
-机器人(100)在实际状态中不能自主完成赋予机器人的任务;和/或
-所述当前运行数据包括描述机器人(100)环境的环境数据;优选地,所述当前运行数据包括在一段时间上记录的数据,该记录的数据描述直到发生实际状态的预定时间段。
4.根据前述权利要求中任一项所述的方法(300),所述方法还包括:
-基于第二控制数据以及可选的第二目标状态在本地模型上的应用生成评估数据;并且
-将评估数据传输到服务器(260);并且可选地
-再次接收第二控制数据,其中,当第二控制数据已被服务器确认时,基于所述第二控制数据控制机器人(100)。
5.一种用于远程操作来自多个机器人中的一个机器人(100)的方法(400),该方法包括:
-由服务器(260)接收(402)机器人(100)的当前运行数据;
-确定(404)机器人(100)的第二目标状态;
-生成(406)第二控制数据,该第二控制数据配置用于使机器人(100)转变到第二目标状态;并且
-将第二控制数据发送(408)到机器人(100)。
6.根据前述权利要求所述的方法(400),其中,确定机器人(100)的第二目标状态包括:
-将当前运行数据与来自多个预定运行数据中的预定运行数据进行比较;并且
-在当前运行数据和来自所述多个预定运行数据中的预定运行数据具有预定关系的情况下,基于所述预定运行数据生成第二控制数据;
-否则,基于当前运行数据执行一次或多次模拟,基于所述一次或多次模拟生成第二控制数据,并且将当前运行数据和所生成的第二控制数据作为附加的预定运行数据添加到所述多个预定运行数据中。
7.根据前述两个权利要求中任一项所述的方法(400),所述方法还包括:从机器人(100)接收评估数据。
8.一种用于远程操作机器人(100)的系统(200),所述系统包括服务器(260),该服务器配置用于实施根据权利要求5至7中任一项所述的方法。
9.根据前述权利要求所述的系统(200),所述系统还包括来自多个远程操作员中的一个远程操作员(282);由所述远程操作员执行确定所述机器人(100)的第二目标状态并生成配置用于使机器人(100)转变到第二目标状态的第二控制数据的步骤;可选地,所述远程操作员包括人工操作员。
10.机器人(100),包括控制单元(130),所述控制单元(130)配置用于实施根据权利要求1至4中任一项所述的方法;可选地,所述机器人(100)包括自动化运输工具,所述自动化运输工具具有用于部分自主或自主控制运输工具的装置。
CN201980048703.2A 2018-08-20 2019-07-29 可扩展的远程操作自主机器人 Active CN112513762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018214023.5A DE102018214023A1 (de) 2018-08-20 2018-08-20 Skalierbare Teleoperation Autonomer Roboter
DE102018214023.5 2018-08-20
PCT/EP2019/070355 WO2020038686A1 (de) 2018-08-20 2019-07-29 Skalierbare teleoperation autonomer roboter

Publications (2)

Publication Number Publication Date
CN112513762A true CN112513762A (zh) 2021-03-16
CN112513762B CN112513762B (zh) 2024-04-16

Family

ID=67742353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980048703.2A Active CN112513762B (zh) 2018-08-20 2019-07-29 可扩展的远程操作自主机器人

Country Status (4)

Country Link
US (1) US20210255618A1 (zh)
CN (1) CN112513762B (zh)
DE (1) DE102018214023A1 (zh)
WO (1) WO2020038686A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486452A (zh) * 2021-09-07 2021-10-08 北京三快在线科技有限公司 一种用于无人驾驶设备远程遥控的方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230021649A1 (en) * 2020-01-24 2023-01-26 Tetsuya Ono Information processing device, information processing method, and program
DE102020207081A1 (de) * 2020-06-05 2021-12-09 Siemens Mobility GmbH Ferngesteuerter Eingriff in die Taktikplanung von autonomen Fahrzeugen
EP4174818A4 (en) * 2020-06-26 2023-11-01 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING METHOD, INFORMATION PROCESSING TERMINAL AND INFORMATION PROCESSING SYSTEM

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662402A (zh) * 2002-06-24 2005-08-31 株式会社电装 车辆控制信息传递结构、使用该传递结构的车辆控制装置以及使用该传递结构的车辆控制模拟器
JP2009174879A (ja) * 2008-01-21 2009-08-06 Mazda Motor Corp 車両の制御特性設定システム及び車両の制御特性設定方法
CN102609089A (zh) * 2011-01-13 2012-07-25 微软公司 用于机器人和用户交互的多状态模型
RU2013125296A (ru) * 2013-05-31 2014-12-10 Общество С Ограниченной Ответственностью "Авп Технология" Система автоматизированного ведения грузового поезда по оперативному расписанию движения
CN104460670A (zh) * 2014-11-10 2015-03-25 华南理工大学 一种scara机器人运动仿真及远程控制系统及控制方法
CN104572065A (zh) * 2013-10-15 2015-04-29 福特全球技术公司 远程车辆监控系统和方法
DE102013021816A1 (de) * 2013-12-20 2015-06-25 Audi Ag Verfahren zum Bereitstellen einer Funktion für ein Kraftfahrzeug
CN104919462A (zh) * 2012-11-12 2015-09-16 希图系统有限公司 用于对机器和装置进行注册、监测和控制的系统、方法、计算机程序和数据信号
DE102014015493A1 (de) * 2014-10-06 2016-04-07 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
CN105610553A (zh) * 2016-01-04 2016-05-25 杭州亚美利嘉科技有限公司 机器人终端与服务器指令同步的控制方法、装置及系统
US20170124481A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. System for fully integrated capture, and analysis of business information resulting in predictive decision making and simulation
CN107612962A (zh) * 2017-07-31 2018-01-19 北京航天长征飞行器研究所 一种分布式仿真评估试验管理系统
CN107850894A (zh) * 2015-07-14 2018-03-27 高通股份有限公司 用于无人驾驶自主式系统的控制规范化
CN107924189A (zh) * 2015-08-19 2018-04-17 Zf 腓德烈斯哈芬股份公司 远程的驾驶员辅助
CN108027243A (zh) * 2016-07-21 2018-05-11 百度(美国)有限责任公司 用于操作自动驾驶车辆的控制误差校正规划方法
CN108241354A (zh) * 2016-12-26 2018-07-03 乐视汽车(北京)有限公司 用于自动驾驶仿真系统的测试方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499804B2 (en) * 2004-10-22 2009-03-03 Irobot Corporation System and method for multi-modal control of an autonomous vehicle
DE102013201168A1 (de) * 2013-01-24 2014-07-24 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9465388B1 (en) * 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
DE102016213300A1 (de) * 2016-07-20 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtungen zum Führen eines autonom fahrenden Fahrzeugs in kritischen Situationen
DE102016221480A1 (de) * 2016-11-02 2018-05-03 Volkswagen Aktiengesellschaft Verfahren zur Kommunikation zwischen einer Bedienstelle, welche ein automatisch fahrendes Fahrzeug extern steuert, und einem weiteren Verkehrsteilnehmer sowie automatisch fahrendes Fahrzeug
DE102016225606B4 (de) * 2016-12-20 2022-12-29 Audi Ag Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs
WO2019035997A1 (en) * 2017-08-17 2019-02-21 Sri International ADVANCED CONTROL SYSTEM HAVING MULTIPLE CONTROL PARADIGMS
US10503165B2 (en) * 2017-12-22 2019-12-10 Toyota Research Institute, Inc. Input from a plurality of teleoperators for decision making regarding a predetermined driving situation
WO2019191313A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662402A (zh) * 2002-06-24 2005-08-31 株式会社电装 车辆控制信息传递结构、使用该传递结构的车辆控制装置以及使用该传递结构的车辆控制模拟器
JP2009174879A (ja) * 2008-01-21 2009-08-06 Mazda Motor Corp 車両の制御特性設定システム及び車両の制御特性設定方法
CN102609089A (zh) * 2011-01-13 2012-07-25 微软公司 用于机器人和用户交互的多状态模型
CN104919462A (zh) * 2012-11-12 2015-09-16 希图系统有限公司 用于对机器和装置进行注册、监测和控制的系统、方法、计算机程序和数据信号
RU2013125296A (ru) * 2013-05-31 2014-12-10 Общество С Ограниченной Ответственностью "Авп Технология" Система автоматизированного ведения грузового поезда по оперативному расписанию движения
CN104572065A (zh) * 2013-10-15 2015-04-29 福特全球技术公司 远程车辆监控系统和方法
DE102013021816A1 (de) * 2013-12-20 2015-06-25 Audi Ag Verfahren zum Bereitstellen einer Funktion für ein Kraftfahrzeug
DE102014015493A1 (de) * 2014-10-06 2016-04-07 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
CN104460670A (zh) * 2014-11-10 2015-03-25 华南理工大学 一种scara机器人运动仿真及远程控制系统及控制方法
CN107850894A (zh) * 2015-07-14 2018-03-27 高通股份有限公司 用于无人驾驶自主式系统的控制规范化
CN107924189A (zh) * 2015-08-19 2018-04-17 Zf 腓德烈斯哈芬股份公司 远程的驾驶员辅助
US20170124481A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. System for fully integrated capture, and analysis of business information resulting in predictive decision making and simulation
CN105610553A (zh) * 2016-01-04 2016-05-25 杭州亚美利嘉科技有限公司 机器人终端与服务器指令同步的控制方法、装置及系统
CN108027243A (zh) * 2016-07-21 2018-05-11 百度(美国)有限责任公司 用于操作自动驾驶车辆的控制误差校正规划方法
CN108241354A (zh) * 2016-12-26 2018-07-03 乐视汽车(北京)有限公司 用于自动驾驶仿真系统的测试方法
CN107612962A (zh) * 2017-07-31 2018-01-19 北京航天长征飞行器研究所 一种分布式仿真评估试验管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乐逸祥: "基于Multi-Agent的列车速度联控系统的仿真研究", 《系统仿真学报》, pages 2647 - 2654 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486452A (zh) * 2021-09-07 2021-10-08 北京三快在线科技有限公司 一种用于无人驾驶设备远程遥控的方法及装置

Also Published As

Publication number Publication date
DE102018214023A1 (de) 2020-02-20
CN112513762B (zh) 2024-04-16
US20210255618A1 (en) 2021-08-19
WO2020038686A1 (de) 2020-02-27

Similar Documents

Publication Publication Date Title
AU2019284146B2 (en) Testing predictions for autonomous vehicles
CN112513762B (zh) 可扩展的远程操作自主机器人
KR102337011B1 (ko) 차량의 항법을 위한 시스템 및 방법
US11269325B2 (en) System and methods to enable user control of an autonomous vehicle
US10377375B2 (en) Autonomous vehicle: modular architecture
EP3444159B1 (en) Multi-modal switching on a collision mitigation system
US10365654B2 (en) System for safe passenger departure from autonomous vehicle
US20180224850A1 (en) Autonomous vehicle control system implementing teleassistance
KR20200095365A (ko) 자율 주행 모드와 수동 주행 모드 사이의 주행 모드를 변경하는 리모트 컨트롤 자율 주행 자동차를 위한 방법 및 장치
WO2018063250A1 (en) Autonomous vehicle with modular architecture
US20220299992A1 (en) Method for the at least assisted crossing of a junction by a motor vehicle
US20230211805A1 (en) Concept For Supporting a Motor Vehicle Being Guided in at Least Partially Automated Manner
CN115688552A (zh) 行人意图让行
Broek et al. Definition of necessary vehicle and infrastructure systems for automated driving
US20220355827A1 (en) Remote assistance management system, remote assistance management method, and non-transitory computer-readable storage medium
US20240059322A1 (en) Cooperative teleoperation
WO2023228781A1 (ja) 処理システム及び情報提示装置
JPWO2021058176A5 (zh)
CN117153001A (zh) 辅助应急机动车的方法、自动化引导应急机动车的方法、设备和存储介质
CN116798250A (zh) 用于检查包括多个部件的作用链的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant