CN111331595B - 控制服务机器人的操作的方法和设备 - Google Patents

控制服务机器人的操作的方法和设备 Download PDF

Info

Publication number
CN111331595B
CN111331595B CN201911291147.XA CN201911291147A CN111331595B CN 111331595 B CN111331595 B CN 111331595B CN 201911291147 A CN201911291147 A CN 201911291147A CN 111331595 B CN111331595 B CN 111331595B
Authority
CN
China
Prior art keywords
service robot
mode
service
behavior
operation mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911291147.XA
Other languages
English (en)
Other versions
CN111331595A (zh
Inventor
河泰信
金暻禄
张峻源
赵俊基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111331595A publication Critical patent/CN111331595A/zh
Application granted granted Critical
Publication of CN111331595B publication Critical patent/CN111331595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39254Behaviour controller, robot have feelings, learns behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45084Service robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

公开一种控制服务机器人的操作的方法和设备。所述方法包括:在服务模式下由处理电路基于传感器数据测量服务机器人的评价指标;由处理电路基于测量的评价指标从至少两种操作模式的集合中确定服务机器人的操作模式;由处理电路基于操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为;以及由处理电路基于所述行为控制服务机器人的操作。

Description

控制服务机器人的操作的方法和设备
本申请要求于2018年12月18日在韩国知识产权局提交的第10-2018-0164091号韩国专利申请的权益,所述韩国专利申请的全部内容通过整体引用包含于此。
技术领域
至少一些示例实施例涉及服务机器人和/或控制服务机器人的行为。
背景技术
智能或智慧机器人的发展导致了向用户提供各种服务的各种类型的服务机器人的发展。服务机器人包括例如引导机器人、清洁机器人、家务机器人、教育服务提供机器人、以及宠物护理机器人等。这些服务机器人在与用户交互的同时执行需要相对高水平的智能的各种任务。它们根据预先编程的算法进行操作,并且执行在各种情况或条件下定义的功能。
发明内容
一些示例实施例涉及一种控制服务机器人的操作的方法。
在一些示例实施例中,所述方法可包括:在服务模式下由处理电路基于传感器数据测量服务机器人的评价指标;由处理电路基于评价指标从至少两种操作模式的集合中确定服务机器人的操作模式;由处理电路基于操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为;以及由处理电路基于所述行为控制服务机器人的操作。
确定操作模式的步骤可包括:由处理电路基于评价指标满足预设的操作模式改变条件,将服务机器人的当前操作模式改变为另一操作模式。
将当前操作模式改变为另一操作模式的步骤可包括:由处理电路基于评价指标满足预设的第一服务需求,将当前操作模式改变为比当前操作模式更高水平的操作模式。
选择行为的步骤可包括:由处理电路基于操作模式,从分别与将由服务机器人执行的功能相关联的所述至少两种行为的集合中选择行为。
针对服务机器人的每个功能,所述至少两种行为的集合可包括至少一个基于规则的行为和至少一个基于训练的行为。
其他示例实施例可涉及控制服务机器人的操作的设备。
在一些示例实施例中,所述设备可包括:存储器;以及控制器,被配置为例如通过执行存储在存储器中的指令来控制服务机器人的操作。在一些示例实施例中,控制器可被配置为(例如,基于指令的执行):在服务模式下基于传感器数据测量服务机器人的评价指标;基于评价指标从至少两种操作模式的集合中确定服务机器人的操作模式;基于操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为;以及基于所述行为控制服务机器人的操作。
控制器可被配置为:基于评价指标满足预设的操作模式改变条件,将服务机器人的当前操作模式改变为另一操作模式。
控制器可被配置为:在空闲模式下基于服务机器人所在的空间的空间数据是否存在,确定空闲模式下的服务机器人的操作模式。
控制器可被配置为:基于空间数据不存在,将服务机器人的操作模式确定为探索模式。在探索模式下,控制器可被配置为:控制服务机器人探索服务机器人所在的空间。
控制器可被配置为:基于空间数据存在并且评价指标不满足预设的条件,将服务机器人的操作模式确定为训练模式。在训练模式下,控制器可被配置为:控制服务机器人基于收集的行进数据,来校正定义基于训练的行为的参数。
示例实施例的额外的方面将在下面的描述中部分地阐述,并且部分地根据该描述将是清楚的,或者可通过本公开的实践来获知。
附图说明
从下面结合附图对示例实施例的描述,这些和/或其他方面将变得清楚和更容易理解,其中:
图1是示出根据至少一个示例实施例的服务机器人的概述的示图;
图2是示出根据至少一个示例实施例的在服务模式下的服务机器人的操作控制方法的示例的流程图;
图3是示出根据至少一个示例实施例的在空闲模式下的服务机器人的操作控制方法的示例的流程图;
图4是示出根据至少一个示例实施例的被配置为执行操作控制方法的操作控制模块的示例的示图;
图5至图7是示出根据至少一个示例实施例的在服务模式下的服务机器人的操作控制方法的示例的示图;
图8是示出根据至少一个示例实施例的在服务机器人的每个操作模式下的服务机器人的行为的示例的示图;
图9是示出根据至少一个示例实施例的如何确定服务机器人的操作模式的示例的流程图;以及
图10是示出根据至少一个示例实施例的服务机器人的操作控制设备的配置的示图。
具体实施方式
在下文中,将参照附图详细地描述一些示例实施例。关于分配给附图中的元件的参考标号,应注意,即使相同的元件在不同的附图中示出,相同的元件也将尽可能地由相同的参考标号指定。此外,在实施例的描述中,当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时,将省略这样的描述。
然而,应理解,并不意图将本公开限制于公开的特定示例实施例。相反,一些示例实施例可包括落入示例实施例的范围内的所有修改、等同物和替代物。贯穿附图的描述,相同的标号可表示相同的元件。
此外,在此可使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语不用于限定相应组件的本质、顺序或次序,而仅用于将对应组件与其他组件区分开来。应注意,如果在说明书中描述一个组件“连接”、“结合”或“接合”到另一组件,则尽管第一组件可直接连接、结合或接合到第二组件,但是第三组件可“连接”、“结合”或“接合”在第一组件与第二组件之间。
在此使用的术语仅为了描述特定实施例的目的,并不意图限制。如在此所使用的,除非上下文明确另有指示,否则单数形式也意图包括复数形式。还将理解,当在此使用术语“包括”和/或“包含”时,说明存在阐述的特征、整体、步骤、操作、元件、组件和/或它们的组,但并不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意,在一些可选择的实施方式中,提到的功能/动作可不按附图中提到的顺序发生。例如,连续示出的两个附图实际上可根据所涉及的功能/动作基本同时地执行,或有时可以以相反的顺序执行。
除非另外定义,否则在此使用的所有术语(包括技术术语和科学术语)具有与本申请的公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确地如此定义,否则诸如在通用字典中定义的术语应被解释为具有与它们在相关领域的上下文中的含义一致的含义,而不应被解释为理想化或过于形式化的含义。
此外,在示例实施例的描述中,当认为在理解本申请的公开之后由此已知的结构或功能的详细描述将导致对示例实施例的模糊解释时,将省略这样的描述。
现在将参照示出一些示例实施例的附图更充分地描述各种示例实施例。在附图中,为了清楚,夸大了层和区域的厚度。
在下文中,将参照附图详细描述示例,并且附图中相同的参考标号始终表示相同的元件。
图1是示出根据至少一个示例实施例的服务机器人的概述的示图。
参照图1,服务机器人110(被配置为提供服务的机器人)可通过安装在服务机器人110的主体中的致动器在服务区域中移动。服务机器人110可基于使用的目的向用户120提供服务。例如,服务机器人110可提供路线引导服务、伴随服务、方向引导服务、设施引导服务、危险警告服务、广告服务、清洁服务、安全服务、递送服务、购物车服务等。服务机器人110可提供设施引导服务,以在用户周围进行跟随的同时基于位置向用户提供设施和装置的说明。服务机器人110可提供路线引导服务,以将用户引导到目的地。服务机器人110可提供购物车服务,以在用户周围进行跟随的同时将用户引导到用户需要或期望的商品的位置,并且在其上具有负载。根据一个示例,服务机器人110可通过输入接口从用户120接收针对期望服务的请求,并且响应于请求提供用户120请求的服务。
服务机器人110可包括被配置为控制服务机器人110的操作的控制器。在一些示例实施例中,控制器可包括处理电路,该处理电路可包括硬件(诸如逻辑电路)、硬件/软件组合(诸如,执行软件的处理器)或它们的组合。例如,处理器可包括但不限于中央处理器(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。在一些示例实施例中,控制器可与服务机器人110一起集成为设备;在一些其他示例实施例中,控制器可包括在与服务机器人110不同的设备(诸如,通过有线通信方式(例如,诸如以太网的有线网络)和/或无线通信方式(例如,WiFi、蓝牙和/或蜂窝通信网络)与服务机器人110进行通信的计算机)中。
服务机器人110可通过与用户120的交互提供服务,并且因此可在与用户120存在的空间相同的空间中操作。因此,除服务机器人110的性能之外,可能也要考虑安全性。此外,可能要考虑适应性,使得服务机器人110在提供各种服务的各种情况或环境下平稳地操作。由于服务机器人110的这种特性,服务机器人110可表现得与不允许不正确或错误行为的其他工业机器人或自动驾驶车辆不同。
机器人110可执行从至少两种行为的集合中选择的行为。机器人的每种行为或行为模式可被大致分为基于规则的行为和/或基于训练的行为。基于规则的行为指示基于情况预定义的行为模式,基于训练的行为指示通过训练可基于情况改变的行为模式。对于工业机器人或自动驾驶车辆,需要确保安全性,因此它们可(例如,主要、优选地和/或默认)根据基于规则的行为进行操作。然而,基于规则的行为在性能方面可具有它的局限性,例如,尽管基于规则的行为可提供一定或更高水平的初始性能,但是基于规则的行为不能针对各种情况进行优化。相反,尽管基于训练的行为的初始性能可能不如基于规则的行为的初始性能好,并且因此可能相对较少可用,但是基于训练的行为可具有通过优化改进的性能。
在一些示例实施例中,服务机器人110可在提供一定或更高质量的水平的服务的同时通过训练持续改进其性能,并且基于规则的行为和基于训练的行为可(例如,以同时和/或连续的方式)被共同使用。根据下面将要描述的至少一个示例实施例,可由处理电路基于从传感器收集的传感器数据从至少两种操作模式的集合中确定服务机器人110的操作模式,并且可由处理电路基于操作模式从至少两种行为的集合或行为模式中选择期望的行为或行为模式。例如,可基于操作模式从包括至少一种基于规则的行为和至少一种基于训练的至少两种行为的集合中选择将被应用于服务机器人110的操作的行为。例如,处理电路可被配置为:通过最初从至少两种行为的集合中选择基于规则的行为,并且在提供服务的同时使用收集的数据改进基于训练的行为的性能,来控制服务机器人110。当基于训练的行为的性能改进时,处理电路可被配置为将基于规则的行为改变(替换)为基于训练的行为。如上所述,服务机器人110可执行针对情况优化的操作,和/或在提供服务的同时通过训练持续地改进性能。
为了选择服务机器人110的这种期望的行为,处理电路可被配置为例如基于传感器数据来测量服务机器人110的评价指标。处理电路可被配置为使用这种评价指标来确定服务机器人110的操作模式,并且服务机器人110可基于至少两种行为的集合中的与操作模式对应的行为进行操作。根据至少一个示例实施例,处理电路可被配置为通过实时测量评价指标来控制服务机器人110,并且基于测量的评价指标根据提供服务的服务情况来将服务机器人110的操作模式改变到至少两中操作模式的集合中的另一种操作模式。基于另一种操作模式,处理电路可被配置为从至少两种行为的集合中选择将被应用于服务机器人110的操作的行为。在此,至少两种行为的集合可包括与相同功能相关联的行为或行为模式的子集,并且该子集可包括至少一种基于规则的行为和/或至少一种基于训练的行为。也就是说,处理电路可被配置为通过从至少两种行为的集合中(例如,从基于规则的行为和基于训练的行为中)选择与操作模式对应的行为来控制服务机器人110,并且基于选择的行为使服务机器人110执行功能。
在一些场景下,诸如在此公开的包括由处理电路确定操作模式和选择行为的对服务机器人的控制可在服务机器人的控制中提供一些优点。作为第一示例,由处理电路选择操作模式可使服务机器人在基于规则的模式和基于训练的模式之间进行切换,基于规则的模式可提供较高的安全操作置信度,但可表现出较低的动态环境适应性,训练模式可表现出较高的动态环境适应性,但具有较低的安全操作置信度。作为第二示例,由处理电路自动选择操作模式和/或行为可使服务机器人基于环境(诸如,个体的存在与否或所请求的服务任务的性质),自动地调整性能水平(例如,完成功能或任务的质量)、速度(例如,完成功能或任务的速度)和/或安全级别(例如,完成功能或任务的安全性)。作为第三示例,在基于规则的模式与基于训练的模式之间自动切换服务机器人可使处理电路能够使服务机器人进行训练(例如,训练机器学习技术)以执行服务操作的功能,同时还以不同的方式(例如,根据基于规则的操作模式)执行服务操作。
在下文中,将更详细地描述包括由处理电路从至少两种操作模式的集合中确定操作模式和由处理电路从至少两种行为的集合中选择行为的控制服务机器人的操作的方法(在下文中简称为操作控制方法)。
图2是示出根据至少一个示例实施例的在服务模式下的服务机器人的操作控制方法的流程图。在图2的一些示例实施例和在此呈现的其他附图中示出的示例方法中,操作控制方法可由用于控制服务机器人的操作的设备(在下文中简称为操作控制设备)的处理电路(诸如,包括在操作控制器设备中的控制器)来执行。在图2的一些其他示例实施例和在此呈现的其他附图中示出的示例方法中,操作控制方法可被编码为非易失性计算机可读介质上的计算机可读指令,使得由处理器执行指令可使操作控制设备执行该操作控制方法。
参照图2,在操作210中,操作控制设备的处理电路确定针对服务机器人确定的操作模式是否是服务模式。根据至少一个示例实施例,服务机器人的至少两种操作模式的集合可包括:服务机器人执行服务提供功能的服务模式和服务机器人不执行服务提供功能的空闲模式。当针对服务机器人从至少两种操作模式的集合中确定的操作模式不是服务模式时,操作控制器设备的处理电路可控制服务机器人在空闲模式下进行操作,将参照图3对这样的示例进行详细描述。例如,在识别到当前没有提供服务的情况下或当不存在对服务的请求时,处理电路可通过将空闲模式确定为操作模式来控制服务机器人。基于服务机器人的操作模式被确定为服务模式,操作控制设备的处理电路可执行在下文中将要描述的操作220至250。
在操作220中,操作控制设备的处理电路基于由传感器获得的传感器数据测量服务机器人的评价指标。评价指标指示在数值上表现基于传感器数据对服务机器人的操作执行的评价的结果的值。例如,操作控制设备的处理电路可测量服务机器人的性能指标、安全性指标、或适应性指标或这些指标的集合或组合。性能指标可指示服务机器人的速度和/或准确度。安全性指标可指示服务机器人的安全性和/或可靠性的水平。适应性指标可指示服务机器人的适应性和/或鲁棒性。处理电路可实时测量这种评价指标,并且可使用测量的评价指标确定是否改变服务机器人的操作模式。
在一些示例实施例中,操作控制设备的处理电路可基于服务机器人执行期望的操作有多快或者有多准确来测量服务机器人的性能。在一些示例场景下,服务机器人可在用户也存在的环境下进行操作,因此可考虑指示服务机器人对用户是否安全的安全性。此外,可考虑服务机器人的适应性,使得服务机器人在各种和连续改变的环境下平稳地操作。因此,为了在各种情况下向用户提供期望的服务,服务机器人可根据环境的改变灵活地操作。在一些示例实施中,操作控制设备的处理电路可在各种情况和环境下,针对服务器人测量和/或使用任何、若干或所有三个方面——性能、安全性和适应性。
在一些示例实施例中,服务机器人可包括各种传感器,例如,照相机、深度传感器、距离传感器、全球定位系统(GPS)传感器、麦克风、光探测及测距(LiDAR)传感器、电动机编码器传感器、红外传感器、惯性测量单元(IMU)、里程表传感器等。操作控制设备的处理电路可被配置为基于从这些传感器输出的传感器数据测量评价指标,并且执行上下文感知。例如,操作控制设备的处理电路可被配置为利用上下文感知作为识别如上所述的情况的指示符和/或将上下文感知展现为识别如上所述的情况的指示符。
根据至少一个示例实施例,操作控制设备的处理电路可被配置为基于传感器数据实时识别当前的服务情况,并且基于识别服务情况的结果和传感器数据来测量评价指标。在此,操作控制设备的处理电路可基于每个服务情况选择不同的评价指标。
在操作230中,操作控制设备的处理电路基于在操作220中测量的评价指标,从至少两种操作模式的集合中确定服务机器人的操作模式。例如,服务机器人的至少两种操作模式的集合可包括安全模式、正常模式和/或高级模式,并且操作控制设备的处理电路可被配置为基于评价指标,从至少两种操作模式的集合中将服务机器人的操作模式确定为安全模式、正常模式和高级模式中的一种。安全模式可以是这样的操作模式:与其他操作模式(诸如,正常模式和高级模式)相比,安全模式可具有较低的性能,但是它能够稳定和连续地提供服务。正常模式可以是确保或促进一定(或一般)水平的性能、安全性和/或适应性的操作模式。高级模式可以是这样的操作模式:尽管高级模式在安全性和适应性的方面可能没有被验证,但是与诸如安全模式和正常模式的操作模式相比,它具有相对更好的性能。
在一些示例实施例中,操作控制设备的处理电路可被配置为基于当前服务情况和评价指标,从至少两种操作模式的集合确定操作模式。根据至少一个示例实施例,操作控制设备的处理电路可被配置为初始在安全模式和/或正常模式下操作服务机器人,并且基于服务情况和/或测量的评价指标的变化改变操作模式。例如,可针对每个服务情况预先设置操作模式改变条件,并且操作控制设备的处理电路可被配置为基于评价指标满足操作模式改变条件,将服务机器人的当前操作模式改变为另一操作模式。在这个示例中,当操作控制设备的处理电路确定评价指标满足预设的第一服务需求时,操作控制设备的处理电路可被配置为将当前操作模式改变为比当前操作模式更高水平的操作模式。例如,基于当前操作模式是安全模式,操作控制设备的处理电路可被配置为将安全模式改变为正常模式;和/或基于当前操作模式是正常模式,操作控制设备的处理电路可被配置为可将正常模式改变为高级模式。作为另一示例,基于评价指标不满足预设的第二服务需求,操作控制设备的处理电路可被配置为将当前操作模式改变为比当前操作模式更低水平的操作模式。例如,基于当前操作模式是高级模式,操作控制设备的处理电路可将高级模式改变为正常模式;和/或基于当前操作模式是正常模式,操作控制设备的处理电路可将正常模式改变为安全模式。
在操作240中,操作控制设备的处理电路基于在操作230中确定的操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为。行为或行为模式可定义服务机器人的详细操作策略,并且相应的行为可与服务机器人的每个功能和/或每种操作模式相关联。行为的集合可包括执行相同功能的至少两种行为,并且操作控制设备的处理电路可被配置为从至少两种行为的集合中选择行为,至少两种行为的集合包括例如基于规则的行为和基于训练的行为,其中,至少两种行为在性能、安全性和/或适应性的方面可以相同、相似和/或不同。基于规则的行为可根据预定义的行为形成将由服务机器人执行的操作。例如,操作控制设备的处理电路可被配置为通过训练持续更新基于训练的行为,以在操作模式期间,在展现行为和/或执行功能的同时,改进、保持、验证和/或更新服务机器人的性能。
在一些示例实施例中,训练可涉及服务机器人和/或操作控制设备的机器学习模型。例如,作为服务机器人的基于训练的操作模式的一部分,操作控制设备的处理电路可通过包括深度学习的人工智能和/或机器学习来执行一些操作。例如,训练可包括:基于传感器输入(诸如,对服务机器人的环境的视频监视)和/或基于与用户的交互,来学习识别对服务功能的需求;学习在可由服务机器人执行的多个服务功能之中确定优先级和/或进行调度;学习确定操作模式和/或从至少两种行为的集合中选择行为以执行服务功能;学习完成请求的服务功能;学习评估服务机器人在操作模式和/或行为中正在执行或已经完成的服务功能的质量;学习检测操作模式改变条件和/或行为改变条件;学习从当前操作模式改变到至少两个操作模式的集合中的另一操作模式;和/或学习从当前行为改变到至少两种行为的集合中的另一行为。
在一些示例实施例中,处理电路可包括通过例如有监督学习模型、无监督学习模型和/或强化学习模型在一组训练数据上进行训练的人工神经网络,其中,处理电路可基于训练来处理特征向量以提供输出。这样的人工神经网络可利用各种人工神经网络的组织和处理模型(诸如,卷积神经网络(CNN)、反卷积神经网络、递归神经网络(RNN,可选地包括长短期记忆(LSTM)单元和/或门控递归单元(GRU))、堆叠神经网络(SNN)、状态空间动态神经网络(SSDNN)、深度信念网络(DBN)、生成对抗网络(GAN)和/或受限玻尔兹曼机(RBM))。可选地或附加地,处理电路可包括人工智能和/或机器学习的其他形式(诸如,线性和/或逻辑回归、统计聚类、贝叶斯分类、决策树、降维(诸如,主成分分析)和专家系统;和/或包括集成(诸如,随机森林)的它们的组合)。
在一些实施例中,操作控制设备的处理电路可被配置为基于功能(例如,行进功能、跟踪功能和/或避障功能)选择行为,其中,基于当前的服务情况和/或确定的操作模式从至少两种行为的集合中选择行为。例如,操作控制设备的处理电路可被配置为基于操作模式从至少两种行为的集合中选择行为,其中,所述行为与将由服务机器人执行的功能相关联。例如,基于服务机器人执行行进功能并且服务机器人的操作模式被确定为第一操作模式(例如,安全模式),操作控制设备的处理电路可被配置为从至少两种行为的集合中选择第一基于规则的行为。作为另一示例,基于服务机器人执行相同的行进功能并且服务机器人的操作模式被确定为第二操作模式(例如,正常模式),操作控制设备的处理电路可被配置为选择第二基于规则的行为。基于服务机器人执行相同的行进功能并且服务机器人的操作模式被确定为第三操作模式(例如,高级模式),操作控制设备的处理电路可被配置为选择基于训练的行为。如上所述,虽然服务机器人基于服务情况执行相同的功能,但是操作控制设备的处理电路可被配置为基于操作模式改变服务机器人的行为。例如,与例如提供一定(或一般)水平的安全性和适应性的第二基于规则的行为相比,第一基于规则的行为可提供更高水平的安全性和适应性。然而,第一基于规则的行为可具有比第二基于规则的行为相对更低水平的性能。基于训练的行为可具有通过训练持续改进的性能。
在操作250中,操作控制设备的处理电路基于在操作240中选择的行为控制服务机器人的操作。例如,操作控制设备的处理电路可被配置为基于选择的行为控制服务机器人执行功能。随后,操作控制设备的处理电路可被配置为重复执行操作210至操作250。例如,基于服务机器人在服务模式下进行操作,操作控制设备的处理电路可被配置为实时测量评价指标,并且将服务机器人的操作模式改变为至少两种操作模式的集合中的不同的操作模式,使得服务机器人可以以针对所需服务质量的最佳性能执行它的操作。作为另一示例,操作控制设备的处理电路可被配置为基于在提供服务时的服务情况,将操作模式改变为至少两种操作模式的集合中的不同的操作模式。然后,操作控制设备的处理电路可被配置为基于将由服务机器人执行的功能和基于改变的操作模式选择行为。随着服务机器人继续提供服务,基于训练的行为的性能和使用这种行为的操作模式可逐渐改进。
通过以上参照图2描述的操作,通过控制服务机器人在预定义的服务情况下执行确保性能的操作,并且通过在服务提供过程中执行的基于训练的行为改进性能,即使在未预先定义的服务情况下,操作控制设备的处理电路也可控制服务机器人执行提供所需性能的操作。
图3是示出根据至少一个示例实施例的在空闲模式下的服务机器人的操作控制方法的流程图。
参照图3,在操作310中,操作控制设备的处理电路确定服务机器人所在空间的空间数据是否存在。基于空间数据是否存在,操作控制设备的处理电路可确定空闲模式下的服务机器人的操作模式。空间数据可包括例如地图数据、关于设施和装置的结构的数据等。
在操作320中,基于空间数据不存在(例如,基于服务机器人不具有关于服务机器人所在的空间的信息),操作控制设备的处理电路将操作模式确定为探索模式。例如,基于服务机器人在探索模式下进行操作,操作控制设备的处理电路可使服务机器人探索服务机器人所在的空间并且收集空间数据作为探索的结果。
在操作330中,基于空间数据存在,操作控制设备的处理电路确定测量的评价指标是否满足预设的条件。例如,操作控制设备的处理电路可被配置为确定测量的性能指标是否满足服务需求。
在操作340中,基于评价指标不满足条件,操作控制设备的处理电路将服务机器人的操作模式确定为训练模式。例如,基于服务机器人在训练模式下进行操作,操作控制设备的处理电路可被配置为基于直到当前时间点收集的数据校正定义基于训练的行为的参数。
在操作350中,基于评价指标满足条件,操作控制设备的处理电路将服务机器人的操作模式设置为就绪操作模式。例如,设置在就绪操作模式下的服务机器人可接收外部输入以在服务模式下进行操作,或者等待直到识别出需要提供服务的情况。
图4是示出根据至少一个示例实施例的被配置为执行操作控制方法的操作控制模块的示图。
参照图4,被配置为控制服务机器人的操作的处理电路的操作控制模块420可通过与应用模块410(例如,也可以是处理电路的一部分)和/或硬件控制模块430(例如,也可以是处理电路的一部分)的交互进行操作,应用模块410被配置为控制服务机器人的应用操作,硬件控制模块430被配置为控制服务机器人的硬件。处理电路的操作控制模块可被包括在在此描述的操作控制设备中。根据至少一个示例实施例,处理电路的应用模块可被配置为向处理电路的操作控制模块发送服务机器人的驱动命令。处理电路的操作控制模块可被配置为向处理电路的应用模块发送服务机器人的驱动状态信息。处理电路的硬件控制模块可被配置为向处理电路的操作控制模块发送由服务机器人的传感器测量的传感器数据,例如,姿态信息、运动信息、里程表信息、图像信息、距离信息等。处理电路的操作控制模块可被配置为向处理电路的硬件控制模块发送命令以控制服务机器人的速度、姿态等。
处理电路的操作控制模块可被配置为改变服务机器人的操作模式(诸如,从至少两种操作模式的集合中选择另一种操作模式),和/或从至少两种行为的集合中选择行为。当行为改变时,处理电路的操作控制模块可被配置为向处理电路的硬件控制模块发送指示服务机器人暂停先前执行的行为并且执行新的行为的执行命令。当处理电路的硬件控制模块接收到执行命令时,处理电路的硬件控制模块可被配置为改变服务机器人的行为(例如,从至少两种行为的集合中选择与当前行为不同的行为),以使服务机器人执行由处理电路的操作控制模块指示的行为,和/或将关于服务机器人的状态的信息反馈给处理电路的操作控制模块。
根据至少一个示例实施例,处理电路的操作控制模块可被配置为基于每种情况需要的评价指标从至少两种行为的集合中选择一种行为(例如,至少两种行为的集合中的具有最高性能的行为),和/或向服务机器人发送指示服务机器人执行选择的行为的执行命令。
根据其他示例实施例,每种行为可与处理电路的使服务机器人执行该行为的单独的行为模块相关联。例如,处理电路的第一行为模块可被配置为执行基于训练的行为,处理电路的第二行为模块可被配置为执行基于规则的行为。在一些示例实施例中,处理电路的行为模块可由处理电路的操作控制模块控制,和/或可被配置为将由服务机器人生成的涉及行为的性能的信息发送到处理电路的操作控制模块。在一些示例实施例中,处理电路的操作控制模块可被配置为控制处理电路的行为模块的执行和终止,和/或处理电路的行为模块中的一个或多个可被配置为在处理电路的操作控制模块的控制下控制服务机器人的行为。在一些示例实施例中,处理电路的被配置为执行基于训练的行为的行为模块可包括用于训练基于训练的行为的训练接口。处理电路的操作控制模块可被配置为控制训练接口的训练。例如,处理电路的操作控制模块可被配置为控制训练的启动和/或暂停,和/或收集用于训练的数据的启动和/或暂停。
图5是示出根据至少一个示例实施例的在服务模式下的服务机器人的操作控制方法的示例的示图。
参照图5,在操作510中,处理电路可(例如,从用户)接收将从服务机器人接收和/或将由服务机器人执行的服务的类型的选择。例如,处理电路可从用户接收将从服务机器人接收的期望的服务(例如,购物车服务、路线引导服务和艺术品引导服务)的选择。在一些示例场景中,操作510可被省略。
在操作520中,操作控制设备的处理电路接收从服务机器人的传感器输出的传感器数据。
在操作530中,操作控制的处理电路设备基于将由服务机器人提供的服务的类型和接收的传感器数据,识别情况或执行上下文识别。
在操作540中,操作控制设备的处理电路基于识别的情况选择将被执行的功能,例如,行进功能、避障功能、跟踪功能等。在此,处理电路可基于将由服务机器人执行的服务(例如,预先)确定每种情况的功能。
在操作550中,操作控制设备的处理电路基于传感器数据测量评价指标。例如,操作控制设备的处理电路可被配置为基于各种传感器的输出,(例如,实时)测量性能指标、安全性指标和/或适应性指标。将被测量的评价指标可基于将由服务机器人提供的服务的类型或服务机器人进行操作的情况而变化。例如,针对每个服务,评价指标需求可变化。
在操作560中,操作控制设备的处理电路基于评价指标确定服务机器人的操作模式。例如,操作控制设备的处理电路可被配置为基于上下文需求(例如,每种服务情况的需求)来确定服务机器人的当前操作模式,和/或确定是否将当前操作模式改变为至少两种操作模式的集合中的不同的操作模式。根据至少一个示例实施例,基于测量的评价指标满足需求,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的提供更高水平的性能的另一操作模式。作为另一示例,基于测量的评价指标不满足需求,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的提供更高水平的安全性或适应性的另一操作模式。
在操作570中,操作控制设备的处理电路基于将由服务机器人执行的功能和在操作560中确定的操作模式从至少两种行为的集合中选择服务机器人的行为。在一些示例实施例中,可针对服务机器人的每个功能定义至少两种行为的集合中的至少一种行为,并且操作控制设备的处理电路可被配置为从至少两种行为的集合中选择与确定的操作模式相应的行为。然后,服务机器人可基于选择的行为生成或执行操作。
如上所述,操作控制设备的处理电路可被配置为基于服务情况(例如,实时)评价服务机器人的当前操作,和/或基于评价的结果确定服务机器人的操作和/或行为。因此,操作控制设备的处理电路可使服务机器人在各种情况下发挥最佳性能的水平。
图6是示出根据至少一个示例实施例的选择服务机器人的行为模式的方法的示例的示图。
参照图6,在操作610中,操作控制设备的处理电路可接收传感器数据,传感器数据可例如从包括在服务机器人中的各种传感器获得。
在操作620中,操作控制设备的处理电路基于传感器数据测量评价指标。例如,操作控制设备的处理电路可被配置为基于服务情况测量性能指标、安全性指标、适应性指标和它们的组合中的至少一个。例如,操作控制设备的处理电路可被配置为使用性能指标来测量服务机器人的速度和准确度,并且服务机器人的速度和准确度可基于平均功能执行速度、最大执行速度、平均执行速度、最小执行速度、功能执行错误率、跟踪错误率等。操作控制设备的处理电路可被配置为基于这些元素和/或其他元素的加权和来计算性能指标。操作控制设备的处理电路可被配置为使用安全性指标来测量服务机器人的安全性和/或可靠性的水平,并且服务机器人的安全性和/或可靠性的水平可基于执行功能时的碰撞的数量、碰撞时的速度、碰撞时间、碰撞概率(或距物体的距离)、执行功能时达到位置/速度/扭矩极限的次数和达到这种极限的时间等。操作控制设备的处理电路可被配置为基于这些元素和/或其他元素的加权和来计算安全性指标。操作控制设备的处理电路可被配置为使用适应性指标来测量服务机器人的适应性和/或鲁棒性的水平,并且服务机器人的适应性和/或鲁棒性的水平可基于上下文识别的数量、情况响应策略的数量、情况改变时发生的性能和安全性改变的程度等。操作控制设备的处理电路可被配置为基于这些元素和/或其他元素的加权和来计算适应性指标。
在操作630中,操作控制设备的处理电路基于评价指标从至少两种操作模式的集合中确定服务机器人的操作模式。至少两种操作模式的集合可包括例如安全模式、正常模式和/或高级模式。操作控制设备的处理电路可被配置为基于服务需求、测量的评价指标和/或服务情况,从包括这三种操作模式的集合中选择操作模式。
在操作640中,操作控制设备的处理电路基于确定的操作模式从至少两种行为的集合中选择将被应用于服务机器人的行为。例如,操作控制设备的处理电路可从针对相同功能具有不同行为策略的行为集合或行为模式中选择将被应用于服务机器人的行为。例如,作为执行行进功能的行为,至少两种行为的集合可包括基于规则的行为和基于训练的行为。在一些示例实施例中,包括在集合中的行为可提供不同水平的性能、安全性和/或适应性。例如,集合可包括对应于每个操作模式的行为,并且操作控制设备的处理电路可选择与确定的操作模式对应的行为以应用于服务机器人。例如,基于操作模式被确定为安全模式或正常模式,操作控制设备的处理电路可选择基于规则的行为,和/或基于操作模式被确定为高级模式,操作控制设备的处理电路可选择基于训练的行为。
图7是示出根据至少一个示例实施例的操作模式的改变和响应于操作模式的改变的行为的改变的示例的示图。
参照图7,在操作720中,操作控制设备的处理电路基于测量评价指标的结果710验证操作模式改变条件。操作控制设备的处理电路可被配置为基于传感器数据和/或基于时间(例如,实时)测量评价指标。
在操作730中,基于评价指标满足操作模式改变条件,操作控制设备的处理电路将服务机器人的当前操作模式改变为至少两种操作模式的集合中的另一操作模式。基于服务情况,操作模式改变条件可包括例如用于提高服务机器人的性能的条件和/或用于提高安全性的条件。
例如,基于测量的评价指标满足关于性能的预设的第一服务需求,操作控制设备的处理电路可被配置为例如将操作模式改变为至少两种操作模式的集合中的更高水平的操作模式,以提高服务机器人的性能。在这个示例中,基于当前操作模式是安全模式,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的正常模式。基于当前操作模式是正常模式时,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的高级模式。例如,基于测量的评价指标不满足关于安全性的预设的第二服务需求,操作控制设备的处理电路可被配置为例如将操作模式改变为至少两种操作模式的集合中的更低水平的操作模式,以提高服务机器人的操作的安全性。在这个示例中,基于当前操作模式是高级模式,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的正常模式。基于当前操作模式是正常模式,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的安全模式。
又例如,基于服务机器人基于测量的评价指标被确定为稳定或安全,操作控制设备的处理电路可被配置为将操作模式从安全模式改变为至少两种操作模式的集合中的正常模式,和/或从正常模式改变为至少两种操作模式的集合中的高级模式。在这个示例中,当服务机器人在正常模式或高级模式下操作的同时发生任何缺陷或问题时,操作控制设备的处理电路可将操作模式从正常模式改变为至少两种操作模式的集合中的安全模式或从高级模式改变为至少两种操作模式的集合中的正常模式。
例如,针对相同的功能,基于在安全模式下选择第一基于规则的行为,和/或在正常模式下选择第二基于规则的行为,和/或在高级模式下选择基于训练的行为,在操作740中,操作控制设备的处理电路可被配置为基于操作模式的改变来改变服务机器人的行为。例如,基于操作模式从安全模式改变为正常模式,操作控制设备的处理电路可被配置为将服务机器人的行为从第一基于规则的行为改变为第二基于规则的行为。基于操作模式从高级模式改变为正常模式,操作控制设备的处理电路可被配置为将服务机器人的行为可从基于训练的行为改变为第二基于规则的行为。上述的操作模式和行为的这种改变可实时发生和/或在服务机器人提供服务时发生。
图8是示出根据至少一个示例实施例的在服务机器人的每个操作模式下的服务机器人的行为的示例的示图。
图8示出服务机器人执行在避开障碍物的同时跟踪移动对象的服务的示例。根据至少一个示例实施例,服务机器人可例如基于用户的选择在服务模式下或在空闲模式下进行操作。服务模式可包括从至少两种操作模式的集合中选择的操作模式,至少两种操作模式的集合可包括例如安全模式、正常模式和高级模式。空闲模式可包括例如探索模式和训练模式。尽管安全模式具有相对较低水平的性能,但安全模式可以是提供高水平的安全性的操作模式。正常模式可以是提供平均水平的性能、安全性和适应性的操作模式。尽管高级模式不确保安全性和适应性,但是高级模式可以是预期最高水平的性能的操作模式。探索模式可以是允许服务机器人探索服务机器人所在的空间并且收集空间的空间数据的操作模式。训练模式可以是允许服务机器人收集将被用于训练的训练数据(例如,里程表数据)并且执行训练以改进基于训练的行为的性能的操作模式。可基于由用户选择的服务和识别的情况确定服务机器人的操作模式。
上述操作模式中的每个可对应于从至少两种行为的集合中选择的至少一种行为。例如,至少两种行为的集合可包括用于执行避障功能的基于规则的行为和基于训练的行为、用于执行移动对象跟踪功能的基于规则的行为和基于训练的行为、行进恢复行为和随机行进行为。基于规则的行为可以是基于预定义的规则确定服务机器人的操作的行为,并且基于训练的行为可以是基于通过训练确定的规则确定服务机器人的操作的行为。行进恢复行为可以是当服务机器人不可在当前情况下行进时执行的、用于克服这种当前情况并且使服务机器人能够行进的情况的行为。例如,当服务机器人由于受限而不可行进时,行进恢复行为可允许服务机器人执行操作以逃离服务机器人受限的地方。随机行进行为可以是服务机器人执行的用于在基于随机确定的路线或行进命令移动的同时收集训练数据的行为。
在一些示例实施例中,服务机器人的操作控制设备的处理电路可被配置为针对服务情况从基于功能和/或操作模式的至少两种行为的集合中选择行为。除了避障功能和移动对象跟踪功能之外,基于服务情况的功能可包括各种功能,例如,接近用户的功能、领导用户的功能和引导用户的功能。至少两种行为的集合可包括针对每个功能的多种行为。例如,所述集合可包括:适用于执行避障功能的行为和适用于执行移动对象跟踪功能的行为、行进恢复行为和随机行进行为。
在一些示例实施例中,操作控制设备的处理电路可被配置为基于时间改变服务机器人的服务情况或操作模式,和/或改变将被应用于服务机器人的行为。例如,基于在服务机器人正在执行避障功能的同时操作模式从正常模式改变为高级模式,如箭头810所示,操作控制设备的处理电路可被配置为将服务机器人的行为从基于规则的行为改变为基于训练的行为。类似地,基于在服务机器人正在执行移动对象跟踪功能的同时操作模式从正常模式改变为高级模式,如箭头820所示,操作控制设备的处理电路可被配置为将服务机器人的行为从基于规则的行为改变为基于训练的行为。
根据至少一个示例实施例,服务机器人可通过在正常模式下根据基于规则的行为避障或跟踪移动对象来提供服务。在一些情况(例如,大多数情况和/或典型情况)下,基于规则的行为可提供平均水平的性能、安全性和适应性。基于危险情况或潜在的不期望的情况的识别,操作控制设备的处理电路可被配置为使服务机器人在安全模式下进行操作,和/或执行基于规则的行为的避障功能。在此,虽然行为执行相同的功能,但是安全模式下的基于规则的行为可具有不同于正常模式下的基于规则的行为的特性。例如,关于避障功能,与正常模式下的基于规则的行为相比,安全模式下的基于规则的行为可提供更高水平的安全性。基于在服务机器人在正常模式下进行操作的同时测量的评价指标满足预设的服务需求,操作控制设备的处理电路可被配置为将服务机器人的正常模式改变为高级模式。基于服务机器人在高级模式下进行操作,操作控制设备的处理电路可被配置为使服务机器人在执行避障功能和移动对象跟踪功能的同时根据基于训练的行为进行操作。基于服务机器人在高级模式下,操作控制设备的处理电路可被配置为使服务机器人基于收集的数据(例如,连续地)执行训练。
基于服务机器人在探索模式下,操作控制设备的处理电路可被配置为使服务机器人基于服务情况,根据随机行进行为以及当服务机器人执行避障功能时应用的基于规则的行为进行操作。作为另一示例,服务机器人可在初始阶段没有障碍物的假设下,设置随机行进的最佳路径,并且根据随机行进行为进行操作。基于根据基于传感器数据识别的附近环境识别出行进路线上存在障碍物时,操作控制设备的处理电路可被配置为使服务机器人根据基于规则的行为进行操作以执行避障功能。作为另一示例,基于服务机器人在训练模式下,操作控制设备的处理电路可被配置为使服务机器人根据随机行进行为移动以获得先前未学习或训练的数据。操作控制设备的处理电路可被配置为例如使用获得的数据针对避障功能和/或移动对象跟踪功能来训练基于训练的行为。
通过上述的这种操作,操作控制设备的处理电路可被配置为使服务机器人(例如,持续)改进性能和/或在各种情况下稳定地提供服务。
图9是示出根据至少一个示例实施例的确定服务机器人的操作模式的示例的流程图,该示例包括在服务模式下确定服务机器人的操作模式的示例910以及在空闲模式下确定服务机器人的操作模式的示例950。
在图9的示例910中,基于服务机器人进入服务模式920,操作控制设备的处理电路基于传感器数据测量评价指标。操作控制设备的处理电路可被配置为基于测量的评价指标和基于服务情况预定义的操作模式改变条件(例如,通过将测量的评价指标与操作模式改变条件进行比较),确定服务机器人的操作模式。服务机器人初始在正常模式930下进行操作。基于评价指标满足用于向上调整或升级操作模式的服务需求,操作控制设备的处理电路可被配置为将服务机器人的操作模式改变为至少两种操作模式的集合中的高级模式940。操作控制设备的处理电路可被配置为从至少两种操作模式的集合中选择在当前情况下可提供最高水平的性能的操作模式。例如,基于当前情况是在安全性或适应性方面没有任何问题的情况,操作控制设备的处理电路可被配置为将服务机器人的操作模式确定为正常模式930以代替安全模式950,或者将服务机器人的操作模式确定为高级模式940以代替正常模式930,这样可在一些场景下改进服务机器人的性能。作为另一示例,基于在服务机器人操作的同时在安全性或适应性方面存在问题,操作控制设备的处理电路可被配置为将服务机器人的操作模式向下调整或降级为至少两种操作模式的集合中的不同的操作模式。这里,基于服务机器人的当前操作模式是高级模式940,操作控制设备的处理电路可被配置为将服务机器人的当前操作模式改变为至少两种操作模式的集合中的正常模式930。作为另一示例,基于当前操作模式是正常模式930,操作控制设备的处理电路可被配置为将当前操作模式改变为至少两种操作模式的集合中的安全模式950。基于测量的评价指标满足针对每个服务情况预定义的服务需求(例如,需要的性能指标、需要的安全性指标以及需要的适应性指标),并且在向下调整或降级操作模式之后,操作控制设备的处理电路可被配置为升级操作模式。
在图9的示例950中,基于服务机器人进入空闲模式960,操作控制设备的处理电路在操作965中确定服务机器人所在的空间的空间数据是否存在。基于空间数据不存在,操作控制设备的处理电路可被配置为将服务机器人的操作模式确定为至少两种操作模式的集合中的探索模式970。基于服务机器人在探索模式970下进行操作,操作控制设备的处理电路可被配置为使服务机器人在探索服务机器人周围的区域时收集数据。基于探索被终止,操作控制设备的处理电路可被配置为将服务机器人的操作模式改变为至少两种操作模式的集合中的训练模式980,和/或基于先前收集的数据执行训练。
基于空间数据存在,操作控制设备的处理电路可被配置为在操作975中确定测量的性能指标是否满足服务需求。基于测量的性能指标满足服务需求,操作控制设备的处理电路可被配置为将服务机器人设置为处于就绪操作模式985。基于测量的性能指标不满足服务需求,操作控制设备的处理电路可被配置为将服务机器人的操作模式从至少两种操作模式的集合中确定为训练模式980。基于服务机器人在训练模式980下进行操作,服务机器人可收集用于训练的数据和/或基于收集的数据执行训练。训练可包括校正定义高级模式940和/或对应于高级模式940的行为的参数。
图10是示出根据至少一个示例实施例的用于控制服务机器人的操作的操作控制设备的配置的示图。
参照图10,操作控制设备1000包括存储器1020和控制器1010。如在此讨论的,控制器1010可包括处理电路。
存储器1020可连接到控制器1010,并且可被配置为存储将由控制器1010执行的指令和/或可由控制器1010处理的数据,和/或存储的用于由控制器1010处理的数据。存储器1020可包括例如非暂时性计算机可读介质(例如,高速随机存取存储器(RAM))和非易失性计算机可读存储介质(例如,至少一个磁盘存储装置、闪存装置和其他非易失性固态存储器装置)。
控制器1010可包括至少一个处理器,并且控制操作控制设备1000的总体操作。此外,控制器1010可通过控制被配置为致动或驱动服务机器人的致动器1040来控制服务机器人的操作。
控制器1010可通过执行存储在存储器1020中的指令来执行以上参照图1至图9描述的操作中的至少一个。例如,控制器1010可在服务模式下基于由传感器1030获得的传感器数据识别情况,并且测量评价指标。传感器1030可包括可获得服务机器人的环境信息的任何传感器,例如,照相机、距离传感器、检测器、深度传感器、GPS传感器、麦克风、LiDAR传感器、电动机编码器传感器、红外传感器、IMU、里程表传感器等。
控制器1010可基于测量的评价指标确定服务机器人的操作模式,并且基于确定的操作模式从至少一种行为中选择将被应用于服务机器人的操作的行为。例如,控制器1010可从与将由服务机器人执行的功能相关联的至少一种行为中选择一种行为,并且基于选择的行为控制服务机器人的操作。当测量的评价指标满足预设的操作模式改变条件时,控制器1010可将服务机器人的当前操作模式改变为另一操作模式。
控制器1010的处理电路还可被配置为基于当服务机器人在空闲模式下时服务机器人所在的空间的空间数据是否存在,来确定服务机器人在空闲模式下的操作模式。基于空间数据不存在,控制器1010的处理电路可将服务机器人的操作模式确定为探索模式。当尽管空间数据存在,但测量的评价指标可能不满足预设的条件时,控制器1010可被配置为将服务机器人的从至少两种操作模式的集合中确定的操作模式确定为训练模式。当如上所述确定服务机器人的操作模式时,可从至少一种行为中选择服务机器人的与确定的操作模式对应的行为。
在一些示例实施例中,如在此描述的操作控制方法也可应用于控制除了服务机器人之外的其他机器人的操作。
在一些示例实施例中,可使用硬件组件和软件组件实现在此描述的单元和/或模块。例如,硬件组件可包括麦克风、放大器、带通滤波器、音频到数字转换器和处理装置。可使用一个或多个硬件装置来实现处理装置,所述硬件装置被配置为通过执行算术、逻辑和输入/输出运算来实现和/或执行程序代码。一个或多个处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。响应于软件的执行,处理装置还可访问、存储、操控、处理和创建数据。为了简单起见,处理装置的描述用作单数,然而,本领域技术人员将理解,处理装置可包括多个处理元件和多种类型的处理元件。例如,处理装置可包括多个处理器或者处理器和控制器。此外,不同的处理配置是可行的,诸如,并行处理器。
在一些示例实施例中,软件可包括计算机程序、代码段、指令或它们的一些组合,以独立地或共同地指示和/或配置处理装置如期望地进行操作,从而将处理装置转换为专用处理器。软件和数据可永久或临时地实现在任何类型的机器、组件、物理装备或虚拟装备、计算机存储介质或装置中,或者永久或临时地实现在能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波中。软件还可分布在联网的计算机系统上,使得软件以分布式方式被存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质来存储。
在一些示例实施例中,根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中,以实现上述示例实施例的各种操作。介质还可单独地包括程序指令、数据文件、数据结构等或组合地包括程序指令、数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令,或者它们可以是计算机软件领域的技术人员公知和可用的种类。非暂时性计算机可读介质的示例包括:磁介质(诸如,硬盘、软盘和磁带);光学介质(诸如,CD-ROM盘、DVD和/或蓝光盘);磁光介质(诸如,光盘);以及被专门配置为存储和执行程序指令的硬件装置(诸如,只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如,USB闪存驱动器、存储器卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如,由编译器产生的代码)和包含可由计算机使用解释器执行的高级代码的文件两者。上述装置可被配置为充当一个或多个软件模块以执行上述示例实施例的操作,反之亦然。
以上已经描述若干示例实施例。然而,应理解,可对这些示例实施例进行各种修改。例如,如果描述的技术以不同的顺序被执行,和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或它们的等同物代替或补充,则可实现合适的结果。因此,其他实施方式在所附权利要求的范围内。

Claims (16)

1.一种控制服务机器人的操作的方法,所述方法包括:
在服务模式下由处理电路基于传感器数据测量服务机器人的评价指标;
由处理电路基于评价指标从至少两种操作模式的集合中确定服务机器人的操作模式;
由处理电路基于操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为;以及
由处理电路基于所述行为控制服务机器人的操作,
其中,测量评价指标的步骤包括:由处理电路基于传感器数据测量性能指标、安全性指标和适应性指标,性能指标指示服务机器人的速度和准确度,安全性指标指示服务机器人的安全性水平,适应性指标指示服务机器人的适应性水平,
其中,基于服务机器人的平均功能执行速度和最大速度来确定性能指标,
其中,基于执行服务机器人的功能时的碰撞的数量和碰撞时的速度来确定安全性指标,
其中,基于上下文识别的数量和情况响应策略的数量来确定适应性指标,
其中,确定操作模式的步骤包括:
响应于性能指标、安全性指标和适应性指标满足预设的第一服务需求,由处理电路将服务机器人的当前操作模式改变为比当前操作模式更高水平的操作模式;
响应于性能指标、安全性指标和适应性指标不满足预设的第二服务需求,由处理电路将服务机器人的当前操作模式改变为比当前操作模式更低水平的操作模式。
2.根据权利要求1所述的方法,其中,确定操作模式的步骤包括:
由处理电路基于传感器数据识别当前服务情况;以及
由处理电路基于当前服务情况和评价指标,从所述至少两种操作模式的集合中确定操作模式。
3.根据权利要求1所述的方法,其中,选择行为的步骤包括:
由处理电路基于操作模式,从分别与将由服务机器人执行的功能相关联的所述至少两种行为的集合中选择行为。
4.根据权利要求1所述的方法,其中,针对服务机器人的每个功能,所述至少两种行为的集合包括至少一种基于规则的行为和至少一种基于训练的行为。
5.根据权利要求1所述的方法,其中,选择行为的步骤包括:
基于操作模式被确定为第一操作模式,由处理电路从所述至少两种行为的集合中选择第一基于规则的行为;
基于操作模式被确定为第二操作模式,由处理电路从所述至少两种行为的集合中选择第二基于规则的行为;以及
基于操作模式被确定为第三操作模式,由处理电路从所述至少两种行为的集合中选择基于训练的行为。
6.根据权利要求1所述的方法,还包括:
在空闲模式下由处理电路基于服务机器人所在的空间的空间数据是否存在,确定空闲模式下的服务机器人的操作模式。
7.根据权利要求6所述的方法,其中,确定空闲模式下的操作模式的步骤包括:
基于空间数据不存在,由处理电路将服务机器人的操作模式确定为探索模式,
其中,在探索模式下,服务机器人还被配置为探索服务机器人所在的空间。
8.根据权利要求6所述的方法,其中,确定空闲模式下的操作模式的步骤包括:
基于空间数据存在并且评价指标不满足预设的条件,由处理电路将服务机器人的操作模式确定为训练模式。
9.根据权利要求8所述的方法,其中,在训练模式下,服务机器人被配置为基于收集的数据来校正定义所述至少两种行为的集合中的基于训练的行为的参数。
10.一种非暂时性计算机可读介质,包括使得处理电路执行如权利要求1所述的方法的计算机可读指令。
11.一种控制服务机器人的操作的设备,所述设备包括:
存储器;以及
控制器,包括处理电路,被配置为通过以下操作来控制服务机器人的操作:
在服务模式下基于传感器数据测量服务机器人的评价指标;
基于评价指标从至少两种操作模式的集合中确定服务机器人的操作模式;
基于操作模式从至少两种行为的集合中选择将被应用于服务机器人的操作的行为;以及
基于所述行为控制服务机器人的操作,
其中,控制器被配置为:基于传感器数据测量性能指标、安全性指标和适应性指标,性能指标指示服务机器人的速度和准确度,安全性指标指示服务机器人的安全性水平,适应性指标指示服务机器人的适应性水平,
其中,性能指标基于服务机器人的平均功能执行速度和最大速度来确定,
其中,安全性指标基于执行服务机器人的功能时的碰撞的数量和碰撞时的速度来确定,
其中,适应性指标基于上下文识别的数量和情况响应策略的数量来确定,
其中,控制器被配置为:
响应于性能指标、安全性指标和适应性指标满足预设的第一服务需求,将服务机器人的当前操作模式改变为比当前操作模式更高水平的操作模式;
响应于性能指标、安全性指标和适应性指标不满足预设的第二服务需求,将服务机器人的当前操作模式改变为比当前操作模式更低水平的操作模式。
12.根据权利要求11所述的设备,其中,控制器被配置为:
基于操作模式,从分别与将由服务机器人执行的功能相关联的所述至少两种行为的集合中选择一种行为。
13.根据权利要求11所述的设备,其中,控制器被配置为:
基于操作模式被确定为第一操作模式,从所述至少两种行为的集合中选择第一基于规则的行为;
基于操作模式被确定为第二操作模式,从所述至少两种行为的集合中选择第二基于规则的行为;以及
基于操作模式被确定为第三操作模式,从所述至少两种行为的集合中选择基于训练的行为。
14.根据权利要求11所述的设备,其中,控制器被配置为:
在空闲模式下基于服务机器人所在的空间的空间数据是否存在,确定空闲模式下的服务机器人的操作模式。
15.根据权利要求14所述的设备,其中,控制器被配置为:
基于空间数据不存在,将服务机器人的操作模式确定为探索模式,
其中,在探索模式下,控制器被配置为控制服务机器人探索服务机器人所在的空间。
16.根据权利要求14所述的设备,其中,控制器被配置为:
基于空间数据存在并且评价指标不满足预设的条件,将服务机器人的操作模式确定为训练模式,
其中,在训练模式下,控制器被配置为控制服务机器人基于收集的数据来校正定义基于训练的行为的参数。
CN201911291147.XA 2018-12-18 2019-12-16 控制服务机器人的操作的方法和设备 Active CN111331595B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180164091A KR102657884B1 (ko) 2018-12-18 2018-12-18 서비스 로봇의 동작 제어 방법 및 장치
KR10-2018-0164091 2018-12-18

Publications (2)

Publication Number Publication Date
CN111331595A CN111331595A (zh) 2020-06-26
CN111331595B true CN111331595B (zh) 2024-05-03

Family

ID=68699349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291147.XA Active CN111331595B (zh) 2018-12-18 2019-12-16 控制服务机器人的操作的方法和设备

Country Status (4)

Country Link
US (1) US11602854B2 (zh)
EP (1) EP3670109B1 (zh)
KR (1) KR102657884B1 (zh)
CN (1) CN111331595B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519064B1 (ko) * 2018-04-25 2023-04-06 삼성전자주식회사 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
US11866258B2 (en) 2020-10-19 2024-01-09 Gideon Brothers d.o.o. User interface for mission generation of area-based operation by autonomous robots in a facility context
KR102449330B1 (ko) * 2020-11-24 2022-10-05 울산과학기술원 자율 주행 모빌리티 주행 모드 제어 방법 및 장치
JP2022142506A (ja) * 2021-03-16 2022-09-30 本田技研工業株式会社 制御装置、制御方法、およびロボット制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
CN205184779U (zh) * 2015-01-07 2016-04-27 湖北智权知识产权咨询有限公司 移动式专家互动咨询系统
US9717387B1 (en) * 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
CN207380482U (zh) * 2017-05-24 2018-05-18 南京华设科技股份有限公司 智能互动服务机器人
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413694B2 (ja) * 1995-10-17 2003-06-03 ソニー株式会社 ロボット制御方法およびロボット
JP3454067B2 (ja) * 1997-01-23 2003-10-06 ソニー株式会社 ロボット装置及びその制御方法
WO2003045639A2 (en) * 2001-11-28 2003-06-05 Evolution Robotics, Inc. Sensor and actuator abstraction and aggregation in a hardware abstraction layer for a robot
WO2003078113A1 (fr) 2002-03-15 2003-09-25 Sony Corporation Systeme de commande de robot, procede correspondant, et robot
KR100699108B1 (ko) * 2002-07-26 2007-03-21 모스트아이텍 주식회사 다기능 홈 로봇
JP2004268235A (ja) 2003-03-11 2004-09-30 Sony Corp ロボット装置、その行動制御方法及びプログラム
US7765029B2 (en) 2005-09-13 2010-07-27 Neurosciences Research Foundation, Inc. Hybrid control device
EP1941411B1 (en) * 2005-09-30 2011-09-14 iRobot Corporation Companion robot for personal interaction
US7801644B2 (en) * 2006-07-05 2010-09-21 Battelle Energy Alliance, Llc Generic robot architecture
WO2009038772A2 (en) * 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
US20110047716A1 (en) 2008-08-01 2011-03-03 In Ho Cho Control method of a laundry machine
KR20130093399A (ko) 2012-02-14 2013-08-22 한국전자통신연구원 자율행위 로봇 및 그 제어 방법
EP2689650B1 (en) 2012-07-27 2014-09-10 Honda Research Institute Europe GmbH Trainable autonomous lawn mower
WO2014183042A1 (en) * 2013-05-10 2014-11-13 Cnh Industrial America Llc Control architecture for multi-robot system
US20150005937A1 (en) 2013-06-27 2015-01-01 Brain Corporation Action selection apparatus and methods
EP2933065A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
KR101795429B1 (ko) 2015-12-29 2017-11-09 동아대학교 산학협력단 휴머노이드 로봇과 그 모션 제어 방법 및 이를 수행하기 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
CN205184779U (zh) * 2015-01-07 2016-04-27 湖北智权知识产权咨询有限公司 移动式专家互动咨询系统
US9717387B1 (en) * 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
CN207380482U (zh) * 2017-05-24 2018-05-18 南京华设科技股份有限公司 智能互动服务机器人
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人

Also Published As

Publication number Publication date
EP3670109A2 (en) 2020-06-24
US20200189117A1 (en) 2020-06-18
KR20200080394A (ko) 2020-07-07
CN111331595A (zh) 2020-06-26
KR102657884B1 (ko) 2024-04-17
US11602854B2 (en) 2023-03-14
EP3670109B1 (en) 2021-11-03
EP3670109A3 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
CN111331595B (zh) 控制服务机器人的操作的方法和设备
US11835962B2 (en) Analysis of scenarios for controlling vehicle operations
AU2019253703B2 (en) Improving the safety of reinforcement learning models
US20200216094A1 (en) Personal driving style learning for autonomous driving
CN110461676B (zh) 控制车辆的横向运动的系统和方法
US20190310636A1 (en) Dynamically controlling sensor behavior
US20190310627A1 (en) User interface for presenting decisions
US9934688B2 (en) Vehicle trajectory determination
JP2020514158A (ja) 自車両の制御方法及び自車両の制御システム
KR102043142B1 (ko) Agv 주행제어를 위한 인공신경망 학습 방법 및 장치
US11351996B2 (en) Trajectory prediction of surrounding vehicles using predefined routes
Li et al. Simulation analysis of a deep reinforcement learning approach for task selection by autonomous material handling vehicles
WO2024049925A1 (en) Trajectory prediction based on a decision tree
JP2022539557A (ja) テレオペレータに連絡するための技法
WO2022201796A1 (ja) 情報処理システムおよび方法、並びにプログラム
KR102602271B1 (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
JP7135322B2 (ja) 移動体の監視対象追従制御装置、監視対象追従制御プログラム
US11409278B2 (en) System and method for providing a teleoperation instruction to an autonomous vehicle
KR20230076529A (ko) 복수의 자율 주행 로봇들간의 회피 주행을 위한 방법, 장치 및 컴퓨터 프로그램
CN114326723A (zh) 一种无人设备的控制方法及控制装置
JP2023514870A (ja) 直角割り込みトレーニング
CN114341759A (zh) 用于将远程操作指令提供到自主车辆的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant