CN113199472B - 机器人控制方法、装置、存储介质、电子设备和机器人 - Google Patents

机器人控制方法、装置、存储介质、电子设备和机器人 Download PDF

Info

Publication number
CN113199472B
CN113199472B CN202110401397.5A CN202110401397A CN113199472B CN 113199472 B CN113199472 B CN 113199472B CN 202110401397 A CN202110401397 A CN 202110401397A CN 113199472 B CN113199472 B CN 113199472B
Authority
CN
China
Prior art keywords
blueprint
robot
skills
node
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110401397.5A
Other languages
English (en)
Other versions
CN113199472A (zh
Inventor
黄晓庆
张站朝
马世奎
王斌
杨光华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202110401397.5A priority Critical patent/CN113199472B/zh
Priority to JP2021578155A priority patent/JP7490684B2/ja
Priority to PCT/CN2021/103292 priority patent/WO2022217754A1/zh
Publication of CN113199472A publication Critical patent/CN113199472A/zh
Priority to US17/565,889 priority patent/US20220331953A1/en
Application granted granted Critical
Publication of CN113199472B publication Critical patent/CN113199472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及一种机器人控制方法、装置、存储介质、电子设备和机器人。该方法包括:获取机器人的第一控制指令;确定与该第一控制指令对应的行为蓝图,该行为蓝图包括多个按照目标顺序连接的蓝图节点;按照该目标顺序执行该蓝图节点对应的预设功能;其中,该蓝图节点对应的预设功能包括原子API能力、元技能、动作技能和行为技能中的一个或多个,该原子API能力是完成一个具体功能具备原子特性的基础能力,该元技能是面向机器人模块化的元器件的操作技能,该动作技能是面向机器人和用户交互或者反馈的功能,具备类人的一些基础性动作;行为技能是机器人面向用户提供服务的功能。这样,用户可以使用上述预设功能方便的构建适配不同场景的行为蓝图。

Description

机器人控制方法、装置、存储介质、电子设备和机器人
技术领域
本公开涉及机器人技术领域,具体地,涉及一种机器人控制方法、装置、存储介质、电子设备和机器人。
背景技术
随着机器人技术的不断发展与进步,用户对机器人的差异化定制需求也越来越多。机器人执行的任务是根据机器人的作业指令程序控制机器人执行机构,使其完成预设的功能和任务。在相关技术中,机器人的作业指令程序是通过代码编程来实现的,只能由专业人员进行设置和修改,导致用户无法对机器人的作业指令程序进行修改,满足用户的定制需求。
发明内容
为了解决上述问题,本公开提供一种机器人控制方法、装置、存储介质、电子设备和机器人。
第一方面,本公开提供了一种机器人控制方法,所述方法包括:
获取机器人的第一控制指令;
确定与所述第一控制指令对应的行为蓝图,所述行为蓝图包括多个按照目标顺序连接的蓝图节点;
按照所述目标顺序执行所述蓝图节点对应的预设功能;
其中,所述蓝图节点对应的预设功能包括原子API能力、元技能和任务技能,所述原子API能力用于表征所述机器人通过元器件执行的具体功能,所述元技能用于表征所述机器人的执行部件具备的功能,所述任务技能用于表征所述机器人面向用户执行目标任务的功能,所述机器人包括一个或多个执行部件,所述执行部件包括一个或多个元器件。
可选地,所述任务技能包括动作技能和行为技能,所述动作技能用于表征所述机器人与用户进行交互或反馈的功能;所述行为技能用于表征所述机器人向用户提供服务的功能;所述行为技能包括一个或多个所述动作技能;所述动作技能包括一个或多个所述元技能;所述元技能包括一个或多个所述原子API能力。
可选地,所述行为蓝图包括第一蓝图节点,以及按照所述目标顺序连接在所述第一蓝图节点之后的一个或多个第一候选蓝图节点;所述按照所述目标顺序执行所述蓝图节点对应的预设功能包括:
在执行完所述第一蓝图节点对应的预设功能后,若所述第一候选蓝图节点为一个,则执行该第一候选蓝图节点对应的预设功能。
可选地,所述行为蓝图还包括每个第一候选蓝图节点对应的目标执行条件,所述按照所述目标顺序执行所述蓝图节点对应的预设功能还包括:
在执行完所述第一蓝图节点对应的预设功能后,若所述第一候选蓝图节点为多个,则根据所述第一蓝图节点的执行结果和/或所述机器人的当前状态,确定满足目标执行条件对应的第一候选蓝图节点,并将该第一候选蓝图节点作为第二蓝图节点;
执行所述第二蓝图节点对应的预设功能。
可选地,所述方法还包括:
在执行当前蓝图节点对应的预设功能的情况下,若接收到用户针对所述机器人输入的节点控制指令,则获取所述节点控制指令指示的目标蓝图节点;
在执行完所述当前蓝图节点对应的预设功能后,继续执行所述目标蓝图节点对应的预设功能;
按照所述顺序继续执行所述行为蓝图中位于所述目标蓝图节点之后的蓝图节点对应的预设功能。
可选地,所述行为蓝图通过以下方式预先生成:
获取用户输入的蓝图构建指令;
根据所述蓝图构建指令中的节点功能对应关系生成多个蓝图节点,所述节点功能对应关系包括所述蓝图节点与所述预设功能的对应关系;
根据所述蓝图构建指令中的节点连接关系,生成用于连接多个蓝图节点的目标顺序;
按照所述目标顺序,将所述多个蓝图节点连接后,生成所述行为蓝图。
第二方面,本公开提供了一种机器人控制装置,所述装置包括:
控制指令获取模块,用于获取机器人的第一控制指令;
行为蓝图确定模块,用于确定与所述第一控制指令对应的行为蓝图,所述行为蓝图包括多个按照目标顺序连接的蓝图节点;
行为蓝图执行模块,用于按照所述目标顺序执行所述蓝图节点对应的预设功能;其中,所述蓝图节点对应的预设功能包括原子API能力、元技能和任务技能,所述原子API能力用于表征所述机器人通过元器件执行的功能,所述元技能用于表征所述机器人的执行部件具备的功能,所述任务技能用于表征所述机器人面向用户执行目标任务的功能,所述机器人包括一个或多个执行部件,所述执行部件包括一个或多个元器件。
第三方面,本公开提供了一种,所述机器人包括本公开第二方面所述的机器人控制装置。
第四方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所述方法的步骤。
第五方面,本公开提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
采用上述技术方案,获取机器人的第一控制指令;确定与该第一控制指令对应的行为蓝图,该行为蓝图包括多个按照目标顺序连接的蓝图节点;按照该目标顺序执行该蓝图节点对应的预设功能;其中,该蓝图节点对应的预设功能可以包括原子API能力、元技能和任务技能,该原子API能力用于表征该机器人通过元器件执行的具体功能,该元技能用于表征该机器人的执行部件具备的功能,该任务技能用于表征该机器人面向用户执行目标任务的功能,该机器人包括一个或多个执行部件,该执行部件包括一个或多个元器件。这样,用户可以根据不同的服务场景和需求,很方便的构建机器人行为蓝图,使得机器人根据构建的行为蓝图完成用户的第一控制指令,从而满足不同的用户的差异化定制需求。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开实施例提供的一种机器人控制方法的流程图;
图2是本公开实施例提供的一种机器人的预设功能的示意图;
图3是本公开实施例提供的一种的可视化行为蓝图界面的示意图;
图4是本公开实施例提供的一种机器人控制装置的结构示意图;
图5是本公开实施例提供的另一种机器人控制装置的结构示意图;
图6是本公开实施例提供的另外一种机器人控制装置的结构示意图;
图7是本公开实施例提供的一种机器人的框图;
图8是本公开实施例提供的一种电子设备的框图;
图9是本公开实施例提供的另一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
在下文中的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
首先,对本公开的应用场景进行说明。本公开可以应用于机器人控制场景,特别是服务型机器人的控制场景。服务型机器人是一种半自主或全自主工作的机器人,它能完成有益于人类健康和生活的服务工作。在服务型机器人应用越来越广泛的情况下,如何能够让机器人在不同的应用场景下帮助人们完成不同的服务将越来越有价值。但是,机器人厂家生产的同一型号的机器人,在出厂时,其作业指令程序都是一样的,但是即使针对同一型号的机器人,不同的用户会有不同的需求。示例地,同样是家庭清洁服务机器人,在不同的用户家庭中,需要实现的功能和任务都不相同。有的用户希望该机器人完成扫地工作,有的用户希望该机器人完成扫地和擦窗的工作,有的用户又希望该机器人完成扫地和迎宾的工作。为了实现不同的功能,需要根据客户的差异化定制需求,对机器人的作业指令程序进行相应的修改。而在相关技术中,机器人的作业指令程序是通过代码编程来实现的,一般只能由机器人厂家的专业人员进行设置和修改,导致用户无法及时和方便的对机器人的作业指令程序进行修改,以满足自己的定制需求。
为了解决上述问题,本公开提供了一种机器人控制方法、装置、存储介质、电子设备和机器人,该方法包括:获取机器人的第一控制指令;确定与该第一控制指令对应的行为蓝图,该行为蓝图包括多个按照目标顺序连接的蓝图节点;按照该目标顺序执行该蓝图节点对应的预设功能;其中,该蓝图节点对应的预设功能可以包括原子API能力、元技能和任务技能,该原子API能力用于表征该机器人通过元器件执行的具体功能,该元技能用于表征该机器人的执行部件具备的功能,该任务技能用于表征该机器人面向用户执行目标任务的功能,该机器人包括一个或多个执行部件,该执行部件包括一个或多个元器件。这样,用户可以根据不同的服务场景和需求,很方便的构建机器人行为蓝图,使得机器人根据构建的行为蓝图完成用户的第一控制指令,从而满足不同的用户的差异化定制需求。
以下结合附图对本公开的具体实施方式进行详细说明。
图1是本公开实施例提供的一种机器人控制方法,如图1所示,该方法包括:
S101、获取机器人的第一控制指令。
该第一控制指令可以用于指示机器人执行目标任务。在本步骤中,可以通过以下两种方式中的任意一种,获取该第一控制指令:
方式一、获取用户输入的用户控制指令作为该第一控制指令。
其中,该用户控制指令可以包括用户向该机器人发出的语音控制指令或手势控制指令,也可以包括用户通过机器人控制设备向该机器人发出的控制指令。
方式二、机器人根据自身传感器检测到的传感器数据生成该第一控制指令。
其中,传感器数据可以包括机器人的环境数据,机器人的控制器根据该环境数据生成该第一控制指令。
示例地,迎宾机器人在通过传感器检测到门口出现人脸的情况下,可以生成用于执行迎宾任务的第一控制指令。
S102、确定与该第一控制指令对应的行为蓝图。
其中,该行为蓝图包括多个按照目标顺序连接的蓝图节点。
需要说明的是,在本公开实施例中,可以将行为蓝图作为机器人的作业指令程序,通过行为蓝图中的一个或多个蓝图节点控制机器人执行相关的动作或任务。示例地,本实施例的执行主体可以是基于虚幻引擎(Unreal Engine)的机器人控制平台,在虚幻引擎中,可以将一个或多个预设功能组合生成一个蓝图节点,将多个蓝图节点按照目标顺序进行连接,得到行为蓝图。通过该行为蓝图,可以实现该第一控制指令所指示的目标任务。
S103、按照该目标顺序执行该蓝图节点对应的预设功能。
需要说明的是,该机器人可以包括一个或多个执行部件,每个该执行部件包括一个或多个元器件。示例地,该执行部件可以是模块化的元器件,例如各种传感器、关节执行器、灯光、扬声器等。
该蓝图节点对应的预设功能可以包括原子API(Application ProgrammingInterface,应用程序接口)能力、元技能和任务技能中的一种或多种。以下对这三种预设功能分别进行说明:
一、原子API能力可以用于表征该机器人通过元器件执行的具体功能,也就是实现机器人应用程序的API级别的能力,对应于构成机器人行为蓝图的变量或函数。一个或多个原子API能力可以构建机器人行为蓝图中的蓝图节点。
该原子API能力可以包括传感器检测能力、传感器数据分析能力、元器件控制能力和路径规划能力中的一种或多种。其中:
传感器检测能力可以包括通过机器人的传感器进行检测并获取原始传感器数据的能力。例如:图像检测、声音检测、位置检测。
传感器数据分析能力可以包括对原始传感器数据进行分析并获取感知数据的能力。例如:对图像检测得到的原始图像数据进行分析的人脸检测、目标检测、物体分类、实例分割或自然语音理解,从而得到图像感知数据;对声音检测得到的原始声音数据进行分析的语音识别,从而得到语音感知数据;对位置检测数据进行分析的激光定位和/或视觉定位,从而得到位置感知数据。
元器件控制能力可以包括传感器控制能力、关节器件控制能力、机器人底盘控制能力、灯光控制能力和扬声器控制能力中的一种或多种。
路径规划能力包括对机器人本体或关机执行器从当前位置移动至目标位置的移动路径进行规划的能力,该移动路径包括平面的二维路径和空间的三维路径。
需要说明的是,机器人具有的原子API能力多种多样,不局限于上述列举的示例,该原子API能力可以通过代码编程实现。例如:用于实现机器人应用程序的API级别的能力都可以作为原子API能力,该原子API能力也可以是机器人行为蓝图中的变量或函数。
二、元技能(Meta Skills)可以用于表征该机器人的执行部件具备的功能,该执行部件可以是模块化的元器件,也可以是多个元器件的组合。示例地,该执行部件可以包括:激光雷达、3D视觉相机、避障相机、超声传感器、跌落传感器、碰撞传感器、关节执行器、灯光、扬声器等。机器人的元技能可以包括以下功能中的一种或多种:人脸识别、问答对话、自动语音识别、自然语言理解、自动语音合成播报,还包括运动相关的:伸手、抓握、单手/双手托起、单手/双手推,自动回航充电,自动避障等具有像人类动作类似含义的其他原子动作。
该元技能可以由一个或多个原子API能力进行逻辑组合形成,也可以通过代码编程形成。
三、任务技能可以用于表征机器人面向用户执行目标任务的功能。其中,该任务技能可以是能够执行或完成一个类人的具体动作的功能,也可以是向用户提供一个完整服务的功能。
该任务技能可以由一个或多个元技能进行逻辑组合形成;也可以由元技能和原子API能力共同进行逻辑组合形成;当然,也可以通过代码编程形成。
需要说明的是,上述用户用于表征能够享受机器人服务的人类。示例地,若该机器人是家庭服务机器人,则每个家庭成员以及来该家庭的访客都可以是该用户。若该机器人是商店服务机器人,则商店的工作人员和每个进店的顾客都可以是该用户。
采用上述方法,通过获取机器人的第一控制指令;确定与该第一控制指令对应的行为蓝图,该行为蓝图包括多个按照目标顺序连接的蓝图节点;按照该目标顺序执行该蓝图节点对应的预设功能;其中,该蓝图节点对应的预设功能可以包括原子API能力、元技能和任务技能,该原子API能力用于表征该机器人通过元器件执行的具体功能,该元技能用于表征该机器人的执行部件具备的功能,该任务技能用于表征该机器人面向用户执行目标任务的功能,该机器人包括一个或多个执行部件,该执行部件包括一个或多个元器件。这样,用户可以根据不同的服务场景和需求,很方便的构建机器人行为蓝图,使得机器人根据构建的行为蓝图完成用户的第一控制指令,从而满足不同的用户的差异化定制需求。
在本公开的另外一些实施例中,上述任务技能包括动作技能和行为技能,其中:
动作技能(Action Skills)可以用于表征该机器人与用户进行交互或反馈的功能。该动作技能可以由一个或多个元技能进行逻辑组合形成,也可以由元技能和原子API能力共同进行逻辑组合形成,能够执行或完成一个类人的具体动作。示例地,该动作技能可以包括:机器人与人闲聊,业务对话,用户意图识别,握手问好,双手拥抱,直立敬礼等。
行为技能(BehaviorSkills)可以用于表征该机器人向用户提供服务的功能。该行为技能可以由一个或多个该动作技能进行逻辑组合形成,也可以由动作技能、元技能和原子API能力中的一种或多种进行逻辑组合形成。示例地,上述行为技能可以包括引导技能、饮品提供技能、跳舞技能、做饭技能、清洁技能等。
进一步地,为了能够让用户更为清晰的自行构建机器人的行为蓝图,可以将上述预设功能进行严格的层级划分:上述行为技能可以包括一个或多个上述动作技能;上述动作技能可以包括一个或多个上述元技能;上述元技能可以包括一个或多个上述原子API能力。
这样,用户能够更为方便和清晰的通过这四个层级的预设功能构建蓝图节点,进一步通过一个或多个蓝图节点构建行为蓝图。
可选地,上述执行蓝图节点对应的预设功能,都可以被解析为原子API能力,通过原子API能力进行执行。这样,只要在机器人出厂时构建完整的原子API能力,用户就可以根据原子API能力进行组合,得到不同的蓝图节点,进而将一个或多个蓝图节点构建为行为蓝图,完成特定场景下的特定任务。
图2是本公开实施例提供的一种机器人的预设功能的示意图,如图2所示,该预设功能可以包括上述的原子API能力、元技能、动作技能和行为技能,可选地,该预设功能中还可以包括面向场景角色的价值技能(ValueSkills),该价值技能可以用于表征角色机器人可提供的该角色特有或擅长的技能,且该价值技能可以是该机器人具有的行为技能中的一种或多种。例如:家庭保姆机器人的价值技能可以包括做饭技能和清洁技能;安保机器人的价值技能可以包括自动巡逻技能;配送机器人的价值技能可以包括室内物品配送和小区物品配送;乒乓球陪练机器人的价值技能可以包括各种发球技能和接球技能。上述价值技能可以是经过对机器人进行训练后得到的,该机器人最为擅长的技能。
这样,通过上述面向场景角色的价值技能,能够对不同的机器人进行区分,以方便用户选择合适的机器人完成对应的服务任务。
下面以迎宾机器人为例对上述预设功能进行举例说明,该迎宾机器人可以面向迎宾场景提供迎宾服务,这样,该迎宾机器人面向迎宾场景的价值技能可以包括门口迎宾技能和引导技能;该迎宾机器人具备的行为技能可以包括门口迎宾技能、引导技能和饮品提供技能。
其中,门口迎宾技能可以包括以下动作技能:人脸识别、握手问好、聊天对话;引导技能可以包括以下动作技能:路径指引、入座引导;饮品提供技能可以包括饮品需求询问、饮品开启、饮品递送。
进一步地,上述动作技能“人脸识别”可以包括一个元技能“人脸识别”,上述动作技能“握手问好”可以包括以下元技能:伸出右手、抓握目标物体和语音播报问好用语“您好,欢迎光临”;动作技能“入座引导”可以包括以下元技能:目标位置识别、目标路径规划、伸出右手指引目标路径和语音播报路径指引用语“请这边走”。
上述元技能“人脸识别”可以包括以下原子API能力:图像采集、人脸图像特征提取和人脸匹配识别。其中,“图像采集”可以通过控制机器人的3D视觉相机进行图像检测得到包括人脸的图像数据;“人脸图像特征提取”可以通过对该图像数据进行人脸识别分析,得到人脸图像特征;“人脸匹配识别”可以将该人脸图像特征与机器人存储的预设人脸图像的图像特征进行对比,确定人脸识别结果是否是来宾,例如该预设人脸图像为商店工作人员,在检测到的人脸图像特征与某个预设人脸图像的图像特征的匹配度大于或等于预设匹配阈值的情况下,可以确定人脸识别结果为工作人员,不是来宾;反之,在检测到的人脸图像特征与所有预设人脸图像的图像特征的均小于预设匹配阈值的情况下,可以确定人脸识别结果为来宾。
进一步地,该迎宾机器人可以包括第一行为蓝图,该第一行为蓝图中可以包括三个蓝图节点A/B/C,其中,蓝图节点A对应的预设功能为门口迎宾技能,蓝图节点B对应的预设功能为引导技能,蓝图节点C对应的预设功能为饮品提供技能三个行为技能,该第一行为蓝图的目标顺序为蓝图节点A->蓝图节点B->蓝图节点C。这样,通过上述三个蓝图节点的顺序执行,完成门口迎宾、引导入座和饮品提供三个串行的服务任务。
该迎宾机器人也可以包括第二行为蓝图,该第二行为蓝图可以只包括一个蓝图节点D,该蓝图节点D对应的预设功能可以为门口迎宾技能、引导技能和饮品提供技能中的任意一个。
该迎宾机器人也可以包括第三行为蓝图,该第三行为蓝图可以包括三个蓝图节点E/F/G/H,其中蓝图节点E对应的预设功能可以是元技能“人脸识别”,蓝图节点F对应的预设功能可以是动作技能“握手问好”,蓝图节点G对应的预设功能可以是动作技能“聊天对话”,蓝图节点H对应的预设功能可以是行为技能“引导技能”。该第三行为蓝图的目标顺序为蓝图节点E->蓝图节点F->蓝图节点G->蓝图节点H。这样,通过上述四个蓝图节点的顺序执行,同样可以完成门口迎宾和引导入座两个串行的服务任务。
可选地,该机器人可以包括多个行为蓝图,并且可以支持行为蓝图之间的嵌套调用。
示例地,该迎宾机器人可以同时包括上述第一行为蓝图、第二行为蓝图和第三行为蓝图,在第一行为蓝图的执行过程中,可以调用第二行为蓝图,在第二行为蓝图执行完成后,可以再调用第一行为蓝图。
这样,通过多个行为蓝图之间的嵌套调用,可以实现逻辑复杂的用户需求。
在本公开的另外一些实施例中,上述行为蓝图的蓝图节点支持顺序执行、条件选择执行和循环执行中的一种或多种。以下分别对着三种执行方式进行说明:上述行为蓝图包括第一蓝图节点,以及按照目标顺序连接在该第一蓝图节点之后的一个或多个第一候选蓝图节点;这样该按照目标顺序执行该蓝图节点对应的预设功能的方式可以包括以下三种方式中的一种或多种:
顺序执行:在执行完该第一蓝图节点对应的预设功能后,若该第一候选蓝图节点为一个,则执行该第一候选蓝图节点对应的预设功能。
选择执行:该行为蓝图还包括每个第一候选蓝图节点对应的目标执行条件,在执行完该第一蓝图节点对应的预设功能后,若该第一候选蓝图节点为多个,则根据该第一蓝图节点的执行结果和/或该机器人的当前状态,确定满足目标执行条件对应的第一候选蓝图节点,并将该第一候选蓝图节点作为第二蓝图节点;执行该第二蓝图节点对应的预设功能。
需要说明的是,该目标执行条件可以包括该第一蓝图节点的执行结果应当满足的条件,示例地,若该执行结果为成功,则执行第三蓝图节点;若该执行结果为失败,则执行第四蓝图节点。该目标执行条件也可以包括该机器人的当前状态,示例地,若该机器人的当前状态为缺电状态,则执行第五蓝图节点,该第五蓝图节点对应的预设功能可以包括元技能“自动回航充电”。该目标执行条件也可以包括该第一蓝图节点的执行结果和该机器人的当前状态,示例地,若该执行结果为成功且该机器人的当前状态为正常运行状态,则执行上述第三蓝图节点。
循环执行:在上述顺序执行中,若连接在该第一候选蓝图节点之后的蓝图节点为第一蓝图节点,则在执行完该第一候选蓝图节点对应的预设功能后,继续执行还第一蓝图节点对应的预设功能,形成循环执行。
这样,通过上述方式,可以实现多个蓝图节点的不同逻辑组合,从而方便用户根据不同的场景完成不同的任务需求。
在本公开的另外一些实施例中,在执行当前蓝图节点对应的预设功能的情况下,若接收到用户针对该机器人输入的节点控制指令,则获取该节点控制指令指示的目标蓝图节点;
在执行完该当前蓝图节点对应的预设功能后,继续执行该目标蓝图节点对应的预设功能;
按照该顺序继续执行该行为蓝图中位于该目标蓝图节点之后的蓝图节点对应的预设功能。
这样,机器人可以被人工接管控制,不在按照预先设计的行为蓝图执行,而是跳转到人工指定的目标蓝图节点进行执行,用于完成用户指定的临时任务。
示例地,机器人的行为蓝图中包括五个顺序执行的蓝图节点A-B-C-D-E,在机器人执行蓝图节点B对应的预设功能的情况下,接收到用户组很对该机器人输入的节点控制指令,该节点控制指令指示的目标蓝图节点为蓝图节点D,则机器人可以在执行完蓝图节点B后,立即跳转执行蓝图节点D对应的预设功能,然后按照顺序继续执行蓝图节点E对应的预设功能。在另外的示例中,若在机器人执行蓝图节点B对应的预设功能的情况下,接收到用户组很对该机器人输入的节点控制指令,该节点控制指令指示的目标蓝图节点为蓝图节点A,则机器人可以在执行完蓝图节点B后,立即跳转执行蓝图节点A对应的预设功能,然后按照顺序继续执行蓝图节点B-C-D-E对应的预设功能。
另外,还可以在机器人的存储器中记录上述节点控制指令的内容、接收时间、执行时间等信息,以便用户能够查阅该人工接管控制行为。
需要说明的是,该节点控制指令用于指定目标蓝图节点,但不会修改行为蓝图。从而可以通过该方式,完成临时性的任务,在该临时任务完成后,机器人可以继续按照预设的行为蓝图执行。
在本公开的另外一些实施例中,上述行为蓝图可以通过以下方式预先生成:
首先,获取用户输入的蓝图构建指令。
在本步骤中,用户的蓝图构建指令可以通过代码方式输入,也可以通过可视化界面方式输入。图3是本公开实施例提供的一种的可视化行为蓝图界面,通过该可视化行为蓝图界面,用户可以方便输入蓝图构建指令,实现行为蓝图的构建。该可视化行为蓝图界面中包括该机器人预设的原子API能力、元技能、动作技能和行为技能中的一种或多种预设功能。
用户输入的该蓝图构建指令中,可以包括一个或多个节点功能对应关系,每个节点功能对应关系中包括一个蓝图节点和该蓝图节点对应的预设功能,该预设功能可以是用户在该可视化行为蓝图界面上选择的上述原子API能力、元技能、动作技能和行为技能中的一个或多个。当然,该蓝图构建指令还包括多个蓝图节点之间的节点连接关系。
其次,根据该蓝图构建指令中的节点功能对应关系生成多个蓝图节点,该节点功能对应关系包括该蓝图节点与该预设功能的对应关系。
再次,根据该蓝图构建指令中的节点连接关系,生成用于连接多个蓝图节点的目标顺序。
最后,按照该目标顺序,将该多个蓝图节点进行连接后,生成该行为蓝图。
这样,用户通过上述可视化行为蓝图界面可以方便的构建行为蓝图。
可选地,上述蓝图构建指令还可以包括第一蓝图节点,按照目标顺序连接在该第一蓝图节点之后的多个第一候选蓝图节点,以及每个第一候选蓝图节点对应的目标执行条件,这样,机器人在执行完该第一蓝图节点对应的预设功能后,可以根据该第一蓝图节点的执行结果和/或该机器人的当前状态,确定满足目标执行条件对应的第一候选蓝图节点,并将该第一候选蓝图节点作为第二蓝图节点;执行该第二蓝图节点对应的预设功能。
可选地,用户还可以通过上述可视化行为蓝图界面构建新的元技能、动作技能或行为技能,例如:用户可以选择一个或多个原子API能力按照逻辑组合为一个新的元技能,并将该元技能进行命名,以便在构建行为蓝图时使用该元技能。同样地,用户也可以选择一个或多个元技能按照逻辑组合为一个新的动作技能;或者,选择一个或多个动作技能按照逻辑组合为一个新的行为技能;或者,选择动作技能和元技能按照逻辑组合为一个新的行为技能。
这样,在机器人预设的元技能、动作技能和行为技能无法满足用户需求的情况下,用户可以通过上述可视化行为蓝图界面构建新的元技能、动作技能或行为技能,并使用新的元技能、动作技能或行为技能构建蓝图节点,进一步通过蓝图节点构建行为蓝图。
当然,用户也可以通过上述可视化行为蓝图界面修改上述元技能、动作技能或行为技能。
图4是本公开实施例提供的一种机器人控制装置的结构示意图,如图4所示,该装置包括:
控制指令获取模块401,用于获取机器人的第一控制指令;
行为蓝图确定模块402,用于确定与该第一控制指令对应的行为蓝图,该行为蓝图包括多个按照目标顺序连接的蓝图节点;
行为蓝图执行模块403,用于按照该目标顺序执行该蓝图节点对应的预设功能;其中,该蓝图节点对应的预设功能包括原子API能力、元技能和任务技能,该原子API能力用于表征该机器人通过元器件执行的功能,该元技能用于表征该机器人的执行部件具备的功能,该任务技能用于表征该机器人面向用户执行目标任务的功能,该机器人包括一个或多个执行部件,该执行部件包括一个或多个元器件。
可选地,该任务技能包括动作技能和行为技能,该动作技能用于表征该机器人与用户进行交互或反馈的功能;该行为技能用于表征该机器人向用户提供服务的功能;该行为技能包括一个或多个该动作技能;该动作技能包括一个或多个该元技能;该元技能包括一个或多个该原子API能力。
可选地,该行为蓝图包括第一蓝图节点,以及按照该目标顺序连接在该第一蓝图节点之后的一个或多个第一候选蓝图节点;
该行为蓝图执行模块403,用于在执行完该第一蓝图节点对应的预设功能后,若该第一候选蓝图节点为一个,则执行该第一候选蓝图节点对应的预设功能。
可选地,该行为蓝图还包括每个第一候选蓝图节点对应的目标执行条件,
该行为蓝图执行模块403,还用于在执行完该第一蓝图节点对应的预设功能后,若该第一候选蓝图节点为多个,则根据该第一蓝图节点的执行结果和/或该机器人的当前状态,确定满足目标执行条件对应的第一候选蓝图节点,并将该第一候选蓝图节点作为第二蓝图节点;执行该第二蓝图节点对应的预设功能。
图5是本公开实施例提供的另一种机器人控制装置的结构示意图,如图5所示,该装置还包括:
节点控制指令获取模块501,用于在执行当前蓝图节点对应的预设功能的情况下,若接收到用户针对该机器人输入的节点控制指令,则获取该节点控制指令指示的目标蓝图节点;
行为蓝图执行模块403,用于在执行完该当前蓝图节点对应的预设功能后,继续执行该目标蓝图节点对应的预设功能;以及按照该顺序继续执行该行为蓝图中位于该目标蓝图节点之后的蓝图节点对应的预设功能。
图6是本公开实施例提供的另外一种机器人控制装置的结构示意图,如图6所示,该装置还包括:
行为蓝图生成模块601,用于通过以下方式预先生成该行为蓝图:
获取用户输入的蓝图构建指令;根据该蓝图构建指令中的节点功能对应关系生成多个蓝图节点,该节点功能对应关系包括该蓝图节点与该预设功能的对应关系;根据该蓝图构建指令中的节点连接关系,生成用于连接多个蓝图节点的目标顺序;按照该目标顺序,将该多个蓝图节点连接后,生成该行为蓝图。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是本公开实施例提供的一种机器人的框图,如图7所示,该机器人包括上述实施例中提供的任意一种机器人控制装置。
图8是根据一示例性实施例示出的一种电子设备800的框图。如图8所示,该电子设备800可以包括:处理器801,存储器802。该电子设备800还可以包括多媒体组件803,输入/输出(I/O)接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该电子设备800的整体操作,以完成上述的机器人控制方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作,这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的机器人控制方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的机器人控制方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由电子设备800的处理器801执行以完成上述的机器人控制方法。
图9是根据一示例性实施例示出的一种电子设备900的框图。例如,电子设备900可以被提供为一服务器。参照图9,电子设备900包括处理器922,其数量可以为一个或多个,以及存储器932,用于存储可由处理器922执行的计算机程序。存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器922可以被配置为执行该计算机程序,以执行上述的机器人控制方法。
另外,电子设备900还可以包括电源组件926和通信组件950,该电源组件926可以被配置为执行电子设备900的电源管理,该通信组件950可以被配置为实现电子设备900的通信,例如,有线或无线通信。此外,该电子设备900还可以包括输入/输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作系统,例如Windows Server,Mac OS,Unix,Linux等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的机器人控制方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器932,上述程序指令可由电子设备900的处理器922执行以完成上述的机器人控制方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的机器人控制方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种机器人控制方法,其特征在于,所述方法包括:
获取机器人的第一控制指令;
确定与所述第一控制指令对应的行为蓝图,所述行为蓝图包括多个按照目标顺序连接的蓝图节点;
按照所述目标顺序执行所述蓝图节点对应的预设功能;
其中,所述蓝图节点对应的预设功能包括原子API能力、元技能和任务技能,所述原子API能力用于表征所述机器人通过元器件执行的具体功能,所述元技能用于表征所述机器人的执行部件具备的功能,所述任务技能用于表征所述机器人面向用户执行目标任务的功能,所述机器人包括一个或多个执行部件,所述执行部件包括一个或多个元器件;
所述元技能包括一个或多个所述原子API能力;所述任务技能由一个或多个元技能进行逻辑组合形成,或者,所述任务技能由元技能和原子API能力共同进行逻辑组合形成。
2.根据权利要求1所述的方法,其特征在于,所述任务技能包括动作技能和行为技能,所述动作技能用于表征所述机器人与用户进行交互或反馈的功能;所述行为技能用于表征所述机器人向用户提供服务的功能;所述行为技能包括一个或多个所述动作技能;所述动作技能包括一个或多个所述元技能。
3.根据权利要求1所述的方法,其特征在于,所述行为蓝图包括第一蓝图节点,以及按照所述目标顺序连接在所述第一蓝图节点之后的一个或多个第一候选蓝图节点;所述按照所述目标顺序执行所述蓝图节点对应的预设功能包括:
在执行完所述第一蓝图节点对应的预设功能后,若所述第一候选蓝图节点为一个,则执行该第一候选蓝图节点对应的预设功能。
4.根据权利要求3所述的方法,其特征在于,所述行为蓝图还包括每个第一候选蓝图节点对应的目标执行条件,所述按照所述目标顺序执行所述蓝图节点对应的预设功能还包括:
在执行完所述第一蓝图节点对应的预设功能后,若所述第一候选蓝图节点为多个,则根据所述第一蓝图节点的执行结果和/或所述机器人的当前状态,确定满足目标执行条件对应的第一候选蓝图节点,并将该第一候选蓝图节点作为第二蓝图节点;
执行所述第二蓝图节点对应的预设功能。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在执行当前蓝图节点对应的预设功能的情况下,若接收到用户针对所述机器人输入的节点控制指令,则获取所述节点控制指令指示的目标蓝图节点;
在执行完所述当前蓝图节点对应的预设功能后,继续执行所述目标蓝图节点对应的预设功能;
按照所述目标 顺序继续执行所述行为蓝图中位于所述目标蓝图节点之后的蓝图节点对应的预设功能。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述行为蓝图通过以下方式预先生成:
获取用户输入的蓝图构建指令;
根据所述蓝图构建指令中的节点功能对应关系生成多个蓝图节点,所述节点功能对应关系包括所述蓝图节点与所述预设功能的对应关系;
根据所述蓝图构建指令中的节点连接关系,生成用于连接多个蓝图节点的目标顺序;
按照所述目标顺序,将所述多个蓝图节点连接后,生成所述行为蓝图。
7.一种机器人控制装置,其特征在于,所述装置包括:
控制指令获取模块,用于获取机器人的第一控制指令;
行为蓝图确定模块,用于确定与所述第一控制指令对应的行为蓝图,所述行为蓝图包括多个按照目标顺序连接的蓝图节点;
行为蓝图执行模块,用于按照所述目标顺序执行所述蓝图节点对应的预设功能;其中,所述蓝图节点对应的预设功能包括原子API能力、元技能和任务技能,所述原子API能力用于表征所述机器人通过元器件执行的功能,所述元技能用于表征所述机器人的执行部件具备的功能,所述任务技能用于表征所述机器人面向用户执行目标任务的功能,所述机器人包括一个或多个执行部件,所述执行部件包括一个或多个元器件;所述元技能包括一个或多个所述原子API能力;所述任务技能由一个或多个元技能进行逻辑组合形成,或者,所述任务技能由元技能和原子API能力共同进行逻辑组合形成。
8.一种机器人,其特征在于,所述机器人包括根据权利要求7所述机器人控制装置。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1 至6中任一项所述方法的步骤。
CN202110401397.5A 2021-04-14 2021-04-14 机器人控制方法、装置、存储介质、电子设备和机器人 Active CN113199472B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110401397.5A CN113199472B (zh) 2021-04-14 2021-04-14 机器人控制方法、装置、存储介质、电子设备和机器人
JP2021578155A JP7490684B2 (ja) 2021-04-14 2021-06-29 ロボット制御方法、装置、記憶媒体、電子機器、プログラム製品及びロボット
PCT/CN2021/103292 WO2022217754A1 (zh) 2021-04-14 2021-06-29 机器人控制方法、装置、存储介质、电子设备、程序产品和机器人
US17/565,889 US20220331953A1 (en) 2021-04-14 2021-12-30 Robot control method, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401397.5A CN113199472B (zh) 2021-04-14 2021-04-14 机器人控制方法、装置、存储介质、电子设备和机器人

Publications (2)

Publication Number Publication Date
CN113199472A CN113199472A (zh) 2021-08-03
CN113199472B true CN113199472B (zh) 2022-07-26

Family

ID=77026852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401397.5A Active CN113199472B (zh) 2021-04-14 2021-04-14 机器人控制方法、装置、存储介质、电子设备和机器人

Country Status (2)

Country Link
CN (1) CN113199472B (zh)
WO (1) WO2022217754A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114131598B (zh) * 2021-11-24 2024-02-02 深圳大学 层次化机器人技能表达方法、终端及计算机可读存储介质
CN114185281B (zh) * 2021-12-14 2024-02-20 深圳大学 基于知识库的机器人仿真平台控制方法、终端及介质
CN117245635B (zh) * 2022-12-12 2024-10-15 北京小米机器人技术有限公司 机器人及其控制方法、装置、存储介质
CN117245646B (zh) * 2022-12-12 2024-09-24 北京小米机器人技术有限公司 机器人及其调试方法、装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180063391A (ko) * 2016-11-30 2018-06-12 성균관대학교산학협력단 서비스 블루프린트를 이용한 홈 서비스 로봇 스케줄링 장치 및 방법
CN110147986A (zh) * 2019-05-21 2019-08-20 天津卡达克数据有限公司 流节点跳转方法、装置、服务器及存储介质
CN110297697A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人动作序列生成方法和装置
CN111452042A (zh) * 2020-03-25 2020-07-28 慧灵科技(深圳)有限公司 一种机械臂的控制方法、系统及控制终端
CN111552238A (zh) * 2020-04-17 2020-08-18 达闼科技(北京)有限公司 机器人控制方法、装置、计算设备及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012073B1 (ko) * 2017-02-03 2019-08-19 두산로보틱스 주식회사 스킬 기반 로봇 프로그래밍 장치 및 방법
CN110825121B (zh) * 2018-08-08 2023-02-17 纬创资通股份有限公司 控制装置与无人机控制方法
CN111267086A (zh) * 2018-12-04 2020-06-12 北京猎户星空科技有限公司 一种动作任务的创建与执行方法及装置、设备和存储介质
CN110825368A (zh) * 2019-11-22 2020-02-21 上海乐白机器人有限公司 机器人的控制方法、系统、电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180063391A (ko) * 2016-11-30 2018-06-12 성균관대학교산학협력단 서비스 블루프린트를 이용한 홈 서비스 로봇 스케줄링 장치 및 방법
CN110297697A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人动作序列生成方法和装置
CN110147986A (zh) * 2019-05-21 2019-08-20 天津卡达克数据有限公司 流节点跳转方法、装置、服务器及存储介质
CN111452042A (zh) * 2020-03-25 2020-07-28 慧灵科技(深圳)有限公司 一种机械臂的控制方法、系统及控制终端
CN111552238A (zh) * 2020-04-17 2020-08-18 达闼科技(北京)有限公司 机器人控制方法、装置、计算设备及计算机存储介质

Also Published As

Publication number Publication date
CN113199472A (zh) 2021-08-03
WO2022217754A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
CN113199472B (zh) 机器人控制方法、装置、存储介质、电子设备和机器人
US20210205980A1 (en) System and method for reinforcing programming education through robotic feedback
KR101880775B1 (ko) 자연스러운 대화 인터페이스가 장착된 인간형 로봇, 이러한 로봇의 제어 방법 및 대응 프로그램
US10369699B2 (en) Executing software applications on a robot
EP2933071A1 (en) Methods and systems for managing dialogs of a robot
EP3683730A1 (en) Dynamic learning method and system for robot, robot, and cloud server
US20150298315A1 (en) Methods and systems to facilitate child development through therapeutic robotics
US20130066467A1 (en) Service scenario editing apparatus for an intelligent robot, method for same, intelligent robot apparatus and service-providing method for an intelligent robot
WO2017173141A1 (en) Persistent companion device configuration and deployment platform
CN107211113A (zh) 监控
CA2946044A1 (en) Activity monitoring of a robot
Reis et al. IntellWheels MMI: A flexible interface for an intelligent wheelchair
CN109249381A (zh) 机器人
KR20210056019A (ko) 인공 지능 장치 및 그의 동작 방법
US20220331953A1 (en) Robot control method, storage medium and electronic device
Rahman Mixed-initiative collaboration between a humanoid robot and a virtual human through a common platform for a real-world common task: evaluation and benchmarking
Tseng et al. Human awareness based robot performance learning in a social environment
JP7548970B2 (ja) ドッペルゲンガー遠隔ロボットシステム
US20240351192A1 (en) System and method for reinforcing programming education through robotic feedback
Crowley et al. Learning situation models for understanding activity
Yuen Robot surveillance for connected home integration
Gregoriades et al. A robotic system for home security enhancement
Cao Exploring Novel Human Smart-Thing Interaction Through Augment Reality Framework Design
Sonawani Intelligent Visual Signaling for Mixed Reality Based Human Robot Interaction
Pourmehr Multimodal Interfaces for Human-Robot Interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant