CN114227699B - 机器人动作调整方法、设备以及存储介质 - Google Patents

机器人动作调整方法、设备以及存储介质 Download PDF

Info

Publication number
CN114227699B
CN114227699B CN202210123187.9A CN202210123187A CN114227699B CN 114227699 B CN114227699 B CN 114227699B CN 202210123187 A CN202210123187 A CN 202210123187A CN 114227699 B CN114227699 B CN 114227699B
Authority
CN
China
Prior art keywords
robot
action
sequence
bipedal
biped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210123187.9A
Other languages
English (en)
Other versions
CN114227699A (zh
Inventor
冷晓琨
常琳
程鑫
白学林
柯真东
王松
吴雨璁
何治成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leju Shenzhen Robotics Co Ltd
Original Assignee
Leju Shenzhen Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leju Shenzhen Robotics Co Ltd filed Critical Leju Shenzhen Robotics Co Ltd
Priority to CN202210123187.9A priority Critical patent/CN114227699B/zh
Publication of CN114227699A publication Critical patent/CN114227699A/zh
Application granted granted Critical
Publication of CN114227699B publication Critical patent/CN114227699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种机器人动作调整方法、设备以及存储介质,属于机器人姿态校准技术领域。该方法包括:获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息;获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息;判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;若是,将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。本申请可以更加准确、高效的实现对进入异常状态的双足机器人的姿态进行调整。

Description

机器人动作调整方法、设备以及存储介质
技术领域
本申请涉及机器人姿态校准技术领域,具体而言,涉及一种机器人动作调整方法、设备以及存储介质。
背景技术
双足机器人在执行预设的动作序列时,通常会因为摄像头的安装误差或者其他外接干扰因素等情况,导致执行该动作序列后发生重心不稳乃至摔倒等异常状态。
为了防止同一双足机器人频繁进入异常状态,通常会在双足机器人进入异常状态后对机器人的姿态进行调整,现有技术中,为了实现双足机器人的姿态调整,通常是基于人工调整的方式对机器人的舵机参数进行调整,从而避免重复进入异常状态。
然而,人工调整精度较低,需要反复进行多次调整才能避免进入异常状态,这就导致了调整的效率低且不能准确进行调整。
发明内容
本申请的目的在于提供一种机器人动作调整方法、设备以及存储介质中,可以更加准确、高效的实现对进入异常状态的双足机器人的姿态进行调整。
本申请的实施例是这样实现的:
本申请实施例的一方面,提供一种机器人动作调整方法,该方法应用于服务器,服务器与至少两个双足机器人通信连接,该方法包括:
获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息,动作结果序列包括:第一双足机器人按照预设动作序列执行动作过程中,每个动作帧下机器人的位姿信息;
获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息,第二双足机器人的标识信息用于指示第二双足机器人的类型、所在场景以及待执行的预设动作;
判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;
若是,将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。
可选地,双足机器人的标识信息包括:机器人类型标识、识别标签标识、动作序列标识;
判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配,包括:
分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配。
可选地,分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配,包括:
判定第二双足机器人的机器人类别标识与第一双足机器人的机器人类别标识是否为同一类型的机器人标识;
判定第二双足机器人的识别标签标识与第一双足机器人的识别标签标识是否相同;
判定第二双足机器人的动作序列标识与第一双足机器人的动作序列标识是否相同。
本申请实施例的另一方面,提供一种机器人动作调整方法,该方法应用于双足机器人,双足机器人与服务器通信连接,该方法包括:
获取双足机器人按照预设动作序列执行动作后的机器人状态信息;
若机器人状态信息为异常状态,向服务器发送序列请求指令;
接收服务器发送的正常的动作结果序列,并基于动作结果序列进行动作调整处理,动作结果序列包括:关联机器人按照预设动作序列执行动作过程中,每个动作帧下的机器人的位姿信息。
可选地,基于动作结果序列进行动作调整处理,包括:
获取双足机器人按照预设动作序列执行动作后的异常动作结果序列;
基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列;
执行待执行动作序列。
可选地,基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,包括:
基于异常动作结果序列确定双足机器人的异常类型,每个异常类型对应有至少一个目标舵机;
基于动作结果序列中目标舵机的位姿信息确定目标舵机的待调整类型;
按照待调整类型对双足机器人的目标舵机的位姿信息进行调整。
可选地,获取双足机器人执行动作序列后的机器人状态信息之后,该方法还包括:
若机器人状态信息为正常状态,生成反馈动作结果序列,并将反馈动作结果序列发送给服务器。
可选地,生成反馈动作结果序列,包括:
获取识别标签的位置以及识别标签标识;
基于识别标签的位置确定双足机器人执行每个动作帧下的位姿信息;
根据每个动作帧下的位姿信息生成反馈动作结果序列。
本申请实施例的另一方面,提供一种机器人动作调整装置,装置应用于服务器,服务器与至少两个双足机器人通信连接,该装置包括:获取模块、判定模块以及发送模块;
获取模块,用于获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息,动作结果序列包括:第一双足机器人按照预设动作序列执行动作过程中,每个动作帧下机器人的位姿信息;
获取模块,用于获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息,第二双足机器人的标识信息用于指示第二双足机器人的类型、所在场景以及待执行的预设动作;
判定模块,用于判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;
若是,发送模块,用于将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。
可选地,双足机器人的标识信息包括:机器人类型标识、识别标签标识、动作序列标识;判定模块,具体用于分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配。
可选地,判定模块,具体用于判定第二双足机器人的机器人类别标识与第一双足机器人的机器人类别标识是否为同一类型的机器人标识;判定第二双足机器人的识别标签标识与第一双足机器人的识别标签标识是否相同;判定第二双足机器人的动作序列标识与第一双足机器人的动作序列标识是否相同。
本申请实施例的另一方面,提供一种机器人动作调整装置,该装置应用于双足机器人,双足机器人与服务器通信连接,该装置包括:状态获取模块、指令发送模块、序列接收模块;
状态获取模块,用于获取双足机器人按照预设动作序列执行动作后的机器人状态信息;
指令发送模块,用于若机器人状态信息为异常状态,向服务器发送序列请求指令;
序列接收模块,用于接收服务器发送的正常的动作结果序列,并基于动作结果序列进行动作调整处理,动作结果序列包括:关联机器人按照预设动作序列执行动作过程中,每个动作帧下的机器人的位姿信息。
可选地,序列接收模块,具体用于获取双足机器人按照预设动作序列执行动作后的异常动作结果序列;基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列;执行待执行动作序列。
可选地,序列接收模块,具体用于基于异常动作结果序列确定双足机器人的异常类型,每个异常类型对应有至少一个目标舵机;基于动作结果序列中目标舵机的位姿信息确定目标舵机的待调整类型;按照待调整类型对双足机器人的目标舵机的位姿信息进行调整。
可选地,指令发送模块,还用于若机器人状态信息为正常状态,生成反馈动作结果序列,并将反馈动作结果序列发送给服务器。
可选地,指令发送模块,具体用于获取识别标签的位置以及识别标签标识;基于识别标签的位置确定双足机器人执行每个动作帧下的位姿信息;根据每个动作帧下的位姿信息生成反馈动作结果序列。
本申请实施例的另一方面,提供一种计算机设备,包括:存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述应用于服务器或者应用于双足机器人的机器人动作调整方法的步骤。
本申请实施例的另一方面,提供一种计算机可读存储介质,存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现上述应用于服务器或者应用于双足机器人的机器人动作调整方法的步骤。
本申请实施例的有益效果包括:
本申请实施例提供的一种机器人动作调整方法、设备以及存储介质中,可以获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息;获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息;判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;若是,将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。其中,通过服务器预先存储正常的动作结果序列,可以在接受到异常状态的第二双足机器人发送的序列请求指令时,将该正常的动作结果序列发送给第二双足机器人,以使第二双足机器人基于该动作结果序列对自身的异常状态进行调整,从而可以使第二双足机器人在重复执行该动作时避免进入异常状态,可以更加准确、高效的实现对进入异常状态的双足机器人的姿态进行调整。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的机器人动作调整方法的应用场景的场景示意图;
图2为本申请实施例提供的应用于服务器的机器人动作调整方法的流程示意图;
图3为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图一;
图4为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图二;
图5为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图三;
图6为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图四;
图7为本申请实施例提供的应用于服务器的机器人动作调整装置的结构示意图;
图8为本申请实施例提供的应用于双足机器人的机器人动作调整装置的结构示意图;
图9为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
下面来具体解释本申请实施例中提供的机器人动作调整方法的具体实施过程。
图1为本申请实施例提供的机器人动作调整方法的应用场景的场景示意图,请参照图1,该场景中包括:服务器110以及至少两个双足机器人120。
其中,服务器110可以与各双足机器人120通信连接,用以与双足机器人120进行信息交互。
双足机器人120可以是人形机器人,可以用于执行表演动作或者执行运输任务等,在此不作限制,各双足机器人120可以与服务器110通信连接。
可选地,双足机器人120可以包括:第一双足机器人以及第二双足机器人,当双足机器人120给服务器110发送正常的动作结果序列时,该双足机器人120即为第一双足机器人;当双足机器人120给服务器110发送序列请求指令时,该双足机器人120即为第二双足机器人,需要说明的是,第一双足机器人和第二双足机器人可以是同一双足机器人也可以是不同双足机器人。具体的,对于一个双足机器人来说,可以仅作为第一双足机器人或仅作为第二双足机器人。或者,还可以同时承担第一双足机器人和第二双足机器人的角色。例如,对于某个双足机器人A,在某个时刻,双足机器人A向服务器110发送正常的动作结果序列时,双足机器人A是作为第一双足机器人的角色,并执行下述实施例中第一双足机器人所执行的方法步骤。在另一时刻,双足机器人A给服务器110发送序列请求指令,则双足机器人A是作为第二双足机器人的角色,并执行下述实施例中第二双足机器人所执行的方法步骤。
下面来基于上述具体的应用场景,解释本申请实施例中提供的应用于服务器的机器人动作调整方法的具体实施过程。
图2为本申请实施例提供的应用于服务器的机器人动作调整方法的流程示意图,请参照图2,该方法包括:
S210:获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息。
其中,动作结果序列包括:第一双足机器人按照预设动作序列执行动作过程中,每个动作帧下机器人的位姿信息。
可选地,该方法的执行主体可以是上述服务器,第一双足机器人可以是任意一个与服务器通信连接的机器人,第一双足机器人可以在按照预设动作序列执行动作,并在执行动作的过程中记录每个动作帧下机器人的位姿信息,进而生成动作结果序列,第一双足机器人可以将该动作结果序列发送给服务器。
其中,第一双足机器人的标识信息可以包括多种类型的标识,用以表征该双足机器人的相关特征信息。
具体可以用于指示第一双足机器人的类型、所在场景以及已执行的预设动作。
S220:获取第二双足机器人发送的序列请求指令。
其中,序列请求指令中包括第二双足机器人的标识信息,第二双足机器人的标识信息用于指示第二双足机器人的类型、所在场景以及待执行的预设动作。
可选地,第二双足机器人也可以是与服务器通信连接的任意一个机器人。
第二双足机器人在执行预设动作时,若执行结果为异常状态,例如:摔倒、中心不稳等情况时,可以向服务器发送该序列请求指令。
序列请求指令可以是用于请求服务器发送动作结果序列的指令,该指令中还可以包括第二双足机器人的标识信息。
S230:判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配。
可选地,依次接收到第一双足机器人的标识信息以及第二双足机器人的标识信息之后,可以判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配,具体可以依次判定第二双足机器人的类型、所在的场景以及执行的动作与第一双足机器人对应的特征是否匹配。
S240:若是,将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。
可选地,基于上述方式进行匹配判定后,若第二双足机器人与第一双足机器人匹配,则服务器可以将存储的动作结果序列发送给第二双足机器人,第二双足机器人接收到该动作结果序列之后可以进行动作调整处理,从而在重复执行该动作时避免进入异常状态。
本申请实施例提供的一种机器人动作调整方法中,可以获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息;获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息;判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;若是,将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。其中,通过服务器预先存储正常的动作结果序列,可以在接受到异常状态的第二双足机器人发送的序列请求指令时,将该正常的动作结果序列发送给第二双足机器人,以使第二双足机器人基于该动作结果序列对自身的异常状态进行调整,从而可以使第二双足机器人在重复执行该动作时避免进入异常状态,可以更加准确、高效的实现对进入异常状态的双足机器人的姿态进行调整。
可选地,双足机器人的标识信息包括:机器人类型标识、识别标签标识、动作序列标识;判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配,包括:
分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配。
其中,机器人类型标识可以用于表征机器人的型号;识别标签标识可以是设置在场景中的标签的标识,例如二维码标签的标识等;动作序列标识可以是机器人执行的预设动作序列对应的标识。
在接收到第二双足机器人的序列请求指令之后,可以分别第二双足机器人与第一双足机器人的这三类标识是否分别匹配。
可选地,分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配,包括:判定第二双足机器人的机器人类别标识与第一双足机器人的机器人类别标识是否为同一类型的机器人标识;判定第二双足机器人的识别标签标识与第一双足机器人的识别标签标识是否相同;判定第二双足机器人的动作序列标识与第一双足机器人的动作序列标识是否相同。
其中,对于机器人类型标识,需要确定第一双足机器人与第二双足机器人是否为同一类型的机器人,具体可以基于该类型标识判定是否是同一厂商出厂或者是否以同一工作方式等。
对于识别标签标识,可以判定是否为同一个标签或者同一组标签等,需要说明的是,识别标签可以是设置在机器人工作场景中的地面、墙壁上等位置的二维码或者条码等标签,标签上的内容相同或者标签所标识的信息相同则可以确定是同一个标签或者同一组标签。
对于动作序列标识,可以判定第一双足机器人与第二双足机器人执行的预设动作序列是否相同。例如:均执行的是上楼梯的动作。
下面来具体解释本申请实施例中提供的应用于双足机器人的机器人动作调整方法的具体实施过程。
图3为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图一,请参照图3,该方法包括:
S310:获取双足机器人按照预设动作序列执行动作后的机器人状态信息。
可选地,该方法的执行主体可以是上述双足机器人,在执行S310-S330步骤时,该双足机器人是作为上述的第二双足机器人,该第二双足机器人可以基于预设动作序列执行对应的动作,并且可以在动作执行完成之后获取机器人的状态信息。
其中,预设动作序列可以是预存在机器人中的或者也可以是服务器发送给双足机器人的,在此不作限制。
机器人的状态信息可以包括:正常状态和异常状态,其中,异常状态可以是机器人因重心不稳摔倒或者其他因素导致机器人偏离预定路线等情况;相对地,若没有处于上述的异常状态,则该机器人为正常状态。
具体可以机器人的传感器获取到机器人当前的姿态以及位置,从而确定机器人的状态信息。
S320:若机器人状态信息为异常状态,向服务器发送序列请求指令。
可选地,获取到机器人的状态信息之后,若机器人的状态信息为正常状态,则不需要向服务器发送序列请求指令;若机器人的状态信息为异常状态,则可生成序列请求指令,该序列请求指令中所包括的内容在前述已经进行了对应的解释,在此不加赘述。
S330:接收服务器发送的正常的动作结果序列,并基于动作结果序列进行动作调整处理。
其中,动作结果序列包括:关联机器人按照预设动作序列执行动作过程中,每个动作帧下的机器人的位姿信息。
可选地,双足机器人发送序列请求指令之后,可以接收服务器发送的正常的动作结果序列,并可以基于该动作结果序列进行动作调整处理。
需要说明的是,若该第二双足机器人与第一双足机器人是同一双足机器人,则不需要发送序列请求指令,可以根据预先存储的动作结果序列进行调整;若该第二双足机器人与第一双足机器人不是同一双足机器人,则可以执行上述S320-S330的步骤进行对应的调整。
可选地,关联机器人可以指第一双足机器人。具体的,在本实施例中,第二双足机器人从服务器接收正常的动作结果序列,该正常的动作结果序列由第一双足机器人,也就是关联机器人发送给服务器。
本申请实施例提供的一种机器人动作调整方法中,可以获取双足机器人按照预设动作序列执行动作后的机器人状态信息;若机器人状态信息为异常状态,向服务器发送序列请求指令;接收服务器发送的正常的动作结果序列,并基于动作结果序列进行动作调整处理。其中,通过服务器预先存储正常的动作结果序列,可以在接受到异常状态的第二双足机器人发送的序列请求指令时,将该正常的动作结果序列发送给第二双足机器人,以使第二双足机器人基于该动作结果序列对自身的异常状态进行调整,从而可以使第二双足机器人在重复执行该动作时避免进入异常状态,可以更加准确、高效的实现对进入异常状态的双足机器人的姿态进行调整。
下面来解释应用于双足机器人的机器人动作调整方法的另一具体实施过程。
图4为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图二,请参照图4,基于动作结果序列进行动作调整处理,包括:
S410:获取双足机器人按照预设动作序列执行动作后的异常动作结果序列。
可选地,异常动作结果序列可以包括双足机器人的每一个动作帧的每个舵机的位姿信息,在双足机器人按照预设动作执行动作之后可以获取该异常动作结果序列。
S420:基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列。
可选地,可以基于动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列,具体可以是参照动作结果序列,对所述双足机器人的目标舵机进行位姿调整,并将调整后的位姿得到待执行动作序列。
S430:执行待执行动作序列。
可选地,得到待执行动作序列之后,可以控制双足机器人按照该待执行动作序列执行对应的动作,从而完成调整。
下面来具体解释本申请实施例中提供的应用于双足机器人的机器人动作调整方法的又一具体实施过程。
图5为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图三,请参照图5,基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,包括:
S510:基于异常动作结果序列确定双足机器人的异常类型。
其中,每个异常类型对应有至少一个目标舵机。
可选地,基于异常动作结果序列确定双足机器人的异常类型,异常类型例如可以包括:机器人左倾、机器人右倾、机器人目标位置错误等,不同的异常类型可以对应不同的目标舵机,例如:机器人左倾时,说明机器人的左腿舵机在移动过程中存在异常,则可以确定双足机器人的左腿舵机为目标舵机。
相应地,对于不同的异常类型可以确定其对应的目标舵机。
S520:基于动作结果序列中目标舵机的位姿信息确定目标舵机的待调整类型。
可选地,确定目标舵机之后,可以在动作结果序列中确定对应的目标舵机的位姿信息,进而确定目标舵机的待调整类型,例如:若目标舵机为左腿舵机,基于动作结果序列中左腿舵机的位姿信息可以确定异常动作结果序列中左腿舵机的移动幅度较大,则可以确定待调整类型为降低左腿舵机的移动幅度,移动幅度具体可以是机器人的舵机的转动角度的大小等。
S530:按照待调整类型对双足机器人的目标舵机的位姿信息进行调整。
可选地,确定待调整类型之后,可以按照待调整类型对双足机器人的目标舵机的位姿信息进行调整。例如,继续以上述示例展示,若待调整类型为降低左腿舵机的移动幅度,则可以对对应的舵机的位姿信息进行调整,从而实现降低移动幅度的效果。
若存在多个待调整类型,则可以依次进行对应的调整,直至所有的待调整类型调整完毕。
可选地,获取双足机器人执行动作序列后的机器人状态信息之后,该方法还包括:若机器人状态信息为正常状态,生成反馈动作结果序列,并将反馈动作结果序列发送给服务器。
在执行本实施例时,该双足机器人是作为上述的第一双足机器人,具体的,当确定机器人的状态信息为正常状态之后,可以生成反馈动作结果序列,并将反馈动作结果序列发送给服务器。
其中,该反馈动作结果序列即为前述正常的动作结果序列,也即是由第一双足机器人发送给服务器的动作结果序列。
下面来具体解释本申请实施例中提供的应用于双足机器人的机器人动作调整方法中确定反馈动作结果序列的具体实施过程。
图6为本申请实施例提供的应用于双足机器人的机器人动作调整方法的流程示意图四,请参照图6,上述的生成反馈动作结果序列的过程包括:
S610:获取识别标签的位置以及识别标签标识。
可选地,双足机器人可以通过机器人上的相机获取识别标签的位置,并且可以获取识别标签的标识,该识别标签具体可以是二维码标签、条码标签或者图像标签等,在此不作限制。
S620:基于识别标签的位置确定双足机器人执行每个动作帧下的位姿信息。
可选地,确定识别标签的位置之后,可以计算在双足机器人相对于该识别标签的位置的每个动作帧下的各个舵机的位姿信息。
例如:识别标签在获取到的图像左侧和识别标签在获取到的图像右侧时,双足机器人执行每个动作帧下的位姿信息可以不同,该位姿信息可以是相对于识别标签位置的相对位姿信息。
S630:根据每个动作帧下的位姿信息生成反馈动作结果序列。
可选地,确定上述每个动作帧下的位姿信息后,可以基于按照这些动作帧的顺序生成上述反馈动作结果序列,进而可以将该反馈动作结果序列发送给服务器。
应理解,执行上述步骤S610-S630时,该双足机器人是作为上述的第一双足机器人。
下述对用以执行的本申请所提供的机器人动作调整方法对应的装置、设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。
图7为本申请实施例提供的应用于服务器的机器人动作调整装置的结构示意图,请参照图7,该装置包括:获取模块710、判定模块720以及发送模块730;
获取模块710,用于获取第一双足机器人发送的正常的动作结果序列、第一双足机器人的标识信息,动作结果序列包括:第一双足机器人按照预设动作序列执行动作过程中,每个动作帧下机器人的位姿信息;
获取模块710,用于获取第二双足机器人发送的序列请求指令,序列请求指令中包括第二双足机器人的标识信息,第二双足机器人的标识信息用于指示第二双足机器人的类型、所在场景以及待执行的预设动作;
判定模块720,用于判定第二双足机器人的标识信息与第一双足机器人的标识信息是否匹配;
若是,发送模块730,用于将动作结果序列发送给第二双足机器人,以使第二双足机器人基于动作结果序列进行动作调整处理。
可选地,双足机器人的标识信息包括:机器人类型标识、识别标签标识、动作序列标识;判定模块720,具体用于分别判定第二双足机器人的机器人类型标识、识别标签标识以及动作序列标识与第一双足机器人的机器人类型标识、识别标签标识以及动作序列标识是否分别匹配。
可选地,判定模块720,具体用于判定第二双足机器人的机器人类别标识与第一双足机器人的机器人类别标识是否为同一类型的机器人标识;判定第二双足机器人的识别标签标识与第一双足机器人的识别标签标识是否相同;判定第二双足机器人的动作序列标识与第一双足机器人的动作序列标识是否相同。
图8为本申请实施例提供的应用于双足机器人的机器人动作调整装置的结构示意图,请参照图8,该装置包括:状态获取模块810、指令发送模块820、序列接收模块830;
状态获取模块810,用于获取双足机器人按照预设动作序列执行动作后的机器人状态信息;
指令发送模块820,用于若机器人状态信息为异常状态,向服务器发送序列请求指令;
序列接收模块830,用于接收服务器发送的正常的动作结果序列,并基于动作结果序列进行动作调整处理,动作结果序列包括:关联机器人按照预设动作序列执行动作过程中,每个动作帧下的机器人的位姿信息。
可选地,序列接收模块830,具体用于获取双足机器人按照预设动作序列执行动作后的异常动作结果序列;基于服务器发送的动作结果序列对异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列;执行待执行动作序列。
可选地,序列接收模块830,具体用于基于异常动作结果序列确定双足机器人的异常类型,每个异常类型对应有至少一个目标舵机;基于动作结果序列中目标舵机的位姿信息确定目标舵机的待调整类型;按照待调整类型对双足机器人的目标舵机的位姿信息进行调整。
可选地,指令发送模块810,还用于若机器人状态信息为正常状态,生成反馈动作结果序列,并将反馈动作结果序列发送给服务器。
可选地,指令发送模块810,具体用于获取识别标签的位置以及识别标签标识;基于识别标签的位置确定双足机器人执行每个动作帧下的位姿信息;根据每个动作帧下的位姿信息生成反馈动作结果序列。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器,或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图9为本申请实施例提供的计算机设备的结构示意图,请参照图9,提供一种计算机设备,包括:存储器910、处理器920,存储器910中存储有可在处理器920上运行的计算机程序,处理器920执行计算机程序时,实现上述应用于服务器或者应用于双足机器人的机器人动作调整方法的步骤。
可选地,该计算机设备可以是前述服务器,或者,也可以是前述双足机器人的控制器,在此不作限制。
本申请实施例的另一方面,还提供一种计算机可读存储介质,存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现上述应用于服务器或者应用于双足机器人的机器人动作调整方法的步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (7)

1.一种机器人动作调整方法,其特征在于,所述方法应用于服务器,所述服务器与至少两个双足机器人通信连接,所述方法包括:
获取第一双足机器人发送的正常的动作结果序列、所述第一双足机器人的标识信息,所述动作结果序列包括:所述第一双足机器人按照预设动作序列执行动作过程中,每个动作帧下所述机器人的位姿信息,所述第一双足机器人的标识信息用于指示所述第一双足机器人的类型、所在场景以及已执行的预设动作;
获取第二双足机器人在处于异常状态时发送的序列请求指令,所述序列请求指令中包括所述第二双足机器人的标识信息,所述第二双足机器人的标识信息用于指示所述第二双足机器人的类型、所在场景以及待执行的预设动作,所述标识信息包括:机器人类型标识、识别标签标识、动作序列标识,所述机器人类型标识用于表征机器人的型号,所述识别标签标识是设置在场景中的标签的标识,所述动作序列标识是机器人执行的预设动作序列对应的标识,所述动作序列标识用于判定第一双足机器人与第二双足机器人执行的预设动作序列是否为相同动作,所述第一双足机器人和所述第二双足机器人为不同双足机器人;
判定所述第二双足机器人的标识信息与所述第一双足机器人的标识信息是否匹配;
若是,将所述动作结果序列发送给所述第二双足机器人,以使所述第二双足机器人基于所述动作结果序列进行动作调整处理。
2.如权利要求1所述的方法,其特征在于,所述基于所述动作结果序列进行动作调整处理,包括:
获取所述第二双足机器人按照所述预设动作序列执行动作后的异常动作结果序列;
基于所述服务器发送的正常的动作结果序列对所述异常动作结果序列中目标舵机的位姿信息进行调整,得到待执行动作序列;
执行所述待执行动作序列。
3.如权利要求2所述的方法,其特征在于,所述基于所述服务器发送的正常的动作结果序列对所述异常动作结果序列中目标舵机的位姿信息进行调整,包括:
基于所述异常动作结果序列确定所述第二双足机器人的异常类型,每个所述异常类型对应有至少一个目标舵机;
基于所述正常的动作结果序列中所述目标舵机的位姿信息确定所述目标舵机的待调整类型;
按照所述待调整类型对所述第二双足机器人的目标舵机的位姿信息进行调整。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述第二双足机器人按照预设动作序列执行动作后的机器人状态信息;
若所述机器人状态信息为正常状态,生成反馈动作结果序列,并将所述反馈动作结果序列发送给所述服务器。
5.如权利要求4所述的方法,其特征在于,所述生成反馈动作结果序列,包括:
获取识别标签的位置以及识别标签标识;
基于所述识别标签的位置确定所述第二双足机器人执行每个动作帧下的位姿信息;
根据所述每个动作帧下的位姿信息生成所述反馈动作结果序列。
6.一种计算机设备,其特征在于,包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至5任一项所述机器人动作调整方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现权利要求1至5中任一项所述机器人动作调整方法的步骤。
CN202210123187.9A 2022-02-10 2022-02-10 机器人动作调整方法、设备以及存储介质 Active CN114227699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210123187.9A CN114227699B (zh) 2022-02-10 2022-02-10 机器人动作调整方法、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210123187.9A CN114227699B (zh) 2022-02-10 2022-02-10 机器人动作调整方法、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN114227699A CN114227699A (zh) 2022-03-25
CN114227699B true CN114227699B (zh) 2024-06-11

Family

ID=80747673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210123187.9A Active CN114227699B (zh) 2022-02-10 2022-02-10 机器人动作调整方法、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114227699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114986393B (zh) * 2022-06-14 2023-04-04 广东天太机器人有限公司 一种自动纠偏的抛光打磨机械臂控制系统及方法

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001225289A (ja) * 1998-06-09 2001-08-21 Sony Corp ロボット装置及びその姿勢制御方法
CN1633348A (zh) * 2002-02-18 2005-06-29 独立行政法人科学技术振兴机构 双腿步行式人形机器人
CN105945972A (zh) * 2016-05-05 2016-09-21 北京快乐智慧科技有限责任公司 调整智能交互机器人姿态的方法及智能交互机器人
CN106774345A (zh) * 2017-02-07 2017-05-31 上海仙知机器人科技有限公司 一种进行多机器人协作的方法与设备
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
CN106945036A (zh) * 2017-03-21 2017-07-14 深圳泰坦创新科技有限公司 机器人动作生成方法和装置
CN107498557A (zh) * 2017-09-19 2017-12-22 坤同勃志智能科技(上海)有限公司 一种机器人的控制方法及系统
CN108304767A (zh) * 2017-12-12 2018-07-20 中国科学院自动化研究所 基于多脑区协同计算的人类动作意图识别训练方法
CN109202882A (zh) * 2017-06-29 2019-01-15 深圳模德宝科技有限公司 一种机器人的控制方法及其装置
CN110046818A (zh) * 2019-04-15 2019-07-23 广州高新兴机器人有限公司 一种多机器人任务分配方法
CN110154016A (zh) * 2018-08-09 2019-08-23 腾讯科技(深圳)有限公司 机器人控制方法、装置、存储介质和计算机设备
CN111409073A (zh) * 2020-04-02 2020-07-14 深圳国信泰富科技有限公司 一种高智能机器人的摔倒自恢复方法及系统
CN111650936A (zh) * 2020-06-03 2020-09-11 杭州迦智科技有限公司 一种伺服控制方法、处理器、存储介质和可移动平台
CN112859904A (zh) * 2021-01-25 2021-05-28 乐聚(深圳)机器人技术有限公司 机器人站立姿态的恢复方法、装置、设备及存储介质
CN112925302A (zh) * 2019-12-06 2021-06-08 北京京东乾石科技有限公司 机器人位姿控制方法和装置
CN113031582A (zh) * 2019-12-25 2021-06-25 北京极智嘉科技股份有限公司 机器人、定位方法及计算机可读存储介质
CN113110433A (zh) * 2021-04-02 2021-07-13 深圳优地科技有限公司 机器人姿态调整方法、装置、设备及存储介质
CN113110432A (zh) * 2021-04-02 2021-07-13 深圳优地科技有限公司 机器人姿态调整方法、设备、机器人及存储介质
CN113126638A (zh) * 2019-12-30 2021-07-16 深圳市优必选科技股份有限公司 姿态控制方法、装置、双足机器人及可读存储介质
CN113172635A (zh) * 2021-06-09 2021-07-27 乐聚(深圳)机器人技术有限公司 双足机器人行走控制方法、装置、设备及存储介质
CN113515135A (zh) * 2021-06-30 2021-10-19 北京百度网讯科技有限公司 多足机器人的控制方法、装置、电子设备及存储介质
CN113635305A (zh) * 2021-08-17 2021-11-12 乐聚(深圳)机器人技术有限公司 机器人运动保护方法、装置、控制器及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5104355B2 (ja) * 2008-02-01 2012-12-19 富士通株式会社 ロボット制御装置、ロボット制御方法およびロボット制御プログラム

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001225289A (ja) * 1998-06-09 2001-08-21 Sony Corp ロボット装置及びその姿勢制御方法
CN1633348A (zh) * 2002-02-18 2005-06-29 独立行政法人科学技术振兴机构 双腿步行式人形机器人
CN105945972A (zh) * 2016-05-05 2016-09-21 北京快乐智慧科技有限责任公司 调整智能交互机器人姿态的方法及智能交互机器人
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
CN106774345A (zh) * 2017-02-07 2017-05-31 上海仙知机器人科技有限公司 一种进行多机器人协作的方法与设备
CN106945036A (zh) * 2017-03-21 2017-07-14 深圳泰坦创新科技有限公司 机器人动作生成方法和装置
CN109202882A (zh) * 2017-06-29 2019-01-15 深圳模德宝科技有限公司 一种机器人的控制方法及其装置
CN107498557A (zh) * 2017-09-19 2017-12-22 坤同勃志智能科技(上海)有限公司 一种机器人的控制方法及系统
CN108304767A (zh) * 2017-12-12 2018-07-20 中国科学院自动化研究所 基于多脑区协同计算的人类动作意图识别训练方法
CN110154016A (zh) * 2018-08-09 2019-08-23 腾讯科技(深圳)有限公司 机器人控制方法、装置、存储介质和计算机设备
CN110046818A (zh) * 2019-04-15 2019-07-23 广州高新兴机器人有限公司 一种多机器人任务分配方法
CN112925302A (zh) * 2019-12-06 2021-06-08 北京京东乾石科技有限公司 机器人位姿控制方法和装置
CN113031582A (zh) * 2019-12-25 2021-06-25 北京极智嘉科技股份有限公司 机器人、定位方法及计算机可读存储介质
CN113126638A (zh) * 2019-12-30 2021-07-16 深圳市优必选科技股份有限公司 姿态控制方法、装置、双足机器人及可读存储介质
CN111409073A (zh) * 2020-04-02 2020-07-14 深圳国信泰富科技有限公司 一种高智能机器人的摔倒自恢复方法及系统
CN111650936A (zh) * 2020-06-03 2020-09-11 杭州迦智科技有限公司 一种伺服控制方法、处理器、存储介质和可移动平台
CN112859904A (zh) * 2021-01-25 2021-05-28 乐聚(深圳)机器人技术有限公司 机器人站立姿态的恢复方法、装置、设备及存储介质
CN113110433A (zh) * 2021-04-02 2021-07-13 深圳优地科技有限公司 机器人姿态调整方法、装置、设备及存储介质
CN113110432A (zh) * 2021-04-02 2021-07-13 深圳优地科技有限公司 机器人姿态调整方法、设备、机器人及存储介质
CN113172635A (zh) * 2021-06-09 2021-07-27 乐聚(深圳)机器人技术有限公司 双足机器人行走控制方法、装置、设备及存储介质
CN113515135A (zh) * 2021-06-30 2021-10-19 北京百度网讯科技有限公司 多足机器人的控制方法、装置、电子设备及存储介质
CN113635305A (zh) * 2021-08-17 2021-11-12 乐聚(深圳)机器人技术有限公司 机器人运动保护方法、装置、控制器及存储介质

Also Published As

Publication number Publication date
CN114227699A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US10209063B2 (en) Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
US11173609B2 (en) Hand-eye calibration method and system
CN110640746B (zh) 机器人的坐标系标定及定位方法、系统、设备、介质
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
US20200167568A1 (en) Image processing method, device, and storage medium
CN113139559B (zh) 一种目标检测模型的训练方法、数据的标注方法和装置
WO2021143230A1 (zh) 一种连续帧数据的标注系统、方法和装置
CN111037564B (zh) 机器人碰撞检测方法、装置、设备及计算机可读存储介质
CN114227699B (zh) 机器人动作调整方法、设备以及存储介质
CN110955715A (zh) Erp系统和目标平台的数据转换方法、装置以及电子设备
US11030767B2 (en) Imaging apparatus and imaging system
CN113601510B (zh) 基于双目视觉的机器人移动控制方法、装置、系统及设备
CN113500604A (zh) 一种机器人控制方法、装置、设备及存储介质
EP3542970A1 (en) Method, device and system for replaying movement of robot
CN117021113B (zh) 一种机械臂协作定位装配方法、系统及介质
CN114147725B (zh) 机器人的零点调整方法、装置、设备及存储介质
CN114415698B (zh) 机器人、机器人的定位方法、装置和计算机设备
CN111638715B (zh) 机器人的控制方法、机器人、电子设备及存储介质
CN107562050B (zh) 一种机器人识别环境的方法及系统
CN114115288A (zh) 机器人步态调整方法、装置、设备及存储介质
CN112068756A (zh) 一种舵机调试方法、装置、设备及存储介质
CN113043268A (zh) 机器人手眼标定方法、装置、终端、系统及存储介质
CN114147769B (zh) 机器人的出厂检测方法、装置、设备及存储介质
WO2023103143A1 (zh) 传感器检测的方法、装置、电子设备及可读储存介质
CN113485309B (zh) 机器人测试方法、装置、系统、机器人控制器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant