CN114683288A - 机器人展示和控制方法、装置及电子设备 - Google Patents

机器人展示和控制方法、装置及电子设备 Download PDF

Info

Publication number
CN114683288A
CN114683288A CN202210494380.3A CN202210494380A CN114683288A CN 114683288 A CN114683288 A CN 114683288A CN 202210494380 A CN202210494380 A CN 202210494380A CN 114683288 A CN114683288 A CN 114683288A
Authority
CN
China
Prior art keywords
dimensional model
virtual
data
control
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210494380.3A
Other languages
English (en)
Other versions
CN114683288B (zh
Inventor
赵进奇
姚庭
高加超
史琦亮
王超
丁磊
韩涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faoyiwei Suzhou Robot System Co ltd
Original Assignee
Faoyiwei Suzhou Robot System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faoyiwei Suzhou Robot System Co ltd filed Critical Faoyiwei Suzhou Robot System Co ltd
Priority to CN202210494380.3A priority Critical patent/CN114683288B/zh
Publication of CN114683288A publication Critical patent/CN114683288A/zh
Application granted granted Critical
Publication of CN114683288B publication Critical patent/CN114683288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请提供一种机器人展示和控制方法、装置及电子设备,通过创建实体三维模型和虚拟三维模型,在获取实体机器人实时的位置数据和姿态数据后,基于位置数据和姿态数据控制实体三维模型进行同步展示,并控制虚拟三维模型与实体三维模型进行随动。而在获得针对虚拟三维模型的控制操作时,基于控制操作对虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对实体机器人进行同步控制,并控制实体三维模型与虚拟三维模型进行随动。本方案中,通过构建两个三维模型,在展示和控制过程中,基于两个三维模型之间的随动,可以直观体现出实体机器人相应的运作以及控制过程。

Description

机器人展示和控制方法、装置及电子设备
技术领域
本申请涉及机器人技术领域,具体而言,涉及一种机器人展示和控制方法、装置及电子设备。
背景技术
随着控制技术的发展,机器人技术在工业生产和生活中被广泛应用。为了对机器人的运作进行实时监控,现有方式一般是在上位机中基于三维模型来实时展示机器人的运动情况。此外,现有方式中还可以通过对上位机中的三维模型的控制,从而实现对机器人相应的控制。
但是,现有技术中所采用的展示和控制方式,仅能基于单独的三维模型来实现,难以在展示中直观体现出机器人的运动过程,也难以在控制过程中直观体现出机器人相应的控制。
发明内容
本申请的目的包括,例如,提供了一种机器人展示和控制方法、装置及电子设备,其能够直观体现出实体机器人相应的运作及控制过程。
本申请的实施例可以这样实现:
第一方面,本申请提供一种机器人展示和控制方法,所述方法包括:
创建实体三维模型和虚拟三维模型;
获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动;
在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
在可选的实施方式中,所述创建实体三维模型和虚拟三维模型的步骤,包括:
构建三维场景,在所述三维场景中创建实体三维模型和虚拟三维模型。
在可选的实施方式中,所述三维场景为基于三维坐标系构建的三维空间场景,或所述三维场景为基于所述实体机器人所处的场景构建的虚拟三维场景。
在可选的实施方式中,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接;
所述基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
获得所述控制操作中对所述虚拟三维模型的底座的拖动操作,基于所述拖动操作对所述底座进行位置移动;
获得所述控制操作中对所述虚拟三维模型的各个关节连杆的转动操作,基于所述转动操作对各所述关节连杆进行角度转动。
在可选的实施方式中,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接;
所述基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
获得在控制界面上执行的控制操作中对所述虚拟三维模型的底座的移动数据,以及对各所述关节连杆的转动数据,所述控制操作为在所述控制界面的输入框中进行数据输入,或所述控制操作为对所述控制界面中控制栏上的滑块的滑动操作;
基于所述移动数据对所述底座进行位置移动,并基于各所述转动数据对对应的关节连杆进行角度转动。
在可选的实施方式中,所述虚拟三维模型和所述实体三维模型的透明度不同,所述在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
在获得针对所述虚拟三维模型的控制操作时,改变所述虚拟三维模型的透明度;
基于所述控制操作对所述虚拟三维模型进行控制,以使所述虚拟三维模型与所述实体三维模型分离。
在可选的实施方式中,所述基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制的步骤,包括:
根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值,所述笛卡尔坐标值包括位置坐标和旋转坐标;
根据所述位置坐标控制所述实体机器人移动,并根据所述旋转坐标控制所述实体机器人转动。
在可选的实施方式中,所述根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值的步骤,包括:
检测控制后的虚拟三维模型的位置数据是否在预设的位置范围内,并检测控制后的虚拟三维模型的姿态数据是否在预设的角度范围内;
若在预设的位置范围且在预设的角度范围内时,根据所述位置数据和姿态数据获得笛卡尔坐标值。
第二方面,本申请提供一种机器人展示和控制装置,所述装置包括:
创建模块,用于创建实体三维模型和虚拟三维模型;
展示模块,用于获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动;
控制模块,用于在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
第三方面,本申请提供一种电子设备,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行前述实施方式中任意一项所述的方法步骤。
本申请实施例的有益效果包括,例如:
本申请提供一种机器人展示和控制方法、装置及电子设备,通过创建实体三维模型和虚拟三维模型,在获取实体机器人实时的位置数据和姿态数据后,基于位置数据和姿态数据控制实体三维模型进行同步展示,并控制虚拟三维模型与实体三维模型进行随动。而在获得针对虚拟三维模型的控制操作时,基于控制操作对虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对实体机器人进行同步控制,并控制实体三维模型与虚拟三维模型进行随动。本方案中,通过构建两个三维模型,在展示和控制过程中,基于两个三维模型之间的随动,可以直观体现出实体机器人相应的运作以及控制过程。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的展示和控制系统的结构框图;
图2为本申请实施例提供的机器人展示和控制方法的流程图;
图3为图2中步骤S103包含的子步骤的流程图之一;
图4为图2中步骤S103包含的子步骤的流程图之二;
图5至图7为实体机器人的各个视角下各个轴的限位情况的示意图;
图8为图2中步骤S103包含的子步骤的另一流程图;
图9为图8为步骤S1033的子步骤的流程图;
图10为本申请实施例提供的电子设备的结构框图;
图11为本申请实施例提供的展示和控制装置的功能模块框图。
图标:110-处理器;120-存储器;130-通信模块;140-机器人展示和控制装置;141-创建模块;142-展示模块;143-控制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
请参阅图1,为本申请实施例提供的一种展示和控制系统,该系统中包括上位机以及与上位机连接的控制设备。其中,上位机可以为配置有显示器的终端设备或服务器。控制设备可以是具备信息数据处理能力、收发指令等的终端设备。
本实施例中,控制设备可与实体机器人连接,例如可以通过无线通信方式或有线通信方式等实现通信连接。控制设备可以实现对实体机器人的控制,也可以获得实体机器人实时的运动状态等。上位机可以用于构建三维模型、收发指令等,从而基于上位机、控制设备实现对实体机器人运动状态的监控,以及对实体机器人进行控制等。
请参阅图2,为本申请实施例提供的机器人展示和控制方法的流程图,该展示和控制方法可以应用于上述上位机,或者也可以应用于上述展示和控制系统。该机器人展示和控制方法的详细步骤介绍如下。
S101,创建实体三维模型和虚拟三维模型。
S102,获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动。
S103,在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
本实施例中,上位机可用于创建实体三维模型和虚拟三维模型,其中,实体三维模型和虚拟三维模型均是以实体机器人为基础进行创建的,例如,实体三维模型和虚拟三维模型与实体机器人具有相同的结构、相同的尺寸等。
为了便于区分实体三维模型和虚拟三维模型,在一种可能的实现方式中,实体三维模型和虚拟三维模型的透明度可设置为不同,例如,实体三维模型的透明度可为0,而虚拟三维模型的透明度可设置为半透明。如此,即使实体三维模型和虚拟三维模型处于重叠状态,或者是部分重叠状态,也可以区分出两个模型。
在另一种的实现方式中,实体三维模型和虚拟三维模型也可以设置为不同颜色,如此,可以便于区分出实体三维模型和虚拟三维模型。
实体三维模型和虚拟三维模型在一般状态下处于重叠状态,所谓的一般状态是指并未根据实体机器人的运动情况控制实体三维模型运动进而进行展示时,或者是并未通过对虚拟三维模型进行控制进而相应控制实体机器人运动时。
本实施例中,实体三维模型主要是用于同步展示实体机器人的运动状态,而虚拟三维模型主要是用于在被控制的情况下,相应地控制实体机器人进行运动。
因此,本实施例中,可以获取实体机器人实时的位置数据和姿态数据,该位置数据和姿态数据可以是控制设备所获得并发送至上位机中的。上位机可以根据获得的实体机器人的位置数据和姿态数据控制实体三维模型进行同步展示,以使实体三维模型与实体机器人具有相同的位置数据和姿态数据。
本实施例中,实体机器人的位置数据可以是世界坐标系下的三维坐标,而姿态数据可以是实体机器人的各个关节连杆的旋转角度。
上位机在构建三实体三维模型和虚拟三维模型时,可以构建三维场景,并在该三维场景中创建实体三维模型和虚拟三维模型。
构建的三维场景可为基于三维坐标系构建的三维空间场景,也即,三维场景的背景可以是空白背景。或者构建的三维场景可以是基于实体机器人所处的场景构建的虚拟三维场景。例如,实体机器人是处于一个工作房间内,则创建的三维场景可以是基于实体机器人和工作房间进行等比例缩放的一个虚拟三维房间的场景。
通过创建与实体机器人所处的场景相同的虚拟三维场景,在同步展示实体机器人的运动状态以及控制实体机器人时,可以更为逼真地进行展示和控制。
本实施例中,在基于实体机器人的位置数据和姿态数据,同步控制实体三维模型进而使得实体三维模型能够同步展示与实体机器人相同的位置和姿态。在此基础上,需要控制虚拟三维模型与实体三维模型进行随动,也即,将控制虚拟三维模型与实体三维模型进行重叠。如此,虚拟三维模型才可保持与实体机器人相同的状态,进而后续在通过控制虚拟三维模型进而控制实体机器人时,两者具有相同的初始状态。
本实施例中,通过构建实体三维模型和虚拟三维模型,可以利用实体三维模型展示出实体机器人的实时运动状态。由于该展示的过程是一个动态过程,在将实体三维模型控制为与实体机器人相同的状态后,此时由于虚拟三维模型还可展示出控制之前的状态,因此,可以基于实体三维模型和虚拟三维模型的共同展示,直观地在上位机一侧观察到实体机器人在某段时间内运动前后的状态。相较于仅利用一个三维模型来展示实体机器人的运动状态而言,本申请中利用实体三维模型和虚拟三维模型,可以更为直观地体现出实体机器人相应的运作。
此外,本实施例中,虚拟三维模型主要用于通过对其的控制,进而对远端的实体机器人进行相应控制。基于此,本实施例中,用户可以对上位机中的虚拟三维模型进行控制,在检测到该控制操作时,上位机可基于该控制操作对虚拟三维模型进行控制。例如,对虚拟三维模型进行位置移动,对虚拟三维模型的关节连杆进行转动等,或者是多种控制方式的综合操作等。
在对虚拟三维模型进行控制后,虚拟三维模型可具有控制后的位置数据和姿态数据,进而基于控制后的位置数据和姿态数据可以同步控制实体机器人,使得实体机器人保持与控制后的虚拟三维模型相同的位置和姿态。
在此基础上,由于在控制虚拟三维模型后,虚拟三维模型将与实体三维模型分离,因此,在对虚拟三维模型进行控制并在其位置和姿态确定后,可以相应地控制实体三维模型与虚拟三维模型进行随动,也即,控制实体三维模型与虚拟三维模型再次重叠。
同理,本实施例中,可以通过虚拟三维模型的控制进而对实体机器人进行同步控制,此时虚拟三维模型处于控制后的位置和姿态,实体三维模型处于控制前的位置和姿态,基于虚拟三维模型和实体三维模型,可以更为直观地观察到对于实体机器人进行控制前后的状态。
本实施例中,在虚拟三维模型和实体三维模型的透明度设置为不同时,例如,虚拟三维模型设置为半透明状态,而实体三维模型的透明度设置为0。在基于控制操作对虚拟三维模型进行控制时,则在获得针对虚拟三维模型的控制操作时,可以改变虚拟三维模型的透明度,例如,可以将虚拟三维模型的透明度的数值减小,其中,透明度的数值越小,则越不透明,反之,透明度的数值越大,则表明越透明。
改变虚拟三维模型的透明度,以表明选中了该虚拟三维模型,或者是选中了虚拟三维模型中的某个部分。进而基于控制操作对虚拟三维模型进行控制,以使虚拟三维模型与实体三维模型分离。
本实施例中,首先将虚拟三维模型和实体三维模型设置为不同的透明度,例如,可以将虚拟三维模型设置为半透明状态。可以便于在两者重叠或者是部分重叠的情况下对两者进行区分。而在针对虚拟三维模型进行操作时,可以改变虚拟三维模型的透明度,例如降低虚拟三维模型的透明度,从而可以便于对虚拟三维模型进行操作,便于观察虚拟三维模型的控制过程。
本实施例中,实体机器人包括底座以及与底座连接的多个关节连杆,多个关节连杆依次连接。则同样地,虚拟三维模型和实体三维模型分别包括底座以及与底座连接的多个关节连杆。
请参阅图3,本实施例中,作为一种可能的实现方式,在基于控制操作对虚拟三维模型进行控制时,可以通过以下方式实现:
S1031A,获得所述控制操作中对所述虚拟三维模型的底座的拖动操作,基于所述拖动操作对所述底座进行位置移动。
S1032A,获得所述控制操作中对所述虚拟三维模型的各个关节连杆的转动操作,基于所述转动操作对各所述关节连杆进行角度转动。
在一种实现方式中,用户可以直接对虚拟三维模型进行拖曳从而实现对虚拟三维模型的控制。例如,在需要对虚拟三维模型的底座进行位置移动时,可以将鼠标停留在底座上,在点击鼠标的状态下将底座推动至需要移动至的位置,从而实现对底座的位置移动。
而上位机可以在底座被移动后,获取其移动后的位置数据,进而后续基于位置数据实现对实体机器人的控制。
此外,在需要对虚拟三维模型的关节连杆进行控制时,同样地,可以利用鼠标选定需要控制的关节连杆,并在点击鼠标的状态下将关节连杆在三维空间内进行转动,从而实现角度的转动。此外,也可以通过对关节连杆进行拖曳来改变关节连杆的伸展程度。
在关节连杆进行角度转动后,上位机可以基于关节连杆的转动角度获得姿态数据,进而后续基于姿态数据实现对实体机器人的控制。
本实施例中,通过直接基于鼠标等采用拖曳的方式,可以便捷地基于需求进行虚拟三维模型的控制。达到所见即所得的控制效果。
请参阅图4,本实施例中,在另一种可能的实现方式中,在基于控制操作对虚拟三维模型进行控制时,还可以通过以下方式实现:
S1031B,获得在控制界面上执行的控制操作中对所述虚拟三维模型的底座的移动数据,以及对各所述关节连杆的转动数据,所述控制操作为在所述控制界面的输入框中进行数据输入,或所述控制操作为对所述控制界面中控制栏上的滑块的滑动操作。
S1032B,基于所述移动数据对所述底座进行位置移动,并基于各所述转动数据对对应的关节连杆进行角度转动。
本实施例中,上位机上可设置有控制界面,该控制界面上可具有对应虚拟三维模型的底座以及各个关节连杆的控制项。各个控制项可包括输入框和控制栏。
其中,输入框可用于直接进行数据的输入,例如,在需要对底座进行位置移动时,可以在输入框中输入移动数据,上位机可以基于该移动数据对底座进行位置移动。或者,在需要对某个关节连杆进行角度转动时,可以在该关节连杆的输入框中输入转动数据,上位机可以基于该转动数据对关节连杆进行转动。
而控制栏可以设置为一个范围内的控制,并且在控制栏上可以设置一个滑块。例如,针对虚拟三维模型的底座,该底座对应的控制栏两端分别为底座可移动的位置的最小坐标值和最大坐标值。可以通过拖动滑块将底座的移动数据确定为该最小坐标值和最大数据值之间的范围内的任一数值。
同样地,针对各个关节连杆,关节连杆对应的控制栏的两端分别为关节连杆可移动的角度的两个端点数值。可以通过拖动滑块将关节连杆的转动数据确定为两个端点数值之间的任一数值。
请结合参阅图5至图7和表1,表1以及图5至图7中示意性示出了虚拟三维模型中各个关节连杆的允许转动范围,包括软限位和硬限位。此处列举了虚拟三维模型包括6个轴时,各个轴的关节活动范围限位情况。
表1
Figure BDA0003631988220000121
本实施例中,在通过以上方式获得控制之后的虚拟三维模型的位置数据和姿态数据后,可以通过以下方式基于位置数据和姿态数据对实体机器人进行同步控制,请结合参阅图8:
S1033,根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值,所述笛卡尔坐标值包括位置坐标和旋转坐标。
S1034,根据所述位置坐标控制所述实体机器人移动,并根据所述旋转坐标控制所述实体机器人转动。
本实施例中,在一种实现方式中,上位机在获得位置数据和姿态数据后,可以将位置数据和姿态数据发送至控制设备,由控制设备基于位置数据和姿态数据计算得到对应的笛卡尔坐标值,并返回给上位机。
将控制以及计算过程分别在上位机和控制设备中执行,可以实现功能上的解耦。
在另一种实现方式中,在获得位置数据和姿态数据后,上位机可以基于位置数据和姿态数据计算得到对应的笛卡尔坐标值。如此,将功能集中在上位机中实现,便于管理人员进行集中监控管理。
上位机在获得笛卡尔坐标值后,可以综合得到的坐标值并生成携带该坐标值的控制指令。将控制指令发送至控制设备,以使控制设备在该控制指令下对实体机器人进行相应控制。
本实施例中,在构建的三维场景为基于实体机器人所处的场景构建的虚拟三维场景时,还可以在该虚拟三维场景中构建与实体机器人所处场景中具有的相同物体。例如,在实体机器人所处场景中存在工作台等物体时,可以在虚拟三维场景中等比例缩放构建工作台,构建的工作台与实体机器人所处场景的工作台具有相同的位置。
如此,由于虚拟三维场景中具有与实体机器人所处场景位置相同、形状一致的工作台,在对虚拟三维模型进行控制时,能够避免将虚拟三维模型移动至工作台等障碍物相碰撞的位置处,进而可以保障实体机器人在实际所处的场景中,进行同步控制时,避免实体机器人与工作台等障碍物有所碰撞。
而若构建的三维场景是基于三维坐标系构建的背景空白的三维空间场景,或者是并未在虚拟三维场景中构建实际场景中存在的相同的障碍物等。此时,在获得对于虚拟三维模型进行控制之后的位置数据和姿态数据后,还可基于实体机器人所处的场景中具体的空间信息以及障碍物信息,判断基于对应的位置数据和姿态数据对实体机器人进行控制时,是否处于安全范围内。
例如,请参阅图9,本实施例中,在根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值时,可以通过以下步骤实现:
S10331,检测控制后的虚拟三维模型的位置数据是否在预设的位置范围内,并检测控制后的虚拟三维模型的姿态数据是否在预设的角度范围内。
S10332,若在预设的位置范围且在预设的角度范围内时,根据所述位置数据和姿态数据获得笛卡尔坐标值。
本实施例中,所述的预设的位置范围和预设的角度范围可以根据实体机器人所处场景中的空间信息以及存在的障碍物等的信息进行设置。例如,在实体机器人所处场景中存在障碍物时,则所述的预设的位置范围应当除去障碍物所处的位置。
在检测位置数据和姿态数据均满足要求的情况下,则可以根据位置数据和姿态数据获得笛卡尔坐标值,进而基于笛卡尔坐标值控制实体机器人。
本实施例所提供的控制和展示方法,可以实现对实体机器人的远程控制,在需要对实体机器人进行远程操作时,在上位机中可以基于实体三维模型直接观察到当前实体机器人的位置和姿态,无需在现场进行确认,可直接进行调试工作。
通过拖曳虚拟三维模型中各关节连杆或者是通过输入数据或拖动控制栏上的滑块的方式控制虚拟三维模型到所需要控制至的位置和姿态,进而实现对实体机器人的同步控制。并且,还可结合实体机器人的空间环境来规避可能存在的运动风险。
图10为本申请实施例提供的一种电子设备的结构示意图,该电子设备可为上述的上位机,或者上述的上位机和控制设备。
如图10所示,该电子设备包括存储器120、处理器110及通信模块130。存储器120、处理器110以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。其中,存储器120用于存储程序或者数据。存储器120可以是,但不限于,随机存取存储器(RandomAccess Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory,EEPROM)等。
处理器110用于读/写存储器120中存储的数据或程序,并执行上述任意实施例的机器人展示和控制方法。
通信模块130用于通过网络建立电子设备与其它通信终端之间的通信连接,并用于通过网络收发数据。
应当理解的是,图10所示的结构仅为电子设备的结构示意图,电子设备还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。图10中所示的各组件可以采用硬件、软件或其组合实现。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种机器人展示和控制装置140的实现方式,可选地,该机器人展示和控制装置140可以采用上述图10所示的电子设备的器件结构。
进一步地,请参阅图11,图11为本申请实施例提供的一种机器人展示和控制装置140的功能模块图。需要说明的是,本实施例所提供的机器人展示和控制装置140,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。
该机器人展示和控制装置140包括:
创建模块141,用于创建实体三维模型和虚拟三维模型;
可以理解,该创建模块141可以用于执行上述步骤S101,关于该创建模块141的详细实现方式可以参照上述对步骤S101有关的内容。
展示模块142,用于获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动;
可以理解,该展示模块142可以用于执行上述步骤S102,关于该展示模块142的详细实现方式可以参照上述对步骤S102有关的内容。
控制模块143,用于在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
可以理解,该控制模块143可以用于执行上述步骤S103,关于该控制模块143的详细实现方式可以参照上述对步骤S103有关的内容。
在一种可能的实施方式中,上述创建模块141可以用于:
构建三维场景,在所述三维场景中创建实体三维模型和虚拟三维模型。
在一种可能的实施方式中,所述三维场景为基于三维坐标系构建的三维空间场景,或所述三维场景为基于所述实体机器人所处的场景构建的虚拟三维场景。
在一种可能的实施方式中,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接,上述控制模块143可以用于:
获得所述控制操作中对所述虚拟三维模型的底座的拖动操作,基于所述拖动操作对所述底座进行位置移动;
获得所述控制操作中对所述虚拟三维模型的各个关节连杆的转动操作,基于所述转动操作对各所述关节连杆进行角度转动。
在一种可能的实施方式中,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接,上述控制模块143可以用于:
获得在控制界面上执行的控制操作中对所述虚拟三维模型的底座的移动数据,以及对各所述关节连杆的转动数据,所述控制操作为在所述控制界面的输入框中进行数据输入,或所述控制操作为对所述控制界面中控制栏上的滑块的滑动操作;
基于所述移动数据对所述底座进行位置移动,并基于各所述转动数据对对应的关节连杆进行角度转动。
在一种可能的实施方式中,所述虚拟三维模型和所述实体三维模型的透明度不同,上述控制模块143可以用于:
在获得针对所述虚拟三维模型的控制操作时,改变所述虚拟三维模型的透明度;
基于所述控制操作对所述虚拟三维模型进行控制,以使所述虚拟三维模型与所述实体三维模型分离。
在一种可能的实施方式中,上述控制模块143可以用于:
根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值,所述笛卡尔坐标值包括位置坐标和旋转坐标;
根据所述位置坐标控制所述实体机器人移动,并根据所述旋转坐标控制所述实体机器人转动。
在一种可能的实施方式中,上述控制模块143可以用于:
检测控制后的虚拟三维模型的位置数据是否在预设的位置范围内,并检测控制后的虚拟三维模型的姿态数据是否在预设的角度范围内;
若在预设的位置范围且在预设的角度范围内时,根据所述位置数据和姿态数据获得笛卡尔坐标值。
本申请实施例所提供的机器人展示和控制装置140可执行本申请任意实施例所提供的机器人展示和控制方法,具备执行方法相应的功能模块和有益效果。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图10所示的存储器120中或固化于该电子设备的操作系统(Operating System,OS)中,并可由图10中的处理器110执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器120中。
本申请实施例还提供一种包含计算机可执行指令的计算机可读存储介质,计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例所提供的机器人展示和控制方法的相关操作。
综上所述,本申请实施例提供的机器人展示和控制方法、装置及电子设备,通过创建实体三维模型和虚拟三维模型,在获取实体机器人实时的位置数据和姿态数据后,基于位置数据和姿态数据控制实体三维模型进行同步展示,并控制虚拟三维模型与实体三维模型进行随动。而在获得针对虚拟三维模型的控制操作时,基于控制操作对虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对实体机器人进行同步控制,并控制实体三维模型与虚拟三维模型进行随动。本方案中,通过构建两个三维模型,在展示和控制过程中,基于两个三维模型之间的随动,可以直观体现出实体机器人相应的运作以及控制过程。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种机器人展示和控制方法,其特征在于,所述方法包括:
创建实体三维模型和虚拟三维模型;
获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动;
在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
2.根据权利要求1所述的机器人展示和控制方法,其特征在于,所述创建实体三维模型和虚拟三维模型的步骤,包括:
构建三维场景,在所述三维场景中创建实体三维模型和虚拟三维模型。
3.根据权利要求2所述的机器人展示和控制方法,其特征在于,所述三维场景为基于三维坐标系构建的三维空间场景,或所述三维场景为基于所述实体机器人所处的场景构建的虚拟三维场景。
4.根据权利要求1所述的机器人展示和控制方法,其特征在于,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接;
所述基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
获得所述控制操作中对所述虚拟三维模型的底座的拖动操作,基于所述拖动操作对所述底座进行位置移动;
获得所述控制操作中对所述虚拟三维模型的各个关节连杆的转动操作,基于所述转动操作对各所述关节连杆进行角度转动。
5.根据权利要求1所述的机器人展示和控制方法,其特征在于,所述虚拟三维模型包括底座以及与所述底座连接的多个关节连杆,所述多个关节连杆依次连接;
所述基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
获得在控制界面上执行的控制操作中对所述虚拟三维模型的底座的移动数据,以及对各所述关节连杆的转动数据,所述控制操作为在所述控制界面的输入框中进行数据输入,或所述控制操作为对所述控制界面中控制栏上的滑块的滑动操作;
基于所述移动数据对所述底座进行位置移动,并基于各所述转动数据对对应的关节连杆进行角度转动。
6.根据权利要求1所述的机器人展示和控制方法,其特征在于,所述虚拟三维模型和所述实体三维模型的透明度不同,所述在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制的步骤,包括:
在获得针对所述虚拟三维模型的控制操作时,改变所述虚拟三维模型的透明度;
基于所述控制操作对所述虚拟三维模型进行控制,以使所述虚拟三维模型与所述实体三维模型分离。
7.根据权利要求1所述的机器人展示和控制方法,其特征在于,所述基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制的步骤,包括:
根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值,所述笛卡尔坐标值包括位置坐标和旋转坐标;
根据所述位置坐标控制所述实体机器人移动,并根据所述旋转坐标控制所述实体机器人转动。
8.根据权利要求7所述的机器人展示和控制方法,其特征在于,所述根据控制后的虚拟三维模型的位置数据和姿态数据,获得笛卡尔坐标值的步骤,包括:
检测控制后的虚拟三维模型的位置数据是否在预设的位置范围内,并检测控制后的虚拟三维模型的姿态数据是否在预设的角度范围内;
若在预设的位置范围且在预设的角度范围内时,根据所述位置数据和姿态数据获得笛卡尔坐标值。
9.一种机器人展示和控制装置,其特征在于,所述装置包括:
创建模块,用于创建实体三维模型和虚拟三维模型;
展示模块,用于获取实体机器人实时的位置数据和姿态数据,基于所述位置数据和姿态数据控制所述实体三维模型进行同步展示,并控制所述虚拟三维模型与所述实体三维模型进行随动;
控制模块,用于在获得针对所述虚拟三维模型的控制操作时,基于所述控制操作对所述虚拟三维模型进行控制,基于控制后的虚拟三维模型的位置数据和姿态数据对所述实体机器人进行同步控制,并控制所述实体三维模型与所述虚拟三维模型进行随动。
10.一种电子设备,其特征在于,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行权利要求1-8中任意一项所述的方法步骤。
CN202210494380.3A 2022-05-07 2022-05-07 机器人展示和控制方法、装置及电子设备 Active CN114683288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494380.3A CN114683288B (zh) 2022-05-07 2022-05-07 机器人展示和控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494380.3A CN114683288B (zh) 2022-05-07 2022-05-07 机器人展示和控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114683288A true CN114683288A (zh) 2022-07-01
CN114683288B CN114683288B (zh) 2023-05-30

Family

ID=82145151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210494380.3A Active CN114683288B (zh) 2022-05-07 2022-05-07 机器人展示和控制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114683288B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204387A (zh) * 2022-07-21 2022-10-18 法奥意威(苏州)机器人系统有限公司 分层目标条件下的学习方法、装置和电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
CN101311968A (zh) * 2007-05-24 2008-11-26 恒源祥(集团)有限公司 一种虚拟人台的应用方法
CN102216803A (zh) * 2008-11-17 2011-10-12 法罗技术股份有限公司 测量六个自由度的装置和方法
CN104637084A (zh) * 2015-01-29 2015-05-20 吴宇晖 一种建立服装虚拟三维模型的方法及虚拟试衣系统
US20150269785A1 (en) * 2014-03-19 2015-09-24 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
CN106127324A (zh) * 2016-04-26 2016-11-16 山东科技大学 一种用于无人化采掘工作面的远程可视化监控方法
CN106457570A (zh) * 2014-06-06 2017-02-22 纳博特斯克有限公司 作业机器人示教数据生成装置以及示教数据生成方法
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN109887067A (zh) * 2018-04-19 2019-06-14 上海源胜文化传播有限公司 一种虚拟三维人体模型的生成方法及生成系统
CN109955254A (zh) * 2019-04-30 2019-07-02 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN111443619A (zh) * 2020-04-17 2020-07-24 南京工程学院 一种虚实融合的人机协作仿真方法和系统
CN113101137A (zh) * 2021-04-06 2021-07-13 合肥工业大学 一种基于运动映射和虚拟现实的上肢康复机器人
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法
WO2022021782A1 (zh) * 2020-07-27 2022-02-03 中国科学院深圳先进技术研究院 六维姿态数据集自动生成方法、系统、终端以及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
CN101311968A (zh) * 2007-05-24 2008-11-26 恒源祥(集团)有限公司 一种虚拟人台的应用方法
CN102216803A (zh) * 2008-11-17 2011-10-12 法罗技术股份有限公司 测量六个自由度的装置和方法
US20150269785A1 (en) * 2014-03-19 2015-09-24 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
CN106457570A (zh) * 2014-06-06 2017-02-22 纳博特斯克有限公司 作业机器人示教数据生成装置以及示教数据生成方法
CN104637084A (zh) * 2015-01-29 2015-05-20 吴宇晖 一种建立服装虚拟三维模型的方法及虚拟试衣系统
CN106127324A (zh) * 2016-04-26 2016-11-16 山东科技大学 一种用于无人化采掘工作面的远程可视化监控方法
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN109887067A (zh) * 2018-04-19 2019-06-14 上海源胜文化传播有限公司 一种虚拟三维人体模型的生成方法及生成系统
CN109955254A (zh) * 2019-04-30 2019-07-02 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN111443619A (zh) * 2020-04-17 2020-07-24 南京工程学院 一种虚实融合的人机协作仿真方法和系统
WO2022021782A1 (zh) * 2020-07-27 2022-02-03 中国科学院深圳先进技术研究院 六维姿态数据集自动生成方法、系统、终端以及存储介质
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法
CN113101137A (zh) * 2021-04-06 2021-07-13 合肥工业大学 一种基于运动映射和虚拟现实的上肢康复机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204387A (zh) * 2022-07-21 2022-10-18 法奥意威(苏州)机器人系统有限公司 分层目标条件下的学习方法、装置和电子设备
CN115204387B (zh) * 2022-07-21 2023-10-03 法奥意威(苏州)机器人系统有限公司 分层目标条件下的学习方法、装置和电子设备

Also Published As

Publication number Publication date
CN114683288B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
JP6725727B2 (ja) 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
US11850755B2 (en) Visualization and modification of operational bounding zones using augmented reality
US11370105B2 (en) Robot system and method for operating same
US9984178B2 (en) Robot simulator, robot teaching apparatus and robot teaching method
US20190329405A1 (en) Robot simulation device
JP5246672B2 (ja) ロボットシステム
US10635082B2 (en) Robot motion program generating method and robot motion program generating apparatus
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
US20190202055A1 (en) Industrial robot training using mixed reality
JPWO2014013605A1 (ja) ロボットシミュレータ、ロボット教示装置およびロボット教示方法
US20170197308A1 (en) Teaching data generating device and teaching data-generating method for work robot
KR101876845B1 (ko) 로봇 제어 장치
JP6750909B2 (ja) ロボット軌道生成方法、ロボット軌道生成装置、および製造方法
JP6430079B1 (ja) 監視システムおよび監視方法
US11865697B2 (en) Robot system and method for operating same
Andaluz et al. Transparency of a bilateral tele-operation scheme of a mobile manipulator robot
CN114683288B (zh) 机器人展示和控制方法、装置及电子设备
JPS6179589A (ja) ロボツト運転装置
JPH01209505A (ja) 遠隔操作ロボットの教示装置
US20150328772A1 (en) Method, apparatus, and medium for programming industrial robot
KR102403021B1 (ko) 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
US20240058963A1 (en) Multi-mode robot programming
US20230226688A1 (en) Robot programming
US20150328769A1 (en) Method, apparatus, and medium for teaching industrial robot
Tatsuno An example of open robot controller architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant