CN111702759A - 示教系统及机器人的示教方法 - Google Patents
示教系统及机器人的示教方法 Download PDFInfo
- Publication number
- CN111702759A CN111702759A CN202010526341.8A CN202010526341A CN111702759A CN 111702759 A CN111702759 A CN 111702759A CN 202010526341 A CN202010526341 A CN 202010526341A CN 111702759 A CN111702759 A CN 111702759A
- Authority
- CN
- China
- Prior art keywords
- data
- force
- demonstrator
- robot
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种示教系统及机器人的示教方法。其中,该示教系统包括:图像采集装置,用于采集指示机器人的工作状态的图像数据,并将图像数据发送至控制器;力数据检测装置,用于检测机器人的末端操作器产生的力数据,并将力数据发送至控制器;控制器,用于接收图像数据和力数据,将图像数据和力数据转发至示教器,以及将来自示教器的控制指令发送至机器人;示教器,用于提供人机交互界面,在人机交互界面中展示图像数据和力数据,以及通过人机交互界面接收目标对象的触发指令,并在触发指令的触发下,依据图像数据和力数据中的至少之一产生控制指令。
Description
技术领域
本申请涉及机器人示教领域,具体而言,涉及一种示教系统及机器人的示教方法。
背景技术
传统的工业机器人大多采用在线示教的方式进行操控,工作人员或用户需要通过观察工业机器人本体的姿态和目标对象的位置,操作示教器来控制机器人做相应动作,但是在工业机器人更加智能化的发展趋势下,这种示教的方式存在功能比较单一,且过度依赖人为观察结果调整机器人本体的相关控制参数的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种示教系统及机器人的示教方法,以至少解决示教的方式存在功能比较单一,且过度依赖人为观察结果调整机器人本体的相关控制参数的技术问题。
根据本申请实施例的一个方面,提供了一种示教系统,包括:图像采集装置,用于采集指示机器人的工作状态的图像数据,并将所述图像数据发送至所述控制器;力数据检测装置,用于检测所述机器人的末端操作器产生的力数据,并将所述力数据发送至所述控制器;控制器,用于接收所述图像数据和所述力数据,将所述图像数据和力数据转发至示教器,以及将来自所述示教器的控制指令发送至所述机器人;所述示教器,用于提供人机交互界面,在所述人机交互界面中展示所述图像数据和力数据,以及通过所述人机交互界面接收目标对象的触发指令,并在所述触发指令的触发下,依据所述图像数据和力数据中的至少之一产生所述控制指令。
可选地,所述控制器,用于基于所述图像数据确定所述末端操作器与被操作对象的相对位置,并基于该相对位置确定所述末端操作器的目标偏移量和目标位姿信息;所述示教器,用于展示所述目标偏移量和所述目标位姿信息,以及依据所述目标偏移量和目标位姿信息中的至少之一产生所述控制指令。
可选地,所述人机交互界面包括:第一交互界面,用于展示所述图像数据、所述目标偏移量和所述目标位姿信息。
可选地,所述第一交互界面,还用于接收目标对象的第一触发指令,并在所述第一触发指令的触发下,通过所述控制器控制所述图像采集装置采集所述图像数据。
可选地,所述人机交互界面包括:第二交互界面,用于展示所述力数据,并确定用于控制所述末端操作器的力信号,该力信号用于对施加至所述末端操作器的力进行调整。
可选地,所述控制器,用于基于所述力数据生成所述末端操作器的力补偿数据,并将所述力补偿数据发送至示教器;所述示教器,用于基于所述力补偿数据生成所述力信号,并通过所述第二交互界面展示所述力补偿数据;或者,所述示教器,用于通过所述第二交互界面接收目标对象的第二触发指令,并在所述第二触发指令的触发下,依据所述力数据生成所述力补偿数据,基于所述力补偿数据生成所述力信号,并通过所述第二交互界面展示所述力补偿数据。
可选地,所述力数据检测装置包括:六维力传感器;所述力数据包括:六维力传感器检测得到的X、Y、Z方向的力和绕所述X、Y、Z轴方向的转矩数据。
可选地,所述示教器,还用于以缓冲队列的形式存储所述力数据,并在新的力数据到达时,将所述新的力数据设置在所述缓冲队列的尾部,并调用位于所述缓冲队列的头部数据更新在所述人机交互界面中展示的力数据。
可选地,所述系统还包括:通信模块,用于为所述图像采集装置、力数据检测装置与所述示教器之间的通信提供第一线程;以及为所述示教器和控制器之间的通信提供第二线程。
根据本申请实施例的另一个方面,提供了一种机器人的示教方法,包括:获取用于指示机器人的工作状态状态的图像数据和所述机器人的末端操作器所产生的力数据;通过示教器提供的人机交互界面展示所述图像数据和力数据;接收目标对象在所述人机交互界面输入的触发指令,在所述触发指令的触发下,以及所述图像数据和力数据中的至少之一产生控制指令;将所述控制指令发送至所述机器人。
在本申请实施例中,在示教器基础上,增加了图像采集装置、力数据检测装置和控制器的方式,将力觉、视觉和控制进行了结合,从而更好地实现了示教器与机器人的人机交互,使得示教过程更加准确和安全,同时扩展了示教系统的功能,进而解决了示教的方式存在功能比较单一,且过度依赖人为观察结果调整机器人本体的相关控制参数技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种示教系统的结构示意图;
图2是根据本申请实施例的一种可选的视觉界面示意图;
图3是根据本申请实施例的一种可选的力控界面示意图;
图4是根据本申请实施例的一种可选的示教系统的结构示意图;
图5是根据本申请实施例的一种可选的示数据帧结构示意图;
图6是根据本申请实施例的一种可选的示教系统的结构示意图;
图7是根据本申请实施例的一种机器人的示教方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例,现将本申请实施例中涉及的技术术语简述如下:
示教器:是机器人控制系统中的设备,其可以包括显示屏和操作按键和处理器等组件,其是工业机器人的人机交互接口。一般地,示教器是手持式设备。
力觉传感器,用于检测机器人的末端操作器(例如手臂和手腕等)所产生的力或其所受反力的传感器。
视觉传感器,是通过对摄像机拍摄到的图像进行图像处理,来计算对象物的特征量,并输出数据和判断结果的传感器。
相关技术中,工业机器人大多采用在线示教的方式进行操控,工作人员或用户需要通过观察工业机器人本体的姿态和目标对象的位置,操作示教器来控制机器人做相应动作,但是这种在线示教的方式是比较单一的,在机器人动作较为复杂的情况下无法满足更多的需求。为解决上述技术问题,本申请实施例对原有的示教系统的功能进行了扩展,以下结合具体实施例详细说明。
图1是根据本申请实施例的一种示教系统的结构示意图。如图1所述,该示教系统,包括:
图像采集装置10,用于采集指示机器人的工作状态的图像数据,并将图像数据发送至控制器14;可选地,图像采集装置10包括但不限于:视觉传感器、摄像头等。
力数据检测装置12,用于检测机器人的末端操作器产生的力数据,并将力数据发送至控制器14;可选地,力数据检测装置12包括但不限于力觉传感器。
控制器14,用于接收图像数据和力数据,将图像数据和力数据转发至示教器16,以及将来自示教器16的控制指令发送至机器人;
示教器16,用于提供人机交互界面,在人机交互界面中展示图像数据和力数据,以及通过人机交互界面接收目标对象的触发指令,并在触发指令的触发下,依据图像数据和力数据中的至少之一产生控制指令。
在一些可选的实施例中,上述触发指令包括但不限于人机交互界面中的相应控制被触发时产生的指令。
通过在示教系统中增加图像采集装置10、力数据检测装置12和控制器14,从而对示教器的功能进行了扩展,将力觉、视觉和控制进行了结合,从而更好地实现了示教器与机器人的人机交互,使得示教过程更加准确和安全,进而解决了示教的方式存在功能比较单一,且过度依赖人为观察结果调整机器人本体的相关控制参数技术问题。
需要说明的是,上述图像采集装置10、力数据检测装置12和控制器14可以是与示教器16相对独立的设备,也可以作为示教器16的扩展模块。
其中,控制器14可以包括但不限于:RC滤波电路和可编程逻辑控制器(PLC)组成,主要用于对机器人进行运动和逻辑控制,并将图像采集装置12和力数据检测装置12采集的数据转发至示教器,以为示教器绘图提供数据支持。
需要说明的是,控制器14在接收到上述力数据和图像数据后,需要将上述力数据和图像数据进行预处理,以数据包的格式发送至示教器。
机器人在工作过程中,其往往利用机器人手臂等末端操作器对被操作对象进行操作,例如,利用机器人手臂拿起或放下某个物品。在上述过程中,便需要对机器人的末端操作器进行精准控制,为实现该目的,控制器16,还用于基于图像数据确定末端操作器与被操作对象的相对位置,并基于该相对位置确定末端操作器的目标偏移量和目标位姿信息;其中,上述图像数据包括但不限于机器人工作时的环境图像,该环境图像中包括末端操作器和被操作对象的图像。在确定上述目标偏移量和目标位姿信息时,可以依据机器学习模型对末端操作器和被操作对象进行识别,在识别出末端操作器和被操作对象后,依据两者在图像中的相对位置关系确定上述目标偏移量和目标位姿信息,其中,上述目标偏移量和目标位姿信息为末端操作器的目标调整参数,即依据这两种信息对末端操作器进行调整。
在本申请的一些实施例中,图像数据和力数据是通过示教器提供的人机交互界面展示的,其中,图像数据和力数据采用不同的交互界面进行展示,具体地:
上述人机交互界面包括:第一交互界面,用于展示图像数据、目标偏移量和目标位姿信息。第一交互界面,还用于接收目标对象的第一触发指令,并在第一触发指令的触发下,通过控制器控制图像采集装置采集图像数据。其中,在一些实施例中,第一交互界面的表现形式如图2所示,其中包括:用于展示当前位姿的区域,以及人机交互控件,其中,人机交互控件中包括:实时图像、配置、保存和关于等,控件“实时图像”用于触发示教器更新图像采集装置采集的图像数据,控件“配置”用于对当前的交互界面进行配置。控件“保存”用于触发图像数据的保存。
其中,上述第一交互界面作为视觉监控功能的一部分,主要是图像的采集显示和传感器参数的配置,工业机器人在实际作业场景中,要求机器人末端操作器准确地移动到目标位置。视觉工作时,操作人员点击“实时图像”按钮,控制器会发送数据进行信号采集,将摄像头拍摄的图像以文件形式传输到示教器本地文件夹中,在完成一个周期的图片发送后,控制器会发送指令给示教器,让示教器更新显示的图片,示教器接收的所有图片都会存在本地相同命名的文件夹中,为了减轻示教器的内存负担,接收到新的文件后会覆盖旧数据。
上述人机交互界面还包括:第二交互界面,用于展示力数据,并确定用于控制末端操作器的力信号,该力信号用于对施加至末端操作器的力进行调整。
力补偿数据的生成方式有多种,例如:
控制器14,用于基于力数据生成末端操作器的力补偿数据,并将力补偿数据发送至示教器;示教器,用于基于力补偿数据生成力信号,并通过第二交互界面展示力补偿数据;或者,
示教器16,用于通过第二交互界面接收目标对象的第二触发指令,并在第二触发指令的触发下,依据力数据生成力补偿数据,基于力补偿数据生成力信号,并通过第二交互界面展示力补偿数据。
由此可见,力补偿数据有两种生成方式,一种方式是控制器生成,另一种方式是示教器生成。其中,在生成力补偿数据时,可以依据当前采集的力数据与基准数据的比较结果确定力补偿数据,其中,基准数据是预先设定的数据,且不同的工作状态对应不同的基准数据,也就是说,在确定基准数据时,需要对图像采集装置采集的图像数据进行识别,以识别出末端操作器的当前状态(包括但不限于:位置和姿态等);然后,确定与当前状态对应的基准数据;在确定基准数据后,便可以依据当前的力数据和基准数据的差异确定力补偿数据。
在本申请的一些实施例中,力数据检测装置12包括但不限于:六维力传感器;此时,力数据包括:六维力传感器检测得到的X、Y、Z方向的力和绕X、Y、Z轴方向的转矩数据。
具体地,在示教系统的力控功能中,以工具坐标系为参考将力觉信号参数分为6个分量,即沿X、Y、Z方向的力信号和绕X、Y、Z轴方向的转矩信号,该力信号和转矩信号即为上述力数据。控制器14周期性的将力控信号发送给示教器16并提供数据包,采用队列形式在示教端存储缓存数据,进行绘图,当新的力控信号到达,缓冲队列的头数据出队,新数据放在队列尾部,进行数据的实时更新,同时,定时器定时刷新图表,完成动态绘图。在机器人实际作业中,只需在软件界面选中要显示的力/力矩数据便可直接获取数值及数据图,如图3所示,该软件界面(即第二交互界面)中包括用于展示X、Y、Z方向的力信号和绕X、Y、Z轴方向的转矩信号的区域,用于对机器人进行控制的控件,例如,图3中包括但不限于:用于对目标工件进行测量的控件“工件测量”,用于生成对当前力数据和基准数据进行对比的对比窗口的控件“对比窗口”,用于对数据进行清零的“数据清零”控件,用于生成重新绘制图像的指令的控件“重绘图像”等。其中,上述图像包括但不限于:力数据的变化曲线。
正如上面所述,示教器,还用于以缓冲队列的形式存储力数据,并在新的力数据到达时,将新的力数据设置在缓冲队列的尾部,并调用位于缓冲队列的头部数据更新在人机交互界面中展示的力数据。通过上述方式,可以利用缓存的数据生成相应的图像,使得力数据能够更加形象地展示给用户。
需要说明的是,上述第一交互界面和第二交互界面可以由一个主界面切换进入,该主界面中至少包括用于触发进入第一交互界面的控件,和用于触发进入第二交互界面的控件。
如图4所示,示教系统还包括:通信模块18,用于为图像采集装置、力数据检测装置与示教器之间的通信提供第一线程;以及为示教器和控制器之间的通信提供第二线程。通信模块18包括但不限于以太网通信模块。
在一些实施例中,通信模块不仅用于力控传感器(即力数据检测装置)与示教器的数据传输,还包含控制器与示教器之间的数据传输,控制器与示教器之间交互的数据包括但不限于控制指令、末端操作器的位姿信息。通信模块传输的数据主要基于TCP和UDP协议设计的应用层协议,其数据帧结构如图5所示,包括:控制字段、功能字段、长度字段和数据字段,其中,控制字段的大小是一个字节,主要用于区分不同的作用类型;功能字段由两个字节组成,用于区分命令的具体作用,在控制器和示教器的通信模块处理过程中起到了函数映射的作用;长度字段说明了后续数据字段的长度,用于提取数据字段使用占一个字节;数据字段包含了两端具体的交互数据内容,长度根据具体的交互内容确定。
示教器启动服务后,开始监听连接对应的通信端口,检测到连接成功后会在此连接上开始新线程,在通信过程中,新建一个套接字,并调用相应函数完成数据传输。每个模块界面(包括但不限于上述的第一交互界面和第二交互界面)设计有错误信息显示,一旦连接出现错误,操作人员会及时得到错误反馈信息,实现了通信的可靠性。
在本申请的一些实施例中,图6是根据本申请实施例的一种可选的示教系统的结构示意图。如图6所示,该示教系统中包括:
示教器16、控制器14、图像采集装置10(包括但不限于工业摄像头)、通信模块18、末端操作器的控制器60、末端操作器62、六维力传感器64(相当于力数据检测装置12)、机器人本体66。其中,通信模块18包括但不限于以太网通信模块。
根据本申请实施例,提供了一种机器人的示教方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例的一种机器人的示教方法的流程图,如图7所示,该方法包括如下步骤:
步骤S702,获取用于指示机器人的工作状态状态的图像数据和机器人的末端操作器所产生的力数据;其中,图像数据可以通过图1所示实施例中的图像采集装置10获取,然后发送至示教系统中的控制器,力数据可以通过图1所示实施例中的力数据检测装置12获取,然后发送至示教系统中的控制器。
步骤S704,通过示教器提供的人机交互界面展示图像数据和力数据;
步骤S706,接收目标对象在人机交互界面输入的触发指令,在触发指令的触发下,以及图像数据和力数据中的至少之一产生控制指令;上述触发指令包括但不限于人机交互界面中的相应控制被触发时产生的指令。
步骤S708,将控制指令发送至机器人。
在本申请的一些实施例中,图像数据和力数据是通过示教器提供的人机交互界面展示的,其中,图像数据和力数据采用不同的交互界面进行展示,具体地:
上述人机交互界面包括:第一交互界面,用于展示图像数据、目标偏移量和目标位姿信息。第一交互界面,还用于接收目标对象的第一触发指令,并在第一触发指令的触发下,通过控制器控制图像采集装置采集图像数据。其中,在一些实施例中,第一交互界面的表现形式如图2所示,其中包括:用于展示当前位姿的区域,以及人机交互控件,其中,人机交互控件中包括:实时图像、配置、保存和关于等,控件“实时图像”用于触发示教器更新图像采集装置采集的图像数据,控件“配置”用于对当前的交互界面进行配置。控件“保存”用于触发图像数据的保存。
其中,上述第一交互界面作为视觉监控功能的一部分,主要是图像的采集显示和传感器参数的配置,工业机器人在实际作业场景中,要求机器人末端操作器准确地移动到目标位置。视觉工作时,操作人员点击“实时图像”按钮,控制器会发送数据进行信号采集,将摄像头拍摄的图像以文件形式传输到示教器本地文件夹中,在完成一个周期的图片发送后,控制器会发送指令给示教器,让示教器更新显示的图片,示教器接收的所有图片都会存在本地相同命名的文件夹中,为了减轻示教器的内存负担,接收到新的文件后会覆盖旧数据。
上述人机交互界面还包括:第二交互界面,用于展示力数据,并确定用于控制末端操作器的力信号,该力信号用于对施加至末端操作器的力进行调整。
示教系统中的控制器基于力数据生成末端操作器的力补偿数据,并将力补偿数据发送至示教器;示教器,用于基于力补偿数据生成力信号,并通过第二交互界面展示力补偿数据;或者,
通过上述处理步骤,将视觉功能、力觉功能和控制功能进行有机结合,从而对示教器的功能进行了扩展,将力觉、视觉和控制进行了结合,从而更好地实现了示教器与机器人的人机交互,使得示教过程更加准确和安全,进而解决了示教的方式存在功能比较单一,且过度依赖人为观察结果调整机器人本体的相关控制参数技术问题。
需要说明的是,图7所示实施例的优选实施方式可以参见图1至6中的相关描述,此处不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种示教系统,其特征在于,包括:
图像采集装置,用于采集指示机器人的工作状态的图像数据,并将所述图像数据发送至控制器;
力数据检测装置,用于检测所述机器人的末端操作器产生的力数据,并将所述力数据发送至所述控制器;
控制器,用于接收所述图像数据和所述力数据,将所述图像数据和力数据转发至示教器,以及将来自所述示教器的控制指令发送至所述机器人;
所述示教器,用于提供人机交互界面,在所述人机交互界面中展示所述图像数据和力数据,以及通过所述人机交互界面接收目标对象的触发指令,并在所述触发指令的触发下,依据所述图像数据和力数据中的至少之一产生所述控制指令。
2.根据权利要求1所述的系统,其特征在于,
所述控制器,用于基于所述图像数据确定所述末端操作器与被操作对象的相对位置,并基于该相对位置确定所述末端操作器的目标偏移量和目标位姿信息;
所述示教器,用于展示所述目标偏移量和所述目标位姿信息,以及依据所述目标偏移量和目标位姿信息中的至少之一产生所述控制指令。
3.根据权利要求1所述的系统,其特征在于,所述人机交互界面包括:第一交互界面,用于展示所述图像数据、所述目标偏移量和所述目标位姿信息。
4.根据权利要求3所述的系统,其特征在于,所述第一交互界面,还用于接收目标对象的第一触发指令,并在所述第一触发指令的触发下,通过所述控制器控制所述图像采集装置采集所述图像数据。
5.根据权利要求1所述的系统,其特征在于,所述人机交互界面包括:第二交互界面,用于展示所述力数据,并确定用于控制所述末端操作器的力信号,该力信号用于对施加至所述末端操作器的力进行调整。
6.根据权利要求5所述的系统,其特征在于,
所述控制器,用于基于所述力数据生成所述末端操作器的力补偿数据,并将所述力补偿数据发送至示教器;所述示教器,用于基于所述力补偿数据生成所述力信号,并通过所述第二交互界面展示所述力补偿数据;或者,
所述示教器,用于通过所述第二交互界面接收目标对象的第二触发指令,并在所述第二触发指令的触发下,依据所述力数据生成所述力补偿数据,基于所述力补偿数据生成所述力信号,并通过所述第二交互界面展示所述力补偿数据。
7.根据权利要求1所述的系统,其特征在于,所述力数据检测装置包括:六维力传感器;所述力数据包括:六维力传感器检测得到的X、Y、Z方向的力和绕所述X、Y、Z轴方向的转矩数据。
8.根据权利要求1所述的系统,其特征在于,所述示教器,还用于以缓冲队列的形式存储所述力数据,并在新的力数据到达时,将所述新的力数据设置在所述缓冲队列的尾部,并调用位于所述缓冲队列的头部数据更新在所述人机交互界面中展示的力数据。
9.根据权利要求1所述的系统,其特征在于,所述系统还包括:通信模块,用于为所述图像采集装置、力数据检测装置与所述示教器之间的通信提供第一线程;以及为所述示教器和控制器之间的通信提供第二线程。
10.一种机器人的示教方法,其特征在于,包括:
获取用于指示机器人的工作状态状态的图像数据和所述机器人的末端操作器所产生的力数据;
通过示教器提供的人机交互界面展示所述图像数据和力数据;
接收目标对象在所述人机交互界面输入的触发指令,在所述触发指令的触发下,以及所述图像数据和力数据中的至少之一产生控制指令;
将所述控制指令发送至所述机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526341.8A CN111702759A (zh) | 2020-06-09 | 2020-06-09 | 示教系统及机器人的示教方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526341.8A CN111702759A (zh) | 2020-06-09 | 2020-06-09 | 示教系统及机器人的示教方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111702759A true CN111702759A (zh) | 2020-09-25 |
Family
ID=72539895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010526341.8A Pending CN111702759A (zh) | 2020-06-09 | 2020-06-09 | 示教系统及机器人的示教方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111702759A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115016344A (zh) * | 2022-06-07 | 2022-09-06 | 智迪机器人技术(盐城)有限公司 | 一种基于机器人的汽车配件自动安装控制系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120197438A1 (en) * | 2009-12-02 | 2012-08-02 | Canon Kabushiki Kaisha | Dual arm robot |
CN103501969A (zh) * | 2011-11-30 | 2014-01-08 | 松下电器产业株式会社 | 机器人的示教装置、机器人装置、机器人的示教装置的控制方法以及机器人的示教装置的控制程序 |
CN106272416A (zh) * | 2016-08-29 | 2017-01-04 | 上海交通大学 | 基于力觉和视觉的机器人细长轴精密装配系统及方法 |
CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
CN109048903A (zh) * | 2018-08-17 | 2018-12-21 | 上海非夕机器人科技有限公司 | 机械臂插轴入孔的方法及设备 |
CN109940605A (zh) * | 2019-01-29 | 2019-06-28 | 中国工程物理研究院激光聚变研究中心 | 融合三维视觉与接触力分析的柔顺装配系统及方法 |
-
2020
- 2020-06-09 CN CN202010526341.8A patent/CN111702759A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120197438A1 (en) * | 2009-12-02 | 2012-08-02 | Canon Kabushiki Kaisha | Dual arm robot |
CN103501969A (zh) * | 2011-11-30 | 2014-01-08 | 松下电器产业株式会社 | 机器人的示教装置、机器人装置、机器人的示教装置的控制方法以及机器人的示教装置的控制程序 |
CN106272416A (zh) * | 2016-08-29 | 2017-01-04 | 上海交通大学 | 基于力觉和视觉的机器人细长轴精密装配系统及方法 |
CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
CN109048903A (zh) * | 2018-08-17 | 2018-12-21 | 上海非夕机器人科技有限公司 | 机械臂插轴入孔的方法及设备 |
CN109940605A (zh) * | 2019-01-29 | 2019-06-28 | 中国工程物理研究院激光聚变研究中心 | 融合三维视觉与接触力分析的柔顺装配系统及方法 |
Non-Patent Citations (1)
Title |
---|
丁健伟等: "工业机器人示教系统扩展功能与软件开发", 《工业控制计算机》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115016344A (zh) * | 2022-06-07 | 2022-09-06 | 智迪机器人技术(盐城)有限公司 | 一种基于机器人的汽车配件自动安装控制系统及方法 |
CN115016344B (zh) * | 2022-06-07 | 2023-09-19 | 智迪机器人技术(盐城)有限公司 | 一种基于机器人的汽车配件自动安装控制系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018137445A1 (zh) | 一种基于ros系统的机械臂抓取方法及系统 | |
JP6816364B2 (ja) | 制御装置、ロボット、及びロボットシステム | |
Li et al. | Survey on mapping human hand motion to robotic hands for teleoperation | |
JP6361213B2 (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
WO2020241037A1 (ja) | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム | |
KR102001214B1 (ko) | 가상 현실 기반 양팔로봇 교시 장치 및 방법 | |
CN107030692B (zh) | 一种基于感知增强的机械手遥操作方法及系统 | |
Naceri et al. | Towards a virtual reality interface for remote robotic teleoperation | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
CN107656505A (zh) | 使用增强现实设备控制人机协作的方法、装置和系统 | |
CN111459274B (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
JP2019042843A (ja) | ロボットシステム及びその運転方法 | |
CN110549353B (zh) | 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质 | |
CN115454240B (zh) | 一种元宇宙虚拟现实交互体验系统及方法 | |
JP2018144228A (ja) | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム | |
CN111843997A (zh) | 一种机械臂手持通用示教系统及其操作方法 | |
CN111702759A (zh) | 示教系统及机器人的示教方法 | |
CN110666820A (zh) | 一种高性能工业机器人控制器 | |
AU2019232900B2 (en) | System and method for intelligent 3d imaging guided robotic gripper | |
Lopez et al. | Taichi algorithm: Human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration | |
WO2023051706A1 (zh) | 抓取的控制方法、装置、服务器、设备、程序及介质 | |
CN113450903B (zh) | 一种人体动作映射方法、装置、计算机设备和存储介质 | |
JP2020026002A (ja) | ロボットシステム | |
Inaba et al. | Vision-based multisensor integration in remote-brained robots | |
Ciobanu et al. | Robot telemanipulation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |