CN112975952A - 远程操作系统及远程操作方法 - Google Patents

远程操作系统及远程操作方法 Download PDF

Info

Publication number
CN112975952A
CN112975952A CN202011461713.XA CN202011461713A CN112975952A CN 112975952 A CN112975952 A CN 112975952A CN 202011461713 A CN202011461713 A CN 202011461713A CN 112975952 A CN112975952 A CN 112975952A
Authority
CN
China
Prior art keywords
gripping
captured image
input information
unit
end effector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011461713.XA
Other languages
English (en)
Inventor
山本贵史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112975952A publication Critical patent/CN112975952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36159—Detachable or portable programming unit, display, pc, pda
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36168—Touchscreen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40563—Object detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45108—Aid, robot for aid to, assist human disabled

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供一种远程操作系统及远程操作方法。远程操作系统具备：拍摄部，对具备末端执行器的被操作对象所存在的环境进行拍摄；识别部，基于拍摄部拍摄到的环境的拍摄图像，来识别末端执行器能够把持的可把持部；操作终端，显示拍摄图像，并且受理针对所显示的拍摄图像的手写输入信息的输入；及推定部，基于可把持部对拍摄图像输入的手写输入信息，从可把持部之中推定被请求由末端执行器进行把持的把持对象物，并且推定对把持对象物请求的由末端执行器进行的把持动作的方式。

Description

远程操作系统及远程操作方法
技术领域
本公开涉及远程操作系统及远程操作方法。
背景技术
已知一种如下技术：对具备末端执行器的被操作对象(例如，具备臂的前端的把持部(例如，手部或吸附部)作为末端执行器的机器人等)进行远程操作来使该被操作对象执行把持动作等。例如，在日本特许第5326794号公报中公开了如下技术：显示对机器人周边进行拍摄所得的拍摄图像，并基于用户对拍摄图像以手写方式输入的指示，来推定对机器人的操作内容。
发明内容
但是，日本特许第5326794号公报所公开的技术是通过以手写方式输入预先设定的指示图形(〇、×、△等)来对机器人进行远程操作的技术。因此，最近期望通过更直观的操作对被操作对象进行远程操作。
本公开是为了解决这样的问题而提出的，提供一种能够进行更直观的操作的远程操作系统及远程操作方法。
本公开的第一方式中的远程操作系统对具备末端执行器的被操作对象进行远程操作，其中，该远程操作系统具备：
拍摄部，对所述被操作对象所存在的环境进行拍摄；
识别部，基于所述拍摄部拍摄到的所述环境的拍摄图像，来识别所述末端执行器能够把持的可把持部；
操作终端，显示所述拍摄图像，并且受理相对于所显示的所述拍摄图像的手写输入信息的输入；及
推定部，基于所述识别部识别出的所述可把持部和对所述拍摄图像输入的所述手写输入信息，从所述可把持部之中推定被请求由所述末端执行器进行把持的把持对象物，并且推定对所述把持对象物请求的由所述末端执行器进行的把持动作的方式。
本公开的第二方式中的远程操作方法是利用对具备末端执行器的被操作对象进行远程操作的远程操作系统进行的远程操作方法，其中，包括：
对所述被操作对象所存在的环境进行拍摄，
在显示所述环境的拍摄图像的操作终端受理相对于所显示的所述拍摄图像的手写输入信息的输入，
基于所述拍摄图像来识别所述末端执行器能够把持的可把持部，
基于所述可把持部和对所述拍摄图像输入的所述手写输入信息，从所述可把持部之中推定被请求由所述末端执行器进行把持的把持对象物，并且推定对所述把持对象物请求的由所述末端执行器进行的把持动作的方式。
根据上述本公开的方式，可以提供能够进行更直观的操作的远程操作系统及远程操作方法。
本公开的上述和其它目的、特征和优点将从下文给出的详细说明以及附图得到更充分的理解，详细说明和附图仅仅是为了说明的目的而给出的，因此不应将它们看作是对本公开的限制。
附图说明
图1是表示利用本实施方式的远程操作系统的整体环境的例子的概念图。
图2是表示机器人所存在的第一环境的例子的图。
图3是表示手写输入信息的例子的图。
图4是表示手写输入信息的例子的图。
图5是表示手写输入信息的例子的图。
图6是表示机器人的外观结构例的外观立体图。
图7是表示机器人的块结构例的框图。
图8是表示机器人所取得的拍摄图像的例子的图。
图9是表示第一学习完毕模型输出的可把持区域的例子的图。
图10是表示手写输入信息的例子的图。
图11是表示第二学习完毕模型用的教师数据的例子的图。
图12是表示第二学习完毕模型用的教师数据的例子的图。
图13是表示远程终端的块结构例的框图。
图14是表示本实施方式的远程操作系统的整体处理的流程的例子的流程图。
图15是表示图14的步骤S13的处理的详细流程的例子的流程图。
图16是表示手写输入信息的例子的图。
图17是表示输入了多个手写输入信息的例子的图。
具体实施方式
以下，通过发明的实施方式对本公开进行说明，但并非将要求保护的范围的发明限定于以下的实施方式。另外，在实施方式中说明的全部结构并不一定都是作为用于解决课题的手段而必须的。另外，在以下的实施方式中，作为被操作对象，以具备臂的前端的手作为末端执行器的机器人为例进行说明，但被操作对象并不限定于此。
图1是表示利用本实施方式的远程操作系统10的整体环境的例子的概念图。通过位于远离第一环境的第二环境的作为远程操作者的用户对远程终端300(操作终端)进行操作，由此在第一环境中执行各种动作的机器人100经由与互联网600连接的系统服务器500而被远程操作。
机器人100在第一环境中经由无线路由器700与互联网600连接。此外，远程终端300在第二环境中经由无线路由器700与互联网600连接。系统服务器500连接到互联网600。机器人100按照远程终端300的操作，执行由手124进行的把持动作等。
另外，在本实施方式中，对于由手124进行的把持动作不限于仅把持(抓住)把持对象物的动作，例如还包括以下的动作等。
·抓住把持对象物并抬起的动作
·在把持对象物是衣柜等的门或抽屉的把手的情况下，抓住把手来对门或抽屉进行开闭的动作
·在把持对象物是门的门把手的情况下，抓住门把手来对门进行开闭的动作
机器人100利用立体照相机131(拍摄部)对机器人100所存在的第一环境进行拍摄，并经由互联网600将拍摄图像发送到远程终端300。此外，机器人100基于拍摄图像来识别手124能够把持的可把持物。
图2是表示机器人100所存在的第一环境的例子的图。在图2的例子中，在第一环境中存在有桌子400、衣柜410、420、430和门440。另外，存在于第一环境的可把持物是载置于桌子400的物体401、402、衣柜410的把手411、衣柜420的把手421、422、衣柜430的把手431、432及门440的门把手441。
远程终端300例如是平板终端，具有重叠配置有触摸面板的显示面板341。在显示面板341显示从机器人100接收到的拍摄图像，用户能够间接地目视确认机器人100所存在的第一环境。此外，用户能够针对显示于显示面板341的拍摄图像，以手写方式输入手写输入信息，该手写输入信息是对针对被请求由手124进行把持的把持对象物的把持动作的方式进行模拟的图像(第一图像)。作为手写输入信息的输入方法，具有在重叠配置于显示面板341的触摸面板上，使用用户的手指或触控笔等来触摸拍摄图像的相应部分的方法等，但不限定于此。图3～图5是表示对拍摄图像310输入的手写输入信息的例子的图。图3的例子示出了对从上方抓住在桌子400上载置的长方体状的物体401的情况进行模拟所得的手写输入信息901。图4的例子示出了对从侧面抓住桌子400上所载置的圆柱状的物体402的情况进行模拟所得的手写输入信息902。图5的例子示出了对抓住衣柜410的把手411来打开门的情况进行模拟所得的手写输入信息903。如图3～图5所示，手写输入信息的图像可以是仅由线等图形构成的图像，也可以是由线等图形与文字的组合构成的图像。用户对拍摄图像输入的手写输入信息经由互联网600发送给机器人100。
机器人100基于从拍摄图像识别出的可把持物和用户对该拍摄图像输入的手写输入信息，从可把持部之中推定被请求由手124进行把持的把持对象物，并且推定对所推定出的把持对象物请求的由手124进行的把持动作的方式。
图6是表示机器人100的外观结构例的外观立体图。机器人100大致划分由台车部110和主体部120构成。台车部110在圆筒形状的壳体内支承各自的行走面接触地面的两个驱动轮111和一个脚轮112。两个驱动轮111配设成旋转轴芯彼此一致。各驱动轮111由未示出的电动机独立地旋转驱动。脚轮112是从动轮，设置成从台车部110沿铅垂方向延伸的旋转轴与车轮的旋转轴分离地对车轮进行轴支承，并以跟踪的方式追随台车部110的移动方向。
台车部110在上表面的周缘部具备激光扫描器133。激光扫描器133针对每个步进角而扫描水平面内的固定的范围，并输出在各个方向上是否存在障碍物。此外，在存在障碍物的情况下，激光扫描器133输出到该障碍物为止的距离。
主体部120主要具备：搭载于台车部110的上表面的躯干部121；载置于躯干部121的上表面的头部122；支承于躯干部121的侧面的臂123；及设置于臂123的前端部的手124。臂123和手124经由未图示的电动机被驱动，对把持对象物进行把持。躯干部121能够通过未图示的电动机的驱动力而相对于台车部110绕铅垂轴旋转。
头部122主要具备立体照相机131和显示面板141。立体照相机131具有如下结构，即，具有相同的视场角的两个照相机单元彼此分离地配置的结构，并输出由各个照相机单元拍摄所得的拍摄信号。
显示面板141例如是液晶面板，通过动画显示所设定的角色的面部，或者通过文本或图标显示与机器人100相关的信息。如果在显示面板141显示角色的面部，则能够给予周围的人们显示面板141好像是模拟性的面部的印象。
头部122能够通过未图示的电动机的驱动力而相对于躯干部121绕铅垂轴旋转。因此，立体照相机131能够对任意方向进行拍摄，并且显示面板141能够朝向任意方向呈现显示内容。
图7是表示机器人100的块结构例的框图。在此，对与把持对象物及把持动作的方式的推定相关的主要要素进行说明，但作为机器人100的结构，也可以具备其他要素，另外，也可以增加有助于把持对象物及把持动作的方式的推定的其他要素。
控制部150例如是CPU，例如存放于躯干部121所具备的控制单元。台车驱动单元145包括驱动轮111和用于对驱动轮111进行驱动的驱动电路和电动机。控制部150通过向台车驱动单元145发送驱动信号，从而执行驱动轮的旋转控制。另外，控制部150从台车驱动单元145接收编码器等的反馈信号，来掌握台车部110的移动方向和移动速度。
上身驱动单元146包括臂123和手124、躯干部121和头部122、及用于对它们进行驱动的驱动电路和电动机。控制部150通过向上身驱动单元146发送驱动信号，来实现把持动作和手势。另外，控制部150从上身驱动单元146接收编码器等的反馈信号，来掌握臂123及手124的位置和移动速度、躯干部121及头部122的朝向和转速。
显示面板141接收并显示由控制部150生成的图像信号。另外，如上所述，控制部150生成角色等的图像信号，并使其显示于显示面板141。
立体照相机131按照来自控制部150的请求，对机器人100所存在的第一环境进行拍摄，并将拍摄信号传递给控制部150。控制部150使用拍摄信号来执行图像处理，或者按照预先规定的格式将拍摄信号变换为拍摄图像。激光扫描器133按照来自控制部150的请求来检测在移动方向上是否存在障碍物，并将作为其检测结果的检测信号传递给控制部150。
手持照相机135例如是距离图像传感器，用于识别把持对象物的距离、形状、方向等。手持照相机135包括对从对象空间入射的光学图像进行光电变换的像素以二维状排列而成的成像元件，按每个像素向控制部150输出到被摄体为止的距离。具体而言，手持照相机135包括将图形光照射到对象空间的照射单元，由成像元件接收相对于该图形光的反射光，并根据图像中的图形的变形和大小，输出到各像素捕捉到的被摄体为止的距离。另外，控制部150用立体照相机131掌握更广的周边环境的状况，并用手持照相机135掌握把持对象物附近的状况。
存储器180是非易失性的存储介质，例如使用固态驱动器。存储器180除了存储有用于控制机器人100的控制程序以外，还存储有用于控制和运算的各种参数值、函数、查找表等。特别地，存储器180存储有第一学习完毕模型181和第二学习完毕模型182，所述第一学习完毕模型181将拍摄图像作为输入图像，并输出在该拍摄图像中所显现的可把持物，所述第二学习完毕模型182将手写输入信息的图像作为输入图像，并输出该手写输入信息所模拟的把持动作的含义。
通信单元190例如是无线LAN单元，与无线路由器700之间进行无线通信。通信单元190接收从远程终端300发送来的手写输入信息并传递给控制部150。另外，通信单元190按照控制部150的控制，将由立体照相机131拍摄到的拍摄图像发送给远程终端300。
控制部150通过执行从存储器180读出的控制程序来执行机器人100整体的控制和各种运算处理。另外，控制部150还承担作为执行与控制相关的各种运算和控制的功能执行部的作用。作为这种功能执行部，控制部150包括识别部151和推定部152。
识别部151将由立体照相机131的任一个照相机单元拍摄到的拍摄图像作为输入图像，从自存储器180读出的第一学习完毕模型181得到在拍摄图像中显现的手124能够把持的可把持区域，由此识别可把持部。
图8是表示机器人100利用立体照相机131所取得的第一环境的拍摄图像310的例子的图。在图8的拍摄图像310中，显现有具备把手411的衣柜410和具备把手421、422的衣柜420。识别部151将这样的拍摄图像310作为输入图像提供给第一学习完毕模型181。
图9是表示在将图8的拍摄图像310作为输入图像的情况下第一学习完毕模型181输出的可把持区域的例子的图。更具体而言，包围把手411的区域被检测为可把持区域801，包围把手421的区域被检测为可把持区域802，并且包围把手422的区域被检测为可把持区域803。因此，识别部151将分别被可把持区域801、802、803包围的把手411、421、422识别为可把持部。
第一学习完毕模型181是利用教师数据进行学习所得的神经网络，所述教师数据是显现手124能够把持的可把持部的图像与该图像中的哪个区域是可把持部的正确答案值的组合。此时，通过将教师数据设为进一步表示图像中的可把持部的距离、方向的教师数据，还能够将第一学习完毕模型181设为将拍摄图像作为输入图像，并且不仅输出可把持部，还输出该可把持部的距离、方向的学习完毕模型。另外，第一学习完毕模型181是利用深层学习进行学习所得的神经网络为宜。另外，第一学习完毕模型181也可以随时追加教师数据来进行追加学习。
推定部152基于识别部151从拍摄图像识别出的可把持物和用户对该拍摄图像输入的手写输入信息，从识别部151识别出的可把持部之中推定被请求由手124进行把持的把持对象物，并且推定对所推定出的把持对象物请求的由手124进行的把持动作的方式。
图10是表示在远程终端300中，用户对图8的拍摄图像310输入的手写输入信息的例子的图。在图10的例子中，在拍摄图像310上的把手411的位置处输入有手写输入信息904。因此，推定部152推定为，由识别部151识别为可把持部的把手411、421、422之中的被请求由手124进行把持的把持对象物是把手411。另外，推定部152能够以任意的方法识别拍摄图像310上的手写输入信息904的输入位置。例如，如果远程终端300将表示拍摄图像310上的手写输入信息904的输入位置的位置信息包含在手写输入信息904中进行发送，则推定部152能够基于该位置信息来识别手写输入信息904的输入位置。或者，如果远程终端300发送被加工成输入有手写输入信息904的状态的拍摄图像310，则推定部152能够基于该拍摄图像310来识别手写输入信息904的输入位置。
而且，推定部152将用户对拍摄图像输入的手写输入信息的图像作为输入图像，并从自存储器180读出的第二学习完毕模型182得到该手写输入信息所模拟的把持动作的含义，由此推定对把持对象物请求的由手124进行的把持动作的方式。
第二学习完毕模型182是利用教师数据进行学习所得的神经网络，所述教师数据是手写输入信息的图像和该手写输入信息模拟的把持动作的含义的组合。图11是表示第二学习完毕模型182用的教师数据的例子的图。图11的例子是用于使第二学习完毕模型182学习意味着“抓住”这样的把持动作的三个图像和意味着“打开”这样的把持动作的四个图像的教师数据。另外，也可以使第二学习完毕模型182学习与图11的教师数据相比更细致的教师数据。图12是表示用于使第二学习完毕模型182更细致地学习“抓住”这样的把持动作的教师数据的例子的图。在图12的例子中，教师数据是用于使第二学习完毕模型182学习分别意味着“从上方抓住”、“从侧面抓住”和“从斜上方抓住”这样的把持动作的图像的教师数据。另外，第二学习完毕模型182是利用深层学习进行学习所得的神经网络为宜。另外，第二学习完毕模型182也可以随时追加教师数据来进行追加学习。
在图10的例子中，推定部152根据第二学习完毕模型182识别出手写输入信息904是“打开”这样的把持动作的含义。因此，推定部152推定为，对作为把持对象物的把手411请求的把持动作是抓住把手411来打开门这样的动作。
如上所述，推定部152能够推定出被请求由手124进行把持的把持对象物、和对把持对象物请求的由手124进行的把持动作的方式。此外，根据第一学习完毕模型181，能够从由立体照相机131所取得的拍摄图像得到把持对象物的距离、方向。另外，把持对象物的距离、方向既可以通过对第一环境的拍摄图像进行图像解析而得到，也可以通过来自其他传感器的信息而得到。此外，也能够根据来自激光扫描器133的检测信号来检测在机器人100的移动方向上是否存在障碍物。
因此，控制部150基于把持对象物的距离、方向、有无障碍物的存在等，生成用于使机器人100从当前位置起避开障碍物且移动到把持对象物的附近的路径，并将与所生成的路径相应的驱动信号发送给台车驱动单元145。台车驱动单元145根据该驱动信号使机器人100移动到把持对象物的附近。
控制部150在机器人100移动到把持对象物的附近的时间点，进行用于开始对把持对象物请求的由手124进行的把持动作的准备。具体而言，首先，控制部150将臂123向手持照相机135能够观察到把持对象物的位置进行驱动。接着，控制部150使手持照相机135对把持对象物进行拍摄，识别把持对象物的状态。
然后，控制部150基于把持对象物的状态和对把持对象物请求的由手124进行的把持动作的方式，生成用于实现对把持对象物请求的把持动作的手124的轨道。此时，控制部150以满足规定的把持条件的方式生成手124的轨道。规定的把持条件包括手124对把持对象物进行把持时的条件、到手124对把持对象物进行把持为止的轨道的条件等。手124对把持对象物进行把持时的条件例如是在手124对把持对象物进行把持时使臂123不过度伸长等。另外，到手124对把持对象物进行把持为止的轨道的条件例如是在把持对象物是抽屉的把手的情况下手124采取直线轨道等。
控制部150在生成了手124的轨道时，将与所生成的轨道相应的驱动信号发送给上身驱动单元146。手124根据该驱动信号进行对把持对象部的把持动作。
图13是表示远程终端300的块结构例的框图。这里，针对关于对从机器人100接收到的拍摄图像输入手写输入信息的处理的主要要素进行说明，但作为远程终端300的结构，也可以具备其他要素，另外，也可以增加有助于输入手写输入信息的处理的其他要素。
运算部350例如是CPU，通过执行从存储器380读出的控制程序来执行远程终端300整体的控制和各种运算处理。显示面板341例如是液晶面板，例如显示从机器人100发送来的拍摄图像。
输入单元342包括重叠配置于显示面板141的触摸面板、设置于显示面板141的周缘部的按钮等。输入单元342将用户通过对触摸面板的触摸而输入的手写输入信息传递给运算部350，所述手写输入信息是模拟针对请求由手124进行把持的把持对象物的把持动作的方式所得的图像。手写输入信息的例子例如图3～图5所示。
存储器380是非易失性的存储介质，例如使用固态驱动器。存储器380除了存储有用于控制远程终端300的控制程序以外，还存储有用于控制和运算的各种参数值、函数、查找表等。
通信单元390例如是无线LAN单元，在与无线路由器700之间进行无线通信。通信单元390接收从机器人100发送来的拍摄图像并传递给运算部350。另外，通信单元390与运算部350协作，将手写输入信息发送给机器人100。
接着，对本实施方式的远程操作系统10的整体处理进行说明。图14是表示本实施方式的远程操作系统10的整体处理的流程的例子的流程图。左侧的流程表示机器人100的处理流程，右侧的流程表示远程终端300的处理流程。另外，将经由系统服务器500进行的手写输入信息和拍摄图像的交换用虚线箭头表示。
机器人100的控制部150使立体照相机131对机器人100所存在的第一环境进行拍摄(步骤S11)，并将该拍摄图像经由通信单元190发送给远程终端300(步骤S12)。
远程终端300的运算部350在经由通信单元390从机器人100接收到拍摄图像时，将接收到的拍摄图像显示于显示面板341。之后，运算部350转移到受理针对拍摄图像的手写输入信息的输入的状态(步骤S31)。当用户经由触摸面板即输入单元342对拍摄图像输入了手写输入信息时(步骤S31中的“是”)，运算部350将该手写输入信息经由通信单元390发送给机器人100(步骤S32)。
机器人100的识别部151在从远程终端300接收到用户对拍摄图像输入的手写输入信息时，基于该拍摄图像来识别可把持物。机器人100的推定部152基于识别部151从拍摄图像识别出的可把持物和用户对该拍摄图像输入的手写输入信息，从识别部151识别出的可把持部之中推定被请求由手124进行把持的把持对象物，并且推定对所推定出的把持对象物请求的由手124进行的把持动作的方式(步骤S13)。
之后，机器人100的控制部150控制台车驱动单元145，来使机器人100移动到把持对象物的附近，在机器人100移动到把持对象物的附近的时间点，生成用于实现对把持对象物请求的把持动作的手124的轨道(步骤S14)。控制部150在生成手124的轨道后，根据生成的轨道控制上身驱动单元146，利用手124进行对把持对象部的把持动作(步骤S15)。
接着，对图14的步骤S13的处理的详细情况进行说明。图15是表示由机器人100进行的图14的步骤S13的处理的详细流程的例子的流程图。
当从远程终端300接收到用户对拍摄图像输入的手写输入信息时，首先，识别部151将该拍摄图像作为输入图像，并由自存储器180读出的第一学习完毕模型181得到在拍摄图像中所显现的可把持区域，由此识别可把持部(步骤S131)。
接着，推定部152基于拍摄图像上的手写输入信息的输入位置，从识别部151识别出的可把持部之中推定被请求由手124进行把持的把持对象物(步骤S132)。另外，拍摄图像上的手写输入信息的输入位置例如只要使用与上述方法相同的方法来识别即可。
接着，推定部152将手写输入信息的图像作为输入图像，并由自存储器180读出的第二学习完毕模型182得到该手写输入信息所模拟的把持动作的含义，由此推定对把持对象物请求的由手124进行的把持动作的方式(步骤S133)。
如以上所说明的那样，根据本实施方式，识别部151基于对机器人100存在的环境进行拍摄所得到的拍摄图像，来识别手124能够把持的可把持部。推定部152基于识别部151从拍摄图像识别出的可把持部和用户对该拍摄图像输入的手写输入信息，从可把持部之中推定被请求由手124进行把持的把持对象物，并且推定对所推定出的把持对象物请求的由手124进行的把持动作的方式。
由此，用户即使不一边回忆预先设定的指示图形一边进行手写输入，也能够通过远程操作使机器人100执行把持动作。因此，可以实现能够进行更直观的操作的远程操作系统10。
另外，本公开并不限定于上述实施方式，在不脱离主旨的范围内，能够适当地进行变更。
例如，在上述实施方式中，手写输入信息是模拟对被请求由手124进行把持的把持对象物的把持动作的方式所得的图像，但不限定于此。手写输入信息也可以还包括表示把持动作的程度的图像。在该情况下，推定部152也可以基于手写输入信息，进一步推定对把持对象物请求的把持动作的程度。图16是表示包含表示把持动作的程度的图像的手写输入信息的例子的图。图16的例子表示在与图5的手写输入信息903相同的图像中追加了表示把持动作的程度的“30°”这样的图像的手写输入信息905。在图16的例子中，推定部152推定为，对把手411请求的把持动作是抓住把手411来将门打开30°这样的动作。由此，用户能够进行更细致的直观操作。
另外，在上述实施方式中，说明了对拍摄图像输入一个手写输入信息的例子，但不限定于此。对拍摄图像也可以输入多个手写输入信息。在对拍摄图像输入了多个手写输入信息的情况下，推定部152针对多个手写输入信息中的每一个推定把持对象物及把持动作的方式。此时，推定部152也可以将把持动作的顺序推定为与把持动作对应的手写输入信息被输入的顺序。或者，手写输入信息设为还包含表示把持动作的顺序的图像，推定部152可以基于手写输入信息来进一步推定把持动作的顺序。图17是表示输入了多个包含表示把持动作的顺序的图像的手写输入信息的例子的图。图17的例子示出了对拍摄图像310输入了针对把手422的手写输入信息906及针对把手411的手写输入信息907这两个手写输入信息的例子。这里，手写输入信息906包含表示把持动作的顺序的“1”这样的图像，手写输入信息907包含表示把持动作的顺序的“2”这样的图像。因此，在图17的例子中，推定部152推定为，第一个执行对把手422请求的把持动作(抓住把手422来打开抽屉这样的动作)，第二个执行对把手411请求的把持动作(抓住把手411来打开门这样的动作)。
另外，在上述实施方式中，使用了第一学习完毕模型181和第二学习完毕模型182这两个学习完毕模型，但不限定于此。也可以使用将第一学习完毕模型181的输出应用于第二学习完毕模型182所得的转移学习完毕模型，来代替第一学习完毕模型181和第二学习完毕模型182。该转移学习完毕模型例如是如下的模型：将被输入了手写输入信息的拍摄图像作为输入图像，并输出在该拍摄图像中所显现的可把持物、该可把持物中的把持对象物、及该手写输入信息所模拟的对把持对象物的把持动作的含义。
另外，在上述实施方式中，识别部151及推定部152设置于机器人100，但并不限定于此。识别部151和推定部152可以设置于远程终端300，也可以设置于系统服务器500。
此外，在上述实施方式中，机器人100和远程终端300经由互联网600和系统服务器500交换拍摄图像和手写输入信息，但并不限定于此。机器人100和远程终端300也可以通过直接通信来交换拍摄图像和手写输入信息。
另外，在上述实施方式中，使用了机器人100所具备的拍摄部(立体照相机131)，但并不限定于此。拍摄部只要是设置于机器人100所存在的第一环境中的任意场所的任意拍摄部即可。另外，拍摄部并不限定于立体照相机，也可以是单眼照相机等。
另外，在上述实施方式中，说明了被操作对象是具备臂123的前端的手124作为末端执行器的机器人100的例子，但并不限定于此。被操作对象只要是具备末端执行器并使用末端执行器来执行把持动作即可。另外，末端执行器也可以是手以外的其他把持部(例如吸附部等)。
另外，在上述实施方式中，对在机器人100及远程终端300中，通过由CPU执行从存储器读出的控制程序来执行控制和运算处理的情况进行了说明。在系统服务器500中，也可以与机器人100及远程终端300同样地，通过由CPU执行从存储器读出的控制程序来执行控制和运算处理。
在上述例子中，所述程序可以使用任何类型的非暂时性计算机可读介质被存储并且提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁性存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、CD-ROM(光盘只读存储器)、CD-R(可记录光盘)、CD-R/W(可擦写光盘)、以及半导体存储器(例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等))。所述程序可以使用任何类型的暂时性计算机可读介质提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。
从所描述的公开内容中，显而易见的是，本公开的实施例可以以多种方式改变。这种改变不应被认为是脱离了本公开的主旨和范围，并且所有对于本领域的技术人员而言显而易见的这些改变都旨在包括在所要求保护的范围内。

Claims (11)

1.一种远程操作系统，对具备末端执行器的被操作对象进行远程操作，其中，该远程操作系统具备：
拍摄部，对所述被操作对象所存在的环境进行拍摄；
识别部，基于所述拍摄部拍摄到的所述环境的拍摄图像，来识别所述末端执行器能够把持的可把持部；
操作终端，显示所述拍摄图像，并且受理相对于所显示的所述拍摄图像的手写输入信息的输入；及
推定部，基于所述识别部识别出的所述可把持部和对所述拍摄图像输入的所述手写输入信息，从所述可把持部之中推定被请求由所述末端执行器进行把持的把持对象物，并且推定对所述把持对象物请求的由所述末端执行器进行的把持动作的方式。
2.根据权利要求1所述的远程操作系统，其中，
所述手写输入信息包含对针对所述把持对象物的把持动作的方式进行模拟的第一图像。
3.根据权利要求1所述的远程操作系统，其中，
所述推定部基于所述识别部识别出的所述可把持部和对所述拍摄图像输入的所述手写输入信息，进一步推定对所述把持对象物请求的所述把持动作的程度。
4.根据权利要求3所述的远程操作系统，其中，
所述手写输入信息包括：对针对所述把持对象物的把持动作的方式进行模拟的第一图像；及表示该把持动作的程度的图像。
5.根据权利要求1所述的远程操作系统，其中，
在对所述拍摄图像输入了多个所述手写输入信息的情况下，所述推定部基于所述识别部识别出的所述可把持部和对所述拍摄图像输入的多个所述手写输入信息，针对多个所述手写输入信息中的每一个推定所述把持对象物，并且推定对所述把持对象物请求的所述把持动作的方式。
6.根据权利要求5所述的远程操作系统，其中，
所述推定部基于所述识别部识别出的所述可把持部和对所述拍摄图像输入的多个所述手写输入信息，进一步推定由多个所述手写输入信息分别请求的多个所述把持动作的顺序。
7.根据权利要求6所述的远程操作系统，其中，
所述手写输入信息包括：对针对所述把持对象物的把持动作的方式进行模拟的第一图像；及表示该把持动作的顺序的图像。
8.根据权利要求5所述的远程操作系统，其中，
所述推定部基于多个所述手写输入信息被输入的顺序，进一步推定由多个所述手写输入信息分别请求的多个所述把持动作的顺序。
9.根据权利要求2、4或7所述的远程操作系统，其中，
所述推定部使用将所述手写输入信息的所述第一图像作为输入图像的学习完毕模型，来推定对所述把持对象物请求的所述把持动作的方式。
10.一种远程操作方法，是利用对具备末端执行器的被操作对象进行远程操作的远程操作系统执行的远程操作方法，其中，包括：
对所述被操作对象所存在的环境进行拍摄，
在显示所述环境的拍摄图像的操作终端受理相对于所显示的所述拍摄图像的手写输入信息的输入，
基于所述拍摄图像来识别所述末端执行器能够把持的可把持部，
基于所述可把持部和对所述拍摄图像输入的所述手写输入信息，从所述可把持部之中推定被请求由所述末端执行器进行把持的把持对象物，并且推定对所述把持对象物请求的由所述末端执行器进行的把持动作的方式。
11.一种计算机可读介质，存储有用于使计算机执行如下步骤的程序：
基于对具备末端执行器的被操作对象所存在的环境进行拍摄所得的拍摄图像，来识别所述末端执行器能够把持的可把持部；及
基于对显示于操作终端的所述拍摄图像输入的手写输入信息和所述可把持部，从所述可把持部之中推定被请求由所述末端执行器进行把持的把持对象物，并且推定对所述把持对象物请求的由所述末端执行器进行的把持动作的方式。
CN202011461713.XA 2019-12-13 2020-12-11 远程操作系统及远程操作方法 Pending CN112975952A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-225287 2019-12-13
JP2019225287A JP7342676B2 (ja) 2019-12-13 2019-12-13 遠隔操作システム及び遠隔操作方法

Publications (1)

Publication Number Publication Date
CN112975952A true CN112975952A (zh) 2021-06-18

Family

ID=73789864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461713.XA Pending CN112975952A (zh) 2019-12-13 2020-12-11 远程操作系统及远程操作方法

Country Status (5)

Country Link
US (1) US11904481B2 (zh)
EP (1) EP3835002B1 (zh)
JP (1) JP7342676B2 (zh)
KR (2) KR102573687B1 (zh)
CN (1) CN112975952A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
JP2022098658A (ja) * 2020-12-22 2022-07-04 トヨタ自動車株式会社 撮影システム、その撮影方法及びプログラム
JP2022148261A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264553A (ja) * 2009-05-15 2010-11-25 Toyota Motor Corp 遠隔操作システム及び遠隔操作方法
EP2263837A1 (en) * 2008-03-10 2010-12-22 Toyota Jidosha Kabushiki Kaisha Operation teaching system and operation teaching method
KR20110042277A (ko) * 2011-04-12 2011-04-26 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序
TW201731647A (zh) * 2016-03-10 2017-09-16 Namiki Precision Jewel Co Ltd 握持機器人及機器人手部的控制方法
CN107756422A (zh) * 2016-08-17 2018-03-06 株式会社安川电机 拾取系统
CN109937118A (zh) * 2016-11-22 2019-06-25 松下知识产权经营株式会社 拣取系统及其控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5326794B2 (zh) 1972-08-18 1978-08-04
JP5142243B2 (ja) * 2006-09-13 2013-02-13 独立行政法人産業技術総合研究所 ロボット作業教示システムおよびロボットに対する作業教示方法
KR101260367B1 (ko) 2011-09-26 2013-05-07 한국과학기술연구원 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US9283674B2 (en) 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
US9561587B2 (en) * 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
JP6771744B2 (ja) 2017-01-25 2020-10-21 株式会社安川電機 ハンドリングシステム及びコントローラ
JP7136554B2 (ja) 2017-12-18 2022-09-13 国立大学法人信州大学 把持装置、学習装置、プログラム、把持システム、及び学習方法
JP7000253B2 (ja) 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2263837A1 (en) * 2008-03-10 2010-12-22 Toyota Jidosha Kabushiki Kaisha Operation teaching system and operation teaching method
JP2010264553A (ja) * 2009-05-15 2010-11-25 Toyota Motor Corp 遠隔操作システム及び遠隔操作方法
KR20110042277A (ko) * 2011-04-12 2011-04-26 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序
JP2013184257A (ja) * 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
TW201731647A (zh) * 2016-03-10 2017-09-16 Namiki Precision Jewel Co Ltd 握持機器人及機器人手部的控制方法
CN107756422A (zh) * 2016-08-17 2018-03-06 株式会社安川电机 拾取系统
CN109937118A (zh) * 2016-11-22 2019-06-25 松下知识产权经营株式会社 拣取系统及其控制方法

Also Published As

Publication number Publication date
JP7342676B2 (ja) 2023-09-12
KR20210075865A (ko) 2021-06-23
KR102573687B1 (ko) 2023-09-04
US11904481B2 (en) 2024-02-20
US20210178598A1 (en) 2021-06-17
KR20230022918A (ko) 2023-02-16
EP3835002B1 (en) 2023-03-01
JP2021094605A (ja) 2021-06-24
EP3835002A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN112975952A (zh) 远程操作系统及远程操作方法
JP6942177B2 (ja) ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法
CN111788041B (zh) 由机器人基于使用(一个或多个)机器学习模型确定的抓取策略对物体的抓取
US20100172733A1 (en) Intelligent interface device for grasping of an object by a manipulating robot and method of implementing this device
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
US11703872B2 (en) Machine learning method and mobile robot
CN111216122B (zh) 把持机器人及把持机器人的控制程序
KR101331952B1 (ko) 로봇 청소기 및 이의 제어 방법
CN112230649B (zh) 机器学习方法及移动机器人
CN112975950B (zh) 远程操作系统及远程操作方法
JP2020093366A (ja) ロボット
JP6067547B2 (ja) 物体認識装置、ロボット及び物体認識方法
CN117644497A (zh) 远程操作系统、远程操作方法、以及计算机可读取的存储介质
CN117644528A (zh) 远程操作系统、远程操作方法以及计算机可读存储介质
Beetz et al. Robotic roommates making pancakes-look into perception-manipulation loop
US20240139962A1 (en) Iterative control of robot for target object
TW202220623A (zh) 機械手臂的自動控制方法以及自動控制系統
KR20230175122A (ko) 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법
CN116962769A (zh) 基于外设手势智能识别的操作控制方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination