CN113993670A - 手的控制系统以及手的控制方法 - Google Patents

手的控制系统以及手的控制方法 Download PDF

Info

Publication number
CN113993670A
CN113993670A CN202080043961.4A CN202080043961A CN113993670A CN 113993670 A CN113993670 A CN 113993670A CN 202080043961 A CN202080043961 A CN 202080043961A CN 113993670 A CN113993670 A CN 113993670A
Authority
CN
China
Prior art keywords
hand
shape
workpiece
robot arm
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043961.4A
Other languages
English (en)
Inventor
矶边柚香
松山吉成
八代知之
江泽弘造
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113993670A publication Critical patent/CN113993670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40611—Camera to monitor endpoint, end effector position

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

能与机器人臂连接且前端的形状能变形的手的控制系统具备：图像取得部，其取得手的图像；和控制部，其基于图像取得部所取得的图像来探测手成为了至少1个特定的形状，进行与至少1个特定的形状相应的手和机器人臂当中的至少一方的控制。

Description

手的控制系统以及手的控制方法
技术领域
本公开涉及手的控制系统以及手的控制方法。
背景技术
在专利文献1中公开了一种机器人控制装置，其控制机器人装置，该机器人装置具备握持握持对象物的机器人手，该机器人控制装置具备：取得握持对象物的视觉信息的第1取得单元；取得由机器人手作用于握持对象物的力觉信息的第2取得单元；根据由第1取得单元取得的视觉信息算出握持对象物的位置以及姿态的算出单元；基于由第2取得单元取得的力觉信息来导出握持对象物的握持状态变动性的导出单元；和基于由导出单元导出的握持对象物的握持状态变动性来控制第1取得单元以及算出单元的至少1者的处理执行的控制单元。
现有技术文献
专利文献
专利文献1：JP特开2017-87325号公报
发明内容
在机器人手的前端能变形的情况下，有由于该前端的变形而力觉传感器不发挥功能的情况。
本公开鉴于上述的状况而提出，其目的在于，提供一种即使在手的前端能变形的情况下也能判断握持状态的手的控制系统以及手的控制方法。
本公开提供控制系统，是能与机器人臂连接且前端的形状能变形的手的控制系统，具备：图像取得部，其取得所述手的图像；和控制部，其基于所述图像取得部所取得的所述图像来探测所述手成为了至少1个特定的形状，进行与所述至少1个特定的形状相应的所述手和所述机器人臂当中的至少一方的控制。
此外，本公开提供手的控制方法，是能与机器人臂连接且前端的形状能变形的手的控制方法，取得所述手的图像，基于所取得的所述图像来探测所述手成为了特定的形状，进行与所述特定的形状相应的所述手和所述机器人臂当中的至少一方的控制。
根据本公开，能提供即使在手的前端能变形的情况下也能判断握持状态的手的控制系统以及手的控制方法。
附图说明
图1是表示与机器人臂11连接的手12的一例的示意图。
图2是表示本公开的手的控制系统100的一例的框图。
图3是表示机器人装置10所具备的手12与工件W的关系的一例的示意图，(a)是握持前，(b)是握持开始时，(c)是握持完成时，(d)是作业时，(e)是工件松开时。
图4是表示本公开的控制系统100的控制的一例(作业开始时)的流程图。
图5是表示本公开的控制系统100的控制的一例(作业时)的流程图。
图6是表示握持工件W的手12的作业例的示意图，(a)是作业开始时，(b)是工件W与嵌合对象物40的干涉开始时，(c)是手形状的变形时，(d)是手形状向第2正常握持形状的恢复时。
图7是表示由本公开的控制系统100控制与机器人臂11连接的手12的情况的工件距离的变动例的图表。
图8是表示由本公开的控制系统100控制与机器人臂11连接的手12的情况的工件距离的变动例的图表。
图9是例示前端能变形的机器人手的概念图。
具体实施方式
(达到本公开的经过)
工厂等中所用的机器人装置通过在机器人臂安装末端执行器，能进行种种作业。例如，其是作为末端执行器而使用机器人手来捡拾在工厂的生产线上流过的部件等作业。该机器人臂以及末端执行器(机器人手等)由与机器人臂连接的控制装置(控制器)控制。
上述的控制过去使用来自编码器、力觉传感器等种种传感器的反馈来进行。例如，在专利文献1记载的技术中，也使用力觉传感器来导出握持对象物(工件)的握持状态变动性。
在此，在机器人手中，有能对应于要握持的工件等变形的情况。若举出一例，则有被称作柔软手或柔性手的由柔软的素材形成的机器人手(参考图1、图3)。此外，还存在构成为具备多根多关节的手指、手指的表面能变形的机器人手13(图9参考)。这些机器人手在握持工件时，至少前端的形状变形。另外，这里说的“前端”是指机器人手与工件等相接的部分。机器人手与工件等相接的部分(前端)以外的部分也可以进一步变形。
上述那样的至少前端的形状能变形的机器人手在握持多样的物体上适用性高。但若用这样的机器人手握持工件，手的形状本身变形为种种形状。于是，不知道对机器人手施加怎样的力，不能正确地接受来自力觉传感器的反馈。因此，基于来自力觉传感器的反馈的机器人手的正确的控制变得困难。
此外，机器人手一般通过计算基于反向运动学的运动的定律公式来进行控制。但在至少前端的形状能变形的机器人手的情况下，若还加进该变形，定律公式的解不会确定在1个，因此有时连计算都不能进行。此外，就算是能进行计算的情况，其计算量也会变多，需要大量的计算时间。
进而，在具备种种传感器的机器人臂以及末端执行器的启动时，传感器的设定需要时间。此外，在机器人臂以及末端执行器具备多个传感器的情况下，作为来自多个传感器的反馈而得到的信息也成为多个系统，信息处理变得烦杂。进而，在进行利用人工智能的控制的情况下，用于使该人工智能进行机器学习的数据成为多模态，难以使其学习。因此，若能做出不使用这样的传感器的结构就合适了。
因此，在以下的实施方式中，通过在图像中判断机器人手的工件的握持状态，即使是手的前端能变形可能的情况，也能判断握持状态。根据该结构，连力觉传感器都不使用，就能进行手的控制。
此外，若是不使用力觉传感器等的上述结构，就能做出无传感器且简易的系统结构，传感器的设定时间本身都不再需要。进而，能将来自末端执行器(机器人手等)的反馈信息汇集到摄像机的摄像图像。即，能避免多模态的信息处理。另外，在使人工智能进行机器学习时，有助于削减所用信息的通道。
以下适宜参考附图来详细说明具体公开本公开所涉及的手的控制系统以及手的控制方法的结构以及动作的实施方式。但有省略超出必要以上的详细的说明的情况。例如，有省略已经广为人知的事项的详细说明、对实质相同的结构的重复说明的情况。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员的理解容易。另外，附图以及以下的说明为了本领域技术人员充分理解本公开而提供，并不意在由此限定记载于所附权利要求书的主题。
<实施方式1>
在以下的实施方式1中，作为与机器人臂连接的末端执行器，设想使用柔软手(柔性手)的情况来进行说明。但关于至少前端的形状能变形的其他类型的机器人手(例如图9所示那样的机器人手13等)，以下的叙述也同样。
图1是表示与机器人臂11连接的手12的一例的示意图。图2是表示本公开的手的控制系统100的一例的框图。基于图1以及图2来详述本公开的手的控制系统以及手的控制方法。
本公开的手的控制系统100是控制支撑工厂等的自动化的机器人装置10等的系统。
机器人装置10具备机器人臂11和配置于机器人臂11的前端的手12。手12是握持具有种种形状的工件(作业对象物、多样的形状的物体)的机器人手，在本例中是柔软手(柔性手)。因此，手12能配合工件的形状变形。特别是手的前端的形状能变形。关于手12，例如在手12的表面配置柔软性的多个真空式吸引部，从而能将工件W吸引来进行吸附、移动、作业等。
另外，柔软手的手12相对于成为握持对象的工件柔软即可。因此，柔软手包括由柔软的材质形成的手、和材质自身并不柔软性但构造上具有柔软性的手(是塑料制但能通过弹簧等变形等)。
(摄像机CAM的配置以及视角)
本公开的控制系统100不使用力觉传感器等种种传感器，而基于摄像机CAM的摄像图像来控制手12。为了实现基于图像的控制，摄像机CAM配置于手12(参考图1)。此外，摄像机CAM配置于能对手12(特别是手12的前端附近)摄像的位置。在图1的示例中，摄像机CAM配置于手12与机器人臂11的连接部附近，但也可以在这以外的场所配置摄像机CAM。
(控制系统的结构)
图2是表示实施方式1所涉及的控制系统100的硬件结构例的框图。控制系统100控制机器人臂11以及手12的动作。
本例中控制系统100是包含处理器101、存储器102、输入装置103、图像取得部104、手连接部105、通信装置106和输入输出接口107的结构。存储器102、输入装置103、图像取得部104、手连接部105、通信装置106、输入输出接口107分别以能与处理器101之间输入输出数据或信息的方式而用内部总线等进行连接。
处理器101例如使用CPU(Central Processing Unit，中央处理器)、MPU(MicroProcessing Unit，微处理器)、DSP(Digital Signal Processor，数字信号处理器)或FPGA(Field Programmable Gate Array，现场可编程门阵列)来构成。处理器101作为控制系统100的控制部发挥功能，进行用于整体上统括控制系统100的各部的动作的控制处理、与控制系统100的各部之间的数据或信息的输入输出处理、数据的计算处理以及数据或信息的存储处理。此外，处理器101还作为控制手12的控制部发挥功能。
存储器102可以包含HDD(Hard Disk Drive，硬盘驱动器)、ROM(Read OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)等，存放由处理器101执行的各种程序(OS(Operation System)、应用软件等)、各种数据。此外，存储器102可以具有作为每个末端执行器的目标位置的控制信息。该控制信息例如可以是特征点信息等。
输入装置103可以包含键盘、鼠标等，具有作为与用户之间的人机接口的功能，输入用户的操作。换言之，输入装置103用在由控制系统100执行的各种处理中的输入或指示。另外，输入装置103也可以是与控制装置20连接的编程器。
图像取得部104能与摄像机CAM经由有线或无线连接，取得摄像机CAM摄像的图像。控制系统100能对图像取得部104所取得的图像适宜进行图像处理。该图像处理的主体可以是处理器101。此外，控制系统100可以还具备省略图示的图像处理组件，可以是该图像处理组件与控制系统100连接的结构。在处理器101的控制下，能由该图像处理组件进行图像处理。
手连接部105是确保与手12的连接的构成要素，经由手连接部105将控制系统100和手12(以及机器人臂11)连接。该连接可以是利用连接器以及线缆等的有线连接，也可以是无线的连接。在该连接时，手连接部105从手12取得识别手12的识别信息。即，手连接部105作为识别信息取得部发挥功能。另外，处理器101可以从手连接部105进一步取得识别信息。能通过该识别信息来确定为所连接的手12的种类是柔软手。
通信装置106是用于经由网络30与外部进行通信的构成要素。另外，该通信可以是有线通信，也可以是无线通信。
输入输出接口107具有作为与控制系统100之间进行数据或信息的输入输出的接口的功能。
另外，控制系统100的上述结构是一例，不一定具备上述的构成要素的全部。此外，控制系统100也可以进一步具备追加的构成要素。例如，也可以是，箱型的控制系统100(控制装置20)具有车轮，在控制系统100上装载机器人臂11以及手12并自动行走。
(手12的工件W的握持形状)
图3是表示机器人装置10所具备的手12与工件W的关系的一例的示意图，(a)是握持前，(b)是握持开始时，(c)是握持完成时，(d)是作业时，(e)是工件松开时。基于图3来说明手12对工件W的握持的状态。
在图3的(a)的状态下，手12不与工件W接触。通过驱动机器人臂11，将手12推压到工件W，从而手12的前端的形状变形，向图3的(b)的状态接下来向图3的(c)的状态进行过渡。图3的(c)的状态中的手12的形状是手12的第1形状。手12的第1形状可以手12在握持着作为作业对象的工件W的同时进行移动时的形状。
在手12握持工件W后，将该工件W向作业开始位置移动，进行作业。作业的具体例是工件W向对象物的嵌合、连接、固定等。在此，手12由于能如上述那样变形，因此能做出与第1形状不同的例如图3的(d)所示那样的第2形状。手12的第2形状可以是握持作为作业对象的工件W的手12执行作业时的形状。在作业完成后，工件W被从手12松开(参考图3的(e))。
图4是表示本公开的控制系统100的控制的一例的流程图。该流程图示出手12握持工件W并使其移动至作业开始位置时的控制例。
首先，处理器101辨识工件W以及手12(步骤St1)。用于辨识工件W的信息可以从输入装置103输入，也可以从摄像机CAM的摄像图像取得。用于辨识手12的信息可以从手12经由手连接部105的取得，也可以将该信息预先保持于存储器102，从存储器102取得。辨识完毕的信息可以保存在存储器102。
接下来，处理器101估计与工件W相应的手12的第1形状(特定的形状)(步骤St2)。
例如可以将与工件W相应的手12的形状(轮廓或手12上的特征点等)作为数据库预先保持于存储器102，处理器101通过取得该信息，来进行上述的估计。此外，也可以对工件W与手12的形状(轮廓或手12上的特征点等)的关系进行机器学习，预先生成学习模型，将在步骤St1辨识完毕的工件W所涉及的信息输入到该学习模型，并输出手12的估计形状。另外，手12的形状的估计可以如上述那样对应于工件W的形状进行，此外，也可以对应于工件W的质量、表面粗糙度、硬度等进行。表示工件W的质量、表面粗糙度、硬度等的信息可以从输入装置103输入并保存在存储器102。
接下来，处理器101控制手12和机器人臂11，使得手12向第1形状变形(步骤St3、St4)。所谓控制手12和机器人臂11，包含使手12或机器人臂11的一方动作、以及使手12和机器人臂11的两方同时动作。该控制例如可以如以下那样进行。
处理器101控制手12和机器人臂11(步骤St3)。例如，通过处理器101的控制来驱动机器人臂11，将手12推压到工件W，通过手12握持工件W(参考图3的(a)～(c))。接下来，处理器101判定手12的形状是否是第1形状(特定的形状)(步骤St4)。可以是，图像取得部104取得基于摄像机CAM的手12的摄像图像，基于该图像进行该判定。在处理器101判定为手12的形状不是第1形状的情况下(步骤St4“否”)，回到步骤St3，进一步控制手12和机器人臂11，以使得手12成为第1形状(步骤St3)。例如提高手12的真空式吸引部的吸引力等。
处理器101在判定为手12的形状是第1形状的情况下(步骤St4“是”)，将手12的当前的形状作为第1正常握持形状登记(保存)在存储器102(步骤St5)。在该时间点，手12正确地握持着工件W。
在此，更详细地说明步骤St2中的第1形状的估计和步骤St5中的第1正常握持形状的登记(保存)。
握持工件W的手12的第1正常握持形状(步骤St5)是相当于手12的第1形状的形状。但手12能如上述那样变形。因此，作为估计形状的第1形状和实际上握持工件W的第1正常握持形状不一定完全一致。因此，将手12实际握持工件W的状态即步骤St5的开始时间点的手12的形状作为第1正常握持形状进行登记(保存)。
另外，第1形状(步骤St2)只是估计形状，而第1正常握持形状(步骤St5)是手12实际握持工件W的形状。因此，表示作为第1正常握持形状登记(保存)于存储器102的手12的形状的信息的信息量比表示对应于工件W估计出的手12的形状的信息的信息量更多(精度更高)。在使用特征点的示例中，第1形状(步骤St2)的特征点可以是10处的程度，第1正常握持形状(步骤St5)的特征点可以是100处的程度。
接下来，处理器101控制机器人臂11来使工件W移动至作业开始位置(步骤St6)。在该移动时，手12的形状维持第1正常握持形状。
在步骤St6，能基于摄像机CAM的摄像图像来进行是否正在维持第1正常握持形状的探测。即，处理器101比较表示作为第1正常握持形状保存于存储器102的手12的形状的信息、和基于摄像机CAM摄像的图像的表示手12的当前的形状的信息即可。
然后，图像取得部104取得摄像机CAM所摄像的图像，在基于该图像探测到手12的形状成为与第1正常握持形状不同的形状这一情形的情况下，处理器101控制手12和机器人臂11，以使得手12的形状向第1正常握持形状恢复。
例如，在工件W比设想要重的情况下，有时握持的工件W要从手12脱离。在该情况下，基于摄像机CAM所摄像的图像来探测手12的形状变化，处理器101能进行控制，以使得提高手12的吸引力。此外，也可以在工件W从手12完全脱落的情况下，视作第1形状的估计是错误的，变更形状估计中所用的参数，并再度重新进行步骤St1以后的处理。
能如以上那样，基于控制系统100的控制，手12握持工件W并使其移动至作业开始位置。另外，在步骤St4，若基于图像取得部104所取得的图像而探测到手12成为特定的形状(第1形状)(步骤St4“是”)，就进行与特定的形状相应的手和机器人臂的控制。即，处理器101控制机器人臂11，并使工件W移动至作业开始位置(步骤St6)。
此外，处理器101将探测到手12成为特定的形状(第1形状)时(步骤St4“是”)的手12的形状作为表示特定的形状(第1形状)的详细数据(第1正常握持形状)保存在存储器102，并且基于表示特定的形状(第1形状)的详细数据(第1正常握持形状)来进行手12和机器人臂11的控制，以使得维持手12的特定的形状(步骤St6)。
接下来，基于图5来说明进行关于握持的工件W的作业时的控制例。图5是表示本公开的控制系统100的控制的一例的流程图。另外，所谓作业，是指工件W向对象物的嵌合、连接、固定等，在此，以将在手12中握持的工件W嵌合在嵌合对象物40(参考图6)的作业作为一例来进行说明。关于作业整体的概略，首先，手12变形成适于工件W的作业的形状，进行作业，在作业完成后将工件W松开。
处理器101估计与工件W的形状相应的手12的第2形状(特定的形状)(步骤St10)。另外，在图3的(d)中已经例示了第2形状。
该第2形状的估计可以与已经说明的第1形状的估计(步骤St2)同样地进行。例如，可以将与工件W相应的手12的形状(轮廓或手12上的特征点等)作为数据库预先保持于存储器102内，通过由处理器101取得该信息来进行。此外，也可以对工件W与手12的形状(轮廓或手12上的特征点等)的关系进行机器学习，预先生成学习模型，将在步骤St1辨识完毕的工件W所涉及的信息输入到该学习模型，并输出手12的估计形状。另外，手12的形状的估计可以如上述那样对应于工件W的形状进行，此外，也可以对应于工件W的质量、表面粗糙度、硬度等进行。表示工件W的质量、表面粗糙度、硬度等的信息可以从输入装置103输入，并保存于存储器102。
接下来，处理器101控制手12和机器人臂11，以使得手12向第2形状变形(步骤St11、St12)。该控制可以与前述的步骤St3、St4同样，例如如以下那样。
处理器101控制手12和机器人臂11(步骤St11)。例如，降低手12的吸引力，以使得手12从图3的(c)的状态向图3的(d)的状态变形。接下来，处理器101判定手12的形状是否是第2形状(特定的形状)(步骤St12)。可以由图像取得部104取得基于摄像机CAM的手12的摄像图像，基于该图像来进行该判定。处理器101在判定为手12的形状不是第2形状的情况下(步骤St12“否”)，进一步控制手12和机器人臂11，以使得手12成为第2形状(步骤St11)。例如进一步降低手12的真空式吸引部的吸引力等。
处理器101在判定为手12的形状是第2形状的情况下(步骤St12“是”)、将手12的当前的形状作为第2正常握持形状登记(保存)于存储器102(步骤St13)。在该时间点，手12以适于作业的状态正确地握持着工件W。
在此，更详细地说明步骤St10中的第2形状的估计和步骤St13中的第2正常握持形状的登记(保存)。
握持了工件W的手12的第2正常握持形状(步骤St13)是相当于手12的第2形状的形状。但手12如上述那样能变形。因此，作为估计形状的第2形状和实际以适于作业的状态握持工件W的第2正常握持形状不一定完全一致。因此，将手12实际握持工件W的状态即步骤St13的开始时间点的手12的形状作为第2正常握持形状进行登记(保存)。
另外，第2形状(步骤St10)只是估计形状，而第2正常握持形状(步骤St13)是手12实际握持工件W的形状。因此，表示作为第2正常握持形状而登记(保存)于存储器102的手12的形状的信息的信息量比表示对应于工件W估计出的手12的形状的信息的信息量更多(精度更高)。在使用特征点的示例中，第2形状(步骤St10)的特征点可以为10处的程度，第2正常握持形状(步骤St13)的特征点可以为100处的程度。
接下来，处理器101控制手12和机器人臂11来执行作业(步骤St14)。在该作业执行时，手12的形状维持第2正常握持形状。
在步骤St14，能基于摄像机CAM的摄像图像来进行是否正维持第2正常握持形状的探测。即，处理器101比较表示作为第2正常握持形状保存于存储器102的手12的形状的信息和基于摄像机CAM所摄像的图像的表示手12的当前的形状的信息即可。
然后，图像取得部104取得摄像机CAM所摄像的图像，在基于该图像探测到手12的形状成为与第2正常握持形状不同的形状这一情形的情况下，处理器101控制手12和机器人臂11，以使得手12的形状向第2正常握持形状恢复。基于图6之后叙述作业执行时的向第2正常握持形状的恢复。
在作业完成后，处理器101控制手12和机器人臂11，来松开工件W(步骤St15)。
如以上那样，能基于控制系统100的控制来进行关于握持的工件W的作业。另外，在步骤St12，基于图像取得部104所取得的图像探测手12成为了特定的形状(第2形状)(步骤St12“是”)，进行与特定的形状相应的手和机器人臂的控制。即，处理器101控制手12和机器人臂11来执行作业(步骤St14)。
此外，处理器101将探测到手12成为了特定的形状(第2形状)时(步骤St12“是”)的手12的形状作为表示特定的形状(第2形状)的详细数据(第2正常握持形状)保存在存储器102，并基于表示特定的形状(第2形状)的详细数据(第2正常握持形状)来进行手12和机器人臂11的控制，以使得维持手12的特定的形状(步骤St14)。
(作业执行时的向第2正常握持形状的恢复的一例)
以下基于图6来说明作业执行时的向第2正常握持形状的恢复的一例。
图6是表示握持了工件W的手12的作业例的示意图，(a)是作业开始时，(b)是工件W与嵌合对象物40的干涉开始时，(c)是手形状的变形时，(d)是手形状向第2正常握持形状的恢复时。与图5同样，将在手12中握持的工件W与嵌合对象物40嵌合的作业作为一例来进行说明。
在作业开始时(图6的(a)参考)，工件W不与嵌合对象物40(例如连接器)接触。机器人臂11使工件W移动，以使得将其压入，来使其与嵌合对象物40嵌合。在此，在要将工件W与嵌合对象物40嵌合时，会产生位置偏离。因此，如图6的(b)所示那样，有时工件W会与嵌合对象物40的连接器端部等物体发生干涉(碰撞等)。
于是，作为柔软手的手12的形状自身变形(参考图6的(c))。换言之，手12成为与第2正常握持形状不同的形状。摄像机CAM在嵌合作业的执行中也进行摄像。因此，图像取得部104取得摄像机CAM所摄像的图像，处理器101能基于该图像探测手12的变形。
处理器101能若探测到手12的变形，就控制手12和机器人臂11，以使得手12的形状向第2正常握持形状恢复。例如，修正手12的位置，以使得工件W不与嵌合对象物40碰撞。图6的(d)表示进行基于处理器101的控制的手12的位置修正后的状态。在图6的(d)的状态下，由于工件W不与嵌合对象物40接触，因此手12的形状向作为原始的形状的第2正常握持形状恢复。
另外，作业时在工件W与不同于工件W的物体(本例中是嵌合对象物40)之间的干涉并不仅限于碰撞，会根据作业内容而不同。例如在考虑室外等的作业的情况下，还考虑由于外部振动、工件自身的振动、风等而需要变更工件W的握持的情形。通过摄像图像作为手12的变形而探测该干涉导致的影响，控制手12和机器人臂11，以使得向第2正常握持形状恢复即可。手12的形状向第2正常握持形状的恢复可以通过上述的手12的位置移动以外的手段进行。例如，可以通过处理器101的控制使手12的真空式吸引部的吸引力上下变化。
图7以及图8是表示由本公开的控制系统100控制了与机器人臂11连接的手12的情况下的工件距离的变动例的图表。另外，所谓工件距离，是指手12与工件W之间的距离。此外，图表的纵轴是工件距离，横轴是时间。
图7表示从手12对工件W的握持(步骤St2～St5)起到工件W的松开(步骤St15)为止的期间的工件距离的变动例。在手12握持工件W时(步骤St2～St5)，工件距离慢慢变小，手12的形状成为第1正常握持形状(参考图3的(c))。在到作业开始位置为止的移动(步骤St6)中，由于维持第1正常握持形状不变地进行移动，因此工件距离保持固定不变。
在嵌合等作业执行前(步骤St10～St13)，手12的形状从第1正常握持形状(参考图3的(c))向第2正常握持形状(参考图3的(d))变形。因此，工件距离慢慢变大。在作业执行时(步骤St14)，由于维持第2正常握持形状不变地进行作业，因此工件距离保持固定不变。
在作业执行后，由于手12将工件W松开，因此工件距离增大，最终成为图3的(e)所示的状态。
但手12的作业不一定完全没有错误地完成。例如，如图6的(b)所示那样，工件W有时与嵌合对象物40的连接器端部等干涉(碰撞)。
图8表示在作业执行时(步骤St14)发生上述的碰撞错误的情况下的工件距离的变动例。在作业执行时，由于手12维持第2正常握持形状不变地进行作业，因此若没有错误，则工件距离是固定的(参考图7)。但若如图6的(b)所示那样工件W与嵌合对象物40的连接器端部等干涉(碰撞)，则不能从该处向前将工件W塞入，手12变形，从而工件距离慢慢变小。
基于由摄像机CAM进行摄像且由图像取得部104取得的图像来探测该手12的变形，通过处理器101的控制使手12的位置移动。于是，手12向第2正常握持形状恢复。工件距离慢慢增大，回到原始的工件距离的值。
通过如此地基于由摄像机CAM摄像且由图像取得部104取得的图像来控制与机器人臂11连接的手12，工件距离例如如图7以及图8所示那样变动。
如以上那样，能与机器人臂11连接的手12的控制系统具备取得手12的图像的图像取得部104和控制手12的处理器101，手12的至少前端的形状能变形，处理器101基于图像取得部104所取得的图像来探测手12成为了特定的形状，进行与特定的形状相应的手12和机器人臂11的控制。
此外，在具有图像取得部104和处理器101的系统中的能与机器人臂11连接的手12的控制方法中，手12的至少前端的形状能变形，图像取得部104取得手12的图像，处理器101基于图像取得部104所取得的图像来探测手12成为了特定的形状，进行与特定的形状相应的手12和机器人臂11的控制。
根据这些方案，能提供即使是手12的前端能变形的情况下也能判断握持状态的手12的控制系统以及手12的控制方法。
此外，处理器101将探测到手12成为了特定的形状时的手12的形状作为表示特定的形状的详细数据保存在存储器102，并且基于表示特定的形状的详细数据来进行手12和机器人臂11的控制，以使得维持手12的特定的形状。由此，能维持手12正确握持工件W的状态不变地进行手12和机器人臂11的控制。
此外，处理器101对应于作为手12的作业对象的工件W来估计手12的特定的形状。由此，能对应于种种工件W的形状、质量、表面粗糙度、硬度等使手12向合适的形状变形，从而能合适地握持工件W。
此外，处理器101在与特定的形状相应的手12或机器人臂11的控制中，基于图像取得部104取得的图像来探测手12的形状成为了与特定的形状不同的形状这一情况，并且控制手12和机器人臂11，以使得手12的形状向特定的形状恢复。由此，在手12或机器人臂11的控制中，即使由于某个现象而在工件W的握持中出现某个问题，也能基于图像探测该问题，使得向正常状态恢复。
此外，处理器101基于图像取得部104所取得的图像来探测由于手12所握持的工件W与物体碰撞而手12的形状成为与特定的形状不同的形状这一情况，并且控制手12和机器人臂11，使得手12的形状向特定的形状恢复。由此，即使工件W与嵌合对象物40的连接器端部等物体碰撞，也能基于图像来探测该碰撞导致的手12的变形，使得向正常状态恢复。
此外，手12的特定的形状包含手12的第1特定的形状和手12的第2特定的形状，手12的第1特定的形状是手12在握持作为作业对象的工件W的同时进行移动时的形状，手12的第2特定的形状可以是握持作为作业对象的工件W的手12执行作业时的形状。由此，在手12握持作为作业对象的工件W的同时进行移动时以及握持了作为作业对象的工件W的手执行作业时，能维持正常握持状态不变地控制手12和机器人臂11。
产业上的可利用性
本公开作为即使是手的前端能变形的情况下也能判断握持状态的手的控制系统以及手的控制方法是有用的。
附图标记的说明
10 机器人装置
11 机器人臂
12 手
20 控制装置
40 嵌合对象物
100 控制系统
101 处理器
102 存储器
103 输入装置
104 图像取得部
105 手连接部
106 通信装置
107 输入输出接口
CAM 摄像机
W 工件。

Claims (7)

1.一种控制系统，是能与机器人臂连接且前端的形状能变形的手的控制系统，所述控制系统具备：
图像取得部，其取得所述手的图像；和
控制部，其基于所述图像取得部所取得的所述图像来探测所述手成为了至少1个特定的形状，进行与所述至少1个特定的形状相应的所述手和所述机器人臂当中的至少一方的控制。
2.根据权利要求1所述的控制系统，其中，
所述控制部将探测到所述手成为了所述至少1个特定的形状时的所述手的形状作为表示所述至少1个特定的形状的详细数据保存于存储器，并且基于所述详细数据来进行所述控制，以使得维持所述手的所述至少1个特定的形状。
3.根据权利要求1或2所述的控制系统，其中，
所述控制部对应于作为所述手的作业对象的工件来估计所述手的所述至少1个特定的形状。
4.根据权利要求1～3中任一项所述的控制系统，其中，
所述控制部在与所述至少1个特定的形状相应的所述手或所述机器人臂的控制中，若基于所述图像取得部所取得的所述图像探测到所述手的形状成为了与所述至少1个特定的形状不同的形状这一情况，就进行所述控制，使得所述手的形状向所述至少1个特定的形状恢复。
5.根据权利要求4所述的控制系统，其中，
所述控制部若基于所述图像取得部所取得的所述图像探测到由于所述手所握持的工件与物体碰撞而所述手的形状成为了与所述至少1个特定的形状不同的形状这一情况，就进行所述控制，以使得所述手的形状向所述至少1个特定的形状恢复。
6.根据权利要求1～5中任一项所述的控制系统，其中，
所述手的所述至少1个特定的形状包含所述手的第1特定的形状和所述手的第2特定的形状，
所述手的第1特定的形状是所述手在握持作为作业对象的工件的同时进行移动时的形状，
所述手的第2特定的形状是握持了作为所述作业对象的工件的所述手执行作业时的形状。
7.一种手的控制方法，是能与机器人臂连接且前端的形状能变形的手的控制方法，
取得所述手的图像，
基于所取得的所述图像来探测所述手成为了特定的形状，
进行与所述特定的形状相应的所述手和所述机器人臂当中的至少一方的控制。
CN202080043961.4A 2019-07-12 2020-05-21 手的控制系统以及手的控制方法 Pending CN113993670A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-130622 2019-07-12
JP2019130622 2019-07-12
PCT/JP2020/020073 WO2021010016A1 (ja) 2019-07-12 2020-05-21 ハンドの制御システム及びハンドの制御方法

Publications (1)

Publication Number Publication Date
CN113993670A true CN113993670A (zh) 2022-01-28

Family

ID=74210456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043961.4A Pending CN113993670A (zh) 2019-07-12 2020-05-21 手的控制系统以及手的控制方法

Country Status (4)

Country Link
US (1) US20220134550A1 (zh)
JP (1) JPWO2021010016A1 (zh)
CN (1) CN113993670A (zh)
WO (1) WO2021010016A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294885A (ja) * 1995-04-25 1996-11-12 Nissan Motor Co Ltd 組立用ロボットハンドシステム
US5984623A (en) * 1998-03-31 1999-11-16 Abb Flexible Automation, Inc. Carrier feed vaccum gripper
JP2002036159A (ja) * 2000-07-21 2002-02-05 Kansai Tlo Kk ロボットハンドの制御方法
JP2009255192A (ja) * 2008-04-14 2009-11-05 Canon Inc マニュピュレーション装置及びその制御方法
JP2010110846A (ja) * 2008-11-05 2010-05-20 Panasonic Corp ロボットハンド及びロボットハンドの制御装置
JP5126076B2 (ja) * 2009-01-08 2013-01-23 富士通株式会社 位置測定装置、成膜方法並びに成膜プログラム及び成膜装置
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法
JP6273084B2 (ja) * 2012-09-20 2018-01-31 株式会社安川電機 ロボットシステムおよびワークの搬送方法
DE102013212887B4 (de) * 2012-10-08 2019-08-01 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Steuern einer Robotereinrichtung,Robotereinrichtung, Computerprogrammprodukt und Regler
US9616569B2 (en) * 2015-01-22 2017-04-11 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
US10661447B2 (en) * 2016-01-20 2020-05-26 Soft Robotics, Inc. End of arm tools for soft robotic systems
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
US10875189B2 (en) * 2018-02-06 2020-12-29 City University Of Hong Kong System and method for manipulating deformable objects

Also Published As

Publication number Publication date
JPWO2021010016A1 (zh) 2021-01-21
US20220134550A1 (en) 2022-05-05
WO2021010016A1 (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
CN107225569B (zh) 定位装置
CN107718018B (zh) 组装机器人的机器人控制装置
US10532461B2 (en) Robot and robot system
US11090814B2 (en) Robot control method
US10456917B2 (en) Robot system including a plurality of robots, robot controller and robot control method
US8855824B2 (en) Dual arm robot
JP6894770B2 (ja) ワークの接触状態推定装置
US10603793B2 (en) Work assisting system including machine learning unit
JP2007237312A (ja) 制御装置
EP2921267A2 (en) Robot system, calibration method in robot system, and position correcting method in robot system
US20190015989A1 (en) Robot Control Device, Robot, Robot System, And Calibration Method Of Camera
US20150343637A1 (en) Robot, robot system, and control method
CN109421049B (zh) 机器人系统
JP7186349B2 (ja) エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
CN110303474B (zh) 使用图像处理修正机器人的示教的机器人系统
JP7275759B2 (ja) 物体検出方法、物体検出装置およびロボットシステム
JP2022163719A (ja) 対象物を挿入部に挿入するようにロボットを制御するための装置及び方法
US20160306340A1 (en) Robot and control device
JP6217322B2 (ja) ロボット制御装置、ロボット及びロボット制御方法
CN113993670A (zh) 手的控制系统以及手的控制方法
WO2018088199A1 (ja) ロボット制御装置、ロボット、ロボットシステム、及び、ロボット制御方法
JP6176091B2 (ja) 把持方法、運搬方法及びロボット
JP2019155523A (ja) ロボット制御装置、ロボット制御方法、ロボット制御装置を用いた物品の組立方法、プログラム及び記録媒体
US11865728B2 (en) Fitting method and robot system
US20220092290A1 (en) Image Recognition Method And Robot System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination