CN116033999A - 机器人系统以及控制方法 - Google Patents

机器人系统以及控制方法 Download PDF

Info

Publication number
CN116033999A
CN116033999A CN202180053646.4A CN202180053646A CN116033999A CN 116033999 A CN116033999 A CN 116033999A CN 202180053646 A CN202180053646 A CN 202180053646A CN 116033999 A CN116033999 A CN 116033999A
Authority
CN
China
Prior art keywords
image
thickness
distance
unit
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180053646.4A
Other languages
English (en)
Inventor
井航太
太田悠介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN116033999A publication Critical patent/CN116033999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37398—Thickness
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明提供能够高精度地取得对象物的厚度的机器人系统以及控制方法。机器人系统具备：拍摄部，其搭载在机器人上，拍摄对象物的二维图像；图像处理部，其基于所述二维图像来取得所述对象物的距离信息；距离图像生成部，其基于所述距离信息来生成距离图像；以及厚度计算部，其基于所述距离图像来计算所述对象物的厚度，所述拍摄部无论所述对象物的侧面与所述拍摄部的位置关系如何，都拍摄所述对象物的所述二维图像。

Description

机器人系统以及控制方法
技术领域
本发明涉及机器人系统以及控制方法。
背景技术
以往，为了测定与具有三维形状的对象物的距离，提出了各种技术(例如，参照专利文献1)。专利文献1所记载的三维测量装置具备：形状测定部，其针对存在于拍摄视野中的拍摄物表面上的各点取得距离信息；以及指示器，其露出地配置在传感器壳体，表示基于形状测定部取得的距离信息而计算出的拍摄物表面与三维测量装置中的基准点之间的位置关系。
现有技术文献
专利文献
专利文献1：日本特开2019-207152号公报
发明内容
发明所要解决的课题
在通过机器人取出瓦楞纸箱等那样的被层叠的对象物来向其他场所(货盘等)进行堆叠时，具有机器人的机器人系统需要准确地取得对象物的厚度。因此，期望高精度地取得对象物的厚度。
用于解决课题的手段
本公开的机器人系统具备：拍摄部，其拍摄对象物的二维图像；图像处理部，其基于所述二维图像来取得所述对象物的距离信息；距离图像生成部，其基于所述距离信息来生成距离图像；以及厚度计算部，其基于所述距离图像来计算所述对象物的厚度，所述拍摄部不管所述对象物的侧面与所述拍摄部的位置关系如何，都拍摄所述对象物的所述二维图像。
本公开的机器人系统的控制方法具备：拍摄对象物的二维图像的步骤；基于所述二维图像取得所述对象物的距离信息的步骤；基于所述距离信息生成距离图像的步骤；以及基于所述距离图像来计算所述对象物的厚度的步骤，拍摄所述对象物的所述二维图像的拍摄部不管所述对象物的侧面与所述拍摄部的位置关系如何，都拍摄所述对象物的所述二维图像。
发明效果
根据本发明，能够高精度地取得对象物的厚度。
附图说明
图1表示本实施方式的机器人系统的概要。
图2表示拍摄部的结构。
图3用于说明求出视差的处理。
图4表示针对距离图像的处理。
图5表示距离图像及对象物的厚度的例子。
图6表示包含被堆叠的5个对象物的距离图像。
图7表示将对象物的斑块(Blob)的面积设定为特征量，并检测所设定的特征量的例子。
图8表示将对象物的斑块的短轴长度设定为特征量，并检测所设定的特征量的例子。
图9是表示机器人系统的处理的流程图。
具体实施方式
以下，对本发明的实施方式的一例进行说明。
图1表示本实施方式的机器人系统100的概要。如图1所示，机器人系统100具备机器人10、拍摄部11、机器人控制装置20以及图像控制装置30。机器人系统100基于由拍摄部11拍摄到的图像，通过机器人10进行对象物W的处理等作业。
在机器人10的臂的前端部安装有手或工具。机器人10通过机器人控制装置20的控制，进行对象物W的处理等作业。另外，在机器人10的臂的前端部搭载有拍摄部11。另外，拍摄部11也可以不安装在机器人10，例如，可以设置在预定的位置。
拍摄部11搭载在机器人10的臂的前端部。拍摄部11拍摄对象物W的距离图像以及二维图像。
图2表示拍摄部11的结构。
如图2所示，拍摄部11具备内部摄像机111和投影仪112。拍摄部11拍摄对象物W的二维图像。二维图像是由灰度构成的图像。
内部摄像机111具有2个摄像机。内部摄像机111对于通过投影仪112被照射了条纹图案等图案光的对象物W(拍摄物)进行拍摄。另外，2个摄像机的相对位置预先确定，将2个摄像机的光轴配置为相互平行。
投影仪112作为光源发挥功能，向对象物W照射条纹图案等图案光。
返回图1，机器人控制装置20与机器人10连接，控制机器人10的动作。
图像控制装置30与拍摄部11连接，控制拍摄部11。另外，图像控制装置30对拍摄部11拍摄到的图像执行预定的处理。
另外，图像控制装置30具备图像处理部301、距离图像生成部302、图像识别部303以及厚度计算部304。
图像处理部301基于拍摄部11拍摄到的对象物W的二维图像，取得对象物W的距离信息。
距离图像生成部302基于图像处理部301取得的距离信息来生成距离图像。
厚度计算部304基于所生成的距离图像来计算对象物W的厚度。
图3用于说明求出视差的处理。在图3中，图像1和2是由2个内部摄像机111拍摄到的二维图像。
图像处理部301从图像2中搜索与图像1中的小区域(图像范围)相同的影像，计算图像1与图像2之间的视差。
这样的2个图像1与图像2之间的像素位置的差被称为视差。从内部摄像机111到对象物W的距离越远，视差越小，相反，从内部摄像机111到对象物W的距离越近，视差越大。
例如，在图3中，图像1中的小区域的位置为(X＝200，Y＝150)，图像2中的与图像1的小区域对应的位置为(X＝200，Y＝300)，因此关于Y，视差为300－150＝150。另外，图3中的X和Y表示内部摄像机111的像素。
图像处理部301通过将2个二维图像中的视差转换为距离来取得距离信息。
从视差到距离的变换使用以下的式(1)来进行。
Z＝B×F/S    (1)
在此，Z为距离(mm)，B为2个摄像机间的距离(mm)，F为焦距(mm)，S为视差(mm)。
然后，距离图像生成部302使用所取得的距离信息来生成距离图像。即，距离图像是通过将拍摄部11(内部摄像机111)到对象物W的距离信息进行图像化而得到的。因此，在距离图像中，离拍摄部11近的场所在图像上亮，相反地，离拍摄部11远的场所在图像上暗。
图4表示针对距离图像的处理。图5表示距离图像及对象物的厚度的例子。
图像识别部303在距离图像中，使接近的三维的点连结，通过面积及角度等来对三维的点的集合赋予特征。图像识别部303通过检测被赋予了特征的三维的点的集合(斑块)来检测对象物W。然后，厚度计算部304计算检测出的对象物W的厚度。
在图4所示的例子中，在距离图像M1中，将斑块长轴长度以及斑块短轴长度作为特征量来设定检索范围，由此检测出11个对象物。
图6至图8用于说明从斑块检测对象物的处理。在图6至图8所示的例子中，对于被堆叠的5个对象物B1～B5的检测处理进行说明。
图6表示包含被堆叠的5个对象物B1～B5的距离图像。首先，在示教对象物的检测时，图像识别部303按照示教人员对操作部(未图示)的操作，选择1个以上的特征量(例如，长轴长度、短轴长度等)使得检测全部的对象物，并设定用于检索1个以上的特征量的检索范围。
图像识别部303检测存在于所设定的检索范围内的斑块来作为对象物。为了减少误检测以及未检测出，图像识别部303按照示教人员对操作部的操作反复进行检测，由此调整用于检索特征量的检索范围。
图7表示将对象物的斑块的面积设定为特征量，并检测所设定的特征量的例子。在图7所示的例子中，作为执行对象物检测的例子而示出图像M4以及M5。在图像M4以及M5中，由于全部对象物的斑块的面积收敛于所设定的检索范围内，因此图像识别部303能够检测出全部对象物B1-B5。
图8表示将对象物的斑块的短轴长度设定为特征量，检测所设定的特征量的例子。在图8所示的例子中，作为执行对象物检测的例子而示出图像M6以及M7。
在图像M6中，由于全部对象物的斑块的短轴长度收敛于所设定的检索范围内，因此图像识别部303能够检测出全部对象物B1-B5。另一方面，在图像M7中，由于对象物B2的斑块的短轴长度未收敛于所设定的检索范围内，因此图像识别部303无法检测出对象物B2。
这样，在检索范围不适当的情况下，图像识别部303发生对象物的误检测以及未检测出。在上述例子中，作为要调整的特征量的检索范围而使用了对象物的面积以及短轴长度，但特征量并不限于此。特征量例如也可以是长轴长度、角度等。
厚度计算部304也可以在通过机器人10取出对象物W之前，计算由图像识别部303识别出的对象物W的厚度。另外，厚度计算部304也可以在用于放置货物的货盘上载置了多个对象物W的情况下，针对每个货盘计算多个对象物W的厚度，并计算多个对象物W的厚度的平均值，由此计算对象物W的厚度。
另外，厚度计算部304例如能够使用以下(1)至(4)的方法，计算由图像识别部303识别出的对象物W的厚度。
(1)使用对象物W的斑块的长轴/短轴的长度。
(2)使用多个斑块的长轴/短轴的长度的平均值。
(3)使用在高度方向上相邻的斑块的重心间的长度。
(4)使用在高度方向上相邻的多个斑块的重心间的长度的平均值。
通过进行这样的处理，如图5所示，即使在作为对象物W而堆叠了多个瓦楞纸箱等的情况下，厚度计算部304也能够计算出对象物W的厚度。在图5中，特别是计算出图1所示的4处的对象物W的厚度。
图9是表示机器人系统1的处理的流程图。
在步骤S1中，拍摄部11拍摄对象物W的二维图像。在此，拍摄部11随着机器人10的动作而移动，无论对象物W的侧面与拍摄部11的位置关系如何，都拍摄对象物的二维图像。即，拍摄部11无论是在对象物W的侧面与拍摄部11正对的情况下，还是在不正对的情况下，都拍摄对象物的二维图像。
在步骤S2中，图像处理部301基于二维图像取得对象物W的距离信息。
在步骤S3中，距离图像生成部302基于距离信息生成距离图像。
在步骤S4中，图像识别部303基于距离图像来识别对象物W。
在步骤S5中，厚度计算部304基于识别出对象物W的距离图像来计算对象物W的厚度。
如以上说明的那样，本实施方式的机器人系统100具备：拍摄部11，其拍摄对象物W的二维图像；图像处理部301，其基于二维图像来取得对象物W的距离信息；距离图像生成部302，其基于距离信息来生成距离图像；以及厚度计算部304，其基于距离图像来计算对象物W的厚度。拍摄部11随着机器人10的动作而移动，无论对象物W的侧面与拍摄部11的位置关系如何，都拍摄对象物W的二维图像。
现有技术使用三维传感器等，根据成为基准的台或地板的三维信息(例如高度、形状等)与对象物(例如堆叠的货物)的三维信息之间的差来测定对象物的厚度。因此，现有技术仅在对象物不重叠的情况下能够测定对象物的厚度。另外，现有技术需要三维传感器正对对象物的上表面。
另一方面，本实施方式的机器人系统100基于距离图像计算对象物W的厚度，因此无论在对象物W的侧面与拍摄部11正对的情况下，还是不正对的情况下，都能够高精度地取得对象物W的厚度。另外，机器人系统100与现有技术不同，即使在对象物W堆叠的情况下也能够取得对象物W的厚度。另外，机器人系统100基于距离图像来计算对象物W的厚度，因此无需像现有技术那样测量基准位置。
另外，厚度计算部304通过基于距离图像计算多个对象物W的厚度的平均值来计算对象物W的厚度。由此，机器人系统100即使在堆叠了具有大致同等形状的对象物W(例如瓦楞纸箱等)的情况下，也能够高精度地取得对象物W的厚度。
另外，厚度计算部304在距离图像中，使接近的三维的点连结，对三维的点的集合赋予特征，通过检测三维的点的集合(斑块)来检测对象物W，并计算检测出的对象物W的厚度。由此，无论在对象物W的侧面与拍摄部11正对的情况下，还是不正对的情况下，机器人系统100都能够高精度地取得对象物W的厚度。
以上对本发明的实施方式进行了说明，上述机器人系统100能够通过硬件、软件或者它们的组合来实现。另外，上述机器人系统100执行的控制方法也能够通过硬件、软件或者它们的组合来实现。在此，通过软件实现是指通过计算机读入并执行程序来实现。
程序可以使用各种类型的非暂时性的计算机可读介质(non-transitorycomputer-readable media)来存储，并提供给计算机。非暂时性计算机可读介质包含各种类型的有形存储介质(tangible storage media)。作为非暂时性的计算机可读介质的例子，包含磁记录介质(例如，硬盘驱动器)、光磁记录介质(例如，光磁盘)、CD-ROM(Read OnlyMemory：只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩模ROM、PROM(ProgrammableROM：可编程ROM)、EPROM(Erasable PROM：可擦除PROM)、闪存ROM、RAM(random accessmemory：随机存取存储器))。
另外，上述各实施方式是本发明的优选实施方式，但并非将本发明的范围限定于上述各实施方式。能够通过在不脱离本发明的主旨的范围内实施了各种变更的方式来实施。
附图标记的说明
1机器人系统
10机器人
11拍摄部
20机器人控制装置
30图像控制部
301图像处理部
302距离图像生成部
303图像识别部
304厚度计算部。

Claims (4)

1.一种机器人系统，其特征在于，具备：
拍摄部，其拍摄对象物的二维图像；
图像处理部，其基于所述二维图像来取得所述对象物的距离信息；
距离图像生成部，其基于所述距离信息来生成距离图像；以及
厚度计算部，其基于所述距离图像来计算所述对象物的厚度，
所述拍摄部不管所述对象物的侧面与所述拍摄部的位置关系如何，都拍摄所述对象物的所述二维图像。
2.根据权利要求1所述的机器人系统，其特征在于，
所述厚度计算部通过基于所述距离图像计算多个所述对象物的厚度的平均值来计算所述对象物的厚度。
3.根据权利要求1或2所述的机器人系统，其特征在于，
所述厚度计算部在所述距离图像中，使接近的三维的点连结，对所述三维的点的集合赋予特征，通过检测所述三维的点的集合来检测所述对象物，并计算检测出的所述对象物的厚度。
4.一种机器人系统的控制方法，其特征在于，具有：
拍摄对象物的二维图像的步骤；
基于所述二维图像取得所述对象物的距离信息的步骤；
基于所述距离信息生成距离图像的步骤；以及
基于所述距离图像来计算所述对象物的厚度的步骤，
拍摄所述对象物的所述二维图像的拍摄部不管所述对象物的侧面与所述拍摄部的位置关系如何，都拍摄所述对象物的所述二维图像。
CN202180053646.4A 2020-09-02 2021-08-26 机器人系统以及控制方法 Pending CN116033999A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020147223 2020-09-02
JP2020-147223 2020-09-02
PCT/JP2021/031375 WO2022050169A1 (ja) 2020-09-02 2021-08-26 ロボットシステム及び制御方法

Publications (1)

Publication Number Publication Date
CN116033999A true CN116033999A (zh) 2023-04-28

Family

ID=80491719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180053646.4A Pending CN116033999A (zh) 2020-09-02 2021-08-26 机器人系统以及控制方法

Country Status (5)

Country Link
US (1) US20230311329A1 (zh)
JP (1) JP7481468B2 (zh)
CN (1) CN116033999A (zh)
DE (1) DE112021004595T5 (zh)
WO (1) WO2022050169A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091003A (ja) * 2003-09-12 2005-04-07 Omron Corp ２次元分光装置及び膜厚測定装置
US9630320B1 (en) * 2013-03-15 2017-04-25 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
WO2019190054A1 (ko) * 2018-03-27 2019-10-03 주식회사 엘지화학 이차전지 제조장치 및 제조방법
CN110561437A (zh) * 2019-09-19 2019-12-13 工业云制造(四川)创新中心有限公司 一种毛坯件自动化加工取料方法、存储介质及终端
CN111274943A (zh) * 2020-01-19 2020-06-12 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266952B2 (ja) 2008-08-19 2013-08-21 オムロン株式会社 光学式計測装置および計測方法
JP5201416B2 (ja) * 2009-04-13 2013-06-05 株式会社アイティーティー 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP5429614B2 (ja) * 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US10455212B1 (en) 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
JP7119584B2 (ja) 2018-05-29 2022-08-17 オムロン株式会社 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
WO2020008538A1 (ja) 2018-07-03 2020-01-09 三菱電機株式会社 材質推定装置及びロボット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091003A (ja) * 2003-09-12 2005-04-07 Omron Corp ２次元分光装置及び膜厚測定装置
US9630320B1 (en) * 2013-03-15 2017-04-25 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
WO2019190054A1 (ko) * 2018-03-27 2019-10-03 주식회사 엘지화학 이차전지 제조장치 및 제조방법
CN110561437A (zh) * 2019-09-19 2019-12-13 工业云制造(四川)创新中心有限公司 一种毛坯件自动化加工取料方法、存储介质及终端
CN111274943A (zh) * 2020-01-19 2020-06-12 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE112021004595T5 (de) 2023-06-29
US20230311329A1 (en) 2023-10-05
WO2022050169A1 (ja) 2022-03-10
JPWO2022050169A1 (zh) 2022-03-10
JP7481468B2 (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
US9672630B2 (en) Contour line measurement apparatus and robot system
US8786700B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US10151580B2 (en) Methods of inspecting a 3D object using 2D image processing
US20130230235A1 (en) Information processing apparatus and information processing method
US9625258B2 (en) Dual-resolution 3D scanner
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
CN104008366A (zh) 一种3d生物智能识别方法及系统
JP5336325B2 (ja) 画像処理方法
CN114608458B (zh) 装片胶厚度检测装置及方法
CN116033999A (zh) 机器人系统以及控制方法
CN110020648B (zh) 工件量测及定位方法
US11717970B2 (en) Controller, control method using controller, and control system
JPH09257414A (ja) 物体位置検出装置
JP5981353B2 (ja) ３次元計測装置
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
US20230333028A1 (en) Method and system for inspecting a surface with artifical intelligence assist
KR101639043B1 (ko) 나사부 치수 측정 장치
JPH0755440A (ja) 形状認識装置
JP2024007646A (ja) 多視点型ラインセンシング法による３次元計測装置
CN115661055A (zh) 一种物体尺寸测量方法、装置、系统及可读存储介质
JP2021133458A (ja) ３次元計測装置および３次元計測システム
JP2008151649A (ja) 端面形状検査方法および同装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination