CN114290324A - 带式输送机校准方法、机器人控制方法、机器人系统及存储介质 - Google Patents

带式输送机校准方法、机器人控制方法、机器人系统及存储介质 Download PDF

Info

Publication number
CN114290324A
CN114290324A CN202111159312.3A CN202111159312A CN114290324A CN 114290324 A CN114290324 A CN 114290324A CN 202111159312 A CN202111159312 A CN 202111159312A CN 114290324 A CN114290324 A CN 114290324A
Authority
CN
China
Prior art keywords
mark
robot
camera
conveyor belt
conveyor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111159312.3A
Other languages
English (en)
Other versions
CN114290324B (zh
Inventor
横田雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN114290324A publication Critical patent/CN114290324A/zh
Application granted granted Critical
Publication of CN114290324B publication Critical patent/CN114290324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明提供带式输送机校准方法、机器人控制方法、机器人系统及存储介质，高效地测量因输送带的挠曲等引起的蜿蜒。一种带式输送机校准方法，带式输送机(3)的输送带(6)输送标记(23)，第一相机(13)拍摄标记(23)，从第一相机(13)的拍摄图像中检测通过对第一相机(13)的拍摄区域(21)进行分割而得到的多个分区(21r)中的一个分区(21r)的标记(23)，机器人(15)移动第二相机(18)，从而使第二相机(18)跟随并拍摄检测出的标记(23)，计算并存储校正值，该校正值为根据输送带(6)的输送量推定的标记(23)的位置与从跟随拍摄而得到的标记(23)的图像检测的标记(23)的位置之差。

Description

带式输送机校准方法、机器人控制方法、机器人系统及存储 介质
技术领域
本发明涉及带式输送机校准方法、机器人控制方法、机器人系统及存储介质。
背景技术
已知有一种机器人系统，其通过机器人对由带式输送机输送的对象物进行作业。带式输送机的输送带随老化而挠曲。被输送到挠曲的输送带的对象物蜿蜒移动。为了将因输送带的挠曲等引起的蜿蜒考虑在内而控制机器人，在专利文献1中公开了一种校正因输送带的挠曲等引起的对象物的蜿蜒的方法。据此，在输送带上配置标记，输送带进行间歇性移动。当标记停止时，作业者使机械手的前端与标记接触，并存储标记的坐标。也就是说，测量标记的位置。通过反复进行输送带的移动、输送带的停止、标记的位置的测量，测量出因输送带的挠曲等引起的标记的蜿蜒。
专利文献1：日本特开2015-174171号公报
发明内容
然而，在专利文献1的方法中，在作业区域大时测量标记的位置的次数增加，导致测量效率并不高。详细而言，在该方法中，作业者通过操作示教器而使机械手的前端移动至标记的位置。因此，测量标记的位置会耗费时间。因此，需要一种高效地测量因输送带的挠曲等引起的蜿蜒的方法。
一种带式输送机校准方法，包括如下步骤：带式输送机的输送带输送标记；第一相机拍摄所述标记；从所述第一相机的拍摄图像中检测通过多个分区中的一个分区的所述标记，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的；机器人移动第二相机，从而使所述第二相机跟随并拍摄检测出的所述标记；以及计算并存储校正值，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差。
一种机器人控制方法，包括如下步骤：使用上述的带式输送机校准方法计算所述校正值并存储在存储部中；当所述机器人对所述输送带上的对象物进行作业时，所述第一相机拍摄所述对象物；检测所述多个分区中的所述对象物所通过的分区；从所述存储部获取与所述对象物所通过的分区对应的所述校正值；以及所述机器人利用所述校正值对所述对象物的位置信息进行校正，并使用校正后的所述对象物的位置信息对所述对象物进行作业。
一种机器人系统，具备：带式输送机，具有输送用的输送带，输送标记及对象物；机器人，在动作范围中包含所述输送带；第一相机，拍摄所述输送带上的所述标记及所述对象物；第二相机，安装于所述机器人的臂部或手部，跟随并拍摄所述输送带上的所述标记；以及控制部，控制所述机器人的动作，并具有存储部，其中，所述控制部检测通过多个分区中的一个分区的所述标记，计算校正值并存储在所述存储部中，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差，当所述机器人对所述输送带上的所述对象物进行作业时，所述控制部使所述第一相机拍摄所述对象物，并检测所述多个分区中的所述对象物所通过的分区，从所述存储部获取与通过包含所述对象物的分区的所述对象物对应的所述校正值，利用所述校正值对所述对象物的位置信息进行校正，使用校正后的所述对象物的位置信息使所述机器人对所述对象物进行作业。
一种存储介质，所述存储介质中存储有程序，机器人系统具备：带式输送机，所述带式输送机的输送带输送标记及对象物；机器人，在动作范围中包含所述输送带；第一相机，拍摄所述输送带上的所述标记及所述对象物；第二相机，通过被所述机器人移动，跟随并拍摄所述输送带上的所述标记；以及控制部，控制所述机器人的动作，并具有存储部，所述程序使所述机器人系统的所述控制部具备的计算机作为如下单元发挥作用：第一检测单元，检测通过多个分区中的一个分区的所述标记，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的；校正值计算单元，计算校正值并存储，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差；第二检测单元，所述机器人对所述输送带上的所述对象物进行作业时，输入包含由所述第一相机拍摄到的所述对象物的图像，并检测所述多个分区中的所述对象物所通过的分区；校正单元，从所述存储部获取与通过检测出的分区的所述对象物对应的所述校正值，并利用所述校正值对所述对象物的位置信息进行校正；以及动作控制单元，使用校正后的所述对象物的位置信息使所述机器人对所述对象物进行作业
附图说明
图1是示出第一实施方式所涉及的机器人系统的构成的示意侧视图。
图2是示出带式输送机的构成的示意俯视图。
图3是示出带式输送机的构成的示意俯视图。
图4是示出带式输送机的构成的示意俯视图。
图5是机器人系统的电气框图。
图6是校准方法的流程图。
图7是示出校准结果的显示例的图。
图8是示出通过近似公式对偏离量进行了近似的例子的图。
图9是机器人的控制方法的流程图。
图10是用于说明机器人的控制方法的示意俯视图。
图11是用于说明机器人的控制方法的示意俯视图。
图12是示出第二实施方式所涉及的带式输送机的构成的示意俯视图。
图13是示出带式输送机的构成的示意俯视图。
附图标记说明
3…带式输送机；6…输送带；13…第一相机；15…机器人；15b…作为控制部的控制装置；15c…臂部；17…作为手部的致动器；18…第二相机；21…作为拍摄区域的第一拍摄区域；23…标记；24…作为计算机的CPU24；25…作为存储部的存储器；33…程序；37…作为动作控制单元的机器人控制部；39…作为第一检测单元的第一检测部；41…作为校正值计算单元的校正值计算部；42…作为第二检测单元的第二检测部；43…作为校正单元的位置校正运算部；46…作为对象物的工件。
具体实施方式
第一实施方式
在本实施方式中，对机器人系统和带式输送机的校准方法以及机器人控制方法的典型例子进行说明。
如图1所示，机器人系统1在基座2上具备带式输送机3。带式输送机3具备第一带轮4及第二带轮5。在第一带轮4及第二带轮5上挂有输送带6。带式输送机3具备第一电机7。第一电机7的转矩通过包含同步带8等的传递机构传递到第一带轮4。当第一电机7的轴旋转时，第一带轮4旋转而使输送带6移动。
将从第一带轮4朝向第二带轮5的方向设为X正方向。将带式输送机3的宽度方向设为Y方向。将从基座2朝向带式输送机3的方向设为Z正方向。X方向、Y方向、Z方向分别正交。
将带式输送机3设置于基座2时，输送带6被调整为不蜿蜒。此时，将输送带6行进的方向设为第一方向9。相对于输送带6，第一带轮4侧为上游侧，第二带轮5侧为下游侧。第一方向9为X正方向。在输送带6上载置有板11。板11被输送带6移动的带式输送机3输送。将工件载置于输送带6上时，工件被输送带6移动的带式输送机3输送。输送带6的行进方向有时会由于老化而蜿蜒。当输送带6蜿蜒时，输送带6的行进方向偏离第一方向9。
第一带轮4设置有第一编码器12。第一编码器12是旋转编码器，检测第一带轮4的旋转角度。第一带轮4的旋转角度与输送带6的移动量成正比。因此，根据第一编码器12的输出来检测板11向第一方向9移动的移动量。
在第一带轮4的下游侧，在输送带6的Z正方向上配置有第一相机13。第一相机13拍摄输送带6的上游侧。
板11载置于第一相机13的拍摄范围内。因此，在将板11载置于输送带6上之后，板11被第一相机13拍摄。
在第一相机13与第二带轮5之间设置有机器人15。机器人15具备机器人主体15a及作为控制部的控制装置15b。机器人主体15a设置在设置台16上，该设置台16设置在基座2上。机器人主体15a具备连结的多个臂部15c。臂部15c在前端具备作为手部的致动器17。
机器人主体15a具备使各臂部15c旋转的多个第二电机15d及第二编码器15e。控制装置15b驱动第二电机15d及第二编码器15e而控制致动器17的位置。
臂部15c在前端具备升降装置15f。升降装置15f使致动器17升降。控制装置15b驱动升降装置15f而控制致动器17的Z方向上的位置。
致动器17例如是把持板11的手部、电机驱动器等。控制装置15b控制致动器17的驱动。
在机器人15的臂部15c或致动器17安装有第二相机18。第二相机18拍摄在第一方向9上移动的板11。在机器人15的动作范围中包含输送带6。
在图2中省略了机器人15。如图2所示，将XY平面中与第一方向9正交的方向设为第二方向19。第二方向19为Y负方向。在图2中用虚线示出作为第一相机13拍摄的范围即拍摄区域的第一拍摄区域21。并且用虚线示出第二相机18拍摄的范围即第二拍摄区域22。第一拍摄区域21及第二拍摄区域22为四边形。第一拍摄区域21的位置是固定的。
第一拍摄区域21被分割为七行七列的49个分区21r。从Y正方向侧向Y负方向侧分配有第一行21a、第二行21b、第三行21c、第四行21d、第五行21e、第六行21f、第七行21g。从X负方向侧向X正方向侧分配有第一列21h、第二列21j、第三列21k、第四列21m、第五列21n、第六列21p、第七列21q。
X负方向侧且Y正方向侧的角的分区21r为第一行21a、第一列21h。X正方向侧且Y负方向侧的角的分区21r为第七行21g、第七列21q。
第二拍摄区域22是比第一拍摄区域21窄的范围，分辨率高。第二相机18及第二拍摄区域22通过机器人15移动。
如图3所示，在板11上形成有标记23。标记23是圆形，是易于计算重心的形状。
第一相机13拍摄输送带6上的标记23。当在输送带6上有工件时，第一相机13拍摄输送带6上的工件。
带式输送机3的输送带6输送标记23。第一相机13拍摄标记23。控制装置15b从第一相机13的拍摄图像中检测通过对第一相机13的拍摄区域即第一拍摄区域21进行分割而得到的多个分区21r中的一个分区21r的标记23。
如图4所示，带式输送机3的输送带6向第一方向9输送标记23。机器人15移动第二相机18，从而使第二相机18跟随并拍摄检测出的标记23。机器人15移动第二相机18，使得根据输送带6的输送量推定的标记23的位置成为第二拍摄区域22的中心。
控制装置15b计算并存储校正值，该校正值为根据输送带6的输送量推定的标记23的位置与从跟随拍摄而得到的标记23的图像检测的标记23的位置之差。
如图5所示，控制装置15b具备进行各种运算处理的作为计算机的CPU24(中央运算处理装置)以及存储各种信息的作为存储部的存储器25。机器人驱动装置26、第一相机13、第二相机18、带式输送机3、输入装置28以及输出装置29经由输入/输出接口31及数据总线32连接于CPU24。
机器人驱动装置26是驱动机器人主体15a的装置。机器人驱动装置26驱动机器人主体15a的第二电机15d、第二编码器15e、升降装置15f以及致动器17。
第一相机13及第二相机18所拍摄的图像的数据经由输入/输出接口31及数据总线32传输到CPU24。
带式输送机3的第一编码器12的输出经由输入/输出接口31及数据总线32传输到CPU24。
输入装置28是键盘、操纵杆等。作业者通过操作输入装置28而输入各种指令。
输出装置29是显示装置、外部输出装置等。作业者观察显示装置而确认各种信息。输出装置29具备与外部装置通信的外部接口。
存储器25由RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)等半导体存储器构成。存储器25存储记述了机器人主体15a的动作的步骤的程序33。另外，存储器25也存储输送带测量数据34。输送带测量数据34是表示输送带6的蜿蜒、位置偏离的数据。另外，存储器25也存储工件位置数据35。工件位置数据35是表示输送带6上的工件的位置的数据。另外，存储器25也存储图像数据36。图像数据36是第一相机13及第二相机18所拍摄的图像的数据。另外，存储器25具备作为供CPU24进行动作的工作区、临时文件等发挥作用的存储区域、其它各种存储区域。
CPU24根据存储于存储器25内的程序33驱动机器人系统1。并且，程序33进行动作的CPU24作为具体的功能实现部具有作为动作控制单元的机器人控制部37。在控制装置15b中，机器人控制部37控制机器人主体15a的动作。当机器人15对输送带6上的工件进行作业时，使第一相机13拍摄工件。
此外，CPU24具有拍摄控制部38。拍摄控制部38控制第一相机13及第二相机18拍摄的定时。
作为第一检测单元的第一检测部39检测通过对第一相机13的第一拍摄区域21进行分割而得到的多个分区21r中的一个分区21r的标记23。
作为校正值计算单元的校正值计算部41计算校正值，并将校正值作为输送带测量数据34的一部分存储在存储器25中，该校正值为根据输送带6的输送量推定的标记23的位置与从跟随拍摄而得到的标记23的图像检测的标记23的位置之差。
详细而言，当第二相机18拍摄标记23时，拍摄控制部38检测第二相机18拍摄到的图像的中心与标记23的中心的偏离量。偏离量包含在第一方向9偏离的距离和在第二方向19偏离的距离。
当机器人15对输送带6上的工件进行作业时，作为第二检测单元的第二检测部42输入图像，并检测多个分区21r中的工件所通过的分区21r，该图像中包含由第一相机13拍摄到的工件。
另外，CPU24还具有作为校正单元的位置校正运算部43。位置校正运算部43计算因输送带6的偏离、蜿蜒而变化的工件的位置。位置校正运算部43从存储器25获取与通过第一拍摄区域21中检测出的分区21r的工件对应的校正值，位置校正运算部43利用校正值校正工件的位置信息。
机器人控制部37使用校正后的工件的位置信息使机器人15进行对工件的作业。
另外，CPU24还具有工件位置运算部44。工件位置运算部44根据第一编码器12的输出运算输送带6未蜿蜒时的工件11的位置。
另外，CPU24还具有输送带控制部45。输送带控制部45控制输送带6的移动速度。输送带控制部45输入第一编码器12的输出，并识别输送带6的移动速度、移动量。
接下来，对机器人系统1的带式输送机校准方法的步骤进行说明。
图6示出了进行机器人系统1的带式输送机3的校准的作业步骤。在图6中，在步骤S1由作业者在输送带6上设置板11。最初，以在第一列21h拍摄到板11的方式配置板11。接下来，转移到步骤S2及步骤S3。步骤S2及步骤S3并行地进行。
在步骤S2中，输送带6移动板11。带式输送机3的输送带6输送标记23。当输送带6蜿蜒时，标记23也会蜿蜒。接下来，转移到步骤S6。
在步骤S3中，第一相机13拍摄标记23。第一检测部39从第一相机13的拍摄图像中检测通过对第一相机13的第一拍摄区域21进行分割而得到的多个分区21r中的一个分区21r的标记23。第一检测部39首先检测通过第一列21h的第一行21a的分区21r的标记23。
在步骤S4中，第二相机18跟随并测量拍摄到的标记23中的一个。第二相机18跟随步骤S3中检测出的通过第一列21h的第一行21a的分区21r的标记23。标记23的图像作为输送带测量数据34的一部分被存储在存储器25中。换言之，通过机器人15移动第二相机18，使第二相机18跟随检测出的标记23并拍摄标记23。接下来，转移到步骤S5。
在步骤S5中，校正值计算部41计算从作为拍摄范围的第二拍摄区域22的中心偏离的位置偏离的数据。位置偏离的数据作为输送带测量数据34的一部分被存储在存储器25中。接下来，转移到步骤S6。
在步骤S6中，判定是否对测量的预定的标记23全部进行了测量。当在未测量的地方存在标记23时，接下来转移到步骤S1。
在第一列21h中，从第一行21a至第七行21g依次测量标记23。在第一列21h的标记23的测量全部结束后，接着在步骤S1中，以在第二列21j拍摄到板11的标记23的方式配置板11。进而，以从第三列21k至第七列21q依次拍摄到板11的标记23的方式配置板11。
在步骤S3的一个列中，依次切换行。第一行21a的标记23的测量结束后，接着拍摄第二行21b的标记23。进而，从第三行21c至第七行21g拍摄标记23。在步骤S4中，跟随步骤S3中拍摄到的标记23。当在步骤S6中判定为通过全部分区21r的标记23的测量已结束时，接下来转移到步骤S7。
在步骤S7中，将测量出的数据显示于输出装置29的画面。接下来，转移到步骤S8。在步骤S8中，进行偏离量校正的运算。第二相机18根据跟随标记23而测量出的标记23的轨迹来计算输送带6的偏离量校正的近似公式，并将该近似公式作为输送带测量数据34的一部分存储在存储器25中。
换言之，校正值计算部41计算校正值并进行存储，该校正值为根据输送带6的输送量推定的标记23的位置与从跟随拍摄而得到的标记23的图像检测的标记23的位置之差。
第二相机18对在多个分区21r的全部分区21r的各分区21r中通过的标记23进行跟随并拍摄，校正值计算部41计算校正值。
根据该方法，检测出通过多个分区21r中的各分区21r的标记23移动的轨迹。然后，计算校正值。因此，能够高精度地推定通过多个分区21r中任一分区的工件的轨迹。
根据该方法，多个分区21r的数量能够由作业者变更。若增加分区21r的数量，则能够使各分区21r更精细，因此能够高精度地检测位置精度。但是，由于测量次数增加，测量所需的工时增加。作业者能够通过在满足所需位置精度的分区21r数量内设定少量的分区21r数量，高生产率地进行输送带3的校准。
图7示出了在步骤S7中显示的画面的例子。在左侧的框内示出了第一相机13所拍摄的标记23的图像。在右侧的框中示出了两个图表。在右侧的框的上段示出了第一方向9上的输送带6的偏离量。图表的横轴表示第一方向9上的标记23的位置。纵轴表示第一方向9上的输送带6的偏离量。在右侧的框的下段示出了第二方向19上的输送带6的偏离量。图表的横轴表示第一方向9上的标记23的位置。纵轴表示第二行21b的输送带6的偏离量。图表是输送带6蜿蜒的例子。
在中央示出了测量条件。校准分区列数表示标记23通过了第一列21h至第七列21q的哪一列的数据。数字5表示第五列21n。
视觉序列是机器人15使第二相机18移动的程序33的标识名。校准标记数表示标记23通过了第一行21a至第七行21g的哪一行的数据。数字6表示第六行21f。
校准号表示分区21r的标识号。对象表示拍摄到的图像的标识名。偏离量表示特定的位置的偏离量。最大偏离量表示在第二相机18跟随的行程内最大的偏离量。
图8是在步骤S8中进行了偏离量校正的运算而得出的结果的图表的例子。横轴表示第一方向9上的输送带6的位置。纵轴表示第二方向19上的偏离量。详细而言，表示标记23的重心相对于第二拍摄区域22的中心的偏离量。实线是通过测量值的绘图的折线图。虚线表示使用测量值的绘图用最小二乘法计算出的近似公式。近似公式是三次方程。近似公式能够对第一拍摄区域21的49个分区21r全部进行计算。
将第一拍摄区域21的分区21r中的行号设为CamX，将列号设为CamY。将第二拍摄区域22的第一方向9的位置设为CnvX。如果将第一方向9的偏离量的近似公式设为函数FX，则第一方向9的偏离量的校正值由FX(CamX、CamY、CnvX)表示。如果将第二方向19的偏离量的近似公式设为函数FY，则第二方向19的偏离量的校正值由FY(CamX、CamY、CnvX)表示。
FX(CamX、CamY、CnvX)和FY(CamX、CamY、CnvX)作为输送带测量数据34的一部分被存储在存储器25中。由此，结束带式输送机校准方法的步骤。
接下来，对带式输送机校准方法的步骤之后进行的机器人控制方法的步骤进行说明。机器人控制方法的步骤是机器人15对输送带6上的工件进行作业时的步骤。已经使用上述带式输送机校准方法计算出校正值并存储在存储器25中。
图9示出了机器人系统1的机器人15对由输送带6输送的工件进行作业的作业步骤。
在图9中，在步骤S11由第一相机13拍摄工件。接下来，转移到步骤S12。在步骤S12中，第二检测部42检测在多个分区21r中工件通过的分区21r。接下来，转移到步骤S13。在步骤S13处，位置校正运算部43从存储器25获取与工件通过的分区21r对应的校正值。工件位置运算部44根据第一编码器12的输出计算输送带6未蜿蜒时的工件的位置。位置校正运算部43使用校正值对工件所处的坐标进行校正。
将工件所通过的分区21r的行号设为CamX，将列号设为CamY。将从第一编码器12求出的工件在第一方向9的位置设为CnvX。将在第一方向9上的校正前的工件的位置设为RbXb，将在第一方向9上的校正后的工件的位置设为RbXa。由RbXa＝RbXb+FX(CamX、CamY、CnvX)表示。将在第二方向19上的校正前的工件的位置设为RbYb，将在第二方向19上的校正后的工件的位置设为RbYa。由RbYa＝RbYb+FY(CamX、CamY、CnvX)表示。接下来，转移到步骤S14。
在步骤S14中，致动器17向工件移动。机器人控制部37使致动器17向校正后的(RbXa、RbYa)的坐标移动。接下来，转移到步骤S15。
在步骤S15中，致动器17进行作业。例如，致动器17拾取工件。如此，机器人15利用校正值校正工件的位置信息，并使用校正后的工件的位置信息对工件进行作业。
图10是与步骤S12对应的图。如图10所示，第二检测部42检测作为对象物的工件46所通过的分区21r。例如，工件46通过第三行21c且第二列21j的分区21r。
图11是与步骤S14对应的图。如图11所示，由于工件46被输送带6输送，因此向第一方向9移动。致动器17朝向工件46移动。
由于对作为致动器17移动的目标的工件46的位置校正了输送带6的偏离量，因此致动器17能够高位置精度地到达工件46处。
根据该带式输送机校准方法、机器人系统1的构成以及程序33，检测到输送至输送带6的标记23通过预定的分区21r。然后，第二相机18跟随标记23。因此，测量出通过预定的分区21r的标记23移动的轨迹。输送带6具备第一编码器12，根据输送带6的移动量推定标记23的位置。所推定的标记23的移动沿着直线行进。另一方面，测量出的标记23的轨迹包含因输送带6的蜿蜒等而造成的影响。将测量出的标记23的轨迹与推定的移动的轨迹之差作为校正值存储。
在代替标记23将通过预定的分区21r的工件46输送到输送带6时，机器人15能够使用校正值高精度地推定工件46移动的轨迹。也就是说，能够将因输送带6的蜿蜒而造成的影响包含在内而高精度地掌握工件46的位置。
作为测量标记23移动的轨迹的方法，有一种使用机器人15的致动器17的方法。使输送带6间歇性运转，以使标记23与机器人15的致动器17接触，从而使机器人15测量标记23的位置。也就是说，通过将机器人15用作三维测量器，使机器人15测量标记23的轨迹。与该方法相比，利用第一相机13及第二相机18的方法能够在连续驱动输送带6的同时测量标记23的位置，因此能够生产率良好地计算校正值。因此，能够提供高效地测量因输送带6的挠曲等引起的蜿蜒的方法。
根据该机器人控制方法，由于使用校正值校正工件46的位置，因此机器人15高精度地推定工件46的位置。因此，由于机器人15对高位置精度地识别的工件46进行作业，因此能够高质量地进行预定的作业。
第二实施方式
在上述第一实施方式中，根据通过了第一拍摄区域21的分区21r的行列和第二方向19的位置，计算出了校正的近似公式。也可以将第一方向9的位置划分为多个分区来计算各分区中的校正值。
如图12所示，在第一方向9上，机器人15能够移动致动器17的动作范围49被分为七个分区。各动作范围49由第一分区49a至第七分区49g构成。在步骤S5中，校正值计算部41计算从作为拍摄范围的第二拍摄区域22的中心偏离的、位置偏离的各分区中的平均值的数据。位置偏离的平均值的数据作为输送带测量数据34的一部分被存储在存储器25中。
在存储器25的输送带测量数据34中，存储第一拍摄区域21的各分区21r中的第一分区49a至第七分区49g的平均值的数据的表。该表中的平均值的数据为校正值。在平均值的数据的表中设定有通过了第一拍摄区域21的动作范围49的各分区21r的标记23的校正值。将第一分区49a至第七分区49g的分区设为CnvL。第一方向9的偏离量的校正值的参数是CamX、CamY、CnvL。第二方向19的偏离量的参数也是CamX、CamY、CnvL。
如图13所示，工件46通过输送带6被输送。在步骤S12中，第二检测部42检测第一拍摄区域21的分区21r中的工件46所通过的分区21r。在步骤S13中，位置校正运算部43从存储器25获取与工件46所通过的第一拍摄区域21的分区21r对应的校正值。存储器25中存储有校正值的数据的表。
工件位置运算部44根据第一编码器12的输出计算输送带6未蜿蜒时的工件的位置。位置校正运算部43使用与CnvL对应的校正值对工件46所处的坐标进行校正。例如，在工件46处于第四分区49d的分区内时，位置校正运算部43从表中参照第四分区49d中的校正值。在步骤S14中，致动器17向工件46移动。在步骤S15中，致动器17进行作业。因此，能够提供一种带式输送机校准方法以及使用校正值使机器人15进行作业的机器人控制方法，即使以表的形式存储校正值，也能够高效地测量因输送带6的挠曲等引起的蜿蜒。

Claims (6)

1.一种带式输送机校准方法，其特征在于，包括如下步骤：
带式输送机的输送带输送标记；
第一相机拍摄所述标记；
从所述第一相机的拍摄图像中检测通过多个分区中的一个分区的所述标记，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的；
机器人移动第二相机，从而使所述第二相机跟随并拍摄检测出的所述标记；以及
计算并存储校正值，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差。
2.根据权利要求1所述的带式输送机校准方法，其特征在于，
所述第二相机对在所述多个分区的全部分区的各分区中通过的所述标记进行跟随及拍摄，并计算所述校正值。
3.根据权利要求2所述的带式输送机校准方法，其特征在于，
所述多个分区的数量能够由作业者变更。
4.一种机器人控制方法，其特征在于，包括如下步骤：
使用权利要求1至3中任一项所述的带式输送机校准方法计算所述校正值并存储在存储部中；
当所述机器人对所述输送带上的对象物进行作业时，所述第一相机拍摄所述对象物；
检测所述多个分区中的所述对象物所通过的分区；
从所述存储部获取与所述对象物所通过的分区对应的所述校正值；以及
所述机器人利用所述校正值对所述对象物的位置信息进行校正，并使用校正后的所述对象物的位置信息对所述对象物进行作业。
5.一种机器人系统，其特征在于，具备：
带式输送机，具有输送用的输送带，输送标记及对象物；
机器人，在动作范围中包含所述输送带；
第一相机，拍摄所述输送带上的所述标记及所述对象物；
第二相机，安装于所述机器人的臂部或手部，跟随并拍摄所述输送带上的所述标记；以及
控制部，控制所述机器人的动作，并具有存储部，
其中，所述控制部检测通过多个分区中的一个分区的所述标记，计算校正值并存储在所述存储部中，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差，
当所述机器人对所述输送带上的所述对象物进行作业时，所述控制部使所述第一相机拍摄所述对象物，并检测所述多个分区中的所述对象物所通过的分区，从所述存储部获取与通过包含所述对象物的分区的所述对象物对应的所述校正值，利用所述校正值对所述对象物的位置信息进行校正，使用校正后的所述对象物的位置信息使所述机器人对所述对象物进行作业。
6.一种存储介质，其特征在于，
所述存储介质中存储有程序，
机器人系统具备：
带式输送机，所述带式输送机的输送带输送标记及对象物；
机器人，在动作范围中包含所述输送带；
第一相机，拍摄所述输送带上的所述标记及所述对象物；
第二相机，通过被所述机器人移动，跟随并拍摄所述输送带上的所述标记；以及
控制部，控制所述机器人的动作，并具有存储部，
所述程序使所述机器人系统的所述控制部具备的计算机作为如下单元发挥作用：
第一检测单元，检测通过多个分区中的一个分区的所述标记，所述多个分区是对所述第一相机的拍摄区域进行分割而得到的；
校正值计算单元，计算校正值并存储，所述校正值为根据所述输送带的输送量推定的所述标记的位置与从跟随并拍摄而得到的所述标记的图像检测的所述标记的位置之差；
第二检测单元，所述机器人对所述输送带上的所述对象物进行作业时，输入包含由所述第一相机拍摄到的所述对象物的图像，并检测所述多个分区中的所述对象物所通过的分区；
校正单元，从所述存储部获取与通过检测出的分区的所述对象物对应的所述校正值，并利用所述校正值对所述对象物的位置信息进行校正；以及
动作控制单元，使用校正后的所述对象物的位置信息使所述机器人对所述对象物进行作业。
CN202111159312.3A 2020-10-07 2021-09-30 带式输送机校准方法、机器人控制方法、机器人系统及存储介质 Active CN114290324B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020169797A JP2022061700A (ja) 2020-10-07 2020-10-07 ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム
JP2020-169797 2020-10-07

Publications (2)

Publication Number Publication Date
CN114290324A true CN114290324A (zh) 2022-04-08
CN114290324B CN114290324B (zh) 2023-12-01

Family

ID=80930965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111159312.3A Active CN114290324B (zh) 2020-10-07 2021-09-30 带式输送机校准方法、机器人控制方法、机器人系统及存储介质

Country Status (3)

Country Link
US (1) US20220105641A1 (zh)
JP (1) JP2022061700A (zh)
CN (1) CN114290324B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004253570A (ja) * 2003-02-19 2004-09-09 Yamagata Casio Co Ltd 部品搭載装置、位置ズレ補正方法、及びプログラム
JP2011157197A (ja) * 2010-02-02 2011-08-18 Canon Inc 記録装置および搬送制御方法
CN104169964A (zh) * 2011-10-31 2014-11-26 欧姆龙株式会社 图像处理装置及图像处理程序记录介质
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP2015083382A (ja) * 2014-11-21 2015-04-30 理想科学工業株式会社 画像記録装置の搬送量補正値算出方法
JP2018001393A (ja) * 2016-07-08 2018-01-11 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2019063954A (ja) * 2017-10-03 2019-04-25 株式会社ダイヘン ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム
CN109996653A (zh) * 2016-11-17 2019-07-09 株式会社富士 作业位置校正方法及作业机器人
CN110948491A (zh) * 2019-12-21 2020-04-03 深圳市华成工业控制有限公司 一种基于视觉跟随的工业机器人抓取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP6042860B2 (ja) * 2014-12-02 2016-12-14 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
DE102018116413A1 (de) * 2017-07-12 2019-01-17 Fanuc Corporation Robotersystem
JP6646026B2 (ja) * 2017-10-16 2020-02-14 ファナック株式会社 作業システム、物品に対する作業実施方法、およびロボット
JP6859967B2 (ja) * 2018-02-16 2021-04-14 オムロン株式会社 コンベアトラッキングシステムおよびキャリブレーション方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004253570A (ja) * 2003-02-19 2004-09-09 Yamagata Casio Co Ltd 部品搭載装置、位置ズレ補正方法、及びプログラム
JP2011157197A (ja) * 2010-02-02 2011-08-18 Canon Inc 記録装置および搬送制御方法
CN104169964A (zh) * 2011-10-31 2014-11-26 欧姆龙株式会社 图像处理装置及图像处理程序记录介质
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP2015083382A (ja) * 2014-11-21 2015-04-30 理想科学工業株式会社 画像記録装置の搬送量補正値算出方法
JP2018001393A (ja) * 2016-07-08 2018-01-11 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
CN109996653A (zh) * 2016-11-17 2019-07-09 株式会社富士 作业位置校正方法及作业机器人
JP2019063954A (ja) * 2017-10-03 2019-04-25 株式会社ダイヘン ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム
CN110948491A (zh) * 2019-12-21 2020-04-03 深圳市华成工业控制有限公司 一种基于视觉跟随的工业机器人抓取方法

Also Published As

Publication number Publication date
CN114290324B (zh) 2023-12-01
JP2022061700A (ja) 2022-04-19
US20220105641A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US10035268B2 (en) Measurement system used for calibrating mechanical parameters of robot
EP2894012B1 (en) Work device
US10974393B2 (en) Automation apparatus
EP3088843A1 (en) System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
EP2570241A2 (en) Robot system and imaging method
CN109996653B (zh) 作业位置校正方法及作业机器人
CN111565895B (zh) 机器人系统及机器人控制方法
EP1676679A2 (en) Robot controller for correcting a target position of a robot hand by means of a visual sensor
US20050273199A1 (en) Robot system
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
JP2865723B2 (ja) 再現可能な位置決めの誤差を修正する方法及び装置
US9958856B2 (en) Robot, robot control method and robot control program
US11707842B2 (en) Robot system and coordinate conversion method
CN109952178B (zh) 作业机器人及作业位置修正方法
CN114290324B (zh) 带式输送机校准方法、机器人控制方法、机器人系统及存储介质
CN109531604B (zh) 进行校准的机器人控制装置、测量系统以及校准方法
JP2020116717A (ja) ロボット制御システム
JP2017168619A (ja) 部品搭載方法および部品実装装置
EP3895855A1 (en) Robot control system and robot control method
KR100256041B1 (ko) 전자부품실장장치 및 전자부품 실장방법
JP5572247B2 (ja) 画像歪補正方法
CN116194252A (zh) 机器人系统
CN114249084A (zh) 机器人的控制方法及机器人系统
CN116390834A (zh) 机器人系统
US11826919B2 (en) Work coordinate generation device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant