CN116472144A - 图像处理系统以及图像处理方法 - Google Patents

图像处理系统以及图像处理方法 Download PDF

Info

Publication number
CN116472144A
CN116472144A CN202180076116.1A CN202180076116A CN116472144A CN 116472144 A CN116472144 A CN 116472144A CN 202180076116 A CN202180076116 A CN 202180076116A CN 116472144 A CN116472144 A CN 116472144A
Authority
CN
China
Prior art keywords
visual
sensor
pattern
image processing
visual pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180076116.1A
Other languages
English (en)
Inventor
傅万峰
并木勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN116472144A publication Critical patent/CN116472144A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Viewfinders (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

在使用视觉传感器的图像处理系统中简单地获得视觉传感器的对焦状态。图像处理系统(100)具备：工业机械；视觉传感器；视觉图案，其配置于检测对象部位，且该视觉图案用于确定视觉传感器与该视觉图案的相对位置关系；图像处理部(202)，其根据由视觉传感器拍摄视觉图案而得的图像，决定视觉传感器与视觉图案的相对位置关系；以及对焦动作控制部(502)，其在视觉传感器的视野中映现有视觉图案的状态下，基于所决定的相对位置关系，在以所述视觉图案为基准的预定的方向上变更视觉传感器与视觉图案的相对位置，并且通过视觉传感器拍摄视觉图案来求出视觉图案的对焦度，由此使视觉传感器对焦于视觉图案。

Description

图像处理系统以及图像处理方法
技术领域
本发明涉及图像处理系统和图像处理方法。
背景技术
已知有一种系统，其构成为在工业用机器人及其他工业机械的可动部搭载视觉传感器，通过图像处理进行工件的外观检查、位置检测等(例如，参照专利文献1)。为了在工业机器人等的可动部搭载视觉传感器来进行工件的位置检测等，需要预先求出视觉传感器的坐标系相对于设定在工业机器人等中的基准坐标系的相对位置关系，即，需要进行视觉传感器的校准。关于进行视觉传感器的校准的技术，在本领域中已知有各种方法(例如，专利文献2-5)。
在上述那样的机器人系统中，需要进行调整以使照相机的焦点对准检查对象位置。在这样的情况下，通常用户转动照相机的焦点调节环来进行调整，或者操作示教操作盘来使机器人移动由此调节对象物与照相机的距离。另一方面，专利文献5记载了“图像处理系统SYS根据所确定的工件W的配置状况，确定针对所设定的工件W的测量点Wp的法线V，以所确定的法线V与2维照相机310的光轴一致的方式使2维照相机310的位置姿势变化(S1)。图像处理系统SYS以所确定的法线V与2维照相机310的光轴一致的方式使2维照相机310与测量点Wp的距离变化，由此使2维照相机310的焦点对准测量点Wp”(说明书摘要)。
现有技术文献
专利文献
专利文献1：日本特开2018-91774号公报
专利文献2：日本特开2014-128845号公报
专利文献3：日本特开平8-210816号公报
专利文献4：日本特开2018-192569号公报
专利文献5：日本特开2018-194542号公报
发明内容
发明所要解决的课题
专利文献5记载了通过调整照相机与特定的工件之间的距离来进行焦点调整的结构，但在专利文献5的结构中，需要用于指定工件的形状的处理、用于确定工件的配置状态的处理、用于求出工件的法线的处理等复杂的处理或用于处理的设定。另外，由于工件可能具有各种形状，因此也可能存在无法准确地进行工件的配置信息的获取、法线的获取、对焦度的计算的情况。
用于解决课题的手段
本公开的一方式是一种图像处理系统，其具备：工业机械；视觉传感器；视觉图案，其配置于检测对象部位，且该视觉图案用于确定所述视觉传感器与该视觉图案的相对位置关系；图像处理部，其根据由所述视觉传感器拍摄所述视觉图案而得到的图像，决定所述视觉传感器与所述视觉图案的相对位置关系；以及对焦动作控制部，其在所述视觉传感器的视野中映现有所述视觉图案的状态下，基于所决定的所述相对位置关系，在以所述视觉图案为基准的预定的方向上变更所述视觉传感器与所述视觉图案的相对位置，并且通过所述视觉传感器拍摄所述视觉图案来求出所述视觉图案的对焦度，由此使所述视觉传感器对焦于所述视觉图案。
本公开的另一方式是一种图像处理方法，根据用视觉传感器拍摄配置于检测对象部位的视觉图案而得到的图像来决定该视觉传感器与该视觉图案的相对位置关系，在视觉传感器的视野中映现有所述视觉图案的状态下，基于所决定的所述相对位置关系，在以所述视觉图案为基准的预定的方向上变更所述视觉传感器与所述视觉图案的相对位置，并且通过所述视觉传感器拍摄所述视觉图案来求出所述视觉图案的对焦度，由此使所述视觉传感器对焦于所述视觉图案。
发明效果
通过将视觉图案配置于检测对象部位，能够使视觉传感器自动地对焦于配置有视觉图案的部位。
根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更加明确。
附图说明
图1是表示一实施方式的机器人系统(图像处理系统)的设备结构的图。
图2是表示视觉传感器控制装置和机器人控制装置的硬件的概略结构的图。
图3是表示视觉传感器控制装置和机器人控制装置的功能结构的功能框图。
图4是校准夹具的俯视图。
图5是表示对焦动作的流程图。
图6是表示照相机拍摄指标而得到的图像数据的一例的图。
具体实施方式
接下来，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的构成部分或功能部分标注相同的参照符号。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限定于图示的方式。
图1是表示一实施方式的机器人系统100的设备结构的图。如图1所示，机器人系统100具备：作为工业机械的工业用机器人(以下，记为机器人)10；控制机器人10的机器人控制装置50；视觉传感器70；以及控制视觉传感器70的视觉传感器控制装置20。机器人系统100是用于基于由视觉传感器70拍摄到的工件的拍摄图像来识别工件的位置，并执行工件的检查、操纵、加工等预定的作业的系统。机器人10在图1的例子中是垂直多关节机器人，但也可以使用其他类型的机器人。
视觉传感器控制装置20与机器人控制装置50经由通信接口连接，能够交换各种信息。
在机器人10的臂前端部的凸缘11的前端面安装有作为末端执行器的工具31。工具31例如是把持工件的手。机器人10通过机器人控制装置50的控制，执行工件的操纵等预定的作业。视觉传感器70安装于工具31的支承部(即，机器人10的预定的可动部位)。
视觉传感器70由视觉传感器控制装置20控制，对工件等拍摄对象物进行拍摄。作为视觉传感器70，可以使用一般的二维照相机，也可以使用立体照相机等三维传感器。视觉传感器70具有接收被摄物体的像并进行光电转换的拍摄传感器(CCD、CMOS等)、以及使被摄物体的像聚光于拍摄传感器的光学透镜等。视觉传感器70将拍摄到的图像数据发送给视觉传感器控制装置20。此外，在图1中示出了处于图1的状态的视觉传感器70对校准夹具J进行拍摄而得到的图像M1。
图2是表示视觉传感器控制装置20和机器人控制装置50的硬件的概略结构的图。如图2所示，视觉传感器控制装置20也可以具有经由总线将存储器(包括ROM、RAM、非易失性存储器等)22、用于与外部设备进行通信的输入输出接口23等与处理器21连接的作为一般的计算机的结构。另外，机器人控制装置50也可以具有经由总线将存储器(包括ROM、RAM、非易失性存储器等)52、用于与外部设备进行通信的输入输出接口53、包括各种操作开关类的操作部54等与处理器51连接的作为一般的计算机的结构。此外，也可以进一步将用于进行机器人10的示教的示教装置(示教操作盘等)与机器人控制装置50连接。此外，在本实施方式中，设为视觉传感器控制装置20和机器人控制装置50为不同的装置的情况下的设备结构，但视觉传感器控制装置20和机器人控制装置50也能够构成为相同的装置。例如，也可以在机器人控制装置50内安装视觉传感器控制装置20的功能。
在机器人10中设定有机器人坐标系C1。机器人坐标系C1是用于控制机器人10的各可动要素的动作的控制坐标系，固定于3维空间内。在本实施方式中，作为一个例子，机器人坐标系C1的原点设定于机器人10的基座部的中心，但机器人坐标系C1也可以设定为与此不同的位置、姿势。
在凸缘11的前端面设定有凸缘坐标系C2。凸缘坐标系C2是用于控制机器人坐标系C1中的凸缘11的位置以及姿势的控制坐标系。在本实施方式中，作为一例，凸缘坐标系C2设定为其原点配置于凸缘11的前端面的中心，其z轴与凸缘11的中心轴线一致，但凸缘坐标系C2也可以设定为与此不同的位置、姿势。在使机器人10的手腕部(工具31)移动时，机器人控制装置50(处理器51)在机器人坐标系C1中设定凸缘坐标系C2，并控制机器人10的各关节部的伺服马达，以使凸缘11配置为由所设定的凸缘坐标系C2表示的位置以及姿势。这样，机器人控制装置50能够将凸缘11(工具31)定位为机器人坐标系C1中的任意的位置以及姿势。
在视觉传感器70中设定有传感器坐标系C3。传感器坐标系C3是规定视觉传感器70拍摄到的图像数据的各像素的坐标的坐标系，以如下方式对视觉传感器70进行设定：该传感器坐标系的原点被配置在视觉传感器70的拍摄传感器的受光面(或光学透镜)的中心，该传感器坐标系的x轴及y轴被配置成与拍摄传感器的横向及纵向平行，且该传感器坐标系的z轴与视觉传感器70的视线(光轴)一致。
如后面详细说明的那样，机器人系统100构成为图像处理系统，该图像处理系统对配置于视觉传感器70的检测对象部位的视觉图案、即用于确定视觉传感器70与该视觉图案的相对位置关系的视觉图案进行拍摄，由此使视觉传感器70相对于视觉图案向预定的方向移动来进行对焦动作。在本实施方式中，视觉传感器70的检测对象部位是搭载工件的台60的上表面，视觉图案形成于校准夹具J。视觉图案只要是使用了涂料的花纹、或者刻印(凹凸)等能够在视觉上识别的形态即可。此外，视觉图案也可以直接形成于检测对象位置(台60的上表面)。在本说明书中，在称为视觉图案时，包括花纹、标记、指标、识别标识、记号及其他各种视觉上的显示物。通过在与视觉传感器70的相对位置关系的获取中使用视觉图案，能够高精度地获取相对位置关系。特别是与上述的专利文献5所记载的求出照相机与特定的工件之间的相对位置关系的结构相比，能够提高精度。
以下，着眼于机器人系统100中的作为这样的图像处理系统的功能进行说明。
图3是表示着眼于作为机器人系统100的图像处理系统的功能的情况下的视觉传感器控制装置20以及机器人控制装置50的功能结构的功能框图。如图3所示，视觉传感器控制装置20具备：图像处理部202，其执行针对由视觉传感器70拍摄到的输入图像201的图像处理；以及校准数据存储部204，其存储校准数据，该校准数据决定视觉传感器70(传感器坐标系C3)相对于设定于机器人10的基准坐标系(机器人坐标系C1或者凸缘坐标系C2)的相对位置。
图像处理部202作为用于实现工件的操纵等的功能，例如具有使用模型图案从输入图像检测工件并检测工件的位置以及姿势的功能。并且，本实施方式的图像处理部202具备计算拍摄图像中拍摄到的对象物的对焦度的对焦度计算部203。
校准数据存储部204存储视觉传感器70的校准数据。校准数据存储部204例如是非易失性存储器(EEPROM等)。视觉传感器70的校准数据包含视觉传感器70(照相机)的内部参数及外部参数。内部参数包含透镜畸变、焦距等光学数据。外部参数是以预定的基准位置(例如凸缘11的位置)为基准的视觉传感器70的位置。
通过利用校准数据，求出照相机内部的几何学变换特性以及物体存在的三维空间与二维图像平面的几何学关系，进而，能够根据由视觉传感器70根据校准夹具J的特性拍摄到的校准夹具J的图像，唯一地决定视觉传感器70和校准夹具J的三维空间位置。即，能够根据使用校准完毕的视觉传感器70拍摄到的拍摄图像内的校准夹具J的信息，求出以视觉传感器70的位置为基准的校准夹具的位置、姿势。
图4是校准夹具J的俯视图。作为校准夹具J，能够使用可根据由视觉传感器70拍摄到的图像以视觉传感器70的位置为基准求出校准夹具的位置和姿势的本领域公知的各种校准夹具。图4的校准夹具J是能够通过用视觉传感器70拍摄配置在平面上的点图案来获取视觉传感器70的校准所需的信息的夹具，满足以下3个要件：(1)点图案的格子点间隔已知、(2)存在恒定数量以上的格子点、(3)能够唯一地确定各格子点相当于哪个格子点。校准夹具J不限于图4所示那样的在二维的平面配置有预定的点图案等特征的校准夹具，也可以是在三维的立体配置有特征的校准夹具，只要是除了二维位置信息(X方向、Y方向)之外还能够得到包含高度方向(图1的箭头91方向)的位置信息的三维位置信息的校准夹具即可。另外，该校准夹具J可以与获取视觉传感器70的校准数据时使用的校准夹具相同，也可以不同。此外，为了根据由视觉传感器70拍摄到的点图案来计算以视觉传感器70的位置为基准的点图案的位置姿势，使用上述校准数据的内部参数。此外，在本实施方式中，作为用于求出从拍摄装置观察到的对象物的位置姿势的对象物，使用了具有图4那样的点图案的校准夹具J，但也可以取而代之，使用能够求出从拍摄装置(视觉传感器70)观察到的对象物的位置姿势的所有类型的对象物。
在本实施方式中，校准夹具J设置在使视觉传感器70对焦的对象的场所(即，台60的上表面)。
如图3所示，机器人控制装置50具备按照动作程序控制机器人10的动作的动作控制部501。而且，本实施方式的机器人控制装置50具备对焦动作控制部502，该对焦动作控制部502进行基于由对焦度计算部203计算出的对焦度使机器人10移动而使视觉传感器70移动到对焦位置的控制。
此外，图3所示的视觉传感器控制装置20或机器人控制装置50的功能块可以通过视觉传感器控制装置20或机器人控制装置50的处理器(CPU)执行存储于存储器的各种软件来实现，或者也可以通过以ASIC(Application Specific Integrated Circuit：专用集成电路)等硬件为主体的结构来实现。
图5是表示对焦动作控制部的对焦动作(图像处理方法)的流程的流程图。另外，在此，设想视觉传感器70的校准数据预先存储在校准数据存储部204中的情况。图5的对焦动作在机器人控制装置50的处理器51的控制下执行。
首先，对焦动作控制部502根据由视觉传感器70拍摄校准夹具J而得到的图像，计算并获取校准夹具J与视觉传感器70的位置关系。在该情况下，对焦动作控制部502使用在校准数据存储部J中存储的校准数据。
使用通过步骤S1得到的视觉传感器70与校准夹具J的相对位置关系，对焦动作控制部502一边以视觉传感器70的光轴与校准夹具J的上表面的法线方向(图1中箭头91方向)平行的方式使视觉传感器70移动，一边进行校准夹具J的拍摄(步骤S2)。此时，对焦动作控制部502使对焦度计算部203计算映在图像中的对象物(即，校准夹具J的点)的像的对焦度(步骤S3)。
然后，对焦动作控制部502通过将由对焦度计算部203计算出的对焦度与作为校准夹具J的点的对焦度最高时的值的基准值(对焦度基准值)进行比较，判定在步骤S3中获取的对焦度是否成为最高的对焦度(步骤S4)。这里使用的基准值(对焦度基准值)可以由机器人控制装置50(对焦动作控制部502)预先存储，或者，也可以由对焦动作控制部502进行例如在预定的移动范围内使视觉传感器70移动而将最高的对焦度设定为对焦度基准值的动作。在未判定为对焦度最高的情况下(S4：否)，对焦动作控制部502继续进行一边使视觉传感器70移动一边确认对焦度的处理(步骤S2-S4)。在判定为对焦度最高的情况下(S4：是)，对焦动作控制部502将对焦度最高时的视觉传感器70的位置(对焦位置)记录为拍摄位置(步骤S5)。
作为对焦度的计算方法，对焦度计算部203能够采用相位差检测法、对比度检测法等本领域公知的各种计算方法。作为一个例子，对焦度计算部203也可以使用如日本特开2013-29803号公报所记载那样的如下的方法：在判定为通过相位差检测法检测出的对焦度的可靠度较低的情况下，基于对比度检测法的检测结果来选择使用相位差检测法的像素范围，并使用该选择出的像素范围的信号来进行基于相位差检测法的对焦度的计算。对焦度计算部203能够从视觉传感器70内的用于计算对焦的功能要素获取用于计算对焦度的数据。
在步骤S2至S4的处理中使视觉传感器70移动的预定的动作范围也可以基于照相机的焦距的调节范围来决定。例如，也可以以使视觉传感器70在基于视觉传感器70的焦点调节环的焦点调节范围而决定的拍摄距离的范围内移动的方式控制机器人10。通过步骤S1，视觉传感器70与校准夹具J的位置关系是已知的，因此能够进行这样的视觉传感器70的移动控制。
在步骤S5中记录的拍摄位置被用作在执行放置在台60的上表面的工件的外观检查等预定的作业的情况下用于定位视觉传感器70的拍摄位置。这样，根据图5的对焦动作，能够自动地将视觉传感器70定位于焦点与设置有校准夹具J的位置一致的位置。即，能够自动且高效地实施视觉传感器70的焦点调节。
以上，对视觉传感器70的校准已预先实施的情况(即，视觉传感器控制装置20预先保有校准数据的情况)的例子进行了说明，但在视觉传感器70的校准未实施的情况(即，视觉传感器控制装置20未保有校准数据的情况)下，机器人控制装置50和视觉传感器控制装置20也可以使用本领域中已知的各种校准方法(例如，上述的专利文献2-5)来获取校准数据。
如上所述，在本实施方式中，构成为在图5的对焦控制动作中使用校准夹具J，因此在进行图5的对焦控制动作时，也容易使用校准夹具J当场进行校准。校正(校准)照相机的方法本身是公知技术，因此省略说明，例如在基于Roger Y.Tsai的“An Efficient andAccurate Camera Calibration Technique for 3DMachine Vision”(CVPR，pp.364-374，1986IEEE)中进行了详述。作为具体的手段，使图4所示的校准夹具J那样的夹具(以已知的几何学配置形成有点的点图案板)与照相机的光轴正交，在已知的2个部位的位置进行测量，由此能够校正照相机。
在此，对用于决定以设定于机器人10的基准坐标系(机器人坐标系C1或者凸缘坐标系C2)为基准的传感器坐标系C3的姿势的图像处理方法的例子进行说明。对焦动作控制部502还可以构成为负责这样的功能。通过利用在此说明的方法使传感器坐标系C3相对于设定于机器人10的基准坐标系的姿势已知，能够在上述的对焦动作中使视觉传感器70的光轴相对于校准夹具J朝向预定的方向(例如，法线方向)。
在本例中，基于视觉传感器70拍摄到的指标ID的图像数据，获取基准坐标系中的视觉传感器70的姿势的数据。图6表示指标ID的一例。指标ID设置于检测对象位置(台60的上表面)，由圆线C和相互正交的2条直线D以及E构成。指标ID例如是使用了涂料的花纹、或者在台60的上表面形成的刻印(凹凸)等能够在视觉上识别的形态即可。
机器人控制装置50(对焦动作控制部502)按照以下的顺序求出以设定于机器人10的基准坐标系为基准的传感器坐标系C3的姿势。
(A1)通过机器人控制装置50以指标ID进入视觉传感器70的视野的方式将视觉传感器70配置于初始位置PS0以及初始姿势OR0的状态下，拍摄指标ID，获取指标ID的图像数据JD0。假设获取了图6所示的图像(JDn)。
(A2)图像处理部202从映现在图像JDn中的指标ID的图像中，获取交点F的坐标(xn，yn)作为指标ID的位置，获取圆C的面积作为指标ID的尺寸ISn(单位：pixel)。图像处理部202获取实际空间中的指标ID的尺寸RS(单位：mm)、视觉传感器70的光学透镜的焦距FD、拍摄传感器的尺寸SS(单位：mm/pixel)作为预先保存的数据。
(A3)图像处理部202使用所获取的坐标(xn，yn)、尺寸ISn、尺寸RS、焦距FD以及尺寸SS，获取向量(Xn，Yn，Zn)。在此，Xn能够根据Xn＝xn×ISn×SS/RS的式子求出。并且，Yn能够根据Yn＝yn×ISn×SS/RS的式子求出。另外，Zn能够根据Zn＝ISn×SS×FD/RS的式子求出。该向量(Xn，Yn，Zn)是从拍摄图像数据JDn时的视觉传感器70(即，传感器坐标系C3的原点)到指标ID(具体而言，交点F)的向量，是表示指标ID相对于视觉传感器70的相对位置(或者，传感器坐标系C3的坐标)的数据。
(A4)同样地，图像处理部202根据在使视觉传感器70从初始位置沿凸缘坐标系的x轴方向平移移动了预定的距离δx后的位置PS1以及姿势OR0拍摄指标ID而得的图像JD1，获取拍摄到图像数据JD1时的从视觉传感器70到指标ID的向量。
(A5)同样地，图像处理部202根据在使视觉传感器70从初始位置沿凸缘坐标系的y轴方向平移移动预定的距离δy后的位置PS2以及姿势OR0拍摄指标ID而得的图像JD2，获取拍摄到图像数据JD2时的从视觉传感器70到指标ID的向量。
(A6)同样地，图像处理部202根据在使视觉传感器70从初始位置沿凸缘坐标系的z轴方向平移移动预定的距离δz后的位置PS3以及姿势OR0拍摄指标ID而得的图像JD3，获取拍摄到图像数据JD3时的从视觉传感器70到指标ID的向量。
(A7)根据以上的数据，图像处理部202通过以下的数式(1)获取表示凸缘坐标系C2中的视觉传感器70(传感器坐标系C3)的姿势(W、P、R)的旋转矩阵。
[数式1]
机器人控制装置50(对焦动作控制部502)还可以构成为，求出以设定于机器人10的基准坐标系为基准的传感器坐标系C3的位置。以下示出了该情况下的动作顺序。
(B1)机器人控制装置50首先在初始位置PS0以及初始姿势OR0下的凸缘坐标系C2中设定参照坐标系C4。在本实施方式中，机器人控制装置50在凸缘坐标系C2中设定参照坐标系C4，使得该参照坐标系的原点配置于凸缘坐标系C2的原点，该参照坐标系的姿势(各轴的方向)与通过上述的步骤获取的姿势(W、P、R)一致。因此，参照坐标系C4的x轴、y轴以及z轴的方向分别与传感器坐标系C3的x轴、y轴以及z轴平行。
(B2)接下来，机器人控制装置50使机器人10动作，使视觉传感器70(即，凸缘11)从初始位置PS0以及初始姿势OR0绕参照坐标系C4的z轴旋转姿势变化量θ1(第一姿势变化量)，由此配置于位置PS4以及姿势OR1。
(B3)图像处理部202通过与求出上述姿势的情况相同的方法，使视觉传感器70动作来拍摄指标ID，获取此时的指标ID相对于视觉传感器70的相对位置数据(X4、Y4、Z4)。
(B4)接下来，机器人控制装置50使机器人10动作，使视觉传感器70从初始位置PS0以及初始姿势OR0绕参照坐标系C4的x轴或者y轴(即，与视线的方向正交的轴)旋转姿势变化量θ2(第一姿势变化量)，由此配置于位置PS5以及姿势OR2。
(B5)图像处理部202通过与求出上述姿势的情况相同的方法，使视觉传感器70动作来拍摄指标ID，获取此时的指标ID相对于视觉传感器70的相对位置数据(X5、Y5、Z5)。
若将凸缘坐标系C2中的从参照坐标系C4的原点(在本实施方式中为MIF坐标系C2的原点)到位置未知的传感器坐标系C3的原点的向量设为(ΔX1，ΔY1，ΔZ1)，则以下的式(2)、(3)成立。
[数式2]
[数式3]
cosθ2·Y0-sinθ2·(Z0+ΔZ1)＝Y5 …(3)
机器人控制装置50通过对上述的式(2)以及(3)进行求解，能够推定凸缘坐标系C2中的从参照坐标系C4的原点到未知的传感器坐标系C3的原点的向量(ΔX1，ΔY1，ΔZ1)。
如以上说明的那样，指标ID是能够确定视觉传感器70与指标ID的相对位置关系的视觉图案，因此也能够代替在上述的对焦动作中使用的校准夹具J而使用指标ID。
如以上说明的那样，根据本实施方式，通过将视觉图案配置于检测对象部位，能够使视觉传感器自动地对焦于配置有视觉图案的部位。即，能够自动且高效地实施视觉传感器的焦点调节。
以上，使用典型的实施方式说明了本发明，但只要是本领域技术人员，就能够理解在不脱离本发明的范围的情况下，能够对上述的各实施方式进行变更以及各种其他变更、省略、追加。
在上述的实施方式中说明的结构能够应用于在可动部位搭载有视觉传感器的各种工业机械中的焦点调节动作。
在图1所示的设备结构例中，是将视觉传感器搭载于机器人，将校准夹具配置于固定位置的结构例，但也可以是将视觉传感器设为固定于作业空间的固定照相机，将校准夹具(视觉图案)搭载于机器人的工具的结构。在该情况下，也能够应用与图3所示的功能块结构相同的功能块结构。在该情况下，对焦动作控制部502在视觉传感器的视野中映现有校准夹具(视觉图案)的状态下，一边根据所决定的相对位置关系使视觉图案相对于视觉传感器移动(一边在以视觉图案为基准的预定的方向上变更视觉传感器与视觉图案的相对位置)，一边通过视觉传感器拍摄视觉图案来求出视觉图案的对焦度，由此使视觉传感器对焦于视觉图案。
图2所示的功能框图中的视觉传感器控制装置20和机器人控制装置50的功能块的配置是例示，功能块的配置可以有各种变形例。例如，也可以将作为图像处理部202的功能的至少一部分配置于机器人控制装置50侧。
在图5所示的对焦动作中，构成为通过比较对焦度是否与对焦度基准值一致(步骤S4)来确定对焦位置，但也可以代替这样的结构，通过在预定的动作范围内使照相机移动来搜索得到对焦度的峰值的位置，从而得到对焦位置。
用于执行上述实施方式中的对焦动作及其他各种处理的程序能够记录在计算机可读取的各种记录介质(例如ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD-ROM、DVD-ROM等光盘)中。
附图标记说明
10机器人
11凸缘
20视觉传感器控制装置
21处理器
22存储器
23输入输出接口
31工具
50机器人控制装置
51处理器
52存储器
53输入输出接口
54操作部
60台
70视觉传感器
100机器人系统
201输入图像
202图像处理部
203对焦度计算部
204校准数据存储部。

Claims (8)

1.一种图像处理系统，其特征在于，
所述图像处理系统具备：
工业机械；
视觉传感器；
视觉图案，其配置于检测对象部位，且该视觉图案用于确定所述视觉传感器与该视觉图案的相对位置关系；
图像处理部，其根据由所述视觉传感器拍摄所述视觉图案而得到的图像，决定所述视觉传感器与所述视觉图案的相对位置关系；以及
对焦动作控制部，其在所述视觉传感器的视野中映现有所述视觉图案的状态下，基于所决定的所述相对位置关系，在以所述视觉图案为基准的预定的方向上变更所述视觉传感器与所述视觉图案的相对位置，并且通过所述视觉传感器拍摄所述视觉图案来求出所述视觉图案的对焦度，由此使所述视觉传感器对焦于所述视觉图案。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述对焦动作控制部在相对于形成有所述视觉图案的面预先决定的方向上，变更所述视觉传感器与所述视觉图案的相对位置。
3.根据权利要求1或2所述的图像处理系统，其特征在于，
所述视觉传感器搭载于所述工业机械的预定的可动部位，
在所述视觉传感器的视野中映现有所述视觉图案的状态下，所述对焦动作控制部基于所述相对位置关系通过所述工业机械使所述视觉传感器向所述预定的方向移动，并且通过所述视觉传感器拍摄所述视觉图案来求出所述视觉图案的对焦度，由此使所述视觉传感器移动到对焦于所述视觉图案的对焦位置。
4.根据权利要求3所述的图像处理系统，其特征在于，
所述对焦动作控制部使所述视觉传感器相对于所述视觉图案在预定的动作范围内移动，将所述视觉图案的对焦度最高时的对焦度基准值与使所述视觉传感器移动的同时得到的所述对焦度进行比较，由此使所述视觉传感器移动到所述对焦位置。
5.根据权利要求3或4所述的图像处理系统，其特征在于，
所述视觉传感器已经实施校准，所述对焦动作控制部为了使所述视觉传感器朝向以所述视觉图案为基准的所述预定的方向，使用校准数据，所述校准数据表示所述视觉传感器的以所述工业机械的预定的基准位置为基准的位置以及姿势。
6.根据权利要求3或4所述的图像处理系统，其特征在于，
所述视觉传感器未实施校准，所述对焦动作控制部根据所述视觉传感器拍摄所述视觉图案而得到的图像，求出以所述工业机械的基准位置为基准的所述视觉传感器的姿势，根据所求出的该姿势，使所述视觉传感器朝向以所述视觉图案为基准的所述预定的方向移动。
7.根据权利要求1至6中的任一项所述的图像处理系统，其特征在于，
所述工业机械是工业用机器人。
8.一种图像处理方法，其特征在于，
根据用视觉传感器拍摄配置于检测对象部位的视觉图案而得到的图像来决定该视觉传感器与该视觉图案的相对位置关系，
在视觉传感器的视野中映现有所述视觉图案的状态下，基于所决定的所述相对位置关系，在以所述视觉图案为基准的预定的方向上变更所述视觉传感器与所述视觉图案的相对位置，并且通过所述视觉传感器拍摄所述视觉图案来求出所述视觉图案的对焦度，由此使所述视觉传感器对焦于所述视觉图案。
CN202180076116.1A 2020-12-10 2021-12-03 图像处理系统以及图像处理方法 Pending CN116472144A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020204868 2020-12-10
JP2020-204868 2020-12-10
PCT/JP2021/044535 WO2022124232A1 (ja) 2020-12-10 2021-12-03 画像処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
CN116472144A true CN116472144A (zh) 2023-07-21

Family

ID=81973253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180076116.1A Pending CN116472144A (zh) 2020-12-10 2021-12-03 图像处理系统以及图像处理方法

Country Status (6)

Country Link
US (1) US20230328372A1 (zh)
JP (1) JPWO2022124232A1 (zh)
CN (1) CN116472144A (zh)
DE (1) DE112021005353T5 (zh)
TW (1) TW202239546A (zh)
WO (1) WO2022124232A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP5670416B2 (ja) 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP6565175B2 (ja) * 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2018091774A (ja) 2016-12-06 2018-06-14 信越ポリマー株式会社 成形品の検査装置及び検査方法
JP6973233B2 (ja) 2017-05-17 2021-11-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
JP6538751B2 (ja) 2017-05-18 2019-07-03 ファナック株式会社 プログラミング装置及びロボット制御方法
CN110136208B (zh) * 2019-05-20 2020-03-17 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置

Also Published As

Publication number Publication date
DE112021005353T5 (de) 2023-08-31
WO2022124232A1 (ja) 2022-06-16
TW202239546A (zh) 2022-10-16
US20230328372A1 (en) 2023-10-12
JPWO2022124232A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP4021413B2 (ja) 計測装置
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
TWI670153B (zh) 機器人及機器人系統
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
JP4191080B2 (ja) 計測装置
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
JP3946711B2 (ja) ロボットシステム
EP2543483B1 (en) Information processing apparatus and information processing method
US7200260B1 (en) Teaching model generating device
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2011507714A (ja) 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
JP6565175B2 (ja) ロボットおよびロボットシステム
CN111707189B (zh) 基于双目视觉的激光位移传感器光束方向标定方法
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
US11625842B2 (en) Image processing apparatus and image processing method
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
CN111152243B (zh) 控制系统
JP6565367B2 (ja) 位置補正システム
JP6595065B1 (ja) 加工装置、加工装置の制御方法および加工装置の制御プログラム
CN116472144A (zh) 图像处理系统以及图像处理方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
JP6507792B2 (ja) ロボットおよびロボットシステム
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination