CN116761979A - 根据由视觉传感器取得的三维的位置信息生成截面图像的处理装置以及处理方法 - Google Patents

Abstract

控制装置具有视觉传感器和生成工件的距离图像的位置信息生成部。控制装置具有：切断线设定部，其通过对工件的距离图像的操作来设定切断工件的表面的切断线。控制装置具有：截面图像生成部，其根据与由切断线设定部设定的切断线对应的工件的表面的位置信息，生成二维的截面图像。

Description

根据由视觉传感器取得的三维的位置信息生成截面图像的处 理装置以及处理方法

技术领域

本发明涉及根据由视觉传感器取得的三维位置信息生成截面图像的处理装置以及处理方法。

背景技术

已知有利用视觉传感器拍摄对象物并检测对象物的表面的三维位置的视觉传感器。作为检测三维位置的装置，例如包含测量从光源发出的光在对象物的表面反射而返回到像素传感器为止的时间的光飞行时间方式的照相机。在光飞行时间方式的照相机中，根据光返回到像素传感器为止的时间，检测从照相机到对象物的距离或对象物的位置。另外，作为检测三维位置的装置，已知有包含两台二维照相机的立体照相机。在立体照相机中，能够根据由一方的照相机拍摄到的图像与由另一方的照相机拍摄到的图像的视差来检测从照相机到对象物的距离或对象物的位置(例如，日本特开2019-168251号公报及日本特开2006-145352号公报)。

另外，已知根据从视觉传感器的输出得到的对象物的表面的三维位置来检测对象物的个数、或者检测对象物的特征性部分(例如，日本特开2019-87130号公报和日本特开2016-18459号公报)。

现有技术文献

专利文献

专利文献1：日本特开2019-168251号公报

专利文献2：日本特开2006-145352号公报

专利文献3：日本特开2019-87130号公报

专利文献4：日本特开2016-18459号公报

发明内容

发明要解决的课题

检测对象物的表面的三维位置的视觉传感器被称为三维照相机。立体照相机等视觉传感器能够在拍摄区域内的对象物的表面设定多个三维点，针对各个三维点，测定从视觉传感器到三维点的距离。这样的视觉传感器实施在拍摄区域的整体中取得距离的信息的区域扫描。区域扫描方式的视觉传感器能够在未确定配置对象物的位置时进行对象物的位置的检测。在区域扫描方式中具有如下特征：为了对拍摄区域的整体实施三维点的位置的计算，运算处理量较多。

另一方面，作为检测对象物的表面的位置的装置，已知有实施向对象物照射直线状的激光光束的线扫描的视觉传感器。在线扫描方式的视觉传感器中，检测沿着激光光束的线上的位置。因此，生成沿着激光光束的表面的截面图像。在线扫描方式的视觉传感器中，需要将对象物配置在相对于照射激光光束的位置预先确定的位置。但是，具有如下特征：能够以较少的运算处理量检测对象物的表面的凸部等。

区域扫描方式的视觉传感器在机器视觉领域等多个领域中使用。例如，区域扫描方式的视觉传感器用于在进行规定作业的机器人装置中检测工件的位置。在此，根据对象物的不同，有时可以是由线扫描方式的视觉传感器得到的信息。即，有时能够通过直线上的对象物的位置信息进行期望的处理或判断。但是，为了以线扫描方式实施处理，存在除了区域扫描方式的视觉传感器以外，还必须配置线扫描方式的视觉传感器这样的问题。

用于解决课题的手段

本公开的方式的处理装置具有：视觉传感器，其取得与配置于拍摄区域内的对象物的表面相关的信息。处理装置具有：位置信息生成部，其根据与对象物的表面相关的信息来生成对象物的表面的三维位置信息。处理装置具有：切断线设定部，其通过针对对象物的表面的位置信息的操作，设定用于取得对象物的表面的截面图像的切断线。处理装置具有：截面图像生成部，其根据与由切断线设定部设定的切断线对应的对象物的表面的位置信息，生成切断对象物的表面时的二维截面图像。

本公开的方式的处理方法具有利用取得与配置在拍摄区域内的对象物的表面相关的信息的视觉传感器拍摄对象物的工序。处理方法具有位置信息生成部根据与对象物的表面相关的信息生成对象物的表面的三维的位置信息的工序。处理方法具有切断线设定部通过针对对象物的表面的位置信息的操作，设定用于取得对象物的表面的截面图像的切断线的工序。处理方法具有截面图像生成部根据与由切断线设定部设定的切断线对应的对象物的表面的位置信息，生成切断对象物的表面时的二维的截面图像的工序。

发明效果

根据本公开的方式，能够提供一种根据配置在视觉传感器的拍摄区域内的对象物的表面的三维的位置信息来生成对象物的表面的截面图像的处理装置和处理方法。

附图说明

图1是实施方式中的第一机器人装置的立体图。

图2是实施方式中的第一机器人装置的框图。

图3是实施方式中的视觉传感器的概略图。

图4是对由实施方式中的位置信息生成部生成的三维点进行说明的立体图。

图5是通过第一机器人装置显示工件的表面的截面图像的控制的流程图。

图6是由位置信息生成部生成的距离图像。

图7是由截面图像生成部生成的第一工件的表面的截面图像。

图8是对使视觉传感器倾斜地拍摄时的第一工件和视觉传感器的相对位置进行说明的立体图。

图9是传感器坐标系中的工件的表面以及架台的表面的截面图像。

图10是机器人坐标系中的工件的表面以及架台的表面的截面图像。

图11是拍摄实施方式中的第二工件时的第二工件和视觉传感器的立体图。

图12是第二工件的距离图像。

图13是第二工件的表面的截面图像。

图14是实施方式中的第二机器人装置的框图。

图15是在第二机器人设备中生成基准截面图像的控制的流程图。

图16是由第二机器人装置生成的基准截面图像。

图17是修正机器人的位置以及姿势的控制的流程图。

图18是实施方式中的第三机器人装置的概略图。

具体实施方式

参照图1至图18，对实施方式中的处理装置以及处理方法进行说明。本实施方式的处理装置对取得与对象物的表面相关的信息的视觉传感器的输出进行处理。本实施方式的视觉传感器不是对表面的位置信息进行检测的部分为线的线扫描方式的传感器，而是对表面的位置信息进行检测的部分为区域(面)的区域扫描方式的传感器。首先，对配置于具有变更作业工具的位置的机器人的机器人装置的处理装置进行说明。

图1是本实施方式中的第一机器人装置的立体图。图2是本实施方式中的第一机器人装置的框图。参照图1和图2，第一机器人装置3具有作为用于把持工件65的作业工具的机械手5和使机械手5移动的机器人1。机器人装置3具有控制机器人1以及机械手5的控制装置2。机器人装置3具有取得与作为对象物的工件65的表面相关的信息的视觉传感器30。

本实施方式的第一工件65是具有平面状的表面65a的板状的部件。工件65被支承于具有表面69a的架台69。机械手5是把持或释放工件65的作业工具。安装于机器人1的作业工具不限于该方式，能够采用与机器人装置3进行的作业对应的任意的作业工具。例如，能够采用进行焊接的作业工具或涂布密封材料的作业工具等。本实施方式的处理装置能够应用于进行任意作业的机器人装置。

本实施方式的机器人1是包含多个关节部18的多关节机器人。机器人1包含上部臂11和下部臂12。下部臂12被支承于回转基座13。回转基座13被支承于基座14。机器人1包含与上部臂11的端部连结的腕部15。腕部15包含固定机械手5的凸缘16。本实施方式的机器人1具有6个驱动轴，但不限于该方式。机器人可以采用能够移动作业工具的任意的机器人。

视觉传感器30经由支承部件68固定于凸缘16。本实施方式的视觉传感器30以位置以及姿势与机械手5一起变化的方式被支承于机器人1。

本实施方式的机器人1包含驱动上部臂11等构成部件的机器人驱动装置21。机器人驱动装置21包含用于驱动上部臂11、下部臂12、回转基座13以及腕部15的多个驱动马达。机械手5包含驱动机械手5的机械手驱动装置22。本实施方式的机械手驱动装置22通过气压驱动机械手5。机械手驱动装置22包含用于驱动机械手5的指部的泵以及电磁阀等。

控制装置2具有包含作为处理器的CPU(Central Processing Unit，中央处理器)的运算处理装置24(计算机)。运算处理装置24具有经由总线与CPU相互连接的RAM(RandomAccess Memory，随机存取存储器)以及ROM(Read Only Memory，只读存储器)等。机器人装置3根据动作程序41来驱动机器人1和机械手5。本实施方式的机器人装置3具有自动搬送工件65的功能。

控制装置2的运算处理装置24包含存储与机器人装置3的控制相关的信息的存储部42。存储部42可以由能够存储信息的非暂时性的存储介质构成。例如，存储部42能够由易失性存储器、非易失性存储器、磁存储介质或光存储介质等存储介质构成。向控制装置2输入为了进行机器人1的动作而预先制作的动作程序41。动作程序41存储于存储部42。

运算处理装置24包含输送动作指令的动作控制部43。动作控制部43根据动作程序41向机器人驱动部44输送用于驱动机器人1的动作指令。机器人驱动部44包含对驱动马达进行驱动的电路。机器人驱动部44根据动作指令向机器人驱动装置21供电。另外，动作控制部43向机械手驱动部45输送驱动机械手驱动装置22的动作指令。机械手驱动部45包含驱动泵等的电路。机械手驱动部45根据动作指令向机械手驱动装置22供电。

动作控制部43相当于按照动作程序41进行驱动的处理器。处理器读入动作程序41，实施在动作程序41中确定的控制，由此，作为动作控制部43发挥功能。

机器人1包含用于检测机器人1的位置以及姿势的状态检测器。本实施方式中的状态检测器包含被安装于机器人驱动装置21的各驱动轴的驱动马达的位置检测器23。位置检测器23例如由编码器构成。根据位置检测器23的输出，检测机器人1的位置以及姿势。

控制装置2包含作为作业者手动操作机器人装置3的操作盘的示教操作盘49。示教操作盘49包含输入与机器人1、机械手5以及视觉传感器30相关的信息的输入部49a。输入部49a由键盘和拨盘等操作部件构成。示教操作盘49包含显示与机器人装置3的控制相关的信息的显示部49b。显示部49b由液晶显示面板等显示面板构成。

对本实施方式的机器人装置3设定在机器人1的位置以及姿势变化时不动的机器人坐标系71。在图1所示的例子中，在机器人1的基座14配置有机器人坐标系71的原点。机器人坐标系71也被称为世界坐标系或者基准坐标系。机器人坐标系71的原点的位置固定，坐标轴的朝向固定。即使机器人1的位置以及姿势变化，机器人坐标系71的位置以及姿势也不变化。本实施方式的机器人坐标系71设定为Z轴与铅垂方向平行。

对机器人装置3设定工具坐标系72，该工具坐标系72具有设定于作业工具的任意位置的原点。工具坐标系72的位置以及姿势与机械手5一起变化。在本实施方式中，工具坐标系72的原点被设定在工具前端点。机器人1的位置与工具前端点的位置(工具坐标系72的原点的位置)对应。另外，机器人1的姿势与工具坐标系72相对于机器人坐标系71的姿势对应。

并且，在机器人装置3中，对视觉传感器30设定传感器坐标系73。传感器坐标系73是原点被固定于视觉传感器30的任意位置的坐标系。传感器坐标系73的位置以及姿势与视觉传感器30一起变化。本实施方式的传感器坐标系73被设定为Z轴与视觉传感器30所包含的照相机的光轴平行。

图3表示本实施方式中的视觉传感器的概略图。本实施方式的视觉传感器是能够取得对象物的表面的三维位置信息的三维照相机。参照图2和图3，本实施方式的视觉传感器30是包含第一照相机31和第二照相机32的立体照相机。各个照相机31、32是能够拍摄二维的图像的二维照相机。两台照相机31、32相互分离地配置。2台照相机31、32的相对位置是预先确定的。本实施方式的视觉传感器30包含朝向工件65投影条纹图案等图案光的投影仪33。照相机31、32以及投影仪33被配置于壳体34的内部。

本实施方式的机器人装置3的处理装置对由视觉传感器30取得的信息进行处理。在本实施方式中，控制装置2作为处理装置发挥功能。控制装置2的运算处理装置24包含对视觉传感器30的输出进行处理的处理部51。

处理部51包含：位置信息生成部52，其根据从视觉传感器30输出的与工件65的表面相关的信息，生成工件65的表面的三维位置信息。处理部51包含：切断线设定部53，其通过对工件65的表面的位置信息的操作，设定工件65的表面的切断线。切断线设定部53为了取得工件65的表面65a的截面图像而设定切断线。切断线设定部53通过基于人或机械的针对工件65的表面的位置信息的操作来设定切断线。

处理部51包含：截面图像生成部54，其根据与由切断线设定部53设定的切断线对应的工件65的表面的位置信息来生成二维的截面图像。截面图像生成部54生成通过切断线切断工件65的表面时的截面图像。

处理部51包含：坐标系转换部55，其将由传感器坐标系73取得的工件65的表面的位置信息转换为由机器人坐标系71表现的工件65的表面的位置信息。坐标系转换部55例如具有将传感器坐标系73中的三维点的位置(坐标值)转换为机器人坐标系71中的三维点的位置(坐标值)的功能。处理部51包含：拍摄控制部59，其向视觉传感器30输送拍摄工件65的指令。

上述的处理部51相当于按照动作程序41进行驱动的处理器。处理器通过实施在动作程序41中确定的控制，作为处理部51发挥功能。另外，处理部51所包含的位置信息生成部52、切断线设定部53、截面图像生成部54、坐标系转换部55以及拍摄控制部59相当于按照动作程序41进行驱动的处理器。处理器通过实施在动作程序41中确定的控制，由此作为各个单元发挥功能。

本实施方式的位置信息生成部52根据由第一照相机31拍摄到的图像与由第二照相机32拍摄到的图像的视差，计算从视觉传感器30到设定于对象物的表面的三维点的距离。例如，三维点能够按拍摄元件的像素设定。根据一方图像中的对象物的规定部分的像素的位置与另一方图像中的对象物的规定部分的像素的位置之差，计算从视觉传感器30到三维点的距离。位置信息生成部52按三维点计算距视觉传感器30的距离。并且，位置信息生成部52根据距视觉传感器30的距离，计算传感器坐标系73中的三维点的位置的坐标值。

图4表示由位置信息生成部生成的三维点的点群的立体图。图4是将三维点配置于三维空间时的立体图。在图4中，用虚线表示工件65的轮廓和架台69的轮廓。三维点85被配置在与视觉传感器30相对的物体的表面上。位置信息生成部52对拍摄区域91的内部所包含的物体的表面设定三维点85。在此，在工件65的表面65a配置有多个三维点85。另外，在架台69的表面69a配置有多个三维点85。

位置信息生成部52能够通过上述那样的三维点的点群的立体图来表示对象物的表面的三维的位置信息。另外，位置信息生成部52能够以距离图像或三维映射的形式生成对象物的表面的三维位置信息。距离图像是通过二维图像来表现对象物的表面的位置信息的图像。在距离图像中，通过各个像素的浓度或颜色来表示从视觉传感器30到三维点的距离。另一方面，三维映射是指通过对象物的表面的三维点的坐标值(x，y，z)的集合来表现对象物的表面的位置信息。此时的坐标值能够通过传感器坐标系或者机器人坐标系等任意的坐标系来表现。

在本实施方式中，作为对象物的表面的三维位置信息，以距离图像为例进行说明。本实施方式的位置信息生成部52生成根据从视觉传感器30到三维点85的距离使颜色的浓度变化的距离图像。

此外，本实施方式的位置信息生成部52配置于运算处理装置24的处理部51，但不限于该方式。位置信息生成部也可以配置在视觉传感器的内部。即，也可以是，视觉传感器包含包括CPU等处理器的运算处理装置，视觉传感器的运算处理装置的处理器作为位置信息生成部发挥功能。该情况下，从视觉传感器输出三维映射或距离图像等。

图5表示由第一机器人装置生成工件的表面的截面图像的控制的流程图。参照图1、图2以及图5，在步骤101中，实施在视觉传感器30的拍摄区域91的内部配置工件65的工序。作业者将工件65载置于架台69。

在第一机器人装置3中，预先确定架台69的位置以及姿势和工件65相对于架台69的位置以及姿势。即，预先确定机器人坐标系71中的工件65的位置以及姿势。另外，预先确定拍摄工件65时的机器人1的位置以及姿势。工件65被支承为相对于架台69的表面69a倾斜。在图1所示的例子中，以视觉传感器30的照相机的视线的朝向与铅垂方向平行的方式控制机器人1的位置以及姿势。即，传感器坐标系73的Z轴的方向与铅垂方向平行。

接着，在步骤102中，视觉传感器30实施拍摄工件65和架台69的工序。拍摄控制部59向视觉传感器30输送拍摄的指令。位置信息生成部52根据视觉传感器30的输出，实施生成作为工件65的表面65a的位置信息的距离图像的工序。

图6表示由位置信息生成部生成的距离图像。在距离图像81中，颜色的浓度根据三维点的距离变化。在此，生成为距视觉传感器30的距离越大颜色越浓。示教操作盘49的显示部49b显示距离图像81作为对象物的表面的位置信息。

接着，在步骤103中，切断线设定部53通过对距离图像81的操作，实施设定用于取得工件65的表面65a的截面图像的切断线的工序。作业者能够操作示教操作盘49的输入部49a来操作显示于显示部49b的图像。作业者对显示于显示部49b的工件65的距离图像81指定线。切断线设定部53将该线设定为切断线82c。

在此的例子中，作业者在对距离图像81指定切断线82c时，指定起点82a及终点82b。并且，作业者以通过直线连结起点82a和终点82b的方式操作输入部49a。或者，作业者能够从起点82a向箭头94所示的方向移动操作的点来指定线。切断线设定部53取得根据作业者的操作而指定的距离图像81中的线的位置。切断线设定部53将该线设定为切断线82c。存储部42存储距离图像81以及距离图像81中的切断线82c的位置。

接着，在步骤104中，截面图像生成部54实施生成切断工件65的表面时的二维截面图像的工序。截面图像生成部54根据与由切断线设定部53设定的切断线82c对应的工件65的表面65a及架台69的表面69a的位置信息来生成截面图像。

图7表示由截面图像生成部生成的工件和架台的表面的截面图像。截面图像生成部54取得与切断线82c对应的表面的位置信息。例如，截面图像生成部54取得坐标值作为沿着切断线82c配置的三维点的位置。该坐标值例如由传感器坐标系73表现。或者，截面图像生成部54取得从视觉传感器30到三维点的距离作为三维点的位置。

在图7所示的截面图像中，在设置有架台69的设置面中高度设定为零。截面图像生成部54能够根据距视觉传感器30的距离或三维点的坐标值，计算三维点距设置面的高度。并且，通过利用线连接彼此相邻的三维点来生成截面图像86。截面图像86表示将工件65的表面65a及架台69的表面69a沿着切断线82c切断时的二维截面形状。

在步骤105中，示教操作盘49的显示部49b显示由截面图像生成部54生成的截面图像86。作业者能够观察显示于显示部49b的截面图像86来实施任意的作业。例如，能够实施工件65的表面的形状或尺寸的检查。或者，能够取得切断线82c上的任意点的位置。

这样，本实施方式的处理装置以及处理方法能够使用区域扫描方式的视觉传感器来生成对象物的表面的截面图像。特别是，本实施方式的处理装置和处理方法能够生成由线扫描方式的视觉传感器生成的截面图像。

另外，切断线设定部将作业者对距离图像指定的线设定为切断线。通过进行该控制，能够生成距离图像的任意部分的截面图像。能够生成作业者期望的部分的截面图像。

然而，在图1所示的状态下，传感器坐标系73的Z轴的方向与铅垂方向平行。另外，机器人坐标系71的Z轴的方向与铅垂方向平行。因此，由传感器坐标系73表现的工件65的表面65a的截面形状的图像与由机器人坐标系71表现的工件65的表面65a的截面形状的图像一样。然而，在机器人1的位置以及姿势变化的情况下，在由传感器坐标系73表现的截面图像中，有时难以知晓工件的表面的截面形状。

图8表示在使视觉传感器倾斜的状态下拍摄工件时的立体图。传感器坐标系73的Z轴的方向相对于铅垂方向倾斜。另外，在此的例子中，传感器坐标系73的Z轴的方向与工件65的表面65a的法线相互平行。并且，从传感器坐标系73的原点到表面65a的一方端部的距离与从传感器坐标系73的原点到表面65a的另一方端部的距离彼此相同。即，箭头95a所示的距离与箭头95b所示的距离相同。

图9表示在传感器坐标系中生成的截面图像。根据传感器坐标系73的坐标值生成截面图像87。传感器坐标系73的Z轴的方向相当于高度的方向。在传感器坐标系73的Z轴的方向上，以使从视觉传感器30离开预先确定的距离的面的位置为零的方式确定高度。在截面图像87中，工件65的表面65a的高度恒定。与此相对，架台69的表面69a的高度随着距起点的距离变化而变化。

实际的工件65的表面65a相对于水平方向倾斜，与此相对，在截面图像87中，表面65a的高度恒定。这样，当根据传感器坐标系73生成截面图像时，有时难以知道表面的截面形状。参照图2，本实施方式的坐标系转换部55能够将在传感器坐标系73中生成的工件65的表面65a的位置信息转换为在机器人坐标系71中表现的工件65的表面65a的位置信息。

例如，坐标系转换部55能够根据机器人1的位置以及姿势，计算传感器坐标系73相对于机器人坐标系71的位置以及姿势。因此，坐标系转换部55能够将传感器坐标系73中的三维点的坐标值转换为机器人坐标系71中的三维点的坐标值。截面图像生成部54能够根据由机器人坐标系71表现的工件65的表面65a的位置信息，生成由机器人坐标系71表现的截面图像。

图10表示在机器人坐标系中生成的工件以及架台的表面的截面图像。在截面图像88中，机器人坐标系71的Z轴的方向为高度的方向。本实施方式的机器人坐标系71的Z轴的方向与铅垂方向平行。因此，架台69的表面69a的高度恒定。另外，得到工件65的表面65a倾斜的截面图像。该截面图像88与图7所示的截面图像86相同。这样，通过坐标系转换部55的功能，能够将由传感器坐标系73表现的截面图像转换为由机器人坐标系71表现的截面图像。通过该控制，作业者容易观察工件的表面的截面形状。

接着，本实施方式的机器人装置能够生成沿着曲线切断工件的表面时的工件的表面的截面图像。

图11表示拍摄第二工件时的工件和视觉传感器的立体图。第二工件66是具有凸缘的形状的部件。在工件66的中央部形成有沿着中心轴贯通的孔部66b。另外，在工件66的锷部形成具有底面的两个孔部66c。在此的例子中，视觉传感器30以使传感器坐标系73的Z轴的方向与铅垂方向平行的方式配置。另外，工件66以表面66a与水平方向平行的方式被固定于架台69。在此的例子中，工件66固定于架台69的预先确定的位置。即，预先确定机器人坐标系71中的工件66的位置。

图12表示拍摄第二工件时的距离图像。位置信息生成部52取得由视觉传感器30取得的与工件66的表面66a和架台69的表面69a相关的信息。在此，取得由两台照相机31、32拍摄到的图像。位置信息生成部52生成距离图像83。在距离图像83中示出了工件66的表面66a和孔部66b、66c。以距视觉传感器30的距离越大颜色越浓的方式生成距离图像83。

接着，作业者指定用于取得截面图像的切断线。作业者通过操作示教操作盘49的输入部49a，在距离图像83上记载成为切断线84c的线。在此，作业者指定切断线84c的起点84a及终点84b。作业者将切断线84c的形状指定为圆。另外，作业者输入圆的半径以及圆的中心等生成圆所需的条件。如箭头94所示，切断线设定部53生成具有从起点84a朝向终点84b的圆的形状的切断线84c。在此，切断线84c形成为通过形成于锷部的两个孔部66c的中心轴。或者，作业者也可以沿着箭头94所示的方向在距离图像83上手动记载线，由此，指定切断线84c。

图13表示第二工件的截面图像。接着，截面图像生成部54生成沿着切断线84c切断工件66的表面66a的截面图像89。在此，在传感器坐标系73中生成截面图像89。从起点84a朝向终点84b，表面66a的高度恒定。显示了与各个孔部66c对应的凹部。

作业者能够根据截面图像89进行工件66的检查等任意的作业。例如，作业者能够实施孔部66c的个数、形状或深度等的检查。或者，作业者能够确认表面66a的凹部或凸部的大小。因此，作业者能够实施工件66的表面66a的平坦度的检查。或者，能够确认表面的位置以及孔部66c的位置。

这样，在本实施方式的处理装置中，能够生成沿着曲线切断对象物的表面时的截面图像。作为切断线，不限于直线和圆的形状，能够指定任意形状的切断线。例如，也可以由自由曲线形成切断线。并且，也可以针对1个工件在多个部位设定切断线，生成沿着各个切断线的截面图像。

图14表示本实施方式的第二机器人装置的框图。第二机器人装置7实施由截面图像生成部54生成的截面图像的图像处理。在第二机器人装置7中，处理部60的结构与第一机器人装置3的处理部51(参照图2)不同。第二机器人装置7的处理部60包含在图像中检测对象物的特征部的特征检测部57。特征部是在图像中形状具有特征的部分。

特征检测部57通过进行在本次的拍摄中生成的对象物的截面图像与预先确定的基准截面图像的匹配，检测对象物的表面的特征部。本实施方式的特征检测部57实施图像的匹配中的图案匹配。特征检测部57能够检测截面图像中的特征部的位置。处理部60包含：指令生成部58，其根据特征部的位置生成设定机器人1的位置以及姿势的指令。指令生成部58将变更机器人1的位置以及姿势的指令输送到动作控制部43。并且，动作控制部43变更机器人1的位置以及姿势。

另外，第二机器人装置7的处理部60具有生成基准截面图像的功能，该基准截面图像是成为进行图案匹配时的基准的截面图像。视觉传感器30拍摄基准对象物，该基准对象物是成为用于生成基准截面图像的基准的对象物。位置信息生成部52生成成为基准的对象物的表面的位置信息。截面图像生成部54生成基准截面图像，该基准截面图像是成为基准的对象物的表面的截面图像。处理部60包含在基准截面图像中设定对象物的特征部的特征设定部56。存储部42能够存储与视觉传感器30的输出有关的信息。存储部42存储生成的基准截面图像和基准截面图像中的特征部的位置。

上述的特征检测部57、指令生成部58以及特征设定部56中的各个单元相当于按照动作程序41进行驱动的处理器。处理器通过实施在动作程序41中确定的控制，作为各个单元发挥功能。

图15表示生成基准截面图像的控制的流程图。在此，作为第二机器人装置7进行的作业，与图1所示的第一机器人装置3同样，列举搬送第一工件65的例子进行说明。在该控制中，为了进行工件65的表面的截面图像86(参照图7)的图案匹配，生成成为基准的基准截面图像。参照图1、图14以及图15，作业者准备成为用于生成基准截面图像的基准的工件。在此，将作为基准对象物的工件称为基准工件。基准工件具有与第一工件65一样的形状。

在步骤111中，将基准工件配置在视觉传感器30的拍摄区域91的内部。预先确定机器人坐标系71中的架台69的位置。另外，作业者将基准工件配置于架台69的预先确定的位置。这样，基准工件在机器人坐标系71中被配置于预先确定的位置。机器人1的位置以及姿势变更为用于拍摄基准工件的预先确定的位置以及姿势。

在步骤112中，视觉传感器30拍摄基准工件来取得与基准工件的表面相关的信息。位置信息生成部52生成基准工件的距离图像。显示部49b显示基准工件的距离图像。在本实施方式中，将基准工件的距离图像称为基准距离图像。

接着，在步骤113中，作业者在显示于显示部49b的基准距离图像上指定基准的切断线即基准切断线。例如，如图6所示，以通过工件65的表面65a的宽度方向的中央的方式指定线。切断线设定部53将该线设定为切断线82c。这样，切断线设定部53根据作业者的输入部49a的操作来设定切断线。存储部42存储拍摄基准工件而得的基准距离图像中的切断线的位置。

接着，在步骤114中，截面图像生成部54生成沿着切断线的截面图像。从基准工件取得的截面图像为基准截面图像。即，由截面图像生成部54生成的基准工件的截面图像为进行截面图像的图案匹配时的基准截面图像。

图16表示通过对基准工件进行拍摄而生成的基准截面图像的例子。通过对与第一工件对应的板状的基准工件进行拍摄而生成基准截面图像90。在此，表示在传感器坐标系73中生成的基准截面图像90。基准截面图像90被显示于显示部49b。

接着，在步骤115中，作业者在基准截面图像90中指定工件的特征部。作业者通过操作输入部49a在基准截面图像90中指定特征部。在此，作业者将基准工件的表面65a中的最高的点指定为特征部65c。特征设定部56将由作业者指定的部分设定为特征部。特征设定部56检测基准截面图像90中的特征部65c的位置。这样，作业者能够示教截面图像中的特征部的位置。此外，作为特征部，不限于点，也可以由线或图形构成。

接下来，在步骤116中，存储部42存储由截面图像生成部54生成的基准截面图像90。存储部42存储由特征设定部56设定的基准截面图像90中的特征部65c的位置。或者，存储部42存储基准工件的表面的截面形状中的特征部65c的位置。

此外，在本实施方式中，通过利用视觉传感器拍摄基准工件来生成基准截面图像，但不限于该方式。基准截面图像能够通过任意的方法制作。控制装置的处理部也可以不具有生成基准截面图像的功能。例如，也可以通过CAD(Computer Aided Design，计算机辅助设计)装置来制作工件和架台的三维形状数据，根据三维形状数据来生成基准截面图像。

图17表示机器人装置对工件进行作业时的控制的流程图。在该控制中，使用由处理部生成的截面图像来调整机器人的位置以及姿势。

参照图14和图17，在步骤101中，将作为作业的对象即对象物的工件65配置在视觉传感器30的拍摄区域91的内部。工件65配置于机器人坐标系71的预先确定的位置。在步骤102中，视觉传感器30拍摄工件65的表面65a。位置信息生成部52生成工件65的表面65a的距离图像。

在步骤124中，切断线设定部53对工件65的距离图像设定切断线。此时，切断线设定部53能够根据基准距离图像中的切断线的位置，对本次取得的距离图像设定切断线。例如，如图6所示，在距离图像的规定的位置设定切断线。这样，切断线设定部53能够根据预先确定的规则自动地设定切断线。

在步骤125中，截面图像生成部54生成沿着由切断线设定部53设定的切断线切断工件65的表面65a时的工件65的表面65a的截面图像。

接着，在步骤126中，特征检测部57通过进行基准截面图像与本次取得的截面图像的图案匹配，确定本次生成的表面65a的截面图像中的特征部。例如，与图16所示的基准截面图像90中的特征部65c对应地确定本次取得的截面图像中的特征部。并且，特征检测部57检测特征部的位置。特征部的位置通过特征部的三维位置信息来检测。特征部的位置例如通过机器人坐标系中的三维点的坐标值或者距视觉传感器的距离等来检测。

在步骤127中，指令生成部58根据本次取得的截面图像中的特征部的位置，计算把持工件时的机器人1的位置以及姿势。或者，在确定了把持基准工件时的机器人1的位置以及姿势的情况下，指令生成部58也可以根据基准截面图像90中的特征部的位置与本次取得的截面图像中的特征部的位置之差，来计算机器人的位置以及姿势的修正量。

在步骤128中，指令生成部58将把持工件时的机器人1的位置以及姿势输送给动作控制部43。动作控制部43实施根据从指令生成部58取得的指令来变更机器人1的位置以及姿势并把持工件65的控制。

第二机器人装置7根据截面图像来控制机器人1的位置以及姿势，由此，能够对工件进行准确的作业。例如，即使工件的尺寸因制造误差不同，也能够对工件实施准确的作业。另外，在第二机器人装置7中，处理部60能够设定切断线而自动地生成工件的表面的截面图像。另外，能够对通过视觉传感器30的拍摄而生成的截面图像进行图像处理，自动地调整机器人1的位置以及姿势。

在上述的实施方式中，预先确定拍摄工件时的工件的位置以及姿势和机器人的位置以及姿势。即，机器人坐标系71中的工件的位置以及姿势和机器人1的位置以及姿势恒定，但不限于该方式。在配置于拍摄工件的位置时，有时从期望的位置偏移。例如，有时架台69中的工件65的位置从成为基准的位置偏移。即，有时机器人坐标系71中的工件65的位置从成为基准的位置偏移。

因此，处理部60也可以通过进行基准工件的基准距离图像与成为作业的对象的工件的距离图像的图案匹配来检测工件65的位置。本实施方式的处理部60能够生成成为用于进行距离图像的图案匹配的基准的基准距离图像。在图15的步骤112中，位置信息生成部52生成基准工件的距离图像。存储部42将该距离图像存储为基准距离图像。在步骤113中，切断线设定部53设定基准工件中的切断线即基准切断线。存储部42存储基准距离图像中的基准切断线的位置。

此外，基准距离图像能够通过任意的方法生成。例如，也可以使用通过CAD装置生成的工件和架台的三维形状数据来生成基准距离图像。

接着，实施如下控制：在机器人装置7对工件进行作业的情况下，使用工件的距离图像和基准距离图像来修正配置有工件的位置。参照图17，在步骤124之前，特征检测部57检测距离图像中的工件的位置。特征检测部57通过进行预先制作的基准距离图像与从视觉传感器30的输出取得的距离图像的图案匹配，来检测拍摄到的距离图像中的工件的位置。例如，能够将工件的轮廓设定为特征部，对工件的轮廓进行图案匹配。

接着，在步骤124中，切断线设定部53对拍摄到的距离图像设定切断线。切断线设定部53根据基准距离图像中的基准切断线相对于基准工件的位置，设定切断线的位置。切断线设定部53能够以与拍摄到的距离图像中的工件的特征部的位置的偏移量对应的方式设定切断线的位置。例如，如图6所示，切断线设定部53能够以通过工件65的表面65a的宽度方向的中央的方式设定切断线82c。并且，通过与所述的步骤125以后的控制同样的控制，能够把持工件。这样，也可以根据由视觉传感器拍摄到的距离图像来修正工件的位置。

在上述的实施方式中，以把持工件的控制为例进行了说明，但不限于该方式。机器人装置能够进行任意的作业。例如，机器人装置能够实施在工件的预先确定的部分涂布粘接剂的作业或进行焊接的作业等。

并且，第二机器人装置7能够自动地实施工件的检查。参照图11、图12以及图14，在第二机器人装置7实施第二工件66的检查的情况下，特征检测部57通过进行距离图像的图案匹配，能够检测孔部66b作为特征部。

切断线设定部53能够在相对于孔部66b预先确定的位置设定切断线84c。例如，切断线设定部53能够设定具有中心配置在孔部66b的中心轴上的圆的形状的切断线84c。并且，截面图像生成部54沿着切断线84c生成截面图像。特征检测部57能够通过进行与基准截面图像的图案匹配来检测孔部66c。处理部60能够检测孔部66c的个数、位置、或者深度等。处理部60可以根据预先确定的判定范围来检查孔部66c。

在上述实施方式中，作为基准截面图像与由截面图像生成部生成的截面图像的匹配，以图案匹配为例，但不限于该方式。截面图像的匹配能够采用能够判定由截面图像生成部生成的截面图像中的基准截面图像的位置的任意的匹配方法。例如，特征部检测部能够实施包含SAD(Sum of Absolute Difference，绝对差之和)法或SSD(Sum of SquaredDifference，平方差和)法的模板匹配。这样，在第二机器人装置中，实施由截面图像生成部生成的截面图像的图像处理。并且，能够根据图像处理的结果，修正机器人的位置以及姿势，或实施工件的检查。

第二机器人装置7的切断线设定部53能够操作所取得的距离图像来自动地设定切断线。因此，能够自动地进行机器人装置进行的作业或检查等。此外，切断线设定部能够根据对基准距离图像设定的切断线，对由视觉传感器取得的距离图像设定切断线，但不限于该方式。例如，能够对由CAD装置生成的工件的三维模型预先设定切断线。并且，切断线设定部也可以根据对三维模型指定的切断线，对由视觉传感器取得的距离图像设定切断线。

生成所述的截面图像的处理装置配置于具有机器人的机器人装置，但不限于该方式。处理装置能够应用于取得工件的表面的截面形状的任意装置。

图18表示本实施方式中的检查装置的概略图。在此，以检查图11所示的第二工件66的装置为例进行说明。检查装置8包含搬送工件66的输送机6和用于检查工件66的控制装置9。控制装置9具有视觉传感器30和对视觉传感器30的输出进行处理的运算处理装置25。控制装置9作为生成对象物的截面图像的处理装置发挥功能。

如箭头96所示，输送机6使工件66向一方向移动。视觉传感器30被支承于支承部件70。视觉传感器30被配置为从上方拍摄由输送机6搬送的工件66。这样，在检查装置8中，视觉传感器30的位置以及姿势被固定。

控制装置9具有包含作为处理器的CPU的运算处理装置25。运算处理装置25具有从第二机器人装置7的处理部60除去指令生成部58后的处理部(参照图14)。

另外，运算处理装置25包含控制输送机6的动作的输送机控制部。输送机控制部相当于按照预先生成的程序进行驱动的处理器。在工件66相对于视觉传感器30的拍摄区域91被配置在预先确定的位置时，输送机控制部停止输送机6的驱动。在此的例子中，视觉传感器30拍摄多个工件66的表面66a。检查装置8在一次作业中检查多个工件66。

位置信息生成部52生成各个工件66的距离图像。切断线设定部53对各个工件设定切断线。并且，截面图像生成部54生成各个工件66的表面66a的截面图像。处理部能够根据截面图像来实施各个工件66的检查。

这样，处理装置的视觉传感器也可以固定。另外，处理装置也可以一次实施配置在视觉传感器的拍摄区域中的多个对象物的图像处理。例如，也可以一次实施多个工件的检查。通过实施该控制，提高作业效率。

本实施方式的视觉传感器是立体照相机，但不限于该方式。作为视觉传感器，可以采用能够取得对象物的表面的规定区域的位置信息的区域扫描方式的传感器。特别是，可以采用能够取得在视觉传感器的拍摄区域内的对象物的表面设定的三维点的位置信息的传感器。例如，作为视觉传感器，能够采用根据光的飞行时间取得三维点的位置信息的TOF(Time of Flight，飞行时间)照相机。另外，作为检测三维点的位置信息的装置，包含使激光测距仪在规定的区域进行扫描来检测对象物的表面的位置的装置等。

在上述的各个控制中，能够在不变更功能以及作用的范围内适当地变更步骤的顺序。

上述的实施方式能够适当组合。在上述各图中，对相同或相等的部分标注相同的附图标记。此外，上述的实施方式是例示，并不限定发明。另外，在实施方式中，包含权利要求书所示的实施方式的变更。

附图文字说明

1 机器人

2、9 控制装置

3、7 机器人装置

8 检查装置

24、25 运算处理装置

30 视觉传感器

41 动作程序

42 存储部

43 动作控制部

49 示教操作盘

49a 输入部

49b 显示部

51、60 处理部

52 位置信息生成部

53 切断线设定部

54 截面图像生成部

55 坐标系转换部

57 特征检测部

65、66 工件

65a、66a表面

65c 特征部

71 机器人坐标系

73 传感器坐标系

81、83 距离图像

82c、84c切断线

85三维点

86、87、88、89截面图像

90 基准截面图像

91 拍摄区域。

Claims (8)

1.一种处理装置，其特征在于，具有：

视觉传感器，其取得与配置在拍摄区域内的对象物的表面相关的信息；

位置信息生成部，其根据与对象物的表面相关的信息生成对象物的表面的三维的位置信息；

切断线设定部，其通过针对对象物的表面的位置信息的操作，设定用于取得对象物的表面的截面图像的切断线；

截面图像生成部，其根据与由所述切断线设定部设定的切断线对应的对象物的表面的位置信息，生成切断对象物的表面时的二维的截面图像。

2.根据权利要求1所述的处理装置，其特征在于，

所述处理装置具有：

显示部，其显示对象物的表面的位置信息；

输入部，其供作业者操作显示于所述显示部的图像，

所述切断线设定部将作业者针对显示于所述显示部的对象物的表面的位置信息指定的线设定为切断线。

3.根据权利要求1或2所述的处理装置，其特征在于，

处理装置被配置于具有变更所述视觉传感器的位置和姿势的机器人的机器人装置，

对机器人装置设定机器人坐标系和传感器坐标系，所述机器人坐标系在机器人的位置和姿势变化时不动，所述传感器坐标系的位置和姿势与所述视觉传感器一起变化，

处理装置具有：坐标系转换部，其将在传感器坐标系中取得的对象物的表面的位置信息转换为在机器人坐标系中表现的对象物的表面的位置信息，

所述截面图像生成部根据在机器人坐标系中表现的对象物的表面的位置信息，生成在机器人坐标系中表现的截面图像。

4.根据权利要求1～3中任一项所述的处理装置，其特征在于，

实施由所述截面图像生成部生成的截面图像的图像处理。

5.根据权利要求4所述的处理装置，其特征在于，

所述处理装置具有：特征检测部，其检测对象物的特征部，

所述特征检测部通过进行预先制作的基准截面图像与由所述截面图像生成部生成的截面图像的匹配来检测对象物的特征部。

6.根据权利要求5所述的处理装置，其特征在于，

所述处理装置具有：存储部，其存储与所述视觉传感器的输出相关的信息，

所述视觉传感器拍摄成为用于生成基准截面图像的基准的对象物，

所述位置信息生成部生成成为基准的对象物的表面的位置信息，

所述截面图像生成部生成成为基准的对象物的表面的截面图像，

所述存储部存储由所述截面图像生成部生成的成为基准的对象物的截面图像作为进行匹配时的基准截面图像。

7.根据权利要求1所述的处理装置，其特征在于，

对象物的表面的位置信息是距离图像或三维映射。

8.一种处理方法，其特征在于，具有：

利用取得与配置在拍摄区域内的对象物的表面相关的信息的视觉传感器拍摄对象物的工序；

位置信息生成部根据与对象物的表面相关的信息生成对象物的表面的三维的位置信息的工序；

切断线设定部通过针对对象物的表面的位置信息的操作，设定用于取得对象物的表面的截面图像的切断线的工序；

截面图像生成部根据与由所述切断线设定部设定的切断线对应的对象物的表面的位置信息，生成切断对象物的表面时的二维的截面图像的工序。