CN115803584A - 取得工件表面的三维信息及工件的二维图像的拍摄装置 - Google Patents

Abstract

提供一种取得工件的表面的三维信息以及二维图像的拍摄装置。拍摄装置(3)具有在取得工件的表面的三维信息之后取得二维图像的视觉传感器(30)。在搬送工件的输送机(6)的输送机驱动马达(24)安装有位置检测器(25)。图像处理部(47)根据位置检测器(25)的输出，计算从取得三维信息时到拍摄二维图像为止的工件的移动量。图像处理部(47)在预先确定的坐标系中，以与工件的移动量对应的方式相对于二维图像移动三维信息。

Description

取得工件表面的三维信息及工件的二维图像的拍摄装置

技术领域

本发明涉及取得工件表面的三维信息及工件的二维图像的拍摄装置。

背景技术

在以往的技术中，已知有利用视觉传感器拍摄图像，根据得到的图像来检测物体的表面的形状或物体的位置的装置。作为视觉传感器，已知有对工件表面的二维图像进行拍摄的二维传感器。另外，已知有测定从视觉传感器到工件的表面的距离的三维传感器。根据从三维传感器到工件的表面的距离和三维传感器的位置，能够计算工件的特定的部分的三维的位置。

以往，已知具有机器人以及作业工具的机器人装置。已知在机器人装置中，为了检测工件的位置而配置视觉传感器。例如，机器人装置利用机械手把持工件并搬送工件。机器人装置为了把持工件，需要检测工件的位置以及姿势。在以往的技术中，已知有通过对由二维照相机拍摄到的二维图像以及由三维传感器拍摄到的距离图像进行处理来计算工件的位置以及姿势的控制(例如，日本特开2013-36988号公报)。

现有技术文献

专利文献

专利文献1：日本特开2013-36988号公报

发明内容

发明要解决的课题

在图像处理中，有时利用由三维传感器取得的三维信息和由二维传感器取得的二维图像。例如，在机器人把持并搬送由输送机搬送的工件的机器人装置中，利用三维传感器拍摄由输送机搬送的工件。从三维传感器的输出取得测定点的三维图。能够根据三维图来检测工件的位置以及姿势。并且，能够根据工件的位置以及姿势，计算机器人取出工件时的机器人的位置以及姿势。

在此，需要确定三维图中的工件的位置。为了确定工件的位置，能够使用二维图像。但是，在利用三维传感器取得三维图之后拍摄了二维图像的情况下，工件通过输送机移动。在取得三维图时的工件的位置与拍摄了二维图像时的工件的位置之间产生偏差。因此，优选在工件的位置相同的状态下，进行基于三维传感器的三维信息的取得和基于二维传感器的二维图像的取得。例如，优选同时进行基于三维传感器的拍摄和基于二维传感器的拍摄。通过该控制，拍摄了二维图像时的工件的位置与取得三维信息时的工件的位置相同，因此，能够容易地确定三维信息中的工件的位置。

但是，在三维传感器是包含2个照相机和投影仪的立体照相机的情况下，参照图案通过投影仪投影到工件上。如果与用于取得三维图的拍摄同时进行二维图像的拍摄，则在二维图像中显现参照图案。因此，存在二维图像中的工件的特征部位的检测困难这样的问题。这样，存在如下问题：在工件通过搬送机移动的期间中，难以同时取得三维信息和二维图像。

在停止了搬送机的状态下，能够进行基于三维传感器的三维信息的取得和基于二维传感器的二维图像的取得。在该控制中，每当利用视觉传感器取得三维信息以及二维图像时都需要停止搬送机，因此，存在作业效率降低这样的问题。另外，在启动或停止搬送机时，搬送机中的工件的位置可能发生变化。即，存在搬送机中的工件的位置偏移的情况。

另外，作为三维传感器，能够使用立体照相机以外的传感器。例如，作为三维传感器，能够使用利用了光的飞行时间的TOF(Time of Flight：飞行时间)照相机。但是，在使用了TOF照相机的情况下，存在需要进一步配置用于取得二维图像的照相机这样的问题。

用于解决课题的手段

本公开的一方式是一种拍摄装置，其对通过由马达驱动的搬送机在预先确定的方向上搬送的工件进行拍摄。拍摄装置具有：三维传感器，其用于检测工件的表面的三维信息；二维传感器，其用于取得工件的表面的二维图像。拍摄装置具有：处理部，其对三维传感器的输出和二维传感器的输出进行处理。处理部包含：三维信息生成部，其根据三维传感器的输出生成三维信息；二维图像取得部，其从二维传感器取得二维图像。处理部包含：移动控制部，其在预先确定的坐标系中变更三维信息相对于二维图像的相对位置。搬送机包含：位置检测器，其用于检测通过马达进行移动的移动部件的位置。取得三维信息的时期与取得二维图像的时期不同。移动控制部计算与取得三维信息时的移动部件的第一位置和取得二维图像时的移动部件的第二位置之差对应的工件的移动量。移动控制部实施在上述坐标系中以与工件的移动量对应的方式移动三维信息并在工件的二维图像的区域内移动工件的三维信息的控制。

发明效果

根据本公开的方式，能够提供取得工件的表面的三维信息以及工件的二维图像的拍摄装置。

附图说明

图1是实施方式中的第一机器人装置的主视图。

图2是第一机器人装置的平面图。

图3是第一机器人装置的框图。

图4是实施方式中的视觉传感器的概略图。

图5是第一机器人装置的控制的流程图。

图6是生成工件的三维图时的工件、视觉传感器以及输送机的主视图。

图7是对由视觉传感器取得的三维图的测定点进行说明的工件及输送机的平面图。

图8是取得工件的二维图像时的工件、视觉传感器以及输送机的主视图。

图9是由视觉传感器取得的二维图像的例子。

图10是实施方式中的第二机器人装置的平面图。

具体实施方式

参照图1至图10，对实施方式中的拍摄装置以及具有拍摄装置的机器人装置进行说明。本实施方式的机器人装置具有机器人和安装于机器人的作业工具。并且，机器人装置具有拍摄工件的拍摄装置和搬送工件的搬送机。

图1是本实施方式中的第一机器人装置的概略主视图。图2是本实施方式中的第一机器人装置的概略平面图。参照图1以及图2，第一机器人装置8具有作为作业工具(末端执行器)的机械手2、以及移动机械手2的机器人1。本实施方式的机器人1是包含多个关节部的多关节机器人。

机器人1包含固定于设置面的基座部14和相对于基座部14旋转的回转基座13。机器人1包含能够转动地支承于回转基座13的下部臂12、能够转动地支承于下部臂12的上部臂11。另外，上部臂11绕与上部臂11的延伸方向平行的旋转轴旋转。机器人1包含能够转动地支承于上部臂11的端部的腕15。在腕15的前端配置有形成为能够旋转的凸缘16。本实施方式的机器人1具有6个驱动轴，但不限于该方式。能够采用能够移动作业工具的任意的机器人。

本实施方式的工件81是长方体状的箱。机械手2是把持或释放工件81的作业工具。本实施方式的机械手2具有多个吸附垫2a。机械手2通过吸附来把持工件81。机械手2被固定于腕15的凸缘16。作为安装于机器人1的作业工具，不限于该方式。能够采用与机器人装置进行的作业对应的任意的作业工具。例如，在进行电弧焊接的机器人装置中，能够配置焊炬作为作业工具。或者，在将密封材料涂布于工件的表面的机器人装置中，能够配置分配器作为作业工具。

第一机器人装置8包含作为在预先确定的方向上搬送工件81的搬送机的输送机6。本实施方式的输送机6使环状的传送带6a旋转。如箭头86所示，输送机6使工件81沿水平方向移动。输送机6将工件81搬送至机器人1变更位置及姿势并且机械手2能够把持工件81的位置。机器人装置8在把持了由输送机6搬送的工件81之后向目标位置移动。例如，机器人装置8实施将工件81堆积在托盘的上侧的作业。

机器人装置8具有对由输送机6搬送的工件81进行拍摄的拍摄装置3。拍摄装置3包含作为用于检测工件81的表面的三维信息的三维传感器的视觉传感器30。通过视觉传感器30的输出，生成与作为物体的工件81的表面对应的三维的测定点(三维点)的位置信息。如后所述，本实施方式的视觉传感器30也作为用于对工件81的表面的二维图像进行拍摄的二维传感器发挥功能。

视觉传感器30由支承部件37支承。固定本实施方式的视觉传感器30的位置。视觉传感器30配置在能够拍摄由输送机6搬送的工件81的位置。视觉传感器30在搬送工件81的方向上被配置于比机器人1靠上游侧的位置。

在本实施方式中，根据从视觉传感器30的输出取得的三维信息，检测工件81的位置以及姿势。根据工件81的位置以及姿势，计算用于通过机械手2把持工件81的机器人1的位置以及姿势。并且，机器人1变更位置以及姿势，由此，能够利用机械手2把持并移动由输送机6搬送的工件81。

在本实施方式中，在不停止输送机6的情况下视觉传感器30拍摄工件81。即，在输送机6移动工件81的同时，视觉传感器30拍摄工件81。另外，在输送机6移动工件81的同时，机器人1变更位置以及姿势，机械手2把持工件81。机器人1变更位置以及姿势，由此，将工件81从输送机6提起。

在机器人装置8中设定有作为基准坐标系的世界坐标系76。在图1所示的例子中，在机器人1的基座部14配置有世界坐标系76的原点。即使机器人1的位置以及姿势变化，世界坐标系76的位置以及朝向也不变化。世界坐标系76具有相互正交的X轴、Y轴以及Z轴作为坐标轴。另外，作为绕X轴的坐标轴而设定W轴。作为绕Y轴的坐标轴而设定P轴。作为绕Z轴的坐标轴而设定R轴。

另外，设定有具有设定于作业工具的任意位置的原点的工具坐标系77。在本实施方式中，工具坐标系77的原点设定为机械手2的工具前端点。若机器人1改变位置以及姿势，则工具坐标系77的位置以及姿势发生变化。例如，机器人1的位置相当于工具前端点的位置。另外，机器人1的姿势相当于工具坐标系77相对于世界坐标系76的朝向。

并且，在机器人装置8中，与视觉传感器30对应地设定传感器坐标系78。传感器坐标系78是原点被固定于视觉传感器30的坐标系。固定本实施方式的传感器坐标系78的位置。因此，能够根据传感器坐标系78相对于世界坐标系76的位置以及姿势，将传感器坐标系78中的坐标值变换为世界坐标系76中的坐标值。

图3表示本实施方式中的第一机器人装置的框图。参照图1至图3，机器人1包含使机器人1的位置以及姿势变化的机器人驱动装置。机器人驱动装置包含驱动臂以及腕等结构部件的机器人驱动马达22。机械手2具有驱动机械手2的机械手驱动装置。机械手驱动装置包含对机械手2的吸附垫2a的内部进行减压的泵21及电磁阀。

机器人装置8的控制装置具有控制机器人1以及机械手2的机器人控制装置4。机器人控制装置4包含具有作为处理器的CPU(Central Processing Unit：中央处理器)的运算处理装置(计算机)。运算处理装置具有经由总线与CPU连接的RAM(Random Access Memory：随机存取存储器)以及ROM(Read Only Memory：只读存储器)等。向机器人控制装置4输入为了进行机器人1、机械手2以及输送机6的控制而预先制作出的动作程序41。

机器人控制装置4包含存储与机器人1、机械手2以及输送机6的控制相关的信息的存储部42。存储部42能够由易失性存储器、非易失性存储器、或者硬盘等能够存储信息的存储介质构成。动作程序41存储在存储部42中。

本实施方式的机器人装置8根据动作程序41来搬送工件81。机器人装置8能够自动地将工件81搬送至预先确定的目标位置。机器人控制装置4包含送出动作指令的动作控制部43。动作控制部43相当于按照动作程序41进行驱动的处理器。处理器读入动作程序41，并实施在动作程序41中确定的控制，由此，作为动作控制部43发挥功能。

动作控制部43根据动作程序41向机器人驱动部45送出用于驱动机器人1的动作指令。机器人驱动部45包含驱动机器人驱动马达22的电路。机器人驱动部45根据动作指令向机器人驱动马达22供电。另外，动作控制部43根据动作程序41向机械手驱动部44送出驱动机械手2的动作指令。机械手驱动部44包含驱动泵21和电磁阀的电路。机械手驱动部44根据动作指令向泵21及电磁阀供电。并且，动作控制部43根据动作程序41，向视觉传感器30送出拍摄图像的指令。

机器人控制装置4包含显示与机械手2、机器人1以及输送机6的控制相关的信息的显示器46。显示器46由液晶显示面板等任意的显示面板构成。

机器人1包含用于检测机器人1的位置以及姿势的状态检测器。本实施方式中的状态检测器包含安装在与机器人1的结构部件的驱动轴对应的机器人驱动马达22的位置检测器23。本实施方式的位置检测器23由安装于机器人驱动马达22的输出轴的编码器构成。根据位置检测器23的输出，检测机器人1的位置以及姿势。

机器人控制装置4包含作为对三维传感器的输出以及二维传感器的输出进行处理的处理部的图像处理部47。即，机器人控制装置4也作为对图像进行处理的装置发挥功能。图像处理部47包含根据三维传感器的输出生成三维信息的三维信息生成部61。图像处理部47包含从二维传感器取得二维图像的二维图像取得部62。另外，图像处理部47包含在预先确定的坐标系中变更三维信息相对于二维图像的相对位置的移动控制部63。

图像处理部47包含：特征部位检测部64，其根据预先制作的基准图像和从二维传感器取得的二维图像，检测工件81的预先确定的特征部位。图像处理部47包含：计算部65，其根据工件81的特征部位的三维信息来计算工件81的位置以及姿势。另外，计算部65根据工件81的位置以及姿势来计算机器人1的位置以及姿势。

由计算部65计算出的机器人1的位置以及姿势送出到动作控制部43。动作控制部43根据从计算部65接收到的动作指令来控制机器人1以及机械手2。

上述的图像处理部47、三维信息生成部61、二维图像取得部62、移动控制部63、特征部位检测部64以及计算部65各自的单元相当于按照动作程序41进行驱动的处理器。处理器实施在动作程序41中规定的控制，由此，作为各个单元发挥功能。

机器人装置8的控制装置具有控制输送机6的输送机控制装置5。输送机控制装置5包含运算处理装置(计算机)，该运算处理装置包含作为处理器的CPU、ROM以及RAM。输送机控制装置5形成为能够与机器人控制装置4相互通信。输送机控制装置5接收来自机器人控制装置4的指令，驱动输送机6。

输送机6包含驱动输送机6的输送机驱动装置26。输送机驱动装置26包含作为驱动输送机6的马达的输送机驱动马达24和使输送机驱动马达24的旋转速度减速的减速器。工件81载置于作为通过输送机驱动马达24移动的移动部件的传送带6a的表面。输送机驱动马达24使传送带6a旋转。输送机6包含用于检测传送带6a的位置的位置检测器25。传送带6a的位置与输送机驱动马达24的输出轴的旋转位置对应。本实施方式的位置检测器25被安装于输送机驱动马达24的输出轴。位置检测器25由检测输出轴的旋转位置的编码器构成。位置检测器25的输出被输入到输送机控制装置5。此外，搬送机的位置检测器可以按照能够检测搬送机的移动部件的位置的方式配置于任意的位置。例如，也可以在支承输送机的传送带的轴上安装编码器。或者，也可以在编码器安装圆盘，圆盘以通过输送机的传送带的移动而旋转的方式被推压到传送带。根据该结构，当传送带移动时，圆盘旋转，能够通过编码器的输出来检测传送带的位置。

输送机控制装置5包含存储与输送机6的控制相关的信息的存储部52。存储部52能够由易失性存储器、非易失性存储器、或者硬盘等能够存储信息的存储介质构成。输送机控制装置5包含送出输送机6的动作指令的动作控制部53。运算处理装置的处理器作为动作控制部53发挥功能。输送机控制装置5包含：输送机驱动部54，其具有根据动作指令向输送机驱动马达24供电的电路。

本实施方式的机器人装置8的控制装置具有控制机器人1以及机械手2的机器人控制装置4和控制输送机6的输送机控制装置5，但不限于该方式。机器人装置8也可以形成为通过1个控制装置来控制机器人1、机械手2以及输送机6。

图4表示本实施方式的视觉传感器的概略图。本实施方式的视觉传感器30是包含第一照相机31和第二照相机32的立体照相机。各个照相机31、32是能够拍摄二维图像的二维照相机。作为照相机31、32，能够采用具有CCD(Charge-Coupled Device：电荷耦合器件)传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)传感器等拍摄元件的任意的照相机。2台照相机31、32被相互分离地配置。预先确定2台照相机31、32的相对位置。

本实施方式的视觉传感器30包含朝向工件81投影条纹等图案光的投影仪33。照相机31、32以及投影仪33被配置于壳体34的内部。在根据视觉传感器30的输出取得三维信息的情况下，通过投影仪33投影图案光，并且照相机31、32拍摄二维图像。

参照图3，图像处理部47的三维信息生成部61对由视觉传感器30取得的图像进行处理，由此能够利用三维图生成物体的表面的三维信息。在三维信息中包含与在物体的表面设定的多个测定点的位置相关的信息。三维图是通过在物体的表面设定的测定点的坐标值(x，y，z)的集合来表现物体的表面的位置的图。

此外，本实施方式的图像处理部47包含在控制机器人1的机器人控制装置4中，但不限于该方式。对由视觉传感器30取得的图像进行处理的运算处理装置也可以与机器人控制装置分开配置。

参照图3以及图4，本实施方式中的三维信息生成部61在配置于视觉传感器30的拍摄范围35的内部的物体的表面设定多个测定点。例如，测定点能够按照相机31或照相机32的二维图像的像素设定。三维信息生成部61根据由2台照相机31、32拍摄的二维图像的视差，计算从视觉传感器30到测定点的距离。

三维信息生成部61能够根据从视觉传感器30到测定点的距离，计算传感器坐标系78中的测定点的坐标值。或者，也可以根据视觉传感器30的位置以及姿势，将传感器坐标系78的坐标值变换为世界坐标系76的坐标值。这样，三维信息生成部61能够形成包含多个测定点的坐标值的三维图。

本实施方式的视觉传感器30具有作为二维传感器的功能。第一照相机31以及第二照相机32是二维照相机，因此，能够利用任一方的照相机31、32拍摄二维图像。在本实施方式中，利用第一照相机31取得二维图像。

本实施方式的三维传感器是能够拍摄二维图像的立体照相机。通过采用该结构，能够利用立体照相机所包含的1个二维照相机取得二维图像。能够利用1个传感器取得三维的测定点的位置信息以及二维图像的双方。因此，能够简化拍摄装置的结构。

在本实施方式的拍摄装置3中，利用视觉传感器30取得包含工件81的表面的测定点的信息的三维图。之后，利用视觉传感器30的第一照相机31拍摄包含同一工件81的二维图像。为了取得三维图而利用视觉传感器30进行了拍摄的时期与拍摄了二维图像的时期相互不同。因此，取得了三维图时的工件的位置与拍摄了二维图像时的工件81的位置相互不同。

本实施方式的移动控制部63取得输送机6的位置检测器25的输出。计算从取得了三维图时到拍摄了二维图像时为止移动的工件81的实际的移动量。并且，以与工件81的移动量对应的方式，在预先确定的坐标系中，进行以与二维图像对应的方式移动三维信息的控制。通过该控制，能够在上述坐标系中将工件的三维信息的至少一部分与工件的二维图像重叠。换言之，能够生成与在同一时刻取得的三维信息以及二维图像同等的三维信息以及二维图像。

图5表示本实施方式中的机器人装置的控制的流程图。图6表示取得三维图时的视觉传感器、工件及输送机的概略主视图。参照图5及图6，在步骤91中，输送机控制装置5通过驱动输送机6，如箭头86所示移动工件81。输送机控制装置5将工件81移动至视觉传感器30的拍摄范围35的内部。在本实施方式的机器人装置8中，配置有检测工件81的到来的传感器。位置检测器25检测传感器反应的时间点的位置。动作控制部53根据上述位置来计算工件81配置于拍摄范围35的内部时的旋转位置。位置检测器25检测其旋转位置，由此，可知工件81配置在拍摄范围35的内部。

在步骤92中，视觉传感器30拍摄工件81。三维信息生成部61生成三维信息。在本实施方式中，三维信息生成部61使用由照相机31、32拍摄到的二维图像来生成三维图。输送机控制装置5从安装于输送机驱动马达24的位置检测器25取得第一旋转位置。输送机控制装置5与视觉传感器30拍摄工件81同时取得第一旋转位置。第一旋转位置相当于取得三维信息时的传送带6a的第一位置。输送机控制装置5的存储部52存储第一旋转位置。

图7表示由三维信息生成部生成的三维图的说明图。在图7中示出了输送机6以及工件81的平面图。通过视觉传感器30的拍摄范围35来确定设定测定点的测定区域71。三维图包含多个测定点PX的位置的坐标值。在测定区域71的内部拍摄的物体的表面设定测定点PX。测定区域71例如与由第一照相机31拍摄的图像对应。在测定区域71的内部，在工件81的表面、输送机6的表面以及地面设定测定点PX。针对各个测定点PX，计算预先确定的坐标系中的测定点PX的位置的坐标值。在本实施方式中，在传感器坐标系78中计算各个测定点PX的位置的坐标值。

在此的例子中，将设定于工件81的表面的多个测定点PX称为测定点PX的组71a。将设定于输送机6的框体的表面的多个测定点PX称为测定点PX的组71b。将设定于传送带6a的表面的多个测定点PX称为测定点PX的组71c。另外，将设定于地面的多个测定点PX称为测定点PX的组71d。

图8表示拍摄二维图像时的视觉传感器、工件及输送机的概略主视图。在图8中，用虚线示出了取得三维图时的工件81的位置。在取得了三维图之后，工件81如箭头86所示移动。参照图5，在步骤93中，视觉传感器30的第一照相机31拍摄二维图像。第一照相机31在拍摄范围35的内部配置有工件81时拍摄工件81的图像。例如，视觉传感器30能够在刚进行了用于取得三维图的拍摄之后拍摄二维图像。或者，视觉传感器30能够在进行了用于取得三维图的拍摄之后经过预先确定的时间之后拍摄二维图像。

参照图3，二维图像取得部62从视觉传感器30的第一照相机31取得二维图像。此外，也可以代替第一照相机31，利用第二照相机32取得二维图像。另外，输送机控制装置5从输送机驱动马达24的位置检测器25取得第二旋转位置。输送机控制装置5在与拍摄工件81的二维图像同时取得第二旋转位置。第二旋转位置相当于取得二维图像时的传送带6a的第二位置。存储部52存储第二旋转位置。

图9表示由视觉传感器的第一照相机拍摄到的二维图像的例子。图像72是二维图像。在本实施方式的图像72中设定有图像坐标系79。图像坐标系79是以图像72的预先确定的点为原点的坐标系。在此的例子中，图像坐标系79由X轴以及Y轴构成。在图像72中包含与工件81的上表面对应的图像72a。

在图像72中包含与输送机6的框体对应的图像72b和与传送带6a对应的图像72c。在图9中，用虚线表示在将测定区域71与图像72重叠时与工件81的上表面对应的测定点的组71a。在本实施方式中，在利用输送机6移动工件81的同时取得三维图以及二维图像。因此，拍摄二维图像时的工件81的位置与进行用于取得三维图的拍摄时的工件81的位置不同。

图像72中的工件81的图像72a的位置从工件81的上表面的测定点的组71a的位置偏移。因此，图像处理部47的移动控制部63实施如箭头87所示移动三维图的所有测定点的位置的控制。根据工件81移动的方向以及工件81的移动量，修正测定点的位置。移动控制部63实施使设定于工件81的上表面的测定点的组71a的位置与图像72a的位置匹配的控制。

参照图3以及图5，在步骤94中，移动控制部63计算输送机6中的工件81的移动距离作为工件81的移动量。工件81的移动距离与传送带6a移动的长度对应。移动控制部63从输送机控制装置5的存储部52取得输送机驱动马达24的第一旋转位置以及第二旋转位置。移动控制部63根据第一旋转位置以及第二旋转位置之差，计算工件81的移动距离。

例如，位置检测器25形成为按规定的旋转角输出信号。因此，从位置检测器25输出的信号与旋转位置对应。位置检测器25检测第一计数值CT1作为第一旋转位置。另外，位置检测器25检测第二计数值CT2作为第二旋转位置。传送带6a相对于计数值之差的移动量(工件的移动量)预先确定。在此，计数值相对于传送带6a的1mm的移动量的系数SC[计数/mm]被预先确定。此时的工件81的移动距离X能够由下式(1)表示。

X[mm]＝(CT2-CT1)/SC…(1)

这样，移动控制部63根据位置检测器25的输出，计算输送机6中的工件81的移动距离。

参照图5，在步骤95中，移动控制部63与工件81的移动方向以及工件81的移动量对应地修正三维图。移动控制部63将三维图所包含的测定点的位置沿工件81的移动方向移动。传感器坐标系78中的工件81的移动方向预先确定。在此的例子中，工件81在传感器坐标系78的X轴的方向上移动。

在本实施方式的三维图中，利用传感器坐标系78的坐标值来检测测定区域71内的测定点的位置。移动控制部63以工件81的移动量移动三维图所包含的测定点的位置。另外，移动控制部63将三维图所包含的测定点的位置沿工件81移动的方向平行移动。

参照图8，移动控制部63按各个测定点进行位置的移动。例如，在三维图中包含配置于工件81的表面的测定点P1A的坐标值。移动控制部63以工件81的移动量将测定点P1A向工件81移动的方向移动。测定点P1A移动到测定点P1B。在此的例子中，以工件81的移动量修正传感器坐标系78中的测定点P1A的X轴的坐标值。另外，在三维信息中包含设定于工件81的表面的测定点P2A的坐标值。移动控制部63通过同样的方法，将测定点P2A移动到测定点P2B。以工件81的移动量修正传感器坐标系78中的测定点P2A的X轴的坐标值。这样，能够以与工件81的移动对应的方式，变更测定点的坐标值。在此，移动测定区域71所包含的所有测定点。

参照图9，在将测定区域71与图像72重叠时，图像72中的测定点的组71a～71d的移动方向预先设定。在此的例子中，移动控制部63在图像坐标系79的Y轴的正侧的方向上移动测定点的组71a～71d。固定视觉传感器30的位置。图像坐标系79中的测定点的移动距离相对于工件81的实际的移动距离的比例被预先设定。移动控制部63根据工件81的移动距离，计算图像坐标系79中的测定点的组71a～71d的移动距离。移动控制部63如箭头87所示移动三维图。组71a的至少一部分的测定点在工件81的二维图像即图像72a的区域内移动。其结果是，在图像72a的区域内包含组71a的至少一部分测定点。

参照图3和图5，在步骤96中，图像处理部47的特征部位检测部64在作为二维图像的图像72中检测工件81的特征部位。在本实施方式中，工件81的上表面设定为特征部位。工件81的上表面的基准图像被预先存储在存储部42中。基准图像是二维图像。基准图像能够采用由二维照相机实际拍摄工件81的上表面而得的图像。或者，也可以使用CAD(ComputerAided Design：计算机辅助设计)装置，根据工件81的三维数据来生成工件81的基准图像。特征部位检测部64通过使用了基准图像的模板匹配的方法，在图像72中检测工件81的上表面的图像72a。

接着，在步骤97中，计算部65计算工件81的位置和姿势。作为工件81的位置，例如能够采用工件81的上表面的长方形的重心位置。另外，作为工件的姿势，能够采用工件81的上表面的法线方向。计算部65提取被配置在与图像72a重叠的区域的测定点。在此的例子中，为了使测定点的组71a与图像72a重叠，计算部65提取组71a所包含的多个测定点。计算部65能够根据多个测定点的坐标值来计算工件81的位置以及姿势。

这样，在本实施方式中，能够利用二维图像检测工件81的特征部位，根据工件81的特征部位的三维信息，检测工件81的位置以及姿势。

接着，在步骤98中，计算部65根据工件81的位置以及姿势，计算机器人1的位置以及姿势。计算部65计算利用输送机6将工件81移动至被机械手2把持的位置时的工件81的位置以及姿势。计算部65根据此时的工件81的位置以及姿势，计算机器人1的位置以及姿势。

在步骤99中，计算部65对动作控制部43送出驱动机器人1以及机械手2的指令。动作控制部43根据来自计算部65的指令，驱动机器人1以及机械手2。工件81被机械手2把持并被搬送至目标位置。

这样，本实施方式的拍摄装置3能够使三维信息与二维图像同步。即，能够以在与二维图像相同的时刻取得三维信息的方式校正三维信息。因此，能够在利用输送机6移动工件81的同时，实施工件81的拍摄和机械手2对工件81的把持。在本实施方式的机器人装置8中，在取得三维信息以及二维图像时不需要停止输送机6，能够缩短作业时间。或者，在输送机6停止时以及输送机6启动时，能够抑制输送机6中的工件的位置偏移。

上述的拍摄装置3在取得了三维信息之后拍摄二维图像，但不限于该方式。拍摄装置也可以在拍摄了二维图像之后取得三维信息。该情况下，移动控制部也能够实施使三维信息中的测定点的位置移动而与二维图像的位置匹配的控制。

第一机器人装置8的搬送机是输送机6，但不限于该方式。作为搬送机，能够采用在预先确定的方向搬送工件81的任意的装置。

图10表示本实施方式中的第二机器人装置的概略平面图。在第二机器人装置9中，代替第一机器人装置8的输送机6，配置作为搬送机的搬送车7。本实施方式的搬送车7是沿传输带39自动地移动的无人行驶台车。另外，代替第一机器人装置8的输送机控制装置5，配置搬送车控制装置。搬送车控制装置例如通过无线通信来控制搬送车7。

搬送车7搬送工件81。搬送车7包含载置工件81的载置台7a。搬送车7包含对粘贴于地面的传输带39进行检测的传感器。搬送车7形成为在利用传感器检测传输带39的同时沿着传输带39移动。即，搬送车7的移动方向被预先确定。搬送车7使工件81在水平方向上移动。在搬送车7移动的路径的上方配置有固定于支承部件37的视觉传感器30。视觉传感器30被配置在能够拍摄由搬送车7搬送的工件81的位置。

搬送车7包含用于驱动车轮的驱动马达。在驱动马达的输出轴安装有位置检测器。载置台7a相当于通过驱动马达进行移动的移动部件。载置台7a的位置例如能够由设定于搬送车7的任意位置的设定点的位置确定。另外，载置台7a的位置与驱动马达的输出轴的旋转位置对应。此外，位置检测器也可以安装于搬送车的车轮的轴。

在第二机器人装置9中，视觉传感器30也在搬送车7移动的期间中进行拍摄。图像处理部47在相互不同的时刻取得三维图以及二维图像。另外，图像处理部47取得在取得三维图时由位置检测器检测出的第一旋转位置和在取得二维图像时由位置检测器检测出的第二旋转位置。

图像处理部47的移动控制部63根据第一旋转位置以及第二旋转位置，计算工件81的移动距离。移动控制部63根据工件81的移动量来修正三维图的测定点的位置。移动控制部63在图像坐标系中，相对于工件的二维图像变更工件的三维信息的相对位置。移动控制部63实施在工件的二维图像的区域内移动工件的三维信息的控制。之后，图像处理部47能够根据三维图以及二维图像来检测工件81的位置以及姿势。

第二机器人装置的其他结构、作用和效果与第一机器人装置一样，因此，在此不反复说明。

在上述的实施方式中，为了检测工件的特征部位而使用了基准图像，但不限于该方式。也可以在利用机器人把持工件时不使用基准图像。例如，与工件的移动量对应地移动三维图等三维信息。并且，根据三维信息，检测工件的重心位置。机械手相对于重心位置的位置和姿势被预先确定。根据工件的重心位置，能够计算机械手的位置以及姿势。

本实施方式的搬送机沿直线状的路径搬送工件，但不限于该方式。只要确定了移动工件的方向，则搬送机也可以沿曲线状的路径移动工件。

本实施方式的拍摄装置为了检测工件的位置和姿势而取得三维信息和二维图像，但不限于该方式。拍摄装置为了进行任意的控制，能够取得三维信息以及二维图像。并且，拍摄装置通过在预先确定的坐标系中移动三维信息，由此能够取得二维图像与三维信息的同步。

在上述的各个控制中，能够在不变更功能以及作用的范围内适当地变更步骤的顺序。

上述的实施方式能够适当组合。在上述的各个图中，对相同或相等的部分标注相同的附图标记。此外，上述的实施方式是例示，并不限定发明。另外，在实施方式中，包含权利要求书所示的实施方式的变更。

附图标记说明

1 机器人

2 机械手

3 拍摄装置

4 机器人控制装置

5 输送机控制装置

6 输送机

7 搬送车

8、9 机器人装置

24 输送机驱动马达

25 位置检测器

26 输送机驱动装置

30 视觉传感器

31 第一照相机

32 第二照相机

47 图像处理部

61 三维信息生成部

62 二维图像取得部

63 移动控制部

64 特征部位检测部

65 计算部

71 测定区域

71a、71b、71c、71d组

72图像

72a、72b图像

78 传感器坐标系

79 图像坐标系

81 工件

P1A、P1B、P2A、P2B测定点。

Claims (3)

1.一种拍摄装置，其对通过由马达驱动的搬送机在预先确定的方向上搬送的工件进行拍摄，其特征在于，

所述拍摄装置具有：

三维传感器，其用于检测工件的表面的三维信息；

二维传感器，其用于取得工件的表面的二维图像；

处理部，其对所述三维传感器的输出和所述二维传感器的输出进行处理，

所述处理部包含：三维信息生成部，其根据所述三维传感器的输出生成三维信息；二维图像取得部，其从所述二维传感器取得二维图像；移动控制部，其在预先确定的坐标系中变更三维信息相对于二维图像的相对位置，

所述搬送机包含：位置检测器，其用于检测通过所述马达进行移动的移动部件的位置，

取得三维信息的时期与取得二维图像的时期不同，

所述移动控制部计算与取得三维信息时的所述移动部件的第一位置和取得二维图像时的所述移动部件的第二位置之差对应的工件的移动量，实施在所述坐标系中以与工件的移动量对应的方式移动三维信息并在工件的二维图像的区域内移动工件的三维信息的控制。

2.根据权利要求1所述的拍摄装置，其特征在于，

所述三维传感器拍摄二维图像。

3.根据权利要求1或2所述的拍摄装置，其特征在于，

所述搬送机是移动工件的输送机，

所述马达是驱动输送机的输送机驱动马达。

Images