CN117321382A

CN117321382A - 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置

Info

Publication number: CN117321382A
Application number: CN202180098103.4A
Authority: CN
Inventors: 高桥祐辉
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2021-05-20
Filing date: 2021-05-20
Publication date: 2023-12-29
Also published as: JPWO2022244212A1; TW202246872A; WO2022244212A1; DE112021007292T5

Abstract

拍摄装置具备检测视觉传感器对焦时的焦点位置的焦点位置检测部。拍摄装置具备参数设定部，该参数设定部设定用于计算与由视觉传感器拍摄到的图像中的特定位置对应的三维位置的参数。拍摄装置具备使用由参数设定部设定的参数来计算特征部分的三维位置的特征位置计算部。参数设定部根据焦点位置来设定参数。

Description

基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置

技术领域

本发明涉及基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置。

背景技术

以往，公知有通过对利用视觉传感器拍摄对象物而得到的图像进行处理来检测对象物的三维位置的装置。例如，已知有从两个方向拍摄对象物的二维图像，计算特定部分的三维位置的装置(例如，日本特开2016-706475号公报)。或者，已知在被称为立体照相机的视觉传感器中，利用两台二维照相机同时拍摄图像，并基于两个图像中的视差来计算特征点的三维位置。

这样的计算三维位置的装置能够安装于用于移动进行预定作业的作业工具的机器人。在搬运工件的机器人系统中，利用照相机拍摄放置于预定位置的工件。基于由照相机拍摄到的图像来检测工件的三维位置。变更机器人的位置以及姿势，以便能够根据该工件的位置把持工件。通过这样的控制，能够检测工件的准确的位置而可靠地实施作业。

在基于由视觉传感器拍摄到的二维图像来计算对象物的三维位置的情况下，使用用于将图像中的位置变换为三维位置的计算模型。计算模型包括诸如系数和常数的预定参数。通过使用计算模型，能够根据由照相机拍摄到的图像中的位置来计算三维位置。

现有技术文献

专利文献

专利文献1：日本特开2016-70674号公报

发明内容

发明所要解决的课题

用于计算对象物的三维位置的计算模型中的参数依赖于设置有照相机的状况、透镜的特性以及透镜的个体差异等。参数可以通过计算或实验等预先决定。例如，在将照相机配置于预定的位置之后，能够实际拍摄对象物的图像，预先计算参数。

在以往的照相机主体与透镜的组合中，将照相机固定在预定的位置来使用。照相机的透镜的位置被固定，预先计算参数来使用。然而，有时在由照相机拍摄的对象物中包含个体差异。或者，存在由照相机拍摄时的对象物的位置从所希望的位置偏移的情况。其结果，存在拍摄工件时图像模糊的情况。

因此，考虑使照相机对焦的控制。例如，在具有自动聚焦功能的照相机中，考虑根据配置工件的位置或工件的个体差来对焦。但是，当实施对焦时，对焦的透镜的位置发生变化，因此，计算模型中的参数也发生变化。由于参数是与一个焦点位置对应地确定的，因此存在无法使焦点对准预先决定的焦点位置以外的位置的问题。另外，需要不考虑焦点位置而使用参数。

另外，为了使焦点位置固定，考虑使照相机相对于工件的相对位置与预先决定的位置一致。但是，有时工件和照相机中的至少一方的位置发生变化。例如，根据工件被搬运的状况，有时载置于作业台上的工件的位置以及姿势发生变化。在该情况下，机器人能够根据工件的位置以及姿势来变更位置以及姿势。然而，存在机器人干扰配置于机器人系统的周围的栅栏等障碍物的情况。或者，有时机器人的行程存在极限。因此，有时难以使照相机相对于工件的相对位置与预先决定的位置一致。

用于解决课题的手段

本公开的一个方式的拍摄装置具备：视觉传感器，其拍摄对象物；以及焦点位置检测部，其检测视觉传感器对焦时的焦点位置。拍摄装置具备参数设定部，该参数设定部设定用于计算与由视觉传感器拍摄到的图像中的特定位置对应的三维位置的参数。拍摄装置具有存储部，该存储部存储用于设定与焦点位置对应的参数的设定信息。拍摄装置具备：特征检测部，其在对象物的图像中检测预先决定的特征部分；以及特征位置计算部，其使用由参数设定部设定的参数，计算特征部分的三维位置。参数设定部根据焦点位置和设定信息来设定参数。

发明效果

根据本公开的方式，能够提供在焦点位置变化时高精度地检测特征部分的三维位置的拍摄装置。

附图说明

图1是实施方式中的第一机器人系统的概略图。

图2是实施方式中的第一机器人系统的框图。

图3是实施方式的工件的平面图。

图4是说明使照相机对焦的位置和照相机的视野的概略图。

图5是变更对焦的位置时的图像的例子。

图6是为了对焦而移动了透镜的位置时的图像传感器、透镜以及工件的特征部分的概略图。

图7是说明第一机器人系统的控制的流程图。

图8是说明第一机器人系统的其他控制的第一概略图。

图9是说明第一机器人系统的其他控制的第二概略图。

图10是实施方式中的第二机器人系统的概略图。

图11是实施方式中的搬运装置的概略图。

图12是实施方式中的搬运装置的框图。

具体实施方式

参照图1至图12，对实施方式中的拍摄装置进行说明。本实施方式的拍摄装置作为基于由视觉传感器拍摄到的图像来计算图像中的特定位置的三维位置的三维位置取得装置发挥功能。

图1是具备本实施方式中的拍摄装置的第一机器人系统的概略图。图2是本实施方式中的第一机器人系统的框图。本实施方式的机器人系统检测作为对象物的工件的位置并搬运工件。

参照图1和图2，第一机器人系统3具备作为把持工件38的作业工具的手部5和移动手部5的机器人1。机器人系统3具备控制机器人系统3的控制装置2。另外，机器人系统3具备载置工件38的架台95。

本实施方式的手部5是把持或释放工件38的作业工具。作为安装于机器人1的作业工具，不限于该方式，能够采用与机器人系统3进行的作业对应的任意的作业工具。例如，作为末端执行器，能够采用实施焊接的作业工具等。

本实施方式的机器人1是包含多个关节部18的多关节机器人。机器人1包括上部臂11和下部臂12。下部臂12支承于转动基座13。转动基座13支承于基座14。机器人1包括与上部臂11的端部连结的腕部15。腕部15包括固定手部5的凸缘16。机器人1的构成部件形成为绕预先决定的驱动轴旋转。作为机器人1，不限于该方式，能够采用能够移动作业工具的任意的机器人。

本实施方式的机器人1包括具有驱动上部臂11等构成部件的驱动电动机的机器人驱动装置21。手部5包括驱动手部5的手部驱动装置22。本实施方式的手部驱动装置22通过气压驱动手部5。手部驱动装置22包括用于向气缸供给压缩空气的空气泵以及电磁阀。

控制装置2包括控制装置主体40和用于作业者操作控制装置主体40的示教操作盘26。控制装置主体40包括具有作为处理器的CPU(Central Processing Unit，中央处理单元)的运算处理装置(计算机)。运算处理装置具有经由总线与CPU连接的RAM(RandomAccess Memory，随机存取存储器)和ROM(Read Only Memory，只读存储器)等。机器人1基于控制装置2的动作指令进行驱动。机器人1基于动作程序61自动搬运工件38。机器人驱动装置21以及手部驱动装置22由控制装置2控制。

控制装置主体40包括存储与机器人系统3相关的任意信息的存储部42。存储部42能够由能够存储信息的非瞬态的存储介质构成。例如，存储部42能够由易失性存储器、非易失性存储器、磁存储介质或光存储介质等存储介质构成。

向控制装置2输入为了进行机器人1的动作而预先生成的动作程序61。或者，作业者操作示教操作盘26来驱动机器人1，由此能够设定机器人1的示教点。控制装置2能够基于示教点生成动作程序61。

动作程序61存储于存储部42。动作控制部43基于动作程序61向机器人驱动部44发送用于驱动机器人1的动作指令。机器人驱动部44包括对驱动电动机进行驱动的电路，基于动作指令向机器人驱动装置21供电。另外，动作控制部43向手部驱动部45发送驱动手部驱动装置22的动作指令。手部驱动部45包括驱动空气泵等的电路，基于动作指令向空气泵等供电。

动作控制部43相当于按照动作程序61进行驱动的处理器。处理器形成为能够读取存储于存储部42的信息。处理器读入动作程序61，实施由动作程序61决定的控制，由此作为动作控制部43发挥功能。

机器人1包括用于检测机器人1的位置和姿势的状态检测器。本实施方式中的状态检测器包括安装于机器人驱动装置21的各驱动轴的驱动电动机的位置检测器23。位置检测器23例如能够由检测驱动电动机的输出轴的旋转位置的编码器构成。根据位置检测器23的输出，检测机器人1的位置以及姿势。

在机器人系统3中设定有在机器人1的位置和姿势发生变化时不动的基准坐标系71。在图1所示的例子中，在机器人1的基座14配置有基准坐标系71的原点。基准坐标系71也被称为世界坐标系。在基准坐标系71中，原点的位置被固定，而且，坐标轴的朝向被固定。基准坐标系71具有相互正交的X轴、Y轴以及Z轴作为坐标轴。另外，设定W轴作为绕X轴的坐标轴。设定P轴作为绕Y轴的坐标轴。设定R轴作为绕Z轴的坐标轴。

示教操作盘26经由通信装置与控制装置主体40连接。示教操作盘26包括输入与机器人1和手部5有关的信息的输入部27。输入部27由键盘和刻度盘等输入部件构成。示教操作盘26包括显示与机器人1和手部5有关的信息的显示部28。显示部28能够由液晶显示面板或有机EL(Electro Luminescence：电致发光)显示面板等任意的显示面板构成。此外，在示教操作盘具备触摸面板方式的显示面板的情况下，显示面板作为输入部以及显示部发挥功能。

在机器人系统3中设定有工具坐标系，该工具坐标系具有设定于作业工具的任意位置的原点。工具坐标系的位置以及姿势与作业工具一起变化。在本实施方式中，工具坐标系的原点设定在手部5的工具前端点。机器人1的位置与工具前端点的位置(工具坐标系的原点的位置)对应。另外，机器人1的姿势对应于工具坐标系相对于基准坐标系71的姿势。

本实施方式中的机器人系统3具备检测工件38的位置的拍摄装置。在手部5把持工件38之前，拍摄装置检测架台95上的工件38的位置。拍摄装置具备作为拍摄工件38的图像的视觉传感器的照相机6。本实施方式的照相机6是拍摄二维图像的二维照相机。照相机6支承于机器人1。照相机6经由支承部件固定于手部5。

照相机6能够在视野6a中拍摄图像。照相机6具有用于调整焦点的焦点调整机构24。本实施方式的焦点调整机构24具有自动对焦的功能。即，照相机6具有自动对焦的功能。照相机6形成为在机器人1变更了位置以及姿势的情况下，自动地对工件38进行对焦来拍摄工件38。作为焦点调节机构，能够采用通过对比度检测方式或相位差方式等任意的控制进行对焦的机构。

或者，作为视觉传感器，能够采用具备液体透镜的照相机。在该情况下，作为焦点调整机构，能够采用用于变更液体透镜的形状的机构。例如，能够采用变更对液体透镜施加的电压的机构或者移动用于变更对液体透镜施加的水压的液体透镜的保持部件的机构等。

在机器人系统3中，对照相机6设定作为传感器坐标系的照相机坐标系72。照相机坐标系72的位置和姿势与照相机6一起变化。照相机坐标系72的原点被设定在照相机6的透镜中心或光学中心等照相机6的预先决定的位置。照相机坐标系72具有相互正交的X轴、Y轴以及Z轴。本实施方式的照相机坐标系72被设定为Z轴与照相机6的透镜的光轴平行。

本实施方式的拍摄装置具备移动装置，该移动装置使作为对象物的工件38和照相机6中的一方移动，来变更一方相对于另一方的相对位置。在第一机器人系统3中，机器人1作为移动装置发挥功能。若机器人1的位置以及姿势变化，则照相机6的位置以及姿势变化。

拍摄装置具备对由视觉传感器拍摄到的图像进行处理的图像处理装置。在本实施方式的机器人系统3中，控制装置主体40作为图像处理装置发挥功能。控制装置主体40包括对由照相机6拍摄到的图像进行处理的图像处理部51。图像处理部51包括对照相机6发送拍摄图像的指令的拍摄控制部58。

图像处理部51包含检测照相机6对焦时的焦点位置的焦点位置检测部52。图像处理部51包括参数设定部53，该参数设定部53设定用于计算与由照相机6拍摄到的图像中的特定位置对应的三维位置的参数。图像处理部51包括在工件38的图像中检测预先决定的特征部分的特征检测部54。图像处理部51包括使用由参数设定部53设定的参数来计算特征部分的三维位置的特征位置计算部55。图像处理部51包括计算从照相机6到工件38的距离的距离计算部56。图像处理部51包括基于图像处理的结果生成机器人1以及手部5的动作指令的动作指令生成部59。

图像处理部51相当于按照动作程序61进行驱动的处理器。特别是，焦点位置检测部52、参数设定部53、特征检测部54、特征位置计算部55、距离计算部56、拍摄控制部58以及动作指令生成部59的各个单元相当于按照动作程序61进行驱动的处理器。处理器读入动作程序61，实施由动作程序61决定的控制，由此作为各个单元发挥功能。

参照图1，在本实施方式的第一机器人系统3中，通过预先决定的方法在架台95的表面配置工件38。例如，作业者或其他机器人系统在架台95的表面配置工件38。然后，机器人1使位置以及姿势变化，用手部5把持配置于架台95的上表面的工件38。机器人系统3通过改变机器人1的位置和姿势，将工件38搬运到预先决定的位置。

在架台95的表面配置工件38的情况下，存在架台95中的工件38的位置偏移的情况。在图1所示的例子中，示出了在示教机器人1的位置和姿势时的示教作业中决定的位置P38a。位置P38a是期望配置工件38的位置，是成为用于配置工件38的基准的位置。

然而，在实际将工件38配置于架台95的上表面时，有时在从成为基准的位置P38a偏移的位置P38b配置工件38。或者，有时存在工件38的尺寸的误差。在机器人系统3中，利用照相机6拍摄工件38。然后，图像处理部51基于工件38的图像来计算工件38的三维位置。例如，图像处理部51检测工件38中的特征部分的三维位置。然后，图像处理部51基于工件38的特征部分的三维位置来计算工件38的位置。这样的工件38的位置能够在基准坐标系71中计算。图像处理部51以与工件38的位置对应的方式控制机器人1的位置以及姿势。然后，利用手部5把持工件38，并搬运至所希望的预先决定的位置。

图3表示本实施方式的工件38的平面图。参照图1和图3，工件38具有板状部38a和形成于板状部38a的上侧的板状部38b。各个板状部38a、38b具有长方体状的形状。板状部38b在上表面的外周部具有缘部38c。缘部38c是与形成于板状部38b的角相当的部分。在本实施方式中，在俯视时具有四边形的形状的缘部38c成为工件38的特征部分。

参照图1，在本实施方式中，在工件38的铅垂方向的上侧配置照相机6。此时，预先决定从工件38的形成有特征部分的表面到照相机6的距离。在此处的例子中，控制机器人1的位置以及姿势，以使板状部38b的上表面的位置成为照相机坐标系72的预定的Z轴的值。另外，调整照相机6的姿势，以使照相机6的光轴与工件38的具有特征部分的板状部38b的表面大致垂直。

照相机6实施对焦来拍摄工件38的图像。图像处理部51的特征检测部54通过进行图案匹配，检测缘部38c作为工件38的特征部分。用于检测缘部38c的位置的基准图像预先生成并存储于存储部42。特征检测部54使用基准图像，在由照相机6拍摄到的图像中检测作为特征部分的缘部38c。

特征位置计算部55基于由照相机拍摄到的图像中的特征部分的位置，计算三维空间中的工件的位置。作为工件的位置，能够计算对工件设定的任意的设定点的位置。工件38的位置能够在基准坐标系71中取得。

动作指令生成部59根据由特征位置计算部55计算出的工件38的位置，计算机器人1的位置和姿势。然后，将用于把持工件38的机器人1的位置和姿势发送到动作控制部43。动作控制部43基于从动作指令生成部59接收到的动作指令，驱动机器人1以及手部5来把持工件38。

在本实施方式的把持工件的控制中，特征检测部54检测特征部分，特征位置计算部55基于特征部分的位置高精度地计算工件的三维位置。因此，机器人系统3能够更可靠地把持工件38。即使在架台95中的工件38的位置(基准坐标系71中的工件38的位置)与基准的位置不同的情况下或者存在工件的尺寸误差的情况下，机器人系统3也能够可靠地把持工件38。

参照图1，由于工件38的位置偏移的情况或者工件的个体差异等，存在照相机的焦点对准的焦点位置偏移的情况。这里，焦点位置能够采用与由焦点调整机构24驱动的透镜的位置对应的任意变量。例如，焦点调整机构24有时包含为了进行对焦而驱动透镜的位置的驱动电动机。在该情况下，能够采用驱动电动机的输出轴对焦时的旋转位置作为焦点位置。或者，有时配置有用于使透镜对焦的对焦环。能够将对焦环的位置确定为焦点位置。或者，在照相机具有多个透镜的情况下，能够将预定的透镜的位置决定为焦点位置。另外，在具备液体透镜的照相机的情况下，能够采用对液体透镜施加的电压的大小作为焦点位置。或者，能够在焦点位置采用变更对液体透镜施加的压力的保持部件的驱动机构所包含的电动机的输出轴的旋转位置。

图4表示说明对焦的位置变化时的视野的概略图。照相机6的视野对应于视角或拍摄范围。在图4中示出了对焦的位置A、B。在位置A对焦的情况下，照相机6的拍摄范围为视野A。在位置B对焦的情况下，照相机6的拍摄范围为视野B。这样，当对焦的位置变化时，视野的大小变化。在工件的特征部分的位置相同的情况下，当对焦的位置变化时，图像中的特征部分的位置变化。

图5示出了对焦的位置发生了变化的情况下的由照相机拍摄到的图像的例子。图像66是对焦于一个位置时的图像，例如与图4的位置A对应。图像67是对焦于其他位置时的图像，例如是与图4的位置B对应的图像。在图像66、67中设定有图像坐标系73。

各个图像66、67中包含作为特征部分的孔的图像68a、68b。通过变更对焦的位置，如箭头101所示，图像66中的孔的图像68a的位置在图像67中成为孔的图像68b的位置。当焦点位置改变时，图像中的特征点的位置变化。在数学模型中，使对焦的位置变化与焦距变化同义。

图6示出了说明拍摄对象物的特征点的像素传感器中的位置的概略图。在工件的表面与生成照相机的图像的图像传感器之间配置有透镜37。焦距f₁、f₂相当于从图像传感器到透镜37的透镜中心的距离。在图6中示出了对焦的位置A和对焦的位置B。位置A对应于在焦距f₁的位置配置有透镜37。位置B对应于在焦距f₂的位置配置有透镜37。根据焦距f₁、f₂，从透镜37到工件的距离z₁、z₂发生变化。

在位置A，图像传感器在距光轴的距离u₁的位置检测在工件的表面上配置在距光轴的距离X₁的特征部分69。在位置B，图像传感器在距离u₂的位置检测配置在与距离X₁相同距离X₂的位置的特征部分69。例如，关于位置B，X₂/z₂＝u₂/f₂的关系成立。焦距f₂大于焦距f₁，因此图像传感器中的距离u₂大于距离u₁。这样，即使工件的表面上的位置相同，照相机的图像中的特征部分的位置也根据焦点位置而变化。

参数设定部53基于焦点位置来计算根据由照相机拍摄到的图像来计算工件的特征部分的位置的计算模型中的参数。特征位置计算部55使用计算模型根据图像中的特定位置计算三维位置。使用与焦点位置对应地设定的参数，计算工件表面的特征部分的三维位置。

接着，说明根据由照相机拍摄到的图像来计算空间中的三维位置的计算模型。与空间上的任意的位置对应的照相机的图像中的位置根据针孔照相机的模型，一般由下式(1)表示。

[数式1]

[u，v]：照相机坐标系的坐标值

f_x，f_y：焦距与像素的有效尺寸的积

C_x，C_y：图像中心

[X，Y，Z]：基准坐标系的坐标值

三维位置的坐标值(X，Y，Z)例如由基准坐标系71表现。图像上的位置的坐标值(u，v)例如由图像坐标系73表现。外部参数的矩阵是用于将空间中的三维位置变换为照相机坐标系72的坐标值的变换矩阵。另外，内部参数的矩阵是用于将照相机坐标系72的坐标值变换为图像中的图像坐标系73的坐标值的矩阵。在此，三维位置的Z轴的值或照相机坐标系72中的z轴的坐标值与从照相机到工件的距离对应地预先决定。

上述的式(1)是不存在透镜的畸变等的理想的例子。实际上考虑透镜的畸变等引起的参数的变化等。首先，式(1)中的空间中的三维的位置与外部参数的矩阵的部分的运算能够由下式(2)表示。

[数式2]

t：[t₁，t₂，t₃]

R：3×3的旋转矩阵

通过式(2)，能够将由基准坐标系71表现的坐标值(X，Y，Z)变换为由照相机坐标系72表现的坐标值(x，y，z)。接着，为了考虑照相机的透镜的畸变，如下式(3)和式(4)所示定义变量x’和变量y’。而且，如式(5)及式(6)所示那样计算考虑了畸变的变量x”及变量y”。在此，变量x’、变量y’以及变量r的关系如式(7)所示。

[数式3]

x′＝x/z…(3)

y′＝y/z…(4)

其中，r²＝x′²+y′²…(7)

在式(5)及式(6)中，系数k₁～k₆是与半径方向的透镜的畸变相关的系数，系数p₁、p₂是与圆周方向的透镜的畸变相关的系数。使用考虑了透镜的畸变的变量x”以及变量y”，图像坐标系73中的图像上的坐标值(u，v)能够如下式(8)以及式(9)所示那样计算。式(8)以及式(9)是与上述式(1)中的内部参数的矩阵的运算对应的部分。

[数式4]

u＝f_x*x"+c_x…(8)

υ＝f_y*y"+c_y…(9)

在上述的说明中，说明了根据空间上的三维位置计算图像中的位置的方法，但在本实施方式中，基于上述的关系式，根据图像上的位置的坐标值(u，v)以及照相机坐标系72中的从照相机6到工件38的距离z，计算空间上的三维位置(X，Y，Z)。从照相机6到工件38的距离z能够预先决定并存储于存储部42。特征位置计算部55基于计算模型，根据图像上的特定位置的坐标值(u，v)计算空间上的三维位置(X，Y，Z)。

这里，参照式(2)至式(9)，在根据图像中的位置计算三维位置的计算模型中，需要焦距与图像的有效尺寸之积f_x、f_y、图像中心c_x、c_y、以及与畸变相关的系数k₁～k₆、p₁、p₂。这些参数根据照相机对焦时的焦点位置而变化。

在本实施方式中，预先决定用于设定与焦点位置对应的参数的设定信息63。设定信息63存储于存储部42。参数设定部53使用焦点位置和设定信息63来设定这些参数。表1示出了作为设定信息63的与焦点位置pp对应的参数的值的表。

[表1]

pp	fx
		1	2
2	4
		3	6
4	8

在此，作为参数的例子，示出了焦距与像素的有效尺寸之积f_x的值。这里的设定信息63针对多个离散的焦点位置pp预先决定参数的值。参数设定部53根据按照每个焦点位置决定的参数的值，设定计算模型中的参数。例如，在利用照相机6拍摄图像时的焦点位置pp为1.4的情况下，参数设定部53能够通过内插作为参数的积f_x的值来设定为2.8。在参数的设定中，能够使用包含离散的参数的值的表来通过任意的方法设定参数。例如，也可以采用与2个焦点位置pp对应的2个参数的中央值，或者采用与任意近的一方的焦点位置pp对应的参数的值。

通过使用包含针对离散的焦点位置的参数的值的设定信息，参数设定部能够设定与任意的焦点位置对应的参数。参数设定部能够通过简单的计算来设定参数。或者，即使在难以设定接下来要说明的函数的情况下，也能够设定与焦点位置对应的参数。

作为设定信息，能够决定用于根据焦点位置pp计算参数的函数。可以使用包含焦点位置pp的数式来计算参数。例如，如式(10)所示，能够预先决定针对焦点位置pp计算焦距与像素的有效尺寸之积f的函数f(pp)。或者，如式(11)所示，能够决定针对焦点位置pp计算畸变的系数k的函数k(pp)。

[数式5]

f＝f(pp)…(10)

k＝k(pp)…(11)

作为这样的函数，例如能够采用作为变量的焦点位置pp的高阶的式子。参数设定部53能够使用函数来设定与畸变相关的参数等各个参数。特征位置计算部55能够基于由参数设定部53设定的参数来计算特征部分的三维位置。

图7表示本实施方式中的控制的流程图。参照图1、图2以及图7，作业者预先决定用于计算计算模型的参数的设定信息。然后，作业者使存储部42存储设定信息63。

在步骤80中，动作控制部43将照相机6移动到用于拍摄工件38的拍摄位置。在本实施方式中，在工件38的基准位置P38a的正上方配置照相机6。另外，以照相机坐标系72的Z轴的方向与铅垂方向平行的方式调整照相机6的姿势。在此，预先决定从形成有特征部分的工件38的板状部38b的表面到照相机6为止的距离。

接着，在步骤81中，照相机6的焦点调整机构24使照相机6对焦。本实施方式的焦点调整机构24具有自动对焦的功能，因此自动地进行对焦。在步骤82中，拍摄控制部58利用照相机6拍摄图像。在对焦的状态下拍摄图像。

在步骤83中，焦点位置检测部52检测拍摄图像时的焦点位置。焦点位置检测部52例如检测与透镜的位置对应的预定的变量。在步骤84中，参数设定部53根据焦点位置和设定信息，设定用于计算特征部分的三维位置的计算模型的参数。

接着，在步骤85中，特征检测部54通过进行图案匹配来检测图像中的特征部分。在本实施方式中，通过使用板状部38b的缘部38c的基准图像进行图案匹配，检测图像中的缘部38c。特征位置计算部55检测图像中的特征部分的位置。

接着，在本实施方式中，在无法检测工件的特征部分的位置的情况下，实施变更照相机6相对于工件38的位置来拍摄图像的控制。例如，有时照明的光反射而特征部分变白，特征部分变得不清晰。在这样的情况下，通过移动照相机的位置，有时能够清晰地拍摄特征部分。

在步骤86中，图像处理部51判定是否检测到特征部分的位置。在特征位置计算部55无法检测特征部分的位置的情况下，控制转移到步骤87。

在步骤87中，动作指令生成部59生成变更照相机6的位置的指令。例如，动作指令生成部59生成使照相机6向预先决定的方向以预先决定的移动量平行移动的指令。参照图1，例如，动作指令生成部59生成使照相机6在照相机坐标系72的X轴的方向上移动的指令。动作指令生成部59将机器人1的动作指令发送给动作控制部43。动作控制部43变更机器人1的位置以及姿势。然后，控制返回到步骤81。图像处理部51重复步骤81至步骤86的控制。

在步骤86中，在特征位置计算部55计算出特征部分的位置的情况下，控制转移到步骤88。此外，在即使多次进行机器人的位置以及姿势的变更也无法检测特征部分的情况下，也可以中止控制。

在步骤88中，特征位置计算部55基于图像中的特征部分的位置来计算特征部分的三维位置。基于图像中的图像坐标系73的坐标值，计算基准坐标系71的坐标值。特征位置计算部55基于特征部分的三维位置来计算工件的位置。工件的位置例如能够通过基准坐标系71来计算。

在步骤89中，动作指令生成部59根据工件的位置计算机器人1的位置和姿势。然后，在步骤90中，动作指令生成部59向动作控制部43发送驱动机器人1的动作指令。动作控制部43基于动作指令来驱动机器人1和手部5。

这样，本实施方式中的拍摄装置根据焦点位置来设定用于计算与由视觉传感器拍摄到的图像中的特定位置对应的三维位置的计算模型的参数。然后，基于与焦点位置相对应的参数来计算特定位置的三维位置。

通过进行该控制，能够在焦点位置变化时高精度地检测特征部分的三维位置。特别是，不需要预先固定焦点位置，能够在任意的焦点位置拍摄图像，计算误差小的三维位置。换言之，不需要预先决定照相机相对于工件的相对对焦的位置，能够在任意的位置配置照相机，对焦后进行拍摄。在本实施方式中，即使在对焦的位置(照相机相对于工件的相对位置)增加的情况下，也不需要新追加计算模型的参数。在本实施方式的拍摄装置中，与现有技术相比，能够驱动机器人的范围扩大，或者驱动机器人的模式增加。

特别是，在视觉传感器的焦点调整机构具有自动对焦的功能的情况下，焦点位置被设定在预定范围内的任意位置。在该情况下，拍摄装置能够设定与焦点位置对应的参数，能够检测工件的准确的位置。另外，视觉传感器也可以不具有自动对焦的功能。在该情况下，作业者能够手动进行对焦。例如，作业者也可以一边观察显示于示教操作盘26的显示部28的图像，一边操作输入部27来对焦。

另外，本实施方式中的机器人系统具备作为使工件以及视觉传感器中的至少一方移动的移动装置的机器人。这样，当通过机器人改变照相机相对于工件的相对位置时，对焦的焦点位置发生变化。在该情况下，拍摄装置也能够设定与焦点位置对应的参数，能够检测工件的准确的位置。

参照图2，本实施方式的示教操作盘26的显示部28显示由参数设定部53设定的参数的值。作业者能够观察显示于示教操作盘26的显示部28的参数来确认参数的值。特别是在由特征位置计算部55计算出的三维位置不正确的情况下，作业者能够确认根据各个焦点位置设定的参数的值。

然而，本实施方式中的图像处理部51的距离计算部56能够根据由焦点位置检测部52检测出的焦点位置，计算从照相机6到工件38的距离。焦点位置依赖于照相机6与工件38之间的距离。因此，当焦点位置决定时，能够推定照相机6与工件38之间的距离。

距离计算部56在对焦于板状部38b的表面时，推定从照相机坐标系72的原点到工件38的板状部38b的表面的距离。例如，作业者能够预先生成以焦点位置pp为变量的用于计算照相机坐标系72的z轴的坐标值的函数。照相机坐标系72的z轴的坐标值相当于从照相机6到工件38的距离。距离计算部56能够使用焦点位置pp和函数来计算照相机坐标系72的z轴的坐标值。或者，作业者能够针对多个离散的焦点位置中的每个焦点位置决定从照相机6到工件38的距离。距离计算部56能够基于实际检测出的焦点位置pp，通过内插等计算来计算从照相机6到工件38的距离。

这样，本实施方式的距离计算部56能够计算从照相机6到对象物的距离。通常，需要预先决定从照相机到对象物的距离。但是，通过图像处理部51具备距离计算部56，能够计算从照相机6到工件38的距离。例如，在一边观察图像一边手动对焦的情况下，能够计算从照相机到工件的距离。因此，即使不设定从照相机到对象物的距离，图像处理部51也能够计算工件的特征部分的三维位置。

图8表示说明本实施方式中的第一机器人系统的其他控制的第一工序的概略图。在其他控制中，图像处理部51基于将照相机6配置于第一拍摄位置而拍摄到的图像来检测工件38的三维位置。图像处理部51基于工件38的位置，计算比第一拍摄位置更接近工件38的第二拍摄位置。如箭头102所示，图像处理部51将机器人1的位置和姿势移动到第二拍摄位置。第二拍摄位置是从对象物到视觉传感器的距离比第一拍摄位置小的位置。另外，第二拍摄位置是工件38配置于图像的大致中央的位置。

接着，图像处理部51基于在第二拍摄位置拍摄到的图像来计算工件38的三维位置。然后，基于该工件38的位置，实施驱动机器人1来把持工件38的控制。

在将工件38配置于架台95时，有时工件38的位置的偏移大。因此，能够以将照相机6配置于远离工件38的第一拍摄位置的方式预先决定机器人1的位置以及姿势。在第一拍摄位置，通过自动对焦的功能实施自动对焦的控制。在第一拍摄位置，在由照相机6拍摄到的图像中工件38被拍摄得较小。但是，能够通过特征检测部54和特征位置计算部55检测工件38的位置。

接着，动作指令生成部59为了在比第一拍摄位置近的位置拍摄工件38，计算照相机6的第二拍摄位置。第二拍摄位置以在图像的大致中央配置工件的方式决定。另外，第二拍摄位置在工件38的正上方设定为照相机6接近工件38的位置。

当前的工件38的位置、照相机6的移动量以及照相机坐标系72中的工件38的位置的关系例如由以下的式(12)的关系表示。

[数式6]

[t_x，t_y，t_z]：照相机的移动量

[X，Y，Z]：当前的工件的位置

[x，y，z]：照相机坐标系中的工件的位置

R：旋转矩阵

在此，为了在图像的大致中央配置工件38，只要在照相机的光轴上配置工件即可。即，在照相机坐标系72中x＝y＝0即可。将x＝y＝0代入式(12)，对式子进行变形，能够得到下式(13)。然后，能够根据式(13)计算基准坐标系71中的照相机的移动量(t_x、t_y、t_z)。

[数式7]

/>

接着，关于从工件38到照相机6的距离，将第一拍摄位置处的照相机坐标系72的工件38的表面的z轴的坐标值设为z’。将工件相对于第一拍摄位置处的图像的大小的比例设为a。作为工件相对于图像的大小的比例，例如能够采用在图像中的一个方向上工件的长度相对于图像的长度的比例。工件相对于图像的大小的比例能够由特征位置计算部55检测。

接着，将第二拍摄位置处的照相机坐标系72的工件38的表面的z轴的坐标值设为z”。将工件相对于图像的大小的期望比例设为k。该比例能够由作业者预先决定。在此，当照相机6从第一拍摄位置移动到第二拍摄位置时，照相机6的焦点位置改变。但是，在这里的计算中，假定即使从第一拍摄位置变更为第二拍摄位置，与焦点位置对应的焦距也是固定的。第二拍摄位置处的坐标值z”可以由z”＝(k/a)z’表示。能够使照相机6接近工件38，以使从照相机6到工件38的距离成为坐标值z”。

动作指令生成部59基于照相机坐标系72的x轴的方向、y轴的方向以及z轴的方向的移动量，如箭头102所示，变更机器人1的位置以及姿势，以将照相机6配置于第二拍摄位置。

图9表示说明第一机器人系统的其他控制的第二工序的概略图。图9表示将照相机配置于第二拍摄位置时的机器人系统的概略图。照相机6的第二拍摄位置比第一拍摄位置更接近工件38。在第二拍摄位置，通过照相机6的自动对焦的功能实施自动对准焦点的控制。在第一拍摄位置拍摄到的图像中，由于图像中的工件38的比例小，因此有时无法准确地检测工件38的位置。在第二拍摄位置拍摄到的图像中，工件38所占的比例变大。因此，能够准确地计算工件38的位置。

这样，动作指令生成部59能够基于在第一拍摄位置拍摄到的图像中的工件38的三维位置来计算第二拍摄位置。然后，特征位置计算部55基于在第二拍摄位置拍摄到的图像，计算特征部分的三维位置。在第一拍摄位置以及第二拍摄位置，即使在照相机的对焦的焦点位置相互不同的情况下，也能够在各个拍摄位置检测特征部分的三维位置。特别是，基于在第二拍摄位置拍摄到的图像，机器人系统进行作业，由此能够将作业工具移动到准确的位置来实施高精度的作业。

在第一机器人系统3中，为了把持配置于架台95的工件38而检测工件38的位置，但不限于该方式。图像处理部51能够基于拍摄到的图像来检测工件38，从而实施工件38的检查。例如，图像处理部51能够根据拍摄到的图像来测量工件的尺寸。而且，图像处理部51能够基于预先决定的尺寸的判定值来实施工件的尺寸的检查。在该情况下，也可以不在机器人1安装作业工具，而仅将视觉传感器安装于机器人1。

作为工件的检查，不限于工件的尺寸的检查，能够实施任意的检查。例如，能够对在工件的表面是否配置有预定的部件实施检查。或者，能够对工件的表面是否存在损伤实施检查。无论在哪种情况下，都能够根据焦点位置准确地检测特征部分的位置，因此能够实施高精度的检查。

在第一机器人系统3中形成为工件停止，照相机通过移动装置移动，但不限于该方式。也可以将照相机的位置固定，通过移动装置使工件移动。或者，移动装置也可以形成为使照相机和工件双方移动。

图10表示本实施方式的第二机器人系统的概略图。在第二机器人系统4中，照相机6固定于架台96。工件38由机器人1支承。第二机器人系统4如箭头103所示将载置于架台97的工件38搬运至架台98。通过机器人1的位置和姿势变化，工件38从位置P38s搬运到位置P38e。第二机器人系统4的拍摄装置检测用手部5把持工件38时的手部5内的位置的偏移。

控制装置2控制机器人1的位置和姿势，以将工件38配置在用于检测工件38的三维位置的预先决定的拍摄位置。图像处理部51基于由照相机6拍摄到的图像，检测工件38的特征部分的三维位置。例如，能够将工件38的底面的缘部检测为特征部分。图像处理部51检测工件38的位置。预先决定的机器人1的位置以及姿势中的成为工件38的基准的位置存储于存储部42。图像处理部51能够基于成为工件38的基准的位置，计算手部5中的工件38的把持的偏移。

动作指令生成部59基于手部5内的工件38的位置的偏移，计算机器人1的位置以及姿势，以便在架台98中将工件38配置于所希望的位置P38e。然后，动作控制部43通过驱动机器人1，将工件38配置于位置P38e。

在第二机器人系统4中，在工件38配置于预定的拍摄位置时，照相机6执行对焦。参数设定部53根据焦点位置计算计算模型的参数。特征位置计算部55基于计算出的参数来计算特征部分的三维位置。然后，基于特征部分的位置，检测工件38的位置。

在第二机器人系统4中，也存在拍摄工件38时的工件的拍摄位置从所希望的位置偏移的情况。或者，有时工件38的尺寸存在个体差异。在这样的情况下，照相机6实施对焦，也能够计算准确的工件38的位置。其结果，机器人系统4能够将工件38搬运至所希望的位置。

在第二机器人系统中，图像处理部51也能够在远离照相机的第一拍摄位置拍摄工件并检测工件的大致位置之后，计算比第一拍摄位置接近照相机的第二拍摄位置。然后，可以基于在第二拍摄位置拍摄到的图像来计算工件38的把持的偏移。另外，在第二机器人系统中，也可以实施工件的尺寸检查等检查。

第二机器人系统的其他结构、作用以及效果与第一机器人系统相同，因此在此不重复说明。

图11表示本实施方式的搬运系统的概略图。图12表示本实施方式中的搬运系统的框图。参照图11以及图12，搬运系统9具备拍摄工件38来检测工件38的拍摄装置。搬运系统9具备传送带7作为移动工件38的移动装置。搬运系统9具有代替第二机器人系统4的机器人1而配置有传送带7的结构。

工件38通过传送带7驱动而向箭头104所示的方向移动。即，通过驱动传送带7，工件38的位置发生变化。作为视觉传感器的照相机6支承于支承部件99。

搬运系统9具备控制传送带7及照相机6的控制装置8。控制装置8由包括CPU等的运算处理装置构成。控制装置8包括传送带驱动部46。传送带7包括具有用于驱动传送带的驱动电动机的传送带驱动装置30。在各个驱动电动机配置有检测驱动电动机的旋转位置的位置检测器31。控制装置8包括对由照相机6拍摄到的图像进行处理的图像处理部51。

控制装置8包括操作盘32。操作盘32与示教操作盘26同样地具有输入部27和显示部28。显示部28能够显示由参数设定部53设定的参数等。其他的控制装置8的结构与图2所示的机器人系统的控制装置2相同。

在搬运系统9中，照相机6固定于能够进行工件38的拍摄的预先决定的位置。在搬运系统9中，能够基于由照相机6拍摄到的图像来进行工件38的位置的检测或工件38的检查。有时由传送带7搬运的工件38停止的拍摄位置不同。或者，有时工件38的尺寸存在个体差异。

在搬运系统9中，也在拍摄工件38时实施对焦。然后，根据焦点位置，设定计算与图像的特定位置对应的三维位置的计算模型的参数。基于参数，计算工件38的特征部分的位置。而且，工件38能够基于特征部分的位置来计算工件38的位置，或者实施工件38的检查。

这样，照相机6的位置也可以被固定。另外，移动装置能够采用使对象物或者照相机移动的任意的装置。关于其他的搬运系统的结构、作用以及效果，与上述的第一机器人系统以及第二机器人系统相同，因此在此不重复说明。

在上述的各个控制中，能够在不变更功能以及作用的范围内适当地变更步骤的顺序。上述的实施方式能够适当组合。

在上述各图中，对相同或相等的部分标注相同的符号。此外，上述的实施方式是例示，并不限定发明。另外，在实施方式中，包含请求专利保护的范围所示的实施方式的变更。

符号说明

1机器人；

2控制装置；

3、4机器人系统；

6照相机；

7传送带；

8控制装置；

9搬运系统；

24焦点调整机构；

28显示部；

37透镜；

38工件；

38c缘部；

40控制装置主体；

42存储部；

43动作控制部；

51图像处理部；

52焦点位置检测部；

53参数设定部；

54特征检测部；

55特征位置计算部；

56距离计算部；

59动作指令生成部；

61动作程序；

63设定信息；

66、67图像；

68a、68b孔的图像；

69特征部分。

Claims

1.一种拍摄装置，其特征在于，具备：

视觉传感器，其拍摄对象物；

焦点位置检测部，其检测所述视觉传感器对焦时的焦点位置；

参数设定部，其设定用于计算与由所述视觉传感器拍摄到的图像中的特定位置对应的三维位置的参数；

存储部，其存储用于设定与焦点位置对应的参数的设定信息；

特征检测部，其检测在所述对象物的图像中预先决定的特征部分；以及

特征位置计算部，其使用由所述参数设定部设定的参数来计算特征部分的三维位置，

所述参数设定部基于焦点位置和所述设定信息来设定参数。

2.根据权利要求1所述的拍摄装置，其特征在于，

所述视觉传感器具有自动对焦的功能。

3.根据权利要求1或2所述的拍摄装置，其特征在于，

所述设定信息包含针对多个离散的焦点位置预先决定的参数，

所述参数设定部根据存储于所述存储部的针对多个焦点位置中的每个焦点位置决定的参数，设定用于计算三维位置的参数。

4.根据权利要求1至3中的任一项所述的拍摄装置，其特征在于，

所述拍摄装置具备移动所述对象物和所述视觉传感器中的至少一方的移动装置。

5.根据权利要求4所述的拍摄装置，其特征在于，

所述拍摄装置具备：动作指令生成部，其生成所述移动装置的动作指令，以变更所述对象物和所述视觉传感器中的至少一方的拍摄位置，

所述动作指令生成部基于在第一拍摄位置拍摄到的图像中的所述对象物的三维位置来计算第二拍摄位置，

所述第二拍摄位置是从所述对象物到所述视觉传感器的距离小于第一拍摄位置的位置，

所述特征位置计算部基于在所述第二拍摄位置拍摄到的图像来计算特征部分的三维位置。

6.根据权利要求1至5中的任一项所述的拍摄装置，其特征在于，

所述拍摄装置具备：显示部，其显示由所述参数设定部设定的参数的值。

7.根据权利要求1至6中的任一项所述的拍摄装置，其特征在于，

所述拍摄装置具备：距离计算部，其计算从所述视觉传感器到所述对象物的距离，

所述距离计算部基于由所述焦点位置检测部检测出的焦点位置，计算从所述视觉传感器到所述对象物的距离。