CN112008717A - 相机和机器人系统 - Google Patents

Abstract

提供了一种相机和一种机器人系统。所述相机包括附接到机器人臂的前端的相机机体和容纳在所述相机机体中的相机单元。所述相机单元具有用于对工件进行成像的多个相机设备，所述多个相机设备的光学特性不同。

Description

相机和机器人系统

技术领域

本公开涉及相机和机器人系统。

背景技术

已知一种机器人系统，其中在设置有工件的储料器上方，设置有具有相机和激光扫描仪的布置状态检测单元(例如，参见专利文献1)。激光扫描仪包括用于生成裂隙光的激光光源、镜片和用于驱动镜片的电机。在该机器人系统中，基于电机的旋转角度、相机的成像设备的位置、以及激光光源、镜片和相机之间的位置关系，通过三角测量来检测到每个工件的距离(即，储料器中的每个工件的三维形状信息)。机器人系统基于检测到的位置信息来执行用于使手状部分保持设置在储料器中的多个工件中的一个工件(例如，位于易于保持的位置的工件)的控制。机器人臂设置有保持状态检测相机，该保持状态检测相机检测被手状部分保持的工件的保持状态。

引文列表

专利文献

专利文献1：JP-A-2013-78825

发明内容

然而，在常规机器人系统中，由于相机设置在布置状态检测单元中，其中所述布置状态检测单元布置在储料器上方，因此当使手状部分接近工件以握持工件时，臂或手状部分可能会产生相机的盲区，即相机视场中的一部分被遮挡。这导致下列问题：用于握持工件的手状部分的位置精度降低，或者工件的位置(换言之，坐标)变得未知。此外，在常规机器人系统中，如果在储料器中存在无法检测三维形状信息的工件，则无法被手状部分保持的工件的数量增加，结果是降低了工件操作的效率。

已构思了本公开的概念，因此本公开的目的在于提供一种相机和一种机器人系统，该相机和该机器人系统能够抑制用于握持工件的手状部分的位置精度的降低，从而提高工件操作的效率。

本公开提供了一种相机，包括：相机机体，附接到机器人臂的前端；以及相机单元，容纳在相机机体中。所述相机单元具有用于对工件进行成像的多个相机设备，所述多个相机设备的光学特性不同。

本公开还提供了一种包括相机和控制器的机器人系统。该相机具有：相机机体，附接到机器人臂的前端；以及相机单元，容纳在相机机体中，并且具有用于对工件进行成像的多个相机设备，所述多个相机设备的光学特性不同。所述控制器基于相机所获取的成像信息来生成用于控制机器人臂的操作的控制信号。

根据本公开，可以抑制用于握持工件的手状部分的位置精度的降低，从而可以提高工件操作的效率。

附图说明

图1是示出了根据实施例的机器人系统的配置的图。

图2是机器人臂的前端的主要部分的放大透视图。

图3是相机的放大透视图。

图4是相机机体的变形例的放大透视图。

图5是在图1中所示的相机15的俯瞰相机处于操作中的状态下机器人臂的前端的放大侧视图。

图6A是在图1中所示的相机以近景模式进行操作的状态下机器人臂的前端的放大侧视图。

图6B是用于描述在图1中所示的相机以俯瞰模式进行操作的状态下执行来自光源的图案照明的操作的图。

图6C是用于描述安装台、安装台的工件颜色、工件与投射图案之间的关系的图。

图7是图1中所示的机器人控制器的框图。

图8是图1中所示的视觉控制器的框图。

图9是示出了视觉控制器所执行的处理过程的流程图。

图10是示出了取决于是否实现对焦而进行模式切换的处理过程的流程图。

图11是示出了使用从外部装置发送的信息来进行模式切换的处理过程的流程图。

图12是示出了利用视觉控制器与机器人控制器之间的实时协作，通过实时控制机器人臂来使机器人臂的前端接近工件的处理过程的流程图。

具体实施方式

在下文中，将在必要时通过参考附图详细描述以特定方式公开根据本公开的相机和机器人系统的实施例。然而，可以避免不必要的详细描述。例如，可以省略对公知事项的详细描述以及对具有已经描述的基本相同的构成要素的重复描述。这是为了防止以下描述变得不必要且冗余，从而促进本领域技术人员的理解。提供以下描述和附图以使本领域技术人员能够充分理解本公开，并且无意于限制权利要求中所阐述的主题。

图1是示出了根据实施例的机器人系统11的配置的图。根据实施例的机器人系统11包括机器人13、相机15和控制器(例如，机器人控制器17和视觉控制器19)。

机器人13装备有机器人臂21。机器人13例如是具有六个伺服电机23的6轴(例如，J1轴、J2轴、J3轴、J4轴、J5轴和J6轴)多关节型机器人。适合于工件的工具附接到机器人臂21的前端。在实施例中，一个示例工具是具有一对指状构件25的手状部分27。可以通过控制诸如气缸、电动缸或电机之类的各种致动器来执行精细工件操作的手状部分27可以握持并搬运工件W。

在像摇摄旋转那样摆动整个机器人13时，机器人13的J1轴充当旋转中心。在像倾斜旋转那样在前后方向上移动机器人臂21时，机器人13的J2轴充当旋转中心。在像倾斜旋转那样在垂直方向上移动机器人臂21时，机器人13的J3轴充当旋转中心。在像倾斜旋转那样旋转机器人臂21的手腕时，机器人13的J4轴充当旋转中心。在摆动机器人臂21的手腕时，机器人13的J5轴充当旋转中心。在像摇摄旋转那样旋转机器人臂21的手状部分27时，机器人13的J6轴充当旋转中心。

通过电缆29将用于使机器人13执行规定操作的控制器连接到机器人13。机器人13的J1轴至J6轴由机器人控制器17的控制单元69(见图7)独立地进行控制。机器人控制器17可以通过利用输入单元33指定显示在监视器31中的机器人13的坐标，来将机器人13正确地移动到预期位置。

输入单元33具有输入键，并且可以以集成的方式装备有监视器31。当操作员想让机器人13执行规定的设置操作时，他或她使用输入键来输入通过对机器人13在执行设置操作时应遵循的移动路径进行建模而获得的数学表达式的数据。

例如，可以使机器人13使用赋予给机器人13的各轴的轴坐标系和在自由空间中具有原点并使从原点到机器人13的手状部分27的前端相关的正交坐标系来进行操作。

图2是机器人臂21的前端35的主要部分的放大透视图。在机器人臂21中，手腕基部39连接到臂前端37，从而可绕J4轴旋转。手腕前端41连接到手腕基部39从而可绕J5轴摆动。手腕基部39和手腕前端41构成手腕43。手状部分27连接到手腕前端41从而可绕J6轴旋转。手腕前端41内置用于旋转地驱动手状部分27的伺服马达23(参见图1)。

手状部分27的基座45通过内置在手腕前端41中的伺服电机23绕J6轴旋转。例如，基座45的形状类似于垂直于J6轴的圆盘。形成有指状构件移动槽47的托架49固定到基座45的前端表面。能够彼此接近和远离的一对指状构件25固定到托架49。一对指状构件25可以通过沿指状构件移动槽47滑动而彼此接近和远离。备选地，因为指状构件25的指状基部由各自的支撑轴51可旋转地支撑，所以可以允许一对指状构件25的指状前端彼此接近和远离。在本实施例中所采用的手状部分27中，一对指状构件25由各自的支撑轴51可旋转地支撑。

在机器人13中，臂前端37到手状部分27构成了机器人臂21的前端35。

相机15附接到机器人臂21的前端35的手状部分27上。更具体地，相机15在包括托架49的重心的平面上固定到托架49，其中托架49固定到基座45。然而，相机15的附接位置不限于托架49的该位置；相机15可以在任何位置附接到机器人臂21的前端35。相机15通过传送电缆53连接到视觉控制器19。

图3是相机15的放大透视图。相机15装备有：相机机体55，附接到机器人臂21的前端35上；以及相机单元57，收纳在相机机体55中。例如，相机机体55在包括托架49的重心的平面上固定到手状部分27的托架49。

相机机体55设置在一对指状构件25之间的中间部分处，所述一对指状构件25附接到机器人臂21的前端35，从而能够彼此接近和远离(在图2中的箭头a所指示的方向上)。

以这样的方式对相机单元57进行配置：一个俯瞰相机59和工作距离与俯瞰相机59不同的两个近景相机61彼此集成。

一个俯瞰相机59和两个近景相机61中的每一个是例如外径小于或等于6mm的小直径相机。容纳一个俯瞰相机59和两个近景相机61的相机机体55具有例如容纳在直径小于或等于15mm的圆内的尺寸。这样，相机15比常规技术中所采用的布置状态检测单元更小且更轻。

容纳在直径小于或等于15mm的圆内的相机机体55从被摄体侧进行观察时的正视形状为：圆形；椭圆形；长圆形；诸如四边形(包括梯形和菱形)、五边形或六边形之类的多边形；半圆形；或泪滴形。

在实施例中，一个俯瞰相机59和两个近景相机61以它们的光轴63彼此平行的方式进行设置。光轴63在垂直于光轴63的平面中位于三角形的顶点。

在根据实施例的相机15中，上述三角形是正三角形。设置有一个俯瞰相机59和两个近景相机61的三角形不限于正三角形，并且可以是等腰三角形或不等边三角形。

将小直径相机容纳在三角形的各顶点的相机机体55可以是三角柱体。在相机15中，在例如将小直径相机设置在三角柱体的各边缘内的状态下，小直径相机通过例如填充树脂以整体的方式进行固定。

在相机15中，照明开口65形成在三角形的各边的中点处。作为光纤的光导的光出射端面可以设置在每个照明开口65中。备选地，作为照明光源的LED本身可以设置在每个照明开口65中。

图4是相机机体55的变形例的放大透视图。将小直径相机容纳在三角形的各顶点的相机机体55可以是圆柱体。同样在这种情况下，在将小直径相机设置在三角形的各顶点的状态下，通过将树脂填充到圆柱体相机机体55的内部空间中来将小直径相机以整体的方式进行固定。在该变形例的相机单元57中，省略了照明开口65。

相机15以整体的方式设置有用于对工件W进行成像且光学特性不同的多个相机设备(例如，俯瞰相机和近景相机)。光学特性是工作距离、视角等。通过根据到工件W的距离来切换光学特性不同的相机设备，来抑制用于握持工件W的手状部分27的位置精度的降低。术语“工作距离”是指从每个相机设备的透镜的前端到被摄物(例如，工件W)的距离，即实现对焦的距离。术语“视角”是指可以通过透镜拍摄图像的角度范围。

在相机15中，俯瞰相机59的工作距离WD1和视角AV1分别被设置为例如100至300mm和70°。每个近景相机61的工作距离WD2和视角AV2分别被设置为例如5至99.9mm和100°。在从工件W附近的位置对工件W进行成像时，切换为具有宽视角的透镜的相机设备，这样，即使从工件W附近的位置也能够进行宽范围成像，即检测整个工件W。

俯瞰相机59通过单个透镜对整个工件W进行成像来检测工件W的位置。俯瞰相机59可以通过在工件W的所拍摄的图像与预先存储在存储器83中的CAD数据之间比较工件W的尺寸，来计算到工件W的近似距离。工件W的CAD数据包括指示工件W的尺寸的数据(诸如，外观形状和轮廓)。工件W的所拍摄的图像较小意味着到工件W的距离长，而工件W的所拍摄的图像较大意味着到工件W的距离短。俯瞰相机59可以通过将所拍摄图像的尺寸与CAD数据所指示的尺寸进行比较，来计算近似距离。俯瞰相机59虽然具有较大的焦距，但是分辨率较低。

另一方面，近景相机61用于通过两个透镜对整个工件W或其一部分进行成像来测量距离。至于获得距离的方法，两个近景相机61被水平布置并同时拍摄具有视差的两个图像(一对图像的示例)。在成像期间工件W或机器人臂21未移动的情况下，近景相机61不需要同时对工件进行成像。近景相机61可以基于所拍摄的两个图像，通过计算来获得工件W在深度方向上的信息(即，作为三维物体的被摄物的信息)，并且计算从近景相机61到工件W的距离。近景相机61虽然工作距离较短，但是分辨率较高。在相机单元57中，适当地在俯瞰相机59与近景相机61之间进行切换。

视觉控制器19的图像处理单元77可以以短周期(例如，0.002sec或更短)获取由俯瞰相机59或近景相机61所拍摄的图像，基于俯瞰相机59或近景相机61所拍摄的图像来计算从相机15到工件W的直线距离以及从相机15进行观察时工件W的位置偏差(换言之，工件W在从机器人臂21的前端35进行观察的方向上的相对位置的偏离)，实时(例如，在距成像0.002sec或更短的时间内)将计算结果发送(反馈)到机器人控制器17作为反馈数据(参考图12)。例如，图像处理单元77可以通过将俯瞰相机59所拍摄的图像与预先存储在存储器83中的CAD数据进行比较(例如，将所拍摄的图像中的工件W的尺寸与CAD数据进行比较)，来计算相机15与工件W之间的直线距离以及从相机15进行观察时工件W的位置偏差。备选地，例如图像处理单元77可以基于近景相机61通过两个透镜所拍摄的两个图像(一对图像的示例)中的整个工件W或其一部分，来计算相机15与工件W之间的直线距离以及从相机15进行观察时工件W的位置偏差。

机器人控制器17基于从视觉控制器19实时发送的反馈数据来控制机器人臂21的各个部分，使得机器人臂21的前端35更接近工件W。由于机器人控制器17基于从视觉控制器19实时发送的反馈数据来控制机器人臂21，因此能够以更高的速度和更高的精度使前端35接近工件W并正确握住工件W。

图12是示出了利用视觉控制器19与机器人控制器17之间的实时协作，通过实时控制机器人臂21来使机器人臂21的前端35接近工件W的处理过程的流程图。

在步骤StD1，视觉控制器19的图像处理单元77判断是否在俯瞰相机59所拍摄的图像中找到了整个工件W，或者是否在近景相机61所拍摄的图像中找到了整个工件W或其一部分。如果在俯瞰相机59所拍摄的图像中找不到整个工件W或在近景相机61所拍摄的图像中找不到整个工件W或其一部分(StD1：否)，则图12中所示的处理完成。

另一方面，如果在俯瞰相机59所拍摄的图像中发现了全部工件W或在近景相机61所拍摄的图像中发现了全部工件W或其一部分(StD1：是)，则在步骤StD2中，图像处理单元77计算从相机15到工件W的直线距离以及从相机15进行观察时工件W的位置偏差(换言之，工件W在从机器人臂21的前端35进行观察的方向上的相对位置的偏离)。在步骤StD3，图像处理单元77将步骤StD2的计算结果作为反馈数据实时发送(反馈)到机器人控制器17。

在步骤StD4，机器人控制器17基于从视觉控制器19实时发送的反馈数据来控制机器人臂21的各个部分，使得机器人臂21的前端35接近工件W。在步骤StD5中，视觉控制器19的图像处理单元77基于例如近景相机61所拍摄的图像来判断前端35的指状构件25是否位于能够握持工件W的位置。如果判断出前端35的指状构件25位于能够握持工件W的位置，则图12中所示的处理完成(StD5：是)。另一方面，如果判断出前端35的指状构件25未位于能够握持工件W的位置，则处理返回步骤StD2(StD5：否)。也就是说，重复执行步骤StD2至步骤StD5，直到前端35的指状构件25通过机器人控制器17与视觉控制器19之间的实时协作而位于能够握持工件W的位置。

图6B是用于描述在图1中所示的相机15以俯瞰模式进行操作的状态下执行来自光源的图案照明的操作的示意图。图6C是用于描述安装台DPT的颜色、工件W与投射图案之间的关系的示意图。如图6C中所示，当工件Wa和安装有该工件的安装台DPT在颜色上彼此接近时，可能会出现俯瞰相机59无法识别工件Wa的形状(即，无法检测图像边缘)的情况，在这种情况下无法执行距离测量。一种对策是在形成于两个近景相机61之间的照明开口65中安装能够投射期望图案PT1的光源，并对图案PT1进行成像。通过这种措施，即使无法识别工件Wa的形状，也可以通过识别投射了图案的工件的图像PT2来测量到工件Wa的距离。期望图案的示例是由激光指示器投射的点形图案，或诸如圆形、矩形、三角形或条形之类的特定图案。

图5是在图1中所示的相机15的俯瞰相机59处于操作中的状态下的机器人臂21的前端35的放大侧视图。如果到工件W的距离长于或等于100mm，则相机15将其使用模式从近景模式切换为俯瞰模式进行操作。也就是说，在到工件W的距离长于或等于100mm的情况下，相机15以俯瞰模式进行操作。

图6A是在相机15以近景模式进行操作的状态下的机器人臂21的前端35的放大侧视图。如果到工件W的距离短于或等于99.9mm，则相机15将其使用模式从俯瞰模式切换为近景模式进行操作。也就是说，在到工件W的距离短于或等于99.9mm的情况下，相机15以近景模式进行操作。

图7是图1中所示的机器人控制器17的框图。控制器基于相机15所获取的成像信息来生成用于控制机器人臂21的操作的控制信号。在实施例中，控制器具有机器人控制器17和视觉控制器19。机器人控制器17和视觉控制器19可以以处理器的形式集成在一起以构成控制器，该处理器被实现为CPU(中央处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)等。

机器人控制器17具有转换单元67、控制单元69、冗余度单元71和存储器73。转换单元67、控制单元69、冗余度单元71可以构成处理器75。

转换单元67例如使用动力学几何和代数来将通过输入单元33输入的数学表达式的数据转换为用于驱动机器人13的伺服电机23的驱动程序。

控制单元69使机器人13根据由转换单元67通过转换生成的驱动程序来执行设置操作。控制单元69具有诸如DSP(数字信号处理器)的处理器、专用计算设备、存储器等。控制单元69基于机器人13的标准正交坐标与操作员所设置的机器人13的正交坐标之间的三维位置关系，通过乘加运算瞬时地推导出六个相应轴的移动目的地位置，并且将控制信号输出到伺服电机23。

冗余度单元71将用于执行与设置操作不同的冗余度操作的冗余度程序添加到转换单元67通过转换所生成的驱动程序。例如，冗余度操作是在机器人13的移动期间即将碰上障碍物之前或碰上障碍物之后，在避开该障碍物的同时将机器人13移动到目标位置的操作。

存储器73存储通过输入单元33输入的数学表达式的数据、转换单元67所生成的驱动程序、预先生成的冗余度程序等。

图8是图1中所示的视觉控制器19的框图。从相机15发送的所拍摄的图像数据被输入到视觉控制器19。视觉控制器19具有图像处理单元77、相机控制单元79、机器人控制单元81、存储器83和存储装置85。图像处理单元77、相机控制单元79、机器人控制单元81可以构成处理器87。

图像处理单元77基于从相机15发送的所拍摄的图像数据来执行图像处理。图像处理单元77所生成的图像处理后的数据被发送到相机控制单元79。

相机控制单元79基于从图像处理单元77发送的图像处理后的数据来获取俯瞰相机焦点数据和近景相机焦点数据。获取到的相机焦点数据被发送到机器人控制单元81。相机焦点数据存储在存储装置85中。

机器人控制单元81基于从相机控制单元79发送的相机焦点数据和其他数据来获取相机操作数据。获取到的相机操作数据被发送到机器人控制器17。相机操作数据存储在存储装置85中。

图9是示出了视觉控制器19所执行的处理过程的流程图。在机器人系统11中，在步骤StA1，相机单元57的俯瞰相机59根据从视觉控制器19发送的控制信号对工件W及其附近进行成像。

当手状部分27根据从机器人控制器17发送的控制信号而移动并接近工件W时，在步骤StA2中，相机单元57的使用模式从俯瞰模式切换为近景模式。

在步骤StA3，相机单元57通过近景相机61来测量到工件W的距离。

在步骤StA4，视觉控制器19基于测量到的距离使机器人臂21更接近工件W，并且指示机器人控制器17生成用于通过机器人臂21的前端35的指状构件25握持工件W的控制信号。

在步骤StA5，机器人臂21接收机器人控制器17所生成的控制信号，并且控制设置在前端35的手状部分27中的指状构件25。

图10是示出了取决于是否实现对焦而进行模式切换的处理过程的流程图。在机器人系统11中，因为俯瞰相机59和近景相机61具有不同的工作距离，所以需要在相机单元57中进行切换。

例如，控制器可以被配置为使得在俯瞰相机59或近景相机61变得失焦的定时，将相机单元57的使用模式在俯瞰模式与近景模式之间进行切换。

在这种情况下，首先，在步骤StB1，控制器判断俯瞰相机59是否实现了对焦。如果实现了对焦，则在步骤StB2，将相机单元57的使用模式切换为俯瞰模式。另一方面，在俯瞰相机59没有实现对焦时，在步骤StB3，判断近景相机61是否实现了对焦。如果实现了对焦，则在步骤StB4，将相机单元57的使用模式切换为近景模式。

图11是示出了使用从外部装置发送的信息来进行模式切换的处理过程的流程图。

控制器可以被配置为使得基于从外部设备发送的信息将相机单元57的使用模式切换为俯瞰模式或近景模式。在这种情况下，首先，在步骤StC1，控制器基于从机器人控制器17发送的信息来判断机器人臂21的前端35的高度是否比工件W的高度大100mm或更大。如果机器人臂21的前端35的高度比工件W的高度大100mm或更多(StC1：是)，则在步骤StC2，将相机单元57的使用模式切换为俯瞰模式。另一方面，如果机器人臂21的前端35的高度并非比工件W的高度大100mm或更多(StC1：否)，则在步骤StC3，判断机器人臂21的前端35的高度是否比工件W的高度高100mm以内。如果机器人臂21的前端35的高度比工件W的高度大100mm以内(StC3：是)，则在步骤StC4，将相机单元57的使用模式切换为近景模式。

接下来，将描述上述配置的作用。

根据实施例的相机15装备有：相机机体55，附接到机器人臂21的前端35；以及相机单元57，容纳在相机机体55中。光学特性不同的多个相机设备彼此集成在相机单元57中。例如，光学特性不同的多个相机设备是工作距离和视角不同且彼此集成的一个俯瞰相机59和两个近景相机61。

在根据实施例的相机15中，相机单元57设置在机器人臂21的前端35中。以这样的方式对相机单元57进行配置：一个俯瞰相机59和两个近景相机61被容纳在相机机体55中。也就是说，相机单元57是三透镜前端安装相机，其中具有不同焦距的多个相机被组合在一起。

优选地，附接到机器人臂21的前端35的相机是诸如根据实施例的相机15的小型相机，使得相机不限制机器人臂21的运动。换言之，在相机15中，难以设置如常规相机中所设置的自动对焦机构。然而，根据实施例的相机15通过在相机15中设置具有多个不同工作距离(WD)的(短焦距)相机设备，可以通过使相机设备中的一个或多个继续对工件W进行成像来继续识别工件W的位置，容易地对手状部分27执行位置控制，直到握持住工件W为止。由于相机15的相机单元57通过相机机体55设置在机器人臂21的前端35中，因此与相机设置在储料器上方的常规机器人系统不同，没有形成盲区。因此，相机15不存在手状部分27或机器人臂21本身形成盲区且不知道工件W的位置(坐标)的问题。结果是，可以抑制用于握持工件W的手状部分27的位置精度的降低，从而提高了工件操作的效率。

由于相机15较轻，所以虽然相机15设置在机器人臂21中，也可以抑制控制器的成本增加。也就是说，在附接较重的相机的情况下，为了准确握持工件W，必须考虑到相机的重量而采取适当的措施以防止移动期间手状部分27出现偏差。这使得必须制造齿轮和电机使得它们具有较高的刚度，从而导致机器人系统的成本增加。相反，由于相机15较轻，所以可以使用普通的齿轮和电机，这使得可以抑制机器人臂21的成本增加。

此外，由于相机15较小，因此其大部分没有从手状部分27突出。因此，即使在手状部分27的周围存在某种物体，也无需进行较大的动作来清除该物体。这使得可以防止机械臂21的驱动范围变窄。

在相机15中，两个近景相机61是具有相同工作距离的相同相机设备，同时对相同工件W进行成像以获取具有视差的一对图像，并且基于该对图像来计算从两个近景相机61到工件W的距离。

通过在水平方向上布置两个近景相机61并使它们同时拍摄具有视差的两个图像，可以从两个图像中获得具有与相机位置之间的差相对应的视差的一对图像。相机15通过基于图像信息进行计算，从而获得工件W的深度方向上的信息(即，三维信息)以及从近景相机61到工件W的距离的信息。随着近景相机61与工件W之间的距离减小，距离的计算精度增加。相机15通过随着接近工件W而多次计算距离来实现其精度逐渐提高的定位。

在相机15中，相机单元57的使用模式从使用俯瞰相机59的俯瞰模式切换为使用近景相机61的近景模式。

在相机15中，当设置在机器人臂21的前端35中的手状部分27接近工件W时，相机单元57的使用模式从使用俯瞰相机59(即，不使用近景相机61)的俯瞰模式切换为使用两个近景相机61(即，不使用俯瞰相机59)的近景模式。在相机单元57中，当切换为近景模式时，所拍摄的图像的分辨率变高，并且可以获得更准确的位置信息。这使得可以对机器人臂21和手状部分27执行高精度的操作控制。

在相机15中，相机单元57的使用模式从使用近景相机61的近景模式切换为使用俯瞰相机59的俯瞰模式。

在相机15中，当设置在机器人臂21的前端35中的手状部分27远离工件W时，相机单元57的使用模式从使用两个近景相机61(即，不使用俯瞰相机59)的近景模式切换到使用俯瞰相机59(即，不使用近景相机61)的俯瞰模式。在相机单元57中，当切换为俯瞰模式时，焦距变大，并且可以获得整个工件W的位置信息。这使得可以对机器人臂21和手状部分27执行操作控制，使得它们在宽范围内进行操作。

以这样的方式布置一个俯瞰相机59和两个近景相机61：它们的光轴63彼此平行，并且在垂直于光轴63的平面中位于三角形的各顶点。

在相机15中，光轴63彼此平行的三个小直径相机(更具体地，一个俯瞰相机59和两个近景相机61)可以被布置为在垂直于光轴63的平面中位于三角形的各顶点。相机机体55可以被形成为呈能够以最紧凑的方式覆盖三个小直径相机的三棱柱形状。呈三棱柱形状的相机机体55的期望的侧表面可以以高强度固定到机器人臂21的前端35(例如，手状部分27)。在这种情况下，位于三角形的底部的两端并因此彼此间隔开的一对小直径相机可以充当近景相机61，并且顶部小直径相机可以充当俯瞰相机59。在以一对指状构件25能够彼此接近和远离的方式配置手状部分27的情况下，近景相机61可以被设置为接近指状构件25。

在相机15中，在垂直于光轴63的平面中，由三个小直径相机(更具体地，一个俯瞰相机59和两个近景相机61)所处的位置所限定的三角形可以是一个正三角形。

在相机15中，与三角形是等腰三角形或不等边三角形相比，可以最小化相机机体55，并且可以减小俯瞰相机59和近景相机61相对于指状构件25的位置偏移。

在相机15中，照明开口65形成在三角形的每条边的中点。

在相机15中，多个照明开口65中的每一个可以与一个俯瞰相机59和两个近景相机61中的相邻两个以相等的间隔形成。可以以高密度紧凑地布置多个小直径相机和照明开口65，这使得可以小型化相机机体55。

在相机单元57中，照明开口65形成在两个近景相机61之间。

照明开口65布置在相机15中。在许多情况下，照明设备与相机分开设置。在照明设备设置在相机15中的情况下，由于包括照明设备的相机15较小，因此其大部分不从手状部分27突出。因此，即使在手状部分27的周围存在某种物体，也无需进行较大的动作来清除该物体。这使得可以防止机械臂21的驱动范围变窄。

用于照明工件W的光源设置在每个照明开口65中。

设置在每个照明开口65中的照明设备可以是光纤或LED。可以根据必要的光强度来调整发光量。

能够投射规定图案的光源设置在照明开口65中。

能够投射特定图案的照明设备可以设置在照明开口65中。因为工件W与安装有工件W的安装台在颜色上彼此接近，所以可能出现无法识别工件W的形状(即，无法检测图像边缘)的情况。在这种情况下，可以通过用具有特定图案的光照射工件W来识别工件W的形状。例如，通过投射例如条纹图案，可以基于投射到工件W的与安装台高度不同的部分上的条形图案部分的图像的形成方式，来判断工件W的形状。

两个近景相机61具有相同的工作距离，同时对光源所投射的规定图案进行成像以获取具有视差的一对图案图像，并且计算从两个近景相机61到其上投射有图案的图案投射面的距离。

当工件W和安装有工件的安装台在颜色上彼此接近时，可能会出现无法识别工件W的形状(即，无法检测图像边缘)的情况，在这种情况下无法执行距离测量。一种对策是在形成于两个近景相机61之间的照明开口65中安装能够投射期望图案的光源，并对所投射的图案进行成像。通过该措施，即使无法识别工件W的形状，也可以通过识别投射了图案的工件的图像来测量到工件W的距离。期望图案的示例是由激光指示器投射的点形图案，或诸如圆形、矩形、三角形或条形之类的特定图案。

在相机15中，相机机体55设置在一对指状构件25之间的中间处，所述一对指状构件25附接到机器人臂21的前端35，从而能够彼此接近和远离。

在相机15中，相机机体55布置在一对指状构件25之间的中间处，所述一对指状构件25可以彼此接近和远离。相机机体55设置在机器人臂21的前端35中，更具体地，在垂直于将一对指状构件25进行连接的线段并与该线段交叉的假想平面中设置在该线段的中点处。结果是，在该平面中，相机15可以总是位于可以彼此接近和远离的一对指状构件25之间的中间处，由此可以容易地检测作为工件W中心的作业点89(参见图2)的位置信息。

设置在相机机体55的三棱柱形状的三角端的顶点处的俯瞰相机59可以位于一对指状构件25之间的中间处。这使得可以将俯瞰相机59相对于指状构件25的位置偏差(间隙)抑制到较小的值。从而可以省去校准。

根据本实施例的机器人系统11装备有相机机体55，相机机体55附接到机器人臂21的前端35，相机15包括：相机单元57，容纳在相机机体55中，并且其中一个俯瞰相机59和工作距离与俯瞰相机59不同的两个近景相机61彼此集成；以及控制器，基于相机15所获取的成像信息来生成用于控制机器人臂21的操作的控制信号。

在根据实施例的机器人系统11中，通过设置在机器人系统11的前端35中的相机15，来检测执行使手状部分27握持工件W的控制所需的到工件W的距离。由于相机15设置在机器人臂21的前端35中，因此与将相机设置在储料器上方的常规机器人系统不同，不会形成盲区。因此，相机15不存在手状部分27或机器人臂21本身形成盲区且不知道工件W的位置(坐标)的问题。结果是，可以抑制无法被手状部分27保持的二工件W的数量的增加。

专利文献1中所公开的机器人臂装备有保持状态检测相机，该保持状态检测相机用于(通过成像)检测被手状部分保持的工件W的保持状态，而不是用于检测到工件W的距离以控制手状部分对工件W的保持。

由于相机15较小，因此即使在非常接近手状部分27的位置也可以安装相机15，从而不需要用于校正坐标差的校准。结果是，机器人系统11可以简化用于允许机器人臂21的操作的控制信息的计算，从而与需要执行复杂校准的情况相比，允许机器人臂21更快地进行操作。此外，根据实施例的机器人系统11可以抑制无法被手状部分27保持的工件W的数量的增加。

在光学特性不同的多个相机设备(例如，俯瞰相机59和近景相机61)中的一个相机设备或多个相机设备变得失焦时，控制器将相机单元57的使用模式切换为与多个相机设备中的另一个或另一些相机设备相对应的模式。

在机器人系统11中，由于俯瞰相机59和近景相机61的工作距离不同，因此需要从俯瞰相机59切换为近景相机61，或者相反，从近景相机61切换为俯瞰相机59。在俯瞰相机59与近景相机61中的一个或多个变得失焦时执行俯瞰相机59与近景相机61之间的切换。例如，当俯瞰相机59失焦时，俯瞰相机59关闭且近景相机61打开。相反，当近景相机61失焦时，近景相机61关闭且俯瞰相机59打开。

控制器可以基于从外部装置发送的信息，将相机单元57的使用模式切换为与光学特性不同的多个相机设备(例如，俯瞰相机59和近景相机61)中的一个或多个相对应的模式。

在机器人系统11中，当从控制器提供的信息指示机器人臂21距目标的高度小于预定值时，关闭俯瞰相机59且打开近景相机61。相反，当机器人臂21距目标的高度大于或等于规定值时，进行使用模式切换，使得近景相机61关闭且俯瞰相机59打开。

尽管上面已参考附图描述了实施例，但是不言而喻的是，本公开不限于该示例。显而易见的是，本领域技术人员将在权利要求的范围内构思各种改变、修改、替换、增加、删除或等同物，并且它们被解读为包括在本公开的技术范围内。在不脱离本发明的精神和范围的情况下，可以以期望的方式组合上述实施例的组成元件。

工业实用性

本公开可用于提供相机和机器人系统，所述相机和机器人系统能够抑制用于握持工件的手状部分的位置精度的降低，从而提高工件操作的效率。

Claims (16)

1.一种相机，包括：

相机机体，附接到机器人臂的前端；以及

相机单元，容纳在所述相机机体中；

其中所述相机单元包括用于对工件进行成像的多个相机设备，所述多个相机设备的光学特性不同。

2.根据权利要求1所述的相机，

其中所述相机单元包括一个俯瞰相机和两个近景相机，所述两个近景相机在工作距离上与所述俯瞰相机不同。

3.根据权利要求2所述的相机，

其中所述两个近景相机具有相同的相机设备，所述相同的相机设备具有相同的工作距离，所述两个近景相机同时对同一工件进行成像，获取一对具有视差的图像，并且基于所述一对图像来计算从所述两个近景相机到所述工件的距离。

4.根据权利要求2所述的相机，

其中所述相机单元的使用模式从使用所述俯瞰相机的俯瞰模式切换为使用所述两个近景相机的近景模式。

5.根据权利要求2所述的相机，

其中所述相机单元的使用模式从使用所述两个近景相机的近景模式切换为使用所述俯瞰相机的俯瞰模式。

6.根据权利要求2所述的相机，

其中所述一个俯瞰相机和所述两个近景相机被布置为使得所述一个俯瞰相机和所述两个近景相机的光轴彼此平行，并且这些光轴在垂直于这些光轴的平面中位于三角形的各顶点。

7.根据权利要求6所述的相机，

其中所述三角形是正三角形。

8.根据权利要求6所述的相机，

其中照明开口形成在所述三角形的每个边的中心。

9.根据权利要求2所述的相机，

其中照明开口形成在所述两个近景相机之间。

10.根据权利要求9所述的相机，

其中用于照明所述工件的光源设置在所述照明开口中。

11.根据权利要求9所述的相机，

其中被配置为投射规定图案的光源设置在所述照明开口中。

12.根据权利要求11所述的相机，

其中所述两个近景相机具有相同的工作距离，对从所述光源投射的所述规定图案的光同时进行成像，获取具有视差的一对图案图像，并且计算从所述两个近景相机到投射有所述图案的光的图案投射面的距离。

13.根据权利要求1所述的相机，

其中所述相机机体设置在一对指状构件之间的中间处，所述一对指状构件附接到机器人臂的前端，从而能够彼此接近和远离。

14.一种机器人系统，包括：

相机机体，附接到机器人臂的前端；

相机单元，容纳在所述相机机体中，并且具有用于对工件进行成像的多个相机设备，所述多个相机设备的光学特性不同；以及

控制器，基于所述相机单元获取的成像信息来生成用于控制所述机器人臂的操作的控制信号。

15.根据权利要求14所述的机器人系统，

其中在所述光学特性不同的所述多个相机设备中的一个相机设备失焦的定时，所述控制器将使用模式切换为所述光学特性不同的所述多个相机设备中的另一个相机设备。

16.根据权利要求14所述的机器人系统，

其中所述控制器基于从外部装置发送的信息，将使用模式切换为所述光学特性不同的所述多个相机设备中的任意一个相机设备。

Images