CN102990671A - 机器人系统 - Google Patents

Abstract

本发明提供一种机器人系统。该机器人系统包括：投影单元，该投影单元用于将缝隙光投射到指定的放置区域上并沿指定方向移动所述缝隙光；摄像单元，该摄像单元用于拍摄在放置区域上的工件上移动的所述缝隙光；估计投影区域确定单元，该估计投影区域确定出单元用于确定估计投影区域，使得所述估计投影区域沿基本平行于移动方向的长度沿所述交叉方向朝向图像的中央变大；投影位置检测单元，该投影位置检测单元用于检测缝隙光在所述估计投影区域内的投影位置。上述机器人系统还包括用于抓取工件的机器人。

Description

机器人系统

技术领域

本文公开的实施方式涉及机器人系统。

背景技术

日本申请公报No.2008-87074公开了一种机器人系统，其中，由机器人自动地执行从零乱地保持（散装）工件的容器拾取工件的工作。在该机器人系统中，对散装工件的三维形状进行测量，并且由机器人从容器拾取依照所述三维形状而选择的抓取目标工件。

在这方面，广泛使用光切法（light sectioning method）来测量三维形状。在光切法中，使朝向工件投射的缝隙光（即，线型光）沿指定的移动方向移动。通过照相机顺序地多次拾取在工件上移动的缝隙光的图像。

然后，沿着平行于缝隙光的移动方向的方向顺次地读取由此拍摄的图像中的各个像素，从而检测缝隙光在工件上的投影位置。基于三点之间的位置关系，即缝隙光在工件上的投影位置、缝隙光的光源位置和缝隙光被照相机接收的接收位置，根据三角原理来测量工件的三维形状。

在上述机器人系统中，对缝隙光在工件上的投影区域进行估计，并且沿着缝隙光的移动方向顺次地有选择地读取与所述估计投影区域对应的像素。这使得可以缩短检测缝隙光在工件上的投影位置所需的时间。

然而，在用于估计缝隙光的投影区域的传统机器人系统中，没有考虑特别的措施来优化所述估计投影区域。由此，存在以下问题：机器人拾取工件的速度和精度可能会降低。

发明内容

鉴于上述问题，本文描述的实施方式提供了一种机器人系统，该机器人系统能够优化缝隙光的估计投影区域，并最终提高由机器人执行的拾取工件的速度和精度。

根据上述实施方式的上述方面，提供一种机器人系统，该机器人系统包括：投影单元，该投影单元用于将缝隙光投射到装载有工件的指定的放置区域，并且用于沿指定的移动方向移动所述缝隙光；摄像单元，该摄像单元用于对在装载于所述放置区域上的工件上移动的缝隙光进行多次拍摄；估计投影区域确定单元，该估计投影区域确定单元用于确定出估计投影区域，使得所述估计投影区域在与所述移动方向交叉的交叉方向上横跨由所述摄像单元拍摄的图像而延伸，并且使得所述估计投影区域在与所述移动方向基本平行的方向上的长度沿着所述交叉方向朝向所述图像的中央变大；投影位置检测单元，该投影位置检测单元用于检测所述估计投影区域内所述缝隙光的投影位置；以及机器人，该机器人用于基于由所述投影位置检测单元检测到的所述投影位置来抓取所述工件。

根据本发明的上述方面，可以提供一种机器人系统，该机器人系统能够优化缝隙光的所述估计投影区域，并且最终提高由机器人执行的拾取工件的速度和精度。

附图说明

从以下结合附图给出的对于实施方式的描述，本发明的目的和特征将变得明确，其中：

图1是示出根据一个实施方式的机器人系统的部件的示意图；

图2是示出根据所述实施方式的控制装置的构造的框图；

图3是图示由根据所述实施方式的三维形状测量单元所执行的三维形状测量方法的视图；

图4是示出根据所述实施方式的预扫描的说明图；

图5A是示出在执行根据所述实施方式的预扫描时拍摄的放置区域的图像的示意图；

图5B是示出根据所述实施方式的估计投影区域（范围）的示意图；

图6A是示出根据所述实施方式的扫描的说明图；

图6B是示出在执行根据所述实施方式的扫描时拍摄的图像和位于该图像中的估计投影区域（范围）的示意图；

图7A至7C是示出检测缝隙光在图像的左侧区域、中央区域和右侧区域中的投影位置的方法的说明图；

图8A和8B是示出在缝隙光的纵向两端和纵向中央处缝隙光的亮度分布图表的示意图；

图9A至9C是示出按照图像接图像的基准（image-by-image basis）设置的估计投影区域（范围）的说明图，图9A示出了当缝隙光的位置位于图像的X轴负向侧时的估计投影区域，图9B示出了当缝隙光的位置位于图像的X轴中央处的估计投影区域，并且图9C示出了当缝隙光的位置位于图像的X轴正向侧时的估计投影区域；以及

图10是示出由根据所述实施方式的控制装置执行的程序的流程图。

具体实施方式

现在将参照形成本文的一部分的附图来详细描述本文公开的机器人系统的实施方式。本公开内容不限于下面描述的实施方式。图1是示出根据所述实施方式的机器人系统的部件的示意图。

如图1所示，机器人系统1包括投影单元4、摄像单元5、控制装置6和机器人7。投影单元4为光投射单元，用于将缝隙光40投射到放置有工件3的指定的放置区域2上，并且用于沿着指定的移动方向移动缝隙光40。

投影单元4在控制装置6的控制下执行缝隙光40的投影和移动。投影单元4的构造稍后将参照图4来描述。摄像单元5为用于对在放置于放置区域2上的工件3上移动的缝隙光40顺序地进行多次成像的照相机。摄像单元5在控制装置6的控制下将拍摄的图像顺序地输出至控制装置6。

控制装置6为用于大致控制机器人系统1的总体操作的装置。控制装置6向投影单元4输出缝隙光投射指令，并且向摄像单元5输出摄像指令。基于从摄像单元5获取的图像，控制装置6测量工件3的三维形状并且确定工件3的位置和姿态。

然后，控制装置6在位置和姿态已被确定的多个工件3中选择抓取目标工件3。控制装置6向机器人7输出任务指令，用于使机器人7执行从放置区域2拾取抓取目标工件3的任务。稍后将参照图2描述控制装置6的构造。

接下来，将参照图2描述控制装置6的构造。图2是示出根据本实施方式的控制装置6的构造的框图。如图2所示，控制装置6连接到投影单元4、摄像单元5和机器人7，以大致控制机器人系统1的总体操作。控制装置6包括控制单元8和存储单元9。

控制单元8为包括CPU（中央处理器）、存储器等的操作处理单元。控制单元8包括投影控制单元81、摄像控制单元82、估计投影区域确定单元83、投影位置检测单元84、三维形状测量单元85、任务指令单元86等。

存储单元9为诸如硬盘驱动器或闪存之类的信息存储装置。存储单元9存储图像信息91和估计投影区域信息92。

投影控制单元81为用于在执行稍后将描述的预扫描和扫描时向投影单元4输出特定指令并控制投影单元4的操作的处理单元。本文使用的术语“预扫描”指的是将缝隙光40投射到其上未装载有工件3的放置区域2上并且例如将缝隙光40从放置区域2的左端移动到放置区域2的右端的过程。本文使用的术语“扫描”指的是将缝隙光40投射到装载有工件3的放置区域2上并且将缝隙光40沿指定的移动方向移动的过程。

摄像控制单元82为用于在由投影单元4进行缝隙光40的投射时向摄像单元5输出特定指令以控制摄像单元5的操作的处理单元。响应于从摄像控制单元82输入的指令，摄像单元5对在放置区域2上移动的缝隙光40和放置在放置区域2上的工件3顺序地进行多次拍摄。摄像控制单元82顺序地获取由摄像单元5拍摄的各个图像的图像信息91，并且将图像信息91存储在存储单元9中。

估计投影区域确定单元83为用于确定在扫描期间将被投射缝隙光40的估计投影区域的处理单元。估计投影区域确定单元83从存储在存储单元9中的图像信息91获取与在预扫描期间拍摄的图像对应的图像信息91，并且基于由此获取的图像信息91来确定出估计投影区域。

估计投影区域确定单元83确定出估计投影区域，使得估计投影区域在与缝隙光40的移动方向交叉（例如，以直角交叉）的交叉方向上横跨所述图像而延伸，并且使得估计投影区域在与缝隙光40的移动方向平行的方向上的长度沿所述交叉方向朝向图像的中央变大。稍后将参照图4至图6B描述确定估计投影区域的顺序。

此外，在本实施方式中，“平行”并非数学意义上的平行，而是可以包括诸如公差、安装误差等的实践中的误差。

估计投影区域确定单元83使存储单元9存储表示所确定的估计投影区域的估计投影区域信息92。此时，估计投影区域确定单元83可以使存储单元9存储估计投影区域信息92，该估计投影区域信息92对应于在进行了扫描的情况下由摄像单元5顺序地拍摄的多个图像。

投影位置检测单元84为用于在由摄像单元5拍摄的每个图像中检测缝隙光40的投影位置的处理单元。投影位置检测单元84从存储单元9获取估计投影区域信息92和与在扫描期间拍摄的图像对应的图像信息91。

基于图像信息91和估计投影区域信息92，投影位置检测单元84沿与缝隙光40的移动方向平行的方向顺序地读取包含在每个图像的估计投影区域中的像素。然后，投影位置检测单元84在与缝隙光40的移动方向平行的方向上在各条线上检测亮度等于或高于特定界限值的像素或具有最高亮度值的像素来作为图像中缝隙光40的投影位置，并且向三维形状测量单元85输出检测结果。

基于三点之间的位置关系，即从投影位置检测单元84输入的缝隙光40的投影位置、投影单元4的位置以及摄像单元5的位置，三维形状测量单元85根据三角原理来测量工件3的三维形状。

现在将参照图3简要描述利用三维形状测量单元85测量工件3的三维形状的方法。图3是图示由根据本实施方式的三维形状测量单元85执行的三维形状测量方法的视图。关于这一点，将以测量长方体工件3的三维形状为例来进行说明。

如图3所示，机器人系统1的投影单元4包括：光源41，该光源用于输出缝隙光40；和反射镜42，该反射镜用于反射从光源41输出的缝隙光40并且将缝隙光40投射到放置区域2上。随着缝隙光40的反射位置因反射镜42的旋转而改变，缝隙光40沿指定的移动方向（例如，在图3中从A到B朝向X轴正向侧）移动。图3中的X轴、Y轴和Z轴构成了直角坐标系，其中各个轴彼此正交。

在上述机器人系统1中，反射镜42和摄像单元5布置成使得缝隙光40在反射镜42中的反射位置和缝隙光40在摄像单元5中的接收位置能够位于与放置区域2平行的同一个平面上（下文称之为“基准面Z1”）。

三维形状测量单元85基于反射镜42的旋转角来计算缝隙光40相对于工件31的照射角a。另外，三维形状测量单元85基于图像中缝隙光40的投影位置来计算缝隙光40相对于摄像单元5的接收角b。

在该方面，从缝隙光40在反射镜42中的反射位置P到缝隙光40在摄像单元5中的接收位置Q的距离c是已知的。同样，从基准面Z1到放置区域2的距离d也是已知的。

利用从反射镜42中的反射位置P到摄像单元5中的接收位置Q的距离c、缝隙光40的照射角a以及缝隙光40的接收角b，三维形状测量单元85能够根据三角原理来计算从基准面Z1到缝隙光40的投影位置R的距离e。

因此，三维形状测量单元85能够通过从基准面Z1至放置区域2的距离d中减去从基准面Z1至缝隙光40的投影位置R的距离e来计算工件31的高度f。由此，三维形状测量单元85能够通过相对于工件31的各个部分计算高度f来确定工件31的三维形状。

在本实施方式中，X-Y平面内的接收位置Q位于放置区域2的中央。反射镜42的反射面在X-Y平面内的位置在Y方向上位于放置区域2的中央，并且位于放置区域2的X轴负侧端的X轴负向侧。

回至参照图2，将再次描述控制单元8的构造。以下描述是假定图1所示的工件3为螺钉而做出的。三维形状测量单元85将关于工件3的三维形状的信息输出至任务指令单元86。任务指令单元86为用于通过向机器人7输出特定指令而控制机器人7的操作的处理单元。

基于从三维形状测量单元85输入的信息，任务指令单元86确定出零散地堆放在放置区域2上的工件3的位置和姿态，并且选择抓取目标工件3。然后，任务指令单元86向机器人7输出指令，以用于使机器人7执行从放置区域2拾取所选择的工件3的任务。

接下来，将参照图4至图6B来描述确定出估计投影区域11的顺序。图4是示出根据本实施方式的预扫描的说明图。图5A是示出在执行根据本实施方式的预扫描时拍摄的图像10的示意图，该图像10例如包括缝隙光40中的投射在放置区域2的在X轴方向上的中央位置上的缝隙光40c。图5B是示出根据本实施方式的缝隙光40c的估计投影区域11的示意图。

此外，图6A是示出根据本实施方式的扫描的说明图。图6B是示出在执行根据本实施方式的扫描时拍摄的图像10和图像10中的估计投影位置11的示意图。

在机器人系统1中，当机器人7执行拾取工件3的任务时，用缝隙光40预先对放置区域2进行预扫描。在机器人系统1中，依照预扫描的结果，确定在用缝隙光40实际扫描工件3时将要投射的缝隙光40的估计投影区域11（见图5B）。

更具体地，如图4所示，通过使反射镜42反射从光源41输出的缝隙光40然后将缝隙光40投射到未装载工件3的放置区域2上以便扩散到放置区域2的Y轴两端，使投射单元4沿X轴方向进行预扫描。

在预扫描期间，摄像单元5以规则的间隔拍摄投射到放置区域2上的缝隙光40的图像10。摄像单元5在放置区域2的正上方（位于Z轴负向侧）的位置处接收被放置区域2反射的缝隙光40，以拍摄缝隙光40的图像10。

此时，被放置区域2反射的缝隙光40扩散并朝向摄像单元5移动。在该方面，随着反射点越接近缝隙光40的纵向中央（沿平行于Y轴的方向），从缝隙光40到摄像单元5的距离变得越短。随着反射点越接近缝隙光40的纵向两端，从缝隙光40到摄像单元5的距离变得越长。

所以，随着反射点越接近缝隙光40的纵向两端，缝隙光40进一步扩散直到缝隙光40被摄像单元5接收。这导致由摄像单元5接收到的缝隙光40的光量减少。由此，如果摄像单元5拍摄到图4所示的缝隙光40，则如图5A所示，图像10的缝隙光40c在平行于X轴的方向上的宽度沿平行于Y轴的方向从缝隙光40c的两端朝向缝隙光40c的中央变大。

换句话说，图像10的缝隙光40c不具有平坦的形状，而是具有鼓胀的形状，因为缝隙光40c在X轴方向上的宽度从其纵向两端朝向纵向中央变大（即，缝隙光40c的宽度变宽）。

所以，如图5B所示，估计投影区域确定单元83确定估计投影区域11，使得图像10的缝隙光40c能够包括在估计投影区域11内。估计投影区域11的宽度大于缝隙光40c的宽度。如同缝隙光40c一样，估计投影区域11也具有鼓胀的形状。

更具体地，估计投影区域确定单元83确定桶状（barrel-shaped）区域作为估计投影区域11，所述桶状区域沿与缝隙光40c的移动方向（X轴方向）交叉的交叉方向（Y轴方向）横跨图像10延伸，并且所述桶状区域的X轴方向宽度朝向图像10的Y轴方向的中央变大。

此时，通过考虑工件3的Z轴方向的长度（在工件3未重叠放置时估计出的工件3的最大估计高度），估计投影区域确定单元83确定出从在预扫描期间拍摄的缝隙光40c的X轴负向侧边缘到估计投影区域11的X轴负向侧边缘的长度（宽度）g。

而且，作为从缝隙光40c的X轴正向侧边缘到估计投影区域11的X轴正向侧边缘的长度（宽度）h，估计投影区域确定单元83确定出长度h短于长度g。

作为示例，现在将描述以下情形：缝隙光40如图6A所示投射到正方体工件31上，并且拍摄缝隙光40的图像。在这种情况下，如图6B所示，投射到工件31的顶面上的缝隙光40从投射到放置区域2上的缝隙光40朝向X轴负向侧偏离了对应于工件31的Z轴方向长度（高度）的距离。

由此，通过将与工件31的最大估计高度对应的缝隙光40在X轴负向侧的偏离距离加上特定裕度，估计投影区域确定单元83确定出从缝隙光40的X轴负向侧边缘到估计投影区域11的X轴负向侧边缘的长度g。

基于缝隙光40的不规则反射或摄像条件，有时存在这样的情形：当扫描工件31时，缝隙光40投射到从在预扫描期间拍摄的缝隙光40的投影位置朝向X轴正向侧偏离的位置上。然而，在这种情况下，偏离量（朝向X轴正向侧的偏离程度）不太可能变得大于长度g。

所以，作为从缝隙光40的X轴正向侧边缘到估计投影区域11的X轴正向侧边缘的长度（宽度）h，估计投影区域确定单元83确定出长度h短于长度g。

以上描述针对如下情形做出：假定工件31不规则地放置在放置区域2上并且不重叠，来确定长度g。在诸如螺钉等的工件3以重叠的状态零散地堆放在放置区域2上的情形下，鉴于彼此重叠的工件3的高度，长度g进一步增大。

考虑到缝隙光40的宽度趋于从缝隙光40的纵向两端朝向中央变大的事实，估计投影区域确定单元83确定桶状区域作为估计投影区域11，在所述桶状区域中，估计投影区域11在X轴方向的长度（宽度）朝向Y轴方向的中央变大。然后，估计投影区域确定单元83使存储单元9存储表示由此确定的估计投影区域11的估计投影区域信息92。

估计投影区域11外形的鼓胀形状可能不与缝隙光40外形的鼓胀形状一致。换句话说，估计投影区域11可以具有其中X轴方向的长度（宽度）朝向Y轴方向的中央变大的任意桶状形状。

接下来，将参照图7A至图7C来描述由投影位置检测单元84检测缝隙光40的投影位置的方法。图7A至图7C是示出根据本实施方式的缝隙光40在图像的左侧区域、中心区域和右侧区域中的投影位置。

这里，将对以下情形进行描述：在以恒定速度在放置区域2上朝向X轴方向正向侧移动缝隙光40的情况下，执行工件3的扫描。在这种情况下，投影单元4使反射镜42反射从光源41发出的缝隙光40，然后使缝隙光40投射到装载有工件3的放置区域2上。

在投影期间，投影单元4通过旋转反射镜42以沿指定方向（例如，沿X轴正向从放置区域2的左端向右端）在放置区域2上移动缝隙光40来执行工件3的扫描。然后，摄像单元5以规则的间隔顺序地多次拍摄沿X轴正向在放置区域2上移动的缝隙光40的图像10。

投影位置检测单元84从由摄像单元5拍摄的图像10检测缝隙光40的投影位置。在这一点上，投影位置检测单元84从存储单元9获取图像信息91和估计投影区域信息92。基于估计投影区域信息92，投影位置检测单元84在每个图像10中设定估计投影区域11，并且检测缝隙光40在估计投影区域11内的投影位置。

更具体地，投影位置检测单元84基于缝隙光40在放置区域2内的移动速度，来估计缝隙光40在每个图像10中的投影位置。然后，如图7A至图7C所示，投影位置检测单元84在每个图像10中设定估计投影区域11，使得估计投影区域11能够包括估计投影位置。例如，对于每个图像10，来估计在包括不存在工件3的放置区域2的平面上移动的缝隙光40的投影位置。然后，设定估计投影区域11，使得缝隙光40的估计位置与缝隙光40在估计投影区域11内的投影位置一致。

然后，投影位置检测单元84沿平行于X轴的方向从一个Y轴端（即，图7A中图像的顶端）到另一个Y轴端（即，图7A中图像的底端）有选择地且顺序地读取包含在设定于每个图像10中的估计投影区域11内的像素。投影位置检测单元84在与X轴平行的方向上在各条线上检测亮度等于或高于特定界限值的像素的位置或具有最高亮度值的像素的位置，来作为图像10中缝隙光40的投影位置。

以这种方式，投影位置检测单元84不读取图像10的所有像素，而是选择性地读取位于预先估计的估计投影区域11内的像素，由此检测缝隙光40的投影位置。因此，可以减少检测投影位置所需的处理时间。

依照在图像10中呈现的缝隙光40的形状，优化估计投影区域11，使得估计投影区域11的在与X轴平行的方向上的长度（宽度）从纵向两端朝向中央变大。

结果，在检测缝隙光40的投影位置时，投影位置检测单元84能够在比纵向两端部分（在图7B中由“i”表示）宽的纵向中央部分（在图7B中由“I”表示）中读取所需的足够数量的像素。这使得可以防止在检测缝隙光40时发生遗漏。

在检测缝隙光40在纵向两端部分中的投影位置时，投影位置检测单元84能够在无需读取不必要的大量像素的情况下检测缝隙光40的投影位置。这使得可以有效地减少缝隙光40的检测时间。

投影位置检测单元84基于图像10中缝隙光40的亮度分布图表来检测缝隙光40的投影位置。这使得可以进一步提高检测图像10中缝隙光40的投影位置的检测精度。

接下来，将参照图8A和8B来描述基于亮度分布图表（直方图）来检测缝隙光40的投影位置的方法。图8A和8B是分别示出在缝隙光40的纵向两端和纵向中央处关于在与X轴平行的方向上的各条线的像素的亮度分布图表的示意图。

如图8A所示，在检测缝隙光40在纵向两端的投影位置时，投影位置检测单元84检测像素A（该像素A例如具有峰值亮度值）的位置作为缝隙光40在对应线上的投影位置。

如图8B所示，在检测缝隙光40在纵向中央的投影位置时，可能存在以下情形：由于缝隙光40在与X轴平行的方向上的长度（宽度）在缝隙光40的纵向中央长于（宽于）缝隙光40在纵向两端的长度（宽度），因此在平行于X轴的方向上，在同一条线上存在具有类似高的亮度值的多个像素。在这种情况下，由于识别具有峰值亮度值的像素时不清楚，所以投影位置的检测精度会降低。由此，在检测缝隙光40在纵向中央的投影位置时，投影位置检测单元84通过使用由例如关于在与X轴平行的方向上每条线的像素的亮度分布图表预设的界限值来检测投影位置。

在这种情况下，投影位置检测单元84辨别例如在图像10中位于一对像素B和C之间中点处的像素D，该对像素B和C的亮度等于界限值（或当不存在一对等于界限值的像素时接近于界限值）。然后，投影位置检测单元84检测在对应线上由此辨别的中点像素D，作为缝隙光40的投影位置。

此外，当中点像素D的亮度低于界限值时，检测最靠近中点像素D并且其亮度不低于界限值的像素作为缝隙光40的投影位置。

通过以这样的方式使用关于像素的亮度分布图表，投影位置检测单元84能够精确地检测缝隙光40的投影位置。

此外，当在缝隙光40的纵向中央检测投影位置时，可以使用另一种方法来替代参照图8B描述的上述方法。例如，根据像素的位置，在平行于X轴的方向上为像素分配不同的权值（weight），并且在其亮度值已经被施加了权值的多个像素中具有最高亮度值的像素被检测作为缝隙光的投影位置。

而且，将参照图8A如上描述的在平行于X轴的方向上的每条线上检测具有峰值亮度值的像素的位置作为缝隙光的投影位置的这一方法应用于从估计投影区域的纵向两端到预定位置的区域，所述预定位置位于通往放置区域2上的估计投影区域内的纵向中央的途中。并且，将参照图8B如上描述的在平行于X轴的方向上的每条线上检测亮度值等于或高于界限值的像素作为缝隙光的投影位置的这一方法应用于估计投影区域内的其它区域。

尽管以上描述针对的是这样的情形：投影位置检测单元84通过按照所拍摄的图像10的顺序朝向X轴正向侧顺序地移动特定形状和尺寸的估计投影区域11来检测缝隙光40的投影位置，但也可以在每个图像10中设置估计投影区域11。

接下来，将参照图9A至9C来描述在每个图像10中设置估计投影区域11的方法。图9A示出了当缝隙光40的位置位于图像10的X轴负向侧时的估计投影区域，图9B示出了当缝隙光40的位置位于图像10的X轴中央处时的估计投影区域，并且图9C示出了当缝隙光40的位置位于图像10的X轴正向侧时的估计投影区域。

如图9A至9C所示，随着图像10中缝隙光40的X轴方向位置越接近中央，缝隙光40在平行于X轴的方向上的长度（宽度）趋于变大。由此，当在每个图像10中设置估计投影区域11时，估计投影区域确定单元83将估计投影区域11确定为使得估计投影区域11在平行于X轴的方向上的长度朝向图像10的X轴中央变大。

然后，估计投影区域确定单元83使存储单元9按照图像接图像的基准存储与估计投影区域11对应的估计投影区域信息92。结果，利用按照图像接图像的基准存储的估计投影区域信息92，投影位置检测单元84能够通过设定估计投影区域11来检测缝隙光40的投影位置，所述估计投影区域的尺寸对应于图像10中缝隙光40的投影位置。

所以，如果缝隙光40如图9A和9C所示在图像10中位于X轴负向侧部分或X轴正向侧部分附近，则投影位置检测单元84能够设定所需的最小估计投影区域11，由此减少检测投影位置所需的时间。

由于估计投影区域11最小化，因此可以降低由环境光线而不是由缝隙光40引起的缝隙光检测误差。结果，机器人系统1能够降低工件检测误差的产生，由此抑制机器人7在错误位置执行抓取操作。

另一方面，当缝隙光40位于图像10的X轴中央处时，如图9B所示，投影位置检测单元84能够设定具有必要且足够宽度的估计投影区域11，由此防止投影位置的检测遗漏。

接下来，将参照图10来描述由控制装置6内的控制单元8执行的处理。如图10所示，在步骤S101，控制单元8使投影单元4执行预扫描。

此时，投影控制单元81向投影单元4输出指令，该指令指示投影单元4将缝隙光40透射到未装载工件3的放置区域2上并且沿与X轴平行的方向在放置区域2上移动（预扫描）缝隙光40。此外，摄像控制单元82向摄像单元5输出指令，该指令指示摄像单元5对在放置区域2上移动的缝隙光40的图像10进行拍摄。然后，摄像控制单元82基于来自摄像单元5的拍摄图像10而获取图像信息91，以将图像信息91存储在存储单元9中。

接着，在步骤S102，估计投影区域确定单元83使用在预扫描期间获取的图像信息91确定估计投影区域11（见图5B）。然后，估计投影区域确定单元83使存储单元9存储表示由此确定的估计投影区域11的估计投影区域信息92。

之后，在步骤S103，控制单元8开始执行扫描。此时，投影控制单元81向投影单元4输出指令，该指令指示投影单元4将缝隙光40投射到装载有工件3的放置区域2上并且指示投影单元4沿平行于X轴的方向在放置区域2上移动（扫描）缝隙光40。此外，摄像控制单元82向摄像单元5输出指令，该指令指示摄像单元5拍摄在放置区域2上移动的缝隙光40的图像10。然后，摄像控制单元82基于来自摄像单元5的拍摄图像10获取图像信息91并且将图像信息91存储在存储单元9中。

然后，使用存储在存储单元9中的估计投影区域信息92，投影位置检测单元84在每个图像10中设定估计投影区域11（见图7A至图7C）。在步骤S104，投影位置检测单元84通过沿与X轴平行的方向从一个Y轴端（即，图7A中图像的顶端）向另一个Y轴端（即，图7A中图像的底端）有选择地并且顺序地扫描估计投影区域11的像素，而做出关于包含在估计投影区域11内的像素的亮度分布图表。

在步骤S105，使用由此做出的亮度分布图表，投影位置检测单元84检测每个图像10中缝隙光40的投影位置。投影位置检测单元84将关于检测到的投影位置的信息输出至三维形状测量单元85。在步骤S106，基于每个图像10中缝隙光40的投影位置，三维形状测量单元85测量工件3的三维形状。三维形状测量单元85确定出工件3的位置和姿态，以将确定结果输出至任务指令单元86。

在步骤S107，基于工件3的位置和姿态，任务指令单元86判断是否存在抓取目标工件3。如果判断为抓取目标工件3存在（如果在步骤S107为是），则在步骤S108，任务指令单元86选择抓取目标工件3。

然后，在步骤S109，任务指令单元86向机器人7输出指示机器人7从放置区域2取出所选择的抓取目标工件3的工件抓取指令。之后，处理返回至步骤S103。另一方面，如果在步骤S107判断为抓取目标工件3不存在（如果在步骤S107为否），则任务指令单元86结束该处理。

如上所述，通过依照图像10中缝隙光40的形状来优化缝隙光40的估计投影区域11，根据本实施方式的机器人系统1缩短了工件3的三维形状的测量时间并且提高了工件3的三维形状的测量精度。所以，利用根据本实施方式的机器人系统1，可以提高由机器人7执行的拾取工件3的速度和精度。

当在各个图像10中设定X轴方向长度（宽度）彼此不同的估计投影区域11时，估计投影区域确定单元83可以不执行预扫描，并且可以使用以下函数来确定估计投影区域11：基于预先记录的各个图像10中缝隙光40的X轴方向位置来改变估计投影区域11的宽度。这使得可以减少存储在存储单元9中的估计投影区域信息92的信息量。

如果随着缝隙光40的投影位置越接近放置区域2的X轴方向中央，缝隙光40沿平行于X轴的方向的长度（宽度）变大，则随着投影位置越接近放置区域2的中央，可以使缝隙光40的光量变小。

这使得可以使缝隙光40的宽度保持均匀，而不管缝隙光40在放置区域2中的投影位置。从而，通过仅改变估计投影区域11的设定位置，借助使用一种估计投影区域11就能够检测缝隙光40的投影位置。

基于由投影位置检测单元84检测到的缝隙光40的投影位置所用的估计投影区域11，估计投影区域确定单元83可以确定出由投影位置检测单元84检测缝隙光40的下一个投影位置所用的估计投影区域11。

例如，基于估计投影区域11在图像中的位置和沿着放置区域2移动的缝隙光40的速度，估计投影区域确定单元83可以顺序地确定出由投影位置检测单元84检测缝隙光40的下一个投影位置所用的图像10中的估计投影区域11。利用该配置，可以减少存储在存储单元9中的估计投影区域信息92的信息量。

基于由投影位置检测单元84检测到的缝隙光40的投影位置，估计投影区域确定单元83可以确定出由投影位置检测单元84检测缝隙光40的下一个投影位置所用的估计投影区域11。利用该配置，同样可以减少存储在存储单元9中的估计投影区域信息92的信息量。

本领域技术人员能够容易地推导出其它效果和其它修改例。为此，本公开内容的广义方面不限于所示出的以及如上所述的特定公开内容和代表性实施方式。从而，在不偏离由随附的权利要求及其等同物限定的范围的情况下，能够以多种不同的形式修改本公开内容。

Claims (9)

1.一种机器人系统，该机器人系统包括：

投影单元，该投影单元用于将缝隙光投射到装载有工件的指定的放置区域上，并且用于沿指定的移动方向移动所述缝隙光；

摄像单元，该摄像单元用于对在装载于所述放置区域上的所述工件上移动的所述缝隙光进行多次拍摄；

估计投影区域确定单元，该估计投影区域确定单元用于确定出估计投影区域，使得所述估计投影区域在与所述移动方向交叉的交叉方向上横跨由所述摄像单元拍摄的图像而延伸，并且使得所述估计投影区域在与所述移动方向基本平行的方向上的长度沿着所述交叉方向朝向所述图像的中央变大；

投影位置检测单元，该投影位置检测单元用于检测所述估计投影区域内所述缝隙光的投影位置；以及

机器人，该机器人用于基于由所述投影位置检测单元检测到的所述投影位置来抓取所述工件。

2.根据权利要求1所述的机器人系统，其中，所述估计投影区域确定单元构造成确定所述估计投影区域，使得随着所述估计投影区域沿所述移动方向越接近所述图像的中央，所述估计投影区域在与所述移动方向基本平行的方向上的长度变得越大。

3.根据权利要求1或2所述的机器人系统，其中，所述投影位置检测单元构造成基于所述估计投影区域中所述缝隙光的亮度分布图表来检测所述缝隙光的所述投影位置。

4.根据权利要求1或2所述的机器人系统，其中，所述估计投影区域确定单元构造成基于投射到未装载所述工件的所述放置区域上的所述缝隙光的图像，确定所述估计投影区域。

5.根据权利要求1或2所述的机器人系统，其中，所述估计投影区域确定单元基于由所述投影位置检测单元检测到的所述缝隙光的所述投影位置所用的估计投影区域，确定由所述投影位置检测单元检测所述缝隙光的下一个投影位置所用的估计投影区域。

6.根据权利要求1所述的机器人系统，其中，当在所述图像中沿着所述移动方向不同地设定所述估计投影区域在基本平行于所述移动方向的方向上的长度时，所述估计投影区域确定单元使用以下函数来确定所述估计投影区域：所述估计投影区域的宽度基于在预先记录的图像中所述缝隙光的移动方向位置而改变。

7.根据权利要求1或2所述的机器人系统，其中，当所述缝隙光在基本平行于所述缝隙光的所述移动方向的方向上的长度随着所述缝隙光的所述投影位置越接近所述放置区域的移动方向中央而变大时，所述投影单元使所述缝隙光的光量随着所述投影位置越接近所述放置区域的所述移动方向中央而变小。

8.根据权利要求1或2所述的机器人系统，其中，基于由所述投影位置检测单元检测到的所述缝隙光的所述投影位置，所述估计投影区域确定单元确定由所述投影位置检测单元检测所述缝隙光的下一个投影位置所用的估计投影区域。

9.根据权利要求1或2所述的机器人系统，其中，所述交叉方向是与所述移动方向基本以直角交叉的方向。

Images