CN105578169A

CN105578169A - 信息处理系统和信息处理方法

Info

Publication number: CN105578169A
Application number: CN201510925578.2A
Authority: CN
Inventors: 关口洋义
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-09-17
Filing date: 2015-09-14
Publication date: 2016-05-11
Anticipated expiration: 2035-09-14
Also published as: JP2016061622A; EP3001141A1; CN105578169B; EP3001141B1

Abstract

一种信息处理系统，包括图案单元，配置为具有通过表面处理而形成的预定图案，或者具有显示所述图案的功能；成像单元，配置为捕获对象的图像；以及计算单元，配置为通过使用由所述成像单元捕获的包括图案和对象的图像来计算距离信息。

Description

信息处理系统和信息处理方法

技术领域

本公开在此一般涉及一种信息处理系统以及信息处理方法。

背景技术

通常，已知拣选系统100用于诸如拣选工厂中的零部件、通过捕获具有很少纹理的零部件的多幅图像以计算视差、并通过使用该视差向该零部件应用对象识别处理(参见图20)。这里，“纹理”是指由于像素的亮和暗而可能出现在图像上的图案、标志、颜色、点等。

例如，如图20中的拣选系统100所示，已知一种系统，其通过立体照相机120中的成像单元121和122获取图像数据，通过图像匹配单元123找出两幅图像中彼此匹配的像素，并通过视差图像生成单元124计算匹配像素的视差。而且，识别处理单元130基于亮度图像和视差图像识别出零部件。基于零部件的识别结果，机械臂控制单元140控制驱动机械臂以拣选识别出的零部件。

这里，如果由成像单元121捕获的图像被采用为参考图像，由成像单元122捕获的图像被采用为比较图像，并且在参考图像的预定像素与在比较图像中搜索的周围像素中具有很少纹理的像素间执行匹配，可获得一系列相似(analogous)的像素。因此，难以将相应像素在彼此间进行匹配，并且难以获得期望的视差(称为“正确的视差”，下同)。

于是，已经公开了一种技术，它通过由图20中示出的图案投影单元150将多个图案投影在对象上，以执行具有各种投影图案的图像间的匹配，来提高了视差的计算精度。例如在专利文件1中公开了与此相关的技术。

然而，如果图20中示出的图案投影单元150并不安装于适当的位置，在一幅图像中会捕获到反射光(参见图21)，这会影响信息识别的精度(参见图22)。

本发明至少一个实施例的主要目标是防止降低信息识别的精度。

发明内容

根据本发明的一个实施例，一种信息处理系统包括图案单元，配置为具有通过表面处理而形成的预定图案，或者具有显示该图案的功能；成像单元，配置为捕获对象的图像；以及计算单元，配置为通过使用由该成像单元获得的包括图案和对象的图像来计算距离信息。

其使得防止信息识别的精度降低成为了可能。

附图说明

图1是根据本发明一个实施例的作为信息处理装置的拣选系统的基本配置图；

图2是图示了其中零部件被直接放置在图案单元上的示例的图；

图3是图示了其中图案单元没有支撑零部件的示例的图；

图4是根据本发明一个实施例的立体相机的硬件配置图；

图5是根据本发明一个实施例的立体相机的处理配置图；

图6是图像匹配单元和视差图像生成单元的处理配置图；

图7是图示了由十进制视差计算单元计算十进制视差的示意图；

图8是具有预处理单元的立体相机的处理配置图；

图9是图示了在本发明的一个实施例中使用的距离测量的原理的示意图；

图10是图示了根据本发明一个实施例的计算偏移量的概念图；

图11是图示了与偏移量相关的成本值的图；

图12是图示了根据本发明一个实施例的计算综合成本值的示意图；

图13是图示了其中合计了路径成本值Lr的示例的图，其中路径来自于八个方向；

图14是图示了根据本发明一个实施例的与视差值相关的综合成本值的图；

图15是将用和不用图案获得的综合成本值相比较的图；

图16是图示了根据本发明一个实施例的对象视差和背景视差的示意图；

图17是图示了在图案单元上形成的图案的位置的图；

图18是根据本发明一个实施例的将要由拣选系统捕获的参考图像的示例；

图19是根据本发明一个实施例的通过形成图案获得的视差图像的示例；

图20是使用图案投影单元的常用拣选系统的基本配置图；

图21是由图20的常用拣选系统捕获的参考图像的示例；

图22是通过参考图21的参考图像来投影图案而获取的视差图像的示例。

具体实施方式

在下文中，本发明的实施例将参考附图进行描述。本发明并不受限于这些实施例。在附图中，相同或相应的部件分配有相同的编号，重复的描述会被适当简化或省略。

在本发明的实施例中，例如，在对象区域外各种图案，应用匹配处理至例如由立体相机捕获的包括对象和图案的两幅图像，以及采用SGM(半全局匹配)算法。代替上述图20图示的由图案投影元件将预定图案投影至零部件，而是通过使用例如SGM算法，关于包括对象和图案的两幅图像获得视差图像。

通过将拣选系统10作为一个示例，将参考图1根据本发明一个实施例描述信息处理系统，它包括例如具有信息处理功能的立体相机。注意，本实施例中的该信息处理系统可以不仅仅在拣选系统中使用，例如还可以在采用立体相机以获得理想视差图像的技术领域中使用。

而且，在本实施例中，虽然将描述其中立体相机具有诸如信息处理功能的配置，但它并不局限于此。例如，立体相机可具有包括捕获图像的成像单元的最小配置，并且例如该信息处理功能可被包含在与立体相机物理上分离的诸如个人计算机的信息处理装置中。

<拣选系统的基本配置>

将参考图1描述根据本实施例的拣选系统10的概况。图1是根据本实施例的作为信息处理装置的拣选系统10的基本配置图。图1中图示的拣选系统10包括立体相机20、识别处理单元30、机械臂控制单元40以及图案单元50。

捕获作为对象的一个示例的内部具有零部件(称为“零部件”)的盒子11的图像的立体相机20包括成像单元21和22、图像匹配单元23以及视差图像生成单元24。注意，成像单元的数量并不限于两个，而可能为三个或更多。这里，通过拍摄将要同时在不同方向捕获的对象(例如，图1图示的零部件11)的照片，立体相机20可记录深度方向上的信息。

图像匹配单元23计算成本值，其表示诸如由成像单元21和22捕获的图像(捕获的图像)中的每个像素的亮度值的非相似度。稍后将描述计算成本值的细节。

举例来说，基于两幅捕获的图像，视差图像生成单元24生成视差图像，其对应于至少在作为被捕获对象的零部件11的图像区域中的每个像素。稍后将描述视差图像的生成细节。

识别处理单元30基于诸如由成像单元21和22获取的亮度图像与由视差图像生成单元24生成的视差图像之间的比较来识别零部件11。

机械臂控制单元40控制驱动机械臂以基于识别处理单元30的识别结果拣选零部件11。

图案单元50具有通过表面处理而形成的预定图案。可选地，图案单元50可具有显示该预定图案的功能。图案单元50例如为面板或支架以放置(定位)零部件11。图2是图示了其中将零部件11直接放置在图案单元50上的示例的图。如图2所示，零部件11可被直接放置在图案单元50上，但并不限于此。图3是图示了其中图案单元50不支撑零部件11的示例的图。如图3所示，在零部件11和图案单元50之间提供了预定空间以使得将零部件11放置在具有图案单元50作为背景的位置处。这样，图案单元50并不必须支撑零部件11。

在图案单元50上，可在放置零部件11的区域(对象区域)之外的区域(例如，背景区域)上形成各种图案。各种图案可在图案单元50上通过表面处理被打印(标记)为诸如具有黑和白的各种亮度值的图案，或者各种图案可通过对处理图案单元50的表面进行处理以展现出具有凹陷和凸起的图案来形成。注意，图案单元50可具有与零部件11远离的区域上放置的薄片或板，其中，图案被打印(标记)在该薄片或板上。而且，透明元件等可被放置在具有通过表面处理形成图案的图案单元50上。

而且，图案单元50可具有显示对应于该多个图案的图像的功能，并具有诸如显示单元，例如为LCD显示器(面板)。

在由上述图2和图3图示的成像单元21和22捕获的图像中，例如作为对象的零部件11并不与诸如图案单元50上的图案重叠。

在本实施例中，虽然描述了使用立体相机20的配置，可使用单目相机代替立体相机20。在此示例中，单目相机多次移动以捕获作为对象的零部件11的图像，通过它执行对于距离的测量。在下文的实施例中，虽然立体相机20被用于描述，但可能的是使用上述单目相机。

<立体相机20的硬件配置>

然后，将参考图4根据本实施例描述立体相机20的硬件配置的示例。图4是根据本实施例的立体相机20的硬件配置图。

图4中图示的立体相机20包括CPU(中央处理单元)60、ROM(只读存储器)61、ROMI/F62以及图像处理单元63。而且，立体相机20包括两个成像单元64、RAM(随机存取存储器)65、RAMI/F66，以及成像单元控制接口I/F67。

在本实施例中，CPU60具有控制功能以在总体上控制信息处理。在本实施例中，ROM61存储例如信息处理程序。ROMI/F62是接口以连接ROM61与包括CPU60的其他功能单元。在本实施例中，信息处理单元63执行视差图像的生成处理等。

两个成像单元64对应于例如图1所示的成像单元21和22。两个成像单元64被固定于固定设备上、在例如分开预定距离的位置处，以分别捕获对象的图像。注意，两个成像单元64可为具有集成的成像单元21和22的单个成像单元。两个成像单元64将光学图像转换为模拟信号，并进一步将它们转换为数字信号以输出图像数据。该图像数据可具有例如八位/像素，以优选地获得例如0至255的灰度级(亮度值)。

RAM65的功能为例如存储经由成像单元控制接口I/F67等从两个成像单元64输入的已捕获图像的缓冲或高速缓存存储器。

<立体相机20的处理配置>

接下来，将参考图5根据本实施例描述信息处理装置的功能块。图5是根据本实施例的立体相机的处理配置图。注意，省略了对已参考图1描述过的元件的描述。

将描述在该功能块中的基本处理步骤。如图5所示，成像单元21和22捕获作为对象的零部件11的图像。图像匹配单元23执行由成像单元21和22捕获的图像之间的匹配，并计算表示每个像素的亮度值的非相似度的成本值C(p，d)。

视差图像生成单元24合计成本值C，或者通过例如SGM算法来匹配由图像匹配单元23获得的成本值。而且，视差图像生成单元24计算综合成本值Ls(p，d)，它是每个视差的方向上的路径成本值Lr(p，d)的和，且视差图像生成单元24计算整数视差和十进制视差，基于计算结果生成视差图像，并输出视差图像。

<图像匹配单元23和视差图像生成单元24的处理配置>

接下来，将参考图6描述图像匹配单元23和视差图像生成单元24的细节。图6是图像匹配单元23和视差图像生成单元24的处理配置图。如图6所示，图像匹配单元23包括高范围加强滤波单元71和72，以及成本计算单元73。视差图像生成单元24包括综合成本计算单元81、整数视差计算单元82以及十进制视差计算单元83。

由图像匹配单元23计算的成本值C的计算方法可在下面的计算方法中选择：例如，SAD(绝对差和)、SSD(平方差和)、NCC(标准化交叉相关)等。随后将进行详细描述由综合成本计算单元81和整数视差计算单元82处理的内容。

如图7所示，如果视差需要通过十进制来计算，视差计算单元83通过使用子像素估算方法计算十进制视差。图7是图示了由十进制视差计算单元83计算十进制视差的示意图。例如，如图7所示，在共形线(conformalline)方法中，可通过使用对应于视差“Δ-1”、“Δ”和“Δ+1”的三个综合成本值Ls来计算十进制视差δ。

而且，在抛物线拟合方法或通过多项式的近似方法中，可通过使用三个综合成本值Ls来计算十进制视差δ。此外，在上述方法中，可通过使用对应于视差“Δ-2”、“Δ-1”、“Δ”、“Δ+1”、和“Δ+2”的五个综合成本值Ls来计算十进制视差δ。而且，代替使用共形线方法、抛物线拟合方法以及通过多项式的近似方法，任何令人满意的子像素估算方法都可用于计算十进制视差δ。

<具有预处理单元的立体相机的处理配置>

同样，如图8所示，可提供预处理单元，其对由成像单元21和22获取的图像执行处理。图8是具有预处理单元91和92的立体相机20的处理配置图。图8所示的预处理单元91和92将失真校正、伽马校正等处理应用至图像。例如，当计算视差时，参考图像和比较图像的失真状态可能严重影响由图像匹配单元23计算的成本值C的结果，并且该影响还可影响视差图像生成单元24。因此，需要在将图像输入图像匹配单元23之前尽可能地排除掉上述影响。

例如，如果出现了镜头和传感器之间的光轴偏移或参考图像与比较图像之间不同的镜头光学失真状态，预处理单元91和92可具有保持校正参数的单元以校正该失真等，并在校正参数中反映校准的结果。

上述块中的处理步骤可通过上述图4的硬件配置进行实施。例如，图像匹配单元23、视差图像生成单元24以及预处理单元91和92的处理功能可由RAM65和图像处理单元63实施。

<距离测量的原理>

将参考图9根据本实施例描述本实施例中使用的距离测量原理。图9是示出了在本实施例中使用的距离测量原理的示意图。这里，将描述原理，例如，它通过立体相机导出对象的视差，并通过表示该视差的视差值测量从该立体相机至该对象的距离。在下文中，为了简化描述，将以像素为单位、而不是预定区域进行描述。

<视差值的计算>

首先，成像设备64-1a和成像设备64-1b捕获图像，它在下文中将分别被称为参考图像Ia和比较图像Ib。注意，在图9的示例中，成像设备64-1a和成像设备64-1b被假定为平行并等距地放置。在图9的示例中，在三维空间中，对象E的点S被映射至穿过成像设备64-1a和成像设备64-1b的同一水平线上的位置上。

也就是说，点S的图像分别在参考图像Ia的点Sa(x，y)处捕获，以及在比较图像Ib的点Sb(x，y)处捕获。在这一示例中，在成像设备64-1a的坐标中使用Sa(x，y)，在成像设备64-1b的坐标中使用sb(x，y)，视差值Δ通过下述公式进行表示。

Δ＝X-x[公式1]

如图9所示，通过Δa表示在参考图像Ia的点Sa(x，y)和来自成像镜头64-2a的成像表面垂线的交叉点之间的距离，并通过Δb表示比较图像Ib的点Sb(x，y)和来自成像镜头64-2b的成像表面的垂线的交叉点之间的距离，视差值Δ由Δ＝Δa+Δb表示。

<距离计算>

同样，通过使用视差值Δ，距离Z可在成像设备64-1a和64-1b以及对象E之间导出。具体而言，距离Z是从包括成像镜头64-2a的焦点位置和成像镜头64-2b的焦点位置的面至对象E上的特定点S的距离。

如图9所示，通过使用成像镜头64-2a和成像镜头64-2b的焦距f、成像镜头6-2a和成像镜头64-2b之间长度即基线长度B、以及视差值Δ，距离Z可通过下述公式进行计算。

Z＝(B×f)/Δ[公式2]

如上文的公式2所示，当视差值Δ较大时距离Z较小，并当视差值Δ较小时距离Z较大。

<SGM方法>

接下来，将参考图10至图15根据本实施例描述采用SGM方法的测量距离的方法。SGM方法适用于为具有很少纹理的对象适当地导出上述视差值的方法。通过表示具有很少纹理的对象的详细信息，使得更精确地测量距离成为可能。

而且，这一SGM方法并不在已经计算出表示非相似度的成本值后立即计算视差值，而是在已计算出成本值后计算表示综合非相似度的综合成本值，以导出该视差值，并最终导出表示所有像素的视差值的视差图像。注意，虽然在本实施例中采用了SGM方法，但并不限于此，可采用任何方法，只要例如基于周围像素的成本值的计算结果而最终导出所有像素的视差值。

<成本值的计算>

首先，将参考图10和图11描述成本值C(p，d)的计算方法。图10是图示根据本实施例的计算偏移量的概念图。注意，图10(a)是图示参考图像中参考像素的概念图。图10(b)是图示计算偏移量的概念图，该偏移量也就是当通过与图10(a)的参考像素相对应的在比较图像中的相应像素的候选者按顺序位移时的未对准的量。图11是图示了与偏移量相对应的成本值的图。这里，相应像素是比较图像中与参考图像的参考像素最相似的像素。

如图10(a)所示，基于参考图像中预定参考像素p(x，y)的亮度、以及与参考像素p(x，y)相对应的在比较图像中的极线上的对应于参考像素p(x，y)的多个候选者q(x+d，y)的亮度，计算对应于参考像素p(x，y)的像素的每个候选者q(x+d，y)的成本值C(p，d)。这里，d表示偏移量，也就是参考像素p和相应像素的候选者q之间的未对准量，在本实施例中它是以像素为单位表示的偏移量。

在图10的示例中，通过在预先指定的范围内(例如，0＜d＜25)逐个像素地位移来选取对应于参考像素p(x，y)的像素的候选者q(x+d，y)，以计算表示相应像素的候选者q(x+d，y)和参考像素p(x，y)之间的亮度值的非相似度的成本值C(p，d)。

可通过如图11所示的图表示如上文所述计算的成本值C(p，d)，其中参考偏移量d来进行绘制。注意，在图11的示例中，对于偏移量d＝5、12和19，成本值C取值为“0”。因此，不能获取唯一的最小值。这样，对于具有很少纹理的对象来说成本值C难以获得唯一的最小值。

<综合成本值的计算>

接下来，使用图12至图14，将描述综合成本值Ls(p，d)的计算方法。图12是图示了根据本实施例的计算综合成本值的示意图。在本实施例中综合成本值的计算通过例如SGM方法执行，但不限于此。在本实施例中，除了计算成本值C(p，d)外，被假定为参考像素的预定参考像素p(x，y)的周围像素的成本值也被计算并合计在参考像素p(x，y)的成本值C(p，d)中、以计算综合成本值Ls(p，d)。

将详细描述综合成本值的计算方法。为了计算综合成本值Ls(p，d)，首先需要计算路径成本值Lr(p，d)。下述公式是计算路径成本值Lr(p，d)的公式。

Lr(p，d)＝C(p，d)+min{Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，min_d(Lr(p-r，d))+P2}[公式3]

其中r表示位于合计方向的方向向量，它包括在x方向和y方向的两个分量。min{}表示获取最小值的函数。如公式3所示，Lr被递归地计算。min_d(Lr(p-r，d))表示在其中当偏移量d改变时、p在方向r被位移一个像素的坐标处的Lr(p-r，d)的最小值。而且，P1和P2是通过实验等预先定义的固定参数，使得在路径上的相邻参考像素的视差值Δ趋于连续。

而且，如公式3所示，通过将如图12所示在r方向上的像素的路径成本值Lr的最小值Lr(p，d)添加至参考像素p(x，y)的成本值C来获取Lr(p，d)。这样，从位于与参考图像p(x，y)相对应的r方向的远端处的像素开始、并沿着r方向移动来获取位于r方向上的像素的Lr。

例如，如图12所示，获取了八个方向上的Lr，即Lr₀、Lr₄₅、Lr₉₀、Lr₁₃₅、Lr₁₈₀、Lr₂₂₅、Lr₂₇₀以及Lr₃₁₅，并最终，基于下述公式获取综合成本值Ls。

Ls(p，d)＝∑_r{Lr(p，d)}[公式4]

图13是图示了其中路径成本值Lr被合计的示例的图，其中路径来自于八个方向。如图13(a)所示，在0°方向的合计是合计与参考像素相邻的左侧像素，并且在0°方向上的路径成本L0通过下述计算公式进行计算：

L0(p，d)＝C(p，d)+min{L0(左侧像素，d)，L0(左侧像素，d-1)+P1，L0(左侧像素，d+1)+P1，min_d(L0(左侧像素，d))+p2}[公式5]

相似地，如图13(b)所示，在45°方向上的合计是合计与参考像素相邻的左上方像素，并且通过下述计算公式计算在45°方向上的路径成本L45。

L45(p，d)＝C(p，d)+min{L45(左上方像素，d)，L45(左上方像素，d-1)+P1，L45(左上方像素，d+1)+P1，min_d(L45(左上方像素，d))+p2}[公式6]

相似地，如图13(c)所示，在90°方向上的合计是合计与参考像素相邻的上方像素，并且通过下述公式计算在90°方向上的路径成本L90。

L90(p，d)＝C(p，d)+min{L90(上方像素，d)，L90(上方像素，d-1)+P1，L90(上方像素，d+1)+P1，min_d(L90(上方像素，d))+p2}[公式7]

相似地，如图13(d)所示，在135°方向上的合计是合计与参考像素相邻的右上方像素，并且通过下述公式计算在135°方向上的路径成本L135。

L135(p，d)＝C(p，d)+min{L135(右上方像素，d)，L135(右上方像素，d-1)+P1，L135(右上方像素，d+1)+P1，min_d(L135(右上方像素，d))+p2}[公式8]

相似地，如图13(e)该，在180°方向上的合计是合计与参考像素相邻的右侧像素，并且通过下述公式计算在180°方向上的路径成本L180。

L180(p，d)＝C(p，d)+min{L180(右侧像素，d)，L180(右侧像素，d-1)+P1，L180(右侧像素，d+1)+P1，min_d(L180(右侧像素，d))+p2}[公式9]

相似地，如图13(f)所示，在225°方向上的合计是合计与参考像素相邻的右下方像素，并且通过下述公式计算在225°方向上的路径成本L225。

L225(p，d)＝C(p，d)+min{L225(右下方像素，d)，L225(右下方像素，d-1)+P1，L225(右下方像素，d+1)+P1，min_d(L225(右下方像素，d))+p2}[公式10]

相似地，如图13(g)该，在270°方向上的合计是合计与参考像素相邻的下方像素，并且通过下述公式计算在270°方向上的路径成本L270。

L270(p，d)＝C(p，d)+min{L270(下方像素，d)，L270(下方像素，d-1)+P1，L270(下方像素，d+1)+P1，min_d(L270(下方像素，d))+p2}[公式11]

相似地，如图13(h)所示，在315°方向上的合计是合计与参考像素相邻的左下方像素，并且在315°方向上的路径成本L315通过下述公式进行计算。

L315(p，d)＝C(p，d)+min{L315(左下方像素，d)，L315(左下方像素，d-1)+P1，L315(左下方像素，d+1)+P1，min_d(L315(左下方像素，d))+p2}[公式12]

通过使用在上述八个方向上的路径成本值，计算参考像素的综合成本值Ls(p，d)。

Ls＝L0(p，d)+L45(p，d)+L90(p，d)+L135(p，d)+L180(p，d)+L225(p，d)+L270(p，d)+L315(p，d)[公式13]

可由关于如图14所示的偏移量d的图表来表示上述综合成本值Ls(p，d)。图14是根据本实施例图示了关于视差值的综合成本值的图。在图14的示例中，由于综合成本值Ls的取值为当偏移量d＝3时的最小值，视差值Δ被计算为Δ＝3。注意，在上文的描述中，虽然r个路径的数量被假定为八，但不限于此。例如，可考虑六个或16个方向。

SGM方法是通过按路径合计匹配成本值C(p，d)来获得综合成本值Ls(p，d)以获得高精度视差的方法，该匹配成本值C(p，d)可能取决于视差而极大地改变。因此，通过合计在形成预定图案的方向上的成本值，这是有效的。

这里，图15是比较在具有和不具有图案的情况下获取的综合成本值的图。通过比较其中图案被形成于背景区域中的情况、和其中图案不被形成于背景区域中的情况，该背景区域例如在对象外的区域、即并不被对象区域(用于捕获对象的区域)覆盖的区域，关于其中图案被形成于背景区域中的情况下的综合成本值Ls(p，d)，获得更大的对比度。因此，更易于确定所关注的像素的视差值Δ。

如果在未形成图案并且存在很少纹理的状态下执行匹配，通过SGM算法在计算过程中不关于综合成本值Ls(p，d)获得大的对比度。也就是说，即使在视差Δ’处获得了最小值，视差Δ’也不够可靠，并可能与正确的视差相差甚远。因此，如图15所示，即使视差图像生成的结果也并不具有对于整个背景来说均匀的恒定不变的视差，这意味着该结果的精确度低下并且并不是优选的。

因此，通过在背景区域中形成图案，能够精确地计算出对应于图像中该零部件的区域的像素的视差数据。而且，通过本实施例中的SGM方法，能够抑制对应于图像中该零部件的区域的像素的视差数据的缺乏。抑制视差数据的缺乏具有在对象识别过程中提高零件信息的识别准确度的效果。

这里，图16是图示了根据本实施例的对象视差和背景视差的示意图。如图16所示，在工厂的拣选系统中，从立体相机至背景区域的背景视差d1是预先已知的信息。也就是说，由于从立体相机至背景区域的距离Z预先已知，因此能够预先计算背景视差d1＝[基线长度]×[镜头和传感器表面之间的距离]/[距离Z]。

因此，能够预先设置有限范围以搜索视差d，并在视差的搜索范围内执行成本值C的计算。通过预先设置这一有限范围以搜索视差，可减少对远离正确视差的视差Δ’的错误检测，并可计算出准确的对象视差。

如上文所述，在与图案单元50上的零部件11的背景区域对应的位置周围形成的图案优选是具有各种亮度值的图案。图17是图示了在图案单元50上形成的图案的位置。图17(a)图示了比较图像的示例。在图案单元50上形成的图案可通过使用例如预定量的像素、预定极值和随机数形成。注意，并不优选例如重复循环的图案，因为成本值C的具体值可能重复。

例如，在图案单元50上形成的图案可能被形成为相似于图17所示的图案B，它位于关于预定对象A的左和右侧，或者可被形成于四个侧上，或者上、下、左、和右侧上，或者可被形成为覆盖更接近于对象A的区域(对象区域)和背景区域间的界限。如果对象A在中间为中空的，例如，类似甜甜圈，则放置对象A的位置可固定，以在对应于中间(内部)的中空部的位置处形成图案。如果一幅图像具有在图案单元50上的图案以及捕获的对象A，该对象A和图案单元50上的该图案不重叠。

注意，SGM方法对于不具有重复的循环的图案是有效的，并且如果该图案尽可能地遍布该图像的背景区域则更加有效。因此，需要将并不具有重复的循环并且包括例如随机生成的各种空间频率分量的图案放置至对象区域和背景区域之间的边界。

而且，通过使用SGM方法以及被形成于该对象外部的图案，在不产生关于该视差的像素缺乏的情况下计算该对象和背景的视差。因此，基于接收的视差图像，识别处理单元可确定对象区域和背景区域之间的界限。因此，可能避免由机械臂控制单元40对机械臂的错误控制。

[零部件的安装]

将参考图18和图19描述本实施例的应用的特定示例。图18是由根据本实施例的拣选系统10捕获的参考图像的示例。在上述图1中图示的拣选系统10中，参考图像被设置为由立体相机20的成像单元21捕获的图像，其中放置有保持整批由金属制成的黑色厚螺纹螺钉的盒子11，并且在盒子11外部的某区域上形成随机图案(参见图18)。注意，在图18的示例中，虽然图像大小被假定为水平1280像素×垂直960像素，但并不限于此。

从成像单元21来看，盒子11被放置为例如使得零部件或成批黑色厚螺纹螺钉中的一个被定位于坐标(x，y)＝(630，450)，这位于较近的一侧上。预先测量和设置距离，使从成像单元21至背景的距离等于0.973m，从成像单元21至盒子11的边缘的距离等于0.908m，并且从成像单元21至黑色厚螺纹螺钉的最近一个的距离等于0.928m。由立体相机20获取的正确视差为，例如，背景视差等于63个像素，盒子11边缘的视差等于82个像素，黑色厚螺纹螺钉的最近一个的视差等于76个像素。

[立体相机的操作]

接下来，操作立体相机20以计算盒子11中由金属制成的黑色厚螺纹螺钉的视差，例如通过SGM算法。图19是根据本实施例通过形成图案获得的视差图像的示例。注意，搜索视差d的范围设置为，例如60至90个像素。因此，真正获得了正确的视差，背景视差等于63个像素，盒子11边缘的视差等于82个像素，黑色厚螺纹螺钉的最接近一个的视差等于76个像素(参见图19)。而且，对于盒子11中的零部件视差，在不缺少零部件图像区域中的像素处的视差数据的情况下获得了固定值。

[拣选系统的操作]

接下来，通过控制驱动机械臂控制单元40的机械臂，黑色厚螺纹螺钉的最接近一个可由机械臂的爪子部分在黑色厚螺纹螺钉的最接近一个所位于的坐标(x，y)＝(630，450)处挑拣。

根据本实施例，可能获取令人满意的视差并防止降低某对象的信息识别的精度(例如，距离测量精度)，该对象例如为要拣选的零部件，这是因为基于捕获的图像获得视差图像，在该捕获的图像中预先在该对象的背景上形成图案，而不是通常所做的在对象(上述零部件等)上投影图案。因此，机械臂控制单元40可正确控制通过机械臂拣选对象。而且，根据本实施例，无需提供外部设备诸如传统的图案投影单元。因此，能够防止该系统被扩大，并减少该系统的制造工时以及制造成本。

注意，上述实施例是本发明的优选实施例，并进一步地，可在不脱离本发明范围的情况下作出各种变更和修改。例如，在上述实施例中，可通过使用硬件、软件或它们的组合执行信息处理装置中的步骤。

如果要使用软件执行该处理，可通过将已记录该处理序列的一程序安装在嵌入特定硬件的计算机中的存储器上并通过执行该程序来实施。作为选择，该程序可安装并执行在能够执行各种处理的通用计算机上。

[相关现有技术文件]

[专利文件]

[专利文件1]日本特开公开专利，公开号为2013-190394

本申请基于并要求于2014年9月17日向日本专利局提出的申请号为2014-188555的日本优先权申请的优先权，通过引用将该文件的全部内容合并于此。

Claims

1.一种信息处理系统，包括：

图案单元，配置为具有通过表面处理而形成的预定图案，或者具有显示所述图案的功能；

成像单元，配置为捕获对象的图像；以及

计算单元，配置为通过使用由所述成像单元获得的包括图案和对象的图像来计算距离信息。

2.如权利要求1所述的信息处理系统，其中在包括图案和对象的图像中，所述对象不与所述图案重叠。

3.如权利要求1或2所述信息处理系统，其中所述图案单元具有打印的图案，或具有表面上的凹陷和凸起，以形成所述图案。

4.如权利要求1至3任一所述的信息处理系统，其中所述图案单元在LCD上显示对应于所述图案的图像。

5.如权利要求1至4任一所述的信息处理系统，其中所述成像单元是立体相机。

6.如权利要求1至5任一所述的信息处理系统，其中所述计算单元计算在包括图案和对象的图像中的每个像素的亮度值的非相似度，并根据计算结果，计算对应于至少在所述对象的图像区域中的每个像素的视差。

7.如权利要求6所述的信息处理系统，其中所述计算单元计算合计了方向路径的综合非相似度，以计算对应于至少在所述对象的图像区域中的所述每个像素的视差。

8.如权利要求6或7所述的信息处理系统，其中所述计算单元在为了搜索视差而预先设置的范围内计算非相似度。

9.一种信息处理方法，所述方法包括：

捕获在图案单元上的对象的图像，所述图案单元具有通过表面处理而形成的预定图案或具有显示所述图案的功能，由成像单元捕获所述图像；以及

使用通过所述捕获获得的包括图案和对象的所述图像来计算距离信息。

10.如权利要求9所述的信息处理方法，其中在包括图案和对象的所述图像中，所述对象不与所述图案重叠。

11.如权利要求9或10所述信息处理方法，其中所述捕获使用立体相机作为成像单元。

12.如权利要求9至11任一所述的信息处理方法，其中所述计算对在包括图案和对象的图像中的每个像素的亮度值的非相似度进行计算，并根据计算结果，计算对应于至少在所述对象的图像区域中的每个像素的视差。

13.如权利要求12所述的信息处理方法，其中所述计算对合计了方向路径的综合非相似度进行计算，以计算对应于至少在所述对象的图像区域中的所述每个像素的视差。

14.如权利要求12或13所述的信息处理方法，其中所述计算在为了搜索视差而预先设置的范围内对非相似度进行计算。