CN109643437A - 图像处理装置、立体照相机装置以及图像处理方法 - Google Patents

Abstract

通过使用所设定的视差计算用参数的运算处理，来计算立体照相机所摄影的一个图像数据和另一个图像数据的视差。此时，基于计算出的视差信息，按1帧内的每个像素或像素区域变更视差计算用参数。通过这样变更视差计算用参数，能够抑制处理负荷的增大，并且能够计算对于物体的识别而言最优的精度的视差。

Description

图像处理装置、立体照相机装置以及图像处理方法

技术领域

本发明涉及一种图像处理装置、立体照相机装置以及图像处理方法。

背景技术

近年，对根据测量装置所测量的信息检测物体的物体识别技术的需求变高。作为测量装置，有效利用监视照相机、距离传感器、激光雷达、红外线标签等。特别是，监视照相机能够利用已设的装置，不花费用于新设装置的引入成本，因此优选。因此，正在推进基于从监视照相机获取的图像检测物体的技术开发。

作为从照相机所摄影的图像识别物体的技术，以往以来开发了各种方法。例如，一般使用如下方法：将想要识别的物体的大量的样本数据(样本图像)预先保存在数据库中，检索在图像中是否存在与样本数据相似的部分。但是，在该识别方法中，在根据照明条件等而物体的观察方式与样本数据大不相同的情况下，难以识别物体。

因此，通过利用多个照相机拍摄物体并测量物体的三维形状来高精度地识别物体的技术受到关注。作为这样的技术，例如可列举使用立体照相机的物体识别技术。在该技术中，根据将立体照相机所拍摄的左右一对照相机图像进行比较来计算出的视差获取从立体照相机到物体的距离信息，由此测量物体的三维形状。但是，视差的计算导致处理负荷的增大，因此能够在固定时间内处理的图像的张数变少。另外，在计算视差之后识别物体的情况下难以应用处理负荷大的高级算法。因此，要求抑制处理负荷的增大来高效地计算视差的技术。例如在专利文献1中记载了如下方法：利用根据图像特征量实施了物体的检测和追踪的情况下的结果，从影像中选定计算视差的帧，由此抑制处理负荷的增大。另外，在专利文献2中记载了如下方法：从图像中提取存在物体的区域，计算仅在该区域的范围内的视差，由此削减处理量。

专利文献1：日本特开2008-236642号公报

专利文献2：日本特开2013-161241号公报

发明内容

发明要解决的问题

在专利文献1所记载的方法中，由于间除检测帧而能够削减处理负荷，但是计算视差来能够测量物体的形状的图像的张数变少，因此在根据连续的图像的信息识别物体的情况下识别精度下降。

另一方面，在专利文献2所记载的方法中，计算仅在存在物体的区域的视差，因此能够在抑制处理负荷的增大的同时在影像中的全部帧中计算物体的视差。然而，对于所有物体的视差均利用一样的参数进行计算，因此例如在设定了精度低的参数的情况下，存在无法求出物体的识别所需的精度的视差的问题。相反地，在设定了精度高的参数的情况下，计算对于物体的识别而言过于足够的精度的视差，从而导致无端地增大处理负荷。

本发明的目的在于，在根据从立体照相机得到的图像计算视差的情况下，能够尽可能地抑制处理负荷的增大，并且能够进行对于物体的识别而言最优的精度的视差的计算。

用于解决问题的方案

本发明的图像处理装置具备视差计算部和参数变更部。

视差计算部通过使用所设定的视差计算用参数的运算处理，来计算立体照相机所摄影的一个图像数据和另一个图像数据的视差。

参数变更部基于视差计算部所计算出的视差信息，按1帧内的每个像素或像素区域变更视差计算用参数。

本发明的立体照相机装置具备分离规定的距离地配置的一个照相机和另一个照相机、视差计算部以及参数变更部。

视差计算部通过使用所设定的视差计算用参数的运算处理，来计算一个照相机所摄影的一个图像数据和另一个照相机所摄影的另一个图像数据的视差。

参数变更部基于视差计算部所计算出的视差信息，按1帧内的每个像素或像素区域变更视差计算用参数。

本发明的图像处理方法包括视差计算处理工序和参数变更处理工序。

在视差计算处理工序中，通过使用所设定的视差计算用参数的运算处理，来计算立体照相机所摄影的一个图像数据和另一个图像数据的视差。

在参数变更处理工序中，基于通过视差计算处理工序计算出的视差信息，按1帧内的每个像素或像素区域变更视差计算用参数。

发明的效果

根据本发明，能够抑制用于视差计算的处理负荷的增大，并且能够计算对于物体的识别而言最优的精度的视差。

上述以外的问题、结构以及效果通过以下的实施方式的说明来变得明确。

附图说明

图1是表示本发明的第一实施方式例的系统结构例的整体图。

图2是表示应用于本发明的第一实施方式例的图像处理装置的计算机的结构例的框图。

图3是表示基于本发明的第一实施方式例的初始视差计算处理状态的图。

图4是表示基于本发明的第一实施方式例的视差计算用参数的一例的图。

图5是表示基于本发明的第一实施方式例的参数变更处理例的流程图。

图6是表示基于本发明的第一实施方式例的视差图像的制作处理和视差图像的区域分割的例子的图。

图7是说明基于本发明的第一实施方式例的视差计算用参数的决定处理的例子的图。

图8是表示通过本发明的第一实施方式例变更的视差计算用参数的一例的图。

图9是表示由本发明的第一实施方式例的最终视差计算部输出的视差结果的一例的图。

图10是表示本发明的第二实施方式例的系统结构例的整体图。

图11是表示基于本发明的第二实施方式例的初始视差计算判定处理时的各帧的图像和预测物体区域的例子的图。

图12是表示基于本发明的第二实施方式例的参数调整部中的处理例的流程图。

图13是说明基于本发明的第二实施方式例的初始视差计算区域和预测物体区域的分割例的图。

图14是说明基于本发明的第二实施方式例的按每个预测物体区域决定视差计算参数的例子的图。

(附图标记说明)

100，100′…图像处理系统、101L、101R…照相机、110，110′…图像处理装置、111a、111b…图像获取部、112…初始视差计算部、113…参数变更部、114…最终视差计算部、115…视差输出部、116…物体移动预测部、121…视差计算用参数存储部、122…预测物体信息存储部、123…参数调整结果信息存储部、131…初始视差计算判定部、132…参数调整部、C…计算机装置、C1…CPU、C2…ROM、C3…RAM、C4…总线、C5…非易失性存储设备、C6…输入输出部。

具体实施方式

<1.第一实施方式例>

下面，参照图1～图9来说明本发明的第一实施方式例的系统。

[1-1.系统整体的结构例]

图1是表示第一实施方式例的图像处理系统的整体结构例的图。

图像处理系统100具备2台照相机101L、101R和图像处理装置110。2台照相机101L、101R在水平方向上分离规定距离地配置，从由2台照相机101L、101R摄影的图像得到立体图像。

各个照相机101L、101R对将按规定的时间周期获取的可见光经由摄像元件变换得到的电信号进行数字变换，生成数字图像数据。作为摄像元件，例如使用CCD(ChargeCoupled Device：电荷耦合器件)成像仪、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)元件。

图像处理装置110进行对由2台照相机101L、101R摄影来得到的图像数据进行处理来计算图像间的视差的处理。将图像处理装置110所计算的视差信息提供到计算从图像识别出的物体的距离的装置(未图示)，例如根据计算出的距离进行闯入者的警告、物体的接近的警告等处理。

图像处理装置110具备图像获取部111a、111b、初始视差计算部112、参数变更部113、最终视差计算部114、视差输出部115以及视差计算用参数存储部121。这些图像处理装置110的各部111a、111b、112、113、114、115、121由内置于各照相机101L、101R或在外部准备的计算机装置实现。关于计算机装置的结构例稍后说明。

说明由图像处理装置110进行的处理的概要，2个图像获取部111a、111b从各照相机101L、101R获取图像数据。初始视差计算部112利用从视差计算用参数存储部121获取的初始的参数值，计算2个图像获取部111a、111b所获取的图像间的视差。参数变更部113进行根据初始视差计算部112所计算的视差变更视差计算用参数的值的运算处理。最终视差计算部114进行利用由参数变更部113变更后的参数再次计算图像间的视差的处理。视差输出部115输出最终视差计算部114所计算的视差信息。

此外，在以下的说明中，将图像获取部111a、111b从照相机101L、101R获取的数字图像数据称为“摄像图像”。

[1-2.计算机装置的结构例]

图2是表示构成图像处理装置110的计算机装置C的一例的图。

计算机装置C具备CPU(Central Processing Unit：中央处理装置)C1、ROM(ReadOnly Memory：只读存储器)C2、RAM(Random Access Memory：随机存取存储器)C3、非易失性存储设备C5以及输入输出部C6。这些各部C1、C2、C3、C5、C6以能够通过总线C4传输数据的方式连接。

CPU C1从ROM C2读出用于实现构成图像处理装置110的各部的功能的软件的程序代码并执行。在RAM C3中临时地写入在运算处理的中途产生的变量、参数等。

作为非易失性存储设备C5，例如使用HDD(Hard disk drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、其它各种存储介质。在该非易失性存储设备C5中，除了OS(Operating System：操作系统)、各种参数以外，还记录有用于使计算机装置C作为图像处理装置110发挥功能的程序。

输入输出部C6经由LAN(Local Area Network：局域网)、专用线等在与外部的装置之间发送接收各种数据。例如，输入输出部C6取入由照相机101L、101R摄影的摄影图像，将计算出的视差信息输出到外部。

[1-3.初始视差的计算处理]

接着，说明图像处理装置110的各部中的处理的详情。

图3是说明初始视差计算部112中的初始视差的计算处理的图。

在初始视差计算部112中，利用被称为块匹配的方法计算初始视差。即，如图3所示，在被摄体21被摄影的状况下，将从一个照相机101L(左照相机)获取的摄像图像设为基准图像20a，将从另一个照相机101R(右照相机)获取的摄像图像设为比较图像20b。然后，从基准图像20a决定某小区域22a。在此，在小区域22a中包含有被摄体21的一部分。

然后，在比较图像20b中，从与小区域22a相同的位置起将搜索窗23沿箭头24的水平方向进行扫描，由此搜索与小区域22a之间差异度最小的小区域22b，计算其搜索宽度25来作为视差。此外，图3用于表示计算视差的原理，在实际的基准图像20a和比较图像20b中产生的被摄体21的位置变化不是如图3所示那样大。

作为计算2个小区域22a、22b的差异度的方法，例如存在[数1]式所示的SAD(sumof squared difference：平方差和)法。

[数1]

在[数1]式中，T₁是小区域22a的亮度值，T₂是小区域22b的亮度值，M是搜索窗23的横向宽度，N是搜索窗23的纵向宽度。另外，(i，j)表示搜索窗23内的各像素的坐标位置，是从左上的坐标(0，0)到右下的坐标(M-1，N-1)的值。

此外，[数1]式所示的差异度SAD的计算方法是一例，也可以利用其它计算方法计算差异度。

此外，关于进行视差计算的摄像图像，基准图像20a与比较图像20b之间被实施被称为平行化的前处理，在初始视差计算部112中，将搜索窗23仅沿水平方向(箭头24的方向)进行扫描。但是，在未被实施平行化处理的图像的情况下，将搜索窗23内沿垂直方向、倾斜方向进行扫描即可，不限定于水平方向的扫描。

作为在通过块匹配来计算视差的情况下使用的一般参数，存在以下所示的参数。即，作为参数可列举搜索窗的尺寸、沿水平方向扫描的最大搜索宽度、计算视差的区域、被称为斑点(speckle)滤波器的去除误匹配的滤波器的强度等。

在本实施方式例中，处理作为对于计算视差时的计算量的影响大的参数的搜索窗的尺寸、最大搜索宽度、视差计算区域这3个参数。一般来说，搜索窗的尺寸具有如下特征：值越大则能够求出精度越高的视差，而另一方面，计算量增大。此外，通过求出精度高的视差来能够获取详细的三维信息，因此在区域内存在测量对象的情况下能够提高其识别精度。关于最大搜索宽度，值越小则越抑制计算量，但是能够搜索准确的小区域的精度下降。另外，关于视差计算区域，区域越少则整体的计算量越降低。

此外，在本实施方式例中在计算初始视差时使用的参数不限定于这3个参数。例如，有将搜索窗的尺寸设为固定值并仅变更最大搜索宽度和视差计算区域的情况。此外，也可以将斑点滤波器的强度的值作为变更的参数之一来处理。

[1-4.视差计算用参数的具体例]

图4表示视差计算用参数30的例子，示出搜索窗的尺寸、搜索窗的最大搜索宽度31、搜索的起点坐标、搜索的终点坐标。在此，表示2个视差计算区域32a、32b的例子。

用这些视差计算用参数30表示的视差计算区域32a、32b是对基准图像20a设定的，从视差计算区域32a、32b提取与搜索窗相同尺寸的小区域22a。另外，针对各区域32a、32b保持有搜索窗的尺寸和最大搜索宽度31的参数。此外，在图4中示出设定了2个视差计算区域32a、32b的例子，但是实际设定的视差计算区域的数量不限定于2个。

初始视差计算部112例如将视差计算区域仅设定一个，将起点坐标和终点坐标设为将基准图像20a全部包含的值，获取搜索窗的尺寸和最大搜索宽度。作为搜索窗的尺寸和最大搜索宽度，获取预先决定的视差计算用的参数，使用该参数计算视差。此外，关于搜索窗的尺寸和最大搜索宽度的值，考虑到均是值越小则能够使计算量越少以及CPU的处理资源等，还能够由用户决定。

另外，也可以不仅将视差计算区域仅设定一个，还取预先获取的背景图像与基准图像的差分，由此判定预计包含测量对象的区域，将该区域设定为视差计算区域。并且，也可以仅将通过利用GUI等的用户操作指定的区域设定为视差计算区域。

[1-5.参数的变更处理]

图5是表示由参数变更部113执行的参数的变更处理例的流程图。

按照图5说明参数变更处理，首先，参数变更部113根据由初始视差计算部112计算出的视差信息制作视差图像(步骤S1)。接着，参数变更部113根据视差值将视差图像分割为多个区域(步骤S2)，按分割出的每个区域计算平均视差(步骤S3)。然后，根据在步骤S3中计算出的平均值决定视差计算用参数(步骤S4)。关于该步骤S3及S4的平均视差的计算和视差计算用参数的决定，反复进行分割出的区域数A的次数。

然后，参数变更部113将视差计算用参数变更为在步骤S4中决定的视差计算用参数(步骤S5)。

图6表示图5的流程图的步骤S1和S2中的处理的例子。

在步骤S1中，如图6所示，参数变更部113计算与基准图像20a的全部像素对应的视差，来制作视差图像40。在图6所示的视差图像40中，示出分割出的每个区域的平均视差的值。在该例子中，存在平均视差值“5”的区域、平均视差值“15”的区域以及平均视差值“25”的区域。

然后，在步骤S2中，对视差图像40以使表示相似的视差的值的像素成为相同的组的方式进行区域分割，来得到区域分割图像41。作为得到区域分割图像41的方法，利用一般的聚类方法即可，不限定于特定的方法。另外，不需要对全部像素进行区域分割，也可以追加例如忽略视差为阈值以上或者小于阈值的像素的处理、不考虑判定为相同的组的区域内的像素的数量为阈值以上或者小于阈值的区域的处理等。

在图6的例子中，区域分割图像41示出忽略基准图像20a与比较图像20b的平均视差值为“5”以下的像素而将视差图像40分割为多个区域42a、42b的结果。通过这样根据平均视差值得到区域42a、42b，能够提取摄像图像内的存在具有固定大小的物体的区域。在图6的例子中，被摄体21a对应于区域42a，被摄体21b对应于区域42b。此外，在图6的例子中，各区域42a、42b内的平均视差值是相同的值，但是如果在固定范围内，则一个区域内的平均视差值也可以不同。

图7表示图5的流程图的步骤S4中的处理的例子。

在步骤S4中，如图7所示，参数变更部113根据按分割出的每个区域计算出的平均值决定视差计算用参数。

首先，如图7所示，参数变更部113在基准图像20a内设定矩形区域50a、50b。将该矩形区域50a、50b设为覆盖在步骤S2中设定的分割区域42a、42b的最小大小的矩形形状的区域。在设定这些矩形区域50a、50b时，如图7所示，设定各矩形区域50a、50b的起点坐标51a、51b和终点坐标52a、52b。

然后，参数变更部113利用使视差与视差计算用的各参数相对应起来的矩阵53，根据平均视差值，按每个区域决定视差计算用参数。作为矩阵53，按每个平均视差值决定搜索窗尺寸和最大搜索宽度。图像处理装置110预先存储矩阵53。

在图7的下侧示出在矩形区域50a、50b中分别决定的视差计算用参数54的例子。

例如在平均视差25的区域50a中，搜索窗尺寸为15像素×15像素，最大搜索宽度为25像素。另外，在平均视差15的区域50b中，搜索窗尺寸为25像素×25像素，最大搜索宽度为15像素。

此外，关于视差与视差计算用参数的相对应方法，除了利用矩阵53以外，也可以利用线性函数等，另外，相对应的视差计算用参数的值也不限定于图7的例子。

图8表示由参数变更部113变更后的视差计算用参数的一例。

如图8所示，在由初始视差计算部112使用的参数62中，视差计算区域1仅为图像整体这一个，因此起点坐标60a和终点坐标60b为图像20a的左上端60和右下端61。在该初始视差计算用的参数62中，将搜索窗23的尺寸和最大搜索宽度设为尽可能地降低计算量的值，通过初始视差计算来进行简易的搜索。

与此相对，变更后的视差计算用参数63仅将包含测量对象的2个区域50a、50b设为视差计算区域1、2，由此，代替降低计算量，将搜索窗23的尺寸设定为大的值。图8所示的变更后的视差计算用参数63与图7所示的视差计算用参数54相同。

在变更后的视差计算用参数63中，能够增加计算量来求出高精度的视差。另一方面，关于最大搜索宽度，视差计算区域的平均视差值越小，则使搜索宽度的值越小，由此能够削减计算量。这样的最大搜索宽度的设定办法是利用了如果是存在于照相机远处的测量对象则也可以使搜索宽度小这一点。

此外，在由参数变更部113变更视差计算用参数时，考虑到对CPU的处理负荷来预先决定视差计算用的最大运算量，由此能够最佳地变更参数。

例如，利用[数2]式，根据变更参数后的搜索窗23的尺寸、最大搜索宽度以及视差计算区域求出合计的运算量，将参数最优化成与预先决定的最大运算量几乎等同。在[数2]式中，M是搜索窗的横向宽度，N是搜索窗的纵向宽度，D是最大搜索宽度。

[数2]

通过这样最优化参数，能够高效地使用CPU的处理资源。即，参数变更部113基于视差计算部112、114中的当前的处理资源信息，以使处理资源最优的方式分配参数值，由此能够高效地使用CPU的处理资源。

另外，也可以使具有收敛于固定范围之间的视差的区域优先，根据[数2]式计算合计的运算量，在超过最大运算量的时间点，将剩余的区域设为视差计算的范围对象外。即，参数变更部113基于视差计算部112、114中的当前的处理资源信息，以不对计算视差的优先级低的区域实施视差计算的方式变更参数，从而还能够谋求效率化。

最终视差计算部114使用从参数变更部113输出的视差计算用参数计算视差。

图9是由最终视差计算部114输出的视差的结果的一例。在图9中，基准图像20a、比较图像20b、被摄体21a、21b与图6相同。

图9所示的视差图像43是被输出的最终的视差的结果。另外，视差图像44表示对视差图像43实施了如图5的流程图的步骤S2那样的区域分割的结果。视差图像44内的区域45a、45b表示与被摄体21a、21b对应的分割区域。与图6所示的初始视差图像40相比，由最终视差计算部114输出的视差图像43在存在被摄体的区域成为详细的视差图像。此外，关于由最终视差计算部114计算视差的方法，也可以代替使用与初始视差计算部112相同的算法的块匹配，变更为如果在CPU的处理资源中有富余则能够计算高精度的视差的方法。

从视差输出部115输出这样由最终视差计算部114得到的最终的视差的结果。

[1-6.第一实施方式例的效果]

如以上说明的那样，在本实施方式例中，基于在图像整体中计算出的粗略的视差的值将图像分割为多个区域，按分割出的每个区域求出能够计算对于物体的识别而言最优的视差的参数。然后，利用该求出的参数的值再次计算相应的区域的视差，由此能够尽可能地抑制处理负荷的增大，并且能够计算物体的识别所需的精度的视差。

[1-7.第一实施方式例的变形例]

此外，在由参数变更部113输出的视差计算用参数的值全部为“0”的情况下，也可以不在最终视差计算部114中实施再次的视差计算。例如在测量对象不存在于摄像图像内而不存在收敛于阈值范围内的大小的视差计算区域的情况下，省略最终视差计算部114的视差计算。通过这样，削减对CPU的处理负荷，因此能够高效地控制图像处理装置110的消耗电力。

另外，当比较在照相机远处、附近存在测量对象的情况下的计算量时，照相机远处的测量对象容易变更为由参数变更部113计算高精度的视差的参数，因此计算量变多。相反地，对于附近的测量对象的视差计算的计算量变少。因此，通过以主要在照相机附近存在测量对象的方式设置立体照相机，能够实现消耗电力与以往相比降低的图像处理装置。

另外，在第一实施方式例中，示出了计算整数精度的视差来作为具体的视差值的方法，但是也可以利用计算小数(子像素)精度的视差的方法。例如，作为使用的视差计算用参数，准备是否求出小数精度的视差这样的标志型的参数。然后，由参数变更部113根据测量对象切换标志。通过这样，能够应用如下方法：对于存在于照相机附近的测量对象计算整数精度的视差，对于存在于照相机远处的测量对象计算小数精度的视差。

<2.第二实施方式例>

参照图10～图14来说明本发明的第二实施方式例的系统。在说明该第二实施方式例的图10～图14中，对与第一实施方式例中说明的图1～图9相同的部位附加相同的符号。

[2-1.系统整体的结构例]

图10是表示第二实施方式例的图像处理系统的整体结构例的图。

在该第二实施方式例中，在连续的摄像图像(帧)中，利用根据在前帧中使用的视差计算用参数和计算出的视差预测出下一帧中存在测量对象的区域信息。通过利用这样预测的区域信息，在第二实施方式例中，能够降低处理负荷，并且能够更高效地计算高精度的视差。

说明图10所示的结构，在第二实施方式例的图像处理系统100′中，由图像处理装置110′处理来自2台照相机101L、101R的摄影图像，得到视差信息。

图像处理装置110′的图像获取部111a、111b所获取的基准图像和比较图像被提供到初始视差计算判定部131。初始视差计算判定部131进行基于预测物体信息存储部122中存储的预测物体信息判定在当前的帧中是否计算粗略的初始视差的处理。此外，预测物体信息是由后述的物体预测部116输出并预先存储在预测物体信息存储部122中的信息。然后，该初始视差计算判定部131中的判定结果被提供到初始视差计算部112。

初始视差计算部112当从初始视差计算判定部131被提供计算粗略的初始视差的判定结果时，根据视差计算参数存储部121中存储的视差计算参数计算初始视差。

初始视差计算部112所计算的视差信息被提供到参数调整部132。在参数调整部132中，调整视差计算用参数。在该调整中，利用预测物体信息存储部122中存储的预测物体信息、由初始视差计算部112获取的粗略的视差以及预先蓄积在参数调整结果信息存储部123中的参数调整结果信息。此外，参数调整部132中的参数调整结果信息被存储在参数调整结果信息存储部123中。

然后，使用由参数调整部132调整后的视差计算用参数，最终视差计算部114计算最终的视差信息，从视差输出部115输出所得到的视差信息。并且，由最终视差计算部114计算出的视差信息、在视差计算中使用的图像(基准图像)被提供到物体移动预测部116。物体移动预测部116根据视差信息的变化预测图像内的被摄体(物体)的移动状态。此外，物体移动预测部116也可以从基准图像本身直接预测被摄体的移动状态。

由物体移动预测部116得到的物体移动预测信息被存储在预测物体信息存储部122中。

[2-2.预测物体信息的例]

接着，说明本实施方式例中的视差信息的计算处理例。

图11表示初始视差计算判定处理时的各帧的图像和预测物体区域的例子。

图11所示的3张图像80a、80b、80c是将时刻T、T+1、T+2的3个帧按时间序列顺序获取的基准图像。在各基准图像80a，80b，80c中，被摄体81的位置从左变化为右。

在此，在获取到时刻T的图像80a时，根据到此以前的被摄体81的运动得到包含预测出被摄体81的位置的预测物体区域83a的预测物体信息82a。并且，在获取到时刻T+1的图像80b时，根据到此以前的被摄体81的运动得到包含预测出被摄体81的位置的预测物体区域83b的预测物体信息82b。关于预测物体信息、预测物体区域的计算方法稍后说明。

然后，在初始视差计算判定部131中，如果预测物体区域的大小为固定值以上则判定为不计算初始视差，如果预测物体区域83a、83b的大小小于固定值则判定为计算初始视差。

[2-3.使用预测物体信息的视差计算用参数的决定处理的例子]

图12是表示参数调整部132中的处理的流程图。

参数调整部132基于包含由初始视差计算部112计算出的视差的区域和预测物体信息存储部122中存储的预测物体信息，将基准图像分割为预测物体区域(步骤S10)。然后，参数调整部132按由初始视差计算部112计算出的每个初始视差计算区域决定视差计算用参数(步骤S11)。另外，参数调整部132对于从预测物体信息获取的预测物体区域也决定视差计算用参数(步骤S12)。

然后，将决定的视差计算参数作为参数调整结果信息蓄积在参数调整结果信息存储部123中(步骤S13)，参数调整部132将蓄积的参数值输出到最终视差计算部114(步骤S14)。

图13是通过图12的流程图的步骤S10的处理对基准图像82a进行了区域分割的结果的一例。在图像91中，对于预测物体区域83a的部分以外的区域90a，由初始视差计算部112计算粗略的视差。

另外，在图像92中，在由初始视差计算部112计算视差时，仅对利用背景差分预先保持的背景图像与输入的摄像图像之间的亮度值存在差分的区域计算粗略的视差。通过这样利用背景图像与摄像图像的亮度差预先计算粗略的视差，能够使由初始视差计算部5求出的视差值不是针对区域83a以外的全部区域，而是仅针对一部分区域90b。

即，通过如图像92的例子那样利用背景差分等前处理，能够更高效地限定计算视差的范围。

在图12的流程图的步骤S11中，按每个区域重复图5的流程图的步骤S3和S4的处理，由此能够决定视差计算用参数。

图14表示视差计算用参数的决定处理的具体例。

在此，图14所示的基准图像103是在将当前时刻设为T的情况下在时刻T-1的帧中处理得到的基准图像。使用该基准图像103，得到在步骤S13中的处理中蓄积的视差计算用参数104。

作为视差计算用参数104，设定区域100的起点坐标101和终点坐标102，设定平均视差值“15”、搜索窗23的尺寸以及最大搜索宽度。

在步骤S12中，参数调整部132搜索是否存在预测物体区域106与通过针对前帧的在步骤S13中的处理所蓄积的视差计算用参数的矩形区域107之间的重复区域108。

然后，参数调整部132在确认出重复区域108的情况下，将在预测物体区域106中使用的视差计算用参数决定为区域107的参数值。

此外，作为在搜索中利用的视差计算用参数，不特别限定于在前帧中蓄积的参数，也可以将蓄积的全部视差计算用参数作为搜索对象来利用。另外，在此，作为预测物体区域与视差计算用参数的相对应方法，利用了根据区域有无重复来进行的判定，但是也可以进行其它判定。

例如，也可以应用将重复区域108的面积最多的视差计算用参数相对应的方法、将预测物体区域与视差计算用参数的矩形区域的重心位置最近的视差计算用参数相对应的方法。或者，还可以应用使最近蓄积的视差计算用参数优先地相对应的方法、预先使预计的视差信息等附随于预测物体区域来利用平均视差相对应的方法。

在步骤S13中，将通过步骤S11和步骤S12决定的视差计算用参数保存在参数调整结果信息存储部123中。此外，在信息的容量比图像处理装置110′在内部所具有的存储装置等的容量多的情况下，删除最早蓄积的视差计算用参数。或者，也可以将与预测物体区域相对应的次数多的视差计算用参数判定为可靠性高，删除可靠性低的视差计算用参数。并且，坐标信息等相似的视差计算用参数也可以仅留下最近蓄积的参数。并且，也可以蓄积所计算出的参数的平均值，删除详细的参数。

在步骤S14中，将通过步骤S11和步骤S12决定的视差计算用参数作为最终的视差计算用参数来输出。

物体移动预测部116根据由最终视差计算部114输出的视差信息获取测量对象的三维信息，输出在接着获取的摄像图像中预测为存在测量对象的图像中的范围(区域)。

关于预测为存在测量对象的区域，能够通过根据追踪物体来制作的轨迹信息估计前进方向、移动宽度来进行计算。物体追踪利用已经知道的一般方法即可。例如在将测量对象设为人的情况下，分析三维信息来提取人物的头部并追踪同一个头部即可。另外，也可以分析光流(optical flow)等图像特征量来进行追踪。另外，也可以将根据脸等的信息估计出的人物的身体的朝向等利用于追踪。

[2-4.第二实施方式例的效果/变形例]

根据以上说明的第二实施方式例，得到超过第一实施方式例的效果。即，对于存在测量对象的可能性高的区域，根据过去使用的视差计算用参数计算视差，由此能够更加抑制处理负荷的增大，能够高效地计算物体的识别所需的精度的视差。

此外，在这样使用过去使用的视差计算用参数的情况下，也可以从参数的变更历史信息中提取可靠性高的参数，使用该提取出的参数，不使用可靠性低的参数。

<3.其它变形例>

此外，本发明不限定于上述的各实施方式例，包括各种变形例。例如，上述的实施方式例是为了容易理解地说明本发明而详细地说明的，未必限定于具备所说明的全部结构。另外，能够将某实施方式例的结构的一部分置换为其它实施方式例、变形例的结构，另外，还能够将某实施方式例的结构置换为其它实施方式例、变形例的结构。另外，针对实施方式例的结构的一部分能够进行其它结构的追加/删除/置换。

例如，参数变更部113在变更视差计算用参数时，也可以使用到此为止说明的全部必要条件来变更视差计算用参数。与此相对，参数变更部113也可以使用过去的测量对象的信息、参数的变更历史信息、处理资源信息、图像数据信息以及用户的设定信息的至少任一个以上来变更视差计算用参数。

另外，作为由参数变更部变更的视差计算用的参数，示出了块匹配的窗尺寸、最大搜索宽度、视差计算区域这3个。与此相对，也可以仅变更块匹配的窗尺寸、最大搜索宽度、视差计算区域的至少一个参数。或者，也可以与其它参数组合。

另外，在上述的各实施方式例中，由初始视差计算部112和最终视差计算部114的2个视差计算部进行视差计算处理工序。与此相对，也可以使图像处理装置110或110′仅具备一个视差计算部，通过该一个视差计算部的切换来进行初始视差计算处理工序和最终视差计算处理工序的双方。

另外，初始视差计算和最终视差计算这2个视差计算处理优选对相同的图像实施，但是也可以利用从某帧的图像通过初始视差计算处理来得到的结果对下次以后的帧的图像进行最终视差计算处理。

另外，关于上述的各结构、功能、处理部、处理单元等，也可以通过例如利用集成电路设计它们的一部分或全部等来以硬件方式实现。另外，关于上述的各结构、功能等，也可以通过由处理器解释并执行实现各个功能的程序来以软件方式实现。实现各功能的程序、表、文件等的信息能够置于存储器、硬盘、SSD(Solid State Drive)等记录装置、或IC卡、SD卡、DVD等记录介质。

另外，控制线、信息线表示认为在说明上必要的线，在产品上未必示出全部控制线、信息线。也可以认为实际上几乎全部的结构相互连接。

Claims (11)

1.一种图像处理装置，具备：

视差计算部，通过使用所设定的视差计算用参数的运算处理，来计算立体照相机所摄影的一个图像数据和另一个图像数据的视差；以及

参数变更部，基于所述视差计算部所计算出的视差信息，按1帧内的每个像素或像素区域变更所述视差计算用参数。

2.根据权利要求1所述的图像处理装置，其中，

所述参数变更部针对所输入的图像数据，在将第一视差计算用参数设定到所述视差计算部来计算视差之后，将计算与所述第一视差计算用参数相比更详细的视差的第二视差计算用参数设定到所述视差计算部来对相同的图像数据再次计算视差。

3.根据权利要求1所述的图像处理装置，其中，

所述参数变更部使用所计算出的视差信息来从图像数据提取包含测量对象的区域，基于各区域的视差信息变更所述视差计算部中的视差计算用参数。

4.根据权利要求1所述的图像处理装置，其中，

所述参数变更部使用过去的测量对象的信息、参数的变更历史信息、图像处理装置的处理资源信息、图像数据信息以及用户的设定信息中的至少一个以上，来变更视差计算用参数。

5.根据权利要求4所述的图像处理装置，其中，

过去的测量对象的信息包含根据测量对象的过去的位置信息估计出的测量对象的预测位置。

6.根据权利要求4所述的图像处理装置，其中，

所述参数变更部从参数的变更历史信息中提取可靠性高的参数来设定到所述视差计算部。

7.根据权利要求4所述的图像处理装置，其中，

所述参数变更部基于所述视差计算部的当前的处理资源信息，以使处理资源最优的方式分配参数值。

8.根据权利要求4所述的图像处理装置，其中，

所述参数变更部基于所述视差计算部的当前的处理资源信息，以不对计算视差的优先级低的区域实施视差计算的方式变更参数。

9.根据权利要求1所述的图像处理装置，其中，

由所述参数变更部变更的视差计算用的参数是块匹配的窗尺寸、最大搜索宽度以及视差计算区域中的至少一个以上。

10.一种立体照相机装置，具备：

分离规定的距离地配置的一个照相机和另一个照相机；

视差计算部，通过使用所设定的视差计算用参数的运算处理，来计算所述一个照相机所摄影的一个图像数据和所述另一个照相机所摄影的另一个图像数据的视差；以及

参数变更部，基于所述视差计算部所计算出的视差信息，按1帧内的每个像素或像素区域变更所述视差计算用参数。

11.一种图像处理方法，包括：

视差计算处理工序，通过使用所设定的视差计算用参数的运算处理，来计算立体照相机所摄影的一个图像数据和另一个图像数据的视差；以及

参数变更处理工序，基于通过所述视差计算处理工序计算出的视差信息，按1帧内的每个像素或像素区域变更所述视差计算用参数。