CN109313808A

CN109313808A - 图像处理系统

Info

Publication number: CN109313808A
Application number: CN201780035082.5A
Authority: CN
Inventors: 大坪宏安
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2016-08-18
Filing date: 2017-08-16
Publication date: 2019-02-05
Anticipated expiration: 2037-08-16
Also published as: JP6780983B2; US10867400B2; JP2018028805A; US20190318495A1; CN109313808B; WO2018034304A1

Abstract

提供一种图像处理系统，削减使用立体摄影的图像计算视差时的计算量。在图像处理中，生成将利用用于立体摄影的多个相机(2)分别摄影的图像数据缩小而减少图像数据的像素数的缩小图像数据。将利用相机(2)摄影的图像数据和缩小图像数据得到的缩小图像数据存储到存储器(7)。比较摄影时期相同的多个缩小图像数据来求出视差。设定摄影时期与缩小图像数据相同的多个图像数据之中的包括与在缩小图像数据上检测到视差的区域相同的位置的视差计算区域。在缩小前的图像数据的视差计算区域内计算视差。将该视差作为缩小前的图像数据的视差。

Description

图像处理系统

技术领域

本发明涉及处理通过立体摄影得到的图像的图像处理系统。

背景技术

一般，通过使用相机的摄影进行监视。监视例如不仅包括犯罪的预防、犯人的确定，而且还包括行驶的汽车的前方的监视等。即，监视用的相机是指，不仅包括所谓监视相机，而且还包括自动驾驶用的车载相机。另外，作为这样的监视目的的相机，有使用组合2台相机而成的立体相机的情况(例如参照专利文献1)。在立体相机中，例如计算左右的一对相机的图像数据上的所摄影的相同物体的图像上的位置的差即视差。如果计算视差，则能够求出基于视差的直至摄影对象为止的距离、摄影对象的尺寸、摄影对象的立体形状等。由此，能够根据监视对象的立体形状、直至监视对象为止的距离，顺利并且高精度地监视监视对象。另外，即便在面部识别时，由于知晓立体形状，所以能够提高认证精度，能够有效地利用于使用监视相机的通缉犯的搜索、各种认证。另外，还能够有效地利用于自动驾驶中的前方监视等。

现有技术文献

专利文献

专利文献1：日本特开2001-145090号公报

发明内容

但是，在作为摄影装置的数字相机中，图像传感器的像素数的增加(分辨率的提高)、运动图像摄影时帧频的提高等得到发展，即使在监视目的的相机中，为了实现监视对象的识别率的提高、测距中的精度的提高，也使用能够以高分辨率且高的帧频来摄影的相机。

在该情况下，由于视差计算的图像的像素数变多，从而视差计算中的计算量变多，由于帧频变高，从而在每1张(帧)图像的视差计算中使用的时间变短。因此，作为在视差计算中使用的图像处理电路，需要高速且昂贵的运算处理电路。即，在为了实现监视对象的识别率的提高、测距的精度的提高而使用高分辨率的立体相机时，不仅相机所花费的成本变高，而且用于进行视差计算等处理的运算处理电路等的电子部件的成本也变高。另外，为了抑制成本的上升，使用高分辨率相机，但在电子部件使用低速的部件的情况下，难以实现快的帧频下的处理。

本发明是鉴于上述情形而完成的，其目的在于提供一种图像处理系统，在使用立体摄影的图像进行视差计算时，能够为了加快视差计算而削减视差计算的计算量。

为了解决上述课题，本发明的图像处理系统的特征在于，具备：

图像缩小单元，生成将利用为了立体摄影而配置于不同的位置的多个相机在相同的摄影时期对相同的摄影范围进行摄影得到的多个图像数据进行缩小而得到的多个缩小图像数据；

第1视差计算单元，使用多个所述缩小图像数据来计算视差；

视差计算区域决定单元，根据由所述第1视差计算单元利用所述缩小图像数据计算出的所述视差，决定将所述缩小图像数据缩小之前的所述图像数据上的应计算所述视差的视差计算区域；以及

视差计算单元，计算缩小前的多个所述图像数据上的所述视差计算区域中的所述视差，将计算出的所述视差作为缩小前的所述图像数据的视差。

根据这样的结构，与根据像素数大的图像数据直接计算视差的情况相比，利用进行缩小而减少像素数的缩小图像数据来缩减缩小前的图像数据上的进行视差计算的视差计算区域，从而能够削减计算量。由此，在使用与根据未缩小的图像数据直接求出视差的情况相同的运算处理装置的情况下，能够缩短处理时间。因此，在处理运动图像的图像数据的情况下，能够提高可处理的运动图像的帧频。

即，在用像素数少的缩小图像数据来计算出视差的情况下，由于像素少，能够以少的计算量迅速地求出视差。但是，由于使用分辨率变差的缩小图像数据，所以求出的视差的精度变低。因此，在利用缩小图像求出视差之后，在未缩小的图像数据上利用缩小图像数据来求出包括有视差的像素的区域，将成为与该区域相同的位置的缩小前的图像数据上的区域作为视差计算区域。只在该视差计算区域中进行视差的计算。在该情况下，即使图像数据的像素数多，由于也只是在图像中的视差计算区域中计算视差，所以能够抑制计算量。由此，在视差计算区域内，使用高清晰的图像来进行视差的计算，所以能够在抑制计算量的状态下高精度地求出视差。

因此，在实时的监视中，即使不使用昂贵的运算处理装置，也能够使用高分辨率的立体图像在短时间内计算视差。

在本发明的上述结构中，优选为，

所述图像处理系统具有背景输出单元，该背景输出单元根据将在所述摄影时期以前由所述相机在预定期间摄影得到的所述图像数据进行缩小而得到的所述缩小图像数据，将在所述预定期间中不变化的部分的视差作为背景视差数据来输出，

所述视差计算区域决定单元比较由所述第1视差计算单元利用所述缩小图像数据计算出的所述视差和从所述背景输出单元输出的所述背景视差数据的视差，将不一致的部分作为所述视差计算区域。

根据这样的结构，比较背景视差数据和将应求出视差的图像数据进行缩小而得到的缩小图像数据的视差，将视差不一致的区域应用于图像数据而作为视差检测区域，其中，所述背景视差数据是将对在缩小前的图像数据被摄影的时期之前的相同的摄影范围进行摄影得到的预定期间中的图像数据进行缩小而得到的缩小图像数据上的在预定期间未变化的视差的数据。由此，在根据缩小图像计算视差时，能够将与成为背景的视差不同的视差的部分分配给计算视差的图像数据而作为视差计算区域。在该情况下，只去除成为与成为背景的视差相同的视差的部分来决定视差计算区域，所以能够更高精度地判定与背景图像不存在视差的差的区域，并且能够去掉未活动的部分，最终提高利用图像数据计算的视差的精度。

此外，在图像处理系统中，例如在根据立体方式的监视相机的运动图像而如上所述计算视差的情况下，会针对运动图像连续地计算视差，由于利用将当前时间点的图像数据之前的图像数据进行缩小得到的缩小图像数据来已经求出视差，所以能够使用该已经求出的视差的数据来得到背景视差数据。因此，能够抑制为了求出背景视差数据而导致计算量增加。

另外，在本发明的上述结构中，优选为，

所述图像缩小单元生成像素数针对每个所述图像数据而阶段性地不同的多个所述缩小图像数据，

所述第1视差计算单元使用所述缩小图像数据之中的所述像素数最少的多个最少缩小图像数据，计算视差，

所述视差计算区域决定单元根据利用所述像素数少一阶的所述缩小图像数据求出的所述视差，决定所述像素数比该缩小图像数据多一阶的所述缩小图像数据上或者缩小前的所述图像数据上的所述视差计算区域，

所述视差计算单元计算所述视差计算区域被决定的所述缩小图像数据或者缩小前的所述图像数据的所述视差计算区域的视差。

根据这样的结构，针对像素数阶段性地更大的图像，根据在像素数少的缩小图像上求出的视差，决定视差计算区域。在该情况下，例如即使在像素数少的图像数据上求出视差，虽然也无法得知细节部分的视差的状态，但通过在像素数更多的图像数据中检测视差检测区域的视差，从而得知细节部分的视差，例如在利用细节部分的视差来判定人的面部那样的情况下，能够使更详细的部分的形状、例如鼻孔、眼角的皱纹等的形状变得明确。

另外，在本发明的上述结构中，优选为包括输出摄影得到的所述图像数据的所述相机。

根据这样的结构，能够将图像处理系统处理为具备立体相机的监视用的摄像装置，相比于立体相机和图像处理系统独立的情况更易于处理。

根据本发明，能够减少根据立体图像求出视差时的计算量而实现成本降低、图像处理的时间缩短。

附图说明

图1是示出本发明的实施方式所涉及的图像处理系统的结构的框图。

图2是用于说明立体图像的缩小的图，(a)是示出左图像的图，(b)是示出右图像的图。

图3是用于说明立体图像的层次化视差计算方法的图，(a)是示出左图像的图，(b)是示出右图像的图。

图4是用于说明视差检测方法的图。

(符号说明)

1：图像处理系统；4：图像缩小部(图像缩小单元)；5：视差计算部(第1视差计算单元、视差计算单元、视差计算区域决定单元、背景输出单元)。

具体实施方式

以下，说明本发明的实施方式。

图1所示的本实施方式的图像处理系统1例如是具备能够进行立体摄影的摄影装置(相机2)的监视相机系统，能够进行视差检测。本实施方式的图像处理系统1具备左右一对相机2，通过左右分离的2台相机2分别对相同的监视范围进行摄影，如图2所示得到左图像数据11和右图像数据21。此外，图像处理系统1既可以包括相机2，也可以不包括相机2。不论在哪种情况下，都由图像处理系统1处理所摄影的立体图像。

2台相机2左右分离所设定的距离而被固定，对相同的监视范围进行摄影。另外，在本实施方式中，相机2并非是车载相机，而是固定于地上侧的建筑物(构造物)等，被用作所谓监视相机。相机2以所设定的帧频将图像摄影为运动图像。

图像处理系统1具备：图像输入部3，从2台相机2，被输入图2所示的左右的图像数据11、21作为立体图像；图像缩小部(图像缩小单元)4，缩小所输入的左右的图像数据21、22；存储器7，存储输入到图像输入部3的图像数据和由图像缩小部4缩小后的缩小图像数据；存储器控制部6，控制存储器7来控制图像数据等数据向存储器7的输入和从存储器7的输出；视差计算部(第1视差计算单元、视差计算单元)5，经由存储器控制部6读出存储于存储器7的图像数据，根据同时摄影的左右的图像数据11、21及缩小图像数据12、13、22、23计算视差；以及控制部8，控制这些图像输入部3、图像缩小部4、视差计算部5、存储器控制部6。此外，图像缩小部4、视差计算部5既可以是可编程的通用的电路，也可以是专用的电路。

从相机2输入的左右的图像数据11、21被输入到图像输入部3。图像输入部3是与相机2的接口，被输入所摄影的左右的图像数据11、22。所输入的图像数据11、21依次通过存储器控制部6而被存储到被该存储器控制部6控制数据的输入输出的存储器7。另外，从图像输入部3输入的左右的图像数据11、21被输出到图像缩小部4，在图像缩小部4中被缩小。

在图像缩小部4中，阶段性(层次性)地缩小左右的图像数据11、21。即，生成由于缩小率不同而全体的像素数不同的左右的缩小图像数据12、13、22、23，并经由存储器控制部6存储到存储器7。在缩小图像数据12、13、22、23和图像数据11、21中，作为左图像，像素数按照图像数据11、缩小图像数据12、缩小图像数据13的顺序而变小，作为右图像，像素数按照图像数据21、缩小图像数据22、缩小图像数据23的顺序而变小。

视差计算部5读出左右的图像数据11、21以及将这些图像数据11、21缩小为多个阶段的像素数而得到的缩小图像数据12、13、22、23而进行层次化视差计算，最终求出基于缩小前的图像数据11、21的视差。在图像处理系统1中，根据求出的视差，求出直至对象物为止的距离、包括对象物的尺寸的形状等。此外，也可以根据包括对象物的尺寸的形状来识别面部，并且进行所识别的面部的认证、基于面部的人物确定。

在图像缩小部4中，所摄影的图像数据被缩小。在此，按照多个阶段的分辨率进行缩小，例如制作像素数不同的2个阶段的分辨率的左右的缩小图像数据12、13、22、23。作为缩小方法，例如使用抽取滤波器(低通滤波器)。在此，如图2所示，缩小率低的左右的缩小图像数据12、22、以及相比于它们而缩小率高且像素数少的缩小图像数据13、23是分别通过利用抽取滤波器(decimation filter)对图像数据11、21进行处理而得到的。此外，优选为针对利用相机2的运动图像摄影的各帧的图像数据11、21实时地进行缩小处理。

在本实施方式中，使用按照多个阶段的缩小率而被缩小的缩小图像数据12、13、22、23之中的、由于缩小率最高且像素数最少而在缩小率的层次中成为最下层的左右的最少缩小图像数据13、23，如图4所示求出视差。在视差的计算中，例如对左缩小图像数据13进行块化。即，如图4所示，将左缩小图像数据13分割为由多个像素构成的块。接下来，在右缩小图像数据23上扫描左缩小图像数据13的各块。此外，左缩小图像数据13以及右缩小图像数据23是将在相同的时期用左右的相机2对相同的摄影范围进行摄影得到的左图像数据11和右图像数据21分别缩小而得到的数据，是在相同的时期(时刻)所摄影的左右的图像。

另外，在右缩小图像数据23上扫描左缩小图像数据13的各块是指，在右缩小图像数据23中检测成为与左缩小图像数据13的各块大致相同的图像的块。在图4中，成为监视对象的是人物14。另外，在图4中，在左缩小图像数据13中，是人物14相对背景图像15而移动的状态。

此时，在右缩小图像数据23中，是与左缩小图像数据13的人物14对应的人物24被拍摄的状态，相对背景图像15而拍摄了背景图像25。在此，背景图像15、25是在所设定的时间以上未变化(移动)的部分。例如，建筑物等构造物、树木的树干、悬崖的侧面等不会变化的部分成为背景图像。在该背景图像中，左右的立体图像两方都不会变化，所以在有视差的情况下视差不会变化。例如，在不存在由于风等而活动的物体的状态的背景图像上拍摄了人、汽车等移动的被摄体的情况下，在视差不会变化的背景图像的一部分中视差发生变化，从而能够检测移动体，能够从视差的变化和图像，容易地自动检测闯入者等。即，通过取视差在一定时间未变化的背景图像的各像素的视差与当前的图像的各像素的视差的差分，能够自动地进行闯入者等移动体的检测。能够针对该闯入者所在的附近，进行层次的视差检测，提高精度。

在图4中，在左缩小图像数据13和右缩小图像数据23中，人物14和人物24成为在相同的被摄体中有视差的部分。在此，作为被分割为许多块的左缩小图像数据13之中的1个块，用右缩小图像数据23扫描成为人物14的头部左上的块31。在此，扫描是指将与立体图像的一方的图像的块的图像相同的图像在另一方的图像中进行搜索，在立体图像中，由于从相机2起的距离，左图像的被摄体和右图像的被摄体偏移而产生视差，所以通过在另一方的图像中搜索并确定一方的图像的被摄体，并比较这些被摄体的位置从而求出视差。

如图4所示，在右缩小图像数据23中搜索与左缩小图像数据13的块31的图像相同的图像，在发现与块31的图像大致相同的图像32的情况下，在右缩小图像数据23上，与块31对应的位置(x0，y0)和图像32的位置(x1min，y1min)的差成为视差P，用左右的相机2所摄影的立体图像的视差成为沿着左右方向(图4的Z方向)的块31和图像32的距离。

此外，无需在右缩小图像数据23的所有区域中检索左缩小图像数据13的各块，而仅检索可能引起视差的区域。在缩小率最高的最下层的缩小图像数据13、23中，也可以对全体进行扫描，但由于如上所述在左右方向上产生视差，所以例如无需扫描相对左缩小图像数据13的块的位置而在右缩小图像数据的上下方向上位置大幅偏移的部分。

在扫描中，对成为与左缩小图像数据13的各块相同的图像的区域进行搜索的方法是以下那样的方法。即，在扫描中，例如将8×8、4×4的块的对应的各像素的差分的平方值之和、或者差分的绝对值之和作为评价值。

各像素的差分的平方值之和用以下的式表示。

Δ＝Σ(Yleft(x0+i，y0+j)-Yright(x1+i，y1+j))²

各像素的差分的绝对值之和用以下的式表示。

Δ＝ΣABS(Yleft(x0+i，y0+j)-Yright(x1+i，y1+j))

此外，(x0，y0)、(x1，y1)是上述块的左上的像素的地址，地址是像素的XY方向的配置位置。另外，(x0，y0)是左图像的像素的地址，(x1，y1)是右图像的像素的地址。另外，地址的各像素的值例如是亮度。

该评价值Δ变得最小的右图像的位置和与左图像的块对应的位置之差、即(x0，y0)-(x1min，y1min)成为视差。即，例如如图4所示，在右缩小图像数据23的XY坐标上扫描的左缩小图像数据13上的块31的坐标位置、与将相同的坐标位置设为(x0，y0)且在右压缩图像数据23上所述Δ成为最小的部分的坐标位置即人物24的头部左上部分的图像32的坐标位置(x1min，y1min)之间的距离成为视差。

接下来，如图3所示，在缩小图像数据13、23中确定了相对背景图像15、25而有视差的区域之后，利用相比于缩小图像数据13、23而缩小率低且像素数大的左右的缩小图像数据12、22，再次计算视差。在该情况下，在左缩小图像数据22中扫描的块是在左缩小图像数据12上设定的视差计算区域16的块。以在左缩小图像数据12中成为与在缩小率比其高的上述左缩小图像数据13中包括有视差的部分的区域相同的坐标位置的方式，在左缩小图像数据12上设定有视差计算区域16。另外，在右缩小图像数据22中，左缩小图像数据12的块被扫描的区域是右缩小图像数据22的视差计算区域26。以在右缩小图像数据22中成为与在缩小率比其高的上述右缩小图像数据23中包括有视差的部分的区域相同的坐标位置的方式，在右缩小图像数据22上设定有视差计算区域26。此外，视差计算区域16、26的详细后述。

在本实施方式中，如上所述缩小图像数据12、13、22、23为2个阶段的缩小率，如果还包括缩小前的图像数据11、21则为3个阶段的层次，从Ga总数少的一方起成为第1个层次、第2个层次、第3个层次。

在层次化视差计算中，最后用未缩小的图像数据11、21计算视差。在该情况下，与用上述缩小率低的一方的缩小图像数据12、22求出视差的方法同样地，在左图像数据11中设定视差计算区域16，在右图像数据中设定视差计算区域26。在该情况下，根据在成为第2个层次的缩小图像数据12、22中得到的视差，在成为第3个层次的图像数据11、21上设定视差计算区域16、26。另外，与第2个层次的缩小图像数据12、22中的视差的计算同样地，通过在视差计算区域26内扫描包含于视差计算区域16的块来进行图像数据11、21中的视差的计算。

由此，最终根据未缩小的像素数多的图像数据11、21，连监视对象的细节的视差都能够明确地求出。例如，在根据视差来求出面部的形状等的情况下，连细节部分都能够明确地求出形状。此时，在根据像素数多的图像数据11、21针对整个画面直接进行上述视差的计算的情况下，成为庞大的计算量。在该情况下，如果图像处理装置的处理速度慢，则例如在从运动图像实时地求出视差那样的情况下，可对应的帧频变低。相对于此，使用如上所述按照多个阶段的缩小率进行缩小而削减分辨率即像素数而得到的缩小图像数据，进行层次化视差计算，从而削减高分辨率的图像数据中的视差计算的计算量，即使不使用昂贵且大型的高速的图像处理装置，也能够高速地进行视差计算。

接下来，说明更具体的层次化视差计算方法。在第1层次化视差计算方法中，如上所述以多个阶段的缩小率来缩小图像数据11、21。另外，在第1层次化视差计算方法中，作为视差计算之前的阶段，在缩小率最高的最下层的缩小图像数据(最少缩小图像数据)13、23中，取得成为进行本次视差计算的监视对象的背景的缩小图像数据的视差并存储。该情况下的背景是指例如除去位移的部分后的缩小图像数据，即使有视差，在预定期间视差未变化的情况下也会成为背景，在预定期间内视差变化的情况下不包含于背景。在该情况下，在连续地长时间地进行求出视差的图像处理的情况下，依次用左右的缩小图像数据13、23进行视差计算，计算视差。

因此，在当前时间点之前的预定期间的视差的数据中，将视差未变化的部分作为背景来更新存储。因此，在本实施方式的图像处理系统1被用作监视相机系统，且始终存储有所摄影的图像数据的情况下，在缩小图像数据13、23全体中求出视差的情况下，每当求出视差时，求出视差的差分，将在预定期间(预定图像张数)中视差的差分大致为0的部分的视差作为背景的视差。这样的成为缩小图像数据13、23的背景的视差的数据始终被更新存储。此外，无需始终更新存储成为背景的视差的数据，而例如也可以每隔预定期间进行更新存储，将在预定期间的期间视差未变化的部分的视差存储为背景的视差。此外，例如在针对每个上述块或每个像素分配有视差的状态下存储成为背景的视差。另外，在成为背景的视差的数据中，即使视差大但仍未位移的部分成为背景，位移的部分即使视差小但仍从背景被除去。

接下来，针对最下层的左右的缩小图像数据13、23的全体，如上所述进行通常的视差计算。由此，取所检测的最下层的视差与登记为背景的最下层的视差的差分，决定有变化的区域。针对该区域，进行下一层次(缩小率低一个阶段的第2个层次)的视差计算。与最下层的缩小图像数据13、23上的上述区域的坐标位置对应的第2个层次的缩小图像数据12、22上的范围成为上述视差计算区域16、26。

还能够针对第2个层次，在第2个层次的像素精度下新设定检测点(像素)，即通过插值等来增加像素。如上所述，针对最下层的缩小图像数据13、23，求出成为背景的部分的视差，所以求出在成为背景的各像素的视差与本次求出的视差中存在差的区域，将该区域分配给第2个层次的缩小图像数据12、22，在第2个层次的缩小图像数据12、22中分配的视差计算区域中进行视差的检测。

在第2层次的缩小图像数据12、22中，决定有视差的像素(块)。决定包括有该视差的部分的区域。在此，使在有视差的像素的X方向以及Y方向上成为+2像素和-2像素的部分包含于区域。在基于像素数的XY图像中，关于有视差的点，X为5且Y为5的情况下，例如成为X是3～7、Y是3～7的区域。

另外，在有视差的点集中而成为区域的情况下，针对该区域，决定在X方向以及Y方向上成为+2像素和-2像素的区域。

将该区域分配给缩小率低的第1个层次、在此为最上层的层次的未缩小的图像数据11、21。此时，在图像数据11、21中，也可以通过插值(内插)使像素数增加，例如也可以使像素间隔成为0.5倍或0.25倍。即，也可以使X方向以及Y方向的像素数成为2倍或4倍。通过利用最上层的图像数据11、21或对其进行插值而得到的高分辨率的图像数据来再次计算视差，从而视差的数据被改善，如上所述根据视差，对于监视对象的形状，连细节都能够再现。

此外，上述区域优选为在第2个层次的缩小图像数据12、22中在有视差的像素的最低也在X方向以及U方向上+2像素和-2像素的区域。在此，如果使区域并非为+-2像素而是进一步扩大而扩大为+-4像素或+-8像素，并将该区域分配给最上层的图像数据11、21来计算视差，则成为在第2个层次的图像数据12、22中的扩大了视差的范围内进行了校正的状态。

在上述第2个层次的缩小图像数据12、22中，使用最下层的图像数据13、23的视差和背景的视差，部分地求出视差，相对在图像数据12、22全体中进行视差计算而求出的视差，成为伪视差。在该情况下，在最下层的图像数据中在相对背景图像而有视差的差的部分中有可能包含误差，但由于在区域内用第2个层次的缩小图像数据12、22来计算视差，所以不会包含未进行上述视差计算而引起的误差，会在通过扩大进行视差计算的区域而扩大的范围内校正误差。在该第1层次化视差计算方法中，在第2个层次中，针对有视差的变化的部分，最终进行缩小前的分辨率或者插值后的分辨率的视差计算，所以具有视差的精度高这样的特征。由此，如上所述根据视差，连细节的形状都能够再现。

接下来，说明第2层次化视差计算方法。在第2层次化视差计算方法中，针对最下层的图像数据13、23，不求出上述背景的视差。在第1个最下层的缩小图像数据13、23中，如上所述在左右的缩小图像数据13、23全体中进行视差计算，求出视差。通过该视差计算，在最下层的缩小图像数据13、23中决定包括有视差的部分的区域。在此，针对有视差的像素，决定在X方向以及Y方向上成为+2像素以及-2像素的范围的区域，将该区域分配给第2个层次的缩小图像数据12、22。

在该第2个层次的缩小图像数据上，将上述区域分配为视差计算区域16、26。此外，第1个最下层的缩小图像数据13、23中的区域也可以并非如上所述扩大+-2像素量，而是扩大+-4像素量或+-8像素量。在该情况下，能够在扩大区域的部分的范围内，利用第2层次的分辨率来校正最下层的图像数据13、23、即由于在分辨率低的状态下求出视差而产生的误差。由此，在第2层次的缩小图像数据12、22中，决定包括有视差的像素的区域。在该情况下，也设为针对有视差的像素而扩大+-2像素、+-4像素或者+-8像素的区域。

接下来，对成为第3个层次的最上层的层次的图像数据11、21或者通过上述插值使像素增加的图像数据、即将像素间的距离设为0.5倍或0.25倍的图像数据，分配上述区域作为视差计算区域16、26。进行最上层的图像数据11、21或者对其进行插值而提高了分辨率的图像数据的上述视差计算区域16、26中的视差计算。视差的计算方法与第2个层次的缩小图像数据12、22的情况相同。

在第2层次化视差计算方法中，是最初说明的基本的层次化视差检测方法，不会求出背景的视差等，所以能够进一步削减视差计算的计算量。但是，并非是根据背景的视差来设定接下来的层次的缩小图像数据12、22中的视差计算区域16、26，而是仅通过低分辨率的缩小图像数据13、23中的一次的视差计算来决定包括有视差的部分的区域，所以相比于第1层次化视差计算方法，有可能易于产生误差。

接下来，说明第3层次化视差计算方法。第3层次化视差计算方法是如下方法：基本上在第1层次化视差计算方法中的视差计算中，不使用第2个层次的缩小图像数据12、22，而在2阶段的层次中计算视差。

最下层的缩小图像数据13、23中的图像处理与第1层次化视差计算方法是同样的，求出背景的视差，并且在左右的图像数据13、23全体中求出视差。

然后，比较视差和背景的视差，求出相对背景的视差而变化的视差，决定求出的视差的区域。此时，决定由在视差中有变化的所有像素构成的最大范围的区域。

接下来，对最上层的第3个层次的图像数据11、21或者图像数据11、21进行插值而设为高分辨率，但针对图像数据分配如上所述根据最下层的缩小图像数据13、23求出的区域作为视差计算区域16、26，在左右的图像数据11、21中，在上述视差计算区域16、26中进行视差计算。

在该情况下，通过将根据上述最下层的缩小图像数据13、23求出的区域分配给像素数最多的最上层的图像数据11、21，从而相比于第1层次化视差计算方法，对最上层的图像数据11、21分配的视差计算区域16、26的面积变大。即，将视差与背景的视差不同的部分全部分配给视差计算用的视差计算区域16、26，所以视差计算区域16、26的面积变宽广。即，在第1层次化视差计算方法中，将在背景的视差和当前的视差下不同的部分分配给第2个层次的缩小图像数据12、22而进行视差计算，缩减到比有视差的部分稍微宽广的区域之后，利用像素数多的最上层的图像数据11、21进行视差计算，从而相比于第3层次化视差计算方法，计算量变少。因此，第3视差计算方法虽然计算量最多，但与第1视差计算方法不同，根据在第一阶段的处理中计算出的视差与成为背景的视差的差来决定进行视差计算的视差计算区域16、26，将该视差计算区域16、26分配给最上层的高分辨率的图像数据11、21，在该视差计算区域16、26中进行视差计算，所以不存在由于上述第1层次化视差计算方法中的第2个层次的缩小图像数据12、22中的伪视差而产生的误差，能够提高视差的精度。

不论使用第1至第3层次化视差计算方法中的哪一个，都能够减少最上层的图像数据11、21中的视差计算的计算量，缩短计算所花费的时间。在图像处理的处理速度被确定的情况下，通过使用层次化视差计算方法来进行视差计算，能够提高可利用的运动图像的帧频。另外，即使使处理速度变快也能够计算精度高的视差，在根据视差来求出立体形状等的情况下，连细节部分都能够明确地决定形状。

Claims

1.一种图像处理系统，其特征在于，具备：

第1视差计算单元，使用多个所述缩小图像数据来计算视差；

视差计算单元，计算缩小前的多个所述图像数据上的所述视差计算区域中的所述视差，将计算出的所述视差作为缩小前的所述图像数据的所述视差。

2.根据权利要求1所述的图像处理系统，其特征在于，

所述图像处理系统具有背景输出单元，该背景输出单元根据将在所述摄影时期以前由所述相机在预定期间摄影得到的所述图像数据进行缩小而得到的所述缩小图像数据，将在所述预定期间中不变化的部分的所述视差作为背景视差数据来输出，

所述视差计算区域决定单元比较由所述第1视差计算单元利用所述缩小图像数据计算出的所述视差和从所述背景输出单元输出的所述背景视差数据的所述视差，将不一致的部分作为所述视差计算区域。

3.根据权利要求1或者2所述的图像处理系统，其特征在于，

所述第1视差计算单元使用所述缩小图像数据之中的所述像素数最少的多个最少缩小图像数据，计算所述视差，

所述视差计算单元计算所述视差计算区域被决定的所述缩小图像数据或者缩小前的所述图像数据的所述视差计算区域的所述视差。

4.根据权利要求1至3中的任意一项所述的图像处理系统，其特征在于，

所述图像处理系统包括输出摄影得到的所述图像数据的所述相机。