CN112424565A - 车载环境识别装置 - Google Patents

Abstract

本发明提供一种即便在多个摄像机拍摄到的图像中映有表观存在较大差异的同一物体的情况下也能容易地实现摄像机的几何校正的车载环境识别装置。本发明的车载环境识别装置具备：第1摄像机(100)及第2摄像机(110)；以及控制装置(10)，其进行通过将第1摄像机拍摄到的第1图像和第2摄像机拍摄到的第2图像中的至少一方加以变形而将第1图像及所述第2图像变换为来自共通的视点的图像的视点变换，之后提取多个对应点，利用视点变换前的第1图像及第2图像中的多个对应点的坐标来进行第1摄像机及第2摄像机的几何校正。

Description

车载环境识别装置

技术领域

本发明涉及一种通过车辆上设置的摄像机来识别车辆的周围环境的车载环境识别装置。

背景技术

有通过车辆上设置的2个摄像机来识别车辆的周围环境的车载摄像机相关的技术。预防安全技术的产品化正在进入普及期，需要廉价的、进一步多功能化且视野广的感测。

有推断车辆上设置的2个摄像机之间的位置、姿态而以2个摄像机的图像变为平行的位置关系的方式进行几何校正(校准)的方法。此时，通常的方法是利用从2个摄像机的图像上获得的对应点来作为用于求出2个摄像机的位置、姿态的几何关系的信息。获取该对应点的方法是从左右图像上提取称为特征点的图像上的角(角部)等独特的点，根据该特征点周围的亮度变化来运算特征量，将在左右图像上探索该特征量类似的特征点而发现的特征点作为对应点，根据左右图像中的对应点的坐标来实施几何校正。

例如，日本专利特开2014-74632号公报(专利文献1)揭示了一种车载立体摄像机的校正装置，其具备：三维坐标推断部，其根据以相互的视野重叠的方式配置的左右摄像机的输出来算出到物体的距离并推断物体的三维位置；摄像机间参数存储部，其存储三维坐标推断部中的推断处理中使用的摄像机间参数；对象物识别及特征点采集部，其根据左右摄像机的输出来识别预先知晓大小的平面状的对象物并获取对象物的特征点坐标；以及摄像机间参数推断部，其根据特征点坐标来求摄像机间参数。

现有技术文献

专利文献

专利文献1：日本专利特开2014-74632号公报

发明内容

发明要解决的问题

然而，在2个摄像机间映照的风景或物体离摄像机的距离较近的情况或者2个摄像机的距离较远的情况下，会从较大差异的视点观测相同物体，导致2个图像上的同一物体的表观(映现出来的样子)有时存在较大差异。如此，当同一物体的表观存在较大差异时，即便提取到希望从2个图像取得对应的特征点，根据这些点周围的亮度变化运算出的特征量在2个摄像机之间不一样的可能性也较高。即，计算出2个特征点的特征量为不同值，因此产生找不到对应点、找到错误的对应点(误对应点)、或者即便找到对应点其个数也极少等问题。若对应点较少或者误对应点较多，则相应地会导致摄像机的几何校正的精度降低。此外，还会出现无法通过收敛运算推断出2个摄像机间的位置、姿态这样的情况。

本发明的目的在于提供一种即便在多个摄像机拍摄到的图像中映有表观存在较大差异的同一物体的情况下也能容易地实现摄像机的几何校正的车载环境识别装置。

解决问题的技术手段

本申请包含多种解决上述问题的手段，举其一例，其特征在于，具备：第1摄像机及第2摄像机；以及控制装置，其进行通过将所述第1摄像机拍摄到的第1图像和所述第2摄像机拍摄到的第2图像中的至少一方加以变形而将所述第1图像及所述第2图像变换为来自共通的视点的图像的视点变换，之后提取多个对应点，利用所述视点变换前的所述第1图像及所述第2图像中的所述多个对应点的坐标来进行所述第1摄像机及所述第2摄像机的几何校正。

发明的效果

根据本发明，通过在车辆上设置的多台摄像机的共通视野区域内实施视点变换而在图像上提取稠密的对应点，根据该对应点来进行几何校正，由此来高精度地推断摄像机间的位置、姿态而实现2个摄像机的高精度的平行化。通过在已实施高精度的平行化的状态下进行立体匹配，能够实现高密度的视差图像的生成、进而根据该视差来实现高精度的距离复原。

附图说明

图1为第1实施方式的车载环境识别装置的构成图。

图2为视点变换部的功能框图。

图3为变换参数生成部的功能框图。

图4为对应点探索部的功能框图。

图5为摄像机几何校正部的功能框图。

图6为视差图像生成部的功能框图(第1实施方式)。

图7为视差图像生成部的功能框图(第2实施方式)。

图8为利用对应点来进行摄像机几何校正的过程的说明。

图9为对应点获取的课题的说明。

图10为视点变换下的解决方法的说明。

图11为上下区域分割的视点变换的一例。

图12为剪切(近似变形)下的视点变换的一例。

图13为6区域分割的视点变换的一例。

图14为逆变换相关的说明图。

图15为第1实施方式的控制装置的处理流程图。

图16为自由区域分割的视点变换的一例。

图17为针对左右摄像机的视点变换的一例。

图18为第2实施方式的控制装置进行的视差图像生成处理的流程图。

具体实施方式

下面，使用附图，对本发明的实施方式进行说明。

·第1实施方式

＜图1车载环境识别装置＞

图1展示本实施方式的车载环境识别装置1的构成图。车载环境识别装置1具备：左摄像机(第1摄像机)100和右摄像机(第2摄像机)110，它们空出间隔地配置在水平方向左右；以及控制装置(电脑)10，其执行如下处理等，即，根据从2台摄像机100、110输出的摄像图像(有时将左摄像机100的图像称为第1图像、将右摄像机110的图像称为第2图像)来进行2台摄像机100、110的几何校正(校准)，还有对2台摄像机100、110于同一时刻拍摄到的2张图像进行立体匹配来制作视差图像。

控制装置(计算机)10具备未图示的运算处理装置(例如CPU)、存储该运算处理装置执行的程序等的存储装置(例如存储器、硬盘、闪存)、以及用于进行内部设备彼此或者与外部设备的通信的通信装置等。控制装置10通过执行存储装置中存储的程序而作为视点变换部200、对应点探索部300、摄像机几何校正部400以及视差图像生成部500来发挥功能。再者，还可以通过程序的追加来部署其他功能。

通常，由左右2台摄像机构成的立体摄像机利用共通视野区域来识别车载周围环境。将左右摄像机高精度地安装到支承体的规定位置，之后在摄像机工厂内一边利用左右摄像机拍摄校准图一边推断左右摄像机的位置、姿态，并利用其结果而以从左右摄像机拍摄的图像相互变得平行的方式对参数进行修正。若在该状态下进行立体匹配，则能实现高密度的视差和视差图像的获取，进而可以利用该视差图像来测量高精度的距离。但是，高精度的摄像机制造和抑制温度变化、冲击、振动以及经年变化等造成的摄像机的变形的零件或结构价格高昂。

为了抑制这种成本，本申请发明者等人发明了本实施方式的车载环境识别装置1来作为能在事后容易地修正摄像机的位置偏移和温度/经年变化等造成的摄像机的变形、能实现行驶中的高精度的校准的装置。

首先，在本实施方式中，与公知技术一样，从左摄像机100、右摄像机110的图像上提取特征点(例如图像上的物体的角(角部)等独特的点)，根据该特征点周围的亮度变化来计算特征量，探索左右图像上拥有类似特征量的特征点，将左右图像上特征量类似的1组特征点设定为1组对应点。图8的图像是利用直线将探索到的左右图像上的多个对应点彼此相连而显示的图像，根据这多个对应点来实施左摄像机100、右摄像机110的几何校正。

图1中，对应点探索部300从左摄像机100、右摄像机110的图像上提取像前面说明过的特征点，根据该特征点周围的亮度变化来计算特征量，探索左右图像上拥有类似特征量的特征点(对应点)。

摄像机几何校正部400根据对应点探索部300得到的多个对应点来运算使左右图像平行的几何校正参数。对左摄像机100、右摄像机110的图像进行了几何校正后的图像为左右平行的位置关系，而且是完全没有镜头畸变的图像。

由此，可以准备好易于以几何方式进行匹配的左右图像。

视差图像生成部500对在同一时刻拍摄并利用摄像机几何校正部400的几何校正参数加以修正后的2张图像(平行化图像)实施立体匹配，通过公知方法计算表示2张图像上拍摄到相同物体(相同图案)的位置的偏移的距离信息(视差信息)来生成视差图像(距离图像)。在视差图像生成部500中，利用从左摄像机100和右摄像机110拍摄到的左右图像。在本实施方式中，为了以右摄像机110的右图像(第2图像)为基准来实施立体匹配，基本上是使灵敏度、几何等契合右基准。视差图像生成部500输入顺应了几何和灵敏度的修正的左右摄像机的图像来实施立体匹配而生成视差图像，最后实施去噪，由此获得去除了噪声的视差图像。

在本实施方式中，视点变换部200中进行的处理是最具特征的部分。视点变换部200通过将左摄像机100拍摄到的左图像(第1图像)和右摄像机110拍摄到的右图像(第2图像)中的至少一方加以变形而进行将左右图像(第1图像及所述第2图像)变换为来自共通的视点的图像的视点变换。由此，在对应点探索部300中容易从左右图像找到对应点。图像的变形方法(视点变换的方法)的详情于后文叙述，例如，将左摄像机100拍摄到的图像(左图像、第1图像)以向来自右摄像机110的视点的表观接近的方式加以变形(例如通过包括图像的放大缩小、旋转、平行移动、剪切在内的仿射变换对图像进行变形)，由此，可以在对应点探索部300中在图像上的整个或一部分区域内获得数量比视点变换前多的稠密的对应点的探索结果。通过利用该稠密的对应点，得以在后面进行的摄像机几何校正部400的处理中实现高精度的几何校正。通过利用借助几何校正准确地加以平行化之后的左右成对图像，能够实现视差图像生成部500中的高密度且高精度的视差图像的生成。

在2个摄像机之间的距离相对较大的长基线长的立体摄像机的情况或者拍摄到近距离对象物的情况下，会从完全不同的角度拍摄相同物体，左右图像中拍摄到的该物体的表观存在较大差异，因此，探索左右图像上类似的特征量的一般的对应点提取方法难以获取到对应点。例如，在图9上侧所示的左右图像中，远距离上左右图像上的变形相对较少，因此容易获取到对应点，而在从放置于路面上的物体91起的近距离上变形相对较大，难以稠密地获得对应点。作为对应点探索方法，如图10的(2)、(3)所示，在以左图像上的路面上的4个点的表观(图像上的位置)与右图像一致或类似的方式进行视点变换之后探索对应点。如此一来，虽然变形前的图9下侧的图像中从路面几乎未探索到对应点，但如图10的最下层所示，可以确认变形后从路面稠密地获得了对应点。

如此，通过活用图像的变形，例如视点变换下的变形等来获得稠密的对应点，得以高精度地实施几何校正而进行平行化，之后进行立体匹配，由此实现高密度、高精度的视差图像的生成和测距。

＜图2视点变换部200＞

接着，对可以通过视点变换部200来实施的视点变换(图像变形)的例子进行说明。如图2所示，视点变换部200具备：区域设定部210，其对左右图像中的至少一方设定要进行视点变换的区域和不进行视点变换的区域；变换参数生成部220，其生成通过将区域设定部210中设定的要进行视点变换的区域加以变形而将左右图像变换为来自共通的视点的图像所需的矩阵或函数的参数；视点变换图像生成部240，其通过利用具有变换参数生成部220生成的参数(变换参数)的矩阵或函数来生成左右图像中的至少一方作视点变换得到的图像(视点变换图像)；以及逆变换参数计算部230，其生成将视点变换后的图像还原的逆变换所需的逆矩阵或函数的参数(逆变换参数)。

视点变换图像生成部240生成的视点变换图像在对应点探索部300中的对应点探索中加以利用。此外，逆变换参数计算部230计算出的逆变换参数在摄像机几何校正部400的对应点逆变换修正部410中加以利用。

再者，在区域设定部210中，也可将摄像机图像内的所有区域设定为要进行视点变换的区域或者不进行视点变换的区域。作为左摄像机100、右摄像机110的视点变换目标即共通的视点，有左摄像机100、右摄像机110中的任一方的视点和与左摄像机100、右摄像机110都不一样的任意视点。在后一种情况下，例如可以将位于左摄像机100与右摄像机110之间的规定视点(例如左摄像机100、右摄像机110的中点)设定为共通的视点来进行视点变换。

(1)简易的视点变换

作为视点变换之一，有如下视点变换，即，控制装置10的视点变换部200假定左右图像(第1图像及所述第2图像)中重复拍摄到的部分(重复区域)中的至少一部分为平面，根据左右图像而以摄像机几何的方式运算左摄像机100及右摄像机110相对于该平面的位置及姿态，根据该运算出的左摄像机100及右摄像机110相对于该平面的位置及姿态将左图像(第1图像)变换为来自右摄像机110的视点的图像。

关于该方法，在图10的例子中，假定左摄像机100的图像中拍摄到的一部分为路面(平面)，以摄像机几何的方式运算左摄像机100、右摄像机110与该路面(平面)上的任意点的相对的位置/姿态，生成根据该位置/姿态将左摄像机100的图像向右摄像机110的位置/姿态作视点变换得到的图像，由此获取到了稠密的对应点。

但此处，在变形前的图9下方所示的图像(原图像)上，远方的立体物上提取到了许多稠密的对应点，反过来，在变形后的图10下方所示的图像(视点变换图像)上，远方的立体物上却没怎么提取到对应点，而是从路面上获得了许多稠密的对应点。图10中，以处于左摄像机100的原图像中的左下的路面变为与右摄像机110的图像中的该路面相同的表观的方式对左图像实施了与左右方向平行的水平剪切变形。由此，该路面的形状在左右图像上变得类似，结果稠密地得到了该路面上的对应点。但是，该视点变换是仅着眼于只是左图像的一部分的路面而对整个左图像进行了变形，因此，若着眼于不存在于路面上的立体物(尤其是图10所示的建筑物等)的形状，则可以确认视点变换后出现了大幅倾斜。可以理解，当实施这样的变形时，该建筑物反倒是变形前的表观(形状)在左右图像上类似，原本的图像(原图像)上就能在摄像机100、110的远方获得稠密的对应点。

(2)上下二分下的视点变换

因此，在本实施方式中，为了从左右图像获得更多对应点，将左图像分割为要进行视点变换的区域和不进行视点变换的区域这两种区域来进行对应点的探索。前一种要进行视点变换的区域可以说成是当进行视点变换时对应点会增加的区域，例如离摄像机较近的区域就相当于这样的区域。后一种不进行视点变换的区域可以说成是原图像上就能获取到稠密的对应点的区域，例如离摄像机较远的区域就相当于这样的区域。

作为这种视点变换，有如下视点变换，即，如图11所示，以图像中的消失点VP为基准，利用水平方向的交界线将左图像上下二分，2个区域中的上侧的区域(上侧区域)111设定为不进行视点变换的区域，下侧的区域(下侧区域)112设定为要进行视点变换的区域。具体而言，控制装置10的视点变换部200将左图像(第1图像)上下二分为具有包含消失点VP或者毗连消失点VP的交界的上侧区域(远景)111和位于该上侧区域111下方的下侧区域(路面)112这2个区域，假定下侧区域112的至少一部分为平面，运算左摄像机100、右摄像机110相对于该平面的位置及姿态，根据该运算出的左摄像机100、右摄像机110相对于该平面的位置及姿态将下侧区域112变换为来自右摄像机110的视点的图像，将该变换后的下侧区域112与上侧区域(无视点变换)111的合并体作为视点变换后的左图像(第1图像)。

该视点变换是车载摄像机(车载环境识别装置)的摄像机几何校正中最简单且有效的视点变换之一。此外，在该方法中，设想在FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)等硬件中利用视点变换后的图像(视点变换图像)等，加上仅分割为长方形等制约来简易地进行变换。远方的路面也可以假定为平面来加以变形，但如果本来就是远方，则视点变换下的路面的变形量较小。此外，远景的立体物等在视点变换下的变形也较小，因此在区域设定部210中，包含消失点VP的上侧区域111设定为不进行视点变换的区域。

在车载摄像机的情况下，画面下侧的区域112内基本上是拍摄自身车辆行驶的道路，因此拍摄到许多区域为平面的路面的可能性极高。因此，假定下侧区域112为拍摄路面的区域，在区域设定部210中设定为要进行视点变换的区域。

视点变换部200利用变换参数生成部220生成的变换参数来进行下侧区域112的视点变换。作为简单的视点变换方法，有利用车辆上安装的摄像机100、110的位置/姿态的设计值在变换参数生成部220中生成变换参数的方法。在通过车载环境识别装置1的图像处理对摄像机100、110的位置/姿态进行有设计值的修正的情况下，可使用修正后的值。此外，在根据路面上的至少3个点的距离信息而与摄像机的位置/姿态同时地推断有该路面的姿态的情况下，可利用路面的姿态信息。再者，此处可以利用设计值作为左右摄像机的位置/姿态的原因在于，重要的是左右图像比视点变换前要类似，两者无须在数学上完全一致。因为视点变换的目的是在视点变换后的图像上获得对应点，只要能生成类似于获得对应点的程度的图像便足够了。此外，变换参数下的视点变换后的对应点的坐标再次通过逆变换参数还原到视点变换前的坐标，之后用于摄像机的几何校正。因此，高精度的摄像机的位置/姿态并不是必需的。

(2-1)上下二分下的视点变换(包括图像的放大缩小、旋转、平行移动、剪切在内的仿射变换)

如上所述，可在数学上根据摄像机100、110与路面的相对位置/姿态而以数学方式来实施视点变换的运算，但视点变换的主要目的不在于准确的变换而是稠密地获得左右图像的对应点。因此，即便不是数学上准确的变换，也能以看到一定程度的效果的方法来代替。也可省略硬件中的基于数学运算的变换。

例如，在左摄像机100、右摄像机110的位置/姿态未知(包括未运算及不可运算的情况)、图像的变形量未确定下来的情况下，在变换参数生成部220中，可通过包括将消失点VR视为中心的图像的旋转、路面的剪切变形等在内的仿射变换将图像加以变形来进行视点变换。

作为该情况下的视点变换的具体方法，有如下处理，即，控制装置10的视点变换部200对左摄像机100得到的左图像(第1图像)一边改变参数(仿射变换用的矩阵的参数)一边实施仿射变换来生成多个变换图像，并实施这多个变换图像各方与右图像(第2图像)的对应点的提取，将这多个变换图像当中对应点的数量最多而且为规定阈值(基准值)以上的变换图像作为后续处理中加以利用的最终的视点变换图像(即，将左图像变换为来自右摄像机110的视点的图像得到的图像)。该方法中，在生成多个变换图像时，例如针对包含图像的放大缩小、旋转、平行移动以及剪切中的至少1种的所有组合而一边逐次少量改变参数一边实施仿射变换。由此，实质上能生成所有图案的变换图像和其中所使用的变换矩阵。这时，变换图像的数量可以通过改变参数的间隔来加以调整。继而，针对生成的所有变换图像而执行与右图像的对应点的探索并对得到的对应点的数量进行比较，由此能获取到将左图像变形为最类似于右图像的形状得到的视点变换图像和变换矩阵。如此获取到的变换矩阵的参数可以用作变换参数。

使用图12，对利用剪切变形作为仿射变换的视点变换的方法进行说明。在图12的例子中，一方面以规定间隔持续增加左图像的路面区域的剪切的变形量(剪切量)来生成多个变换图像，另一方面针对各变换图像而探索与右图像的对应点，决定采用该对应点的数量最多而且多于基准(规定阈值)的变换图像的剪切量作为变换参数。

每当剪切量作Apixel、Bpixel、Cpixel(其中，A＞B＞C)的增加时，都会增加左图像的路面区域(下侧区域)的变形，每次都记录左图像的路面与右图像的对应点数。其后，将变形持续到Cpixel为止，这时得知，对应点数的峰值处于Bpixel附近。在这样的情况下，表示在剪切量为Bpixel时出现了最类似于右图像的变形。

因此，在变换参数的算出时，本来需要考虑乘员的乘坐和行驶中的纵倾等来修正路面与摄像机的位置/姿态的关系，而通过忽略掉这些因素的上述的简易方法也能获取到稠密的对应点。不仅参数每次固定，还是常见的变形，因此，在规格相对较低的硬件中的利用和通用化等也变得容易。再者，此处对利用剪切的情况进行了说明，但在利用旋转、放大缩小、平行移动等仿射变换的情况下，也可以通过与上述同样的途径来进行视点变换。

当下侧区域112的视点变换结束时，视点变换图像生成部240将视点变换后的下侧区域112与未进行视点变换的上侧区域111合并来生成视点变换图像(视点变换后的左图像)。视点变换部200生成的视点变换图像在对应点探索部300中与右图像进行对比来提取对应点。如图14所示，提取到的对应点的坐标在摄像机几何校正部400进行的逆变换中被还原为原图像中的坐标而用于摄像机几何校正。

如此，通过将图像分割为包含远景或立体物的上侧区域111和路面占据大部分的下侧区域112来获得对应点，在上侧区域111内从无视点变换的图像提取对应点，在下侧区域112内从有视点变换的图像提取对应点，能从上下获得稠密的对应点。再者，在视点变换部200中，实施视点变换的参数生成到视点变换图像生成和逆变换参数的计算。逆变换参数在统合利用特征点的摄像机几何校正部400中加以利用。

＜图3变换参数生成部＞

如图3所示，变换参数生成部220具备视差解析部221、属性决定部222以及变换参数运算部223。

视差解析部221从视差图像生成部500生成的前帧(例如1帧前)的视差图像获取由区域设定部210设定为要进行视点变换的区域的区域的视差并对该视差进行解析，由此判断该区域内是否存在能近似为平面的部分。

属性决定部222根据视差解析部221的解析结果来决定该区域的平面属性。作为平面属性，首先，有表示该区域内存在能近似为平面的部分这一情况的“平面”和表示该区域内不存在能近似为平面的部分这一情况的“非平面”。前一种“平面”的属性中，还有“路面(地面)”、“壁面(墙壁)”作为表示该区域的类别的属性。后一种“非平面”的属性中，有“无限远”作为表示该区域的类别的属性。此外，有时对各区域预先赋予有平面属性。

在该情况下，属性决定部222根据视差解析部221的解析结果来判断预先赋予的平面属性是否妥当，将判断为妥当的区域当中离左摄像机100、右摄像机110的距离不到规定阈值的区域的平面属性决定为“平面”，将该区域决定为视点变换的对象区域。通过附加距离不到规定阈值这一条件，可以仅在需要的情况下也就是仅在左右图像上相同物体的表观存在较大差异的情况下进行视点变换。

变换参数运算部223运算对属性决定部222中决定了平面属性为平面的区域进行视点变换用的变换参数。变换参数可以通过公知方法算出。此处，对其一例进行说明。

＜视点变换计算＞

首先，计算从左摄像机100观察到的变换对象区域内的平面四个角的三维坐标。作为简单的方法，假定路面平面处于高度0cm，而且认为摄像机内部参数(f、kn、Cn)、外部参数(rnn、tn)、左摄像机100相对于世界坐标原点的设置位置/姿态是已知的，这时，下述式(1)右边的第1矩阵及第2矩阵变为已知。进而，位于该式右边的右端的具有4要素的向量的Yworld的世界坐标为0，因此，未知的数字可以仅靠世界坐标的Xworld和Zworld来表现。关于图像坐标，由于是自己设定的要变换的区域，因此可以认为是已知的。如此一来，只要将想要变换的区域内的平面四个角的图像坐标输入至式(1)，便能运算出这四个角的三维的世界坐标。接着，对右边右端的Xworld、Yworld、Zworld依序设定通过运算求出的四个角的三维坐标。继而，当对外部参数的矩阵设定从世界坐标原点观察到的右摄像机的位置/姿态时，可以将世界坐标系的4个点的位置变换为通过右摄像机观察的情况下的图像坐标。如此，求出想要进行视点变换的区域内的平面的四个角的图像坐标而获得4角形的变换参数。只要能计算出四个角，该4边形内部的坐标全都能通过内插算出来。

[数式1]

(x_image，y_image)为图像坐标

(X_world，Y_world，Z_world)为世界坐标

f为焦距

(k_x，k_y)为单位像素尺寸

(C_x，C_y)为图像中心坐标

r_nn为视点变换的三维旋转分量

t_n为视点变换的三维移动分量

在变换参数的生成时，首先，需要在左图像(视点变换对象图像)内决定用于视点变换的平面。例如，若是像上述那样将左图像上下二分的情况，则在视差解析部221中将大多拍摄路面的下侧区域112推断为能近似为平面的部分。各区域内是否包含能近似为平面的部分可以利用从立体图像获得的视差来加以解析。若将左摄像机100视为中心来进行了三维测量，则可以利用视差来解析从左摄像机100观察到的路面平面的位置。在对下侧区域112预先赋予了“路面”这一平面属性、根据解析结果判断该属性妥当的情况下，下侧区域112被决定为视点变换的对象。与此相反，在判断该属性不妥当的情况下，下侧区域112从视点变换的对象中被排除。即，不实施视点变换，抑制因对应点探索而弄错的视点变换。在决定的是“路面”或“墙壁”等属性作为区域的平面属性的情况下，变换参数运算部223运算该区域的变换参数。

＜图4对应点探索部300＞

对应点探索部300对视点变换部200中作视点变换得到的左图像(视点变换图像)与右图像的原图像进行对比来探索两者的对应点。再者，在视点变换部200中对左右图像进行了视点变换的情况下，利用视点变换后的左右图像来探索对应点。如图4所示，对应点探索部300能作为特征点提取部310、特征量记述部320、最大误差设定部330、对应点探索部340以及可靠度计算部350来发挥功能。

特征点提取部310在左图像中提取特征点。特征点例如为图像上的物体的角(角部)等独特的点。再者，在左右图像中的任一方上提取特征点即可，也可在右图像上提取特征点。

特征量记述部320实施将特征点提取部310提取到的特征点的周围亮度变化加以数值化得到的特征量的记述。在以左图像上的特征点/特征量为基准来探索右图像的对应点的情况下，可将右图像的探索范围设定为作了视差程度的扩大的区域。

在实施对应点探索之前，最大误差设定部330考虑左摄像机100、右摄像机110的最大纵向误差产生范围来设定图像的纵向上的探索范围(纵向探索范围)。例如在从左图像获得特征点的情况下，在右图像中设定纵向探索范围。若左右图像的平行化是完美的，则对于左图像的特征点的对应点而言，只要探索右图像中的同一高度的横向一列即可。然而，由于所利用的零件的温度特性和装配精度，纵向误差的范围是不一样的。在这样的情况下，若定义纵向最大误差，则对于从左图像提取到的特征点的对应点而言，只要在右图像中的同一坐标±纵向最大误差的范围内实施对应点探索便足够了。通过在最大误差设定部330中如此限定纵向探索范围还限定区域，可以大幅减少对应点探索的候选数。在最大误差设定部330中削减纵向探索范围，横向则以左图像的分割区域的视差最大值加以设定。由此，可以削减对应点探索部340应探索的特征点的候选。

对应点探索部340一边对针对特征点计算出的特征量的类似性进行比较一边在右图像上实施对应点探索。通常而言，针对1个特征点会发现多个对应点的候选，将其中类似性最高而且有规定阈值以上的类似性的候选点作为对应点。在图14的例子中，将左右图像分割为上侧区域和下侧区域这2个，之后，在上侧区域(无限远)内从无视点变换的图像提取对应点，在下侧区域(路面)内从有视点变换的图像提取对应点。由此，与不实施视点变换的以前的情况相比，可以从上下区域获得大量稠密的对应点。

可靠度计算部350根据对应点探索部340得到的对应点的类似性的高度和对应点个数等来计算用于判断该区域是否是可用于后面的摄像机几何的区域的指标值即可靠度。在可靠度较低的情况下，对该区域作出不可用于摄像机几何的判定。在所有区域内计算可靠度而实施能否用于摄像机几何的判定。在某一阈值以上的数量的区域内认定不可利用的情况下，判断此次获取到的图像无法进行校准(几何校正)。

＜图5摄像机几何校正部＞

摄像机几何校正部400根据对应点探索部300得到的多个对应点而以左右图像变得平行的方式实施左摄像机100、右摄像机110的几何校正。如图5所示，摄像机几何校正部400能作为对应点逆变换修正部410、对应点汇集部420、噪声对应点删除部430、几何校正参数推断部440、利用可否判定部450以及几何校正反映部460来发挥功能。

首先，在对应点逆变换修正部410中，实施将利用视点变化、图像变形得到的对应点的坐标还原到原图像上的坐标系的计算。在本实施方式中，利用逆变换参数，以还原到原图像的坐标系。逆变换的参数已在逆变换参数计算部230中求出，利用逆变换参数将左右图像当中进行了视点变换的图像(左图像)的对应点的坐标逆变换为原图像的坐标。图14展示对左图像的下侧区域实施了视点变换的情况下的逆变换的方法。在该图的例子中，如3段中的中断图像图所示，仅对左图像的下侧区域施加变形来进行了视点变换。在该状态下，在上侧区域和下侧区域双方内实施对应点探索。对应点探索之后，在下侧区域内实施将对应点(特征点)的坐标还原为视点变形前的坐标的逆变换(坐标变换)，算出变形前的图像中的对应点的位置。即，将根据视点变换后的图像发现的大量对应点逆变换为原图像上的坐标，之后用于几何校正。

如此，在对应点逆变换修正部410中将进行了视点变换(变形)的区域的对应点坐标加以逆变换而使其移动至原图像的坐标系上，对应点汇集部420以原图像的坐标系中的对应点的形式汇集左右图像的所有对应点。

接着，虽然希望利用对应点汇集部420汇集到的对应点来实施摄像机几何校正，但汇集阶段的对应点中还包含误对应点。因此，实施对应点的噪声分量去除。首先，随机提取获得的对应点分散在整个画面这样的规定组数(此处设为8组)的对应点，根据这8组对应点来计算以数学方式表示左右图像的对应关系的基础矩阵。改变成为基础矩阵的基础的对应点来重复多次该操作。结果，可以获得许多基础矩阵，而在8组对应点中混入有误对应点的情况下，算出的基础矩阵会偏离真值。反过来，在8组对应点全部正确的情况下，基础矩阵会汇集成类似的值。因此，输出了类似的基础矩阵的对应点视为可信赖的对应点，对于输出了不类似的离群值的基础矩阵的对应点，由于不清楚8组中哪一对应点为误对应点，因此在其后的处理中不予使用。但是，在被选为另外8组时，在得知基础矩阵汇集成类似的值而不是离群值时加以利用。

从如此得到的离群值以外的基础矩阵中决定某一评价尺度，将评价值最高的基础矩阵用于初始值。关于评价尺度，例如进而随机选择未用于基础矩阵生成的8组对应点除外的可信赖的对应点的对，将该对应点的对在基础矩阵中产生何种程度的误差等作为评价尺度。首先将如此得到的基础矩阵设定为表示左摄像机100、右摄像机110的对应关系的基础矩阵的初始值，进而利用判断为可信赖的对应点来实施高精度的几何校正参数的最优化。

将通过上述方法得到的基础矩阵用作初始值，在几何校正参数推断部440中求解将图像上的对应点与利用基础矩阵算出的推断点的距离误差作为成本函数加以最小化的最优化问题。由此，与8点法相比，能够推断出高精度的基础矩阵(几何校正参数)。

接着，利用可否判定部450首先利用从对应点汇集部420获得的对应点的数量(对应点数是否超过了规定数量)、从噪声对应点删除部430获得的离群值以外的对应点的对数(对数是否超过了规定数量)、从几何校正参数推断部440获得的最小化之后的距离误差的大小(距离误差的大小是否不到规定值)等外部信息来判定可否利用几何校正参数推断部440得到的摄像机几何校正的结果。进而，在利用求出的几何校正参数对左右摄像机图像进行了平行化的情况下，根据求出的对应点对当中在平行化后的左右图像坐标上未产生纵向误差的对应点对的存在比率是否超过了规定比例(例如95％)来判定可否利用。

在利用可否判定部450中判定可以利用的情况下，在几何校正反映部460中，利用几何校正参数推断部440推断出的表示左摄像机100、右摄像机110的几何的参数基础矩阵来执行用于生成平行化图像的图像变形的仿射表的更新。

＜图6视差图像生成部500＞

视差图像生成部500根据左摄像机100、右摄像机110拍摄到的左右图像和摄像机几何校正部400实时加以更新的最新的仿射表来生成视差图像。如图6所示，本实施方式的视差图像生成部500作为平行化图像生成部510、立体匹配部520以及距离运算部530来发挥功能。

平行化图像生成部510利用经摄像机几何校正部400更新后的平行化图像生成用的仿射表来生成左右平行化图像。立体匹配部520对平行化之后的左右图像实施立体匹配来生成视差图像。距离运算部530利用左摄像机100、右摄像机110的基线长和摄像机的内部参数(焦距、单位像素尺寸)而根据视差图像来实施三维的距离变换，由此运算出到左右图像上的任意物体的距离。

＜图15控制装置10的处理流程图＞

此处，对像上述那样将左图像上下二分的情况下由控制装置10执行的处理流程进行说明。控制装置10以规定周期反复进行图15所示的一系列处理。

在步骤S01中，首先，控制装置10(视点变换部200)输入左摄像机100、右摄像机110(立体摄像机)拍摄到的左右图像。

在步骤S02中，控制装置10(视点变换部200)决定将步骤S04中输入的左图像上下二分。再者，右图像不作分割。

在步骤S03中，控制装置10(视点变换部200)将左图像上下二分，将其中包含消失点VP的区域设定为上侧区域111。上侧区域111是包含消失点VP、有拍摄远方景色的倾向的区域，不实施视点变换而直接用于对应点探索。

在步骤S04中，控制装置10(视点变换部200)将从左图像去掉上侧区域111后的区域(位于上侧区域111下方的区域)设定为下侧区域112，并将处理转移至步骤S05。下侧区域112是自身车辆行驶的路面占据大部分拍摄物的区域，对于左摄像机100、右摄像机110的相对附近的路面而言，左摄像机100、右摄像机110上表观的变化特别大，因此要加以分割以实施视点变换。

在步骤S05中，控制装置10(视点变换部200)生成对下侧区域112进行视点变换用的变换参数和将视点变换后的下侧区域112上的对应点通过逆变换还原到视点变换前的坐标上用的逆变换参数。此处生成的变换参数下的视点变换是假定下侧区域112的至少一部分为平面，推断左摄像机100、右摄像机110相对于该平面的位置及姿态，根据该推断出的左摄像机100、右摄像机110的位置及姿态将下侧区域112变换为来自右摄像机110的视点的图像。

在步骤S06中，控制装置10(视点变换部200)利用步骤S05中生成的变换参数对左图像的下侧区域112进行视点变换。

在步骤S07中，控制装置10(视点变换部200)生成步骤S03中分割出的上侧区域111与步骤S06中进行了视点变换的下侧区域112合并而成的视点变换图像。继而，控制装置10(对应点探索部300)对该视点变换图像和步骤S01中输入的右图像实施对应点探索。即，执行以未实施变形的上侧区域111和实施了变形的下侧区域112的图像上的特征点及特征量为基准来探索右图像的对应点的处理。由此，从视点变换后的左图像的下侧区域112和未实施视点变换的右图像的下侧区域112以特征点及特征量为基准提取出多个对应点的集合即第1对应点群，从视点变换前的左图像的上侧区域111和未实施视点变换的右图像的上侧区域111以特征点及特征量为基准提取出多个对应点的集合即第2对应点群。

在步骤S08中，控制装置10(摄像机几何校正部400)将步骤S07中从下侧区域112发现的多个对应点(第1对应点群)当中跨越上区域111、下区域112的对应点排除，对于剩下的对应点则利用步骤S05中生成的逆变换参数来进行逆变换，将该剩下的对应点的坐标值还原为原图像(步骤S01中输入的左图像)上取到对应点时的坐标值。

在步骤S09中，控制装置10(摄像机几何校正部400)汇集步骤S07中发现的上侧区域111上的多个对应点(第2对应点群)的坐标值和步骤S08中进行了逆变换的下侧区域112上的多个对应点(第1对应点群)的坐标值。此时，第1对应点群中的左图像上的对应点的坐标是已逆变换成视点变换前的坐标的坐标，第1对应点群中的右图像上的对应点的坐标是未实施视点变换的原本的坐标。此外，第2对应点群的坐标在左右图像上都是视点变换前的坐标。由此，上侧区域111、下侧区域112所有对应点的坐标系能以左右原图像上的坐标系统一地加以处理。

在步骤S10中，控制装置10(摄像机几何校正部400)实施去噪。从步骤S09中汇集到的对应点当中以变为图像上分散的坐标系的方式随机选择8组对应点对，根据所选择的对应点对(输入对应点)而通过所谓的8点法来计算基础矩阵的值。继而，以该基础矩阵的值为基准将未变为离群值的基础矩阵的输入对应点以可以在其后的处理中加以利用的方式打上标记而与变成离群值的输入对应点区分开来。

在步骤S11中，控制装置10(摄像机几何校正部400)利用步骤S10中未被判定为噪声的对应点的坐标来实施几何校正的参数推断。将通过上述方法得到的基础矩阵用作初始值，求解将图像上的对应点与利用基础矩阵算出的推断点的距离误差作为成本函数加以最小化的最优化问题。由此，与8点法相比，能够运算出高精度的几何校正参数。

在步骤S12中，控制装置10(摄像机几何校正部400)利用步骤S11中运算出的距离误差的大小是否不到规定值、对应点的数量是否为规定值以上等信息来判定可否利用步骤S11中运算出的几何校正参数。此处，在判断可以利用几何校正参数的情况下，使处理前进至步骤S13。另一方面，在判断不可利用的情况下，不更新仿射表而使处理前进至步骤S14。

在步骤S13中，控制装置10(摄像机几何校正部400)根据步骤S11中运算出的几何校正参数来更新对前帧用过的左右图像的平行化用的仿射表。

在步骤S14中，控制装置10(视差图像生成部500)利用存储的仿射表来生成左右图像的平行化图像，利用该平行化图像来实施立体匹配而生成视差图像。

在像上述那样校准过的本实施方式的车载环境识别装置中，通过对左摄像机100、右摄像机110(左右图像)上表观存在较大差异的区域(下侧区域112)实施视点变换而大幅增加了从左右图像发现的对应点的数量。即，通过将摄像机100拍摄到的左图像的下侧区域112以向来自右摄像机110的视点的表观接近的方式加以变形，可以在对应点探索部300中获得数量比视点变换前多的稠密的对应点的探索结果。通过利用该稠密的对应点，在摄像机几何校正部400进行的处理中可以实现高精度的几何校正。通过利用借助几何校正而准确地加以平行化之后的左右成对图像，可以实现视差图像生成部500中的高密度且高精度的视差图像的生成。

再者，上文中是将左右图像分割为上侧区域和下侧区域，对于下侧区域，在对左图像实施视点变换之后探索对应点，对于上侧区域，对左右图像都不实施视点变换而探索对应点，但将左右图像分割为多个区域的构成不是必需的。例如，也可从视点变换后的左图像和未实施视点变换的右图像提取多个对应点(第1对应点群)、从视点变换前的左图像和未实施视点变换的右图像提取多个对应点(第2对应点群)来进行左摄像机100、右摄像机110的几何校正。

＜视点变换的变形例＞

对视点变换部200进行的视点变换的另一例加以说明。上文中对将摄像机图像上下二分的方式进行了说明，但也可以利用六分的方式或者分割为自由的区域的方式。

(1)六分下的视点变换

摄像机的几何校正中，当从整个图像上取到对应点时，精度提高。在从某一固定部位稠密地得到对应点这样的情况下，若直接利用对应点，则只有稠密地得到对应点的部分的几何校正以变小的方式加以计算，因此，当从整个图像无遗漏地得到对应点时，大多获得接近原本应几何校正的值的值。但是，若在整个图像上执行特征点的提取、特征量的记述、对应点的探索等，则处理负荷会加重。

因此，如图13所示，选定将图像分割为6个区域、针对这6个区域在左右图像上寻找对应点的方法。在该方法中，控制装置10将左图像分割为6个矩形区域，对这6个矩形区域赋予了预测会在自身车辆行驶中出现在各矩形区域内的平面属性，根据前帧的视差图像来判断对这6个矩形区域赋予的平面属性是否妥当，在这6个矩形区域中判断平面属性妥当的矩形区域当中，将左摄像机100、右摄像机110的距离不到规定阈值的矩形区域决定为变换对象区域，推断左摄像机100、右摄像机110相对于该变换对象区域的位置及姿态，根据该推断出的左摄像机100、右摄像机110的位置及姿态将变换对象区域变换为来自右摄像机的视点的图像，将从这6个区域去掉了变换对象区域后剩下的区域与变换对象区域的合并体作为视点变换后的左图像。6个矩形区域是将左图像纵向二分、横向三分得到的，各矩形区域以2行3列配置。

将图像分为上段和下段这2段，从上段左侧起称为第1区域、第2区域、第3区域，从下段左侧起称为第4区域、第5区域、第6区域。6个矩形区域内的下侧3个矩形区域(第4-6区域)的平面属性为“路面”，6个矩形区域内的上侧3个矩形区域当中位于左右的2个矩形区域(第1区域、第3区域)的平面属性为“墙壁”，6个矩形区域内的上侧3个矩形区域当中位于中央的矩形区域(第2区域)的平面属性为“无限远”。

该方法对于削减特征点提取、记述的处理时间、过滤对应点探索候选比较有效。

在该方法下的视点变换时，当决定好预测会在自身车辆行驶中出现在各区域内的平面属性时，容易针对6个区域中的每一个来选择变形量。例如像图13所示的一例那样，考虑到基本事实，下段的3个区域(第4-6区域)与以往一致，实施假定为路面(地面)的视点变换下的视点变换。上侧的处于无限远(消失点)附近的正中的区域(第2区域)内只有远景和天空，因此视为无变形。上侧的左右区域(第1区域、第3区域)是行驶道路的风景，而在市区行驶时等情况下，建筑物和树木等大多相对于行驶道路而像“墙壁”一样存在于左右。在这样的情况下，实施设想存在于行驶道路左右的墙壁的变换。可设想某一固定值来变换路面或墙壁等，也可像图13正中的图的方法那样利用前帧的视差图像仅推断墙壁的横向位置和旋转而加以利用。

可将分割出的区域内的视差值变换为距离来实施平面推断，利用离群值的多少、距最终推断平面一定距离的范围内占有何种程度的几％的视差点群等来实施可否近似为平面的判断。由此，在判别可以近似为平面的情况下，还计算该平面从2个摄像机视点观察是否为近距离而且改变视点得到的表观的差异是否较大。在表观的差异较小的情况下，视点变换的必要性在根本上就较低。若在表观的差异较大的情况下进行视点变换，则对应点的探索性能大幅提升，因此，即便视点变换中存在一些误差，也能获取到比利用变换前的原图像来实施对应点探索时稠密得多的对应点。

如图13的各矩形区域内所示，预先对各区域附加有预测会在自身车辆行驶中出现在各矩形区域内的平面属性。例如，上段的左右区域(第1区域、第3区域)附加有“墙壁”这一平面属性，下段的3个区域(第4-6区域)附加有“路面”这一平面属性，上层的中央区域(第2区域)附加有“无限远”这一平面属性，判定根据前帧的视差值推断的平面是否与这些属性所规定的平面类似。在与预先附加的平面属性不一样的情况下，假定未能较好地实现平面近似，从而不实施视点变换。由此，可以避免错误的视点变换。此外，由于预先决定了平面属性，因此成为不稳定要素的离群值的去除也相对容易实施，推断的参数得到过滤，因此稳定性得到强化。

再者，在像上述那样分割为6个矩形区域时，位于上段左右的2个区域(第1区域、第3区域)在有沿着行驶道路的建筑物和树木等的情况下，可以利用设想有相当于墙壁的平面(平面属性为“墙壁”的区域)的视点变换。但也存在如下情况，即，在乡间道路等行驶道路周围的立体物较少等时候，对这2个区域不赋予“平面”的属性而是赋予例如“无限远”等非平面的属性，这时，对应点增多。因此，可根据前帧的视差图像来理解各区域内出现的风景的三维结构的倾向、其后决定是否实施视点变换来实施对应点探索。

(2)自由区域分割下的视点变换

此外，在实施有效利用GPU等的视点变换的情况下，在三维平面上粘贴摄像机图像并加以变形即可，因此，可以不拘泥于矩形区域而是以自由的区域来分割摄像机图像。因此，如图16所示，实施各区域的交界线还利用斜线的区域分割。根据从前帧的视差图像获得的信息(例如路面区域推断结果和路边区域推断结果)来判断图像内是否存在能近似为平面的部分。继而，将包含被判断为能近似为平面的部分的部分的区域推断为路面平面区域。此时，可判定该区域到左摄像机100、右摄像机110的距离是否不到阈值，将距离不到阈值的区域设定为路面平面区域也就是要进行视点变换的区域。此外，同样地，可针对同一物体而判定是否是左摄像机100、右摄像机110上表观存在较大差异的区域。

此外，在路边区域附近竖立有建筑物和树木，因此，可有效利用图像的色调和三维这两方来实施假定沿行驶道路的行进方向存在墙壁的区域分割。针对分割出的各区域，以与上述6个区域的情况相同的方式根据前帧的视差图像来推断能否近似为三维平面。在能近似为平面的情况下，实施与该平面相应的视点变换。

由于以比前面叙述的矩形区域恰当且灵活的区域来分割图像，因此能相对有效地充分利用整个画面。但是，在摄像机图像的背景比较复杂的情况下，难以实施区域的分割，就稳定的判定而言，像6个区域那样利用在一定程度上知晓变为什么样的平面这一前提则稳定性较高。

(3)左右摄像机双方的视点变换

在上述的例子中，对将立体摄像机中的一摄像机(左摄像机100)的图像变换为来自另一摄像机(右摄像机110)的视点的图像的情况进行了说明，但也可将立体摄像机中的两个摄像机(左摄像机100、右摄像机110)的图像变换为来自另一视点(例如位于左摄像机100、右摄像机110之间的规定视点)的图像。在图17的例子中，将左右图像上下二分。继而，将各自的下侧区域向来自在左摄像机100、右摄像机110的光轴的正中(也就是立体摄像机的情况下的基线的中央)具有光轴的另一摄像机的视点的图像作视点变换。

当如此对左右图像进行视点变换时，会在左右图像各方上发生视点变换造成的画质劣化，因此可以在同等的画质劣化状态下实施匹配，有望提高匹配得分。进而，关于该方法的优点，在环境识别装置具备3个以上的摄像机、利用多摄像机对来实施三角测量这样的情况下，在不明确应由哪一摄像机主体作三维复原的多视点摄像机下的三维测量时易于使用。如此，本发明中无需为图14所示那样的右摄像机主体的三维复原。

·第2实施方式

在上述实施方式中，在视差图像生成部500中的视差图像的生成中没有利用视点变换图像，但也可在视差图像的生成中利用视点变换图像。本实施方式的控制装置10具备视差图像生成部500A。其他部分与第1实施方式相同，说明从略。

＜图7视差图像生成部＞

图7所示的视差图像生成部500A具备按区域的视点变换平行化图像生成部550、按区域的匹配部560、结果统合部570以及距离运算部580。

在长基线长的立体摄像机中，与对应点探索一样，在视差图像生成时的立体匹配中，近距离的被摄体的表观在左摄像机100、右摄像机110上也可能存在较大差异。因此，在立体匹配中也存在视差的匹配变得困难之虞。但是，若像第1实施方式的对应点探索那样在立体匹配时也进行视点变换，则对于路面等由平面构成的场景而言，能够稠密地获得该平面的视差。此外，对应点是一样的，远方的风景即便不作变形也能获得对应点。对于解析路面形状或者解析小的凹凸的目的、自身车辆可在何处行驶等主要观测路面平面这样的目的的算法而言，与对应点的方法一样，优选对左图像进行视点变换来进行左右图像的立体匹配。

因此，在本实施方式中，首先在按区域的视点变换平行化图像生成部550中与第1实施方式同样地以远方和附近将左图像分割为2个区域(上侧区域、下侧区域)。继而，上侧区域不实施视点变换，下侧区域则在实施基于仿射表的平行化的同时实施向右摄像机视点的视点变换。再者，也可在平行化之后作图像分割来进行视点变换。与第1实施方式一样，视点变换时的变换参数、平行化时(几何校正时)的仿射表是利用视点变换部200和摄像机几何校正部400运算出的变换参数和仿射表。接着，在按区域的匹配部560中，针对图像生成部550生成的2个区域而单独运算视差值来单独生成视差图像。在结果统合部570中，对按区域的匹配部560运算出的视差值当中属于下侧区域的视差值(视差图像)实施与视点变换相应的修正，由此实施在上侧区域与下侧区域内使视差值的意义一致的修正，其后实施上侧区域与下侧区域的视差值(视差图像)的统合。进而，在距离运算部580中，利用左摄像机100、右摄像机110的基线长的信息和左摄像机100、右摄像机110的内部参数的信息而根据结果统合部570统合得到的视差图像来运算距离。由此，对于左右图像上表观可能存在较大差异的下侧区域(离摄像机较近的路面区域)而言，与以前的立体匹配相比，能获得基于大量稠密的对应点的视差图像，因此视差图像的精度提高。

其中，在大部分为路面但下侧区域的端部有行人等情况下，在利用视点变换图像的立体匹配中，存在于大致路面附近的物体能获得稠密的视差图像，但反过来，行人部分却存在不作视点变换方能获得优质的视差图像的情况。因此，作为另一实施方式，对于下侧区域，可生成在区域分割及平行化之后以无视点变换的方式对左右图像(也就是右图像与视点变换前的左图像的对(第1对))进行匹配得到的结果和在区域分割及平行化之后以有视点变换的方式对左右图像(也就是右图像与视点变换后的左图像的对(第2对))进行匹配得到的结果双方，利用2个匹配结果当中表示左右图像的类似程度的匹配得分高的一方来生成视差值及视差图像。此时，宜将有视点变换的匹配结果还原到已作逆变换的状态，进而将表示左右图像的类似程度的匹配得分也设为可以从两种情况下的各视差值进行参考的状态。若为该方法，则例如在下侧区域内存在行人等立体物而导致基于视点变换后的图像的立体匹配中匹配得分降低这一情况得以避免，因此能提高视差图像的精度的平均。

＜图18控制装置10进行的视差图像生成处理的流程图＞

此处，对像上述那样在视差图像生成时将左图像上下二分的情况下由控制装置10(视差图像生成部500A)执行的处理流程进行说明。控制装置10根据视差图像的要求指令的输入来反复进行图18所示的一系列处理。再者，图中的步骤DS02-DS04中执行的校准用的对应点探索和几何校正参数的推断/更新的处理可利用任何方法，并不限于图15所示的第1实施方式的方法，也可利用公知方法。此外，此处视为已对左右图像实施平行化目的的校准，展示将第1实施方式的视点变换应用于视差图像生成的方法的一例。

在步骤DS01中，首先，控制装置10(视差图像生成部500A)输入左摄像机100、右摄像机110(立体摄像机)拍摄到的左右图像。

在步骤DS02中，控制装置10(对应点探索部300)探索左右图像的对应点。

在步骤DS03中，控制装置10(摄像机几何校正部400)推断实施左右图像的平行化用的几何校正参数。

在步骤DS04中，控制装置10(摄像机几何校正部400)以步骤D02中运算出的几何校正参数来更新制作左右图像的平行化图像时加以利用的几何校正用参数。此时，还可实施左摄像机100、右摄像机110的相对位置和姿态的推断值、路面和立体摄像机的位置姿态的参数更新。

在步骤DS05中，控制装置10(视差图像生成部500A)决定将步骤DS01中输入的左图像上下二分。再者，右图像不作分割。

在步骤DS06中，控制装置10(视差图像生成部500A)将左图像上下二分，将其中包含消失点VP的区域设定为上侧区域111。上侧区域111是包含消失点VP、有拍摄远方景色的倾向的区域，不实施视点变换而直接用于立体匹配(步骤DS07)。其中，尤其是在下侧区域112内重视路面以外的物体的视差这样的情况或者处理还有余力的情况下，也可将左图像全部设定为上侧区域而在不实施视点变换的情况下与右图像实施立体匹配(步骤DS07)。

在步骤DS08中，控制装置10(视差图像生成部500A)将从左图像去掉上侧区域111后的区域(位于上侧区域111下方的区域)设定为下侧区域112。下侧区域112是自身车辆行驶的路面占据大部分拍摄物的区域，对于左摄像机100、右摄像机110的相对附近的路面而言，左摄像机100、右摄像机110上表观的变化特别大，因此要加以分割以实施视点变换。

继而，控制装置10(视差图像生成部500A)生成对下侧区域112进行视点变换用的变换参数和将视点变换后的下侧区域112上的对应点通过逆变换还原到视点变换前的坐标上用的逆变换参数。此处生成的变换参数下的视点变换是假定下侧区域112的至少一部分为平面，推断左摄像机100、右摄像机110相对于该平面的位置及姿态，根据该推断出的左摄像机100、右摄像机110的位置及姿态将下侧区域112变换为来自右摄像机110的视点的图像。

进而，控制装置10(视差图像生成部500A)利用生成的变换参数对左图像的下侧区域112进行视点变换。

再者，关于该步骤DS08中生成的视点变换图像，可生成将左图像的视点变换为右摄像机110的视点这样的视点变换图像。也可进行像假定在左摄像机100、右摄像机110的中心位置有摄像机这样在立体摄像机的重心位置具有左右摄像机的图像这样的图像变换。

在步骤DS07中，控制装置10(视差图像生成部500A)对步骤DS06的上侧区域111和与其相对应的右图像的区域进行立体匹配，进行视差值的运算和视差图像的生成。与此同时，在步骤DS09中，控制装置10(视差图像生成部500A)对步骤DS08中进行了视点变换的下侧区域112和与其相对应的右图像的区域进行立体匹配，进行视差值的运算和视差图像的生成。

在步骤DS10中，控制装置10(视差图像生成部500A)利用逆变换参数对步骤DS10中生成的基于视点变换图像的视差值进行逆变换，由此实施视差值的视点变换量的换算。

在步骤DS11中，在视点变换前的平行化图像坐标上的2张图像(左右图像)上存在重叠区域的情况下，控制装置10(视差图像生成部500A)对视点变换前的下侧区域112与右图像的对应部分的匹配得分和视点变换后的下侧区域112与右图像的对应部分的匹配得分进行比较，选择匹配得分高的一方的视差值作为下侧区域的视差值。由此，在路面上优先利用进行了视点变换的情况下的视差，在存在立体物等情况下，以优先利用不作视点变换的情况下的视差的方式发挥得分匹配的比较的作用，因此视差图像的精度提高。

在步骤DS12中，控制装置10(视差图像生成部500A)将步骤DS07中生成的上侧区域111的视差图像与经由步骤DS11的比较选出的下侧区域112的视差图像合成为一张视差图像(合成视差图像)，由此，能生成比以往稠密且噪声少的视差图像。

再者，在本实施方式中，对将左图像上下分割的情况进行了说明，但只要是左右图像上表观存在较大差异的区域而且是包含能近似为平面的部分的区域，都能期待视点变换带来的视差值的精度提高效果。即，也可对与上文中说明过的下侧区域不一样的区域实施视点变换来进行立体匹配，作为这种区域，包括第1实施方式中要进行视点变换的区域。

＜其他＞

在图15的流程图中，步骤S10、S12可以省略。

本发明包含不脱离其主旨的范围内的各种变形例，并不限定于上述各实施方式。例如，本发明不限定于具备上述各实施方式中说明过的所有构成，也包含其构成的一部分删除后的形态。此外，可以将某一实施方式的构成的一部分追加到或替换为另一实施方式的构成。

此外，上述控制装置10的各构成、该各构成的功能以及执行处理等可通过硬件(例如以集成电路来设计执行各功能的逻辑等)来实现它们的一部分或全部。此外，上述控制装置10的构成也可设为通过由运算处理装置(例如CPU)读出并执行来实现该装置的构成的各功能的程序(软件)。该程序的信息例如可以存储在半导体存储器(闪存、SSD等)、磁存储装置(硬盘驱动器等)以及记录介质(磁盘、光盘等)等当中。

此外，在上述各实施方式的说明中，控制线和信息线展示的是认为该实施方式的说明中需要的部分，并非一定展示了产品的所有控制线和信息线。实际上，可认为几乎所有构成都相互连接在一起。

符号说明

100…左摄像机、110…右摄像机、111…上侧区域、112…下侧区域、200…视点变换部、210…区域设定部、220…变换参数生成部、221…视差解析部、222…视点变换属性决定部、223…变换参数运算部、230…逆变换参数计算部、240…视点变换图像生成部、300…对应点探索部、310…特征点提取部、320…特征量记述部、330…最大误差设定部、340…对应点探索部、350…可靠度计算部、400…摄像机几何校正部、410…对应点逆变换修正部、420…对应点汇集部、430…噪声对应点删除部、440…几何校正参数推断部、450…利用可否判定部、460…几何校正反映部、500…视差图像生成部、510…平行化图像生成部、520…立体匹配部、530…距离运算部。

Claims (12)

1.一种车载环境识别装置，其特征在于，具备：

第1摄像机及第2摄像机；以及

控制装置，其进行通过将所述第1摄像机拍摄到的第1图像和所述第2摄像机拍摄到的第2图像中的至少一方加以变形而将所述第1图像及所述第2图像变换为来自共通的视点的图像的视点变换，之后提取多个对应点，利用所述视点变换前的所述第1图像及所述第2图像中的所述多个对应点的坐标来进行所述第1摄像机及所述第2摄像机的几何校正。

2.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变换为如下视点变换，即，所述控制装置假定所述第1图像及所述第2图像上重复拍摄到的部分的至少一部分为平面，运算所述第1摄像机及所述第2摄像机相对于所述平面的位置及姿态，根据该运算出的所述第1摄像机及所述第2摄像机相对于所述平面的位置及姿态将所述第1图像变换为来自所述第2摄像机的视点的图像。

3.根据权利要求2所述的车载环境识别装置，其特征在于，

所述控制装置从所述视点变换后的所述第1图像和未实施所述视点变换的所述第2图像提取多个对应点的集合即第1对应点群，从所述视点变换前的所述第1图像和未实施所述视点变换的所述第2图像提取多个对应点的集合即第2对应点群，利用将所述第1对应点群的坐标变换为所述视点变换前的坐标得到的坐标和所述第2对应点群的坐标来进行所述第1摄像机及所述第2摄像机的几何校正。

4.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变化为如下视点变换，即，所述控制装置对所述第1图像一边改变参数一边实施仿射变换来生成多个变换图像，实施所述多个变换图像各方与所述第2图像的对应点的提取，将所述多个变换图像当中所述对应点的数量最多而且为规定阈值以上的变换图像作为将所述第1图像变换为来自所述第2摄像机的视点的图像得到的图像。

5.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变换为如下视点变换，即，

所述控制装置将所述第1图像上下二分为包含消失点或者毗连消失点的上侧区域和位于所述上侧区域下方的下侧区域这2个区域，

假定所述下侧区域的至少一部分为平面，

推断所述第1摄像机及所述第2摄像机相对于所述平面的位置及姿态，

根据该推断出的所述第1摄像机及所述第2摄像机相对于所述平面的位置及姿态将所述下侧区域变换为来自所述第2摄像机的视点的图像，

将该变换后的所述下侧区域与所述上侧区域的合并体作为视点变换后的第1图像。

6.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变换为如下视点变换，即，

所述控制装置将所述第1图像分割为多个区域，

根据前帧的视差图像来判断所述多个区域内是否存在能近似为平面的部分，

所述多个区域中的存在所述能近似为平面的部分的区域当中，将离所述第1摄像机及所述第2摄像机的距离不到规定阈值的区域决定为变换对象区域，

推断所述第1摄像机及所述第2摄像机相对于所述变换对象区域的位置及姿态，

根据该推断出的所述第1摄像机及所述第2摄像机的位置及姿态将所述变换对象区域变换为来自所述第2摄像机的视点的图像，

将从所述多个区域去掉了所述变换对象区域后剩下的区域与所述变换对象区域的合并体作为视点变换后的第1图像。

7.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变换为如下视点变换，即，

所述控制装置将所述第1图像分割为多个矩形区域，

对所述多个矩形区域赋予了预测会在自身车辆行驶中出现在各矩形区域内的平面的属性，

根据前帧的视差图像来判断对所述多个矩形区域赋予的平面的属性是否妥当，

所述多个矩形区域中判断所述平面的属性为妥当的矩形区域当中，将离所述第1摄像机及所述第2摄像机的距离不到规定阈值的矩形区域决定为变换对象区域，

推断所述第1摄像机及所述第2摄像机相对于所述变换对象区域的位置及姿态，

根据该推断出的所述第1摄像机及所述第2摄像机的位置及姿态将所述变换对象区域变换为来自所述第2摄像机的视点的图像，

将从所述多个区域去掉了所述变换对象区域后剩下的区域与所述变换对象区域的合并体作为视点变换后的第1图像。

8.根据权利要求7所述的车载环境识别装置，其特征在于，

所述多个矩形区域是将所述第1图像纵向二分、横向三分获得的6个矩形区域，

所述6个矩形区域内的下侧3个矩形区域的平面的属性为路面，

所述6个矩形区域内的上侧3个矩形区域中的左右2个矩形区域的平面的属性为墙壁，

所述6个矩形区域内的上侧3个矩形区域中的中央的矩形区域的平面的属性为无限远。

9.根据权利要求1所述的车载环境识别装置，其特征在于，

所述控制装置在进行将所述第1图像及所述第2图像变换为来自共通的视点的图像的视点变换之后，进行立体匹配来获取视差值，对所述视差值实施与所述视点变换相应的修正来生成视差图像。

10.根据权利要求5所述的车载环境识别装置，其特征在于，

所述控制装置对所述第2图像与所述视点变换后的第1图像进行立体匹配来获取视差值，对于所述视差值当中属于所述下侧区域的视差值，实施与所述视点变换相应的修正来生成视差图像。

11.根据权利要求10所述的车载环境识别装置，其特征在于，

所述控制装置利用由所述第2图像和所述视点变换前的第1图像构成的第1对和由所述第2图像和所述视点变换后的第1图像构成的第2对这2个对来实施立体匹配，利用所述2个对当中立体匹配的匹配得分高的一方来生成视差图像。

12.根据权利要求1所述的车载环境识别装置，其特征在于，

所述视点变换为，

所述控制装置将所述第1图像变形而变换为来自位于所述第1摄像机与所述第2摄像机之间的规定视点的图像的视点变换，以及，将所述第2图像变形而变换为来自所述规定视点的图像的视点变换。

Images