CN105144707A - 车辆用图像处理装置 - Google Patents

Abstract

车辆用图像处理装置应用于车辆，被安装于该车辆，具备拍摄部(11、12)、显示部(14)、图像生成部、偏移计算部、修正部以及显示控制部。拍摄部拍摄车辆的周边的规定范围。显示部显示基于由拍摄部拍摄到的多个拍摄图像而生成的显示图像。图像生成部通过将由拍摄部拍摄到的多个拍摄图像接合，来生成用于显示在显示部的显示图像。偏移计算部在生成显示图像时，计算出显示图像中的多个拍摄图像的接合部分的图像彼此的偏移。修正部基于偏移来修正显示图像。显示控制部使修正后的显示图像显示于显示部。

Description

车辆用图像处理装置

本公开基于在2013年4月15日申请的日本专利申请2013－084843号主张优先权，并在此引用其全部内容。

技术领域

本公开涉及将针对车辆周边拍摄到的图像显示于显示装置的车辆用图像处理装置。

背景技术

已知有一种以车载照相机拍摄车辆周围的状况，并且将由该车载照相机拍摄到的多个图像合成，使该合成后的图像显示于显示装置的技术。例如，公知有一种将由车辆的前方照相机拍摄到的前方图像、和由后方照相机拍摄到的后方图像合成而作为合成图像生成鸟瞰图像，并使该鸟瞰图像显示于显示装置的车辆用图像处理装置(例如专利文献1)。

在合成多个图像来生成一个鸟瞰图像的情况下，认为在图像彼此的接合部分会产生偏移，若产生该偏移，则担心观察显示图像的用户感到不协调、路面上的白线的位置等信息不能正确地传递给该用户。作为产生图像彼此的偏移的原因，可考虑照相机的设置位置、设置方向与图像处理装置侧的认识不同；多个图像的属性信息(拍摄时的车速等)存在错误而在接合时发生不完备等。

专利文献1：日本特开2003－189292号公报

发明内容

本公开是鉴于上述课题而完成的，其目的在于，提供一种能够恰当地将由拍摄部拍摄到的多个图像接合来生成图像的车辆用图像处理装置。

本公开的一个方式涉及的车辆用图像处理装置应用于车辆，被安装于该车辆，具备拍摄部、显示部、图像生成部、偏移计算部、修正部以及显示控制部。拍摄部拍摄车辆的周边的规定范围。显示部显示基于由拍摄部拍摄到的多个拍摄图像而生成的显示图像。图像生成部通过将由拍摄部拍摄到的多个拍摄图像接合，来生成用于由显示部显示的显示图像。偏移计算部在生成显示图像时，计算出显示图像中的多个拍摄图像的接合部分的图像彼此的偏移。修正部基于偏移来修正显示图像。显示控制部使修正后的显示图像显示于显示部。

根据上述装置，能够恰当地将由拍摄部拍摄到的多个图像接合来生成图像。

附图说明

通过一边参照附图一边基于以下的详细描述，会使得本发明的上述目的以及其他的目的、特征、优点更加清楚，其中，

图1是本公开的一个实施方式涉及的图像显示系统的构成图，

图2是表示照相机与其拍摄范围的图，

图3是表示透视变换的方法的图，

图4(a)和图4(b)是表示车辆周边图像的图，

图5是表示前方过去图像和后方过去图像的重复区域的图，

图6是表示偏移计算方法的图，

图7是表示修正的前后的中间区域图像的图，

图8是表示修正后的车辆周边图像的图，

图9是表示图像生成处理的流程图，

图10是表示第一变形例中的照相机与其拍摄范围的图，

图11是表示第一变形例中的车辆周边图像的图，

图12是表示第二变形例中的照相机与其拍摄范围的图，

图13是表示第二变形例中的车辆周边图像的图，

图14是表示基于特征点的周期性的偏移计算处理的流程图。

具体实施方式

以下，参照附图对将作为车辆用图像处理装置的图像处理单元应用于车辆(汽车)的图像显示系统的一个实施方式进行说明。

如图1所示，本图像显示系统具有：作为拍摄部的前方照相机11以及后方照相机12、被输入这些各照相机11、12的拍摄数据的图像处理单元13、以及作为对由图像处理单元13生成的显示用图像进行显示的显示部的车载显示器14。

前方照相机11以及后方照相机12分别被安装在车辆的前侧以及后侧，由前方照相机11拍摄车辆前方的规定范围，由后方照相机12拍摄车辆后方的规定范围。这些各照相机11、12是能够进行广角范围的拍摄的广角照相机，例如能够在车辆前方以及车辆后方以180°的视场角进行拍摄。各照相机11、12是基于CCD图像传感器、CMOS图像传感器进行拍摄的数字拍摄方式的照相机。

更具体而言，如图2所示，在车辆C中，例如在车顶部分的前侧部安装有前方照相机11，并且在车顶部分的后侧部安装有后方照相机12。而且，前方照相机11拍摄前方范围R1，后方照相机12拍摄后方范围R2。前方范围R1与后方范围R2排列在车辆C的前方以及后方。因此，在车辆C前进的情况下，被前方照相机11拍摄为前方范围R1的范围随着车辆C的前进，被后方照相机12拍摄为后方范围R2。另外，在车辆C后退的情况下，被后方照相机12拍摄为后方范围R2的范围随着车辆C的后退，被前方照相机11拍摄为前方范围R1。其中，前方照相机11以及后方照相机12均被配置在沿车辆C的前后方向延伸的同一线上(中心线X1上)，以该中心线X1为拍摄中心来拍摄车辆前方以及车辆后方。

前方照相机11不能够对比其靠车辆后方侧进行拍摄，后方照相机12不能够对比其靠车辆前方侧进行拍摄。因此，车辆C的左右的侧方部成为两个照相机11、12的视场外的范围R3(中间区域)。

另外，各照相机11、12能够以比水平方向向下的朝向分别对车辆前方、车辆后方进行拍摄而进行地面的拍摄。因此，在由各照相机11、12拍摄到的图像中包含地平面上(路面上)的白线等标记图像。

返回到图1的说明，车载显示器14在车厢内被设于用户在驾驶中能够视觉确认的位置，例如仪表板部。车载显示器14的形状以及大小可以是任意的，但在本实施方式中，由于在车载显示器14以自身车辆为中心包含其前后两方的区域的范围显示车辆周边图像，所以在车载显示器14的显示画面设定有纵长的显示区域(参照图4(a)和图4(b))。其中，在车载显示器14能够显示车辆周边图像以外的信息，当在车载显示器14不显示车辆周边图像时，可在其显示画面显示车辆前方图像(例如车辆前方的暗视图像)、拍摄图像以外的各种信息。

图像处理单元13是将各照相机11、12的拍摄数据合成来生成显示用图像，并使该显示用图像显示于车载显示器14的图像处理装置。基于各照相机11、12的拍摄数据生成并显示于车载显示器14的显示用图像也被称为合成图像。图像处理单元13具有被输入前方照相机11的拍摄数据的第一变换电路21、和被输入后方照相机12的拍摄数据的第二变换电路22，这些各变换电路21、22分别对前方照相机11以及后方照相机12的各拍摄数据进行透视变换，生成鸟瞰图像。鸟瞰图像是从上空位置向垂直方向俯视各照相机11、12的拍摄范围的状态的俯瞰图像。通过各变换电路21、22，分别生成前方鸟瞰图像、后方鸟瞰图像。

各照相机11、12每隔规定时间分别对车辆前方以及车辆后方进行拍摄，根据各变换电路21、22，每隔规定时间得到车辆前方的鸟瞰图像和车辆后方的鸟瞰图像。

对各变换电路21、22中的透视变换进行补充说明。如图3所示，在利用被设于距离地面为高度h的位置的前方照相机11拍摄地面的情况下，作为拍摄图像，得到从照相机位置起处于规定的焦距f的屏幕平面T上的拍摄图像。该情况下，前方照相机11拍摄地平面等同于执行从地平面坐标向屏幕平面T上的二维坐标的透视变换。鉴于此，通过在各变换电路21、22中，对由各照相机11、12拍摄到的拍摄图像进行与上述透视变换相反的透视变换，来进行从屏幕平面T上的坐标向地平面上的坐标的变换，由此生成作为地面上的图像的鸟瞰图像(图3的P的范围的俯视图像)。

由各变换电路21、22生成的鸟瞰图像的图像数据被输入给CPU23。CPU23基于前方鸟瞰图像和后方鸟瞰图像来生成车辆周边图像。该车辆周边图像与各变换电路21、22中的变换后的图像同样，作为鸟瞰图像而生成。

在本实施方式的图像显示系统中，由于在自身车辆的周边(车辆侧方)包含照相机视场外的范围R3，所以对于该照相机视场外的范围R3，使用前方照相机11的拍摄图像(前方鸟瞰图像)、以及后方照相机12的拍摄图像(后方鸟瞰图像)的任意一个的过去图像。而且，作为用于使用过去图像来生成车辆周边图像的构成，图像处理单元13具有存储过去图像的图像存储器24。另外，车辆C具备检测车速的车速传感器16、和检测横摆率(沿旋转方向的旋转角的变化速度)的横摆率传感器17。

车速传感器16以及横摆率传感器17的检测信号被依次输入给CPU23。CPU23基于这些各传感器16、17的检测信号，计算作为车辆的行驶状态的车速以及横摆率。此时，只要能够把握由各照相机11、12进行拍摄时的车辆的行驶状态即可，只要计算出车辆C的移动距离以及旋转角、或者车辆C的位置以及朝向即可。另外，CPU23每隔规定时间便将前方鸟瞰图像的过去图像和后方鸟瞰图像的过去图像与图像拍摄时的车辆C的行驶信息(车速、横摆率)建立对应地存储于图像存储器24。

在生成车辆周边图像的情况下，若车辆正在前进，则作为照相机视场外的范围R3的图像，从图像存储器24读出由前方照相机11在过去拍摄到的拍摄图像(前方过去图像)。然后，基于各照相机11、12的当前的拍摄图像(前方当前图像以及后方当前图像)和前方过去图像来生成车辆周边图像。另外，若车辆正在后退，则作为照相机视场外的范围R3的图像，从图像存储器24读出由后方照相机12在过去拍摄到的拍摄图像(后方过去图像)。然后，基于各照相机11、12的当前的拍摄图像(前方当前图像以及后方当前图像)和后方过去图像来生成车辆周边图像。

在生成车辆周边图像时，CPU23在同一平面上沿车辆前后方向排列配置前方当前图像、后方当前图像、以及前方过去图像(或者后方过去图像)并使它们接合。此时，基于当前的车辆C的行驶状态(车速、横摆率)、和拍摄到过去图像时的车辆C的行驶状态(车速、横摆率)来进行过去图像的平行移动以及旋转(欧几里得变换)，将各图像合成为一个图像。

图4(a)和图4(b)是表示车载显示器14的显示画面所显示的车辆周边图像的图。在该显示画面中，规定了前方显示区域A1、后方显示区域A2、以及中间显示区域A3，在前方显示区域A1中显示有由前方照相机11拍摄到的前方当前图像，在后方显示区域A2中显示有由后方照相机12拍摄到的后方当前图像，在中间显示区域A3中显示有前方过去图像以及后方过去图像的任意一个。在图4(a)和图4(b)中假定车辆的前进时，在中间显示区域A3中显示有前方过去图像。为了方便说明，在图4(a)和图4(b)中，将车辆行进方向设为y方向，并将与其正交的方向设为x方向(后述的图5等也相同)。其中，各显示区域A1～A3的y方向的长度尺寸既可以全部相同，也可以分别不同。也可以是仅中间显示区域A3与其他区域相比y方向的长度尺寸较短的构成。

在中间显示区域A3中，在成为显示画面的中央的位置显示有自身车辆图像G1。该自身车辆图像G1被显示在与前方过去图像(或者后方过去图像)重复的位置。通过在车辆周边图像中显示自身车辆图像G1，用户容易以自身车辆为基准来把握周围的状况(相对的位置关系)。另外，在图4(a)和图4(b)的车辆周边图像中，作为拍摄图像的信息，示出有路面上绘制的白线等标记。这里，设想车辆C在停车场行驶的情况，在车辆右侧显示有向车辆行驶方向延伸的直线图像G2，在车辆左侧显示有对每个停车区附加的区划线图像G3。

这里，若车载显示器14的各显示区域A1～A3所分别显示的图像不偏移而恰当地接合，则如图4(a)所示在车辆行驶方向直线图像G2连接成一条直线。另外，对于区划线图像G3而言，相邻的区划线图像G3彼此的间隔、即停车空间的宽度W1均等，并且在区划线图像G3沿多个停车空间的排列方向具有宽度的情况下，其宽度W2均等。

然而，根据各照相机11、12的安装的状态、车辆的行驶状态，可认为在各显示区域A1～A3中的显示图像的接合部分会产生偏移。即，若照相机拍摄方向因各照相机11、12的安装误差而偏移，则在将利用各变换电路21、22变换后的鸟瞰图像接合时，会在图4(a)和图4(b)的x方向以及y方向的至少任意一个产生偏移。另外，在由车速传感器16、横摆率传感器17检测出的车辆行驶状态与实际的车辆行驶状态不同的情况下，不能适当地进行过去图像的平行移动以及旋转，也会在图像接合部分产生偏移。作为车辆行驶状态的检测误差产生的重要因素，可考虑无法正确地追随车辆举动的过渡变化、由于轮胎的打滑而误检测车速等。

这样的图像接合部分处的偏移容易在不同的照相机的拍摄图像彼此接合的部位产生。即，在车辆C前进时，容易在显示于后方显示区域A2的后方当前图像与显示于中间显示区域A3的前方过去图像的接合部分产生偏移，在车辆C后退时，容易在显示于前方显示区域A1的前方当前图像与显示于中间显示区域A3的后方过去图像的接合部分产生偏移。

图4(b)中表示了在显示于后方显示区域A2的后方当前图像与显示于中间显示区域A3的前方过去图像的接合部分产生了偏移的状态。即，在图4(b)中，直线图像G2产生了x方向的偏移。另外，区划线图像G3产生了y方向的偏移，结果，仅图像接合部分处的区划线图像G3成为与其他的区划线图像G3相比沿y方向挤压的状态(W2变小的状态)。

鉴于此，在本实施方式中，计算出各图像的接合部分处的偏移，并且基于该偏移来进行图像的修正，由此恰当地生成车辆周边图像。

首先，对图像接合部分处的偏移计算进行说明。其中，这里设想车辆C前进时。

在车辆前进时，如上述那样容易在显示于后方显示区域A2的后方当前图像与显示于中间显示区域A3的前方过去图像的接合部分产生偏移，在该显示区域A2以及A3的边界部分，设定后方当前图像与前方过去图像重复而重叠的重复区域。具体如图5所示，若前方过去图像的y方向的长度尺寸比中间显示区域A3的y方向的长度尺寸大，并将前方过去图像配置在中间显示区域A3，则该前方过去图像的一部分与后方显示区域A2重合。该情况下，在后方显示区域A2中，在与中间显示区域A3的边界部分规定了重复区域Ap，前方过去图像和后方当前图像在该重复区域Ap重复配置。

CPU23对在重复区域Ap中相互重叠的两个图像提取特征点，通过比较相同的形态的特征点彼此，来计算出图像彼此的偏移。例如，通过提取路面上的标记图像作为特征点，并比较该特征点周边的亮度的分布等特征量，来计算出图像彼此的偏移。

使用图6对偏移计算进行更具体的说明。图6中表示了显示于后方显示区域A2的后方当前图像、和显示于中间显示区域A3的前方过去图像，这里为了方便，将它们称为“A2图像”、“A3图像”。在A2图像以及A3图像中，在重复区域Ap的重复部分通过图像彼此的比较来分别计算出x方向以及y方向的偏移。该情况下，若在使A2图像以及A3图像重叠的状态下，作为特征点的直线图像G2向x方向偏移，则该偏移量被计算为x方向的偏移。

另外，对于A2图像以及A3图像，以后方显示区域A2与中间显示区域A3的分界线BL为基准，分别计算出作为特征点的区划线图像G3的y方向长度b1、b2，通过这些b1、b2的比较，来计算y方向的偏移。

此外，在车辆后退时，与上述不同，在前方显示区域A1以及中间显示区域A3的边界部分设定重复区域Ap，在该重复区域Ap中，根据前方当前图像与后方过去图像的重叠部分来计算出图像彼此的偏移。

另外，CPU23基于重复区域Ap中的图像彼此的偏移，以过去图像(前方过去图像或者后方过去图像)为修正对象来计算修正参数，并使用该修正参数，对过去图像实施基于透视变换的修正。该情况下，当在重复区域Ap中当前图像的特征点与过去图像的特征点向x方向偏移时，以使过去图像沿该x方向伸缩的方式实施透视变换。另外，在当前图像的特征点与过去图像的特征点沿y方向偏移的情况下，以使过去图像沿该y方向伸缩的方式实施透视变换。

在本实施方式中，仅在中间显示区域A3的y方向的两端中的一个端部设定了重复区域Ap，并基于重复区域Ap侧的偏移，修正中间显示区域A3中的过去图像的整体。该情况下，对于未被计算偏移的一侧的端部，以图像不伸缩的方式进行修正。即，以中间显示区域A3的y方向的两端中在重复区域Ap侧修正量＝最大，在其相反侧修正量＝0的方式，进行进行透视变换的修正。

具体如图7所示，在重复区域Ap中的x方向的偏移为c1、y方向的偏移为c2的情况下，使重复区域Ap侧的x方向的修正量＝c1、y方向的修正量＝c2，将矩形形状的修正前图像透视变换为梯形形状。该情况下，尤其作为x方向的修正，在分界线BL上伸缩(在图7中为伸长)c1量。另外，作为y方向的修正，在分界线BL上伸缩(在图7中为收缩)c2量。

如图8所示，伴随着基于透视变换的修正，修正后A3图像上的直线图像G2被变换成与y方向成锐角，A1图像上的直线图像G2与A2图像上的直线图像G2连结。即，可保持A1图像上的直线图像G2与A2图像上的直线图像G2的连接，并消除A3图像上的直线图像G2与A2图像上的直线图像G2的偏移。另外，若与修正前(图4(b))比较，则在后方显示区域A2与中间显示区域A3的分界线BL上，A3图像上的区划线图像G3向车辆方向前方移动了c2。由于伴随着该移动，以后方显示区域A2与中间显示区域A3的分界线BL为基准，修正后A3图像上的区划线图像G3的位置与后方显示区域A2上的区划线图像G3的位置相等，所以消除了分界线BL处的区划线图像G3的形变。

另外，对于车载显示器14所显示的车辆周边图像而言，白线等的偏移可能成为妨碍是自身车辆以比较低的速度行驶的情况，具体可设想在停车场内行驶的情况。也可认为在停车场中行驶时，为了使自身车辆停在所希望的停车区内而大多注视路面上的标记。鉴于此，在本实施方式中，在车辆以规定的低速状态行驶的情况下，使作为鸟瞰图像的车辆周边图像显示于车载显示器14。

本实施方式中的图像生成处理的流程图如图9所示。该图像生成处理由图像处理单元13的CPU23每隔规定周期实施。

首先，在步骤S10中，取得自身车辆的车速和横摆率。接着在步骤S11中，判定自身车辆是否处于规定的低速行驶状态。具体而言，判定当前的车速是否为规定值(例如，30km/h)以下。此外，在步骤S11中，也可以根据导航装置的信息等来判定当前是否为停车场内的行驶中。而且，若步骤S11为否，则结束处理。在步骤S11为否定的情况下，在车载显示器14显示导航信息、行驶状态信息等车辆周边图像以外的信息图像。

在停车时，由于用户以白线等目标物为基准来操作车辆，所以若图像产生偏移则车辆与目标物的把握变得困难。鉴于此，在想要对车辆进行停车的情况下，通过进行图像的修正并将修正后的图像显示于车载显示器14，能够对用户恰当地提示信息。此外，也可以是图像处理单元13从安装于车辆的GPS传感器取得车辆的位置，来判定为想要对车辆进行停车的构成。

另外，若步骤S11为是则移至步骤S12，取得由第一变换电路21以及第二变换电路22变换后的鸟瞰图像(前方当前图像以及后方当前图像)。此时，将前方当前图像以及后方当前图像分别暂时存储于作业用存储器，并且作为历史记录图像存储于图像存储器24。向图像存储器24的存储在与此时的车速、横摆率等车辆行驶状态对应的基础上进行。以下，存储于图像存储器24的历史记录图像也被称为过去图像。

然后，在步骤S13中，判定自身车辆是否处于前进状态。该判定例如基于车辆变速装置的换档位置来实施。若自身车辆处于前进状态则移至步骤S14，若自身车辆处于后退状态则移至步骤S16。在步骤S14中，从图像存储器24中读出前方过去图像作为显示于中间显示区域A3的图像。该情况下，在图像存储器24中以时间序列存储有多个前方过去图像，可以基于车速从其中决定这次的图像生成所使用的对象图像。另外，在步骤S15中，在后方显示区域A2与中间显示区域A3的边界部分设定重复区域Ap。

另一方面，在步骤S16中，从图像存储器24读出后方过去图像作为显示于中间显示区域A3的图像。该情况下，在图像存储器24中以时间序列存储有多个后方过去图像，可以基于车速从其中决定这次使用的图像。另外，在步骤S17中，在前方显示区域A1与中间显示区域A3的边界部分设定重复区域Ap。

然后，在步骤S18中，将在步骤S11中取得的前方当前图像以及后方当前图像、和在步骤S14或者S16的任意一个中取得的前方过去图像或者后方过去图像配置在同一平面上来合成为一个图像，由此生成车辆周边图像。此时，基于过去图像的拍摄时刻的车辆行驶信息和当前的车辆行驶状态，来实施各图像的合成(接合)。

然后，在步骤S19中，计算重复区域Ap中的图像彼此的偏移。接着在步骤S20中，基于图像彼此的偏移来实施车辆周边图像的修正。此时，以显示于中间显示区域A3的过去图像为对象来实施图像修正。在步骤S21中，将修正后的车辆周边图像输出给车载显示器14并结束处理。

在由上述图像处理单元13的CPU23执行的图像生成处理中，S13～S18的处理作为图像生成部发挥作用，S19的处理作为偏移计算部发挥作用，S20的处理作为修正部发挥作用，S21的处理作为显示控制部发挥作用。

其中，上述各部是着眼于车辆用图像处理装置的功能而方便地分类出的功能部，车辆用图像处理装置的内部并不需要物理地划分为7个部分。另外，上述各部能够使用逻辑电路或者CPU等以硬件实现，也能够作为计算机程序或者程序的一部分以软件实现。

以下，对本实施方式的效果进行叙述。

将由照相机11、12拍摄到的多个拍摄图像接合来生成显示图像，并将该生成的图像显示于车载显示器14。由此，能够在车载显示器14显示对比作为一个图像而拍摄到的范围更宽的范围进行表示的图像。这里，例如若照相机11、12的设置位置等从初始位置偏移，则当使图像接合时会在两个图像间产生偏移。鉴于此，计算出接合部分的图像彼此的偏移。具体而言，在前方当前图像以及中间区域图像的接合部分、和后方当前图像以及中间区域图像的接合部分的至少任意一个中计算出图像彼此的偏移。而且，基于该计算出的偏移，来修正显示图像。由此，能够恰当地将显示图像显示于车载显示器14。

在重复区域Ap中使图像彼此重复，计算出重复区域Ap中的图像彼此的偏移。由此，对各图像的排列方向(y方向)以及与其正交的方向(x方向)的任意一个方向均能容易地实施偏移的计算。尤其对于各图像的排列方向(y方向)的偏移而言，计算变得容易。而且，通过基于该计算出的偏移来进行修正，能够恰当地使图像彼此接合。

在使多个照相机11、12的多个拍摄图像接合的情况下，若因照相机11、12的安装误差而引起照相机拍摄方向偏移，则在拍摄图像的接合部分会产生偏移。鉴于此，通过对于由不同的多个照相机11、12拍摄到的拍摄图像基于接合部分的图像彼此的偏移来修正显示图像，能够恰当地将显示图像显示于车载显示器14。

在基于车辆的行驶状态使多个图像接合的情况下，当所取得的行驶状态不恰当时，会在过去图像与当前图像的接合中产生偏移。鉴于此，通过计算过去图像与当前图像中的图像彼此的偏移，并基于该偏移来修正显示图像，即使在所取得的行驶状态并不适当的情况下也能够恰当地显示该图像。

构成为判定是车辆的前进时还是后退时，并且在车辆前进时，在显示区域A2以及A3的边界部分设定重复区域Ap，在车辆后退时，在显示区域A1以及A3的边界部分设定重复区域Ap。由此，在三个图像作为车辆周边图像被合成的构成中，能够在容易产生图像彼此的偏移的部位实施偏移的计算以及修正。该情况下，能够抑制运算负载由于偏移计算以及修正而过度增加的情况。

通过采用以图像整体为修正对象的构成，能够减轻对用户赋予的不协调感。不过，若对不是偏移的检测对象的端部进行修正，则由于进行修正反而会在图像彼此中产生偏移。鉴于此，通过以图像整体为修正对象，并在不作为偏移的检测对象的端部以没有变化的方式实施修正，能够消除因修正反而产生偏移这一不良情况。

(其他实施方式)

也可以例如如以下那样变更上述实施方式。

■在上述实施方式中，采用了仅在中间显示区域A3的y方向的两端中的一个端部设定重复区域Ap，并基于重复区域Ap侧的偏移来修正中间显示区域A3的过去图像的构成，但也可以如以下那样进行变更。在中间显示区域A3的y方向的两端分别设定重复区域Ap，并基于各重复区域Ap侧的偏移，来修正中间显示区域A3的过去图像。即，例如在车辆前进时，计算出前方当前图像与前方过去图像的偏移，并且计算出前方过去图像与后方当前图像的偏移，基于这两方的偏移来修正前方过去图像。

■在上述实施方式中，构成为使用多个拍摄部(前方照相机11、后方照相机12)，并且通过将当前图像和过去图像合成来生成车辆周边图像，但也可以如以下的第一变形例、第二变形例那样进行变更。

(第一变形例)

通过将由多个拍摄部分别拍摄到的多个当前图像合成，来生成车辆周边图像。该情况下，不使用过去图像。具体如图10所示，对车辆设置前方拍摄用的第一照相机31、右侧方拍摄用的第二照相机32、以及左侧方拍摄用的第三照相机33。而且，这些各照相机31～33的拍摄图像被输入到图像处理单元13。图像处理单元13中的图像变换处理等与上述相同。各照相机31～33的拍摄范围分别为前方范围R11、右侧方范围R12、左侧方范围R13，前方范围R11与右侧方范围R12一部分重复，前方范围R11与左侧方范围R13一部分重复。其中，在图10中使各照相机的视场角比180°小，但该角度是任意的，也可以与图2同样视场角＝180°。

图11是表示车载显示器14的显示画面所显示的车辆周边图像的图。在该显示画面中，显示有除了自身车辆图像G1的后方之外的部位的车辆周边图像。而且，在该自身车辆图像G1的周围，规定了前方显示区域A11、右侧方显示区域A12以及左侧方显示区域A13，在这些各显示区域中显示第一～第三照相机31～33的当前拍摄图像。其中，对左右的侧方显示区域A12、A13附加了网点。

该情况下，可认为在显示区域A11以及A12的边界部分、显示区域A11以及A13的边界部分，各个不同的照相机的拍摄图像接合，在该接合部分会产生图像彼此的偏移。对于这一点，各照相机31～33的拍摄范围重复，因此前方显示区域A11用的拍摄图像与侧方显示区域A12、A13用的拍摄图像具有重复区域(图的影线部分)。鉴于此，CPU23在图像的重复区域中计算图像彼此的偏移，并且基于该偏移来修正任意一个图像。关于修正，例如可以以右侧方显示区域A12的显示图像、左侧方显示区域A13的显示图像为修正对象，实施基于透视变换的修正。

其中，作为将由多个照相机分别拍摄到的多个当前图像合成来生成车辆周边图像的构成，除了上述以外，还可考虑将前方用照相机和右侧方用的照相机(或者左侧方用的照相机)的两个拍摄图像合成的构成、将前后以及左右的四个照相机的拍摄图像合成的构成。

通过使由多个照相机31～33拍摄到的图像接合，在车载显示器14中，与显示由一个照相机拍摄到的图像的情况相比能够显示更宽广的区域。这里，在照相机31～33的拍摄区域重复的情况下，通过在该重复区域中检测图像彼此的偏移，并基于该偏移来修正图像，能够恰当地显示接合后的图像。尤其在任意一方的照相机的设置位置从初始位置变化而不能正确地接合图像那样的情况下，通过该修正能够正确地显示图像。

(第二变形例)

通过将由一个拍摄部拍摄到的当前图像和过去图像合成，来生成车辆周边图像。具体如图12所示，对车辆设置有前方拍摄用的前方照相机41。而且，该前方照相机41的拍摄图像被输入到图像处理单元13。图像处理单元13中的图像变换处理等与上述相同。前方照相机41的拍摄范围R21例如可与图2所示的前方范围R1相同。在图像处理单元13中，车辆前方的拍摄图像与车辆行驶状态对应地作为过去图像被依次存储于图像存储器(与图1的构成相同)。

图13是表示车载显示器14的显示画面所显示的车辆周边图像的图。在该显示画面中，在成为自身车辆图像G1的前方的位置规定前方显示区域A21，并且在成为自身车辆图像G1的侧方的位置规定侧方显示区域A22，在这些各显示区域中分别显示当前图像和过去图像。该情况下，CPU23在显示区域A21以及A22的边界部分，使当前图像和过去图像以一部分重复的状态接合，在该重复区域(图的影线部分)中计算出图像彼此的偏移，并且基于该偏移来修正任意一个图像。关于修正，例如可以以过去图像为修正对象，来实施基于透视变换的修正。

此外，在图13中，构成为使用一个当前图像和一个过去图像来生成车辆周边图像，但除此以外，也可以构成为使用一个当前图像和两个(或者两个以上)过去图像来生成车辆周边图像。该情况下，可以成为使用过去图像来生成车辆后方的图像的构成。关于图像的修正，可以对过去图像彼此的接合部分也计算出偏移，并实施将该偏移消除的修正。

■在上述实施方式中，构成为比较重复区域Ap中的图像的特征点计算偏移，并基于该计算出的偏移的量来进行修正。除此之外，也可以构成为基于当前图像以及过去图像中的特征点的周期性来计算图像的偏移，并基于该计算出的偏移的量进行修正。

图14表示基于特征点的周期性的偏移的计算处理的流程图。该处理由图像处理单元13通过图9所示的图像生成处理中的步骤S19来进行。

在步骤S30中，判定在显示车辆的周围的显示图像中是否包含彼此具有相同形状以及大小并且沿车辆行驶方向排列配置的多个拍摄对象的图像(反复图像)。然后，在显示图像中包含反复图像的情况下(S30：是)，在步骤S31中判定在图像彼此的接合部分是否拍摄对象的形状以及大小的至少任意一个与该接合部分以外的拍摄对象的形状以及大小不同。而且，当判定为在接合部分产生了拍摄对象的形状以及大小的不同时(S31：是)，在步骤S32中，基于拍摄对象的形状以及大小的不同来计算偏移并结束处理。

当在包含车辆的前方以及后方的范围以鸟瞰图像显示车辆的周围时，有时具有相同形状以及大小的拍摄对象沿车辆行驶方向每隔规定间隔便反复出现。该情况下，根据上述构成，在包含这样的拍摄对象的显示图像(鸟瞰图像)中，能够抑制在车辆行驶方向的前侧和与其相比靠后方的一侧形状、大小不同这一不良情况。

例如，在图4(a)和图4(b)那样对多个停车区的每一个绘制了白线的停车场中，当使车辆沿这些停车区的排列方向行驶时，作为拍摄对象的白线每隔规定间隔便反复出现。在这样的情况下，即使在各图像的接合部分白线的形状以及大小的任意一个与其他不同也能够将其消除。由此，能够使均具有相同形状以及大小的白线以与实际相同的形态显示。

■也可以构成为具备针对多个图像将哪一个决定为修正对象的单元。例如，在取得显示图像的生成所使用的多个拍摄图像中的任意一个拍摄图像时产生了超过规定水平的车辆振动的情况下，由于对于该图像产生误差的可能性较高，所以将该图像作为修正对象。

■在上述实施方式中，构成为基于图像彼此的重复部分中的偏移来修正过去图像，但也可以构成为修正当前图像。另外，也可以构成为对当前图像和过去图像一同进行修正。

■也可以构成为在由横摆率传感器17检测出的横摆率比规定值大的情况下，进行图像的修正。由于横摆率越大，则车辆位置的实际值与计算值越容易产生差，越容易产生图像间的偏移，所以能够恰当地修正图像。

■也可以构成为车辆的位置以及朝向分别从GPS传感器、数字罗盘取得。

本公开依据实施例进行了记述，但本公开并不限定于该实施例、结构。本公开也包含各种变形例、等同范围内的变形。除此之外，各种组合、方式以及在它们中仅包含一个要素，其以上或者其以下的其他组合、方式也包含在本公开的范畴、思想范围内。

Claims (14)

1.一种车辆用图像处理装置，其特征在于，应用于车辆，被安装于该车辆，具备：

拍摄部(11、12)，拍摄该车辆的周边的规定范围；

显示部(14)，显示基于由所述拍摄部拍摄到的多个拍摄图像而生成的显示图像；

图像生成部，通过将由所述拍摄部拍摄到的所述多个拍摄图像接合，来生成用于由所述显示部显示的所述显示图像；

偏移计算部，在生成所述显示图像时，计算出所述显示图像中的所述多个拍摄图像的接合部分的图像彼此的偏移；

修正部，基于所述偏移来修正所述显示图像；以及

显示控制部，使修正后的所述显示图像显示于所述显示部。

2.根据权利要求1所述的车辆用图像处理装置，其特征在于，

所述图像生成部在所述多个拍摄图像的接合部分使图像彼此重复，

所述偏移计算部通过所述多个拍摄图像中的重复的部分的对比来计算出所述偏移。

3.根据权利要求1或者2所述的车辆用图像处理装置，其特征在于，

所述拍摄部具备拍摄范围分别不同的多个拍摄装置(11、12)，

所述图像生成部将由所述多个拍摄装置分别拍摄到的所述多个拍摄图像接合。

4.根据权利要求1～3中任意一项所述的车辆用图像处理装置，其特征在于，还具备：

状态取得部，取得所述拍摄部拍摄时的所述车辆的行驶状态；以及

存储部，存储所述拍摄图像作为历史记录图像，

所述图像生成部基于由所述状态取得部取得的行驶状态，使存储于所述存储部的历史记录图像和由所述拍摄部拍摄到的当前图像接合来生成所述显示图像，

所述偏移计算部计算所述历史记录图像和所述当前图像中的图像彼此的偏移。

5.根据权利要求4所述的车辆用图像处理装置，其特征在于，

所述车辆具有以车辆前方为拍摄范围的前方拍摄装置(11)、和以车辆后方为拍摄范围的后方拍摄装置(12)作为所述拍摄部，所述车辆用图像处理装置使用这两个拍摄装置的拍摄图像，使包围所述车辆的范围通过车辆周边图像显示于所述显示部，

在所述车辆的周围存在不是所述两个拍摄装置的任意一个的拍摄范围，并且成为这些拍摄范围之间的中间区域(R3)，

所述图像生成部使用所述两个拍摄装置中的成为车辆行驶方向的前侧的一方拍摄装置的历史记录图像作为所述中间区域的图像即中间区域图像，通过将所述前方拍摄装置的拍摄图像、所述后方拍摄装置的拍摄图像以及所述中间区域图像接合，来生成所述车辆周边图像作为所述显示图像，

所述偏移计算部在所述前方拍摄装置的拍摄图像以及所述中间区域图像的接合部分、和所述后方拍摄装置的拍摄图像以及所述中间区域图像的接合部分的至少任意一个中计算出图像彼此的偏移。

6.根据权利要求5所述的车辆用图像处理装置，其特征在于，

还具备判定部，该判定部判定所述车辆处于前进状态还是处于后退状态，

所述图像生成部基于所述车辆处于前进以及后退的哪一个状态，在所述前方拍摄装置的拍摄图像以及所述中间区域图像的接合部分、和所述后方拍摄装置的拍摄图像以及所述中间区域图像的接合部分的任意一个中使图像重复，

所述偏移计算部在进行了所述重复的图像的接合部分计算出所述偏移。

7.根据权利要求5或者6所述的车辆用图像处理装置，其特征在于，

所述修正部在所述前方拍摄装置的拍摄图像以及所述中间区域图像的接合部分、和所述后方拍摄装置的拍摄图像以及所述中间区域图像的接合部分的任意一个中计算出所述图像彼此的偏移，在所述中间区域图像中，通过以在进行了所述偏移的计算的一侧的端部使所述偏移减少，并且在其相反侧的端部没有变化的方式进行变换，来实施所述修正。

8.根据权利要求5～7中任意一项所述的车辆用图像处理装置，其特征在于，

还具备不同判定部，在所述拍摄图像中，当所述拍摄图像中包含彼此具有相同形状以及大小并且沿车辆行驶方向排列配置的多个拍摄对象(G3)时，该不同判定部判定在所述拍摄图像彼此的接合部分所述拍摄对象的形状以及大小的至少任意一个与该接合部分以外的所述拍摄对象的形状以及大小不同的情况，

所述修正部在所述不同判定部判定为在所述接合部分产生了所述拍摄对象的形状以及大小的不同的情况下，以消除该不同的方式修正所述显示图像。

9.根据权利要求1～3中任意一项所述的车辆用图像处理装置，其特征在于，还具备：

状态取得部，取得所述拍摄部拍摄时的所述车辆的行驶状态；以及

存储部，每隔规定周期便将由所述拍摄部拍摄到的所述多个拍摄图像存储为历史记录图像，

所述图像生成部基于由所述状态取得部取得的行驶状态，将存储于所述存储部的所述多个历史记录图像中的一个决定为对象图像，将所述对象图像和由所述拍摄部在当前时刻拍摄到的拍摄图像即当前图像接合来生成所述显示图像，

所述偏移计算部计算出所述对象图像与所述当前图像中的偏移。

10.根据权利要求9所述的车辆用图像处理装置，其特征在于，

所述拍摄部具有：

前方拍摄装置(11)，该前方拍摄装置以所述车辆的前方为拍摄范围；以及

后方拍摄装置(12)，该后方拍摄装置以所述车辆的后方为拍摄范围，

在所述车辆的周围存在中间区域(R3)，该中间区域(R3)不包含在所述前方拍摄装置和所述后方拍摄装置的任意一个的拍摄范围，并且成为所述前方拍摄装置的拍摄范围与所述后方拍摄装置的拍摄范围之间，

所述图像生成部使用从由所述前方拍摄装置和所述后方拍摄装置中的成为车辆行驶方向的前侧的一方拍摄装置拍摄并存储于所述存储部的多个历史记录图像中决定的所述对象图像作为表示所述中间区域的中间区域图像，通过将由所述前方拍摄装置在当前时刻拍摄到的当前图像、由所述后方拍摄装置在当前时刻拍摄到的当前图像以及所述中间区域图像接合，来生成对包围所述车辆的范围进行表示的车辆周边图像，

所述偏移计算部在所述前方拍摄装置的当前图像以及所述中间区域图像的接合部分、和所述后方拍摄装置的当前图像以及所述中间区域图像的接合部分的至少任意一个中计算图像彼此的偏移，

所述修正部基于由所述偏移计算部计算出的偏移来修正所述车辆周边图像，

所述显示控制部使由所述修正部修正后的所述车辆周边图像作为所述显示图像显示于所述显示部。

11.根据权利要求10所述的车辆用图像处理装置，其特征在于，

还具备判定部，该判定部判定所述车辆是处于前进状态还是后退状态，

在通过所述判定部判定为所述车辆处于所述前进状态的情况下，所述图像生成部使所述后方拍摄装置的当前图像以及所述中间区域图像在所述接合部分重复，

在通过所述判定部判定为所述车辆处于所述后退状态的情况下，所述图像生成部使所述前方拍摄装置的当前图像以及所述中间区域图像在所述接合部分重复，

所述偏移计算部在所述后方拍摄装置的当前图像与所述中间区域图像的所述接合部分或者在所述前方拍摄装置的当前图像以及所述中间区域图像的接合部分计算出所述偏移。

12.根据权利要求10或者11所述的车辆用图像处理装置，其特征在于，

所述修正部(i)在通过所述判定部判定为所述车辆处于所述后退状态、通过所述偏移计算部在所述前方拍摄装置的当前图像以及所述中间区域图像的所述接合部分计算出所述偏移的情况下，在所述中间区域图像中，以在与所述前方拍摄装置的当前图像进行了接合的一侧的端部使所述偏移减少，并且在与所述前方拍摄装置的当前图像进行了接合的一侧的相反侧的端部没有变化的方式修正所述中间区域图像，

(ii)在通过所述判定部判定为所述车辆处于所述前进状态、通过所述偏移计算部在所述后方拍摄装置的当前图像以及所述中间区域图像的所述接合部分计算出所述偏移的情况下，在所述中间区域图像中，以在与所述后方拍摄装置的当前图像进行了接合的一侧的端部使所述偏移减少，并且在与所述后方拍摄装置的当前图像进行了接合的一侧的相反侧的端部没有变化的方式修正所述中间区域图像。

13.根据权利要求10～12中任意一项所述的车辆用图像处理装置，其特征在于，

还具备不同判定部，在所述拍摄图像中，当所述当前图像中包含彼此具有相同形状以及大小并且沿所述车辆的行驶方向排列配置的多个拍摄对象(G3)时，该不同判定部判定在与所述当前图像进行接合的对象即所述对象图像的接合部分所述拍摄对象的形状以及大小的至少任意一个与该接合部分以外的所述拍摄对象的形状以及大小不同的情况，

所述修正部在所述不同判定部判定为在所述接合部分产生了所述拍摄对象的形状以及大小的不同的情况下，以消除该不同的方式修正所述显示图像。

14.根据权利要求1～13中任意一项所述的车辆用图像处理装置，其特征在于，

所述车辆具备拍摄范围局部重复的多个拍摄装置(31、32、33)作为所述拍摄部，

所述偏移计算部计算由所述多个拍摄装置拍摄且所述拍摄范围局部重复的所述拍摄图像彼此的偏移。