CN109417611A - 图像生成设备、图像生成方法和程序 - Google Patents

Abstract

本技术涉及使得能够迅速引起用户的注意的图像生成设备、图像生成方法和程序。集成单元集成第一图像和第二图像，从而生成集成图像。如果第二图像中的物体位于第一图像中的物体的后侧，那么叠加单元把警告标志叠加在集成图像上，从而生成叠加图像。本技术例如适用于提供与通过侧视镜或后视镜看到的图像对应的图像的相机监控系统(CMS)。

Description

图像生成设备、图像生成方法和程序

技术领域

本技术涉及图像生成设备、图像生成方法和程序，更特别地，涉及例如能够迅速引起用户的注意的图像生成设备、图像生成方法和程序。

背景技术

例如，在专利文献1中，提出一种在自身车辆中，通过组合由安装在车辆后部的相机拍摄的图像，和通过变换由安装在车辆的左右后视镜中的相机拍摄的图像而获得的图像，生成表示从一个虚拟视点观察的车辆后方的状况的图像，并显示生成的图像，从而提供具有真实感的图像的相机监控系统(CMS)。

在此，下面，由CMS提供的图像也被称为CMS图像。

引文列表

专利文献

专利文献1:JP-B-4762698

发明内容

技术问题

当在自身车辆中，通过组合由安装在车辆后部的相机拍摄的图像，和通过变换由安装在车辆的左右后视镜中的相机拍摄的图像而获得的图像，生成表示从一个虚拟视点观察的车辆后方的状况的图像，作为CMS图像时，在由安装在车辆左右后视镜中的相机拍摄的图像中显示的行驶中第二辆车，可能被由安装在车辆后部的相机拍摄的图像中显示的行驶中的第一辆车隐藏，从而可能难以识别出第二辆车。

这种情况下，驾驶自身车辆的用户(驾驶员)可能很晚才发现第二辆车正在逼近自身车辆。

鉴于上述情况，产生了本技术，本技术旨在使得能够迅速引起用户的注意。

问题的解决方案

本技术的图像生成设备和程序是一种图像生成设备，和使计算机起所述图像生成设备作用的程序，所述图像生成设备包括集成第一图像和第二图像，从而生成集成图像的集成单元，和在与第一图像中显示的物体相比，第二图像中显示的物体位于更远侧的情况下，使警告标志被叠加在集成图像上，从而生成叠加图像的叠加单元。

本技术的图像生成方法是一种包括集成第一图像和第二图像，从而生成集成图像，并在与第一图像中显示的物体相比，第二图像中显示的物体位于更远侧的情况下，使警告标志被叠加在集成图像上，从而生成叠加图像的图像生成方法。

在本技术的图像生成设备、图像生成方法和程序中，集成第一图像和第二图像，从而生成集成图像。随后，在与第一图像中显示的物体相比，第二图像中显示的物体位于更远侧的情况下，警告标志被叠加在集成图像上，从而生成叠加图像。

注意，图像生成设备可以是独立设备，或者构成一个设备的内部部件。

此外，可以通过传输介质传输，或者记录在记录介质中地提供程序。

发明的有益效果

按照本技术，可以迅速引起用户的注意。

注意，记载在这里的效果未必是限制性的，可以获得记载在本公开中的任意效果。

附图说明

图1是说明安装在充当车辆的汽车中的CMS的概况的示图。

图2是图解说明其中集成后方图像、L侧图像和R侧图像的集成图像的显示方法的例子的示图。

图3是图解说明在车辆中安装相机的安装位置的例子的平面图，所述相机用于拍摄充当在车辆高速行驶的情况下显示的CMS图像的图像。

图4是图解说明后方图像、L/R侧图像、和通过集成后方图像和L/R侧图像生成的集成图像的例子的示图。

图5是图解说明后方图像、L/R侧图像、和通过集成后方图像和L/R侧图像生成的集成图像的另一个例子的示图。

图6是图解说明后方图像和L/R侧图像的例子的示图。

图7是图解说明通过对L/R侧图像进行仿射变换，然后把仿射变换后的L/R侧图像合成到后方图像中而获得的合成图像的例子的示图。

图8是图解说明通过对L/R侧图像进行仿射变换，然后合成仿射变换后的L/R侧图像和后方图像而获得的合成图像的另一个例子的示图。

图9是图解说明合成图像的例子的示图。

图10是说明显示后方图像和L/R侧图像，作为CMS图像的显示方法的示图。

图11是图解说明道路上的状况的例子的平面图。

图12是图解说明其中显示充当遮挡警告的图像的集成图像的显示例子的示图。

图13是图解说明其中显示充当遮挡警告的图像的集成图像的再一个显示例子的示图。

图14是图解说明其中显示充当遮挡警告的图像的集成图像的另一个显示例子的示图。

图15是图解说明在车辆中安装相机的安装位置的例子的平面图，所述相机用于拍摄充当在车辆低速行驶的情况下显示的CMS图像的图像。

图16是图解说明在车辆中安装用于拍摄充当低速CMS图像的图像的相机的安装位置的例子的透视图。

图17是图解说明充当低速CMS图像的集成图像的例子的示图。

图18是图解说明充当低速CMS图像的集成图像的另一例子的示图。

图19是图解说明在车辆中安装相机的安装位置的例子的透视图，所述相机用于拍摄充当在车辆中低速行驶的情况下显示的CMS图像的图像。

图20是图解说明充当中速CMS图像的集成图像的第一例子的示图。

图21是图解说明充当中速CMS图像的集成图像的第二例子的示图。

图22是图解说明充当中速CMS图像的集成图像的第三例子的示图。

图23是说明充当中速CMS图像的集成图像的第四例子的示图。

图24是图解说明充当中速CMS图像的集成图像的第五例子的示图。

图25是图解说明充当中速CMS图像的集成图像的第五例子的示图。

图26是图解说明本技术适用于的车辆的实施例的外观的构成例子的概况的平面图。

图27是图解说明安装在车辆100中的CMS的构成例子的方框图。

图28是图解说明由CMS图像生成单元165设定的显示模式的例子的示图。

图29是图解说明CMS图像生成单元165的构成例子的方框图。

图30是图解说明后方图像处理单元211的构成例子的方框图。

图31是图解说明L侧图像处理单元212的构成例子的方框图。

图32是图解说明R侧图像处理单元213的构成例子的方框图。

图33是图解说明L后侧图像处理单元214的构成例子的方框图。

图34是图解说明R后侧图像处理单元215的构成例子的方框图。

图35是说明为了站立物检测单元252中的站立物的检测而进行的分割的概况的示图。

图36是说明由CMS图像生成单元165进行的CMS图像生成处理的例子的流程图。

图37是说明在步骤S103进行的显示模式5、6或7的图像生成处理的例子的流程图。

图38是说明在步骤S111-1，由后方图像处理单元211进行的后方图像处理的例子的流程图。

图39是说明在步骤S111-2，由L侧图像处理单元212进行的L侧图像处理的例子的流程图。

图40是说明在步骤S104进行的显示模式4的图像生成处理的例子的流程图。

图41是说明在步骤S181-1，由后方图像处理单元211进行的后方图像处理的例子的流程图。

图42是说明在步骤S181-2，由L后侧图像处理单元214进行的L后侧图像处理的例子的流程图。

图43是说明在步骤S105进行的显示模式2或3的图像生成处理的例子的流程图。

图44是说明在步骤S231-2，由L侧图像处理单元212进行的L侧图像处理的例子的流程图。

图45是图解说明本技术适用于的计算机的实施例的构成例子的方框图。

具体实施方式

<安装在车辆中的CMS的概况>

图1是说明安装在充当车辆的汽车中的CMS的概况的示图。

在CMS中，在车辆中安装相机，并显示由该相机拍摄的图像，作为与利用后视镜可看到的图像对应的图像。

作为后视镜，存在所谓的后视镜(I类镜)、侧视镜(II类镜和III类镜)，等等。

在CMS中，例如，在车辆的后部，安装用于对车辆的后方成像的至少一个相机，在安装车辆的侧视镜的位置(下面也称为“侧视镜位置”)处，安装用于至少对车辆的左后方和右后方成像的至少两个相机。

这里，安装在车辆的后部，对车辆的后方成像的相机在下面也被称为“后方相机”。此外，安装在车辆的左右侧视镜位置处的相机也被分别称为“L侧相机”和“R侧相机”。

此外，由后方相机拍摄的图像也被称为“后方图像”，由L侧相机和R侧相机拍摄的图像也被分别称为“L侧图像”和“R侧图像”。

此外，L侧相机和R侧相机被统称为“L/R侧相机”。类似地，L侧图像和R侧图像被统称为“L/R侧图像”。

图1图解说明后方图像和L/R侧图像的显示例子。

图1中，后方图像是与利用后视镜可看到的图像(后视镜图像)对应的图像，而L/R侧图像是与利用侧视镜可看到的图像(侧视镜图像)对应的图像。

图1中，在车辆前挡风玻璃下方的仪表板上，安装横向的显示面板，后方图像和L/R侧图像显示在该显示面板上。

换句话说，在图1的显示面板中，L侧图像被显示在左A柱附近，而R侧图像被显示在右A柱附近。后方图像被显示在从显示面板的中央略向驾驶员座位的右侧的位置上(假定驾驶员座位在右侧(朝向车辆的前方))。

在CMS中，如上所述，可以单独显示后方图像、L侧图像和R侧图像，作为由CMS显示的CMS图像，后方图像、L侧图像和R侧图像可被集成为一个(一帧的)集成图像，也可以显示该集成图像，作为CMS图像。

这里，多个图像的集成的例子包括利用大于等于0，并且小于等于1的权重α，对图像进行α混合的合成、通过并排布置图像，形成一个图像的组合，以及把多个图像转换成一个图像的转换。

图2是图解说明其中集成后方图像、L侧图像和R侧图像的集成图像的显示方法的例子的示图。

集成图像可被显示在安装后视镜的位置P1、在仪表板的中央处的位置P2、在驾驶员座位前方的仪表板上的位置P3等等处。

在CMS中，在通过显示充当CMS图像的集成图像等，向操纵车辆的用户(驾驶员)提供车辆周围的状况的情况下，必须以致驾驶员能够准确地了解车辆周围的状况(下面也称为“周边状况”)地显示集成图像。

此外，在车辆中，如果除了通过仪表盘(仪表组)提供各种信息之外，还通过集成图像的显示，提供周边状况，那么作为图像提供给驾驶员的信息增加。

如果作为图像提供给驾驶员的信息增加，那么用户会遭受信息过载，从而可能影响用户对信息的认知，最终影响随后的状况判断。

此外，在车辆中，作为图像显示大量信息的情况下，驾驶员难以同时识别作为大量信息的图像。

在这点上，例如，在驾驶员在关注前方时，驾驶车辆，以使车辆直行的情况下，例如，不必要的信息(即，其中显示车辆的后方的集成图像)的亮度可被降低。这种情况下，可以抑制在集成图像中显示的车辆的后方的信息进入驾驶员的周边视野中(被驾驶员识别)。

在驾驶员使车辆直行，而不改变路线的情况下，驾驶员必须尤其关注前方。然而，如果高亮度地显示其中显示车辆后方的状况的集成图像，那么集成图像的显示会持续照亮在驾驶员的视野周围的区域，从而驾驶员可能会关注高亮度的集成图像，可能会妨碍驾驶员关注前方。

在这点上，在驾驶员关注前方，以使车辆向前直行的情况下，可以防止集成图像的显示妨碍驾驶员关注前方。

在装备有充当后视镜的光学镜的车辆中，驾驶员不会无意识地用周边视野识别在后视镜上反映的图像，而是在必要时，抱着确认后方的目的，使视线返回后视镜，然后识别在后视镜上反映的周边状况。

另一方面，在装备有CMS的车辆中，即使当集成图像的亮度被降低，以便避免防碍驾驶员关注前方时，驾驶员也可把视线转向集成图像，并识别在集成图像中显示的周边状况。

换句话说，在装备有CMS的车辆中，即使当集成图像的亮度被降低时，驾驶员也可通过与装备有后视镜的车辆类似的(识别)过程，识别周边状况。

根据上面所述可以理解，理想的是调整亮度，并显示诸如集成图像之类的CMS图像。此外，存在从可见性等的观点来看，理想的是调整对比度，并显示CMS图像的情况。此外，可以取决于驾驶员的状态，调整CMS图像的亮度或对比度。例如，当驾驶员未注视CMS图像时，CMS图像的亮度或对比度可被降低，而当驾驶员注视CMS图像时，CMS图像的亮度或对比度可被提高。

顺便提及，在车辆中，除了后方摄像机和L/R侧摄像机之外，还可在车辆的各个位置处安装用于对周边状况成像的相机。

在CMS中，由安装在车辆中的各个相机拍摄的所有图像可以被单独显示，或者可以集成图像的形式，作为CMS图像显示，不过，理想的是可以适当地有选择地切换将作为CMS图像显示的图像。

这里，当自身车辆高速(以一定程度的速度)行驶时的后视镜的主要用途的例子包括检查自身车辆与在它之后的另外的车辆之间的相对关系，和在自身车辆变更路线时，检查在路线变更目的地侧的后方状况。

此外，例如，当自身车辆在市区等中低速行驶时，理想的是使驾驶员能够了解在自身车辆侧方(左右方向)的从较近位置到远方的状况。

此外，例如，在自身车辆从停车状态启动并低速(缓慢)行驶的情况下，在自身车辆低速行驶，以便停车的情况下，或者在自身车辆从狭窄的道路开出，并且低速行驶，以便在T字形道路左转弯或者右转弯的情况下，理想的是使驾驶员能够了解就在自身车辆之后(例如，在车辆后部的保险杠附近等)的状况，或者就在车辆后部的侧方(例如，在车辆的后轮附近等)的状况。

下面，例如，将分别以车辆高速行驶的情况，车辆在市区等中低速行驶的情况，和车辆低速(缓慢)行驶，以便停车等的情况为例，并说明适合于在每种情况下显示的CMS图像的例子。

<在车辆高速行驶的情况下显示的CMS图像>

图3是图解说明在车辆中安装相机的安装位置的例子的平面图，所述相机用于拍摄充当在车辆高速行驶的情况下显示的CMS图像(下面也称为“高速CMS图像”)的图像。

图3中，例如，在作为汽车等的(自身)车辆10中，在车辆10的后部，安装后方相机11，在车辆10的左右侧视镜位置处分别安装L侧相机12和R侧相机13。

这里，侧视镜位置可被看作对于水平方向(相对于车辆10的前方的左右方向)，从安装后方相机11的位置(车辆10的后部的位置)沿横向移动的位置。

后方相机11对车辆10的后方(正后方)成像，并输出作为第一图像的例子的后方图像。注意，后方相机11拍摄其中水平视角为150°或更大的较宽角度的后方图像。

L侧相机12对车辆10的左后方成像，输出作为第二图像的例子的L侧图像。R侧相机13对车辆10的右后方成像，输出作为第二图像的另一例子的R侧图像。

由于后方相机11、L侧相机12和R侧相机13具有不同的安装位置，因此后方图像、L侧图像和R侧图像是具有不同视点的图像(从不同视点看到的图像)。

注意，在这种情况下，为了简化说明，假定后方相机11、L侧相机12和R侧相机13拍摄中央投影的图像。

这里，在图3中，车辆10行驶在车道TL2上，车道TL2是具有车道TL1、TL2和TL3的三车道道路上从左侧起的第二个车道。

此外，在图3中，从左侧起顺序在道路上画出了用于区分车道的车道标志线LM1、LM2、LM3、LM4。

这里，作为区分车道的分隔线，存在道路中心线、道路边界线和车道外侧线，不过在这里，它们被统称为“车道标志线”。

图3中，车道TL1是介于车道标记线LM1和LM2之间的车道，车道TL2是介于车道标志线LM2和LM3之间的车道。车道TL3是介于车道标志线LM3和LM4之间的车道。

此外，在图3中，尽管它不是在道路上实际所画的分隔线，不过，在后面说明的图中，为了便于理解后方图像和L/R侧图像之间的对应，例示了充当在道路上虚拟画的分隔线的虚拟线VL1。

图3中，虚拟线VL1位于车辆10的后方，由所有的后方相机11、L侧相机12和R侧相机13成像。

这里，在本说明书中，除非另有说明，否则都是在面向自身车辆的前方的状态下考虑方向。

图4是图解说明后方图像、L/R侧图像、和通过集成后方图像和L/R侧图像生成的集成图像的例子的示图。

在图4的后方图像和L/R侧图像中，显示了在车辆10的后方的车道TL1-TL3、车道标志线LM1-LM4，和虚拟线VL1。注意，为了说明起见，在车道TL2显示在后方相机11中，车道TL1显示在L侧相机12中，而车道TL3显示在R侧相机13中的状态下，说明自身车辆10和道路的位置关系。由于车辆和道路的实际位置关系是自由决定的，因此在本说明书中说明的位置关系仅仅基于虚拟位置关系，在行驶中识别车道的时候，不一定需要进行各个对应的处理。

作为集成后方图像和L/R侧图像，从而生成集成图像的方法，例如，存在对所有或一些的后方图像和L/R侧图像进行仿射变换，以致显示在后方图像和L/R侧图像中的同一被摄物体的大小彼此一致，并且后方图像和L/R侧图像的无限远点彼此一致，进行定位，以致显示在后方图像和L/R侧图像中的同一被摄物体交叠，并合成后方图像和L/R侧图像的方法。这里，为了连续合成后方图像和L/R侧图像，而不产生任何不舒服的感觉，理想的是利用沿着自身车辆10的行驶车道或者车辆车道的线条(即，在上述车道位置关系的假设下，在线段LM2和线段LM3附近的线条)作为合成边界线，进行合成。

这里，可以对所有的后方图像和L/R侧图像进行仿射变换，或者可以只对例如L/R侧图像进行仿射变换。例如，在生成从任意视点看到的集成图像的情况下，对所有的后方图像和L/R侧图像进行仿射变换，以致后方图像和L/R侧图像的无限远点与该视点的无限远点一致。此外，例如，在生成把后方相机11的安装位置作为视点的集成图像的情况下，对L/R侧图像进行仿射变换，以致L/R侧图像的无限远点与后方图像的无限远点一致。

在下面的说明中，假定只对后方图像和L/R侧图像之中的L/R侧图像进行仿射变换。此外，假定以致显示在各个L/R侧图像中的被摄物体的大小与显示在后方图像中的同一被摄物体的大小一致，并且后方图像和L/R侧图像的无限远点IPL和IPR与后方图像的无限远点IPC一致地进行仿射变换。按照这样的仿射变换，L/R侧图像被转换成从拍摄后方图像的后方相机11的安装位置看到(拍摄)的图像，即，把后方相机11的安装位置作为视点的图像。利用仿射变换，L/R侧图像和后方图像的相机焦距变得相等，由于车身行驶方向上的安装位置差引起的显示布置被校正，L/R侧图像变成与由具有与后方图像相同的焦距，并且在车辆10的行驶方向上具有相同布置位置的相机拍摄的图像对应的图像。由于进行该变换，因此可以使后方图像中的虚拟线VL1与经过仿射变换的L/R侧图像中的虚拟线VL1重合。

注意，被摄物体的大小被变更成的大小，或者被摄物体被转换到的图像的视点不受仿射变换特别限制。

此外，在下面的说明中，为了简化说明，假定仿射变换前的后方图像和L/R侧图像中的同一被摄物体的大小彼此一致，从而以致L侧图像的无限远点IPL和R侧图像的无限远点IPR均与后方图像的无限远点IPC一致地进行对于L/R侧图像的仿射变换。

在集成图像的生成中，如上所述，L/R侧图像经过仿射变换，使经过仿射变换的L/R侧图像与后方图像对齐，并与后方图像合成，以致生成集成图像。在L/R侧图像和后方图像的合成中，以致L/R侧图像作为显示主要由各个相机成像的车辆后方的范围的图像，被盖写(overwrite)在后方图像上地进行合成。

在图4的集成图像中，在后方图像中显示的车道TL1-TL3、车道标志线LM1-LM4、以及虚拟线VL1分别与在经过仿射变换的L/R侧图像中显示的车道TL1-TL3、车道标志线LM1-LM4、以及虚拟线VL1一致。

图5是图解说明后方图像、L/R侧图像、和通过集成后方图像和L/R侧图像生成的集成图像的另一个例子的示图。

注意，在下面的说明中，为了避免图的复杂化，未图示指示车道TL1-TL3、车道标志线LM1-LM4、以及虚拟线VL1的附图标记TL1-TL3、LM1-LM4、以及VL1。

图5中，在道路上，存在作为站立在道路上的站立物obj1、obj2和obj3的汽车、摩托车和行人。

此外，在后方图像中，显示了站立物obj1和obj2。此外，在L侧图像中，显示了站立物obj2，而在R侧图像中，显示了站立物obj1和obj3。

在集成图像的生成中，在假定显示在L/R侧图像中的所有被摄物体都存在于道路上的平面内的情况下，进行对于L/R侧图像的仿射变换。因此，在道路上的另外的车辆(汽车、摩托车等)、行人、或者站立在道路上的任何其他站立物作为被摄物体，显示在将经过仿射变换的L/R侧图像中的情况下，显示在经过仿射变换的L/R侧图像中的站立物相对于道路倾斜。

图5中，显示在经过仿射变换的L侧图像中的站立物obj2，和显示在经过仿射变换的R侧图像中的站立物obj1和obj3是倾斜的。

这里，在集成图像的生成中，通过对L/R侧图像进行仿射变换，使经过仿射变换的L/R侧图像与后方图像对齐，然后组合L/R侧图像和后方图像而得到的合成图像可以用作集成图像。

此外，在集成图像的生成中，通过把仿射变换前的L侧图像和R侧图像(L/R侧图像)并排布置在合成图像的左右侧，然后组合它们而得到的图像可以用作集成图像。

如上所述，由于显示在经过仿射变换的L/R侧图像中的站立物是倾斜的，因此在通过合成经过仿射变换的L/R侧图像和后方图像而得到的合成图像中，显示在L/R侧图像中的站立物也是倾斜的。

在显示包含这样的合成图像的集成图像(即，通过在合成图像的左右侧，组合仿射变换前的L/R侧图像而得到的图像)作为CMS图像的情况下，驾驶员看到其中显示不自然倾斜的站立物的CMS图像，从而可能感觉不舒服。

图6是图解说明后方图像和L/R侧图像的例子的示图。

图6中，在道路上，存在作为站立物obj2和obj11的摩托车及大型车辆。

此外，站立物obj2和obj11显示在后方图像中，站立物obj2显示在L侧图像中。在R侧图像中，不显示站立物。

此外，站立物obj2位于站立物obj11后方左侧，站立物obj2的一部分被站立物obj11隐藏，从而在后方图像中不可见。

另一方面，整个站立物obj2显示在L侧图像中。

图7是图解说明通过对图6的L/R侧图像进行仿射变换，然后合成经过仿射变换的L/R侧图像和图6的后方图像而获得的合成图像的例子的示图。

在集成图像的生成中，在通过对L/R侧图像进行仿射变换，使经过仿射变换的L/R侧图像与后方图像对齐，然后组合L/R侧图像和后方图像，生成合成图像的情况下，例如以致在L/R侧图像和后方图像的交叠部分中，1.0被设定为L/R侧图像的权重，0.0被设定为后方图像的权重地合成L/R侧图像和后方图像。

换句话说，用L/R侧图像盖写经过仿射变换的L/R侧图像和后方图像的交叠部分。

图7图解说明如上所述，通过用L/R侧图像盖写交叠部分而得到的合成图像的例子。

在通过用L/R侧图像，盖写L/R侧图像和后方图像的交叠部分而得到的合成图像中，用L/R侧图像，盖写将三角形区域re1排除在外的区域，三角形区域re1是通过在后方图像中，连接后方图像的无限远点IPC，和与连接L侧相机12与R侧相机13的线段对应的，在后方图像的下边缘的线段seg1的端点构成的。换句话说，用大部分显示在L/R侧图像中的瓦片状区域盖写后方图像。

归因于上面所述的L/R侧图像的盖写，在合成图像中，显示在后方图像中的所有或部分站立物可被消除。

图7中，在合成图像中，显示在后方图像中的站立物obj11的一部分因L/R侧图像的盖写而被消除，从而未被显示。

在显示包含这样的合成图像的集成图像，作为CMS图像的情况下，驾驶员看到其中显示不自然地部分缺失的站立物的CMS图像，从而可能感觉不舒服。

图8是图解说明通过对图6的L/R侧图像进行仿射变换，然后合成经过仿射变换的L/R侧图像和图6的后方图像而获得的合成图像的另一个例子的示图。

在图8中，在集成图像的生成中，生成与图7类似的合成图像，而在后方图像和经过仿射变换的L/R侧图像中显示的站立物(的图像)则从用于合成图像的生成的后方图像和经过仿射变换的L/R侧图像中提取。

对于图6的后方图像和L/R侧图像，例如，从后方图像中提取站立物obj11，从经过仿射变换的L侧图像提取站立物obj2。

此外，对于从后方图像提取的站立物obj11，检测在后方图像中显示的站立物obj11的位置，对于从经过仿射变换的L侧图像提取的站立物obj2，检测在经过仿射变换的L侧图像中显示的站立物obj2的位置。

此外，对于从后方图像提取的站立物obj11和从经过仿射变换的L侧图像提取的站立物obj2，检测离自身车辆10的距离。

随后，按照到相应的站立物obj11和obj2的距离，以及站立物obj11和obj2的位置，使从后方图像提取的站立物obj11和从L侧图像提取的站立物obj2与合成图像分层合成。

这里，图像的分层合成意味按距离的降序描画图像的合成。于是，在分层合成中，在两个站立物至少部分交叠的情况下，对于交叠部分，用所述两个站立物中在近侧的站立物，盖写在远侧的站立物。

此外，在站立物obj11到合成图像中的分层合成中，在合成图像上的与显示在后方图像中的站立物obj11的位置对应的位置处，合成站立物obj11。类似地，在站立物obj2到合成图像中的合成中，在合成图像上的与显示在经过仿射变换的L侧图像中的站立物obj2的位置对应的位置处，合成站立物obj2。

图6中，显示在后方图像中的站立物obj11在显示在L侧图像中的站立物obj2之前。此外，从后方图像提取的站立物obj11部分交叠从经过仿射变换的L侧图像提取的站立物obj2。

因此，在分层合成中，对于从后方图像提取的站立物obj11和从L侧图像提取的站立物obj2的交叠部分，用在后侧的站立物obj11交叠在远侧的站立物obj2。

如上所述，从后方图像和L/R侧图像生成与图7类似的合成图像，使显示在后方图像和经过仿射变换的L/R侧图像中的站立物的提取区域的图像与该合成图像分层合成，从而能够防止生成其中如图7中所示，显示不自然地部分缺失的站立物的CMS图像。

注意，显示在后方图像和L/R侧图像中的站立物的检测，可以通过例如按照诸如立体摄像机、光检测和测距、激光成像检测和测距、激光雷达(LIDAR)或飞行时间(TOF)距离传感器之类的距离传感器得到的距离，分割其中集成站立物的区域的方法来进行。图像区域的分割是图像内，围绕充当集合物的区域的图像处理。

此外，通过借助比如后方图像和L/R侧图像的光流分析或纹理分析之类的图像处理，分割站立物的区域的方法，进行显示在后方图像和L/R侧图像中的站立物的检测。

此外，在显示在后方图像和L/R侧图像中的站立物的检测中，可以利用例如运动体视技术，估计后方图像和L/R侧图像上的路面(道路)，并把没有路面的区域检测为站立物的区域。

此外，在安装在车辆10中的CMS中，在通过利用后方相机11、L侧相机12、R侧相机13、和安装在车辆10中的其他相机拍摄的图像等，可以生成通过从车辆10的上方，俯瞰包含车辆10的车辆10的周边区域而得到的鸟瞰图像的情况下，利用该鸟瞰图像，能够检测显示在后方图像和L/R侧图像中的站立物。

换句话说，在对于作为例如鸟瞰图像的相邻两帧的时刻t的帧和时刻t+1的帧，获得时刻t+1的帧与通过把时刻t的帧移动与车辆10的1个时刻的运动对应的运动向量(运动补偿)而得到的帧之间的差分SS的情况下，路面(道路)的区域的差分SS(大体)为0。在这点上，通过从鸟瞰图像中，检测其中差分SS等于或大于阈值的区域，作为站立物的区域，然后从后方图像和L/R侧图像中检测站立物，可以检测显示在后方图像和L/R侧图像中的站立物。

此外，通过利用诸如立体摄像机、LIDAR、TOF传感器之类的距离传感器的方法，可检测到显示在后方图像和L/R侧图像中的站立物的距离。

此外，例如，通过对后方图像和L/R侧图像每一个中的多个帧，进行图像处理的方法，可以估计到显示在后方图像和L/R侧图像中的站立物的距离。

通过包含上述方法的任意方法的组合，可以进行显示在后方图像和L/R侧图像中的站立物的检测，或者到站立物的距离的检测。

图9是图解说明合成图像的例子的示图。

如图8中所述，通过把显示在后方图像和经过仿射变换的L/R侧图像中的站立物分层合成到合成图像中，可以防止站立物的一部分缺失。

这里，在图8中，显示在后方图像和经过仿射变换的L/R侧图像中的站立物被分层合成。这种情况下，由于如参考图5所述，显示在经过仿射变换的L/R侧图像中的站立物是倾斜的，因此可能会使驾驶员产生不舒服的感觉。

在这点上，对于显示在各个L/R侧图像中的站立物，代替从经过仿射变换的L/R侧图像提取站立物，可以从仿射变换前的L/R侧图像提取站立物，并把从仿射变换前的L/R侧图像提取的站立物用于分层合成。

图9图解说明通过把从仿射变换前的L/R侧图像提取的站立物用于分层合成而得到的合成图像的例子。

图9中，类似于图6，在后方图像中显示站立物obj2和obj11，在L侧图像中显示站立物obj2。在R侧图像中，不显示站立物。

图9中，类似于图8，生成类似于图7的合成图像，然而站立物obj11提取自后方图像，站立物obj2'提取自经过仿射变换的L侧图像。

这里，显示在经过仿射变换的L侧图像中的站立物obj2也被称为站立物obj2'。

对于从后方图像提取的站立物obj11，检测显示在后方图像中的站立物obj11的位置。类似地，对于从经过仿射变换的L侧图像提取的站立物obj2'，检测显示在经过仿射变换的L侧图像中的站立物obj2'的位置pos2'。

此外，对于从后方图像提取的站立物obj11和从经过仿射变换的L侧图像提取的站立物obj2'，检测离自身车辆10的距离。

此外，站立物obj2提取自仿射变换前的L侧图像。

随后，类似于图8，从后方图像提取的站立物obj11和从仿射变换前的L侧图像提取的站立物obj2被分层合成到合成图像中。

换句话说，在图9中，代替从经过仿射变换的L侧图像提取的站立物obj2'，从仿射变换前的L侧图像提取的站立物obj2作为分层合成对象，被合成到合成图像中。

此外，从仿射变换前的L侧图像提取的站立物obj2是在合成图像上的接地位置pos2″处合成的，所述接地位置pos2″与在显示在经过仿射变换的L侧图像中的站立物obj2'的接地位置pos2'(而不是显示在仿射变换前的L侧图像中的站立物obj2的接地位置pos2)对应。除非下面另有说明，否则与路面的接地位置被简单地称为“位置”。

如上所述，从仿射变换前的L/R侧图像提取的站立物是在与显示在经过仿射变换的L/R侧图像中的站立物的位置对应的合成图像上的位置处分层合成的，从而能够防止生成其中站立物不自然倾斜的CMS图像。

图10是图解说明显示后方图像和L/R侧图像，作为CMS图像的显示方法的示图。

显示后方图像和L/R侧图像，作为CMS图像的显示方法可被大致分成单独显示和集成显示。

在单独显示中，例如如图1中图解所示，单独显示后方图像和L/R侧图像，作为CMS图像。单独显示后方图像和L/R侧图像，作为CMS图像的显示方法也被称为第一显示方法。

在集成显示中，例如如图7-9中图解所示，显示其中集成后方图像和L/R侧图像的集成图像，比如包含其中合成后方图像和L/R侧图像的合成图像的图像，作为CMS图像。

集成显示例如包括第二显示方法、第三显示方法和第四显示方法。

在第二显示方法中，如在图7等中所述，合成经过仿射变换的L/R侧图像和后方图像，以致L/R侧图像和后方图像的交叠部分被L/R侧图像盖写，显示包含相应地获得的合成图像的集成图像，作为CMS图像。

在第二显示方法中，如在图7中所述，由于L/R侧图像的盖写，在合成图像中，显示在后方图像中的站立物的全部或部分可能缺失(被消除)。

在第三显示方法中，如在图8中所述，使显示在后方图像和经过仿射变换的L/R侧图像中的站立物与合成图像分层合成，显示包含相应地获得的合成图像的集成图像，作为CMS图像。

在第三显示方法中，如在图8中所述，由于显示在经过仿射变换的L/R侧图像中的站立物是倾斜的，因此其中分层合成站立物的合成图像上的站立物也是倾斜的。

在第四显示方法中，如在图9中所述，在与显示在经过仿射变换的L/R侧图像中的站立物的位置对应的合成图像上的位置处，分层合成从仿射变换前的L/R侧图像提取的站立物，显示包含相应地获得的合成图像的集成图像，作为CMS图像。

在安装在车辆10中的CMS中，在显示包含合成图像的集成图像，作为CMS图像的情况下，第三显示方法或第四显示方法是有用的。

下面，假定在显示包含合成图像的集成图像，作为CMS图像的情况下，采用第三显示方法或第四显示方法。

顺便提及，合成图像例如是其视点是拍摄后方图像的后方相机11的安装位置的图像。

于是，即使完全显示在把侧视镜位置作为视点的仿射变换前的L/R侧图像中的站立物，也可能部分或完全被显示在后方图像中的另外的站立物隐藏，从而未被看到。

图11是图解说明道路上的状况的例子的平面图。

在图11中，诸如公共汽车之类的站立物obj21、诸如摩托车之类的站立物obj22，和诸如小型车之类的站立物obj23等行驶在其中安装后方相机11、L侧相机12和R侧相机13的车辆10之后。

站立物obj21就在车辆10之后。站立物obj22在站立物obj21的左后侧，而站立物obj23在站立物obj21的右后侧，并且在站立物obj22后面。

于是，如果假定(从车辆10)到站立物obj21、obj22和obj23的距离用L1、L2和L3表示，那么距离L1～L3具有公式L1<L2<L3的关系。

站立物obj21-obj23显示在由后方相机11拍摄的后方图像中。然而，对于在最前面的站立物obj21，整个站立物obj21都显示在后方图像中，但是对于与站立物obj21相比，在更远侧的站立物obj22和obj23来说，站立物obj22和obj23的一部分被在近侧的站立物obj21隐藏，从而在后方图像中不可见。

另一方面，站立物obj21和obj22显示在由L侧相机12拍摄的L侧图像中。在车辆10中，由于与后方相机11相比，L侧相机12安装在更左侧，因此位于站立物obj21左后侧的整个站立物obj22显示在L侧图像中(未被站立物obj21隐藏)。

站立物obj21和obj23显示在由R侧相机13拍摄的R侧图像中。在车辆10中，由于与后方相机11相比，R侧相机13位于在更右侧，因此位于站立物obj21右后侧的整个站立物obj23显示在R侧图像中(未被站立物obj21隐藏)。

如上所述，在L侧图像中，显示整个站立物obj22，在R侧图像中，显示整个站立物obj23。

然而，通过对L/R侧图像进行仿射变换，合成经过仿射变换的L/R侧图像和后方图像，然后分层合成显示在后方图像中的站立物obj21，和显示在仿射变换前的L/R侧图像或者经过仿射变换的L/R侧图像中的站立物obj22和obj23而得到的合成图像是把拍摄后方图像的后方相机11的安装位置作为视点的图像。

于是在合成图像中，类似于后方图像，站立物obj22和obj23的一些(或全部)被站立物obj21隐藏，从而不可见。

于是，在显示包含合成图像的集成图像，作为CMS图像的情况下，车辆10的驾驶员在查看集成图像时，不太可能注意到被站立物obj21部分隐藏的站立物obj22或者站立物obj23。

如上所述，在到显示在L/R侧图像中的站立物的距离大于到显示在后方图像中的站立物的距离的情况下，即，在与显示在后方图像中的站立物相比，显示在L/R侧图像中的站立物在更远侧的情况下，在合成图像中，完全显示在L/R侧图像中的站立物的至少一部分可被显示在后方图像中的站立物隐藏，从而不可见。

在这点上，在CMS中，在与显示在后方图像中的站立物相比，显示在L/R侧图像中的站立物在更远侧的情况下，可以输出用于警示站立物被另外的站立物隐藏的警告(遮挡警告)。

图11中，在距离L1～L3满足公式L1<L2，或者公式L1<L3的情况下，可以输出遮挡警告。

作为遮挡警告，可以采用输出蜂鸣器声音或者其他声音、显示闪烁、或者其他图像显示。注意，蜂鸣器声音是在察觉驾驶员把视线转向监视器之后输出的，从而可以避免不小心频繁输出蜂鸣器声音。

图12是图解说明其中显示充当遮挡警告的图像的集成图像的显示例子的示图。

图12中，合成图像本身是集成图像，集成图像是第三显示方法(图8和10)的集成图像。

此外，站立物obj1、obj2、obj3和obj11显示在充当集成图像的合成图像中。

注意，整个站立物obj11显示在用于生成合成图像的后方图像中。此外，整个站立物obj2显示在用于生成合成图像的L侧图像中，而整个站立物obj1和obj3显示在用于生成合成图像的R侧图像中。

此外，与站立物obj11相比，站立物obj1和obj2位于更远侧，而与站立物obj11相比，站立物obj3位于更近侧。

因此，在合成图像中，显示整个站立物obj3，但是站立物obj1和obj2部分地被站立物obj11隐藏，从而不可见。

这里，在下面，显示在后方图像中的站立物也被称为“后方站立物”，L/R侧图像中的站立物也被称为“L/R侧站立物”。

在安装在车辆10中的CMS中，在与后方站立物相比，L/R侧站立物位于更远侧的情况下，可在集成图像上，叠加充当用于警示在合成图像中部分(或完全)不可见的L/R侧站立物的存在的遮挡警告的警告标志。

图12中，在与后方站立物obj11相比，在更远侧的L侧站立物obj2的位置处，叠加充当遮挡警告的警告标志AM2，并在与后方站立物obj11相比，在更远侧的R侧站立物obj1的位置处，叠加充当遮挡警告的警告标志AM1。

例如，可以以致1.0被设定为警告标志的权重，而0.0被设定为集成图像的权重，然后使警告标志与集成图像合成地进行警告标志在集成图像上的叠加。

按照警告标志AM1或AM2，能够迅速引起驾驶员的注意，使驾驶员迅速并且可靠地认识到在合成图像中部分地不可见的R侧站立物obj1或L侧站立物obj2的存在。

换句话说，按照警告标志AM1和AM2，能够促使驾驶员将视线转向存在于驾驶员的周边视野内的集成图像，从而使驾驶员迅速并且可靠地认识到在合成图像中部分地不可见的R侧站立物obj1或L侧站立物obj2的存在。

作为充当遮挡警告的警告标志，例如，可以采用其中条纹图案是两种(或更多种)颜色的彩色条纹图案(斑马纹图案)(比如图12的警告标志AM1或AM2)，以及两种颜色中的一种颜色(条纹图案的一部分)透明的条纹图案的图像。

通过采用其中一种颜色(一部分)透明的图像作为警告标志，即使在合成图像上的与后方站立物相比，在更远侧的L/R侧站立物的位置处叠加警告标志的情况下，驾驶员也可从警告标志的透明部分，检查L/R侧站立物。

此外，可以采用其中透明部分移动的图像作为警告标志。换句话说，例如，其中如理发店的招牌中一样，条纹图案明显移动的图像可被用作警告标志。

在采用其中透明部分移动的图像作为警告标志的情况下，在合成图像中，在叠加警告标志的部分中，L/R侧站立物的可见部分变化，驾驶员可容易地识别上面叠加警告标志的L/R侧站立物是哪种被摄物体。这里，当两种颜色的条纹图案的警告标志被叠加在集成图像上时，存在尽管它不是半透明的，不过在通过把1.0设定为充当条纹的有效部分的一种颜色的叠加权重，而在充当条纹的无效部分的透明部分的另一种颜色中，相反地把1.0设定为集成图像的权重，发出警告的时候，能够使背景(集成图像)清晰可见的好处。另一方面，在作为警告标志的条纹图案半透明，并叠加在集成图像上的情况下，存在集成图像和警告标志的半透明叠加部分变得模糊的风险，并且费劲的判别和认知也是必需的。

注意，在警告标志被叠加在集成图像上的情况下，可以同时输出充当遮挡警告的声音。这种情况下，可以更加引起用户的注意。这里，在后方状况很重要的状况下，即，在由于被认为对车辆的行驶来说很重要，驾驶员通过把视线转向集成图像开始状况评估，或者正在进行状况评估的状况下，有用地进行声音警告。在这点上，当根据关于驾驶员的视线或头的移动的分析，判定驾驶员开始后方检查序列时，可以进行通过声音的遮挡警告。

此外，作为警告标志的颜色，例如，可以采用诸如红色或黄色之类的提醒危险的颜色，或者其他的引起注意的颜色。

此外，在与后方站立物相比，L/R侧站立物位于更远侧的情况下，警告标志不一定叠加在集成图像上，而在与后方站立物相比，L/R侧站立物位于更远侧，并且在更远侧的L/R侧站立物被在较近侧的后方站立物隐藏的情况下，警告标志可被叠加在集成图像上。

此外，判定如果车辆10向左或向右变更路线，那么车辆10是否与L/R侧站立物碰撞的碰撞风险，在与后方站立物相比，L/R侧站立物位于更远侧，并且存在碰撞风险的情况下，警告标志可被叠加在集成图像上。

此外，在与后方站立物相比，L/R侧站立物位于更远侧，并且在远侧的L/R侧站立物被在近侧的后方站立物隐藏，且存在碰撞风险的情况下，警告标志可被叠加在集成图像上。

利用例如从车辆10到L/R侧站立物的距离，以及基于车辆(相对于车辆10)的L/R站立物的相对速度，可以进行如果车辆10向左或向右变更路线，那么车辆10是否与L/R侧站立物碰撞的判定。

换句话说，例如，根据从车辆10到L/R侧站立物的距离，以及L/R站立物的相对速度，估计如果车辆10向左或向右变更路线，那么直到车辆10与L/R侧站立物碰撞为止的碰撞所需时间，可根据该碰撞所需时间，进行碰撞风险的判定。

到L/R侧站立物的距离可以利用诸如毫米波雷达、LIDAR、TOF传感器(TOF式二维距离测量设备)、声纳设备之类的距离传感器检测，或者可以从其中显示L/R侧站立物的L/R侧图像估计。

L/R站立物的相对速度可以利用任意上述措施，直接或间接地从到L/R侧站立物的距离的时间序列检测(计算)出。

图13是图解说明其中显示充当遮挡警告的图像的集成图像的再一个显示例子的示图。

图13中，其中(仿射变换前的)L侧图像和R侧图像被布置在图12的合成图像的左侧和右侧，并被组合的图像是集成图像。

此外，图13的集成图像包括在合成图像和L/R侧图像之间，用于分离合成图像和L/R侧图像的预定宽度的分离边界线。

按照合成图像和L/R侧图像之间的分离边界线，驾驶员可以容易地并且有意识地分离和识别布置在集成图像中的合成图像和L/R侧图像中的每一个。

如参考图12所述，在警告标志是部分透明的图像的情况下，尽管警告标志被叠加在合成图像上的L/R侧站立物的位置处，驾驶员也能够从警告标志的透明部分，检查L/R侧站立物，不过，合成图像上的L/R侧站立物仍然被警告标志的不透明部分隐藏。

在通过组合L/R侧图像和合成图像构成集成图像的情况下，当显示警告标志时，驾驶员可把视线从集成图像的合成图像转向与集成图像组合的L/R侧图像，并明确地检查L/R侧站立物。

注意，作为合成图像与L/R侧图像之间的分离边界线的宽度，采用人体工学上适合于人类有意识地分离合成图像和L/R侧图像，把视线从合成图像转向L/R侧图像，并进行认知和思考，以便了解显示在L/R侧图像中的状况的宽度。例如，从驾驶员的头部，对应于(水平方向上)0.5°或更大的角度的宽度可被用作分离边界线的宽度。

图14是图解说明其中显示充当遮挡警告的图像的集成图像的另一个显示例子的示图。

图14的集成图像是类似于图13地构成的。

这里，在图14的集成图像中，用于生成合成图像的经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度被改变。

例如，可按照驾驶员的状态，改变合成图像中，经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度。

例如，如图14的双箭头所示，可按照驾驶员的头部的旋转运动或平行运动(视点的移动)等，无缝地改变合成图像中，经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度。

例如，如果驾驶员小心地向前驾驶时的驾驶员的头部的状态被假定为默认状态，那么随着从默认状态的驾驶员头部的旋转运动或平行运动的运动量增大，可以使合成图像中，经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度降低(使其一致性降低)。

这种情况下，例如，由于归因于驾驶员的头部的运动，未被后方站立物obj11隐藏的L侧站立物obj2显示在合成图像中，从而驾驶员可以迅速并且准确地识别位于后方站立物obj11之后的L侧站立物obj2。这同样适用于R侧站立物obj1。

注意，在合成图像中，代替按照驾驶员的状态，无缝地改变经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度，在合成图像中使用的L/R侧图像可被切换成经过仿射变换的L/R侧图像，以致无限远点与后方图像的无限远点一致，或者进行仿射变换前的L/R侧图像(仿射变换前的L/R侧图像)。

换句话说，例如，按照驾驶员的头部的位置，将合成到合成图像中的L/R侧图像可被切换成仿射变换前的L/R侧图像，或者经过仿射变换的L/R侧图像。

这种情况下，例如，当驾驶员注意到警告标志AM1或AM2被叠加在集成图像上，并移动头部，以把视线转向集成图像时，将合成到合成图像中的L/R侧图像可以从经过仿射变换的L/R侧图像被切换成仿射变换前的L/R侧图像。

于是，通过合成到合成图像中的仿射变换前的L/R侧图像，驾驶员可以明确地检查L/R侧站立物。

<在车辆低速(缓慢)行驶的情况下显示的CMS图像>

图15是图解说明在车辆中安装相机的安装位置的例子的平面图，所述相机用于拍摄充当在车辆低速行驶的情况下显示的CMS图像(下面也称为“低速CMS图像”)的图像。

图16是图解说明在车辆中安装用于拍摄充当低速CMS图像的图像的相机的安装位置的例子的透视图。

注意在图15和16中，与图3对应的各个部分用相同的附图标记表示，下面将适当省略其说明。

在图15和16中，类似于图3，后方相机11安装在车辆10的后部。此外，在车辆10中，在车辆10的左后位置处安装L后侧相机14，在车辆10的右后位置处安装R后侧相机15。

注意在图15和16中，未图示图3的L侧相机12和R侧相机13。

例如，L后侧相机14拍摄具有约90°～100°的水平视角的中心投影的图像，并输出该图像。这里，由L后侧相机14拍摄的图像也被称为“L后侧图像”。

为了对就在车辆10后的右后方状况成像，即，使就在车辆10后的右后方状况显示在L后侧图像中，相对于作为车辆10的车辆宽度方向上的中心的宽度方向中心线WCL，L后侧相机14被安装在车辆10的左后位置处，该左后位置在作为成像方向的右后方向的相反侧，以致光轴面向成像方向(右后方向)。

注意，L后侧相机14被安装成以致例如车辆10的后部(的一部分)被显示在L后侧图像中。

例如，类似于L后侧相机14，R后侧相机15拍摄具有约90°～100°的水平视角的中心投影的图像，并输出该图像。这里，由R后侧相机15拍摄的图像也被称为“R后侧图像”。

R后侧相机15被安装成相对于宽度方向中心线WCL，与L后侧相机14线对称。

为了对就在车辆10后的左后方状况成像，即，使就在车辆10后的左后方状况显示在R后侧图像中，相对于宽度方向中心线WCL，R后侧相机15被安装在车辆10的右后位置处，该右后位置在作为成像方向的左后方向的相反侧，以致光轴面向成像方向(左后方向)。

注意，R后侧相机15被安装成以致例如车辆10的后部(的一部分)显示在R后侧图像中。

此外，L后侧相机14和R后侧相机15的光轴在宽度方向中心线WCL上相交。

由于如上所述，L后侧相机14和R后侧相机15相对于宽度方向中心线WCL，被安装在与成像方向相反的车辆10的后部位置处，以致光轴面向成像方向，因此能够对包含就在车辆10后的状况，以及车辆10的左右后方(在车辆10的后轮的后侧附近等)的状况的车辆10后方的宽范围的状况成像。换句话说，由于从车身后方的一侧，沿倾斜的方向安装L后侧相机14和R后侧相机15，因此能够对作为其中车身的后部可被包含在车辆行驶方向的后侧的无限远距离处的视角的范围成像。

结果，对于车辆10的后部，能够提供盲区很小的组合图像。

图15和16中，SR1、SR2和SR3指示后方相机11、L后侧相机14和R后侧相机15的成像范围。

按照成像范围SR2和SR3，能够确认通过L后侧相机14和R后侧相机15，可以对在车辆10之后的宽范围的状况进行成像。

注意，L后侧图像和R后侧图像在下面被统称为“L/R后侧图像”。

图17是图解说明充当低速CMS图像的集成图像的例子的示图。

图17中，通过把R后侧图像和L后侧图像布置在作为CMS图像的集成图像的左侧区域和右侧区域中，构成集成图像。

换句话说，图17的集成图像是以致R后侧图像和L后侧图像被分别布置在左侧和右侧，然后被组合地生成的。

这里，由于车辆10的“左”后方状况被显示在“R”后侧图像中，因此R后侧图像被布置在集成图像的“左”侧。类似地，由于车辆10的“右”后方状况被显示在“L”后侧图像中，因此L后侧图像被布置在集成图像的“右”侧。

下面，其中布置作为CMS图像的集成图像的R后侧图像的区域也被称为“R后侧图像显示区域”，而其中布置L后侧图像的区域也被称为“L后侧图像显示区域”。

在R后侧图像显示区域中，从由R后侧相机15拍摄的R后侧图像剪裁与R后侧图像显示区域对应的视角的范围，并布置该范围的R后侧图像。类似地，在L后侧图像显示区域中，从由L后侧相机14拍摄的L后侧图像剪裁与L后侧图像显示区域对应的视角的范围，并布置该范围的L后侧图像。

R后侧图像显示区域与L后侧图像显示区域之间的边界可被固定到例如集成图像在水平方向上的中点的位置。

此外，可按照驾驶员的状态，比如驾驶员的头部的位置，或者视线的方向，在左右方向(水平方向)上移动R后侧图像显示区域与L后侧图像显示区域之间的边界。

在R后侧图像显示区域与L后侧图像显示区域之间的边界被向右侧移动的情况下，R后侧图像显示区域在水平方向上扩大，而L后侧图像显示区域在水平方向上缩小。

这种情况下，布置在R后侧图像显示区域中的R后侧图像在水平方向上的视角被增大，从而，驾驶员可检查显示在R后侧图像中的左后方的宽范围的状况。

另一方面，在R后侧图像显示区域与L后侧图像显示区域之间的边界被向左侧移动的情况下，R后侧图像显示区域在水平方向上缩小，而L后侧图像显示区域在水平方向上扩大。

这种情况下，布置在L后侧图像显示区域中的L后侧图像在水平方向上的视角被增大，从而，驾驶员可检查显示在L后侧图像中的右后方的宽范围的状况。

图18是图解说明充当低速CMS图像的集成图像的另一例子的示图。

在图18中，通过把R后侧图像和L后侧图像布置在充当CMS图像的集成图像的左侧区域及右侧区域中，并把后方图像放入集成图像的中央区域中，构成集成图像。

换句话说，图18的集成图像是以致R后侧图像和L后侧图像被分别布置在左侧和右侧，并被组合，然后在通过该组合而得到的图像的中央处合成(叠加)后方图像地生成的。

这里，组合图像的其中布置后方图像的区域也被称为“后方图像显示区域”。

在后方图像显示区中，从由后方相机11拍摄的后方图像中，剪裁与后方图像显示区域对应的视角的范围，并布置该范围的后方图像。

在图18的组合图像中，类似于图17的例子，R后侧图像显示区域和L后侧图像显示区域之间的边界可被固定到集成图像在水平方向上的中点的位置，并且如箭头AR1所示，可按照驾驶员的状态，在左右方向上移动。

此外，在图18的组合图像中，后方图像显示区域可以是固定区域或者可变区域。

在后方图像显示区域是可变区域的情况下，例如，如箭头AR2所示，可按照驾驶员的状态，比如驾驶员的头部的位置，扩大或缩小整个后方图像显示区域。

换句话说，例如，在驾驶员的头部从默认状态向前移动的情况下，可按照该移动的移动量，扩大后方图像显示区域。这种情况下，布置在后方图像显示区域中的后方图像的视角被增大，从而驾驶员可检查显示在后方图像中的后方的宽范围的状况。

此外，例如，在驾驶员的头部从默认状态向后移动的情况下，可按照该移动的移动量，缩小后方图像显示区域。

例如，图17和18的组合图像对车辆10向后移动，以便进出停车场的情况下的侧向来车警告(CTA)的用途特别有用。

<在车辆中低速行驶的情况下显示的CMS图像>

图19是图解说明在车辆中安装相机的安装位置的例子的透视图，所述相机用于拍摄充当在车辆中低速行驶的情况下显示的CMS图像(下面也称为“中速CMS图像”)的图像。

注意，图19中，与图3对应的各个部分用相同的附图标记表示，下面将适当省略其说明。

图19中，类似于图3，后方相机11安装在车辆10的后部。此外，在车辆10中，L侧相机22安装在车辆10的左侧视镜位置处，R侧相机23安装在车辆10的右侧视镜位置处。

L侧相机22是能够进行(几乎)全向成像的球形相机，比如鱼眼相机，并被安装成以致光轴面向车辆10的左方向。

L侧相机22拍摄其中显示环绕沿车辆10的左方向延伸的轴的全向(360°)状况的图像，并输出该图像，作为L侧图像。从车辆10的左前方到左方向，并进一步从左方向到左后方的宽范围的状况显示在该L侧图像中。

类似于L侧相机22，例如，R侧相机23是能够进行(几乎)全向成像的球形相机，比如鱼眼相机，并被安装成以致光轴面向车辆10的右方向DR3。

R侧相机23拍摄其中显示环绕沿车辆10的右方向DR3延伸的轴的全向状况的图像，并输出该图像，作为R侧图像。从车辆10的右前方到右方向，并进一步从右方向到右后方的宽范围的状况显示在该R侧图像中。

这里，在沿后方相机11的光轴的方向DR1(车辆10的后方方向)，与后方相机11的安装位置隔开预定距离的位置处，定义垂直于方向DR1的预定大小的平面，作为投影平面PPA。

此外，在沿车辆10的右后方方向DR2，与R侧相机23的安装位置隔开预定距离的位置处，定义垂直于方向DR2的预定大小的平面，作为投影平面PPB。这里，投影平面PPB的垂直长度与投影平面PPA的垂直长度一致。投影平面PPB的水平长度不一定需要与投影平面PPA的水平长度一致。

此外，在沿车辆10的右方向DR3，与R侧相机23的安装位置隔开预定距离的位置处，定义弯曲投影平面PPC。

投影平面PPC的垂直长度与投影平面PPA和PPB的垂直长度一致。

投影平面PPC是以R侧相机23的安装位置为中心，具有预定距离的半径的圆柱体的侧面的一部分。

注意，投影平面PPC可被定义成以致车辆10的右方向DR3是等分由投影平面PPC的左右端点和R侧相机23的安装位置形成的角度θ的方向。

这里，当从后方相机11的安装位置看，投影到投影平面PPA上的中心投影的图像被称为“PPA图像”。此外，当从R侧相机23的安装位置看，投影到投影平面PPB上的中心投影的图像被称为“RPPB图像”。此外，当从R侧相机23的安装位置看，投影到投影平面PPC上的圆柱投影的图像被称为“RPPC”图像。

车辆10后方的状况显示在PPA图像中。车辆10的右后方状况显示在RPPB图像中。车辆10的右方向DR3(与以右方向DR3为中心的角度θ对应的水平方向的范围)的状况显示在RPPC图像中。

PPA图像可以从由后方相机11拍摄的后方图像获得。RPPB图像和RPPC图像可以从由R侧相机23拍摄的R侧图像获得。

类似地，从由L侧相机22拍摄的L侧图像，可以得到与RPPB图像和RPPC图像对应的图像。

下面，从L侧图像得到的与RPPB图像对应的图像被称为“LPPB图像”，从L侧图像得到的与RPPC图像对应的图像被称为“LPPC图像”。

由于如上所述，在RPPB图像中，显示车辆10的右后方状况，因此，例如，RPPB图像对应于由图3的R侧相机13拍摄的R侧图像。类似地，例如，LPPB图像对应于由图3的L侧相机12拍摄的L侧图像。

此外，PPA图像是后方图像，从而按照PPA图像、LPPB图像和RPPB图像，可以生成第三显示方法(图8和10)的集成图像、第四显示方法(图9和10)的集成图像、上面叠加警告标志的集成图像(图12等)，以及包含在这些集成图像中的合成图像。

图20是图解说明充当中速CMS图像的集成图像的第一例子的示图。

通过利用PPA图像(后方图像)、LPPB图像和RPPB图像，生成合成图像，把LPPB图像和LPPC图像布置在合成图像的左侧，组合LPPB图像和LPPC图像，把RPPB图像和RPPC图像布置在合成图像的右侧，并组合RPPB图像和RPPC图像，可以生成图20的集成图像。

按照图20的集成图像，驾驶员可检查车辆10的后方(正后方)、左后方、右后方、左侧及右侧的状况。

此外，按照图20的组合图像，由于LPPC图像和RPPC图像是圆柱投影的图像，因此可以显示车辆的左侧和右侧的宽范围，从而驾驶员可以检查这样的宽范围。

注意，可以不布置LPPB图像和RPPB图像地构成集成图像，即，可以通过把LPPC图像布置在合成图像的左侧，并把RPPC图像布置在合成图像的右侧，构成集成图像。

此外，对于图20的集成图像，代替其中合成PPA图像的合成图像，可以布置PPA图像(后方图像)本身。

图21是图解说明充当中速CMS图像的集成图像的第二例子的示图。

在图21的集成图像中，与图20的例子相比，LPPB图像和LPPC图像的布置位置被切换，并且RPPB图像和RPPC图像的布置位置被切换。

图22是图解说明充当中速CMS图像的集成图像的第三例子的示图。

在图22的集成图像中，在合成图像和LPPB图像之间，在合成图像和RPPB图像之间，在LPPB图像和LPPC图像之间，以及在RPPB图像和RPPC图像之间，布置参考图13说明的分离边界线。

因而，驾驶员可以容易并且有意识地分离和认知布置在集成图像中的合成图像、LPPB图像、RPPB图像、LPPC图像和RPPC图像。

注意，即使在图21的集成图像中，也可布置分离边界线。

图23是用于说明充当中速CMS图像的集成图像的第四例子的示图。

例如，已对其进行仿射变换，以致在RPPB图像的下半部分中，更靠近PPA图像的区域的无限远点变得更靠近PPA图像的无限远点的RPPB图像可被布置在集成图像中。无限远点的布置是取决于实际安装在车辆中的相机的视角决定的，RPPB图像的“下半部分”对应于水平线之下的部分。

图23中，RPPB图像的下半部分被大致划分成条纹状，进行仿射变换(下面也称为“条纹仿射变换”)，以致更靠近PPA图像的条纹状区域的无限远点更靠近PPA图像的无限远点。尽管未图示，不过，这同样适用于LPPB图像。

例如，在生成集成图像，以致LPPB图像和RPPB图像被布置在PPA图像或者其中合成PPA图像的合成图像的左侧和右侧，LPPC图像被布置在LPPB图像的左侧，并且RPPC图像被布置在RPPB图像的右侧的情况下，经过条纹仿射变换的LPPB图像和RPPB图像被用作布置在PPA图像或合成图像的左侧和右侧的LPPB图像和RPPB图像，从而可以获得其中从LPPB图像和RPPB图像每一个到PPA图像或者合成图像，无限远点无缝(逐渐)变得更靠近PPA图像或合成图像的无限远点，从而视觉上的不舒服感受到抑制的集成图像。

图24是用于说明作为中速CMS图像的集成图像的第五例子的示图。

在作为中速CMS图像的集成图像中，在圆柱投影的LPPC图像和RPPC图像上，可以叠加作为围绕车辆10的虚拟边界线的虚拟边界线VL10、VL11、VL12和VL13。

这里，虚拟边界线VL10是与车辆10前部的最突出部分接触，并沿着左右方向延伸的虚拟直线，虚拟边界线VL11是与车辆10后部的最突出部分接触，并沿着左右方向延伸的虚拟直线。

虚拟边界线VL12是与车辆10左侧的最突出部分接触，并沿着前后方向延伸的虚拟直线，虚拟边界线VL13是与车辆10右侧的最突出部分接触，并沿着前后方向延伸的虚拟直线。

图25是图解说明充当中速CMS图像的集成图像的第五例子的示图。

在图25的集成图像中，在圆柱投影的LPPC图像和RPPC图像上叠加虚拟边界线VL10～VL13，从而图25的集成图像不同于图20的例子。

按照图25的集成图像，利用虚拟边界线VL10～VL13，驾驶员可了解道路上的物体与车辆10之间的相对位置关系。

尽管上面说明了高速CMS图像、中速CMS图像和低速CMS图像，不过在安装在车辆10中的CMS中，CMS图像的显示可被适当地切换成高速CMS图像、中速CMS图像或者低速CMS图像。

CMS图像的切换可以按照车辆10的状态(车辆状态)，比如车辆10的速度进行。此外，CMS图像的切换也可以按照例如驾驶员等对车辆10的操作，或者诸如驾驶员的头部位置或姿势之类的驾驶员的状态(驾驶员状态)进行。

这里，除了对方向盘(手柄)、变速杆、其他机械操作设备的操作之外，车辆10的操作例如还包括通过语音或手势的操作。

例如，在车辆从狭窄的道路驶出或者从停车场驶出的情况等之下，驾驶员有意识地从上半身坐稳的姿势(下面也称为“稳定姿势”)向前移动，并检查车辆前方的左侧和右侧。

驾驶员的上半身的前后运动不同于驾驶员可能无意识地进行的动作，比如上下移动头部的动作，是为了检查车辆前方的左侧和右侧等，驾驶员可能意识清醒地进行的动作。

此外，驾驶员的上半身的前后运动极有可能是在驾驶员握着方向盘的状态下进行的，是动作变化不大的所谓标准动作，能够以较高的准确率检测出。

在这点上，作为驾驶员状态，检测驾驶员的上半身的向前移动，在检测到驾驶员的上半身的向前移动的情况下，例如，当车辆从狭窄的道路驶出时，CMS图像的显示可被切换成对于检查车辆前方的左侧和右侧有用的中速CMS图像或低速CMS图像。

注意，作为检测作为驾驶员状态的驾驶员的上半身的前后运动的方法，存在检测绝对移动量的方法，和每隔预定的短时间，检测短时间内的相对移动量的方法。为了检测在CMS图像的显示被切换成中速CMS图像或低速CMS图像的情况下的驾驶员的上半身的前后运动，例如，可以采用每隔短时间，检测相对移动量的方法。

<本技术适用于的车辆的一个实施例>

图26是图解说明本技术适用于的车辆的一个实施例的外观的构成例子的概况的平面图。

例如，CMS安装在作为汽车等的(自身)车辆100中。此外，在车辆100中，安装构成CMS的后方相机111、L侧相机112、R侧相机113、L后侧相机114、R后侧相机115、前方相机121、内部相机122，等等。

例如，类似于图3的后方相机11，后方相机111安装在车辆100的后部。此外，例如，类似于图3的后方相机，后方相机111按预定帧率，对车辆100的后方(正后方)成像，并输出其中显示后方状况的中心投影的后方图像。

例如，类似于图19的L侧相机22，L侧相机112安装在车辆100的左侧视镜位置处。此外，例如，类似于图19的L侧相机22，L侧相机112是能够进行(几乎)全向成像的球形相机，并被安装成以致光轴面向车辆100的左方向。于是，类似于图19的L侧相机22，L侧相机112按预定帧率，拍摄其中显示环绕沿车辆100的左方向延伸的轴的全向状况的图像，并输出该图像，作为L侧图像。

例如，类似于图19的R侧相机23，R侧相机113安装在车辆100的右侧视镜位置处。此外，例如，类似于图19的R侧相机23，R侧相机113例如是能够进行全向成像的球形相机，并被安装成以致光轴面向车辆100的左方向。于是，类似于图19的L侧相机23，R侧相机113按预定帧率，拍摄其中显示环绕沿车辆100的右方向延伸的轴的全向状况的图像，并输出该图像，作为R侧图像。

例如，类似于图15和16的L后侧相机14，例如，L后侧相机114安装在车辆10的左后位置处，该左后位置在作为L后侧相机114的成像方向的右后方向的相反侧，以致光轴面向成像方向(右后方向)。此外，例如，类似于图15和16的L后侧相机14，L后侧相机114按预定帧率，拍摄具有约90°～100°的水平视角的中心投影的图像，并输出相应得到的L后侧图像。

例如，类似于图15和图16的R后侧相机15，R后侧相机115安装在车辆10的右后位置处，该右后位置在作为R后侧相机115的成像方向的左后方向的相反侧，以致光轴面向成像方向(左后方向)。此外，例如，类似于图15和图16的R后侧相机15，R后侧相机115按预定帧率，拍摄具有约90°～100°的水平视角的中心投影的图像，并输出相应得到的R后侧图像。

例如，前方相机121安装在车辆100的前部。前方相机121按预定帧率对车辆100的前方成像，并输出其中显示前方状况的前方图像。

例如，内部相机122安装在后视镜的位置，或者方向盘的轴上部的位置处。例如，内部相机122按预定帧率对操纵(驾驶)车辆100的驾驶员成像，并输出相应得到的图像。

注意，除了后方相机111、L侧相机112、R侧相机113、L后侧相机114、R后侧相机115、前方相机121和内部相机122之外，还可在车辆100中安装相机。

<安装在车辆100中的CMS的构成例子>

图27是图解说明安装在车辆100中的CMS的构成例子的方框图。

图27中，CMS 150包括成像单元161、距离检测单元162、车辆状态检测单元163、驾驶员状态检测单元164、CMS图像生成单元165和显示单元166。

成像单元161包括后方相机111、L侧相机112、R侧相机113、L后侧相机114、R后侧相机115、前方相机121、内部相机122，等等。

如果必要，那么在成像单元161中，由后方相机111、L侧相机112、R侧相机113、L后侧相机114、R后侧相机115、前方相机121和内部相机122拍摄的图像(后方图像、L侧图像、R侧图像、L后侧图像、R后侧图像、前方图像、通过对驾驶员成像而得到的图像等)被提供给驾驶员状态检测单元164或CMS图像生成单元165。

距离检测单元162例如包括声纳、雷达、立体摄像机、LIDAR、TOF传感器或其他测距传感器。距离检测单元162利用测距传感器的输出，检测到车辆100附近的站立物或其他物体的距离，并把指示距离的距离信息提供给CMS图像生成单元165。此外，利用图像处理，摄像机可以单独进行距离估计。

来自操作单元151的操作信息和来自传感器单元162的传感器信号被提供给车辆状态检测单元163。

这里，操作单元151包括安装在车辆100中，供驾驶员等操纵车辆100的各种操作设备，比如制动踏板、方向盘、转向信号杆、加速踏板或变速杆。此外，尽管未图示，不过，驾驶员的操作可以通过其他转换开关或手势传感器检测或识别。

操作单元151由驾驶员等操作，并把与所述操作对应的操作信息提供给车辆状态检测单元163和CMS图像生成单元165。

传感器单元152包括用于感测与车辆100相关的各种物理量的各种传感器，比如陀螺仪传感器和加速度传感器，并把从各种传感器输出的传感器信号提供给车辆状态检测单元163。

车辆状态检测单元163根据来自操作单元151的操作信息，或者来自传感器单元152的传感器信号，检测车辆100的车辆状态，并把车辆状态提供给CMS图像生成单元165。

车辆100的车辆状态的例子包括低速、中速和高速之中的车辆100行驶的速度范围，以及车辆100是在向前还是向后移动。

通过对驾驶员(驾驶员座位)成像而得到的图像从成像单元161的内部相机122被提供给驾驶员状态检测单元164。

驾驶员状态检测单元164从内部相机122的图像中，检测驾驶员的驾驶员状态，即，驾驶员的头部的位置、头部的运动(转动)、视线、姿势、上半身的位置、上半身的运动等，并把检测的驾驶员状态提供给CMS图像生成单元165。另外，可以利用手势传感器或ToF传感器，检测驾驶员的状态。

如上所述，来自操作单元151的操作信息、来自车辆状态检测单元163的车辆状态，和来自驾驶员状态检测单元164的驾驶员状态被提供给CMS图像生成单元165。

此外，CMS图像生成单元165接收从成像单元161的后方相机111、L侧相机112、R侧相机113、L后侧相机114、R后侧相机115和前方相机121供给的后方图像、L侧图像、R侧图像、L后侧图像、R后侧图像和前方图像。

CMS图像生成单元165按照来自操作单元151的操作信息、来自车辆状态检测单元163的车辆状态，或来自驾驶员状态检测单元164的驾驶员状态，设定显示模式。

此外，CMS图像生成单元165利用来自成像单元161的后方图像、L侧图像、R侧图像、L后侧图像、R后侧图像和前方图像，生成作为与显示模式对应的CMS图像的集成图像，并把该集成图像提供给显示单元166。

显示单元166例如是在车辆100的挡风玻璃上，显示图像的抬头显示器(HUD)、安装在仪表盘中的显示器，等等，显示来自CMS图像生成单元165的作为CMS图像的集成图像等。

<显示模式>

图28是图解说明由CMS图像生成单元165设定的显示模式的例子的示图。

图28中，显示模式的例子包括停车辅助倒档切换模式、市区低速广域模式、市区低速侧分离可变模式、CTA模式、高速侧分离显示模式、高速中间显示模式和高速标准连续模式。

此外，图28中，显示模式的转变局限于图中用箭头指示的转变。然而，显示模式的转变不局限于图28中用箭头指示的转变。换句话说，例如，显示模式可以进行从任意显示模式到另外的任意显示模式的转变。

这里，停车辅助倒档切换模式、市区低速广域模式、市区低速侧分离可变模式、CTA模式、高速侧分离显示模式、高速中间显示模式和高速标准连续模式也被称为显示模式1、2、3、4、5、6以及7。

在显示模式1下，CMS图像生成单元165生成从车辆100的上方，俯瞰包含车辆100的车辆100的周边区域的鸟瞰图或环绕视图的图像(鸟瞰图像)，作为显示模式1的图像，并输出生成的图像，作为CMS图像。

在显示模式2或3下，CMS图像生成单元165生成并输出参考图19-25说明的作为中速CMS图像的集成图像。

换句话说，在显示模式2下，CMS图像生成单元165生成例如图25的集成图像，作为显示模式2的集成图像，并输出显示模式2的集成图像，作为CMS图像。

在显示模式3下，CMS图像生成单元165生成例如图22的集成图像，作为显示模式3的集成图像，并输出显示模式3的集成图像，作为CMS图像。

在显示模式4下，CMS图像生成单元165生成并输出参考图15-18说明的作为低速CMS图像的集成图像。

换句话说，在显示模式4下，CMS图像生成单元165生成例如图18的集成图像，作为显示模式4的集成图像，并输出显示模式4的集成图像，作为CMS图像。

在显示模式5、6或7下，CMS图像生成单元165生成并输出参考图12-14说明的作为高速CMS图像的集成图像。

换句话说，在显示模式5下，CMS图像生成单元165生成例如图13的集成图像，作为显示模式5的集成图像，并输出显示模式5的集成图像，作为CMS图像。

在显示模式6下，CMS图像生成单元165生成例如图14的集成图像，作为显示模式6的集成图像，并输出显示模式6的集成图像，作为CMS图像。

在显示模式7下，CMS图像生成单元165生成例如图12的集成图像，作为显示模式7的集成图像，并输出显示模式7的集成图像，作为CMS图像。

CMS图像生成单元165按照来自操作单元151的操作信息、来自车辆状态检测单元163的车辆状态，或者来自驾驶员状态检测单元164的驾驶员状态，设定显示模式。

例如，在来自操作单元151的操作信息指示操作单元151(图27)的变速杆是倒档的情况下，CMS图像生成单元165可把显示模式1设定为显示模式。

此外，例如，在来自车辆状态检测单元163的车辆状态指示车辆100中速行驶时，CMS图像生成单元165可把显示模式2或3设定为显示模式。

此外，例如，在来自车辆状态检测单元163的车辆状态指示车辆100低速行驶时，CMS图像生成单元165可把显示模式4设定为显示模式。

此外，例如，在来自车辆状态检测单元163的车辆状态指示车辆100高速行驶时，CMS图像生成单元165把显示模式5、6或7设定为显示模式。例如，适当利用全球导航卫星系统(GNSS)、导航、或导航规划信息，可以检测指示车辆100低速行驶，以便停车等的车辆状态、指示车辆100中速行驶，以便在市区行驶等的车辆状态、和指示车辆100在高速公路上高速行驶的车辆状态等。

此外，例如，在来自操作单元151的操作信息指示操作单元151被操作，以指定预定显示模式的情况下，CMS图像生成单元165可把与操作单元151的操作相应的预定显示模式设定为显示模式。

此外，例如，在来自驾驶员状态检测单元164的驾驶员状态指示驾驶员保持稳定姿势的情况下，CMS图像生成单元165可把显示模式5、6或7设定为显示模式。

此外，例如，在来自驾驶员状态检测单元164的驾驶员状态指示驾驶员的上半身向前移动的情况下，CMS图像生成单元165可把显示模式2、3或4设定为显示模式。

<CMS图像生成单元165的构成例子>

图29是图解说明图27的CMS图像生成单元165的构成例子的方框图。

图29中，CMS图像生成单元165包括显示模式设定单元201、后方图像处理单元211、L侧图像处理单元212、R侧图像处理单元213、L后侧图像处理单元214、R后侧图像处理单元215、存储单元216、距离信息获取单元217、位置关系判定单元218、碰撞风险判定单元219、集成单元220和叠加单元221。

来自操作单元151(图27)的操作信息被提供给显示模式设定单元201。此外，来自车辆状态检测单元163(图27)的车辆状态和来自驾驶员状态检测单元164(图27)的驾驶员状态被提供给显示模式设定单元201。

显示模式设定单元201按照来自操作单元151的操作信息、来自车辆状态检测单元163的车辆状态或来自驾驶员状态检测单元164的驾驶员状态中的至少一个，设定与集成图像的显示相关的显示模式，并将其提供给集成单元220和其他必要的部件。

后方图像从后方相机111(图27)被提供给后方图像处理单元211。后方图像处理单元211对从后方相机111供给的后方图像(的每一帧)，进行与显示模式对应的图像处理，并把经过图像处理的后方图像、显示在后方图像中的站立物(后方站立物)、和指示后方图像上的后方站立物的位置的位置信息提供给存储单元216。

L侧图像从L侧相机112(图27)被提供给L侧图像处理单元212。L侧图像处理单元212对从L侧相机112供给的L侧图像(的每一帧)，进行与显示模式对应的图像处理，并把经过图像处理的L侧图像、显示在L侧图像中的站立物(L侧站立物)、和指示L侧图像上的L侧站立物的位置的位置信息提供给存储单元216。

R侧图像从R侧相机113(图27)被提供给R侧图像处理单元213。R侧图像处理单元213对从R侧相机113供给的R侧图像(的每一帧)，进行与显示模式对应的图像处理，并把经过图像处理的R侧图像、显示在R侧图像中的站立物(R侧站立物)、和指示R侧图像上的R侧站立物的位置的位置信息提供给存储单元216。

L后侧图像从L后侧相机114(图27)被提供给L后侧图像处理单元214。L后侧图像处理单元214对从L后侧相机114供给的L后侧图像(的每一帧)进行与显示模式对应的图像处理，并把经过图像处理的L后侧图像提供给存储单元216。

R后侧图像从R后侧相机115(图27)被提供给R后侧图像处理单元215。R后侧图像处理单元215对从R后侧相机115供给的R后侧图像(的每一帧)进行与显示模式对应的图像处理，并把经过图像处理的R后侧图像提供给存储单元216。

存储单元216保存来自后方图像处理单元211的后方图像、后方站立物(的图像)、和后方站立物的位置信息。此外，存储单元216保存来自L侧图像处理单元212的L侧图像、L侧站立物(的图像)、和L侧站立物的位置信息。此外，存储单元216保存来自R侧图像处理单元213的R侧图像、R侧站立物(的图像)、和R侧站立物的位置信息。此外，存储单元216保存来自L后侧图像处理单元214的L后侧图像，和来自R后侧图像处理单元215的R后侧图像。

指示到车辆100附近的物体的距离的距离信息从距离检测单元162(图27)被提供给距离信息获取单元217。距离信息获取单元217从供给自距离检测单元162的距离信息，获取存在于由保存在存储单元216中的位置信息指示的位置处的站立物(后方站立物和L/R侧站立物)的距离信息，并把该距离信息提供给位置关系判定单元218、碰撞风险判定单元219和集成单元220。

位置关系判定单元218根据来自距离信息获取单元217的站立物的距离信息，进行判定后方站立物和L/R侧站立物之间的前后关系的前后关系判定。此外，位置关系判定单元218根据来自距离信息获取单元217的站立物的距离信息，和保存在存储单元216中的站立物的位置信息，进行在合成图像中，L/R侧站立物是否被后方站立物隐藏的遮挡判定。

此外，位置关系判定单元218把前后关系判定的判定结果，和遮挡判定的判定结果作为位置关系信息，提供给叠加单元221。

根据来自距离信息获取单元217的L/R侧站立物的距离信息，碰撞风险判定单元219进行判定如果车辆100向左或向右变更路线，那么车辆100是否与R侧站立物碰撞的碰撞风险判定。

换句话说，例如，碰撞风险判定单元219从来自距离信息获取单元217的L/R侧站立物的距离信息，得到L/R侧站立物的相对速度。此外，碰撞风险判定单元219根据由L/R侧站立物的距离信息指示的到L/R侧站立物的距离，和L/R侧站立物的相对速度，估计如果车辆10向左或向右变更路线，那么直到车辆10与L/R侧站立物碰撞为止的碰撞所需时间。

碰撞风险判定单元219把碰撞风险判定的判定结果提供给叠加单元221。

取决于显示模式，集成单元220通过集成保存在存储单元216中的后方图像、L/R侧图像、L/R后侧图像、后方站立物和L/R侧站立物之中的必要图像，生成集成图像，并把集成图像提供给叠加单元221。

注意，当在集成图像(构成集成图像的合成图像)的生成中，对后方站立物和L/R侧站立物进行分层合成时，集成单元220按照来自距离信息获取单元217的站立物的距离信息，合成后方站立物和L/R侧站立物，以致在后方站立物和L/R侧站立物的交叠部分中，在近侧的站立物上盖写远侧的站立物。

取决于显示模式，叠加单元221使诸如警告标志AM1和AM2(图12)之类的警告标志，或者围绕车辆100的周边的虚拟边界线VL10、VL11、VL12和VL13(图24和25)被叠加在来自集成单元220的集成图像上，并把相应获得的叠加图像作为CMS图像，输出给显示单元166(图27)。

换句话说，在显示模式(图28)是显示模式1、3或4的情况下，叠加单元221原样输出来自集成单元220的集成图像，作为CMS图像。

此外，在显示模式是显示模式2的情况下，叠加单元221使围绕车辆100的周边的虚拟边界线VL10、VL11、VL12和VL13(与之对应的线条)被叠加，并输出相应获得的叠加图像，作为CMS图像。

此外，在显示模式是显示模式5、6或7的情况下，叠加单元221按照来自位置关系判定单元218的位置关系信息，和来自碰撞风险判定单元219的碰撞风险判定的判定结果，进行判定是否向驾驶员发出指示L/R侧站立物正在逼近的警告的警告判定。

随后，当在警告判定中，判定警告是不必要之时，叠加单元221原样输出来自集成单元220的集成图像，作为CMS图像。

此外，当在警告判定中，判定警告是必要之时，叠加单元221使警告标志叠加在来自集成单元220的集成图像中的L/R侧站立物所位于的位置上，并输出相应获得的叠加图像，作为CMS图像。

注意，叠加单元221根据保存在存储单元216中的L/R侧站立物的位置信息，识别集成图像上的L/R侧站立物所位于的、从而叠加警告标志的位置。

图30是图解说明图29的后方图像处理单元211的构成例子的方框图。

后方图像处理单元211包括图像剪裁单元251和站立物检测单元252。

后方图像从后方相机111(图27)被提供给图像剪裁单元251。

图像剪裁单元251按照显示模式，从供给自后方相机111的后方图像(也称为“原始后方图像”)中，剪裁为生成该显示模式的集成图像所必需的范围，并把该范围的后方图像提供给站立物检测单元252和存储单元216(图29)。

站立物检测单元252通过对来自图像剪裁单元251的后方图像，进行光流分析、纹理分析等，对显示在后方图像中的后方站立物的区域进行分割。

站立物检测单元252通过所述分割，检测显示在后方图像中的后方站立物(的图像)，以及指示后方站立物在后方图像上的位置的位置信息，并把后方站立物及位置信息提供给存储单元216。这里，在所述分割中，进行作为非路面的站立物的区域提取。通过分割提取的区域的边界的最下端部可被视为地面接触点。移动中的站立物必然具有地面接触点。

图31是图解说明图29的L侧图像处理单元212的构成例子的方框图。

L侧图像处理单元212包括图像剪裁单元261、投影方式转换单元262、站立物检测单元263、仿射变换单元264和变换后位置检测单元265。

L侧图像从L侧相机112(图27)被提供给图像剪裁单元261。

图像剪裁单元261按照显示模式，从供给自L侧相机112的L侧图像(也称为“原始L侧图像”)中，剪裁为生成该显示模式的集成图像所必需的范围，并把该范围的L侧图像提供给投影方式转换单元262。

投影方式转换单元262按照显示模式，进行把来自图像剪裁单元261的L侧图像转换成中心投影的L侧图像，或者圆柱投影的L侧图像的投影方式转换。

这里，在本实施例中，L侧相机112是球形相机，由L侧相机112拍摄的(原始)L侧图像是在全向成像中采用的诸如等距投影之类的投影方式的图像。

投影方式转换单元262把上面说明的等距投影的L侧图像转换成中心投影的L侧图像和圆柱投影的L侧图像(中的一个或者两者)。

投影方式转换单元262把中心投影的L侧图像提供给站立物检测单元263、仿射变换单元264和存储单元216(图29)，并把圆柱投影的L侧图像提供给存储单元216。

站立物检测单元263通过对来自投影方式转换单元262的L侧图像，进行光流分析、纹理分析等，对显示在L侧图像中的L侧站立物的区域进行分割。

站立物检测单元263通过所述分割，检测显示在L侧图像中的L侧站立物(的图像)，以及指示L侧站立物在L侧图像上的位置的位置信息，并把L侧站立物及位置信息提供给变换后位置检测单元265和存储单元216。

例如，仿射变换单元264对来自投影方式转换单元262的L侧图像，进行仿射变换，以致来自投影方式转换单元262的L侧图像的无限远点与后方图像的无限远点一致。

随后，仿射变换单元264把通过仿射变换得到的经过仿射变换的L侧图像提供给存储单元216。

注意，在仿射变换单元264中，代替进行使L侧图像的无限远点与后方图像的无限远点一致的仿射变换，例如，可以进行按照驾驶员的状态，调整经过仿射变换的L侧图像的无限远点与后方图像的无限远点一致的程度的仿射变换。

此外，仿射变换单元264在仿射变换中，生成其中使仿射变换前的L侧图像的各个像素的位置与经过仿射变换的L侧图像的各个像素的位置相互关联的转换表。仿射变换的转换表从仿射变换单元264被提供给变换后位置检测单元265。

变换后位置检测单元265利用来自仿射变换单元264的转换表，从来自站立物检测单元263的L侧站立物的位置信息(显示在仿射变换前的L侧图像中的站立物的位置信息)，检测显示在经过仿射变换的L侧图像中的L侧站立物的位置信息，并把L侧站立物的位置信息提供给存储单元216。

图32是图解说明图29的R侧图像处理单元213的构成例子的方框图。

R侧图像处理单元213包括图像剪裁单元271、投影方式转换单元272、站立物检测单元273、仿射变换单元274和变换后位置检测单元275。

图像剪裁单元271～变换后位置检测单元275是分别类似于图31的图像剪裁单元261～变换后位置检测单元265构成的。

在图像剪裁单元271～变换后位置检测单元275中，进行与图像剪裁单元261～变换后位置检测单元265类似的处理，除了处理是对从R侧相机113供给的R侧图像(下面也称为“原始R侧图像”)进行的之外。

图33是图解说明图29的L后侧图像处理单元214的构成例子的方框图。

L后侧图像处理单元214包括图像剪裁单元281。

L后侧图像从L后侧相机114(图27)被提供给图像剪裁单元281。

图像剪裁单元281按照显示模式，从供给自L后侧相机114的L后侧图像(下面也称为“原始L后侧图像”)中，剪裁为生成显示模式的集成图像所必需的范围，并把该范围的L后侧图像提供给存储单元216(图29)。

图34是图解说明图29的R后侧图像处理单元215的构成例子的方框图。

R后侧图像处理单元215包括图像剪裁单元291。

R后侧图像从R后侧相机115(图27)被提供给图像剪裁单元291。

图像剪裁单元281按照显示模式，从供给自R后侧相机115的R后侧图像(下面也称为“原始R后侧图像”)中，剪裁为生成显示模式的集成图像所必需的范围，并把该范围的R后侧图像提供给存储单元216(图29)。

图35是说明为了图30的站立物检测单元252中的站立物的检测而进行的分割的概况的示图。

换句话说，图35图解说明后方图像的例子。

图35中，箭头指示通过对后方图像进行光流分析而得到的光流(OF)(指示所述光流(OF)的向量)。

在后方图像中，显示在后方图像中的物体的OF取决于该物体相对于车辆100的相对速度。于是，例如，诸如道路之类的静止物体的OF不同于诸如除车辆100外的车辆之类的运动中的站立物的OF。

例如，道路的OF具有大小对应于车辆100的速度，并且面向后方方向(后方图像的远侧)的向量。此外，例如，逼近车辆100的站立物的OF具有面向前方方向(后方图像的近侧)的向量，以与车辆100相同的速度，行驶在车辆100之后的站立物的OF具有0向量。

于是，在后方图像中，具有相似OF的连续区域构成具有类似纹理的一个物体(集合体)(比如汽车、摩托车、行人等)的可能性很高。

在这点上，在后方图像中，站立物检测单元252进行把后方图像划分成一组区域的分割，在所述一组区域中，分布与后方图像中，大小对应于车辆100的速度的面向后方方向的道路的OF不同的相似OF。

随后，站立物检测单元252检测通过所述分割得到的一组区域，作为站立物(区域)。

图31的站立物检测单元263和图32的站立物检测单元273也类似于站立物检测单元252地进行分割，从而检测站立物。对于通过分割提取的站立物的区域，与自身车辆100的相对位置关系重要，作为最接近自身车辆100的点的最接近点最重要。此外，假定站立物在该站立物的区域的边界的底部的位置处是直立的。注意，对于诸如起重车之类具有特殊形状的车辆，可以与通过分割检测的区域(站立物)相比地引入车辆的道路接触点(不是站立物的区域的边界的底部)。这种情况下，如果站立物的区域的边界的底部被假定为车辆的道路接触点，那么该道路接触点包含误差。在这点上，在检测到车辆的道路接触点的情况下，可以进行车辆识别，并且例如可按照识别结果，进行施加偏移量，以便主动降低车辆的道路接触点的误差的处理。

<CMS图像生成处理>

图36是说明图29的CMS图像处理单元165进行的CMS图像生成处理的例子的流程图。

在步骤S101，显示模式设定单元201按照来自操作单元151的操作信息、来自车辆状态检测单元163的车辆状态，和来自驾驶员状态检测单元164的驾驶员状态，设定显示模式，并将其提供给集成单元220及其他必要的部件，然后处理进入步骤S102。

在步骤S102，CMS图像生成单元165(的各个部件)判定显示模式。

当在步骤S102，判定显示模式为显示模式5、6或7时，处理进入步骤S103，CMS图像生成单元165进行显示模式5、6和7的图像生成处理，然后处理返回步骤S101。

当在步骤S102，判定显示模式为显示模式4时，处理进入步骤S104，CMS图像生成单元165进行显示模式4的图像生成处理，然后处理返回步骤S101。

当在步骤S102，判定显示模式为显示模式2或3时，处理进入步骤S105，CMS图像生成单元165进行显示模式2和3的图像生成处理，然后处理返回步骤S101。

当在步骤S102，判定显示模式为显示模式1时，处理进入步骤S106，CMS图像生成单元165适当地利用从成像单元161供给的图像，生成显示模式1的图像，即，环绕视图的图像。

随后，CMS图像生成单元165(向显示单元166)输出环绕视图的图像，作为CMS图像，然后处理从步骤S106返回步骤S101。

图37是说明在图36的步骤S103进行的显示模式5、6或7的图像生成处理的例子的流程图。

在步骤S111，进行显示模式5、6或7的图像处理，然后处理进入步骤S112。

这里，作为显示模式5、6或7的图像处理，在步骤S111-1，后方图像处理单元211进行后方图像处理。此外，在步骤S111-2，L侧图像处理单元212进行L侧图像处理，在步骤S111-3，R侧图像处理单元213进行R侧图像处理。

在步骤S111-1，后方图像处理单元211通过进行后方图像处理，获得用于生成显示模式5、6或7的集成图像(图13、图14或图12的集成图像)的后方图像、后方站立物、以及后方站立物的位置信息，并输出所述后方图像、后方站立物、以及后方站立物的位置信息。

在步骤S111-2，L侧图像处理单元212通过进行L侧图像处理，获得用于生成显示模式5、6或7的集成图像的L侧图像、L侧站立物、以及L侧站立物的位置信息，并输出所述L侧图像、L侧站立物、以及L侧站立物的位置信息。

在步骤S111-3，R侧图像处理单元213通过进行R侧图像处理，获得用于生成显示模式5、6或7的集成图像的R侧图像、R侧站立物、以及R侧站立物的位置信息，并输出所述R侧图像、R侧站立物、以及R侧站立物的位置信息。

在步骤S112，存储单元216保存通过前一步骤S111的显示模式5、6或7的图像处理获得的后方图像、后方站立物和后方站立物的位置信息，以及L/R侧图像、L/R侧站立物和L/R侧图像的位置信息，然后处理进入步骤S113。

在步骤S113，距离信息获取单元217根据从距离检测单元162(图27)供给的距离信息，获取存在于由保存在存储单元216中的位置信息指示的位置处的后方站立物及L/R侧站立物的距离信息。此外，距离信息获取单元217把后方站立物及L/R侧站立物的距离信息提供给位置关系判定单元218、碰撞风险判定单元219和集成单元220，然后处理从步骤S113进入步骤S114。

在步骤S114，碰撞风险判定单元219根据来自距离信息获取单元217的L/R侧站立物的距离信息(的变化)，得到L/R侧站立物的相对速度(对于车辆100的相对速度)。此外，碰撞风险判定单元219根据由L/R侧站立物的距离信息所指示的到L/R侧站立物的距离，以及L/R侧站立物的相对速度，进行碰撞风险判定，然后处理进入步骤S115。

在步骤S115，位置关系判定单元218根据来自距离信息获取单元217的后方站立物及L/R侧站立物的距离信息，以及保存在存储单元216中的后方站立物及L/R侧站立物的位置信息，进行前后关系判定和遮挡判定。

此外，位置关系判定单元218把前后关系判定的判定结果，以及遮挡判定的判定结果，作为位置关系信息提供给叠加单元221，然后处理从步骤S115进入步骤S116。

在步骤S116，集成单元220利用保存在存储单元216中的后方图像、L/R侧图像、后方站立物及L/R侧站立物，生成显示模式5、6或7的集成图像(图13、图14或图12的集成图像)。

换句话说，集成单元220通过合成保存在存储单元216中的后方图像，和经过仿射变换的L/R侧图像，然后进行按照来自距离信息获取单元217的后方站立物及L/R侧站立物的距离信息，把保存在存储单元216中的后方站立物及L/R侧站立物合成到相应获得的合成图像中的分层合成，生成合成图像。

注意在这里，假定采用第四显示方法，作为参图10说明的CMS图像的显示方法。这种情况下，在分层合成中，在由仿射变换后的L/R侧站立物(显示在经过仿射变换的L/R侧图像中的L/R侧站立物)的位置信息指示的位置处，合成仿射变换前的L/R侧站立物。

在如上所述生成合成图像之后，如果必要，那么集成单元220通过组合保存在存储单元216中的仿射变换前的L/R侧图像和该合成图像，生成显示模式5、6或7的集成图像。

此外，集成单元220把显示模式5、6或7的集成图像提供给叠加单元221，然后处理从步骤S116进入步骤S117。

在步骤S117，叠加单元221按照来自位置关系判定单元218的位置关系信息，和来自碰撞风险判定单元219的碰撞风险判定的判定结果，进行判定是否向驾驶员发出指示L/R侧站立物正在逼近的警告的警告判定。

当在警告判定中，判定警告是不必要的时候，即，例如，在其中与后方站立物相比，L/R侧站立物更远的合成图像中，后方站立物的至少一部分被后方站立物隐藏，并且如果车辆10向左或向右变更路线，那么车辆10可能与L/R侧站立物碰撞的情况下，叠加单元221使警告标志叠加在来自集成单元220的集成图像上。

换句话说，叠加单元221按照保存在存储单元216中的(经过仿射变换的)L/R侧站立物的位置信息，使警告标志叠加在来自集成单元220的集成图像的L/R侧站立物所位于的位置处，然后处理从步骤S117进入步骤S118。

在步骤S118，叠加单元221输出通过警告标志的叠加而得到的叠加图像，作为CMS图像，然后处理返回。

注意，当在步骤S117，判定警告是不必要的时候，处理进入步骤S118，叠加单元221原样输出来自集成单元220的集成图像，作为CMS图像。

图38是说明在图37的步骤S111-1，由后方图像处理单元211进行的后方图像处理的例子的流程图。

在步骤S131，后方图像处理单元211(图30)的图像剪裁单元251获取从后方相机111供给的原始后方图像。

随后，图像剪裁单元251按照后方相机111的摄像机参数，校正原始后方图像，然后处理进入步骤S132。

在步骤S132，图像剪裁单元251从原始后方图像中，剪裁用于生成显示模式5、6或7的集成图像的范围的后方图像，并把剪裁的后方图像输出给站立物检测单元252和存储单元216(图29)，然后处理进入步骤S133。

在步骤S133，站立物检测单元252在来自图像剪裁单元251的后方图像中，设定作为在其中检测站立物的对象区域的感兴趣区(ROI)，然后处理进入步骤S134。

在步骤S134，站立物检测单元252对来自图像剪裁单元251的后方图像的对象区域，进行利用光流分析、纹理分析、色调分析等的分割，进行显示在后方图像的对象区域中的后方站立物的检测(尝试后方站立物的检测)，然后处理进入步骤S135。

换句话说，在步骤S134，例如，首先在步骤S134-1，站立物检测单元252对后方图像的对象区域进行光流分析。

此外，站立物检测单元252把对象区域聚类成在指示通过光流分析而获得的OF的向量方面类似的小区域。

此外，站立物检测单元252通过对通过对象区域的聚类而获得的各个小区域进行纹理分析、色调分析等，获得各个小区域的特征量，通过合并具有相似特征量的相邻小区域，扩大小区域，然后处理从步骤S134-1进入步骤S134-2。

在步骤S134-2，站立物检测单元252检测通过扩大在步骤S134-1中得到的小区域而获得的扩大区域之中、被估计为后方站立物的扩大区域的边界，然后处理进入步骤S134-3。

在步骤S134-3，站立物检测单元252从对象区域中，提取在步骤S134-2，在其中检测到边界的扩大区域中的图像，作为后方站立物的图像，进行使该图像的边界平滑的边缘处理，然后步骤S134的处理终止。

在步骤S135，站立物检测单元252判定后方站立物是否显示在后方图像中。

换句话说，在步骤S135，站立物检测单元252判定通过前一步骤S134的分割，是否能够从后方图像中检测到后方站立物。

当在步骤S135，判定不能检测到后方站立物时，处理跳过步骤S136和S137，并返回。

这种情况下，站立物检测单元252不输出(不能输出)后方站立物及后方站立物的位置信息。

另一方面，当在步骤S135，判定能够检测到后方站立物时，处理进入步骤S136，站立物检测单元252检测指示后方图像上的后方站立物的位置的位置信息，然后处理进入步骤S137。

在步骤S137，站立物检测单元252把在步骤S134检测的后方站立物，和在步骤S136检测的后方站立物的位置信息输出给存储单元216(图29)，然后处理返回。

图39是说明在图37的步骤S111-2，由L侧图像处理单元212进行的L侧图像处理的例子的流程图。

在步骤S151，L侧图像处理单元212(图31)的图像剪裁单元261获取从L侧相机112供给的原始L侧图像。

随后，图像剪裁单元261按照L侧相机112的相机参数，校正原始L侧图像，然后处理进入步骤S152。

在步骤S152，图像剪裁单元261从原始L侧图像中，剪裁用于生成显示模式5、6或7的集成图像的范围的L侧图像，并把该范围的L侧图像提供给投影方式转换单元262，随后处理进入步骤S153。

在步骤S153，投影方式转换单元262把来自图像剪裁单元261的剪裁的L侧图像转换成中心投影的L侧图像，并把中心投影的L侧图像输出给站立物检测单元263、仿射变换单元264和存储单元216(图29)，然后处理进入步骤S154。

在步骤S154，仿射变换单元264生成其中使仿射变换前的L侧图像的各个像素的位置与经过仿射变换的L侧图像的各个像素的位置相互关联的转换表，用于将对来自投影方式转换单元262的L侧图像进行的，以致来自投影方式转换单元262的L侧图像的无限远点与后方图像的无限远点一致的仿射变换。

此外，仿射变换单元264按照转换表，对来自投影方式转换单元262的L侧图像，进行仿射变换，并把经过仿射变换的L侧图像输出给存储单元216(图29)。

此外，仿射变换单元264把转换表提供给变换后位置检测单元265，然后处理从步骤S154进入步骤S155。

注意，在显示模式6被设定为显示模式的情况下，当按照驾驶员的头部的运动，无缝地改变合成图像中，经过仿射变换的L/R侧图像的无限远点与后方图像的无限远点一致的程度时，仿射变换单元264按照从驾驶员状态检测单元164(图27)提供给CMS图像生成单元165的驾驶员状态，调整经过仿射变换的L侧图像的无限远点与后方图像的无限远点一致的程度，随后进入仿射变换，如参考图14所述。

在步骤S155，站立物检测单元263在来自投影方式转换单元262的L侧图像中，设定作为在其中检测站立物的对象区域的ROI，然后处理进入步骤S156。

在步骤S156，站立物检测单元263对来自投影方式转换单元262的L侧图像的对象区域，进行与图38的步骤S134类似的分割，然后进行显示在L侧图像的对象区域中的L侧站立物的检测(尝试L侧站立物的检测)，然后处理进行步骤S157。

在步骤S157，站立物检测单元263判定L侧站立物是否显示在L侧图像中。

换句话说，在步骤S157，站立物检测单元263判定通过前一步骤S156的分割，是否能够从L侧图像中检测到L侧站立物。

当在步骤S157，判定不能检测到L侧站立物时，处理跳过步骤S158-S160，进入步骤S161。

这种情况下，站立物检测单元263不输出(不能输出)L侧站立物及(仿射变换前的)L侧站立物的位置信息。此外，类似地，变换后位置检测单元265不输出(经过仿射变换的)L侧站立物的位置信息。

另一方面，当在步骤S157，判定能够检测到L侧站立物时，处理进入步骤S158，站立物检测单元263检测指示L侧图像上的L侧站立物的位置的位置信息，然后处理进入步骤S159。

在步骤S159，站立物检测单元263把在步骤S158检测到的L侧站立物，和在步骤S158检测到的L侧站立物的位置信息输出给变换后位置检测单元265及存储单元216(图29)，然后处理进入步骤S160。

在步骤S160，变换后位置检测单元265利用来自仿射变换单元264的转换表，根据来自站立物检测单元263的L侧站立物的位置信息(显示在仿射变换前的L侧图像中的站立物的位置信息)，检测显示在经过仿射变换的L侧图像中的L侧站立物(仿射变换后的L侧站立物)的位置信息。随后，变换后位置检测单元265把仿射变换后的L侧站立物的位置信息输出给存储单元216，然后处理进入步骤S161。

在步骤S161，CMS图像生成单元165判定校正构成成像单元161的后方相机111～内部相机122的相机参数的相机参数校正定时是否来临，或者是否从(未图示的)部件发出了校正相机参数的校正触发。

当在步骤S161，判定相机参数校正定时未来临，或者未发出校正触发时，处理跳过步骤S162并返回。

此外，当在步骤S161，判定相机参数校正定时来临，或者发出了校正触发时，处理进入步骤S162。

在步骤S163，CMS图像生成单元165利用预定方法，校正构成成像单元161的后方相机111～内部相机122的相机参数，然后处理返回。

注意，除了代替L侧图像，对R侧图像进行处理之外，在图37的步骤S111-3，由R侧图像处理单元213进行的R侧图像处理类似于图39的L侧图像处理，从而其说明被省略。

图40是说明在图36的步骤S104进行的显示模式4的图像生成处理的例子的流程图。

在步骤S181，进行显示模式4的图像处理，然后处理进入步骤S182。

这里，作为显示模式4的图像处理，在步骤S181-1，后方图像处理单元211进行后方图像处理。此外，在步骤S181-2，L后侧图像处理单元214进行L后侧图像处理，在步骤S181-3，R后侧图像处理单元215进行R后侧图像处理。

在步骤S181-1，后方图像处理单元211通过进行后方图像处理，获得用于生成显示模式4的集成图像(图18的集成图像)的后方图像，并输出获得的后方图像。

在步骤S181-2，L后侧图像处理单元214通过进行L后侧图像处理，获得用于生成显示模式4的集成图像的L后侧图像，并输出获得的L后侧图像。

在步骤S181-3，R后侧图像处理单元215通过进行R后侧图像处理，获得用于生成显示模式4的集成图像的R后侧图像，并输出获得的R后侧图像。

在步骤S182，存储单元216保存通过前一步骤S181的显示模式4的图像处理所获得的后方图像和L/R后侧图像，然后处理进入步骤S183。

在步骤S183，集成单元220集成保存在存储单元216中的后方图像和L/R后侧图像，从而生成显示模式4的集成图像(图18的集成图像)。

换句话说，如参考图18所述，集成单元220通过把保存在存储单元216中的R后侧图像和L后侧图像布置在左侧和右侧，并组合R后侧图像和L后侧图像，生成组合图像。此外，集成单元220使保存在存储单元216中的后方图像组合(叠加)在组合图像的中央处，从而生成显示模式4的集成图像(图18的集成图像)。

此外，集成单元220把显示模式4的集成图像提供给叠加单元221，然后处理进入步骤S184。

在步骤S184，叠加单元221作为CMS图像地输出来自集成单元220的显示模式4的集成图像，然后处理返回。

图41是说明在图40的步骤S181-1，由后方图像处理单元211进行的后方图像处理的例子的流程图。

在步骤S191，后方图像处理单元211(图30)的图像剪裁单元251获取从后方相机111供给的原始后方图像。

随后，图像剪裁单元251按照后方相机111的相机参数，校正原始后方图像，然后处理进入步骤S192。

在步骤S192，图像剪裁单元251按照从驾驶员状态检测单元164(图27)提供给CMS图像生成单元165的驾驶员状态，设定显示模式4的集成图像(图18)的后方图像显示区域，然后处理进入步骤S193。

在步骤S193，图像剪裁单元251从原始后方图像中，剪裁将在前一步骤S192中设定的后方图像显示区域中显示的范围的后方图像，并把该范围的后方图像输出给存储单元216(图29)，然后处理返回。

图42是说明在图40的步骤S181-2，由L后侧图像处理单元214进行的L后侧图像处理的例子的流程图。

在步骤S211，L后侧图像处理单元214(图33)的图像剪裁单元281获取从L后侧相机114供给的L后侧图像。

随后，图像剪裁单元281按照L后侧相机114的相机参数，校正原始L后侧图像，然后处理进入步骤S212。

在步骤S212，图像剪裁单元281按照从驾驶员状态检测单元164(图27)提供给CMS图像生成单元165的驾驶员状态，设定显示模式4的集成图像(图18)的L后侧图像显示区域，然后处理进入步骤S213。

在步骤S213，图像剪裁单元281从原始L后侧图像中，剪裁将在前一步骤S212中设定的L后侧图像显示区域中显示的范围的L后侧图像，并把该范围的L后侧图像输出给存储单元216(图29)，然后处理返回。

注意，除了代替L后侧图像，对R后侧图像进行处理之外，在图40的步骤S181-3，由R后侧图像处理单元215(图35)进行的R后侧图像处理类似于图42的L后侧图像处理，从而其说明被省略。

图43是说明在图36的步骤S105进行的显示模式2或3的图像生成处理的例子的流程图。

在步骤S231，进行显示模式2或3的图像处理，然后处理进入步骤S232。

这里，在步骤S231-1，后方图像处理单元211进行与图38类似的后方图像处理，作为显示模式2或3的图像处理。此外，在步骤S231-2，L侧图像处理单元212进行L侧图像处理，在步骤S231-3，R侧图像处理单元213进行R侧图像处理。

在步骤S231-1，后方图像处理单元211通过进行后方图像处理，获得用于生成包含在显示模式2或3的集成图像(图25或图22的集成图像)中的合成图像的作为PPA图像(图19)的后方图像、后方站立物、及后方站立物的位置信息，并输出所述后方图像、后方站立物、及后方站立物的位置信息。

在步骤S231-2，L侧图像处理单元212通过进行L侧图像处理，获得用于生成显示模式2或3的集成图像的L侧图像、L侧站立物、及L侧站立物的位置信息，并输出所述L侧图像、L侧站立物、及L侧站立物的位置信息。

这里，用于生成显示模式2或3的集成图像的L侧图像包括参考图19和20等说明的LPPB图像和LPPC图像。此外，用于生成显示模式2或3的集成图像的L侧站立物意味显示在LPPB图像中的站立物。

在步骤S231-3，R侧图像处理单元213通过进行R侧图像处理，得到用于生成显示模式2或3的集成图像的R侧图像、R侧站立物、和R侧站立物的位置信息，并输出所述R侧图像、R侧站立物、和R侧站立物的位置信息。

这里，用于生成显示模式2或3的集成图像的R侧图像包括参考图19和20等说明的RPPB图像和RPPC图像。此外，用于生成显示模式2或3的集成图像的R侧站立物意味显示在RPPB图像中的站立物。

在步骤S232，存储单元216保存通过进行前一步骤S231的显示模式2或3的图像处理而获得的充当PPA图像的后方图像、后方站立物、和后方站立物的位置信息，以及L/R侧图像(LPPB图像、LPPC图像、RPPB图像和RPPC图像)、L/R侧站立物、和L/R侧图像的位置信息，然后处理进入步骤S233。

在步骤S233，距离信息获取单元217从供给自距离检测单元162(图27)的距离信息，获取存在于由保存在存储单元216中的位置信息指示的位置处的后方站立物及L/R侧站立物的距离信息。随后，距离信息获取单元217把后方站立物及L/R侧站立物的位置信息提供给位置关系判定单元218和集成单元220，然后处理从步骤S233进入步骤S234。

在步骤S234，集成单元220利用保存在存储单元216中的充当PPA图像的后方图像、L/R侧图像(LPPB图像、LPPC图像、RPPB图像和RPPC图像)、后方站立物和L/R侧站立物，生成显示模式2或3的集成图像(图25或22的集成图像)。

换句话说，集成单元220类似于显示模式5、6或7的图像生成处理(图37)地生成合成图像。

具体地，集成单元220通过合成保存在存储单元216中的充当PPA图像的后方图像，和经过仿射变换的LPPB图像及RPPB图像，并进行按照来自距离信息获取单元217的后方站立物及L/R侧站立物的距离信息，合成相应地获得的合成图像，和保存在存储单元216中的后方站立物及L/R侧站立物的分层合成，生成合成图像。

在如上所述生成合成图像之后，通过组合保存在存储单元216中的仿射变换前的LPPB图像和RPPB图像，以致它们与合成图像相邻，并进一步组合保存在存储单元216中的LPPC图像和RPPC图像，以致它们与组合的LPPB图像和RPPB图像相邻，集成单元220生成显示模式2或3的集成图像(图25或22的集成图像)。

此外，集成单元220把显示模式2或3的集成图像提供给叠加单元221，然后处理从步骤S234进入步骤S235。

在步骤S235，在显示模式是显示模式2和3(图24和25)之中的显示模式2的情况下，叠加单元221使边界标志(图24和25)作为与围绕车辆100的周边的虚拟边界线VL10、VL11、VL12和VL13对应的线条，被叠加在来自集成单元220的集成图像上，然后处理从步骤S235进入步骤S236。

在步骤S236，叠加单元221输出通过边界标志的叠加而得到的叠加图像，作为CMS图像，然后处理返回。

注意，在显示模式为显示模式3的情况下，在步骤S236，叠加单元221原样输出集成图像，作为CMS图像，而不在步骤S235中，使边界标志被叠加在来自集成单元220的集成图像上。

图44是说明在图43的步骤S231-2，由L侧图像处理单元212进行的L侧图像处理的例子的流程图。

在步骤S251，L侧图像处理单元212(图31)的图像剪裁单元261获取从L侧相机112供给的原始L侧图像。

随后，图像剪裁单元261按照L侧相机112的相机参数，校正原始L侧图像，然后处理进入步骤S252。

在步骤S252，图像剪裁单元261从原始L侧图像中，剪裁充当用于生成显示模式2或3的集成图像的LPPB图像和LPPC图像的范围的图像，作为LPPB范围图像和LPPC范围图像，并把所述范围的图像提供给投影方式转换单元262，然后处理进入步骤S253。

在步骤S253，投影方式转换单元262把来自图像剪裁单元261的LPPB范围图像转换成中心投影的LPPB图像，并把中心投影的LPPB图像提供给站立物检测单元263及仿射变换单元264，然后处理进入步骤S254。

在步骤S254，仿射变换单元264生成其中使仿射变换前的LPPB图像的像素的位置与经过仿射变换的LPPB图像的像素的位置关联的转换表，用于将对来自投影方式转换单元262的LPPB图像进行的，以致来自投影方式转换单元262的LPPB图像的无限远点与后方图像的无限远点一致的仿射变换。

此外，仿射变换单元264按照转换表，对来自投影方式转换单元262的LPPB图像进行仿射变换，并把经过仿射变换的LPPB图像作为L侧图像(的一种)，输出给存储单元216。

此外，仿射变换单元264把转换表提供给变换后位置检测单元265，然后处理从步骤S254进入步骤S255。

这里，在步骤S254，从仿射变换单元264输出给存储单元216的经过仿射变换的LPPB图像用于在图43的步骤S234生成合成图像。

在步骤S255，站立物检测单元263在来自投影方式转换单元262的LPPB图像中，设定充当在其中检测站立物的对象区域的ROI，然后处理进入步骤S256。

在步骤S256，站立物检测单元263通过对来自投影方式转换单元262的LPPB图像的对象区域，进行与图38的步骤S134类似的分割，进行显示在LPPB图像的对象区域中的L侧站立物的检测(尝试L侧站立物的检测)，然后处理进入步骤S257。

在步骤S257，站立物检测单元263判定在LPPB图像中，是否显示L侧站立物。

换句话说，在步骤S257，站立物检测单元263判定通过前一步骤S256的分割，是否能够从LPPB图像中检测到L侧站立物。

当在步骤S257，判定不能检测到L侧站立物时，处理跳过步骤S258-S260，随后进入步骤S261。

这种情况下，站立物检测单元263不输出(不能输出)L侧站立物及(仿射变换前的)L侧站立物的位置信息。此外，类似地，变换后位置检测单元265不输出(经过仿射变换的)L侧站立物的位置信息。

另一方面，当在步骤S257，判定能够检测到L侧站立物时，处理进入步骤S258，站立物检测单元263检测指示LPPB图像上的L侧站立物的位置的位置信息，然后处理进入步骤S259。

在步骤S259，站立物检测单元263把在步骤S256检测到的L侧站立物，和在步骤S258检测到的L侧站立物的位置信息输出给存储单元216(图29)，然后处理进入步骤S260。

在步骤S260，变换后位置检测单元265利用来自仿射变换单元264的转换表，根据来自站立物检测单元264的L侧站立物的位置信息(显示在仿射变换前的LPPB图像中的站立物的位置信息)，检测显示在经过仿射变换的LPPB图像中的L侧站立物(仿射变换后的L侧站立物)的位置信息。随后，变换后位置检测单元265把仿射变换后的L侧站立物的位置信息输出给存储单元216，然后处理进入步骤S261。

当在图43的步骤S234中的合成图像的生成中，进行(仿射变换前的)L侧站立物的分层合成时，使用在步骤S260，从变换后位置检测单元265输出给存储单元216的仿射变换后的L侧站立物的位置信息。

在步骤S261，投影方式转换单元262把(仿射变换前的)LPPB图像作为L侧图像，原样输出给存储单元216。

或者，在步骤S261，投影方式转换单元262使仿射变换单元264进行上面参考图23说明的条纹仿射变换(其中LPPB图像的下半部分中的更靠近PPA图像的区域的无限远点变得更靠近PPA图像的无限远点的仿射变换)，并使仿射变换单元264把经过条纹仿射变换的LPPB图像作为L侧图像，输出给存储单元216。

这里，在图43的步骤S234中的显示模式2或3的集成图像(图25或22的集成图像)的生成中，在步骤S261，从投影方式转换单元262输出给存储单元216的仿射变换前的LPPB图像，或者从仿射变换单元264输出给存储单元216的经过条纹仿射变换的LPPB图像被布置(组合)在与合成图像相邻的位置处。

在步骤S261之后，处理进入步骤S262，投影方式转换单元262把来自图像剪裁单元261的LPPC范围图像转换成圆柱投影的LPPC图像，并作为L侧图像(的一种)输出给存储单元216，然后处理进入步骤S263。

在图43的步骤S234中的显示模式2或3的集成图像(图25或22的集成图像)的生成中，在步骤S262，从投影方式转换单元262输出给存储单元216的圆柱投影的LPPC图像被布置(组合)在与LPPB图像相邻的位置处。

在步骤S263和S264，进行与图39的步骤S161和S162类似的处理，然后处理返回。

尽管本技术被描述成适用于作为汽车(包括汽油车、电动汽车、混合动力汽车等)的车辆100，不过，本技术也适用于某种类型的移动物体，比如摩托车、自行车、个人移动性、飞机、无人机、船舶或者机器人、用于操纵这样的移动体的设备，等等。此外，立体摄像机、RADAR、LIDAR、TOF传感器等可用于检测距离和站立物，不过在使用立体摄像机的情况下，例如，可以以致构成立体摄像机的2台摄像机的光轴在垂直方向上相互分离地安装立体摄像机。换句话说，立体摄像机通常被布置成以致按照人眼的排列，构成立体摄像机的2台摄像机的光轴在水平方向上相互分离。本技术中使用的立体摄像机可被布置成以致构成立体摄像机的2台摄像机的光轴在水平方向上相互分离，或者可被布置成以致2台摄像机的光轴在垂直方向上相互分离。

<本技术适用于的计算机的说明>

下面，上面说明的一系列处理可以借助硬件或软件进行。在借助软件进行所述一系列处理的情况下，构成所述软件的程序被安装在通用计算机等中。

图45是图解说明其中安装用于执行上述一系列处理的程序的计算机的一个实施例的构成例子的方框图。

程序可被预先记录在安装于计算机中的充当记录介质的硬盘405或只读存储器(ROM)403中。

或者，程序可被保存(记录)在可拆卸记录介质411中。可以作为所谓的套装软件地提供可拆卸记录介质411。可拆卸记录介质411的例子包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、磁盘和半导体存储器。

注意，尽管程序可以从如上所述的可拆卸记录介质411被安装在计算机中，不过，程序也可通过通信网络或广播网络被下载到计算机，并安装在内部硬盘405中。换句话说，程序可以通过用于数字卫星广播的人造卫星，从下载站点无线传送到计算机，或者可以通过诸如局域网(LAN)或因特网之类的网络，被有线地传送给计算机。

计算机包括内部中央处理器(CPU)402，输入/输出接口410通过总线401，连接到CPU 402。

CPU 402按照当用户操作输入单元407等时，通过输入/输出接口410输入的命令，执行保存在ROM 403中的程序。或者，CPU 402把保存在硬盘405中的程序加载到随机存取存储器(RAM)404上，并执行该程序。

因而，CPU 402进行与上述流程图相应的处理，或者由上述方框图的构成进行的处理。随后，CPU 402使输出单元406通过例如输入/输出接口410，输出处理结果(如果必要的话)，使通信单元408传送处理结果，或者使处理结果被记录在硬盘405中。

注意，输入单元407包括键盘、鼠标、麦克风等。此外，输出单元406包括液晶显示器(LCD)、扬声器等。

这里，在本说明书中，计算机按照程序进行的处理不一定需要按照作为流程图记载的顺序时序地进行。换句话说，计算机按照程序进行的处理也包括并行或者单独地执行的处理(例如，并行处理或者基于对象的处理)。

此外，程序可以由单个计算机(处理器)处理，或者可以由多个计算机分担处理。此外，程序可被传送给远程站点处的计算机并被执行。

此外，在本说明书中，系统意味一组多个组件(设备、模块(部件)等等)，所有的组件是否都在一个外壳中无关紧要。于是，容纳在独立的外壳中，并通过网络连接的多个设备，以及其中多个模块容纳在一个外壳中的单一设备都是系统。

注意，本技术的实施例不限于上述实施例，可以作出各种修改，而不脱离本技术的要旨。

例如，本技术可以采取其中一个功能由多个设备通过网络分担处理的云计算的构成。

此外，记载在上述流程图中的各个步骤可以由一个设备执行，或者可以由多个设备分担执行。

此外，在多个处理包含在一个步骤中的情况下，包含在一个步骤中的多个处理可以由一个设备执行，或者可以由多个设备分担执行。

此外，记载在本说明书中的效果仅仅是例子，并不受限制，可以包含其他效果。

注意，本技术可以具有以下构成。

<1>一种图像生成设备，包括：

集成第一图像和第二图像，从而生成集成图像的集成单元；和

在与显示在第一图像中的物体相比，显示在第二图像中的物体位于更远侧的情况下，使警告标志被叠加在集成图像上，从而生成叠加图像的叠加单元。

<2>按照<1>所述的图像生成设备，其中

当在集成图像中，与显示在第一图像中的物体相比，显示在第二图像中的物体位于更远侧，并且显示在第二图像中的物体的至少一部分被显示在第一图像中的物体隐藏时，叠加单元将警告标志叠加在集成图像上。

<3>按照<1>或<2>所述的图像生成设备，其中

所述警告标志是具有透明部分的图像。

<4>按照<3>所述的图像生成设备，其中

所述警告标志是其中透明部分移动的图像。

<5>按照<3>或<4>所述的图像生成设备，其中

所述警告标志是条纹图案的图像。

<6>按照<1>-<5>任意之一所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，和

集成单元生成包含通过合成第一图像和第二图像而得到的合成图像的图像，作为所述集成图像，所述第二图像已经过仿射变换，以致第二图像的无限远点与第一图像的无限远点一致。

<7>按照<6>所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，和

集成单元生成其中合成图像和仿射变换前的第二图像排列而成的图像，作为所述集成图像。

<8>按照<7>所述的图像生成设备，其中

所述集成图像在合成图像和仿射变换前的第二图像之间，具有预定宽度的边界线。

<9>按照<1>-<5>任意之一所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，

集成单元生成包括通过合成第一图像和第二图像而得到的合成图像的图像，作为所述集成图像，和

使经过其中第二图像的无限远点与第一图像的无限远点一致的程度变化的仿射变换的第二图像与所述合成图像合成。

<10>按照<9>所述的图像生成设备，其中

第一图像和第二图像是通过对车辆的后方成像而得到的图像，和

仿射变换后的第二图像的无限远点与第一图像的无限远点一致的程度随操纵车辆的用户的状态而变化。

<11>按照<1>-<5>任意之一所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，

集成单元生成包含通过合成第一图像和第二图像而得到的合成图像的图像，作为集成图像，和

使经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，或者仿射变换前的第二图像与所述合成图像合成。

<12>按照<11>所述的图像生成设备，其中

第一图像和第二图像是通过对车辆的后方成像而得到的图像，和

取决于操作车辆的用户的状态，使经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，或者仿射变换前的第二图像与所述合成图像合成。

<13>按照<1>-<12>任意之一所述的图像生成设备，其中

第一图像是通过从车辆的后部的位置对车辆的后方成像而得到的图像，

第二图像是通过从所述后部的位置沿横向方向移动的位置，对车辆的后方成像而得到的图像，和

在与显示在第一图像中，并且站立在车辆行驶的道路上的站立物相比，显示在第二图像中，并且站立在所述道路上的站立物位于更远侧的情况下，叠加单元将警告标志叠加在集成图像上。

<14>按照<13>所述的图像生成设备，其中

集成单元通过以下操作，生成集成图像：

合成第一图像和经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，和

按照从车辆到站立物的距离，将从第一图像提取的站立物和从第二图像提取的站立物与通过合成所述第一图像和第二图像而得到的合成图像合成。

<15>按照<14>所述的图像生成设备，其中

集成单元在通过合成第一图像和第二图像而得到的合成图像中的，与显示在仿射变换后的第二图像中的站立物的位置对应的位置处，合成从仿射变换前的第二图像提取的站立物。

<16>按照<13>-<15>任意之一所述的图像生成设备，其中

集成单元按照根据车辆的状态、操纵车辆的用户的状态、或者与对于车辆的操作相关的操作信息中的至少一个设定的显示模式，生成以下图像，作为集成图像：

通过集成第一图像和第二图像而得到的图像，

通过集成通过从车辆的左后位置，对车辆的右后方成像得到的图像，和通过从车辆的右后位置，对车辆的左后方成像得到的图像而获得的图像，或者

通过集成第一图像，和通过对车辆的横向方向成像得到的圆柱投影的图像而获得的图像。

<17>按照<16>所述的图像生成设备，其中

集成单元生成通过把通过从车辆的左后位置，对车辆的右后方成像得到的图像布置在右侧区域中，并把通过从车辆的右后位置，对车辆的左后方成像得到的图像布置在左侧区域中而获得的图像，作为集成图像，和

按照用户的状态，向左或向右移动所述左侧区域和右侧区域之间的边界。

<18>按照<16>所述的图像生成设备，其中

叠加单元使围绕车辆的周边的虚拟边界线叠加在集成图像的圆柱投影的图像上。

<19>一种图像生成方法，包括：

集成第一图像和第二图像，从而生成集成图像；和

在与显示在第一图像中的物体相比，显示在第二图像中的物体位于更远侧的情况下，将警告标志叠加在集成图像上，从而生成叠加图像。

<20>一种程序，所述程序使计算机起以下作用：

集成第一图像和第二图像，从而生成集成图像的集成单元；和

在与显示在第一图像中的物体相比，显示在第二图像中的物体位于更远侧的情况下，将警告标志叠加在集成图像上，从而生成叠加图像的叠加单元。

附图标记列表

10 车辆

11 后方相机

12 L侧相机

13 R侧相机

14 L后侧相机

15 R后侧相机

22 L侧相机

23 R侧相机

100 车辆

111 后方相机

112 L侧相机

113 R侧相机

114 L后侧相机

115 R后侧相机

150 CMS

151 操作单元

152 传感器单元

161 成像单元

162 距离检测单元

163 车辆状态检测单元

164 驾驶员状态检测单元

165 CMS图像生成单元

166 显示单元

201 显示模式设定单元

211 后方图像处理单元

212 L侧图像处理单元

213 R侧图像处理单元

214 L后侧图像处理单元

215 R后侧图像处理单元

216 存储单元

217 距离信息获取单元

218 位置关系判定单元

219 碰撞风险判定单元

220 集成单元

221 叠加单元

251 图像剪裁单元

252 站立物检测单元

261 图像剪裁单元

262 投影方式转换单元

263 站立物检测单元

264 仿射变换单元

265 变换后位置检测单元

271 图像剪裁单元

272 投影方式转换单元

273 站立物检测单元

274 仿射变换单元

275 变换后位置检测单元

281,291 图像剪裁单元

401 总线

402 CPU

403 ROM

404 RAM

405 硬盘

406 输出单元

407 输入单元

408 通信单元

409 驱动器

410 输入/输出接口

411 可拆卸记录介质

Claims (20)

1.一种图像生成设备，包括：

集成单元，集成第一图像和第二图像，并生成集成图像；和

叠加单元，在与显示在第一图像中的物体相比显示在第二图像中的物体位于更远侧的情况下，将警告标志叠加在所述集成图像上，并生成叠加图像。

2.按照权利要求1所述的图像生成设备，其中

当在集成图像中，与显示在第一图像中的物体相比显示在第二图像中的物体位于更远侧，并且显示在第二图像中的物体的至少一部分被显示在第一图像中的物体隐藏时，叠加单元将警告标志叠加在集成图像上。

3.按照权利要求1所述的图像生成设备，其中

所述警告标志是具有透明部分的图像。

4.按照权利要求3所述的图像生成设备，其中

所述警告标志是透明部分移动的图像。

5.按照权利要求3所述的图像生成设备，其中

所述警告标志是条纹图案的图像。

6.按照权利要求1所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，以及

集成单元生成包含通过合成第一图像和第二图像而得到的合成图像的图像，作为所述集成图像，所述第二图像已经过仿射变换，以致第二图像的无限远点与第一图像的无限远点一致。

7.按照权利要求6所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，以及

集成单元生成合成图像和仿射变换前的第二图像排列而成的图像，作为所述集成图像。

8.按照权利要求7所述的图像生成设备，其中

所述集成图像具有在合成图像和仿射变换前的第二图像之间的预定宽度的边界线。

9.按照权利要求1所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，

集成单元生成包括通过合成第一图像和第二图像而得到的合成图像的图像，作为所述集成图像，以及

使经过第二图像的无限远点与第一图像的无限远点一致的程度变化的仿射变换的第二图像与所述合成图像合成。

10.按照权利要求9所述的图像生成设备，其中

第一图像和第二图像是通过对车辆的后方成像而得到的图像，以及

仿射变换后的第二图像的无限远点与第一图像的无限远点一致的程度随操纵车辆的用户的状态而变化。

11.按照权利要求1所述的图像生成设备，其中

第一图像和第二图像是不同视点的图像，

集成单元生成包含通过合成第一图像和第二图像而得到的合成图像的图像，作为集成图像，以及

使经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，或者仿射变换前的第二图像与所述合成图像合成。

12.按照权利要求11所述的图像生成设备，其中

第一图像和第二图像是通过对车辆的后方成像而得到的图像，以及

取决于操作车辆的用户的状态，使经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，或者仿射变换前的第二图像与所述合成图像合成。

13.按照权利要求1所述的图像生成设备，其中

第一图像是通过从车辆的后部的位置对车辆的后方成像而得到的图像，

第二图像是通过从所述后部的位置沿横向方向移动的位置对车辆的后方成像而得到的图像，以及

在与显示在第一图像中并且站立在车辆行驶的道路上的站立物相比，显示在第二图像中并且站立在所述道路上的站立物位于更远侧的情况下，叠加单元使警告标志被叠加在集成图像上。

14.按照权利要求13所述的图像生成设备，其中

集成单元通过以下操作，生成集成图像：

合成第一图像和经过以致第二图像的无限远点与第一图像的无限远点一致的仿射变换的第二图像，以及

根据从车辆到站立物的距离，将从第一图像提取的站立物和从第二图像提取的站立物与通过合成所述第一图像和第二图像而得到的合成图像合成。

15.按照权利要求14所述的图像生成设备，其中

集成单元在通过合成第一图像和第二图像而得到的合成图像中的、与显示在仿射变换后的第二图像中的站立物的位置对应的位置处，合成从仿射变换前的第二图像提取的站立物。

16.按照权利要求13所述的图像生成设备，其中

集成单元按照根据车辆的状态、操纵车辆的用户的状态、或者与对于车辆的操作相关的操作信息中的至少一个设定的显示模式，生成以下图像，作为集成图像：

通过集成第一图像和第二图像而获得的图像，

通过集成通过从车辆的左后位置对车辆的右后方成像得到的图像，和通过从车辆的右后位置对车辆的左后方成像得到的图像而获得的图像，或者

通过集成第一图像和通过对车辆的横向方向成像得到的圆柱投影的图像而获得的图像。

17.按照权利要求16所述的图像生成设备，其中

集成单元生成通过把通过从车辆的左后位置对车辆的右后方成像得到的图像布置在右侧区域中，并把通过从车辆的右后位置对车辆的左后方成像得到的图像布置在左侧区域中而获得的图像，作为集成图像，以及

根据用户的状态，向左或向右移动所述左侧区域和右侧区域之间的边界。

18.按照权利要求16所述的图像生成设备，其中

叠加单元使围绕车辆的周边的虚拟边界线叠加在集成图像的圆柱投影的图像上。

19.一种图像生成方法，包括：

集成第一图像和第二图像，并生成集成图像；和

在与显示在第一图像中的物体相比显示在第二图像中的物体位于更远侧的情况下，将警告标志叠加在所述集成图像上，并生成叠加图像。

20.一种程序，所述程序使计算机起以下作用：

集成单元，集成第一图像和第二图像，并生成集成图像；和

叠加单元，在与显示在第一图像中的物体相比显示在第二图像中的物体位于更远侧的情况下，将警告标志叠加在所述集成图像上，并生成叠加图像。