CN102714712A

CN102714712A - 图像处理设备、图像处理系统和图像处理方法

Info

Publication number: CN102714712A
Application number: CN2011800065547A
Authority: CN
Inventors: 木下功太郎; 任顺子
Original assignee: Fujitsu Ltd
Current assignee: Denso Ten Ltd; Fujitsu Ltd
Priority date: 2010-01-19
Filing date: 2011-01-13
Publication date: 2012-10-03
Also published as: WO2011089961A1; US20120287282A1; JP5302227B2; JP2011151446A

Abstract

一种将被安装在车辆上的图像处理设备，其装备有图像获得装置、合成图像生成装置和模型图像提供装置。所述图像获得装置用于获得由安装在所述车辆上的多个摄像机拍摄的多幅摄像机图像。所述合成图像生成装置用于在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点中的一个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境。所述模型图像提供装置用于将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的所述一个观察点相关联的一个视野范围。

Description

图像处理设备、图像处理系统和图像处理方法

技术领域

本发明涉及在安装于车辆中的显示装置上显示图像的技术。

背景技术

通常，存在使用户能够通过由安装在车辆上的摄像机来获得车辆周边图像并将所获得的图像自动地或通过用户操作显示在显示装置上来监视车辆周边的装置。此外，例如，日本专利申请公开第2004-32464号[专利文献1]公开了这样的技术：其中车辆周边监视装置装备有变换按钮，该变换按钮被构造来调节虚拟观察点的角度，以使得能够将通过摄像机所拍摄的图像提供为从不同于摄像机观察点的多个虚拟观察点观察到的图像。

发明内容

本发明将要解决的技术问题

然而，根据相关技术中所公开的车辆周边监视技术，在使用变换按钮调整虚拟观察点的观察点位置之后，将合成图像显示在显示装置上，然后用户确认该合成图像是否为想要的图像。繁琐的是，如果该合成图像没有显示在想要的范围之内，则用户将从开始重复在设置屏幕上使用变换按钮来调整虚拟观察点的观察点位置的过程。

考虑到上述技术问题，本发明旨在提供使用户一看就能够掌握车辆周围的哪个区域将作为合成图像显示在显示装置上的技术。

解决问题的技术手段

为了解决上述问题，根据本发明可以提供以下技术手段。

(1)一种图像处理设备，其被构造为安装在车辆中，所述图像处理设备包括：图像获得装置，其被构造来获得由安装在所述车辆上的多个摄像机拍摄的多幅摄像机图像；合成图像生成装置，其被构造来在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点中的一个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境；以及模型图像提供装置，其被构造来将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的所述一个观察点相关联的一个视野范围。

(2)根据(1)所述的图像处理设备，其中，与从所述多个视野范围中选择的一个视野范围相关联的所述多个观察点中的一个观察点以与所述多个观察点中的其它观察点不同的模式显示在所述模型图像中。

(3)根据(1)或(2)所述的图像处理设备，其中，从所述多个视野范围中选择的一个视野范围中的死角以与所述多个视野范围中的其它区域不同的模式显示在所述模型图像中。

（4）根据(1)到(3)中任一项所述的图像处理设备，还包括合成图像提供装置，所述合成图像提供装置被构造来将与所述多幅合成图像中的所述一幅合成图像相对应的信息输出到所述显示装置，所述多幅合成图像中的所述一幅合成图像与从所述多个视野范围中选择的所述一个视野范围相关联。

（5）一种图像处理系统，其被构造为安装在车辆上，所述图像处理系统包括：多个摄像机，其被构造为安装在所述车辆上；图像处理设备，其被构造为安装在所述车辆上，所述图像处理设备包括：图像获得装置，其被构造来获得由安装在所述车辆上的多个摄像机拍摄的多幅摄像机图像；合成图像生成装置，其被构造来在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点中的一个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境；以及模型图像提供装置，其被构造来将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的所述一个观察点相关联的一个视野范围。

（6）一种图像处理方法，包括：获得由安装在车辆上的多个摄像机拍摄的多幅摄像机图像；在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境；以及将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的所述一个观察点相关联的一个视野范围。

本发明的有益效果

利用（1）到（6）的配置，可以将与其中选择性地指示了从车辆的虚拟观察点观察到的视野范围的模型图像相对应的信息输出到显示装置。此外，通过将与根据选择虚拟观察点的观察点位置的操作而改变的视野范围的模型图像相对应的信息输出到显示装置，在虚拟观察点的观察点位置的基础上，看一眼就能够掌握车辆周围的哪个区域将作为合成图像显示在显示装置上。由此，用户能够避免如下的繁琐过程：在设置虚拟观察点的位置并显示了合成图像之后，如果该合成图像不是想要的图像，则用户将从开始重复设置过程。

另外，利用（2）的配置，用户可以在显示装置上看到并且看一眼就能够掌握被选择的观察点位置。

更具体地，利用（3）的配置，用户看一眼就能够掌握从用户选择的虚拟观察点看不到的死角区域。

此外，特别是利用（4）的配置，可以在同时确认指示从车辆的虚拟观察点观察到的视野范围的模型图像以及在由用户选择的虚拟观察点的观察点位置的基础上生成的合成图像时设置观察点位置。

附图说明

图1是示出了图像处理系统的配置的示图。

图2是示出了车辆中安装各车载摄像机的各个位置的视图。

图3是示出了生成合成图像的技术的视图。

图4是示出了图像处理系统的操作模式的转变的示图。

图5是示出了模型图像的示例1的视图。

图6是示出了模型图像的示例2的视图。

图7是示出了其中同时显示模型图像和合成图像的示例1的视图。

图8是示出了其中同时显示模型图像和合成图像的示例2的视图。

图9是示出了模型图像中观察点位置的设置过程的流程图。

具体实施方式

在下文中，将参考附图来详细描述本发明的各示例实施例。

<1-1.系统配置>

图1是示出了图像处理系统120的配置的框图。该图像处理系统120安装于车辆（在本发明的实施例中是汽车）中，并且具有通过拍摄车辆周边图像来生成图像并将所生成的图像输出到诸如车厢中的导航装置20之类的显示装置的功能。图像处理系统120的用户（典型地，为驾驶员）通过使用图像处理系统120能够基本上实时地掌握车辆周边的景象。

如图1所示，图像处理系统120主要包括图像处理设备100和拍摄单元5，图像处理设备100被构造来生成示出车辆周边的周边图像并将图像信息输出到诸如导航装置20等的显示装置，拍摄单元5被构造为装备有拍摄车辆周围的图像的多个摄像机。

导航装置20为用户执行导航引导，并且包括诸如具有触摸板功能的液晶显示器之类的显示器21、用于用户操作的操作单元22和用于控制整个装置的控制单元23。导航装置20设置在车辆的仪表板等上，以便用户能够识别显示器21的屏幕。来自用户的各种指令被操作单元22和作为触摸板的显示器21接收。控制单元23被构造为具有CPU、RAM、ROM等的计算机，并且在CPU根据预定程序执行运算处理时实现包括导航功能在内的各种功能。

导航装置20与图像处理设备100可通信地连接，并与图像处理设备100执行各种控制信号的发送和接收，并且导航装置20接收由图像处理设备100所生成的周边图像。在显示器21上，虽然通常通过控制单元23的控制来显示基于导航装置20的独立功能的图像，但是在预定条件下显示由图像处理设备100生成的、示出了车辆周边景象的周边图像。由此，导航装置20还用作对由图像处理设备100生成的周边图像进行接收和显示的显示装置。

图像处理设备100包括主体部分10，在主体部分10中提供了具有生成周边图像功能的ECU（电子控制单元），并且图像处理设备100设置在车辆的预定位置上。图像处理系统120装备有拍摄车辆周边图像的拍摄单元5，并且图像处理系统120用作图像生成装置，该图像生成装置在通过由拍摄单元5拍摄车辆周边图像而获得的拍摄图像的基础上生成从虚拟观察点观察到的合成图像。设置在拍摄单元5中的车载摄像机51、52和53设置在车辆的适当位置上，该位置不同于主体部分10，稍后将描述其细节。

图像处理设备100的主体部分10主要包括控制整个装置的控制单元1、通过对由拍摄单元5获得的拍摄图像进行处理来生成用于显示的周边图像的图像生成单元3、以及与导航装置20通信的导航通信单元42。

通过导航装置20的操作单元22或显示器21接收到的来自用户的各种指令被导航通信单元42接收，以作为控制信号被输入至控制单元1。此外，图像处理设备100包括转换开关43，其接收指令来切换来自用户的显示内容。指示用户指令的信号还从转换开关43输入至控制单元1。由此，图像处理设备100能够响应于用户对导航装置20的操作和用户对转换开关43的操作来操作。转换开关43设置在车辆的不同于主体部分10的适当位置上。

图像生成单元3被构造为能够执行各种图像处理的硬件电路，并且包括合成图像生成单元31。

图像生成单元3用作本发明中的图像获得装置，其获得通过拍摄单元5获取的多个拍摄图像（本发明中的摄像机图像）。合成图像生成单元31用作本发明中的合成图像生成装置，并且在通过拍摄单元5的多个车载摄像机51、52和53获取的多个拍摄图像的基础上，生成从车辆周围的某一个虚拟观察点观察到的合成图像。稍后将描述通过合成图像生成单元31来生成从该虚拟观察点观察到的合成图像的技术。

图像生成单元3和导航通信单元42用作本发明中的合成图像提供装置和模型图像提供装置，导航通信单元42包括：输出单元42a，其将与由图像生成单元3生成的合成图像相对应的图像信息或者指示从该合成图像的虚拟观察点观察到的视野范围的模型图像输出到导航装置20（本发明中的显示装置）；以及接收单元42b，其接收由用户从具有触摸板功能的显示器21或者从操作单元22输入的信息。在此，模型图像指的是这样的图像：在该图像中，指示了用户能够针对模仿实际车辆的模型车辆的图像来选择的虚拟观察点的多个可能的观察点位置，并且用户能够使用观察点位置改变图标来改变这些观察点位置。此外，通过使用具有触摸板功能的显示器21或者操作单元22，也能够将观察点位置改变为虚拟观察点的某一个观察点位置。在下文中，模型图像连同合成图像一起是指图像信息。

图像信息根据控制单元1的图像信息输出指令信号从输出单元42a被输出。一旦接收到该信号，例如就输出能够通过合成图像来显示的、并且指示了从车辆的虚拟观察点观察到的视野范围的模型图像。由此，用户能够确认导航装置20上显示的指示了从虚拟观察点观察到的视野范围的模型图像作为合成图像。

另外，输出单元42a还能够将上面提到的合成图像与模型图像一起输出到导航装置20。由此，指示了从车辆的虚拟观察点观察到的视野范围的模型图像、以及在由用户选择的虚拟观察点的观察点位置的基础上生成的合成图像，显示在导航装置20的一个屏幕上，以便在设置观察点时进行确认。

利用显示在导航装置20上的模型图像，接收单元42b从用户接收虚拟观察点的观察点位置的改变，这方面将在下文描述。结果，从输出单元42a输出带有虚拟观察点的改变了的观察点位置的模型图像。

将控制单元1构造为具有CPU、RAM、ROM等的计算机，并且在CPU根据预定程序执行运算处理时实现各种控制功能。附图中所示的图像控制单元11和显示控制单元12与如上述所实现的控制单元1的多种功能中的一种相对应。

图像控制单元11控制由图像生成单元3执行的图像处理。例如，图像控制单元11指示由合成图像生成单元31生成合成图像所需要的各种参数。

显示控制单元12被构造为主要在将图像处理设备100所处理的图像信息显示在导航装置20上的情况下执行控制。例如，显示控制单元12在将在合成图像生成单元31中生成的合成图像信息输出到导航装置20时执行控制，或者在将模型图像输出到导航装置20时执行控制。

此外，图像处理设备100的主体部分10还包括连接到控制单元1的非易失性存储器40、读卡单元44和信号输入单元41。

非易失性存储器40被构造为即使在断电时也能够保持所存储的内容的闪速存储器等。在非易失性存储器40中，主要存储用于每一种车辆模型的数据4a以及模型图像数据4b。

用于每一种车辆模型的数据4a可以是根据在合成图像生成单元31生成合成图像时所需要的车辆模型的数据。

此外，模型图像数据4b可以是这样的数据：该数据包括用于每一种车辆模型图像的车辆、多个虚拟观察点的可能的观察点位置、通过用户的操作来改变观察点位置的可能的观察点位置改变图标等等。根据输出图像信息的指令信号，模型图像数据4b通过输出单元42a被输出到导航装置20。

读卡单元44读取作为便携式记录介质的存储卡MK。读卡单元44包括可拆卸地安装存储卡MK的卡槽，并且读取安装在卡槽中的存储卡MK上记录的数据。通过读卡单元44读取的数据被输入至控制单元1。

存储卡MK由能够存储各种数据的闪速存储器等组成，图像处理设备100能够使用存储卡MK中存储的各种数据。例如，通过在存储卡MK中存储程序并且从存储卡MK读取该程序，可以对实现控制单元1的功能的程序（固件）进行更新。此外，通过在存储卡MK中存储用于每一种车辆模型的数据，读取该数据并将其存储到非易失性存储器40中，可以使图像处理系统120对应于不同种类的车辆模型，其中，与所述每一种车辆模型相对应的车辆模型不同于非易失性存储器40中存储的用于每一种车辆模型的数据4a的车辆模型。

此外，来自车辆中提供的各种装置的信号输入至信号输入单元41。通过该信号输入单元41，将来自图像处理系统120外部的信号输入至控制单元1。具体地说，从档位传感器81、车速传感器82等输入指示各种信息的信号。

从档位传感器81输入车辆9的变速器的变速杆的操作位置，即档位“P（驻车）”、“D（前进）”、“N（空档）”和“R（倒车）”。从车速传感器82输入车辆9当时的行驶速度（km/h）。

<1-2.拍摄单元>

随后，将详细描述图像处理系统120的拍摄单元5。拍摄单元5电连接至控制单元1，并且基于来自控制单元1的信号来操作。

拍摄单元5包括多个车载摄像机，即前摄像机51、后摄像机52和多个侧摄像机53。车载摄像机51、52和53装备有诸如CCD或CMOS之类的图像拾取装置，并且电子地获取图像。

图2是示出了车载摄像机51、52和53的安装位置的视图。在下面的描述中，当描述朝向和方向时，适当地使用了附图中所示的三维XYZ正交坐标。XYZ轴对于车辆9是相对固定的。在此，X轴方向沿着车辆9的左/右方向，Y轴方向沿着车辆9的前/后方向，Z轴方向沿着垂直方向。此外，为了方便起见，假设正X侧是车辆9的右侧，正Y侧是车辆9的后侧，正Z侧是上侧。

在车辆9前端处的车牌安装位置附近提供前摄像机51，其光轴51a指向车辆9的前进方向（如在平面中看到的Y轴方向中的负Y侧）。在车辆9后端处的车牌安装位置附近提供后摄像机52，其光轴52a指向车辆9的前进方向的反方向（如在平面中看到的Y轴方向中的正Y侧）。此外，在左右门镜93上提供各侧摄像机53，其光轴53a沿着车辆9的左右方向（如在平面中看到的X轴方向）指向外侧。另一方面，尽管优选使前摄像机51或后摄像机52的附接位置基本上处在车辆的中央，但该位置也可以从车辆中心向左右方向稍微移动。

采用鱼眼镜头作为车载摄像机51、52和53的镜头，并且车载摄像机51、52和53具有180度或更大的视角α。因此，通过使用四个车载摄像机51、52和53，能够拍摄车辆9的整个周边的图像。

<1-3.图像变换处理>

随后，描述图像生成单元3的合成图像生成单元31基于由拍摄单元5获得的拍摄图像生成示出了从某一个虚拟观察点观察到的车辆9周边景象的合成图像的技术。在生成合成图像的情况下，使用了在非易失性存储器中预先存储的每一种车辆模型的数据4a。图3是示出了生成合成图像的技术的视图。

如果在拍摄单元5的前摄像机51、后摄像机52和各侧摄像机53中同时执行图像拍摄，则获得了示出车辆9的前、后、左和右侧的四幅拍摄图像P1至P4。即，通过拍摄单元5获得的四幅拍摄图像P1至P4包含示出了在拍摄时车辆9的整个周边的信息。

然后，将四幅拍摄图像P1至P4的各个像素投影到虚拟三维（3D）空间中的三维曲面SP2上。该3D曲面SP2（例如）基本上为半球形状（碗形），并且其中央部分（碗的底部）被确定为车辆9存在的位置。预先确定了拍摄图像P1至P4中包括的各个像素的位置与3D曲面SP2的各个像素的位置之间的对应关系。因此，基于拍摄图像P1至P4中包括的各个像素的值能够确定3D曲面SP2的各个像素的值。

另一方面，在拍摄图像P1至P4期间，将具有180度或更大的视角α的广角摄像机用作车载摄像机51、52和53。在使用这样的广角摄像机来拍摄图像的情况下，图像的一部分可能被诸如摄像机的遮光罩（hood）或滤色片架（filter frame）之类的障碍物阻挡，导致周边区域中光强度的减弱，从而屏幕上可能出现摄影师不想要的暗影（摄像机图像中具有低亮度的部分）。通常将该暗影现象称为机械渐晕。

图3所示的3D曲面SP1示出了由于在拍摄图像的一部分上出现机械渐晕而出现暗影的状态，该暗影由其上已投影了拍摄图像P1至P4的3D曲面SP1周围的指定区域中的光强度的减弱引起。如果将具有该暗影的3D曲面按照原样显示在导航装置20上，则从预定虚拟观察点观察到的合成图像可能不是基本上为半球形状（碗形）。

由于这一点，使用3D曲面SP2来生成对应于某一个虚拟观察点的合成图像，除了由于3D曲面SP1的机械渐晕而出现光强度减弱的周边区域之外，3D曲面SP2是基本上为半球形状（碗形）的中央区域。例如，如图3所示，在将虚线部分看作3D曲面SP1的边界的情况下，通过除去由于机械渐晕而出现光强度减弱的周边区域来确定3D曲面SP2。由此，能够形成基本上为半球形状（碗形）的物体图像，从而能够提供该图像，用户从该图像用户能够掌握以3D显示的车辆和障碍物之间的位置关系，好像用户从上面看顶面朝下的碗。

已经作为示例描述了在由于机械渐晕而出现光强度减弱的情况下的处理。然而，还能够将该处理应用于除了机械渐晕以外而出现光强度减弱（例如，由于光学渐晕而出现的光强度减弱）的情况。

此外，拍摄图像P1至P4的各个像素的位置与3D曲面SP2的各个像素的位置之间的对应关系取决于车辆9上四个车载摄像机51、52和53的布置（相互距离、距地面高度、光轴角度等等）。因此，在非易失性存储器40中存储的用于每一种车辆模型的数据4a中包括指示该对应关系的列表数据。

此外，使用了用于每一种车辆模型的数据4a中包括的指示车体形状或尺寸的多边形数据，并且虚拟构造了示出车辆9的3D形状的多边形模型的车辆图像。将所构造的车辆图像设置在基本上为半球形状的中央部分，该中央部分对应于设置了3D曲面SP2的3D空间中车辆9的位置。

此外，在存在3D曲面SP2的3D空间中，通过控制单元1来设置虚拟观察点VP。通过观察点位置和观察方向来定义虚拟观察点VP，并将其设置在对应于车辆的周边并指向3D空间中的某一个观察方向的某一个观察点位置处。

然后，根据所设置的虚拟观察点VP，将如上所述的3D曲面SP2上的必要区域裁剪为图像。虚拟观察点VP和3D曲面SP2上的必要区域之间的关系是预定的并且作为列表数据预先存储在非易失性存储器40中。另一方面，对被构造为多边形以对应于所设置的虚拟观察点VP的车辆图像进行渲染，且作为渲染结果的二维（2D）车辆图像重叠在裁剪图像上。由此，生成了示出从某一个虚拟观察点观察到的车辆9的外观以及车辆9的周边的合成图像。

例如，如果在观察点的位置为车辆9位置中央的几乎正上方的位置并且观察方向几乎为车辆9的正下方的情形中设置了虚拟观察点VP11，则生成了示出从车辆9的几乎正上方向下观察到的车辆9的外观（实际上为车辆图像）和车辆9的周边的合成图像CP1。此外，如附图所示，如果在观察点的位置为车辆9的位置的左后方并且观察方向几乎为车辆9的前方的情形中设置了虚拟观察点VP12，则生成了示出从车辆9的左后方到车辆9的整个周边所观察到的车辆9的外观（实际上为车辆图像）和车辆9的周边的合成图像CP2。

另一方面，在实际生成合成图像的情况下，不必确定3D曲面SP2的全部像素的值，而是只通过基于拍摄图像P1至P4确定与所设置的虚拟观察点VP相对应而变得必要的区域的像素的值，从而能够提高处理速度。

<1-4.操作模式>

随后，将描述图像处理系统120的操作模式。图4是示出了图像处理系统120中的操作模式的转变的示图。图像处理系统120具有四种操作模式：导航模式M0、周围确认模式M1、前方模式M2和后方模式M3。这些操作模式根据驾驶员的操作或车辆9的行驶状态在控制单元1的控制下进行切换。

导航模式M0是通过导航装置20的功能在显示器21上显示用于导航引导的地图图像的操作模式。在导航模式M0中，不使用图像处理设备100的功能，而是通过导航装置20自身的功能来执行各种显示。因此，在导航装置20具有接收和显示电视广播的无线电波的功能的情况下，可以显示电视广播屏幕而不显示用于导航引导的地图图像。

相比之下，周围确认模式M1、前方模式M2和后方模式M3是使用图像处理设备100的功能在显示器21上显示实时显示车辆9的周边情况的显示图像的操作模式。

周围确认模式M1是执行示出了向下观察车辆9时绕车辆9而行的动画演示的操作模式。前方模式M2是显示主要示出了在车辆9前进期间必须的车辆9的前方或侧方的显示图像的操作模式。此外，后方模式M3是显示主要示出了在车辆9倒车期间必须的车辆9的后方的显示图像的操作模式。

在图像处理系统120启动时，初始设置为周围确认模式M1。在周围确认模式M1的情况下，如果在执行示出绕车辆9而行的动画演示之后经过了预定时间（例如，6秒），则模式自动切换至前方模式M2。此外，在前方模式M2的情况下，如果在0km/h的状态（停车状态）下转换开关43被连续按压了预定时间，则模式切换至周围确认模式M1。另一方面，通过来自驾驶员的预定指令，模式可以从周围确认模式M1切换至前方模式M2。

此外，在前方模式M2的情况下，如果行驶速度变为例如10km/h或更快，则模式切换至导航模式M0。相比之下，在导航模式M0的情况下，如果从车速传感器82输入的行驶速度变为例如小于10km/h，则模式切换至前方模式M2。

在车辆9的行驶速度相对较高的情况下，则释放前方模式M2，以使驾驶员集中注意力驾驶。相比之下，在车辆9的行驶速度相对较低的情况下，驾驶员在驾驶时可能会更多地考虑车辆9的周围情况，具体地说，在驶进视野差的十字路口、改变方向或者驶向路边时。因此，在行驶速度相对较低的情况下，模式从导航模式M0切换至前方模式M2。另一方面，在模式从导航模式M0切换至前方模式M2的情况下，可以将有来自驾驶员的明确操作指令的情形添加到行驶速度小于10km/h的情形。

此外，在导航模式M0的情况下，例如，如果在0km/h的状态（停车状态）下转换开关43被连续按压了预定时间，则模式切换至周围确认模式M1。此外，如果在执行示出绕车辆9而行的动画演示之后经过了预定时间（例如，6秒），则模式自动切换至前方模式M2。

此外，在导航模式M0或前方模式M2的情况下，如果从档位传感器81输入的变速杆的位置为“R（倒车）”，则模式切换至后方模式M3。即，如果将车辆9的变速器操作到“R（倒车）”的位置，则车辆9后退，因而模式切换至主要示出车辆9后方的后方模式M3。

另一方面，在后方模式M3的情况下，如果变速杆的位置是除了“R（倒车）”以外的任何位置，则模式基于当时的行驶速度切换至导航模式M0或前方模式M2。即，如果行驶速度为10km/h或更快，则模式切换至导航模式M0，而如果行驶速度小于10km/h，则模式切换至前方模式M2。

<1-5.模型图像>

随后，将参考示出了模型图像的示例1的图5来描述从设置在图像处理设备100中的导航通信单元42的输出单元42a输出的、将显示在导航装置20上的模型图像。

在图5所示的模型图像MD1中，提供了用于模型车辆MC的多个虚拟观察点的可能的观察点位置VP1到VP5。通过用户对观察点位置改变图标61的操作，观察点位置改变到可能的观察点位置中的某一个位置。此外，使用导航装置20的具有触摸板功能的显示器21或者操作单元22来执行操作。

在图5所示的示例中，选择放置在后方的观察点位置VP1，并且以斜线示出了从观察点位置VP1观察到的视野范围FE1。该视野范围例如对应于如上所述的后方模式或前方模式中在导航装置20上显示的合成图像的显示范围。

当返回到未示出的、之前的设置屏幕时，用户可以选择返回按钮71。另外，在将关于改变后位置的信息存储在非易失性存储器40中之后，当返回到未示出的、之前的设置屏幕时，用户可以选择完成按钮72。此外，基于虚拟观察点的设定观察点位置，在如上所述的后方模式或前方模式中显示合成图像。

随后，将参考图6作为示例2来描述指示从不同的观察点位置观察到的视野范围的模型图像。图6中的模型图像不同于图5的模型图像，区别在于虚拟观察点的观察点位置从模型车辆MC后方的观察点位置VP1改变到模型车辆MC直接上方（正上方）的观察点位置VP3。该改变是通过用户对具有触摸板功能的显示器21或者操作单元22进行操作而作出的。

此外，随着观察点位置的改变，视野范围也从与观察点位置VP1相对应的视野范围FE1改变为与观察点位置VP3相对应的视野范围FE3。从而，可以在输出指示了从车辆的虚拟观察点观察到的视野范围的模型图像的同时，接收虚拟观察点的观察点位置的改变。此外，通过将与根据虚拟观察点的观察点位置的改变而改变了的视野范围的模型图像相对应的信息输出到显示装置，可以基于虚拟观察点的观察点位置，看一眼就能掌握车辆周围的哪个区域将被作为合成图像显示到显示装置上。因此，用户能够避免如下的繁琐过程：在设置虚拟观察点的位置以及显示合成图像之后，如果该合成图像不是想要的那个合成图像，则用户将从开始重复设置过程。

此外，以不同于其他观察点位置可能的模式显示所选择的观察点位置。从而，用户能够在显示装置上看到，并且看一眼就能证实所选择的观察点位置。

为了将所选择的观察点位置的显示模式与未选择的观察点位置的显示模式区别开来，可以对每个显示模式应用不同的亮度。例如，可以将亮色（反光颜色，诸如黄色、红色等）应用于所选择的观察点位置，而可以将暗色（挡光色，诸如黑色、灰色等）应用于未选择的观察点位置。

随着观察点位置从VP1切换到VP3，车辆后方的后窗玻璃上部处的顶盖扰流板（roof spoiler）附近（在图6中，以黑色上色的死角区域FN3）显示为从虚拟观察点的观察点位置VP3来看的死角范围。以与视野范围FE3的模式不同的模式来显示从用户选择的观察点位置来看的死角范围。从而，用户看一眼就能够证实没有在合成图像中显示的、作为从用户选择的虚拟观察点来看的死角区域的区域。

为了将视野范围的显示模式与死角区域的显示模式区分开来，可以对每个显示模式应用不同的亮度。例如，可以将亮色（反光颜色，诸如黄色、红色等）应用于视野范围，而可以将暗色（挡光色，诸如黑色、灰色等）应用于死角区域。

此外，作为不同的示例，图7示出了模型图像和合成图像的组合显示在导航装置20上的示例1，而图8示出了示例2。在图7中，对应于显示范围FE1而显示的合成图像C11与图5所描述的模型图像一起显示在导航装置20的一个屏幕上。从而，用户能够设置观察点位置，同时在一个屏幕上确认示出了从车辆的虚拟观察点观察到的视野范围的模型图像以及基于由用户选择的虚拟观察点的观察点位置生成的合成图像。

图8示出了对应于显示范围FE3而显示的合成图像C13与上述参考图6描述的模型图像一起显示在导航装置20的一个屏幕上。此外，从图7所示的模型图像和合成图像到图8所示的模型图像和合成图像的改变是通过用户对观察点位置改变图标61进行操作而作出的。从而，用户能够改变观察点位置，同时确认虚拟观察点的观察点位置以及显示在导航装置20上的与该观察点位置相对应的合成图像的显示范围。

同时，在如上所述的示例实施例中，虽然观察点位置的改变指的是从VP1到VP3的改变，但是到其它观察点位置的改变也是可以的，并且不限于在示例实施例中所描述的五个观察点位置，而可以是不同于那五个位置的观察点位置。此外，观察点位置数可以少于五个。

此外，当显示模型图像和合成图像二者时，可以将每一幅图像显示在单独的屏幕上，而不是将两幅图像一起显示在一个屏幕上。

<2.操作>

随后，将使用图9所示的流程图来描述通过模型图像进行观察点位置的设置处理的流程。当图像处理设备100从用户对操作单元22或者具有触摸板功能的显示器21的操作接收到ACC-On信号以便设置合成图像的虚拟观察点的观察点位置时（步骤S101中为“是”），存储在非易失性存储器40上的关于设置屏幕（未示出）的信息输出到导航装置20（步骤S102），然后继续进行到步骤S103的处理。另一方面，如果图像处理设备100没有接收到ACC-On信号（步骤S101中为“否”），则处理结束。

随后，在设置屏幕上接收到指示了观察点位置设置按钮被按下的信号（步骤S103中为“是”）的步骤S103中，从非易失性存储器40的模型图像数据4b读取指示了与预定观察点位置相对应的视野范围的模型图像，以通过输出单元42a输出到导航装置20（步骤S104）。另一方面，如果图像处理设备100的接收单元42b没有接收到虚拟观察点的观察点位置设置按钮被按下的信号（步骤S103中为“否”），则处理结束。

此外，在通过用户对显示在导航装置20上的模型图像的观察点位置改变图标61的操作将观察点位置改变为某一个位置的情况下，如果该信号被接收单元42b接收到（步骤S105中为“是”），则关于改变后的观察点位置的信息被存储在非易失性存储器40中（步骤S106）。

另一方面，在接收单元42b没有接收到指示了观察点位置改变的信号的情况下（步骤S105中为“否”），则相同观察点位置的模型图像保持显示在导航装置20上，以继续进行到步骤S108的处理。

在步骤S106中存储了关于观察点位置的信息之后，从模型图像数据4b读取指示了与改变后的观察点位置相对应的视野范围的模型图像信息，以将其从输出单元42a输出到导航装置20（步骤S107）。由此，可以在输出指示了从车辆的虚拟观察点观察到的视野范围的模型图像的同时接收虚拟观察点的观察点位置的改变。

此外，通过输出根据虚拟观察点的观察点位置的改变而改变的视野范围的模型图像，看一眼就能够确认车辆周边的哪个区域将作为合成图像显示在显示装置上。因此，用户能够避免如下的繁琐过程：在设置虚拟观察点的位置以及显示合成图像之后，如果该合成图像不是想要的那个合成图像，则用户将从开始返回设置过程。

随后，当接收到指示了模型图像的完成按钮72被按下的信号时（步骤S108中为“是”），结束处理并保持改变后的观察点位置的设置，并且返回到按下设置按钮之前的屏幕（例如，导航模式屏幕）。另一方面，如果没有接收到完成按钮被按下的信号（步骤S108中为“否”），则模型图像保持显示在导航装置20上。或者，在预定时间之后，返回导航模式屏幕。

此外，在处理中如上所述存储在非易失性存储器40中的模型图像数据4b、或者是未示出的设置屏幕数据，可以存储在导航装置20中提供的、未示出的存储器中。

<3.变型示例>

虽然已经描述了本发明的实施例，但是本发明不限于所描述的实施例，并且可以做出各种变型。在下文中，将描述这样的变型示例。包括上述实施例中描述的形式以及下文将要描述的形式的全部形式可以适当地组合。

在上述实施例中，将图像处理设备100和导航装置20描述为不同的装置。然而，图像处理设备100和导航装置20可以被构造为布置在在同一外壳中而成为集成装置。

此外，在上述实施例中，显示由图像处理设备100生成的图像的显示装置是导航装置20。然而，该显示装置可以是不具有诸如导航功能之类的特殊功能的一般显示装置。

此外，在上述实施例中，由图像处理设备100的控制单元1实现的功能中的一部分可以由导航装置20的控制单元23实现。

此外，在上述实施例中，通过信号输入单元41输入到图像处理设备100的控制单元1的信号中的一部分或全部可以被输入到导航装置20。在这种情况下，优选通过导航通信单元42将信号输入到图像处理设备100的控制单元1。

此外，在上述实施例中，通过CPU根据程序进行运算操作而利用软件实现各种功能。然而，也可以通过电子硬件电路来实现这些功能中的一部分。相反，由硬件电路实现的功能中的一部分也可以由软件实现。

本发明要求于2010年1月19日在日本专利局提交的日本专利申请第2010-008827号的优先权，其内容通过引用并入本文。

Claims

1.一种图像处理设备，其被构造为安装在车辆中，所述图像处理设备包括：

图像获得装置，其被构造来获得由安装在所述车辆上的多个摄像机拍摄的多幅摄像机图像；

合成图像生成装置，其被构造来在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点中的一个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境；以及

模型图像提供装置，其被构造来将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的所述一个观察点相关联的一个视野范围。

2.根据权利要求1所述的图像处理设备，其中，与从所述多个视野范围中选择的一个视野范围相关联的所述多个观察点中的一个观察点以与所述多个观察点中的其它观察点不同的模式显示在所述模型图像中。

3.根据权利要求1所述的图像处理设备，其中，从所述多个视野范围中选择的一个视野范围中的死角以与所述多个视野范围中的其它区域不同的模式显示在所述模型图像中。

4.根据权利要求2所述的图像处理设备，其中，从所述多个视野范围中选择的一个视野范围中的死角以与所述多个视野范围中的其它区域不同的模式显示在所述模型图像中。

5.根据权利要求1所述的图像处理设备，还包括：

合成图像提供装置，其被构造来将与所述多幅合成图像中的一幅合成图像相对应的信息输出到所述显示装置，其中，所述多幅合成图像中的所述一幅合成图像与从所述多个视野范围中选择的一个视野范围相关联。

6.根据权利要求2所述的图像处理设备，还包括：

7.根据权利要求3所述的图像处理设备，还包括：

8.一种图像处理系统，其被构造为安装在车辆上，所述图像处理系统包括：

多个摄像机，其被构造为安装在所述车辆上；

图像处理设备，其被构造为安装在所述车辆上，所述图像处理设备包括：

图像获得装置，其被构造来获得由安装在所述车辆上的多

个摄像机拍摄的多幅摄像机图像；

9.一种图像处理方法，包括：

获得由安装在车辆上的多个摄像机拍摄的多幅摄像机图像；

在所述多幅摄像机图像的基础上，生成从彼此不同的多个观察点观察到的多幅合成图像，所述多幅合成图像指示所述车辆的周围环境；以及

将与模型图像相对应的信息输出到安装在所述车辆上的显示装置，所述模型图像中选择性地指示了多个视野范围中与所述多个观察点中的一个观察点相关联的一个视野范围。