CN104584541A - 图像生成设备、图像显示系统、参数获取设备、图像生成方法和参数获取方法 - Google Patents

Abstract

图像获取单元获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机。图像合成单元通过使用针对所述多个捕获图像中的各捕获图像限定的目标区域(TA)，生成指示从虚拟视点观看到的车辆周围的合成图像。状态获取单元获取侧镜的展开状态/折叠状态。图像合成单元根据所述侧镜是展开状态/折叠状态来改变所述目标区域(TA)。

Description

图像生成设备、图像显示系统、参数获取设备、图像生成方法和参数获取方法

技术领域

本发明涉及一种用于生成对车辆周围加以指示的图像的技术。

背景技术

在现有技术中，配置为生成对车辆(例如，汽车)周围加以指示的图像并将该图像显示在车辆内的显示设备上的图像显示技术是所熟知的。通过使用所述图像显示系统，用户(以驾驶员作为代表示例)基本上可以实时检查所述车辆的周围情况。

此外，近几年还提出了一种图像显示系统，配置为合成多个捕获图像、生成合成图像(指示从虚拟视点观看到的车辆周围)并显示所述合成图像(例如，参考专利文献1)。在所述图像显示系统中，能够生成俯瞰图像(overhead image)，所述俯瞰图像是如同从车辆上方观看车辆周围的合成图像。用户可以通过在视觉上识别所述合成图像，来检查车辆周围的整体情况。

现有技术文献

专利文献

【专利文献1】日本专利申请公开No.2011-15174A

发明内容

本发明要解决的问题

通常向可以从展开状态转变到折叠状态的侧镜提供侧面摄像机，所述侧面摄像机配置为捕获多个捕获图像中指示车辆侧面的捕获图像。由于这个原因，当将侧镜从展开状态转变到折叠状态时，还改变向侧镜提供的侧面摄像机的光轴方向。

因此，当通过与展开状态下的侧镜相同的方法根据由折叠状态下的侧镜获得的捕获图像而生成合成图像时，可以生成使得在不匹配情况下合成拍摄对象的图像的合成图像。

因此，本发明的目的在于提供一种用于生成合成图像的技术，在合成图像中相匹配地合成拍摄对象的图像，而无论侧镜的状态。

解决问题的手段

为了实现以上目的，根据本发明的一个方面，提供了一种用于具有侧镜的车辆的图像生成设备，所述图像生成设备包括：图像获取装置，用于获取通过多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；生成装置，用于通过使用针对各捕获图像而限定的目标区域，生成指示从虚拟视点观看到的车辆周围的合成图像；以及状态获取装置，用于获取侧镜的展开状态或折叠状态，其中所述生成装置根据所述侧镜的展开状态或折叠状态来改变目标区域。

根据上述图像生成设备，在由设置于侧镜内的摄像机获得的捕获图像中限定的目标区域根据侧镜的状态改变。因此，能够生成合成图像，在合成图像中相匹配地合成拍摄对象的图像，而无论侧镜的状态。

生成装置可以在侧镜的展开状态下根据第一参数限定目标区域，并且可以在侧镜的折叠状态下根据第二参数限定目标区域。这里，第一参数指示在侧镜展开状态下侧面摄像机的光轴方向的误差，第二参数指示在侧镜折叠状态下侧面摄像机的光轴方向的误差。

根据以上配置，可以根据侧镜展开状态和侧镜折叠状态的每个状态下光轴方向的误差，限定目标区域，使得能够更精确地生成合成图像。

图像生成设备还可以包括：第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数；以及第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数。

根据以上配置，能够正确地获取生成合成图像所需的第一参数和第二参数。

在图像生成设备中，生成装置可以通过将两个捕获图像混合，在合成图像中的多个捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。

根据以上配置，当通过混合所述两个捕获图像来在合成图像中的捕获图像之间生成边界部分时，能够正确地相互交叠拍摄对象的图像。

在所述图像生成设备中，生成装置可以在侧镜的展开状态和折叠状态中的一个状态下，通过混合两个捕获图像，在合成图像中的多个捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间；并在侧镜的展开状态和折叠状态中的另一状态下时，利用未使用捕获图像的掩膜图像来显示合成图像中的多个捕获图像之间的边界部分。

根据以上配置，在侧镜的一个状态下，由于通过混合所述两个捕获图像来生成合成图像中的捕获图像之间的边界部分，因此能够生成自然图像。此外，在侧镜的另一状态下，由于利用掩膜图像来显示合成图像中的捕获图像之间的边界部分，因此能够防止不匹配地交叠和显示所述拍摄对象的图像。

为了实现上述目的，根据本发明的第二方面，提供了一种用于车辆的图像显示系统，所述图像显示系统包括：根据第一方面的图像生成设备；以及显示设备，配置为显示从图像生成设备输出的合成图像。

为了实现以上目的，根据本发明的第三方面，提供了一种用于具有侧镜的车辆的图像生成方法，所述方法包括以下处理：(a)获取由多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；(b)通过使用针对各捕获图像而限定的目标区域来生成合成图像，所述合成图像指示从虚拟视点观看到的车辆周围；以及(c)获取侧镜的展开状态或折叠状态，其中所述处理(b)包括根据所述侧镜的展开状态或折叠状态来改变目标区域的处理。

根据上述图像显示系统和图像生成方法，能够完成与根据第一方面的图像生成设备相同的效果。

为了实现上述目的，根据本发明的第四方面，提供了一种参数获取设备，配置为获取与设置在车辆侧镜中的摄像机相关的参数，所述参数获取设备包括：获取装置，用于获取侧镜的展开状态或折叠状态；第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数，第一参数指示所述摄像机的光轴方向的误差；以及第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数，第二参数指示所述摄像机的光轴方向的误差。

为了实现以上目的，根据本发明的第五方面，提供了一种参数获取方法，获取与设置在车辆侧镜中的摄像机相关的参数，所述方法包括：(a)获取侧镜的展开状态或折叠状态的处理；(b)第一参数处理，在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及(c)第二参数处理，在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。

根据所述参数获取设备和参数获取方法，能够在侧镜的展开状态和折叠状态中的每个状态下，正确地获取生成正确合成图像所需的第一参数和第二参数。

附图说明

图1示出了根据第一示例实施例的图像显示系统的配置。

图2示出了设置在图1的图像显示系统中的摄像机捕获图像所沿的方向。

图3示出了设置在图1的图像显示系统中的图像合成单元生成合成图像的方法。

图4示出了图3的立体曲面的部分和捕获图像之间的对应关系。

图5示出了由设置在图1的图像显示系统中的图像调整单元生成的显示图像的示例。

图6示出了安装有图1的图像显示系统的车辆的侧镜的折叠状态。

图7示出了由设置在图1的图像显示系统的左侧摄像机获取的捕获图像的示例。

图8示出了获取图7的捕获图像的情况。

图9示出了在由设置在图1的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。

图10示出了图1的图像显示系统的操作流程。

图11示出了根据第二示例实施例的图像显示系统的配置。

图12示出了当图11的图像显示系统执行校准处理时车辆的情况。

图13示出了用于校准处理使用的标记部件(marking member)的外观。

图14示出了校准处理的流程。

图15示出了针对校准处理的捕获图像的示例。

图16示出了图11的图像显示系统的操作流程。

图17示出了在由设置于图11的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。

图18示出了在由设置在图11的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。

图19示出了当根据第三示例实施例的图像显示系统生成合成图像时，在立体曲面的部分和捕获图像之间的对应关系。

图20示出了由根据第三示例实施例的图像显示系统生成的合成图像的示例。

具体实施方式

下文中，将参考附图描述本发明的示例实施例。

<第一示例实施例>

<1-1.配置>

图1示出了根据第一示例实施例的图像显示系统10的配置。图像显示系统10用于车辆(在该示例实施例中，为汽车)，并具有生成图像并在该车辆内显示该图像的功能，其中所述图像指示车辆的周围区域。通过使用图像显示系统10，图像显示系统10的用户(驾驶员，作为代表示例)可以实质上实时识别车辆的周围情况。

如图1所示，图像显示系统10具有多个摄像机5、图像生成设备2、显示设备3和操作按钮4。每个摄像机5被配置为捕获车辆的周围以便获取捕获图像并将所获取的捕获图像输入到图像生成设备2。图像生成设备2配置为通过使用指示车辆周围的捕获图像，生成显示图像以便显示在显示设备3上。显示设备3配置为显示图像生成设备2中生成的显示图像。此外，操作按钮4配置为接收用户的操作。

每个摄像机5都具有镜头和捕获元件，并且配置为电学获取指示车辆周围的捕获图像。所述多个摄像机5包括前置摄像机5F、后置摄像机5B、左侧摄像机5L和右侧摄像机5R。如图2所示，四个摄像机5F、5B、5L、5R布置在车辆9的不同位置处，并配置为捕获车辆9的周围的不同方向。

图2示出了四个摄像机5F、5B、5L、5R捕获图像所沿的方向。将前置摄像机5F设置在车辆9的前端，将其光轴5Fa面向车辆9的直线行驶方向。将后置摄像机5B设置在车辆9的后端，将其光轴5Ba面向与车辆9的直线行驶方向相反的方向。

此外，将左侧摄像机5L设置在布置于车辆9的左侧表面上的左侧镜93L中。与此同时，将右侧摄像机5R设置在布置于车辆9的右侧表面上的右侧镜93R中。侧镜93L、93R可以从展开状态(驾驶员可以检查车辆9的侧后方的状态)变到折叠状态。在左侧镜93L的展开状态下，左侧摄像机5L的光轴5La面向车辆9的左侧方向(该方向与直线行驶方向实质上正交)。此外，在右侧镜93R的展开状态下，右侧摄像机5R的光轴5Ra面向车辆9的右侧方向(该方向与直线行驶方向实质上正交)。

采用例如鱼眼镜头的广角镜头作为摄像机5的镜头。摄像机5中的每个摄像机具有180°或更大视角。因此，能够通过使用四个摄像机5F、5B、5L、5R来捕获车辆9的整个周围。可以通过四个摄像机5中的两个摄像机5来交叠式地捕获车辆9的左前、右前、左后和右后方的各区域A1、A2、A3、A4。

如图1所示，显示设备3具有触摸面板31。触摸面板21设置在薄型(例如液晶型和有机EL型)显示面板中，并且可以接收用户的操作。显示面板配置为显示多种信息和图像。显示设备3布置在车辆9的仪表面板上，使得用户可以视觉上识别显示面板的屏幕。显示设备3可以布置在与图像生成设备2相同的壳体中，并与图像生成设备2集成在一起，或备选地，可以是与图像生成设备2分开的设备。

操作按钮4是用于接收用户操作的操作部件。操作按钮4设置在车辆9的方向盘上，例如，配置为主要接收来自驾驶员的操作。用户可以通过操作按钮4和显示设备3的触摸面板31在图像显示系统10上执行多种操作。当用户操作所述操作按钮4和操作面板31中的任何一个时，将指示对应操作的内容的操作信号输入到图像生成设备2。

图像生成设备2是能够执行多种图像处理的电子设备2，具有图像获取单元21、图像合成单元22、图像调整单元23和图像输出单元24。

图像获取单元21是图像获取装置的示例，被配置为获取由四个摄像机5F、5B、5L、5R捕获的图像。图像获取单元21具有例如将模拟捕获图像转换为数字捕获图像的图像处理功能。图像获取单元21配置为针对所获取的捕获图像执行预定图像处理并将处理之后的捕获图像输入到图像合成单元22和图像调整单元23。

图像合成单元22是配置为执行用于生成合成图像的图像处理的硬件电路。图像合成单元22是生成装置的示例，配置为合成由多个摄像机5获取的多个捕获图像，从而生成对从虚拟视点观看到的车辆9的周围加以指示的合成图像。下文将详细描述生成合成图像的方法。

图像调整单元23被配置为生成显示图像以便显示在显示设备3上。图像调整单元23配置为通过使用由图像合成单元22生成的合成图像和由图像获取单元21获取的捕获图像，生成包括合成图像和捕获图像的显示图像。

图像输出单元24配置为向显示设备3输出在图像调整单元23中生成的显示图像，并将显示图像显示在显示设备3上。因此，将指示从虚拟视点观看到的车辆9的周围的合成图像显示在显示设备3上。

此外，图像生成设备2还具有控制单元20、操作接收单元25、信号接收单元26和存储单元27。控制单元20是具有例如CPU、RAM、ROM等的微型计算机，并配置为总体上控制整个图像生成设备2。

操作接收单元25配置为当用户执行操作时，接收从操作按钮4和触摸面板31发送的操作信号。因此，操作接收单元25接收用户的操作。操作接收单元25配置为向控制单元20输入接收到的操作信号。

信号接收单元26配置为接收从单独设置在车辆9中的设备发送的信号，并向控制单元20输出所述信号。信号接收单元26配置为接收从例如变速传感器(shift sensor)91和镜子驱动单元92发送的信号。

变速传感器91配置为检测变速位置并向图像生成设备2传输指示所述变速位置的信号，其中变速位置是车辆9传动的变速档(shiftlevel)的位置。基于所述信号，控制单元20可以确定车辆9向前还是向后行进。

此外，镜子驱动单元32配置为响应于用户的指令旋转左侧镜93L和右侧镜93R二者，并将侧镜93L、93R从展开状态和折叠状态中的一个状态变到另一状态。镜子驱动单元32配置为向图像生成设备2发送对侧镜93L、93R的展开/折叠状态加以指示的信号。

存储单元27是例如闪存的非易失性存储器，被配置为在其中存储多种信息。存储单元27配置为在其中存储用作固件的程序27a和用于由图像合成单元22生成合成图像的多种数据。用于生成合成图像的数据包括多个对应表27b。

CPU响应于存储在存储单元27中的程序27a而执行计算处理，使得实现控制单元20的多种功能。所示的图像控制单元20a和状态获取单元20b是当CPU响应于程序27a而执行计算处理时实现的功能单元的一部分。

所述图像控制单元20a配置为控制用于生成合成图像的图像合成单元22以及用于生成显示图像的图像调整单元23。图像控制单元20a配置为根据车辆9的状态和用户操作，控制图像合成单元22和图像调整单元23生成合成图像和显示图像。

此外，状态获取单元20b是状态获取装置的示例，并配置为获取侧镜93L、93R的展开/折叠状态。状态获取单元20b配置为基于从镜子驱动单元92传输的信号，获取侧镜93L、93R的展开/折叠状态的任意状态。

<1-2.生成合成图像>

随后，描述了一种生成对从虚拟视点观看到的车辆9的周围情况加以指示的合成图像的方法。图3示出了图像合成单元22生成合成图像的方法。

当在前置摄像机5F、后置摄像机5B、左侧摄像机5L和右侧摄像机5R中分别执行捕获时，获得对车辆9的前方、后方、左侧和右侧加以指示的四个捕获图像SF、SB、SL、SR。四个捕获图像SF、SB、SL、SR包括指示车辆9的整个周围的数据。

图像合成单元22将四个捕获图像SF、SB、SL、SR中包括的数据(像素值)投影到虚拟三维空间的立体曲面TS。立体曲面TS是与车辆9的周围区域相对应的虚拟投影平面。

立体曲面TS为例如实质上半球形(碗状)，将中心区域(所述碗的底部)定义为车辆区域R0，车辆区域R0是车辆9的位置。图像合成单元22不将捕获图像数据投影到立体曲面TS的车辆区域(车辆9的位置)R0，而将捕获图像数据投影到投影区域R1，投影区域R1是车辆区域R0的外部区域。投影区域R1的每个位置与四个捕获图像SF、SB、SL、SR中的任一数据相关联。图像合成单元22将四个捕获图像SF、SB、SL、SR的数据分别投影到投影区域R1的对应位置。

如图4所示，图像合成单元22将前置摄像机5F的捕获图像SF的数据投影到投影区域R1的GF部分，所述GF部分与车辆9的前方相对应。同样，图像合成单元22将后置摄像机5B的捕获图像SB的数据投影到投影区域R1的GB部分，所述GB部分与车辆9的后方相对应。此外，图像合成单元22将左侧摄像机5L的捕获图像SL的数据投影到投影区域R1的GL部分，所述GL部分与车辆9的左侧相对应，并将右侧摄像机5R的捕获图像SR的数据投影到投影区域R1的GR部分，所述GR部分与车辆9的右侧相对应。

在投影区域R1中，对目标区域TA的数据进行投影，而非四个捕获图像SF、SB、SL、SR的整个区域的数据，其中所述目标区域TA是四个捕获图像SF、SB、SL、SR的一部分。也就是说，图像合成单元22通过使用四个捕获图像SF、SB、SL、SR的各目标区域TA，生成合成图像CP。

通过对应表27b将捕获图像中的数据和所述数据应投影到的投影区域R1的每个位置相关联，所述对应表27b是提前存储在存储单元27中的表格数据。因此，通过对应表27b来定义四个捕获图像SF、SB、SL、SR的各目标区域(用于生成合成图像CP的区域)TA。将四个捕获图像SF、SB、SL、SR的每个目标区域TA确定为如下区域：在各捕获图像中包括车辆9周围的拍摄对象的图像。

当将捕获图像数据投影到如图3所示的立体曲面TS的投影区域R1时，如上所述，图像合成单元22实际上配置代表车辆9的三维形状的多边形模型。将车辆9的模型布置在车辆区域R0中，车辆区域R0是车辆9在设置了立体曲面TS的三维空间内的位置。

然后，图像合成单元22在图像控制单元20a的控制下，相对所述三维空间设置虚拟视点VP。图像合成单元22可以朝向任意视向将虚拟视点VP设置在三维空间的任意视点位置处。图像合成单元22剪切投影到立体曲面TS的区域上的数据，作为图像，所述立体曲面TS被包括在以如从所设虚拟视点VP观看的视角内。此外，图像合成单元22根据所设虚拟视点VP执行对车辆9的模型的呈现，并将由所述呈现而产生的二维车辆图像90交叠在剪切图像上。因此，图像合成单元22生成合成图像CP，指示从虚拟视点VP观看到的车辆9和车辆9的周围区域。

例如，如图3所示，当设置了虚拟视点VPa(其视点位置在所述车辆9正上方且视向在所述车辆正下方)时，生成向下观看车辆9以及车辆9周围区域的合成图像CPa(俯瞰图像)。此外，当设置了虚拟视点VPb(其视点位置在车辆9的后方且视向在车辆的前方)时，生成指示车辆9和车辆9的周围区域的合成图像CPb，使得从车辆9的左后方观看所述车辆的整个周围。在该示例实施例中，图像合成单元22可以将如同从车辆9的正上方观看所述车辆的虚拟视点VPa设置为虚拟视点VP。因此，所述图像合成单元22可以生成作为向下观看车辆9和车辆9周围的合成图像的俯瞰图像。

在生成合成图像CP的过程中，如图4所示，将在立体曲面TS的投影区域R1的部分GF、GB、GL、GR之间的边界部分BA1到BA4与两个捕获图像的数据进行投影，这两个捕获图像的数据应分别被投影到将所述边界部分夹在其间的两个部分。通过以相同比率将两个投影捕获图像数据进行alpha混合而获得边界部分BA1到BA4的数据的值。例如，通过将前置摄像机5的捕获图像SF的数据与左侧摄像机5L的捕获图像SL的数据进行alpha混合，获得在与车辆9的前方相对应的部分G F以及与车辆9的左侧相对应的投影区域R1的部分GL之间的边界部分BA1的数据值。

由于图像合成单元22剪切立体曲面TS的数据以便生成合成图像CP，因此立体曲面TS的边界部分BA1到BA4与用于所述合成图像CP的捕获图像之间的边界部分相对应。例如，图像合成单元22通过将两个捕获图像(将对应边界部分夹在其间)混合，来在合成图像CP的捕获图像之间生成边界部分。

<1-3.显示图像>

随后，描述了通过图像调整单元23生成的显示图像。图5示出了由图像调整单元23生成的显示图像DP的示例。将图5所示的显示图像DP显示在显示设备3上，使得用户可以视觉上识别该显示图像。

如图5所示，显示图像DP包括合成图像CP和捕获图像SP。所述包括在显示图像DP中的合成图像CP是作为从车辆9的正上方观看车辆9周围的合成图像的俯瞰图像。

此外，根据车辆9的行进方向选择包括在显示图像DP中的捕获图像。当车辆9向前行进时，从前置摄像机5F获取的捕获图像SF用作显示图像DP的捕获图像SP。与此同时，当车辆9向后行进时，将从后置摄像机5B获取的捕获图像5B用作显示图像DP的捕获图像SP。图像控制单元20a根据从变速传感器91发送的信号，确定车辆9的行进方向。

用户视觉上识别显示图像DP以便根据捕获图像SP来理解车辆9的行进方向的情况并还根据合成图像CP来理解车辆9的整个周围的情况。图像显示系统10配置为不仅在侧镜93L、93R的展开状态下，而且还在侧镜93L、93R的折叠状态下，生成显示图像DP中包括的合成图像CP。

<1-4.侧镜的状态转变>

如上所述，将侧面摄像机5L、5R分别设置在侧镜93L、93R中。因此，当侧镜93L、93R从展开状态转变到折叠状态时，侧面摄像机5L、5R的光轴的位置和方向也相应地发生改变。

图6示出了侧镜93L、93R的折叠状态。如上所述，当侧镜93L、93R在展开状态下时，侧面摄像机5L、5R的光轴5La、5Rb的方向与车辆9的直线行进方向实质上正交(参考图2)。另一方面，如图6所示，当侧镜93L、93R处于折叠状态时，相较于展开状态，侧面摄像机5L、5R的光轴5La、5Rb的方向更多地面向于后方。

此外，当旋转侧镜93L、93R时，设置有侧面摄像机5L、5R的位置不在旋转轴上。因此，当侧镜93L、93R从展开状态转变到折叠状态时，侧面摄像机5L、5R相对于车辆9的位置同样发生改变。

因此，当侧镜93L、93R从展开状态转变到折叠状态时，相应地改变在由侧面摄像机5L、5R获得的捕获图像中包括的拍摄对象图像的方向和范围。

图7示出了由左侧摄像机5L获得的捕获图像SL的示例。在与图8相同的情况下，获得图7所示的两个捕获图像SL。图7A示出了在左侧摄像机93L的展开状态下获取的捕获图像SL，图7B示出了在左侧摄像机93L的折叠状态下获取的捕获图像SL。

如图8所示，在左侧地面上存在所检查到的图案P的情况下获得两个捕获图像SL，图案P交替地布置有两个颜色的方格。图案P从车辆9前端的前方位置向车辆9后端的后方位置沿车辆9的纵向延伸。

图7所示的两个捕获图像SL包括图案P的图像Pa。然而，在两个捕获图像SL中，图案P的图像Pa的方向和范围不同。如图7A所示，在左侧镜93L的展开状态下获得的捕获图像SL中，图案P的图像Pa在捕获图像SL中沿实质上水平方向延伸。另一方面，如图7B所示，在左侧镜93L的折叠状态下获得的捕获图像SL中，图案P的图像Pa在捕获图像SL中以其右侧面下倾斜的方式延伸。在该示例中，描述了左侧摄像机5L。然而，右侧摄像机5R也是相同的。

这样，当改变侧镜93L、93R的展开/折叠状态时，由侧面摄像机5L、5R获得的捕获图像中包括的拍摄对象图像的方向和范围发生改变。因此，在侧镜93L、93R的折叠状态下，如果以与展开状态相同的方法生成合成图像CP，则生成不匹配地合成拍摄对象图像的合成图像CP。

为了处理以上问题，本示例实施例的图像显示系统10配置为：在侧镜93L、93R的展开状态和折叠状态下，改变由侧面摄像机5L、5R获得的捕获图像中的目标区域TA(即，用于生成合成图像CP的区域)。

图9示出了左侧摄像机5L的捕获图像SL中的目标区域TA。图9A示出了在左侧镜93L的展开状态下的目标区域TAa。另一方面，图9B示出了在左侧镜93L的折叠状态下的目标区域TAb。在两个捕获图像SL中，捕获图像SL中的目标区域TA彼此不同。

这样，当在左侧镜93L的展开和折叠状态下改变捕获图像SL中的目标区域TA时，能够在任意状态下将在捕获图像SL中包括车辆9周围的拍摄对象图像的区域设置为目标区域TA。因此，在任意状态下，能够生成相匹配地合成拍摄对象图像的合成图像CP。与此同时，在该示例中，描述了左侧摄像机5L。然而，还根据右侧镜93R的状态，以相同方式改变在右侧摄像机5R的捕获图像SR中的目标区域TA。

尽管针对在展开状态下限定的目标区域TAa执行简单的坐标变换(旋转、平移等)，然而仍无法正确确定在侧镜93L、93R的折叠状态下限定的目标区域Tab。原因如下：尽管当改变侧镜93L、93R的状态时改变侧面摄像机5L、5R的位置，然而在通过例如鱼眼镜头的广角镜头获取的捕获图像中发生较大失真(扭曲拍摄对象图像的现象)。因此，根据提前存储在存储单元27中的对应表27b，单独确定在侧镜93L、93R的展开状态下定义的目标区域TAa和在折叠状态下定义的目标区域TAb。

在侧镜93L、93R的展开状态下，图像显示系统10的图像合成单元22配置为使用“展开时的表格”，即，与展开状态相对应的对应表27b。图像合成单元22配置为通过使用由展开时的表格确定的捕获图像的目标区域TAa，生成合成图像CP。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为使用“折叠时的表格”，即，与折叠状态相对应的对应表27b。图像合成单元22配置为通过使用由折叠时的表格确定的捕获图像的目标区域TAb，生成合成图像CP。

这样，图像显示系统10的图像合成单元22配置为根据侧镜93L、93R的展开/折叠状态，改变用于生成合成图像CP的目标区域TA。因此，图像显示系统10可以生成相匹配地合成拍摄对象图像的合成图像CP，而无论侧镜93L、93R的状态。

<1-5.显示图像的显示>

随后，描述图像显示系统10的操作的流程图。图10示出了用于显示显示图像DP的图像显示系统10的操作的流程。当用户通过操作按钮4执行操作以便开始图10所示的操作时，开始所述操作。此外，以预定周期(例如，1/30秒的周期)重复地执行图10的操作，直到用户通过操作按钮4执行了停止所述操作的操作为止。

首先，分别使得设置在车辆9中的四个摄像机5能够捕获车辆9的周围。其次，图像获取单元21获取通过四个摄像机5获得的四个捕获图像(步骤S11)。

然后，状态获取单元20b获取侧镜93L、93R的展开/折叠状态。状态获取单元20b基于从配置为旋转侧镜93L、93R的镜子驱动单元92发送的信号，确定侧镜93L、93R处于展开状态还是折叠状态(步骤S12)。

如果侧镜93L、93R处于展开状态(步骤S12中的是)，则图像合成单元22在图像控制单元20a的控制下，选择展开时的表格，作为用于生成合成图像CP的对应表(步骤S13)。然后，图像合成单元22从存储单元27读出展开时的表格，所述展开时的表格是存储在存储单元27中的多个对应表27b之一。

然后，图像合成单元22使用展开时的表格以便生成合成图像CP，指示从虚拟视点观看到的车辆9的周围情况(步骤S15)。图像合成单元22根据展开时的表格确定四个捕获图像的各目标区域TA。然后，图像合成单元22通过使用四个捕获图像的各目标区域TA，生成合成图像CP。

随后，图像调整单元23生成显示图像DP，以便显示在显示设备3上(步骤S16)。图像调整单元23通过使用由图像合成单元22生成的合成图像CP以及由图像获取单元21获取的捕获图像，生成显示图像DP。图像调整单元23在图像控制单元20a的控制下，根据车辆9的行进方向选择捕获图像，并使用捕获图像来生成显示图像DP。

然后，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP(步骤S17)。然后，将包括合成图像CP的显示图像DP显示在显示设备3上。

此外，如果在步骤S12确定侧镜93L、93R处于折叠状态下(步骤S12中的否)，则图像合成单元22在图像控制单元20a的控制下，选择折叠时的表格，作为用于生成合成图像CP的对应表(步骤S14)。然后，图像合成单元22从存储单元27读出折叠时的表格，所述折叠时的表格是存储在存储单元27中的多个对应表27b之一。

然后，图像合成单元22使用折叠时的表格以便生成合成图像CP，指示从虚拟视点观看到的车辆9的周围情况(步骤S15)。图像合成单元22根据折叠时的表格确定四个捕获图像的各目标区域TA。因此，即使当侧镜93L、93R处于折叠状态下时，也将包括车辆9周围的拍摄对象图像的区域确定为侧面摄像机SL、SR的捕获图像中的目标区域TA。然后，图像合成单元22通过使用四个捕获图像的各目标区域TA，生成合成图像CP。因此，生成了相匹配地合成拍摄对象图像的合成图像CP。

随后，图像调整单元23生成显示图像DP，以便显示在显示设备3上(步骤S16)。图像调整单元23通过使用由图像合成单元22生成的合成图像CP以及由图像获取单元21获取的捕获图像，生成显示图像DP。图像调整单元23在图像控制单元20a的控制下，根据车辆9的行进方向选择捕获图像，并使用捕获图像来生成显示图像DP。

然后，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP(步骤S17)。然后，将包括合成图像CP的显示图像DP显示在显示设备3上。

如上所述，根据第一示例实施例的图像显示系统10，图像获取单元21配置为获取通过多个摄像机5(包括设置在车辆9的侧镜93L、93R中的侧面摄像机5L、5R)获得的多个捕获图像，图像合成单元22配置为通过使用所述多个捕获图像的各目标区域TA，生成指示从虚拟视点观看到的车辆9周围的合成图像CP。同样，状态获取单元20b配置为获取侧镜93L、93R的展开/折叠状态，图像合成单元22配置为根据侧镜93L、93R的展开/折叠状态改变目标区域TA。这样，由于根据侧镜93L、93R的状态改变在由侧面摄像机5L、5R获得的捕获图像中的目标区域TA，因此能够即使当侧镜93L、93R处于展开状态和折叠状态的任意状态下时，仍生成相匹配地合成拍摄对象图像的合成图像CP。

<2.第二示例实施例>

<2-1.概述>

随后，描述了第二示例实施例。由于根据第二示例实施例的图像显示系统10A的配置和操作与第一示例实施例的图像显示系统10实质上相同，因此下文主要描述与第一示例实施例的区别。利用相同的附图标记表示具有相同或等同配置或功能的元素，并不再对其进行赘述。图像显示系统10A配置为通过使用在校准处理中获得的指示各摄像机5的光轴方向的误差的光轴参数，生成合成图像CP。

当将摄像机5设置在车辆9内时，在摄像机5的光轴相对车辆9的方向与设计方向之间存在轻微误差(安装误差)。由于该误差，在摄像机5获得的捕获图像中包括的拍摄对象图像的位置与设计时假定的位置偏离。因此，如果使用在设计时定义的捕获图像的目标区域TA来生成合成图像CP，而不考虑该偏差，则可能不匹配地合成拍摄对象图像。

具体地，当通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分时，其中边界部分夹在两个捕获图像之间，如果不匹配地合成所述拍摄对象的图像，则相同对象的图像可能出现在合成图像CP的混合部分的不同位置处。视觉上识别所述合成图像CP的用户可能误解在车辆9周围存在的对象的数目或位置。

因此，图像显示系统10A配置为执行校准处理，从而获取与每个摄像机5的光轴的实际方向有关的光轴参数。光轴参数指示摄像机5的光轴相对车辆9的方向与设计方向之间的误差，例如包括滚动角、倾斜角、摇摄角等。图像显示系统10A配置为使用所获得的光轴参数，从而校正捕获图像中的目标区域TA的位置，所述目标区域TA用于生成合成图像CP。因此，图像显示系统10A可以生成考虑到所述误差的合成图像CP。

同样，随着侧镜93L、93R旋转，侧面摄像机5L、5R的光轴的位置和方向也发生改变。对于侧镜93L、93R的旋转，旋转角度等同样也发生了个体差异。因此，关于侧面摄像机5L、5R的光轴的方向，在侧面摄像机5L、5R的展开状态和折叠状态下分别发生独立误差。因此，图像显示系统10A配置为获取侧镜93L、93R的实际展开状态和实际折叠状态中的每个状态下指示侧面摄像机5L、5R的光轴方向的误差的光轴参数。

图像显示系统10A的图像生成设备2具有在校准处理中导出光轴参数的功能。因此，可以看出：图像生成设备2是配置为获取与设置在车辆9中的摄像机5相关的参数的参数获取设备。当在车辆工厂或车辆维修站将多个摄像机5附连到车辆9时，图像显示系统10A执行所述校准处理。将在校准过程中获得的光轴参数存储在图像生成设备2中。当图像生成设备2生成合成图像CP时，使用所述光轴参数。

如图11所示，除了图1所示的第一示例实施例的配置之外，图像显示系统10A还具有配置为导出光轴参数的参数导出单元20c。参数导出单元20c是当控制单元20的CPU响应于所述程序27a执行计算处理时实现的功能单元的一部分。

此外，存储单元27配置为在其中存储多个光轴参数27c以及程序27a和多个对应表27b。由于通过校准处理获得所述光轴参数27c，因此在执行所述校准处理之前，不在存储单元27中存储光轴参数。

在摄像机5的每个摄像机中提供光轴参数27c。此外，考虑到侧面摄像机5L、5R，在侧镜93L、93R的展开和折叠状态中的每个状态下分别提供光轴参数27c。

<2-2.校准处理>

图12示出了当执行校准处理时车辆9的情况。如图12所示，将四个标记部件7布置在用于执行校准处理的工作场所，例如，车辆工程和车辆维修站。

如图13所示，四个标记部件7中的每个标记部件具有可弹出的立方形。标记部件7具有被弹出的板状部件79，例如塑料板。板状部件79的主表面形成有具有预定图案的标记70，其中主表面面向车辆9。例如，标记70的图案是所检查的图案。形成图案的两个颜色之一是深色(例如，黑色)，另一颜色是相对较亮的颜色(例如，白色)。

当执行校准处理时，如图12所示，车辆9通过使用面对设备(confrontation apparatus)等停在工作场所的预定位置。因此，四个标记部件7与车辆9的相对位置是恒定的。四个标记部件7分别被布置在车辆9的左前方、右前方、左后方和右后方的各区域A1、A2、A3、A4中。因此，可以通过四个摄像机5中的两个摄像机5来交叠式地捕获所有四个标记部件7(参照图2)。

在图12所示的状态下，当操作员通过触摸面板31等执行预定操作时，执行所述校准过程。在校准处理中，安装在车辆9上的摄像机5捕获包括标记部件7的车辆9周围，以便获取捕获图像。图像生成设备2基于这种方式获取的捕获图像，获取指示摄像机5的光轴方向的误差的光轴参数。

图14示出了图像显示系统10A的校准处理的流程。在校准处理中，在侧镜93L、93R的实际展开状态和实际折叠状态中的每个状态下，获取光轴参数。

首先，图像生成设备2的状态获取单元20b获取侧镜93L、93R的展开状态或折叠状态，确认侧镜93L、93R是否处于实际展开状态(步骤S21)。此时，如果侧镜93L、93R处于折叠状态，则图像显示系统10A进行等待，直到实际展开侧镜93L、93R为止。

另一方面，如果侧镜93L、93R处于折叠状态，则显示设备3可以显示警报等以便促使用户展开侧镜93L、93R。同样，如果侧镜93L、93R处于折叠状态，则图像生成设备2的控制单元20可以向镜子驱动单元92发送预定信号，以便自动将侧镜93L、93R转变为展开状态。

如果侧镜93L、93R处于实际展开状态(步骤S21中的是)，则参数导出单元20c选择四个摄像机5中的一个摄像机5，作为“注目摄像机”，即，处理目标(步骤S22)。

随后，注目摄像机5捕获车辆9的周围区域，以便获取捕获图像(步骤S23)，其中车辆9的周围区域包括两个标记部件7的标记70。图15示出了以这种方式得到的校正处理的捕获图像GC的示例。如图所示，捕获图像GC包括两个标记70的图像(下文中，称作“标记图像”)71a、72a。

然后，如图14所示，参数导出单元20c基于捕获图像GC，获取对注目摄像机5的光轴方向的误差加以指示的光轴参数(步骤S24)。参数导出单元20c首先指定在捕获图像GC中包括的两个标记图像71a、72a的位置，并基于该位置，导出例如摇摄角、倾斜角和滚动角等光轴参数。

参数导出单元20c通过使用诸如Harris算子等公知角点检测方法(corner detection method)，来指定捕获图像GC中的两个标记图像71a、72a的位置。此外，参数导出单元20c分别根据捕获图像GC中两个标记图像71a、72a的左右位置导出左右旋转角，根据两个标记图像71a、72a的上下位置导出倾斜角，并根据捕获图像GC中的两个标记图像71a、72a的高度之间的差值导出滚动角。与此同时，可以由操作员手动地指定捕获图像GC中两个标记图像71a、72a的位置。

参数导出单元20c将获取的光轴参数与注目摄像机5相关联，并将其存储在存储单元27中。

然后，参数导出单元20c确定是否获取了所有的四个摄像机5的光轴参数(步骤S25)。如果存在还没有获取光轴参数的摄像机5(步骤S25中的否)，则将没有被设置为注目摄像机5的另一摄像机5设置为新的注目摄像机5，并重复上述处理。

重复处理，使得获取四个摄像机5的所有光轴参数，并将其存储在存储单元27中。在处理中获取的两个侧面摄像机5L、5R的光轴参数是在侧镜93L、93R的实际展开状态下获取的光轴参数，下文中被称作“展开时的参数”。所述“展开时的参数”指示在侧镜93L、93R的实际展开状态下，侧面摄像机5L、5R的光轴方向相对于设计方向的误差。

这样，当获取了四个摄像机5的光轴参数时(步骤S25中的是)，状态获取单元20b获取侧镜93L、93R是的展开状态或折叠状态。然后，图像显示系统10A进行等待直到侧镜93L、93R实际折叠为止(步骤S26)。

与此同时，此时显示设备3显示警报等以便促使用户折叠侧镜93L、93R。此外，图像生成设备2的控制单元20向镜子驱动单元92发送预定信号，以便自动将侧镜93L、93R转变到折叠状态。

当侧镜93L、93R处于实际折叠状态下时(步骤S26中的是)，参数导出单元20c选择两个左右侧摄像机5L、5R之一，作为“注目摄像机”，即，处理目标(步骤S27)。

随后，注目摄像机5捕获车辆9的周围区域，以便获取捕获图像(步骤S28)，其中车辆9的周围区域包括两个标记部件7的标记70。所获得的捕获图像GC还包括两个标记图像71a、72a。

然后，参数导出单元20c基于捕获到的图像GC，获取对注目摄像机5的光轴方向的误差加以指示的光轴参数(步骤S29)。参数导出单元20c指定在捕获图像GC中包括的两个标记图像71a、72a的位置，并基于该位置，导出光轴参数。参数导出单元20c将获得的光轴参数与注目摄像机5相关联，并将其存储在存储单元27中。

然后，参数导出单元20c确定是否获取了两个左右侧摄像机5L、5R的光轴参数(步骤S30)。如果存在还没有获得光轴参数的摄像机5(步骤S30中的否)，则将没有被设置为注目摄像机5的另一摄像机5设置为新的注目摄像机5，并重复上述处理。

通过以上处理，获取两个左右侧摄像机5L、5R的光轴参数，并将其存储在存储单元27中。在处理中获得的两个侧面摄像机5L、5R的光轴参数是在侧镜93L、93R的实际折叠状态下获得的光轴参数，下文中被称作“折叠时的参数”。所述“折叠时的参数”指示在侧镜93L、93R的实际折叠状态下，侧面摄像机5L、5R的光轴方向相对于设计方向的误差。

通过以上校准处理，获取两个侧面摄像机5L、5R的“展开时的参数”和“折叠时的参数”二者。

<2-3.显示图像的显示>

将以上述方式获取的光轴参数用于生成合成图像CP。图16示出了用于在第二示例实施例中显示显示图像DP的图像显示系统10A的操作的流程。图16所示的操作与图10所示的第一示例实施例的操作相对应，其中在步骤S13之后添加步骤S13a，在步骤S14之后添加步骤S14a。

首先，图像获取单元21获取通过四个摄像机5获得的四个捕获图像(步骤S11)。然后，状态获取单元20b获取侧镜93L、93R是展开状态或折叠状态(步骤S12)。

如果侧镜93L、93R处于展开状态(步骤S12中的是)，则图像合成单元22将展开时的表格选择作为用于生成合成图像CP的对应表，并从存储单元27读出展开时的表格(步骤S13)。

然后，图像合成单元22考虑到所述四个摄像机5的光轴方向的误差，校正根据展开时的表格限定的四个捕获图像的各目标区域TA(步骤S13a)。图像合成单元22从存储单元27读出四个摄像机5的光轴参数27c。此时，图像合成单元22从存储单元27读出关于所述两个侧面摄像机5L、5R的“展开时的参数”。然后，图像合成单元22通过使用四个摄像机5的各光轴参数27c，校正根据展开时的表格限定的四个捕获图像的各目标区域TA。因此，使用侧面摄像机5L、5R的“展开时的参数”，校正侧面摄像机5L、5R的捕获图像中的目标区域TA。

图17示出了左侧镜93L的展开状态下在左侧摄像机5L的捕获图像SL中的目标区域TA的示例。如果左侧摄像机5L的光轴方向不存在误差，则用于生成合成图像CP的目标区域TA是仅基于展开时的表格的初始区域TA1。在左侧摄像机5L的实际展开状态下，图像合成单元22通过使用对左侧摄像机5L的光轴方向的误差加以指示的展开时的参数，将目标区域TA从初始区域TA1校正到校正区域TA2。

随后，如图16所示，图像合成单元22通过使用四个捕获图像的各校正目标区域TA，来生成合成图像CP(步骤S15)。因此，由于考虑到四个摄像机5的光轴方向的误差而生成合成图像CP，因此生成了相匹配地合成拍摄主体图像的合成图像CP。还可以在合成图像CP中的捕获图像之间的边界部分处正确地交叠拍摄对象图像，其中通过混合两个捕获图像来生成合成图像CP。

随后，图像调整单元23生成显示图像DP以便显示在显示设备3上(步骤S16)，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP(步骤S17)。因此，将包括合成图像CP的显示图像DP显示在显示设备3上。

此外，如果在步骤S12确定侧镜93L、93R处于折叠状态下(步骤S12中的否)，则图像合成单元22从存储单元27读出折叠时的表格，作为用于生成合成图像CP的对应表(步骤S14)。

然后，图像合成单元22考虑到所述四个摄像机5的光轴方向的误差，校正根据折叠时的表格限定的四个捕获图像的各目标区域TA(步骤S14a)。图像合成单元22从存储单元27读出四个摄像机5的光轴参数27c。此时，图像合成单元22从存储单元27读取关于所述两个侧面摄像机5L、5R的“折叠时的参数”。然后，图像合成单元22通过使用四个摄像机5的各光轴参数27c，校正根据折叠时的表格限定的四个捕获图像的各目标区域TA。因此，使用侧面摄像机5L、5R的“折叠时的参数”，校正侧面摄像机5L、5R的捕获图像中的目标区域TA。

图18示出了在左侧镜93L的折叠状态下左侧摄像机5L的捕获图像SL中的目标区域TA的示例。如果左侧摄像机5L的光轴方向不存在误差，则用于生成合成图像CP的目标区域TA是仅基于折叠时的表格的初始区域TA3。在左侧镜93L的实际展开状态下，图像合成单元22通过使用对左侧摄像机5L的光轴方向的误差加以指示的折叠时的参数，将目标区域TA从初始区域TA3校正到校正区域TA2。

随后，如图16所示，图像合成单元22通过使用四个捕获图像的各校正目标区域TA，生成合成图像CP(步骤S15)。因此，由于考虑到四个摄像机5的光轴方向的误差而生成合成图像CP，生成了相匹配地合成拍摄主体图像的合成图像CP。还可以在合成图像CP中的捕获图像之间的边界部分处正确地交叠拍摄对象图像，其中通过混合两个捕获图像来生成合成图像CP。

随后，图像调整单元23生成显示图像DP以便显示在显示设备3上(步骤S16)，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP(步骤S17)。因此，将包括合成图像CP的显示图像DP显示在显示设备3上。

如上所述，根据第二示例实施例的图像显示系统10A，图像合成单元22配置为在侧镜93L、93R的展开状态下，通过使用基于展开时的参数的目标区域TA来生成合成图像CP。同样，图像合成单元22配置为在侧镜93L、93R的折叠状态下，通过使用基于折叠时的参数的目标区域TA来生成合成图像CP。展开时的参数指示侧镜93L、93R的实际展开状态下侧面摄像机5L、5R的光轴方向的误差。另一方面，折叠时的参数指示侧镜93L、93R的实际折叠状态下侧面摄像机5L、5R的光轴方向的误差。

这样，图像合成单元22配置为通过使用目标区域TA，来生成合成图像CP，其中目标区域TA基于侧镜93L、93R的展开状态和折叠状态中的每个状态下光轴方向的误差。因此，能够生成在其中正确布置拍摄对象图像的合成图像CP，而无论侧镜93L、9R的状态。此外，即使当通过混合两个捕获图像来在合成图像CP的捕获图像之间生成边界部分时，仍有能够在合成图像CP的混合部分处令拍摄对象图像彼此正确交叠。

同样，在校准处理中，参数导出单元20c配置为当侧镜93L、93R实际处于展开状态时获取展开时的参数，以及当侧镜93L、93R实际处于折叠状态时获取折叠时的参数。因此，能够正确地获取对侧镜93L、93R的展开和折叠状态中的每个状态下生成正确合成图像CP所需的展开时的参数和折叠时的参数。

<3.第三示例实施例>

随后，描述第三示例实施例。由于根据第三示例实施例的图像显示系统10B的配置和操作与第二示例实施例的图像显示系统10A基本相同，下文主要描述与第二示例实施例的差别。利用相同的附图标记表示具有相同或等同配置或功能的元件，并不再对其进行赘述。

第二示例实施例的图像显示系统10A配置为在校准处理中获取侧镜93L、93R的展开状态和折叠状态中的每个状态下的光轴参数。为了生成正确合成图像CP，优选的是获取在两个状态下的光轴参数。然而，需要花费相对较多的时间来执行校准处理。

因此，第三示例实施例的图像显示系统10B配置为仅获取侧镜93L、93R的展开状态下的光轴参数(展开时的参数)，从而缩短校准处理所需的时间。第三示例实施例的图像显示系统10B配置为根据所获取的展开时的参数，通过预定计算，来导出折叠时的参数。

如上所述，关于侧面摄像机5L、5R的光轴方向，在侧面摄像机93L、93R的展开状态和折叠状态下分别发生独立误差。因此，当通过计算导出折叠时的参数时，难以获取正确指示光轴方向的误差的折叠时的参数。因此，当将通过计算得到的折叠时的参数用于生成合成图像CP时，能够不匹配地合成拍摄对象的图像。

具体地，当通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分时，其中边界部分夹在两个捕获图像之间，如果不匹配地合成拍摄对象的图像，则相同对象的图像可能出现在合成图像CP的混合部分的不同位置处。视觉上识别所述合成图像CP的用户可能误解在车辆9周围存在的对象的数目或位置。

因此，第三示例实施例的图像显示系统10B配置为在侧镜93L的展开状态下(当使用在校准处理中获取的展开时的参数时)，通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中边界部分夹在两个捕获图像之间，与第二示例实施例相似。另一方面，在侧镜93L的折叠状态下(当使用通过计算导出的折叠时的参数时)，图像显示系统10B配置为将合成图像CP中的捕获图像之间的边界部分设置为不使用捕获图像的线条。

第三示例实施例的图像显示系统10B的配置与图11所示的第二示例实施例的图像显示系统10A的配置相同。然而，参数导出单元20c配置为在校准过程中仅获取侧镜93L、93R的展开状态下的光轴参数(展开时的参数)。此外，参数导出单元20c配置为根据所获取的展开时的参数，通过预定计算，导出折叠时的参数。由设计值提前确定计算等式，并将计算等式存储在存储单元27中。

此外，在第三示例实施例中，用于显示显示图像DP的图像显示系统10的操作的流程与图16所示的操作相同。然而，当图像合成单元22在步骤S15生成合成图像CP时，在合成图像CP的捕获图像之间生成边界部分的方法在侧镜93L、93R的展开状态和折叠状态下不同。

在侧镜93L、93R的展开状态下，图像合成单元22配置为通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中边界部分夹在两个捕获图像之间，与上述示例实施例相似(参照图4)。

相反，在侧镜93L、93R的折叠状态下，图像合成单元22不会通过混合捕获图像，来在合成图像CP的捕获图像之间生成边界部分。在这种情况下，如图19所示，在不发生交叠的情况下，以预定间隔划分立体曲面TS的投影区域R1中四个捕获图像所投影的部分GF、GB、GL、GR。因此，在部分GF、GB、GL、GR之间的边界部分BB1到BB4形成有间隙，其中不将任何捕获图像数据投影到间隙。因此，图像合成单元22利用未使用捕获图像的线条(掩膜图像的示例)来显示合成图像CP的捕获图像之间的边界部分。

图20示出了在侧镜93L、93R的展开和折叠状态下生成的合成图像CP的示例。图20A示出了在侧镜93L、93R的展开状态下生成的合成图像CP，图20B示出了在侧镜93L、93R的折叠状态下生成的合成图像CP。在图20中，利用与针对在图4或9的立体曲面TS的部分GF、GB、GL、GR之间的边界部分定义的附图标记相同的附图标记来表示合成图像CP的捕获图像之间的边界部分。

如图20A所示，在侧镜93L、93R的展开状态下生成的合成图像CP中，通过混合来形成合成图像CP的捕获图像之间的边界部分BA1到BA4。因此，边界部分BA1到BA4还包括拍摄对象的图像，使得合成图像CP成为自然图像。在这种情况下，由于使用在校准处理中得到的展开时的参数，生成了合成图像，能够在合成图像CP的混合部分处令所述拍摄对象的图像彼此正确交叠。

相反，如图20B所示，在侧镜93L、93R的折叠状态下生成的合成图像CP中，捕获图像数据不用于合成图像CP的捕获图像之间的边界部分BB1到BB4，使得形成非彩色的线条(achromatic lines)。因此，在线条BB1到BB4中不包括拍摄对象的图像。

在这种情况下，由于使用通过计算得到的折叠时的参数生成了合成图像CP，存在如下问题：不匹配地合成拍摄对象的图像。因此，利用未包括拍摄对象图像的线条来显示合成图像CP的捕获图像之间的边界部分，使得能够防止不匹配地显示所述拍摄对象的图像。同样，由于通过所述线条划分合成图像CP的捕获图像，能够降低由于拍摄对象的图像在捕获图像之间是不连续的而引起的用户不适感。

如上所述，根据第三示例实施例的图像显示系统10B，图像合成单元22配置为在侧镜93L、93R的展开状态下，通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为利用未使用捕获图像的线条来显示合成图像CP的捕获图像之间的边界部分。

在侧镜93L、93R的展开状态，正确地考虑侧镜5L、5R的光轴方向的误差，能够生成合成图像CP。因此，能够在合成图像CP的混合部分处令所述拍摄对象的图像彼此正确交叠，使得能够生成自然合成图像CP。相反，在侧镜93L、93R的折叠状态下，侧面摄像机5L、5R的光轴方向的误差是不精确的。因此，利用线条来显示合成图像CP中的捕获图像之间的边界部分，使得能够防止不匹配地交叠和显示拍摄对象的图像。

与此同时，根据第三示例实施例的图像显示系统10B，在校准处理中获取展开时的参数，并根据所获取的展开时的参数，通过预定计算来导出折叠时的参数。相反，可以在校准处理中获取折叠时的参数，并根据所获取的折叠时的参数，通过预定计算来导出展开时的参数。在这种情况下，图像合成单元22配置为在侧镜93L、93R的展开状态下时，利用未使用捕获图像的线条来显示合成图像CP中的捕获图像之间的边界部分。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。

<4.经修改的实施例>

尽管描述了本发明的示例实施例，然而本发明不限于所述示例实施例，可以进行多种修改。在下文中，描述了经修改的实施例。可以适当地组合包括上述示例实施例和以下经过修改的实施例的所有实施例。

在相应示例实施例中，状态获取单元20b配置为基于从镜子驱动单元92发送的信号，获取侧镜93L、93R的展开状态或折叠状态。然而，状态获取单元20b可以配置为基于用户输入操作，获取侧镜93L、93R的展开状态或折叠状态。在这种情况下，用户通过操作按钮4或触摸面板31输入侧镜93L、93R的展开状态和折叠状态中的任意状态。

此外，在第二和第三示例实施例中，在可弹出的标记部件7上形成标记70。然而，标记70可以形成在不可弹出的板状标记部件的主表面上，或形成在工作场所的地面上。

此外，第二和第三示例实施例的图像生成设备2可以不具有如配置为获取光轴参数的参数获取设备的功能。在这种情况下，图像生成设备2可以将由单独参数获取设备得到的光轴参数存储在存储单元27中，并当生成合成图像CP时使用光轴参数。

在第三示例实施例中，在侧镜93L、93R的展开或折叠状态下，利用未使用捕获图像的线条来显示在合成图像CP中的捕获图像之间的边界部分。然而，覆盖边界部分的图像的形状不限于线条型，只要能够防止不匹配地交叠和显示拍摄对象的图像，可以适当地确定覆盖边界部分的图像的形状。

同样，除了显示指示车辆9的周围的显示图像之外，对应所示实施例的图像显示系统10(10A、10B)还可以具有其它功能，例如引导到达目的地的路线的导航功能。当图像显示系统10(10A、10B)具有导航功能时，可以在正常情况下激活导航功能，并且当用户执行预定操作时，可以激活显示所述显示图像的功能。可以将导航功能设置在图像生成设备2或显示设备3中。

同样，相应示例实施例的图像显示系统10(10A、10B)配置为生成从车辆9正上方的虚拟视点观看到的合成图像(俯瞰图像)。然而，还可以生成从其它位置的虚拟视点观看到的合成图像。

同样，在上述示例实施例中，通过响应于所述程序的CPU的计算处理，将多种功能单元实现为软件形式。然而，可以将功能单元的一部分实现为电学硬件电路。此外，相反，可以以软件方式实现由所述硬件电路执行的一部分功能。

本申请基于2012年8月30日提交的日本专利申请No.2012-189604，其内容通过引用合并于此。

Claims (9)

1.一种用于具有侧镜的车辆的图像生成设备，所述图像生成设备包括：

图像获取装置，用于获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；

生成装置，用于通过使用针对各捕获图像限定的目标区域，生成指示从虚拟视点观看到的车辆周围的合成图像；以及

状态获取装置，用于获取侧镜的展开状态或折叠状态，

其中所述生成装置根据侧镜的展开状态或折叠状态来改变所述目标区域。

2.根据权利要求1所述的图像生成设备，

其中所述生成装置在侧镜的展开状态下根据第一参数来限定目标区域，并在侧镜的折叠状态下根据第二参数来限定目标区域，

其中所述第一参数指示在侧镜的展开状态下侧面摄像机的光轴方向的误差；以及

其中所述第二参数指示在侧镜的折叠状态下侧面摄像机的光轴方向的误差。

3.根据权利要求2所述的图像生成设备，还包括：

第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数；以及

第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数。

4.根据权利要求1所述的图像生成设备，其中所述生成装置通过混合两个捕获图像，来在合成图像中的所述多个捕获图像之间生成边界部分，其中对应边界部分夹在所述两个捕获图像之间。

5.根据权利要求1所述的图像生成设备，其中所述生成装置：

在侧镜的展开状态和折叠状态中的一个状态下，通过混合两个捕获图像，来在合成图像中的所述多个捕获图像之间生成边界部分，其中对应边界部分夹在所述两个捕获图像之间；以及

在侧镜展开状态和折叠状态中的另一状态下，利用未使用捕获图像的掩膜图像来显示合成图像中的所述多个捕获图像之间的边界部分。

6.一种用于车辆的图像显示系统，所述图像显示系统包括：

根据权利要求1-5中的任一权利要求所述的图像生成设备；以及

显示设备，配置为显示从图像生成设备输出的合成图像。

7.一种参数获取设备，配置为获取与设置在车辆侧镜中的摄像机相关的参数，所述参数获取设备包括：

获取装置，用于获取侧镜的展开状态或折叠状态；

第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及

第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。

8.一种用于具有侧镜的车辆的图像生成方法，所述方法包括以下处理：

(a)获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；

(b)通过使用针对各捕获图像限定的目标区域来生成合成图像，所述合成图像指示从虚拟视点观看到的车辆周围；以及

(c)获取侧镜的展开状态或折叠状态，

其中所述处理(b)包括根据所述侧镜的展开状态或折叠状态来改变目标区域的处理。

9.一种参数获取方法，获取与设置在车辆侧镜中的摄像机相关的参数，所述方法包括：

(a)获取侧镜的展开状态或折叠状态的处理；

(b)第一参数处理，在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及

(c)第二参数处理，在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。