CN105960800A - 影像显示装置及影像显示系统 - Google Patents

Abstract

本发明提供能够容易且高精度地检测立体物的存在并使其反映在俯视图像的技术。特征在于，具备：特征量检测条件确定部，其针对从至少2个不同的视点拍摄共同区域而得的图像的俯视图像，确定检测预定的特征量的条件；特征量检测部，其使用所确定的所述特征量检测条件，针对拍摄所述共同区域而得的图像的各俯视图像检测所述特征量；混合率确定部，其根据通过所述特征量检测部检测出的特征量，确定将从所述不同的视点拍摄的、拍摄共同区域而得的图像的俯视图像的像素混合时的混合率；以及俯视图像合成部，其根据通过所述混合率确定部确定的混合率，将拍摄所述共同区域而得的图像的俯视图像的像素混合并进行合成输出。

Description

影像显示装置及影像显示系统

技术领域

本发明涉及影像显示装置的技术。本发明要求2014年3月27日申请的申请号为2014-066268的日本专利的优先权，对于认可通过文献参照进行引入的指定国，将该申请所记载的内容通过参照引入到本申请。

背景技术

作为本技术领域的背景技术，存在日本特开2009-289185号公报(专利文献1)。该公报中记载了一种图像处理装置，该图像处理装置具备：指定单元，其指定各自部分地具有共同视场的K个(K为2以上的整数)摄像机；合成单元，其参照分配给所述K个摄像机的各自的权重，合成从通过所述指定单元指定的K个摄像机分别输出的K个视场图像；判别单元，其与所述指定单元的指定处理相关联地判别在所述共同视场中是否存在动态立体物；第1控制单元，其在所述判别单元的判别结果为否定时以既定方式控制所述K个摄像机的权重；计算单元，其在所述判别单元的判别结果为肯定时，针对所述K个摄像机的每一个计算到所述动态立体物的距离的缩小量；以及第2控制单元，其根据通过所述计算单元计算出的缩小量控制所述K个摄像机的权重。

现有技术文献

专利文献

专利文献1：日本特开2009-289185号公报

发明内容

在上述技术所涉及的加权的合成方法中，只公开了针对障碍物的图像部分使用0或者1这两个值选择一方摄像机的图像的加权的方法。该方法中，如果障碍物的图像和背景图像的分离处理失败，则会生成非常不自然的合成图像，因此，需要以非常高的精度分离障碍物的图像和背景图像，处理量的要求和硬件能力的要求高。

本发明的目的在于，容易且高精度地检测立体物的存在并使其反映在俯视图像中。

用于解决课题的手段

本申请包含多个解决上述问题的至少一部分的手段，举例如下。为了解决上述问题，本发明的影像显示装置的特征在于，具备：特征量检测条件确定部，其针对从至少2个不同的视点拍摄共同区域而得的图像的俯视图像，确定检测预定的特征量的条件；特征量检测部，其使用所确定的上述特征量检测条件，针对拍摄上述共同区域而得的图像的各俯视图像检测上述特征量；混合率确定部，其根据通过上述特征量检测部检测出的特征量，确定将从上述不同的视点拍摄的、拍摄共同区域而得的图像的俯视图像的像素混合时的混合率；以及俯视图像合成部，其根据通过上述混合率确定部确定的混合率，将拍摄上述共同区域而得的图像的俯视图像的像素混合并进行合成输出。

发明的效果

根据本发明，能够容易且高精度地检测立体物的存在并将其反映在俯视图像中。上述以外的问题、结构及效果通过以下实施方式的说明可得以明了

附图说明

图1是表示本发明的实施方式的影像显示装置的结构例的图。

图2是表示影像显示装置的硬件结构例的图。

图3是表示影像显示装置的使用状况的例子的图。

图4是表示影像显示装置的输出例的图。

图5是表示影像显示装置的特征量的检测处理的概要的图。

图6是表示存储在特征量检测条件存储部中的数据结构的图。

图7是表示存储在混合信息存储部中的数据结构的图。

图8是表示特征量的扫描方向与图像的旋转量的关系的图。

图9是表示同心圆上的特征量的扫描方向及其实现方法的例子的图。

图10是表示混合率决定处理的处理流程的图。

图11是表示以特征量为基准进行混合并合成俯视图像的画面例的图。

图12是表示选择图像并合成俯视图像的画面例的图。

图13是表示与随时间推移的立体物的变化对应的混合率的变化的例子的图。

图14是表示影像显示装置的拍摄对象的区域的设定例的图。

具体实施方式

以下，参照附图说明应用了本发明的实施方式的影像显示装置100及包含该影像显示装置100的影像显示系统1的例子。

图1是表示应用了本发明的第一实施方式的影像显示装置100的结构例的图。影像显示装置100包含控制部110、存储部120以及摄像机控制部130。影像显示装置100是向用户呈现俯视图像的终端。例如，影像显示装置100典型地为导航装置或者车辆控制装置等，是使用拍摄车辆的周围而得的图像呈现从上空俯视这样的俯视图像的装置。但是，不限于此，也可以是个人计算机装置、便携电话终端、平板终端、PDA(Personal Digital Assistant：个人数字助手)等电子信息终端。

控制部110进行影像显示装置100的基本控制。例如，控制部110担负影像显示装置100整体的电源管理、利用操作系统进行的各种装置的控制及任务管理等监管功能等。再者，控制部110包含特征量检测条件确定部111、特征量检测部112、混合率确定部113以及俯视图像合成部114。特征量检测条件确定部111确定适当的条件用于检测图像的特征量。此外，如后述，为了更高精度地检测特征量，特征量检测条件例如包含详细地确定图像的扫描方向的信息等。

特征量检测部112针对图像检测预定的特征量。具体地，特征量中包含立体物在画面上所占面积的比率等。

混合率确定部113确定在合成从不同的视点位置拍摄共同的区域而得的多个图像并生成俯视图像时使用的各图像间的数据的加权。具体地，混合率确定部113根据各图像间的特征量中是否可见相关性、可见各图像间的特征量的区域是否包含共同的区域内的相同位置等来确定混合率。

俯视图像合成部114根据混合率确定部113所确定的混合率，将拍摄共同的区域而得的多个图像的像素混合，由此合成输出俯视图像。

存储部120包含特征量检测条件存储部121及混合信息存储部122。

在特征量检测条件存储部121中存储有在根据确定所拍摄的区域的信息及拍摄该区域的视点位置的组合检测特征量时应用的条件。在后述的图7的说明中进行特征量检测条件存储部121的详细说明。

在混合信息存储部122中存储有用于确定所拍摄的区域的信息及拍摄该区域的视点位置间的混合率的信息。在后述的图8的说明中进行混合信息存储部122的详细说明。

摄像机控制部130向可给影像显示装置100提供图像的摄像机指示包含拍摄开始及拍摄结束的各种控制，取得从摄像机输出的图像。以上是影像显示装置100的结构的概要。

图2是表示应用了本发明的第一实施方式的影像显示装置100及包含该影像显示装置100的影像显示系统1的硬件结构例的图。

影像显示系统1包含影像显示装置100、摄像机群101以及显示器108。摄像机群101包含从第1摄像机到第n(n为整数)摄像机的多个摄像机。典型地，影像显示系统1使用搭载在车辆上的多个(n个)摄像机拍摄车辆周围的图像，通过影像显示装置100合成各摄像机的拍摄图像，通过显示器108显示车辆的周围的俯视图像。此外，摄像机群101不仅包括可主要拍摄可视光的摄像机，例如也可以包括对红外线具有感光度区域并输出为图像的暗视摄像机等摄像机。

影像显示装置100具备包含一个或者多个解码部的解码部群102、CPU(Central Processing Unit：中央处理单元)104、存储器105、辅助存储装置106以及编码部107。具备如下结构：将从构成摄像机群101的各摄像机发送来的图像在具有分别对应的解码部的解码部群102中进行解码处理，并经由总线103存储在存储器105。另外，将存储在存储器105中的来自各摄像机的拍摄图像通过CPU104进行合成处理，并用于生成车辆的周围的俯视图像。然后，将所合成的俯视图像通过编码部107进行编码并通过显示器108进行再现处理。

另外，通过CPU104来实现上述的特征量检测条件确定部111、特征量检测部112、混合率确定部113、俯视图像合成部114以及摄像机控制部130。另外，通过辅助存储装置106及存储器105来实现特征量检测条件存储部121和混合信息存储部122。

此外，CPU104例如对通过视场角在预定以上范围的广角的摄像机取得的图像进行因光学系统所产生的失真的修正处理及透视变换处理，使用每个摄像机的图像作成成为构成俯视图像的一部分的基础的图像。另外，CPU14进行这些俯视图像的剪切、合成、α混合处理等处理，担负生成车辆的周围整体的俯视图像的处理。

另外，CPU104还对拍摄图像数据进行边缘提取、轮廓提取、高斯处理、噪声去除处理、阈值处理等各种图像处理，也进行画在道路上描绘的白线、障碍物、行人等的有无和映现出它们的面积的大小的检测处理。

编码部107进行所生成的俯视图像的编码处理。显示器108显示从影像显示装置100输出的俯视图像。显示器108例如为LCD(Liquid Crystal Display：液晶显示器)等，但不将种类限于此，可以是CRT(Cathode Ray Tube：阴极射线管、LCOS(Liquid Crystal On Silicon：硅基液晶)、OLED(Organiclight-emitting diode：有机发光二极管)、全息照相光学元件或者投影仪装置等任意的显示设备。另外，不只是平面型的监视器，也可以是HUD(Head－UpDisplay：平视显示器)、HMD(Head Mounted Display：头戴式显示器)等。

图3是表示影像显示装置的使用状况的例子的图。示出了在该使用状况，使用设置在车辆200的多个摄像机拍摄同一被拍摄体205而得的图像的例子。另外，本例示出了在车辆200上设置有前方摄像机201、左侧摄像机202、后方摄像机203、右侧摄像机204，并且行人(被拍摄体205)步行到车辆200的左斜前方的状况。

在该状况中，由朝向行进方向前方地安装在车辆200的前方摄像机201拍摄并转换成俯视图像的图像为正面图像206，由左侧摄像机202拍摄并转换成俯视图像的图像为左侧面图像207。以通过在垂直向下方向上倾斜预定的角度来确保斜下(地面方向)的视场角的方式安装前方摄像机201及左侧摄像机202。此外，虽未图示，但不言而喻，将由后方摄像机203拍摄并转换成俯视图像的图像生成为背面图像，另外，将由右侧摄像机204拍摄并转换成俯视图像的图像生成为右侧面图像。

在该例中，关于被拍摄体(行人)205的脚部分，分别在正面图像206中包含正面脚图像205a、在左侧面图像207中包含左侧面脚图像205b。

一般，在生成俯视图像的处理中，对由摄像机拍摄的图像进行在图像端部产生的镜头失真的修正处理和使放大率根据进深的距离而变化的透视变换。因此，在俯视图像中，立体物以拉伸的方式失真映现，在由前方摄像机201拍摄的正面图像206中，如正面脚图像205a那样，在从前方摄像机201引出的箭头的方向上拉伸地显示。同样地，在由左侧摄像机202拍摄的左侧面图像207中，如左侧面脚图像205b那样，在从左侧摄像机202引出的箭头的方向上拉伸地显示。即，本来是同一被拍摄体即被拍摄体(行人)205，但因摄像机的视点位置的差异，在俯视图像中显示为在不同的朝向上拉伸的正面脚图像205a、左侧面脚图像205b。这是因被拍摄体即被拍摄体(行人)205是立体物而产生的现象。在被拍摄体不是立体物的情况下，例如白线208这样的画在道路上的平面状的图案的情况下，如俯视图像中的白线208a、白线208b那样，即使在俯视图像中也可无形状上的差异地拍摄，如若对准位置也可重叠。

即，当从不同的方向拍摄同一被拍摄体并变换为俯视图像时，在比较两个图像并检测出形状在不同的方向上拉伸这一特征的情况下，可认为存在立体物，在检测出两个图像内无形状上的差异的特征的情况下，可以判定为在路面上存在近似平面的物体。再者，如从前方摄像机201、左侧摄像机202引出的箭头的方向所示，俯视图像中立体物的形状拉伸的方向取决于摄像机与立体物的位置关系，因此，可以说俯视图像中立体物的形状拉伸的方向能够成为根据所检测出的图像判定立体物的有无的有力的判定条件。在本实施方式中，基于该性质，根据摄像机即视点位置与立体物的位置关系，决定检测特征时的处理条件。由此，可以说能够以使得立体物的提取精度提高并更容易看清多个摄像机图像的重叠的部分的方式进行混合处理。

图4是表示影像显示装置100的俯视图像的输出例的图。在俯视图像中，将拍摄区域划分为预定的区域，并且对由其他摄像机重叠地拍摄的区域的图像进行某种图像合成来显示。在图4中，将车辆200的周围划分为8个区域(左前区域300、正面区域301、右前区域302、左区域303、右区域304、左后区域305、背面区域306、右后区域307)。这种情况下，由前方摄像机201拍摄的区域为左前区域300、正面区域301、右前区域302。另外，由左侧摄像机202拍摄的区域为左前区域300、左区域303、左后区域305。对于其他区域，以后方摄像机203、右侧摄像机204的视点位置及朝向、视角为基准也进行同样地设定。

这种情况下，左前区域300是由前方摄像机201和左侧摄像机202取得的图像所重叠的区域(在之后的记载中，将像这样由多个摄像机共同拍摄的区域称为“重叠区域”)。同样地，可以说右前区域302、左后区域305、右后区域307也是由多个摄像机共同拍摄的重叠区域。此外，在图4中，虽然以斜线显示右前区域302、左后区域305、右后区域307，但实际上会显示所拍摄的对象。

在俯视图像中，考虑如上所述的立体物表现为在以视点位置为基准的方向上延伸这一点，可以说在地面上没有突起物(立体物)而为平面的情况下，共同的区域的图像基本上相同，能够重叠在一起。

图3中的俯视图像中的白线208a、208b为平面，因此，在俯视图像中，能够将白线308重叠地显示在同一位置。另一方面，当在重叠区域即左前区域300中存在立体物(例如，行人)的情况下，通过对立体物即行人的正面脚图像205a、左侧脚图像205b以预定的混合率进行混合处理来进行显示，从而不会遗漏立体物的存在。由此，可以避免立体物的图像的一部分消失。

图5是表示影像显示装置100的特征量的检测处理的概要的图。当在重叠区域中从图像提取立体物时，特征量检测条件确定部111及特征量检测部112进行该特征量的检测处理。正面图像400a是由前方摄像机201拍摄并转换成俯视图像的图像，左侧面图像400b是由左侧摄像机202拍摄并转换成俯视图像的图像。如前所述，在进行了俯视转换的正面图像400a和左侧面图像400b中，因视点位置的不同立体物在不同的方向上拉伸显示，路面上的物体显示在重叠的位置。因此，当俯视图像合成部114针对拍摄共同的区域即重叠区域而得的双方的图像进行从各图像中去除共同物的处理时，能够分别获得去除了共同物(平面物)的正面立体物图像401a、左侧面立体物图像401b。这是通过俯视图像合成部114从各图像针对与其他图像对应的范围去除共同部分的信息而实现。

具体地，在正面立体物图像401a、左侧面立体物图像401b中，能够作为差异留下映入各图像中的立体物(正面脚图像205a、左侧面脚图像205b)，并能够作为共同部分去除路面上的物体208a、208b。

然后，为了高精度地提取立体物，特征量检测条件确定部111确定适当的检测条件。作为补充，根据上述那样的特性，立体物的轮廓延伸的方向是与从重叠区域观察的视点位置的方向对应的方向，因此，可以说有效地提高提取精度的检测条件在于确定适当的轮廓扫描方向。因此，特征量检测条件确定部111根据视点位置与共同的区域的几何关系来确定特征量检测条件。具体地，特征量检测条件确定部111根据视点位置和从共同的区域观察的视点位置的方向来确定用于特征量检测的轮廓扫描的方向。

此外，一般，通过在图像上的预定的方向(通常为水平像素方向)上扫描亮度或者RGB、CMY的值等构成图像的要素的变化量来进行轮廓的提取处理，当扫描方向与检测对象处于正交的状态时，多可取得高的检测精度。基于此，特征量检测条件确定部111设定检测条件用于以与立体物的轮廓的延伸方向正交的方式进行扫描。

然后，特征量检测条件确定部111针对正面立体物图像401a、左侧面立体物图像401b分别确定轮廓扫描方向402a、轮廓扫描方向402b。

然后，特征量检测部112根据所确定的轮廓扫描方向402a、轮廓扫描方向402b分别扫描正面立体物图像401a、左侧面立体物图像401b，检测轮廓403a、403b。以上是特征量的检测处理的概要。

图6是表示存储在特征量检测条件存储部121中的数据结构的图。在特征量检测条件存储部121中对应地存储有区域确定信息121A、代表点121B、视点位置确定信息121C以及特征量检测条件121D。区域确定信息121A是在多个图像间确定共同拍摄的区域的信息。代表点121B是代表通过区域确定信息121A确定的区域的点。通过代表点121B确定的位置例如可以是区域的重心，也可以是中心，还可以是区域的任意一个顶点。例如，不限于拍摄区域的重心，也可以将拍摄区域内离摄像机最远的点、最近的点或者拍摄区域内检测出的物体上的点等作为代表点。

视点位置确定信息121C是确定视点位置即摄像机的位置的信息。特征量检测条件121D是为了检测特征量而应该使用的条件。例如，在特征量检测条件121D中预先存储有应该将图像旋转角应用为θ(θ是与从视点位置到区域的代表点的线段正交的直线的延伸方向和轮廓的提取处理中扫描亮度的变化量的方向的角度的差值)这一内容的条件。

图7是表示存储在混合信息存储部122中的数据结构的图。在混合信息存储部122中对应地存储有区域确定信息122A和混合率122B。区域确定信息121A是在多个图像间确定共同拍摄的区域的信息。混合率122B是在使用多个图像合成输出通过区域确定信息121A确定的区域时确定图像间的权重的信息。例如，混合率122B是指定将由“摄像机001”拍摄的图像和由“摄像机002”拍摄的图像的加权以“p：(1-p)”(p为0到1的数)的比进行加权来进行混合的信息。

严格来说，在正面图像400a中立体物被拉伸地拍摄时的图像上的方向根据区域内的位置也会不同，但通过将其看作同一方向并将轮廓扫描方向设定为相同能够降低运算处理的负荷。

图8是表示特征量的扫描方向与图像的旋转量的关系的图。即，图8是根据轮廓扫描方向501扫描正面立体物图像401a来检测轮廓的处理中的具体的方法的示意图。这里，正面立体物图像401a具有与前方摄像机(视点位置)201在水平方向上相距x，在垂直方向上相距y的重心500。因此，特征量检测条件确定部111在与连接前方摄像机(视点位置)201和重心500的线段正交的方向上设定轮廓扫描方向501。

在该处理中，特征量检测条件确定部111将正面立体物图像401a的代表点即重心500作为旋转的中心，使正面立体物图像401a旋转特征量检测条件121D所示的图像旋转角θ。不限于此，特征量检测条件确定部111也可以在使处理图像自身旋转根据摄像机位置与拍摄区域的位置关系而决定的角度后，实施共同的边缘检测。

此外，如上所述，图像旋转角θ是与从视点位置到区域的代表点的线段正交的直线的延伸方向和轮廓的提取处理中扫描亮度的变化量的方向的角度的差值。由此，能够使扫描亮度的变化量的方向(水平或者垂直方向)与轮廓扫描方向501并行，能够获得高的轮廓提取精度。此外，该旋转量也可以根据每个摄像机或者根据每个拍摄方向而设为最佳的角度。例如，在后方摄像机的情况下，在适合垂直方向的扫描的情况下(例如，入库时的定位用等)，图像旋转角θ也可以被设定为使轮廓扫描方向为垂直方向。

图9是表示同心圆上的特征量的扫描方向及其实现方法的例子的图。即，图9是在上述的检测轮廓的处理中用于能够进行更高精度的检测的提取方向的设定例。在图9中列举了当从正面立体物图像401a提取轮廓时，以与以前方摄像机(视点位置)201为中心的同心圆的切线方向尽可能接近的方式设定扫描方向的方法的例子。通过像这样将一个区域细致地划分来进行扫描，能够在与立体物的轮廓的延伸方向大致正交的方向上进行扫描来检测轮廓。

具体地，假定使用前方摄像机201拍摄重叠区域并进行俯视转换而得的正面立体物图像401a进行设定的情况。在图9中，针对正面立体物图像401a，在源于前方摄像机(视点位置)201的同心圆的切线方向上设定轮廓扫描方向502。作为该方法，如果预先设定将正面立体物图像401a沿着通过接近视点位置的顶点的直线进一步细分而得的区域410～440，则特征量检测条件确定部111能够针对每个区域确定并设定与连接重心和前方摄像机(视点位置)201之间的线段正交的方向的扫描方向503A～503D，能够高精度地检测轮廓。

立体物拉伸的方向基本上是连接摄像机和与立体物的地面接触的位置的线段的延伸方向，在图9的方法中，由于在正面立体物图像401a的面内轮廓扫描方向不同，因此，有必要根据图像内的探索区域变更轮廓提取滤波器等的影像显示方法，运算处理的负荷变高。但是，由于能够与立体物的拉伸方向大致正交地进行轮廓提取处理，因此能够获得立体物的高提取精度。

此外，轮廓扫描方向的设定方法不限于图8、图9所示的例子，例如也可以是根据前方摄像机201的视点位置与重叠区域的位置关系决定拉普拉斯滤波器或者索贝尔滤波器(sobel filter)等边缘检测滤波器的滤波器系数。由此，能够更高精度地提取轮廓。

图10是在重叠区域中的图像合成的动作顺序中决定混合率的处理的例子。在本例中，关于使用“摄像机1”即前方摄像机201和“摄像机2”即左侧摄像机202拍摄的区域中共同拍摄的区域即左前区域300，成为合成基于“摄像机1”取得的俯视图像和基于“摄像机2”取得的俯视图像的区域。

首先，特征量检测条件确定部111根据摄像机1与重叠区域的位置关系决定基于摄像机1取得的俯视图像的处理条件C1(步骤S001)。具体地，特征量检测条件确定部111参照特征量检测条件存储部121，读出与相当于重叠区域的区域确定信息121A和相当于摄像机1的配置位置的视点位置确定信息121C的组合对应的特征量检测条件121D。

然后，特征量检测条件确定部111根据摄像机2与重叠区域的位置关系，决定基于摄像机2取得的俯视图像的处理条件C2(步骤S002)。具体地，特征量检测条件确定部111参照特征量检测条件存储部121，读出与相当于重叠区域的区域确定信息121A和相当于摄像机2的配置位置的视点位置确定信息121C的组合对应的特征量检测条件121D。

然后，特征量检测部112使用处理条件C1检测在基于摄像机1取得的俯视图像的重叠区域中存在的立体物(步骤S003)。此外，假定检测出的立体物具有图像特征量Q1。具体地，特征量检测部112针对基于摄像机1取得的俯视图像应用处理条件C1，在满足处理条件C1的状态下在轮廓扫描方向上进行扫描来确定立体物的轮廓。此时，特征量检测部112通过基于边缘等较多的部分或者拉普拉斯滤波器或者索贝尔滤波器进行的轮廓提取、二值化处理、色彩信息、直方图信息或者各种图形识别处理等来提取图像特征量。然后，特征量检测部112确定可提取边缘或者轮廓的像素的位置或者该边缘的亮度的高低等图像特征量Q1。

然后，特征量检测部112使用处理条件C2检测基于摄像机2取得的俯视图像的重叠区域中存在的立体物(步骤S004)。此外，假定检测出的立体物具有图像特征量Q2。具体地，特征量检测部112针对基于摄像机2取得的俯视图像应用处理条件C2，在满足处理条件C2的状态下在轮廓扫描方向上扫描来确定立体物的轮廓。此时，特征量检测部112通过基于边缘等较多的部分或者拉普拉斯滤波器或者索贝尔滤波器进行的轮廓提取、二值化处理、色彩信息、直方图信息或者各种图形识别处理等来提取图像特征量。然后，特征量检测部112确定可提取边缘或者轮廓的像素的位置或者该边缘的亮度的高低等图像特征量Q2。

此外，对于图像特征量Q1、Q2的任一方，也可以利用SIFT(Scale－Invariant Feature Transform：尺度不变特征变换)或者HOG(Histograms ofOriented Gradients：方向梯度直方图)等的图像的特征量。另外，也可以将HOG特征量和行人的姿态的特征量组合来甄别可提取的特征信息是行人等人还是物体。如此，根据是行人还是物体，切换对比度强调处理和危险度显示等输出内容，即可对驾驶员提供更便于使用的良好的信息。

然后，混合率确定部113判定图像特征量Q1与Q2是否具有预定以上较强相关性(步骤S005)。具体地，混合率确定部113判定所检测出的物体的像素位置是一致还是集中于某范围内、特征量的差值是否在预定的范围内。这也可以是通过进行迄今存在的统计处理或者聚类处理来判定空间上的距离关系或语义距离关系的相关性。

然后，在相关性在预定以上较强的情况下(步骤S005中为“是”的情况下)，混合率确定部113以重叠区域中不存在立体物而决定使用基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像以预定的混合率来合成重叠区域的俯视图像，并使俯视图像合成部114执行合成(步骤S006)。这种情况下，在以任一方的俯视图像的混合率为“0”的方式进行合成的情况下，实质上也可以选择利用通过摄像机1或者摄像机2的任一方取得的俯视图像。但是，当在俯视图像彼此的连接处附近存在立体物的情况下，其图像有可能消失。因此，可以说与选择利用任一方的俯视图像来生成俯视图像相比，优选通过“0以外的”预定的混合率来进行混合合成。

然后，俯视图像合成部114针对在基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的对应的位置的像素信息(例如，亮度信息或者RGB信息)进行与混合率对应的加权来合成一个俯视图像。俯视图像合成部114在合成俯视图像时结束混合率决定处理。此外，所合成的俯视图像之后被发送、输出至编码部107、显示器108。

在相关性在预定以上不强的情况下(步骤S005中为“否”的情况下)，混合率确定部113确定基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像中分别包含的立体物处于重叠区域内的何处，判定是否处于预定以上共同的位置(步骤S007)。即，混合率确定部113判定在共同的区域上是否存在由各摄像机取得的图像的特征量以预定以上的程度重复的区域。

在立体物处于共同的位置的情况下(在步骤S007中为“是”的情况下)，混合率确定部113根据图像特征量Q1和Q2决定混合率(步骤S008)。具体地，混合率确定部113首先对基于摄像机1取得的图像特征量Q1进行预定的运算，并将结果设为F(Q1)。同样地，将对基于摄像机2取得的图像特征量Q2进行预定的运算而得的结果设为F(Q2)。然后，混合率确定部113通过下式(1)确定根据基于摄像机1取得的图像特征量Q1的合成的加权的比率。

合成加权P1＝F(Q1)/(F(Q1)+F(Q2))……式(1)

同样地，通过下式(2)确定根据基于摄像机2取得的图像特征量Q2的合成的加权的比率。

合成加权P2＝F(Q2)/(F(Q1)+F(Q2))……式(2)

此外，作为上述预定的运算F，可以考虑对在重叠区域内具有预定的阈值以上的特征量的图像的像素数进行提取并进行计数这样的运算。这种情况下，可以将基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的各自的重叠区域内的立体物的图像所占据的大小作为可改变混合率的要素。

另外，作为上述预定的运算F，也可以考虑对基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的重叠区域内的像素的图像特征量的总和、平均、加权平均、重心、中心值等进行计算等各种运算。这种情况下，不仅重叠区域内的立体物的图像所占据的大小，而且特征量的值的大小也可作为可改变混合率的要素。

或者，也可以按每个像素来决定混合率。这种情况下，也可以作为F(Q1)使用对象的像素中的特征量自身，作为F(Q2)使用对象的像素中的特征量自身。也可以是按每个像素比较F(Q1)和F(Q2)，将值大的一方的图像的混合率设定为较大。

另外，例如虽然使基于摄像机1取得的俯视图像的混合率特征量的比率连续变化，但也可以在“特征量的比率”接近于0.5的部分，较大地设定混合率的变化的斜率。通过这种混合率的计算方法，在“特征量的比率”变化时，可以一边平稳地切换混合率，一边增强更具有特征的图像(存在立体物的可能性高的图像)的对比度。由此，具有用户更易识别存在立体物的可能性较高的图像这样的效果。

另外，例如虽然使基于摄像机1取得的俯视图像的混合率特征量的比率连续变化，但也可以在特征量的比率为预定的大小以上或者预定的大小以下的情况下，将特征量大的俯视图像的混合率设为1，将另一方的俯视图像的混合率设为0。通过这种混合率的计算方法，在特征量的比率变化时，可以一边平稳地切换混合率，一边进一步增强更具有特征的图像(存在立体物的可能性高的图像)的对比度。由此，具有用户更易识别存在立体物的可能性较高的图像这样的效果。

另外，例如也可以是在特征量的比率变化时，以阶梯状地切换的方式设定混合率。这种情况下，切换等级的数量越多，混合率的切换越平稳。如此，即使像根据特征量的比率的变化阶梯状地切换混合率这样的、混合率的变化相对于特征量的比率的变化不连续，也能够作为本发明的一实施方式。

此外，关于运算F，对存在立体物的可能性高的图像，假定并说明了运算结果的值增大的情况，但与之相反，即也可以是存在立体物的可能性越高的图像，运算结果的值越减小这样的运算F。

如此，对于立体物部分的图像，混合率也可以取多个值。由此，可以说立体物部分也可以根据存在立体物的可能性的高低而更自然地进行合成。

另外，混合率可按重叠区域整体或者像素单位进行计算并用于按重叠区域整体或者像素单位的合成处理，因此，也可以防止在重叠区域内产生边界线那样的不自然的图像的接合部分，能够生成更自然的合成图像。

另外，作为其他的混合率的决定方法，也可以将从左前区域300内的某像素位置到“摄像机1”即前方摄像机201和“摄像机2”即左侧摄像机202的距离分别设为d1、d2，根据距离d1和d2之比来设定固定的混合率。即，也可以在处于接近“摄像机1”即前方摄像机201的距离的像素位置(即d1＜d2)，较高地设定前方摄像机201的图像的混合率。例如，也可以通过式“P1＝d2/(d1+d2)”来分配前方摄像机201的图像的混合率，通过式“P2＝d1/(d1+d2)”来分配左侧摄相机202的图像的混合率。

但是，在这种情况下，由于在过于接近摄像机的像素位置焦点偏移或者失真增大的可能性高，因此，对于预定以上过于接近的像素位置，优选以增大通过距离较远的一方的摄像机取得的俯视图像的加权的方式修正混合率。即，也可以在将接近限度阈值设为dth(其中，d1最小值≤dth≤d1最大值)时，在d1＜d2且d1＜dth的位置，以使通过较近的前方摄像机201取得的俯视图像的混合率P1降低的方式进行修正。例如，置换上述设定的混合率P1、P2，通过式“P1＝d1/(d1+d2)”来分配前方摄像机201的图像的混合率，通过式“P2＝d2/(d1+d2)”来分配左侧摄像机202的图像的混合率。由此，能够减轻在距摄像机过近的位置产生的焦点偏移或失真地进行显示。

然后，俯视图像合成部114使用混合率对立体物的存在进行突出强调(highlight)等来进行包含进行增强的表现的俯视图像合成(步骤S009)。具体地，俯视图像合成部114针对在基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的对应的位置的像素信息(例如，亮度信息或者RGB信息)进行与所决定的混合率对应的加权来合成一个俯视图像。俯视图像合成部114在合成俯视图像时结束混合率决定处理。此外，所合成的俯视图像之后被发送、输出至显示器108。

图11是表示以特征量为基准进行混合来合成俯视图像的画面例的图。该例为当在混合率决定处理的步骤S005中判定为特征量不相关，在步骤S007中判定为物体处于共同的位置时，即，使用步骤S008中决定的混合率来合成俯视图像的处理的例子。在基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的重叠区域中，在基于摄像机1取得的俯视图像1101中映现出由摄像机1拍摄的行人的脚1103。在基于摄像机2取得的俯视图像1102中，映现出由摄像机2拍摄的行人的脚1104。由于拍摄同一重叠区域，在该区域内存在立体物即行人，因此行人的脚1103、1104分别向不同的方向拉伸。

在该例中，行人的脚1103和行人的脚1104均在共同的位置1108具有特征量，因此，计算通过摄像机1取得的俯视图像1101和通过摄像机2取得的俯视图像1102的混合率“p：(1-p)”,俯视图像合成部114根据该混合率合成俯视合成图像1105。其结果，由摄像机1拍摄的行人的脚1106和由摄像机2拍摄的行人的脚1107按照各自的混合率被合成并被包含在俯视合成图像1105。

返回到流程说明。在立体物不在共同的位置的情况下(步骤S007中为“否”的情况下)，混合率确定部113决定将图像特征量Q1和Q2的任一方特征量较大的图像采用为俯视图像(步骤S010)。

然后，俯视图像合成部114使用所采用的俯视图像进行俯视图像合成(步骤S010)。具体地，俯视图像合成部114采用基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像中的、重叠区域的特征量较大一方的图像来合成俯视图像。俯视图像合成部114在合成俯视图像时结束混合率决定处理。此外，所合成的俯视图像之后被发送、输出至显示器108。此外，为了避免误检测所造成的在连接处附近的图像的消失，也可以将能够提取到特征的摄像机图像的混合率优先进行混合处理来合成俯视图像。

图12是表示选择图像来合成俯视图像的画面例的图。该例为当在混合率决定处理的步骤S005中判定为不相关，在步骤S007中判定为物体不在共同的位置时，即在步骤S010中选择性地采用俯视图像来进行合成的处理的例子。在基于摄像机1取得的俯视图像和基于摄像机2取得的俯视图像的重叠区域中，在基于摄像机1取得的俯视图像1201中映现出由摄像机1拍摄的行人的脚1203。在基于摄像机2取得的俯视图像1202中，映现出由摄像机2拍摄的图像，但不存在相当于行人的脚的立体物。这是在重叠区域内什么都不存在，但在摄像机1附近存在行人(立体物)，行人在摄像机1的俯视图像1201中作为物体被映照出的情况。另一方面，由于在摄像机2的俯视图像1202附近什么都不存在，因此没有任何影像显示。

在该例中，俯视图像合成部114采用由摄像机1拍摄而得的俯视图像1201合成俯视图像1205。其结果，由摄像机1拍摄的行人的脚1203被包含在俯视合成图像1205中。

以上是混合率决定处理的处理内容。根据混合率决定处理，针对各自部分地具有从不同的视点位置拍摄共同的区域而得的图像的多个图像信息，应用特征量检测条件并检测共同的区域的特征量，使用每个图像的共同的区域的特征量确定混合包含共同的区域的图像的加权，能够合成包含共同的区域的俯视图像。即，通过在由多个摄像机拍摄的重叠区域中提取从不同的方向拍摄而得的摄像机图像的图像特征量并判定他们的相关性，能够区分画在道路上描绘的平面状的图案和立体物。另外，当存在立体物时，判定特征量的位置上的重叠，能够判别立体物是存在于重叠区域内还是存在于重叠区域外。而且，能够结合各状态使俯视图像合成时的混合率变化，从而得到良好的俯视图像。

以上，使用附图说明了第一实施方式。可以说根据第一实施方式，影像显示装置100能够利用由多个摄像机拍摄而得的图像，检测障碍物或行人，按照检测结果，以容易看清图像中映现出的障碍物或者行人的方式合成各摄像机图像的俯视图像，生成车辆的所有周围的俯视图像。换言之，影像显示系统1包含多个摄像装置及影像显示装置，所述多个摄像装置取得部分地包含从不同的视点位置拍摄共同的区域而得的图像的图像信息。

而且，可以说影像显示装置具备：特征量检测条件确定部，其确定成为检测与图像信息有关的预定的特征量的条件的特征量检测条件；特征量检测部，其针对多个图像信息应用特征量检测条件来检测共同的区域的特征量；混合率确定部，其使用每个图像的共同的区域的特征量来确定混合包含共同的区域的图像的加权；以及俯视图像合成部，其使用混合率合成包含共同的区域的俯视图像。

此外，本发明不限于上述的实施例，还包含各种变形例。例如，上述的实施例是为了便于理解地说明本发明而详细地进行了说明的例子，并非限定必须具备所说明的全部的结构。另外，可将某实施例的结构的一部分替换成其它实施例的结构，另外，可在某实施例的结构中追加其它实施例的结构。另外，针对各实施例的结构的一部分，可以进行其它结构的追加、删除、替换。

此外，本实施方式的影像显示系统1构成为包含影像显示装置100、摄像机群101以及显示器108，但摄像机群101和显示器108的任一方或者两者也可以不由影像显示系统1直接管理。例如，也可以应用于合成由设置在并非车辆的场所(例如，美术馆的展览等)的多个监视摄像机取得并发送的图像来作成监视对象区域的俯视图像的情况。

在上述的第一实施方式中，针对拍摄共同的区域而得的多个图像，相互比较特征量求出混合率来进行合成，但并不限于此。例如考虑随时间推移的滞后现象并考虑前后的时刻的混合率，也可以根据时间推移以不会变化太大的方式渐渐地变更混合率。

图13是表示与随时间推移的立体物的变化对应的混合率的变化的例子的图。例如图13是表示立体物即行人在重叠区域内移动时的合成图像的例子的图。在图13中，以时间顺序排列行人在由摄像机1和摄像机2两个摄像机共同拍摄的区域即重叠区域1300内从左侧向右侧步行时的重叠区域1300中的行人的合成图像。

在时刻t1时间点，关于由摄像机1拍摄的行人的脚1301和由摄像机2拍摄的行人的脚1302，根据图像特征量(例如，映现有脚的面积)决定他们的混合率，以由摄像机1拍摄的行人侧为P1＝0.9，摄像机2侧为P2＝0.1等进行合成。如此，通过设定混合率，映现出行人的脚的面积较大的一侧、即由摄像机1拍摄的脚1301被清楚地显示。

在时刻t2时间点，由摄像机1拍摄的行人的脚1303和由摄像机2拍摄的行人的脚1304的图像特征量(面积)为相同程度，混合率均相等，以P1＝P2＝0.5或者P1＝0.6、P2＝0.4等进行合成。

在时刻t3时间点，由摄像机2拍摄的脚1306的图像特征量比由摄像机1拍摄的行人的脚1305稍大，按照混合率为摄像机1侧以P1＝0.3、摄像机2侧以P2＝0.7进行合成。

在时刻t4时间点，由摄像机2拍摄的脚1308的图像特征量远大于由摄像机1拍摄的行人的脚1307，按照混合率为摄像机1侧以P1＝0.1、摄像机2侧以P2＝0.9进行合成。其结果，由较大地映现出脚的面积的摄像机2拍摄的脚1308被清楚地显示。

如此，根据第一实施方式的发明，在由多个摄像机拍摄同一物体时，根据图像特征量的相对的比率设定混合率，由此能够生成将以更大面积地映现出的一方的图像的对比度增大的图像。对此，进一步，在求混合率的处理中，混合率确定部113也可以应用下式(3)来求出混合率。

混合率p1(t)＝p1(t-1)+k(p1_calc(t)-p1(t-1))……式(3)

即，可将时刻t的摄像机1的混合率p1(t)设为与时刻(t-1)的混合率的差的k倍(k为0到1的数)加上时刻(t-1)的混合率。其中，在式(3)中，p1_calc(t)的值设为基于特征量计算而得的t时刻的修正前的混合率。即，按每个预定的期间确定混合的加权，在该每个预定的期间的混合的加权时，能够以与预定的期间之前或者之后或者前后的期间的混合的加权之间的变化量为预定以下的方式进行加权。

或者，也可以进行将来时刻的亮度的预测，以平滑地达到该预测的亮度的方式设定混合率。

此外，在上述的第一实施方式中，在时刻t2，当图像特征量在图像间为相同程度的情况下，虽然应该设定混合率相等，即P1＝P2＝0.5，但是，这种情况下，合成两图像而得的图像的亮度会变高，有可能难以识别。因此，考虑滞后现象，也可以进行优先显示在一时刻前混合率高的图像的处理。具体地，在图13的例子中，在时刻t2的一时刻前的时刻t1，P1这一方混合率高。因此，在图像特征量为相同程度的时刻t2的处理中，优先P1，针对所检测出的图像特征量进行加上预定的比率或者值、或者乘以预定的比率或者值的处理。由此，例如，将混合率设为P1＝0.6、P2＝0.4等，可以使摄像机1的影像容易看清。另外，此时，也可以根据之前的运动预测下一时刻的运动，设定P1＝0.4，P2＝0.6。如该方法，在使用摄像机1和摄像机2检测出相同程度的图像特微量的情况下，根据时间顺序的特征量的变化进行混合，以避免两个影像的混合率相等的状况(P1＝P2＝0.5)，由此，可以减少双方的图像变淡而难以识别的现象。

此外，当图像信息为在预定的期间拍摄的运动图像的情况下，也可以采用使用运动矢量信息来计算混合率的方法。即，为了检测图像特征量，利用光流的运动矢量信息，据此计算出重叠区域的混合率并合成图像。将多个帧的运动矢量用作图像特征量，根据运动矢量的总和之比计算混合率。具体地，计算摄像机1的图像内的运动矢量的总和ΣCam1以及摄像机2的图像内的运动矢量1404的总和ΣCam2。据此，按照下式(4)、(5)计算摄像机1的混合率P1和摄像机2的混合率P2。

P1＝ΣCam1/(ΣCam1+ΣCam2)……式(4)

P2＝ΣCam2/(ΣCam1+ΣCam2)……式(5)

即，较大地设定具备运动大的影像的摄像机图像的混合率。使用这些混合率生成包含运动物体的合成图像1405。根据该方法，可生成在重叠区域内运动越大越清楚地提高了对比度的图像。

图14是表示影像显示装置100的拍摄对象的区域的设定例的图。对于轮廓的检测，可以说是应用了能够进行更高精度的立体物的轮廓检测的结构的变形例。在图14中示出了通过进一步细化图4所示的区域中的重叠区域并减小延伸方向和扫描方向的偏移来提高立体物的检测精度的结构。

在图14中，基本具备与第一实施方式同样的结构，但是，将左前区域300进一步划分成扇形，设置第1区域300A、第2区域300B、第3区域300C、第4区域300D、第5区域300E、第6区域300F、第7区域300G。另外，对各区域固定地设定混合率。

例如，在第1区域300A中，由于其重心位置接近前方摄像机201侧，因此，将前方摄像机201的图像的混合率设为P1＝0.9，将左侧摄像机202的图像的混合率设为P2＝0.1。对此，对于相邻的第2区域300B，由于稍远离前方摄像机201，因此设P1＝0.8、P2＝0.2。同样地，对于第3到第6区域，也根据距离前方摄像机201的距离和距离左侧摄像机202的距离来设定混合率。在第7区域300G中，由于接近左侧摄像机202，因此设P1＝0.1、P2＝0.9。如此，以越接近前方摄像机201越优先前方摄像机201的图像，越接近左侧摄像机202越优先左侧摄像机202的图像的方式设定混合率。由此，在各划分的区域中，以强调来自接近的摄像机的图像的方式进行混合，因此可作成更容易看清的图像。再者，在各划分区域中，也可以根据各摄像机图像的特征量来调整混合率。

另外，上述的各构成、功能、处理部、处理单元等的一部分或者全部，也可以通过处理器解释并执行实现各个功能的程序而用软件实现。实现各功能的程序、表、文件等的信息能够保存在存储器、硬盘、SSD等记录装置，或者IC卡、SD卡、DVD等存储介质中。

另外，示出了考虑说明上需要的控制线、信息线，未必限定为示出了产品上全部的控制线、信息线。实际上，可以考虑为几乎全部的结构都相互连接。

另外，上述的各结构、功能、处理部等，例如可以通过将他们的一部分或全部设计在集成电路等而用硬件实现。此外，上述的实施方式的技术要素可以单独应用，也可以分为程序组件和硬件部件这样的多个部分应用。

以上对于本发明，以实施方式为中心进行了说明。

符号说明

1……影像显示系统，100……影像显示装置、110……控制部、111……特征量检测条件确定部、112……特征量检测部、113……混合率确定部、114……俯视图像合成部、120……存储部、121……特征量检测条件存储部、122……混合信息存储部、130……摄像机控制部。

Claims (13)

1.一种影像显示装置，其特征在于，

该影像显示装置具备：

特征量检测条件确定部，其针对从至少2个不同的视点拍摄共同区域而得的图像的俯视图像，确定检测预定的特征量的条件；

特征量检测部，其使用所确定的所述特征量检测条件，针对拍摄所述共同区域而得的图像的各俯视图像检测所述特征量；

混合率确定部，其根据通过所述特征量检测部检测出的特征量，确定将从所述不同的视点拍摄的、拍摄共同区域而得的图像的俯视图像的像素混合时的混合率；以及

俯视图像合成部，其根据通过所述混合率确定部确定的混合率，将拍摄所述共同区域而得的图像的俯视图像的像素混合并进行合成输出。

2.根据权利要求1所述的影像显示装置，其特征在于，

所述特征量检测条件确定部根据所述共同区域和所述视点所在的位置确定所述特征量检测条件。

3.根据权利要求1所述的影像显示装置，其特征在于，

所述特征量检测条件确定部将在与从所述共同区域的预定代表点朝向所述视点所在的位置的方向正交的方向上扫描并提取拍摄所述共同区域而得的图像的俯视图像的特征量确定为处理条件。

4.根据权利要求1所述的影像显示装置，其特征在于，

所述特征量检测条件确定部将在以所述视点所在的位置为中心的同心圆的切线方向上扫描并提取拍摄所述共同区域而得的图像的俯视图像的特征量确定为处理条件。

5.根据权利要求1所述的影像显示装置，其特征在于，

所述特征量检测条件确定部将如下内容确定为处理条件：为使从所述共同区域的代表点朝向所述视点所在的位置的方向为水平方向或者垂直方向而使拍摄所述共同区域而得的图像的俯视图像旋转，进行扫描来提取图像的特征量。

6.根据权利要求1所述的影像显示装置，其特征在于，

所述混合率确定部针对拍摄所述共同区域而得的图像的各俯视图像的特征量，判定多个所述俯视图像信息间的相关性的强弱，在判定为相关性比预定弱的情况下，判定在所述共同区域上是否存在拍摄所述共同的区域而得的图像的各俯视图像的特征量以预定以上的程度重复的区域，根据该区域的有无来切换混合的方法。

7.根据权利要求6所述的影像显示装置，其特征在于，

在通过所述混合率确定部判定为存在拍摄所述共同的区域而得的图像的各俯视图像的特征量以预定以上的程度重复的区域的情况下，所述俯视图像合成部以对拍摄所述共同的区域而得的图像的俯视图像的特征量大的图像的混合率进行较大地设定的方式将所述俯视图像的像素混合并进行合成输出。

8.根据权利要求6所述的影像显示装置，其特征在于，

在通过所述混合率确定部判定为不存在拍摄所述共同的区域而得的图像的各俯视图像的特征量以预定以上的程度重复的区域的情况下，所述俯视图像合成部采用拍摄所述共同的区域而得的图像的俯视图像的特征量大的图像合成输出所述俯视图像。

9.根据权利要求1所述的影像显示装置，其特征在于，

所述混合率确定部针对拍摄所述共同区域而得的图像的各俯视图像的特征量，判定所述多个所述俯视图像信息间的相关性的强弱，在判定为相关性比预定强的情况下，以在所述共同区域上从所述视点所在的位置到所述共同区域的距离越近的图像越大地设定所述图像中包含的像素的混合率的方式合成输出所述俯视图像。

10.根据权利要求1所述的影像显示装置，其特征在于，

所述俯视图像是在预定的期间拍摄的运动图像，

所述特征量检测部检测各图像内的运动矢量来作为所述俯视图像的特征量，

所述俯视图像合成部根据所述共同区域中的各图像的运动矢量来设定混合率。

11.根据权利要求1所述的影像显示装置，其特征在于，

所述俯视图像合成部针对所述共同区域的图像，以朝向与所述共同区域相邻的区域对所述混合率赋予倾斜地变化的方式合成输出所述俯视图像。

12.根据权利要求1所述的影像显示装置，其特征在于，

所述俯视图像合成部按照每个预定的期间确定所述混合率，在确定该每个预定的期间的混合率时，以与所述预定的期间之前或者之后或者前后的期间的混合率之间的变化量为预定以下的方式进行确定。

13.一种影像显示系统，其特征在于，

该影像显示系统包含取得从相互不同的视点拍摄共同区域而得的图像的俯视图像的多个摄像装置及影像显示装置，

所述影像显示装置具备：

特征量检测条件确定部，其针对所述俯视图像，确定成为检测预定的特征量的条件的特征量检测条件；

特征量检测部，其针对拍摄所述共同区域而得的图像的各俯视图像，使用所确定的所述特征量检测条件来检测特征量；

混合率确定部，其根据通过所述特征量检测部检测出的特征量，确定将从所述不同的视点的位置拍摄的、拍摄共同区域而得的图像的俯视图像的像素混合时的混合率；以及

俯视图像合成部，其根据通过所述混合率确定部确定的混合率，将拍摄所述共同区域而得的图像的俯视图像的像素混合并进行合成输出。