CN103303198A - 车辆周边监测装置 - Google Patents

Abstract

本发明公开了一种车辆周边监测装置，当判断车辆相对于路面的姿态处于异常状态下时（S102），估计在该异常状态下车载摄像机（20）相对于主位置和主方向的变化（S110）。基于在该异常状态下相对于车载摄像机的主位置和主方向的所估计的变化来指定表示在该异常状态下车载摄像机的实际位置和实际方向的修正参数。通过利用该修正参数，将车载摄像机所捕获的捕获图像图像变换成模拟虚拟摄像机所捕获的图像的变换图像（S112）。

Description

车辆周边监测装置

技术领域

本公开内容涉及一种车辆周边监测装置，该车辆周边监测装置通过将车载摄像机所捕获的图像变换成变换图像来生成车辆周边的合成图像，以模拟从与车载摄像机的位置分离的虚拟摄像机的模拟位置所捕获的图像。

背景技术

专利文献1：JP2007-102798A

已知一种技术，该技术在临时存储存储器中存储通过将车辆周边的捕获图像变换成从天空观察的平面图像而获得的鸟瞰图像；基于诸如方向盘和车辆速度的信号等信号计算车辆的移动；在车辆移动期间，利用存储在临时存储存储器中的多个鸟瞰图像来生成车辆周边的合成图像；以及在显示部中显示该合成图像。

例如，专利文献1描述了一种技术，该技术指定表示附接到车辆的车载摄像机的位置和方向的参数；利用该参数进行从车载摄像机所捕获的图像到模拟为从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像的图像变换；在临时存储存储器中存储在车辆移动期间利用该图像变换而获得的多个鸟瞰图像；以及利用存储在临时存储存储器中的多个鸟瞰图像来生成车辆周边的合成图像。

这样的配置指定表示附接到车辆的车载摄像机的位置和方向、作为是固定值的参数来进行该图像变换。当车辆的姿态发生变化由此导致车载摄像机的位置和方向发生偏差时，鸟瞰图像模拟为从不同于直到那时的位置的另一虚拟摄像机位置所捕获的。这样的鸟瞰图像存储在临时存储存储器中，不幸地生成包含失真区域的合成图像。

图8示出了当车辆向后移动并撞上挡柱（bumping post）时车辆的侧视图和合成图像的示例。参照图8中的（a）和（b），当车辆在平坦路面上向后移动时，正常地进行到虚拟摄像机位置的视点变换，合成图像中未产生任何失真。参照图8中的（c），车辆撞上设置在路面上的挡柱；这改变了车辆的姿态，从而导致车载摄像机的位置和方向发生变化。由此，鸟瞰图像模拟为从不同于直到那时的位置的另一虚拟摄像机位置所捕获的；然后将其存储在临时存储存储器中。参照图8中的（d），所生成的合成图像包含虚线A所指示的失真区域。此外，如图8中的（e）和（f）所示，即使在车辆的姿态回到正常状态之后，虚线A所指示的这样的失真区域仍然作为合成图像中的历史图像。这样造成了给用户带来不协调感的缺点。

发明内容

本公开内容的一个目的是防止由于承载车载摄像机的车辆姿态的变化所引起的合成图像中的失真。

为了实现上述目的，根据本公开内容的一个示例，提供了一种承载车载摄像机的车辆中的车辆周边监测装置，其包括图像变换部分、合成图像生成部分、判断部分及变化估计部分。所述图像变换部分通过利用第一参数将所述车载摄像机所捕获的捕获图像图像变换成变换图像，所述第一参数规定所述车载摄像机的主位置和主方向，所述变换图像模拟假定为位于与所述车载摄像机分离的虚拟摄像机所捕获的图像。所述合成图像生成部分在临时存储存储器中存储在所述车辆的移动期间所述图像变换部分图像变换成的多个变换图像，并且利用存储在所述临时存储存储器中的所述多个变换图像来生成车辆周边的合成图像。所述判断部分判断所述车辆的姿态是否处于异常状态下，所述异常状态是所述车辆相对于路面的姿态异常的状态。所述变化估计部分估计在所述异常状态下与所述车载摄像机的所述主位置和所述主方向的变化。当所述判断部分判断所述车辆的姿态处于所述异常状态下时，所述图像变换部分基于所述变化估计部分所估计的变化来指定第二参数，所述第二参数表示所述车载摄像机的实际位置和实际方向，并且通过利用所述第二参数，将所述车载摄像机所捕获的所述捕获图像图像变换成模拟所述虚拟摄像机所捕获的图像的变换图像。

这样的配置判断车辆相对于路面的姿态是否处于车辆相对于路面的姿态异常的异常状态下，同时估计在异常状态下与车载摄像机的主位置和主方向的变化或车载摄像机的主位置和主方向中的变化（即，车载摄像机位置变化）；基于与异常状态下车载摄像机的主位置和主方向的所估计的变化，来指定表示车载摄像机的实际或当前位置和实际或当前方向的修正参数（即，第二参数）；利用修正参数将图像变换应用于车载摄像机所捕获的捕获图像，以变换成模拟虚拟摄像机所捕获的图像的变换图像。这种配置可以防止合成图像由于车辆的姿态的变化或改变而发生失真。

附图说明

通过参照附图做出的以下详细描述，本公开内容的上述和其它目的、特征和优点将变得更加显而易见。在附图中：

图1是示出根据本公开内容的第一实施例安装在宿主车辆（hostvehicle）中的车辆周边监测装置的整体配置图；

图2是示出车辆周边监测装置的控制电路的处理的流程图；

图3是示出后轮撞上挡柱使得姿态为宿主车辆的前部向下倾斜角度θ1（俯冲（nose down）或下降（descending））的宿主车辆的侧视图；

图4是示出前轮撞上挡柱使得姿态为前部向上倾斜角度θ2（升起（noseup）或上升（ascending））的宿主车辆的侧视图；

图5是示出在利用存储在车辆周边监测装置的闪速存储器中的主参数来将车载摄像机所捕获的捕获图像变换成鸟瞰图像的图像变换之后所生成的图像的示意图；

图6是示出在利用修正参数将车载摄像机所捕获的捕获图像变换成鸟瞰图像的图像变换之后所生成的图像的示意图；

图7是示出车载摄像机所捕获的捕获图像中包含的特征点的光流（optical flow）的示意图；以及

图8示出当宿主车辆向后移动并撞上挡柱时呈现失真的合成图像和车辆的侧视图的示例。

具体实施方式

（第一实施例）

下面将参照图1根据本公开内容的第一实施例解释安装在宿主车辆（也仅称为“车辆”）中的车辆周边监测装置的整体配置。车辆周边监测装置包括控制电路10，其包括摄像机角度估计部11、图像变换处理部12、车辆移动计算部13以及图像合成部14。控制电路10连接到车载摄像机20和显示部30；车载摄像机20附接到车辆，以捕获车辆后方区域的图像（即，所捕获的图像或捕获图像）。

车载摄像机20附接在车辆后部中的车辆宽度方向上的中心处，作为捕获车辆后方的周边区域的图像的后摄像机。车载摄像机20将车辆后方的周边区域的捕获图像发送到控制电路10。

控制电路10包括包含CPU、ROM、可以用作诸如RAM等易失性存储器的临时存储存储器、可以用作非易失性存储器的闪速存储器以及输入/输出接口的计算机；CPU根据存储在ROM中的相关程序执行若干处理。

摄像机角度估计部11估计宿主车辆相对于宿主车辆所位于的路面的姿态的变化。根据第一实施例的摄像机角度估计部11基于从倾斜传感器（未示出）输出的倾斜信息来估计姿态相对于路面的变化。倾斜传感器中的一个输出响应于车辆在纵向方向（即，车辆前后方向）上的倾斜的信号；其它则输出响应于车辆在横向方向（即，在车辆左右方向或车辆宽度方向）上的倾斜的信号。应当注意，摄像机角度估计部11基于从倾斜传感器输出的倾斜信息来估计宿主车辆或车载摄像机20相对于或关于宿主车辆所位于的地面的水平面的姿态的变化。可以将该变化称为车载摄像机位置变化。

图像变换处理部12利用主参数来进行图像变换，以将车载摄像机20所捕获的捕获图像图像变换成模拟不同于车载摄像机20的位置的虚拟摄像机位置所捕获的图像的变换图像。主参数规定或表示附接到宿主车辆的车载摄像机20的主位置和主方向；基于宿主车辆所位于的水平面来规定主位置和主方向。也可以将主参数称为第一参数。这种技术是众所周知的。例如，参照日本专利NO.3286306或“Development of Omnidirectional CameraSystem,Matsushita Technical Journal Vol.54 No.2 July 2008,MatsushitaDENKI-SANGYO Corporate R&D Strategy”。

在本实施例中，用作非易失性存储器的控制电路10的闪速存储器存储主参数，该主参数基于宿主车辆的后轮轮轴的左右方向上的中心规定了坐标(X0,Y0,Z0)和俯角θ0，坐标(X0,Y0,Z0)基于水平面并表示车载摄像机20的主位置O，俯角θ0表示车载摄像机20相对于宿主车辆所位于的水平面或水平方向的主方向。存储在闪速存储器中的主参数用于进行从车载摄像机20所捕获的捕获图像到作为变换图像的、从车辆上方的虚拟摄像机位置（即，从所模拟的虚拟摄像机的位置）捕获的鸟瞰图像的视频变换。另外，在本实施例中，将从车辆前部到车辆后部的向后前进的水平方向定义为Y方向；将从车辆前部观察的从车辆左侧到车辆右侧的向右前进的水平方向定义为X方向；将与车辆所位于的水平面垂直的垂直方向定义为Z方向。此外，主参数还规定了距离L，L是前轮轮轴与后轮轮轴之间的距离。此外，可以将水平面称为车辆所位于的预定平面；另外，除非另有说明，假定宿主车辆所位于的路面是平坦的或是平面并可以是水平面。

给每种车辆模型准备主参数。控制电路10利用适用于附接有车载摄像机的宿主车辆的车辆模型的主参数来进行图像变换。

车辆移动计算部13接收表示换档杆位置的换档位置信号、根据车辆速度的速度信号以及根据方向盘的旋转角度的转向信号。车辆移动计算部13基于换档位置信号、速度信号和转向信号来计算车辆的车头方向（headingdirection）和移动距离。

图像合成部14将车辆移动期间图像变换后的多个变换图像存储在临时存储存储器中；并且利用存储在临时存储存储器中多个变换图像生成车辆周边的合成图像。这种技术是众所周知的（例如，参照JP2008-210084A）。

另外，在本实施例中，图像合成部14利用车辆移动计算部13所计算的车辆的车头方向和移动距离来生成图像变换后的多个鸟瞰图像作为变换图像；并且将该鸟瞰图像存储在用作易失性存储器的临时存储存储器中；然后，图像合成部14利用存储在临时存储部中的多个鸟瞰图像来生成合成图像，并将所生成的合成图像输出到显示部30。

显示部30包括显示根据从控制电路10输入的图像信号的图像的液晶显示器。

上述配置操作为如下。车辆周边监测装置的控制电路10接收车载摄像机20所捕获的车辆后方的周边区域的捕获图像。控制电路10的图像变换处理部12利用规定附接到宿主车辆的车载摄像机20的主位置和主方向的主参数（也被称为第一参数）来进行图像变换，以将捕获图像图像变换成变换图像（也被称为第一变换图像），该变换图像模拟如同与车载摄像机20的主位置不同且与之分离的虚拟摄像机位置所捕获的图像。图像合成部14利用车辆移动计算部13所计算的车辆的车头方向和移动距离，在图像变换处理部12的图像变换之后生成多个鸟瞰图像，由此将多个鸟瞰图像存储在临时存储存储器中。图像合成部14还利用存储在临时存储存储器中的多个鸟瞰图像来生成车辆的周边区域的合成图像，并将合成图像输出到显示部30。

提供了一种根据本实施例的车辆周边监测装置来克服以下缺点。即，当车辆的姿态发生变化从而导致车载摄像机20的主位置和主方向发生偏差时，由此将鸟瞰图像模拟为与直到那时的位置不同的另一虚拟摄像机位置所捕获的图像，然后将其存储在临时存储存储器中。结果，所生成的合成图像不幸地包含失真区域。为此目的，根据本实施例的车辆周边监测装置判断车辆相对于路面的姿态是否异常或车辆的姿态是否处于车辆相对于路面的姿态异常的异常状态下；当判断车辆相对于路面的姿态异常时，估计异常状态下车载摄像机20的主位置和主方向的变化（即，车载摄像机位置变化）；然后基于车载摄像机20的主位置和主方向的变化来规定表示异常状态下基于水平面的车载摄像机20的实际位置和实际方向的修正参数（也被称为第二参数）；以及应用图像变换，以利用该修正参数来将车载摄像机20所捕获的捕获图像图像变换成（也被称为第二变换图像），该变换图像模拟如同从虚拟摄像机的位置所捕获的图像。

下面将参照图2解释控制电路10的处理。在车辆的点火开关根据驾驶员的操纵而被接通之后，车辆周边监测装置定期执行本处理。

还应当注意，本申请中的流程图包括多个部分（也被称为步骤），例如表示为S100。另外，每个部分都可以被分为若干部分，同时若干部分也可以被组合成单个部分。此外，这样配置的部分中的每一个均可以被称为模块、设备或装置，并且不仅实现为（i）结合硬件单元（例如，计算机）的软件部分，还实现为（ii）包括或不包括相关装置的功能的硬件部分。此外，硬件部分可以是微型计算机的内部。

在S100中，基于换档位置信号来判断换档杆的位置是否是反向的“R”。当换档杆的位置不是反向的“R”，则S100中的判断为否，结束本处理。

与之相反，当换档杆的位置被驾驶员操作成反向的“R”时，则S100中的判断为是。接着，在S102中，判断车辆的姿态是否异常。在本实施例中，基于从倾斜传感器输入的倾斜信息来指定车辆在车辆前后方向上的倾斜和车辆在左右方向上的倾斜。当车辆的倾斜小于阈值（例如，5度）时，判断车辆的姿态正常或处于正常状态。当车辆的倾斜不小于阈值时，判断车辆的姿态异常或处于异常状态。

当车辆的倾斜小于阈值时，S102中的判断为否。接着，在S104中，进行或应用图像变换。具体而言，利用存储在闪速存储器中的主参数来对车载摄像机20所捕获的捕获图像进行图像变换，以模拟如同从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像。具体而言，如上所述，将基于水平面的坐标(X0,Y0,Z0)定义为车载摄像机20的主位置O；将角度θ0定义为基于水平方向的车载摄像机20的主方向。基于这样的定义，对车载摄像机20所捕获的捕获图像进行图像变换以获得变换图像，该变换图像模拟如同从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像。

在S106中，计算车辆的移动。具体而言，基于换档位置信号、速度信号和转向信号来计算车辆的车头方向和移动距离。

在S108中，生成车辆周边（即，车辆后方的周边区域）的合成图像，并将其输出到显示部30。具体而言，将由图像变换获得的鸟瞰图像存储在临时存储存储器中；并且利用存储在临时存储存储器中一个或多个鸟瞰图像来生成车辆周边的合成图像。

此外，当已经将鸟瞰图像存储在临时存储存储器中时，利用存储在临时存储存储器中的多个鸟瞰图像来生成车辆周边的合成图像。具体而言，当将当前鸟瞰图像再次存储在临时存储存储器中时，在存储前一鸟瞰图像之后，当前鸟瞰图像与车辆的移动方向和移动距离相关联。基于与存储在临时存储存储器中的鸟瞰图像相关联的车辆的移动方向和移动距离，生成车辆周边的合成图像。将所生成的合成图像输出到显示部30。

然而，在此时，临时存储存储器中没有存储任何鸟瞰图像；因此，仅已经经历图像变换的鸟瞰图像存储在临时存储存储器中，而没有生成任何车辆周边的合成图像。

重复上述处理。在下一和随后的S108中，当新的鸟瞰图像被存储在临时存储存储器中时，在将前一鸟瞰图像存储在临时存储存储器中之后车辆的移动方向和移动距离与新的鸟瞰图像相关联。基于与存储在临时存储存储器中的鸟瞰图像相关联的车辆的移动方向和移动距离，生成车辆周边的合成图像。将所生成的合成图像输出到显示部30。因此，车辆周边的合成图像显示在显示部30中。

当随着车辆向后移动时，后轮可能撞到平坦路面上的挡柱，从而使车辆的倾斜等于或大于阈值。在这样的情况下，S102中的判断肯定地为是。接着，在S110中，估计车载摄像机20的位置和方向的变化。

参照图3，后轮撞到挡柱以使得车辆的姿态为前部向下倾斜角度θ1。车载摄像机20的前提是附接到后轮轮轴上方的车辆位置。此外，假定以基于假定车辆所位于处的水平方向θ0=30度的俯角来附接车载摄像机20。

当车辆的姿态为前部向下倾斜角度θ1=5度时，车载摄像机20的方向或角度向上5度的角度。即，基于水平方向的车载摄像机20的方向（即，角度）的变化估计为5度。因此，基于水平方向的车载摄像机20的实际方向可以被指定为θ0-θ1=(30–5)=25度。

假设后轮撞到挡柱以使得车辆的姿态为前部向下倾斜角度θ1，同时前轮轮轴与后轮轮轴之间的距离为L。在这种情况下，车载摄像机20的实际位置O'从车辆的姿态不倾斜的正常状态下车载摄像机20的主位置O向上L*tanθ1。即，车载摄像机20的变化可以估计为L*tanθ1，因此，车载摄像机20的实际位置O'的坐标可以指定为(X0,Y0,Z0+L*tanθ1)。

参照图4，前轮撞到挡柱以使得车辆的姿态为后部向下倾斜角度θ2。如上所述，车载摄像机20的前提是被附接到后轮轮轴上方的车辆位置，而前提是假定以基于水平方向或水平面θ0=30度的俯角来附接车载摄像机20。

当车辆的姿态为后部向下倾斜角度θ2=5度时，车载摄像机20的方向或角度为向下5度的角度。即，基于水平方向的车载摄像机20的方向（即，角度）的变化估计为5度。因此，基于水平方向的车载摄像机20的方向可以指定为θ0+θ2=(30+5)=35度。

应当注意，不同于图3中的情况，在车辆的姿态倾斜的异常状态下车载摄像机20的当前位置O与在车辆的姿态未倾斜的正常状态下车载摄像机20的位置O相同。即，车载摄像机20的实际当前位置O'的坐标可以指定为(X0,Y0,Z0)。

接着，在S112中，通过利用指示车载摄像机20的实际位置和实际方向的S110中所估计的修正参数替代存储在闪速存储器中的主参数，来对车载摄像机20所捕获的捕获图像进行图像变换以由此获得变换图像，该变换图像模拟如同从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像。然后，该处理进入到S106。

假设虽然车辆相对于路面的姿态是异常的，但是利用存储在闪速存储器中的主参数来对车载摄像机20捕获的捕获图像进行图像变换，以由此模拟鸟瞰图像。在这种情况下，如图5所示，已经经历了图像变换的图像变为如同从斜方向观察的图像，从而提供了失真的原因。为此目的，执行以下方法来克服当车辆相对于路面的姿态异常时这样的缺点。即，在相对于路面的姿态异常的异常状态下车载摄像机20的位置和方向被修正成车载摄像机20的实际位置和实际方向。当基于修正位置和修正方向来对车载摄像机20所捕获的捕获图像进行图像变换以由此模拟鸟瞰图像时，如图6所示，已经经历图像变换的、所得到的模拟图像变成如同从车辆正上方观察的排除失真的图像。

此外，当车辆的姿态回到不倾斜的正常状态时，在S102中的判断否定地为否。在S104中，进行图像变换。具体而言，利用存储在闪速存储器中的主参数来对车载摄像机20所捕获的捕获图像进行图像变换以由此获得变换图像，该变换图像模拟如同从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像。即，将坐标(X0,Y0,Z0)定义为车载摄像机20的主位置O，而将角度θ0定义为基于水平方向或水平面的车载摄像机20的主方向。基于这样的定义，对车载摄像机20所捕获的捕获图像进行图像变换，以由此得到模拟如同从车辆上方的虚拟摄像机位置所捕获的鸟瞰图像的变换图像。

上述配置判断车辆相对于路面的姿态是否异常；当判断相对于路面的姿态异常时，估计车载摄像机20的位置和方向的变化；当判断车辆相对于路面的姿态异常时，通过车载摄像机20的位置和方向的估计的变化，指定表示车辆相对于路面的姿态异常的异常状态下车载摄像机20的实际位置和实际方向的修正参数；以及利用指定的修正参数来将图像变换应用于车载摄像机20所捕获的捕获图像，以模拟如同由虚拟摄像机所捕获的图像。这种配置可以防止合成图像由于车辆姿态的变化而引起的失真。

另外，如上所述，可以设置倾斜传感器来根据车辆相对于路面的倾斜而输出倾斜信息。基于从倾斜传感器输出的倾斜信息，可以判断车载摄像机20相对于路面的姿态是否异常。

（第二实施例）

基于从倾斜传感器输入的倾斜信息，根据第一实施例的车辆周边监测装置判断车辆的姿态是否异常，并且根据的位置和方向的变化来估计在车辆的姿态异常的异常状态下车载摄像机20的位置和方向。本实施例与第一实施例的不同之处在于利用图像分析来识别车载摄像机20所捕获的捕获图像中包含的特征点的移动的差异，并且本实施例基于捕获图像中包含的特征点的光流来估计在车辆的姿态异常的异常状态下车载摄像机20的位置和方向。应当注意，光流利用车载摄像机20的捕获图像中的向量来表示对象的移动。与第一实施例相同的部分被赋予与第一实施例相同的附图标记且省略其说明；在上文的基础上仅说明不同的部分。

参照图7中的（a），当车辆在平坦路面上行驶时，将车载摄像机20所捕获的捕获图像中包含的每个特征点的光流示出为向量。即，捕获图像中包含的特征点的光流示出为出现在车辆的车头方向上的、会聚于无限远的点的向量。

与之相反，在车辆的车轮碰到台阶或高差（level difference）从而改变车辆或车载摄像机20的俯仰角（pitch angle）（即，改变车辆或车载摄像机20相对于水平面的取向）的情况下，如图7中的（b）中的实线所示，车载摄像机20所捕获的捕获图像中包含的每个特征点的光流被表示为在一致的方向上行进的向量，这不同于与图7中的（a）中的实线相同的图7中的（b）中的虚线。

本实施例利用图像分析来识别车载摄像机20所捕获的捕获图像中包含的特征点的移动的差异；判断车辆的姿态是否异常；以及当判断相对于路面的姿态异常时，估计车载摄像机20的位置和方向的变化。具体而言，提供一个数据库来存储在车辆在平坦路面上行驶的情况下车载摄像机20所捕获的捕获图像中包含的特征点的向量。在S102中，基于（i）在数据库所指定的车辆在平坦路面上行驶的情况下车载摄像机20所捕获的捕获图像中包含的特征点的向量与（ii）车载摄像机20所捕获的捕获图像中包含的特征点的实际当前向量之间的差，来对车辆的姿态是否异常进行判断。当判断车辆相对于路面的姿态异常时，则处理进入到S110。在S110中，根据（i）在车辆在平坦路面上行驶的情况下车载摄像机20所捕获的捕获图像中包含的特征点的向量与（ii）车载摄像机20所捕获的捕获图像中包含的特征点的实际当前向量之间的差，来估计当判断姿态相对于路面异常时车载摄像机20的位置和方向的变化。

接着，在S112中，当判断车辆相对于路面的姿态异常时，根据所估计的车载摄像机20的位置和方向的变化来指定表示车载摄像机20的实际位置和实际方向的修正参数；并且利用该修正参数将图像变换应用于车载摄像机20所捕获的捕获图像，以模拟如同由虚拟摄像机所捕获的图像。

如上所述，对车载摄像机20所捕获的捕获图像进行图像分析；估计捕获图像中包含的特征点的移动向量；以及基于捕获图像中包含的特征点的移动向量来判断车载摄像机20相对于路面的姿态是否异常。

（第三实施例）

在基于从倾斜传感器输入的倾斜信息的位置和方向的变化的基础上，根据第一实施例的车辆周边监测装置估计在车辆的姿态异常的异常状态下车载摄像机20的位置和方向。基于不同的来源，根据第三实施例的车辆周边监测装置估计在车辆的姿态异常的异常状态下车载摄像机20的位置和方向。即，获取根据车辆的方向盘的角度的舵角信号（也被称为转向信号）作为第一信号，以指定由于车辆绕转时的离心力所致的车辆的姿态的变化；获取从速度传感器输出的速度信号作为第二信号，以指定由于车辆的加速和减速所致的车辆的姿态的变化。当基于（i）舵角信号所指定的由于车辆绕转时的离心力所致的姿态的变化和（ii）速度信号所指定的由于车辆的加速和减速所致的车辆的姿态的变化，来判断车辆相对于路面的姿态是否异常，并且当判断相对于路面的姿态异常时估计车载摄像机20的位置和方向的变化。

应当注意，在车辆行驶或移动期间车辆姿态取决于车辆悬挂系统（suspension）的性能以及在车辆绕转和加速时离心力的变化。

在根据第三实施例的车辆周边监测装置中，准备一个表格，该表格针对每种车辆模型指定（i）车辆行为（诸如车辆的转向角和车辆加速度等）与（ii）车辆的姿态的变化之间的关联。

因此，按如下提出本实施例。在S102中，利用适用于宿主车辆的车辆模型的表格，判断在移动或行驶期间车辆的姿态是否异常。在S110中，当判断车辆相对于路面的姿态异常时，估计在车辆的姿态异常的异常状态下车载摄像机20的位置和方向的变化。在S112中，根据所估计的变化，指定表示车载摄像机20的实际位置和实际方向的修正参数；以及利用修正参数将图像变换应用于车载摄像机20所捕获的捕获图像，以模拟如同虚拟摄像机所捕获的图像。

（其它实施例）

在上述第一至第三实施例中，对车载摄像机20所捕获的捕获图像进行图像变换，以模拟如同从车辆上方的虚拟摄像机位置捕获的鸟瞰图像。虚拟摄像机位置可以不限于车辆上方的位置。

另外，在上述第一至第三实施例中，虚拟摄像机位置的前提是在车辆上方，对车载摄像机所捕获的捕获图像进行变换成模拟为从虚拟摄像机位置捕获的鸟瞰图像的图像变换。将已经经历图像变换的鸟瞰图像存储在临时存储存储器中；以及利用存储在临时存储存储器中的多个鸟瞰图像生成车辆周边的合成图像。在这样的配置下，当判断车载摄像机20相对于路面的姿态异常时，根据所估计的车载摄像机20相对于路面的位置和方向的变化，指定表示车载摄像机20的实际位置和实际方向的修正参数；利用该修正参数，将图像变换应用于车载摄像机20所捕获的图像，以模拟如同由虚拟摄像机所捕获的图像。还可以使用受车载摄像机的角度的变化的影响的另一系统。例如，可以使用估计从附接到车辆的车载摄像机所捕获的捕获图像的像素到目标对象的距离的系统。在这个系统中，当判断车载摄像机20相对于路面的姿态异常时，可以根据所估计的车载摄像机20相对于路面的位置和方向的变化，来指定表示车载摄像机20的实际位置和实际方向的修正参数；以及利用该修正参数将图像变换应用于车载摄像机20所捕获的捕获图像，以模拟如同虚拟摄像机所捕获的图像。

另外，在上述第一实施例中，当车辆的姿态为车辆的前部向下倾斜（即，俯冲姿态或向下姿态）时，或当车辆的姿态为车辆的后部向下倾斜（即，升起姿态或上升姿态）时，根据车载摄像机20相对于路面的位置和方向的变化，规定表示在异常状态下车载摄像机20相对于路面的位置和方向的修正参数。但不必要限定于此。当车辆的姿态为车辆的左侧向下倾斜时，当车辆的姿态为车辆的右侧向下倾斜时，当车辆的姿态为车辆的左前侧向下倾斜时，或当车辆的姿态为车辆的左后侧向下倾斜时，可以根据所估计的车载摄像机20相对于路面的位置和方向的变化，来指定表示车载摄像机20的实际位置和实际方向的修正参数。此外，同样可以适用于第二实施例和第三实施例。

参照在上述实施例中的各种来源，进行在车辆的姿态异常的异常状态下车载摄像机20的位置和方向的估计。第一实施例将来自倾斜传感器的倾斜信息称为第一来源。第二实施例将车载摄像机20所捕获的捕获图像中包含的特征点的光流称为第二来源。第三实施例将（i）由于车辆绕转时的离心力所致的姿态变化和（ii）由于速度信号所指定的车辆的加速和减速所致的姿态变化称为第三来源。在第一至第三实施例中所描述的上述三种来源之中，可以组合至少两个。

另外，在上述第一至第三实施例中，表示车载摄像机20的主位置和主方向的主参数包括：（i）表示车载摄像机20的主位置O的坐标(X0,Y0,Z0)，（ii）表示基于水平方向的车载摄像机20的主方向的角度θ0，以及（iii）前轮轮轴与后轮轮轴之间的距离L。主参数可以包括除上述三个要素以外的其它要素。

另外，在上述第一至第三实施例中，通过附接到车辆作为后摄像机的车载摄像机20所捕获的捕获图像，生成车辆周边的合成图像。但不必限定于此。可以使用除后摄像机以外的其它车辆摄像机20。

此外，在上述第一至第三实施例中，利用单个车载摄像机20所捕获的捕获图像，生成车辆周边的合成图像。但不必限定于此。可以设置若干个车载摄像机20，并且可以利用若干个车载摄像机20所捕获的捕获图像来生成车辆周边的合成图像。

如上所述，上述实施例中的流程图包括若干部分，以下将会解释该若干部分的示例。由控制电路10执行的S104、S112可以起到图像变换部分、设备或模块的作用。由控制电路10执行的S106、S108可以起到合成图像生成部分、设备或模块的作用。由控制电路10执行的S102可以起到判断部分、设备或模块的作用。由控制电路10执行的S110可以起到变化估计部分、设备或模块的作用。

虽然已经参照本公开内容的优选实施例描述了本公开内容，但是应当理解，本公开内容并不限于优选实施例和构造。本公开内容意在涵盖各种修改和等同布置。此外，虽然各种优选的组合和配置，但是包括更多、更少或仅单个要素的其它组合和配置也在本公开内容的精神和范围之内。

Claims (8)

1.一种车辆中的车辆周边监测装置，车载摄像机（20）附接到所述车辆，所述车辆周边监测装置包括：

图像变换部分，其通过利用第一参数将所述车载摄像机所捕获的捕获图像图像变换成变换图像，所述第一参数规定所述车载摄像机的主位置和主方向，所述变换图像模拟虚拟摄像机所捕获的图像，所述虚拟摄像机假定为与所述车载摄像机分离设置；

合成图像生成部分，其在临时存储存储器中存储在所述车辆的移动期间所述图像变换部分图像变换成的多个变换图像，并且利用存储在所述临时存储存储器中的所述多个变换图像来生成车辆周边的合成图像；

判断部分，其判断所述车辆的姿态是否处于异常状态下，所述异常状态是所述车辆相对于路面的姿态异常的状态；以及

变化估计部分，其估计在所述异常状态下相对于所述车载摄像机的所述主位置和所述主方向的变化，

其中：

当所述判断部分判断所述车辆的姿态处于所述异常状态下时，

所述图像变换部分

基于所述变化估计部分所估计的变化来指定第二参数，所述第二参数表示所述车载摄像机的实际位置和实际方向，并且

通过利用所述第二参数，将所述车载摄像机所捕获的所述捕获图像图像变换成模拟所述虚拟摄像机所捕获的图像的变换图像。

2.根据权利要求1所述的车辆周边监测装置，其中：

所述判断部分基于传感器响应于所述车辆相对于所述路面的倾斜而输出的倾斜信息来判断所述车辆的姿态是否处于所述异常状态下。

3.根据权利要求1所述的车辆周边监测装置，其中：

所述变化估计部分基于传感器响应于所述车辆相对于所述路面的倾斜而输出的倾斜信息来估计所述变化。

4.根据权利要求1所述的车辆周边监测装置，其中：

所述判断部分估计所述捕获图像中包含的特征点的移动向量，并且基于所估计的所述特征点的移动向量来判断所述车辆相对于所述路面的姿态是否处于所述异常状态下。

5.根据权利要求1所述的车辆周边监测装置，其中：

所述变化估计部分估计所述捕获图像中包含的特征点的移动向量，并且基于所估计的所述特征点的移动向量来估计所述变化。

6.根据权利要求1所述的车辆周边监测装置，其中：

所述判断部分

获取第一信号以指定由于所述车辆旋转时的离心力所致的所述车辆的姿态的第一变化，并获取第二信号以指定由于所述车辆的加速和减速所致的所述车辆的姿态的第二变化，并且

基于由于所述第一信号所指定的所述离心力所致的所述第一变化及由于所述第二信号所指定的所述加速和所述减速所致的所述第二变化来判断所述车辆相对于所述路面的姿态是否处于所述异常状态下。

7.根据权利要求1所述的车辆周边监测装置，其中：

变化估计部分

获取第一信号以指定由于所述车辆旋转时的离心力所致的所述车辆的姿态的第一变化，并获取第二信号以指定由于所述车辆的加速和减速所致的所述车辆的姿态的第二变化，并且

基于由于所述第一信号所指定的所述离心力所致的所述第一变化及由于所述第二信号所指定的所述加速和所述减速所致的所述第二变化来估计相对于所述主位置和所述主方向的所述变化。

8.根据权利要求1至7中的任一项所述的车辆周边监测装置，其中：

所述虚拟摄像机假定为在所述车辆的上方的位置处；

所述变换图像是从所述车辆的上方的所述位置捕获的鸟瞰图像。

Images