CN101513062A - 车载图像处理装置及其视点变换信息生成方法 - Google Patents

Abstract

可能提供一种能够容易地获得适合于车辆类型的虚拟图像的车载图像处理设备及其视点变换信息生成方法。投影模型存储单元(41)存储有关预定投影模型上多个点的位置信息。运算单元(30)参照投影模型存储单元(41)，从而获取在由输出范围指定单元(20)指定为虚拟图像的对象的投影模型区域中、作为与虚拟图像的像素相对应的点的虚拟图像对应点的位置信息。运算单元(30)获得与虚拟图像对应点相对应的真实图像的像素，获取指示虚拟图像的像素和真实图像的像素之间的对应的映射表，并将它记录在映射表存储单元(42)中。通过参照映射表存储单元(42)，图像合成单元(50)将从成像单元(10)输入的图像转换成从预定视点观看的虚拟图像。

Description

车载图像处理装置及其视点变换信息生成方法

技术领域

本发明涉及用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定虚拟视点观看的虚拟图像的车载图像处理设备，以及该设备的视点变换信息生成方法。

背景技术

为了改善车辆驾驶者的用户的便利性等，存在图像处理设备，其用于利用拍摄车辆的周围环境的多个照相机所拾取的图像生成从车辆上方的虚拟视点观看的合成图像(例如，参考专利文献1)。

在专利文献1中描述的图像处理设备结合从两个不同照相机输入的图像，并根据指示输出像素的位置坐标和输入图像的像素位置之间的对应的变换地址(映射表)改变像素位置以生成输出图像，由此实现来自多个不同照相机的输入图像的平滑结合，并实时地将图像转换成来自虚拟视点的图像。然而，为了实时结合图像，必需预先记录用于结合图像的映射表。

将讨论映射表的创建过程。为了创建映射表，需要确定与从虚拟视点(虚拟照相机的附着位置)观看的合成图像的每个像素相对应的每个照相机的每个像素的坐标。这个对应确定过程被分成两个步骤：找到世界坐标上与来自虚拟视点的合成图像的每个像素相对应的点的位置的步骤，以及找到世界坐标上所找到的点的位置的实际照相机上相应像素的坐标的步骤。

最终记录在映射表中的关系仅仅是虚拟视点的合成图像的每个像素和每个照相机图像(真实图像)的像素之间的关系，并且映射表的创建过程不限于上述的经由世界坐标上的点的方法；然而，在生成具有易于与实际距离和位置关系相关联的环境的合成图像时，经由世界坐标上的点的映射表是极好的，因为真实世界中合成图像的坐标的世界坐标系中的含义变得明确。

虚拟照相机的像素位置[mi]＝(xi，yi)和虚拟照相机的照相机坐标[Pi]＝(Xi，Yi，Zi)之间的关系如下：

xi＝Xi/Zi(其中Zi不是0)

yi＝Yi/Zi(其中Zi不是0)

根据三维旋转[Ri]和转换[Tr]、从虚拟照相机的照相机坐标[Pi]到世界坐标[Pw]的变换如下：

[Pw]＝[Ri][Pi]+[Ti]

同样地，根据三维旋转[Rr]和转换[Tr]、从世界坐标[Pw]到实际照相机的照相机坐标[Pr]的变换如下：

[Pr]＝[Rr][Pw]+[Tr]

图12概略地示出从虚拟照相机的照相机坐标系到世界坐标系的变换，和从世界坐标系到实际照相机的照相机坐标系的变换。即，由虚拟照相机的照相机坐标系C表示的图像M和由实际照相机的照相机坐标系C’表示的图像M’通过图像世界坐标系O彼此相关联。

通过透视投影变换利用焦距fv、从实际照相机的照相机坐标[Pr]＝(Vxe，Vye，Vze)到在实际照相机的投影平面上的二维坐标[Mr]＝(xr，yr)的变换如下：

xr＝(fv/Vze)·Vxe

yr＝(fv/Vze)·Vye

从将这个变换成像素单元并考虑符合实际照相机的透镜失真来校正位置而产生的位置成为实际照相机中的像素位置。为了校正透镜失真，可使用利用记录距透镜中心的距离和校正量之间的关系的表的方法，基于数学失真模型的近似方法等。

此时，存在于世界坐标系中的对象的三维形状是未知的，并且因此在从虚拟照相机的像素位置[mi]到虚拟照相机的照相机坐标[Pi]的变换过程中，[Pi]的放大率λ(λ是除了0的实数)变得不确定。即，在图12中，线1上的点，例如，点K和点Q都投影到相同的像素位置X(xi，yi)。因此，通过对于从虚拟视点观看到的目标的形状假定适当的投影模型，线1上的一个点被确定。这意味着投影模型和线1的相交点被找到，并且被采用作为世界坐标上的点。

例如，世界坐标系中的平面Zw＝0等可能作为投影模型。因此设置适当投影模型，由此可能根据如上所述的过程，计算虚拟视点的合成图像的每个像素[Pi]和实际照相机图像的像素[Pr]之间的对应。

计算该对应需要庞大的计算量，诸如投影模型上每个点的坐标计算，照相机坐标和世界坐标之间的变换，并且进一步如果照相机的数目是大的，则关于投影模型上的坐标被反映到哪个照相机的计算也需要庞大的计算量。

然后，存在一种图像合成变换设备，用于使得可能容易地以小计算量创建用于将实际照相机的拾取图像变换成从虚拟视点观看的图像的映射表(例如，参考专利文献2)。

图像合成变换设备具有三维坐标记录部件，用于记录与虚拟照相机的先前计算的像素位置相对应的投影模型上的三维位置。这消除了对于映射表的创建时刻找到三维位置所需的执行大量计算的需要，并且仅需要执行透视投影变换和失真校正计算。

专利文件1：国际公开号00/64175小册子(pamphlet)

专利文件2：JP-A-2003-256874

发明内容

本发明要解决的问题

然而，在如上所述的图像合成变换设备中，使用预先将虚拟图像的像素和投影模型上的点相关联的三维坐标记录部件，并因此虚拟图像被固定到投影模型的确定区域。另一方面，可由实际照相机拾取的投影模型上的范围根据实际照相机的附着位置和角度而改变。

例如，在一种车辆类型中，可由实际照相机拾取的范围的仅大约一半可用于虚拟图像；在不同车辆类型中，不能由实际照相机拾取的范围可包含在虚拟图像中。因此，为了获得适合于实际照相机的图像拾取范围的适当的虚拟图像，对于每个车辆模型，需要安装预先将虚拟图像的像素和投影模型上的点相关联的三维坐标记录部件；这是实际的情况。

本发明考虑如上所述的实际情况而具体化，并且本发明的目的是提供车载图像处理设备以及该设备的视点变换信息生成方法，其能够容易地提供响应于车辆模型的适当虚拟图像。

解决问题的手段

首先，本发明提供车载图像处理设备，用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定的虚拟视点观看的虚拟图像，该车载图像处理设备包括：投影模型存储部分，用于存储预定投影模型上多个点的位置信息；位置信息获取部分，用于参照投影模型存储部分，并获取虚拟图像对应点的位置信息，其中虚拟图像的每个像素在单独指定为虚拟图像的显示范围目标的投影模型上的区域中投影为所述虚拟图像对应点；以及视点变换信息获取部分，用于找到反映虚拟图像相应点的真实图像的像素，并获取指示虚拟图像的像素和真实图像的像素之间的对应的视点变换信息。

根据该结构，基于在投影模型存储部分中存储的投影模型上的多个点的位置信息，指定虚拟图像施加到的投影模型上的区域，并生成视点变换信息，从而能够容易地获得响应于车辆模型的适当虚拟图像。

第二，本发明提供如上首先所述的车载图像处理设备，其中如果在投影模型存储部分中存储的投影模型上的指定区域中的点数与虚拟图像的像素数不匹配，则位置信息获取部分利用在投影模型存储部分中存储的点来找到虚拟图像对应点的位置信息。

根据该结构，可以响应于虚拟图像施加的投影模型上的区域，灵活地产生视点变换信息。

第三，本发明提供如上第一或第二所述的车载图像处理设备，其中投影模型存储部分存储路径数据，该路径数据指示响应于与投影模型上的点的位置信息相关联的车辆状态而预测的车辆驶过(sweep)路径，并且其中位置信息获取部分将虚拟图像对应点的位置信息与路径数据相关联且视点变换信息获取部分将路径数据与虚拟图像的像素相关联，以生成视点变换信息。

根据该配置，数据路径与视点变换信息相关联，从而用于将预测车辆驶过路径叠加到虚拟图像上以用于显示的计算量能够被减少。

第四，本发明提供车载图像处理设备的视点变换信息生成方法，用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定的虚拟视点观看的虚拟图像，该视点变换信息生成方法具有步骤：参照用于存储预定投影模型上的多个点的位置信息的投影模型存储部分，并获取虚拟图像对应点的位置信息，其中虚拟图像的每个像素在单独指定为虚拟图像的显示范围目标的投影模型上的区域中投影为所述虚拟图像对应点；和找到反映虚拟图像对应点的真实图像的像素，并获取指示虚拟图像的像素和真实图像的像素之间的对应的视点变换信息。

根据这种方法，基于投影模型存储部分中存储的投影模型上的多个点的位置信息，指定虚拟图像施加到的投影模型上的区域，并且生成视点变换信息，从而能够容易地获得响应于车辆模型的适当虚拟图像。

第五，本发明提供一种视点变换信息生成程序，用于使计算机执行如上第四所述的视点变换信息生成方法的步骤。

根据这个程序，基于投影模型存储部分中存储的投影模型上多个点的位置信息，指定虚拟图像施加到的投影模型上的区域，并且生成视点变换信息，从而能够容易地获得响应于车辆模型的适当虚拟图像。

发明的优点

根据本发明，提供一种车载图像处理设备和该设备的视点变换信息生成方法，其能够容易地提供响应于车辆模型的适当的虚拟图像。

附图说明

图1是显示根据本发明第一实施例的车载图像处理设备的主结构的方框图。

图2是描述根据本发明第一实施例的车载图像处理设备的转换表创建方法的过程的流程图。

图3是描述根据本发明第一实施例的车载图像处理设备的输出范围的指定方法的概念图。

图4是描述根据本发明第一实施例的车载图像处理设备的输出范围的指定方法的概念图。

图5是描述根据本发明第一实施例、基于车载图像处理设备中使用的投影模型的视点变换的概念图。

图6是描述根据本发明第一实施例的车载图像处理设备中使用的映射表的概念图。

图7是示出根据本发明第二实施例的车载图像处理设备的主结构的方框图。

图8是示出根据本发明第二实施例的车载图像处理设备中使用的包含路径信息的表的第一示例的概念图。

图9是示出根据本发明第二实施例的车载图像处理设备中使用的包含路径信息的表的第二示例的概念图。

图10是描述根据本发明第二实施例的车载图像处理设备中使用的映射表的概念图。

图11是示出根据本发明第二实施例的车载图像处理设备的输出图像的示例的示意图示。

图12是示出虚拟照相机和实际照相机的照相机坐标与世界坐标之间的关系的示意图示。

参考标记描述

1a，1b 车辆

2a，2b，11，12 照相机

3a，3b 虚拟照相机

4，4a，4b 投影模型上的区域

10 图像拾取部分

13，14 帧存储器

20 输出范围指定部分

30 计算部分

40，140 映射表参照部分

41，141 投影模型存储部分

42，142 映射表存储部分

50，150 图像合成部分

60 图像输出部分

170 传感器组

171 舵角传感器

具体实施方式

(第一实施例)

图1是示出根据本发明第一实施例的车载图像处理设备的主结构的方框图。如图1所示，该实施例的车载图像处理设备包括：图像拾取部分10、输出范围指定部分20、计算部分30、映射表参照部分40、图像合成部分50和图像输出部分60，并且该车载图像处理设备将从图像拾取部分10输入的图像变换成从预定虚拟视点观看的虚拟图像，并输出该虚拟图像作为输入图像。

图像拾取部分10包括用于拍摄真实图像的照相机11和用于记录由照相机11拾取的图像的帧存储器13。图像拾取部分10的照相机的数目可以是一个或多个；除了照相机11和帧存储器13之外，该实施例的图像拾取部分10包括照相机12和帧存储器14。

输出范围指定部分20指定输出图像所施加到的投影模型上的区域作为输出范围。

计算部分30用作位置信息获取部分和视点变换信息获取部分的例子，并计算在输出范围指定部分20指定的输出范围中生成输出图像所需的输入图像的像素位置。计算部分30将计算结果记录在映射表参照部分40中，作为指示输出图像的像素和真实图像的像素之间的对应的视点变换信息的例子的映射表。计算部分30主要被实现为根据视点变换信息生成程序运行的处理器。

映射表参照部分40包括：投影模型存储部分41，用于存储预定投影模型上多个点的位置信息；和映射表存储部分42，用于存储映射表。

图像合成部分50参照映射表参照部分40，读取与来自图像拾取部分10的输出图像的像素相对应的输入图像，并生成输出图像的像素。图像输出部分60从在图像合成部分50中生成的像素生成输出图像，并输出该输出图像。

接着，将讨论如上描述的图像合成变换设备的操作。首先，将讨论映射表创建过程。图2是描述根据本发明第一实施例的车载图像处理设备的变换表创建方法的过程的流程图。

开始，输出范围指定部分20指定在投影模型存储部分41中存储的投影模型上的区域作为输出范围(步骤S1)。图3和图4是描述根据本发明第一实施例的车载图像处理设备的输出范围的指定方法的概念图。图3(A)示出照相机2a附着于其上的车辆1a，并且图3(B)示出照相机2b附着于其上的车辆1b，车辆1b与车辆1a的车辆类型不同。在图3和图4中，在下面的描述中，作为用于变换由照相机2a和2b拾取的图像的虚拟视点，采用从车辆1a和1b前面的上部俯视路面的虚拟照相机3a和3b作为例子。

由于照相机2a和2b附着在车辆类型不同的车辆1a和1b上，它们在附着位置和附着角度上都不同，因此在如图3和图4中虚线指示的图像拾取范围上也不同。即，照相机2a拾取从位置O到位置A的范围，如图3(A)所示；而照相机2b拾取从位置O到位置B的范围。

因此，从位置O到位置A的图像拾取范围可以被指定用于虚拟照相机3a，并从位置O到位置B的图像拾取范围可以被指定用于虚拟照相机3b。

然后，在实施例中，响应于可以由实际照相机拾取图像的范围，输出范围指定部分20指定输出范围，由此可以容易地获得响应于车辆模型的适当虚拟图像。即，从在投影模型存储部分41中存储的区域4，输出范围指定部分20剪切并指定范围4a作为虚拟照相机3a的图像拾取范围，以及剪切并指定范围4b作为虚拟照相机3b的图像拾取范围，如图4所示。

作为如上所述输出范围的指定方法的示例，操作者通过对每个车辆模型和每个照相机附着位置进行模拟，找到输出范围，并在输出范围指定部分20中输入参数(投影模型上坐标的范围等)，由此输出范围指定部分20指定输出范围。代替由操作者找到输出范围，输出范围指定部分20可基于车辆模型信息等计算投影模型上的坐标范围等，并可响应于计算结果指定输出范围。

接着，计算部分30从由输出范围指定部分20指定的输出范围找到坐标范围和响应于输出图像的像素数目而确定的采样间隔，并从投影模型存储部分41获取与输出图像的像素位置相对应的投影模型的点的坐标(步骤S2)。

如果投影模型存储部分41中存储的、指定为输出范围的投影模型上的区域中的点的数目与输出图像的像素的数目不匹配，则计算部分30利用投影模型存储部分41中存储的点的位置信息来执行诸如细化插值的插值，并找到与输出图像的像素位置相对应的点的位置信息(坐标)。

在图4所示的例子中，在范围4b中，如果投影模型存储部分41存储由图4所示圆圈标记指示的四个点作为线X-X上的点，并且输出图像的对应像素的数目是七，则找到与输出图像的像素位置相对应的投影模型上的点的图4所示的X标记的坐标。因此，响应于输出范围可以灵活地生成映射表。

因此，输出图像的像素位置和由计算部分30所找到的投影模型上的位置信息之间的对应被记录在映射表存储部分42的第一存储部件中。

计算部分30进一步获取与投影模型上的对应点相对应的实际照相机的像素位置(步骤S3)，将输出图像的像素位置和输入图像的像素位置彼此相关联(步骤S4)，并存储在映射表存储部分42的第二存储部件中作为映射表。

图5是描述基于根据本发明第一实施例的车载图像处理设备中使用的投影模型的视点变换的概念图，并且是示出其中平面A和平面B两个平面被设置为投影模型的例子的附图。在图5中，平面A和平面B两个平面上的三维位置的坐标被存储在投影模型存储部分41中。

例如，作为与输出图像的像素R1的位置(u1，v1)相对应的三维位置(投影模型上的位置信息)，在步骤S2获取平面A上的点R1A的坐标(x1a，y1a，z1a)，并将其存储在映射表存储部分42的第一存储部件中。作为与输出图像的像素R2的位置(u2，v2)相对应的三维位置，在步骤S2获取平面B上点R2B的坐标(x2b，y2b，z2b)，并将其存储在映射表存储部分42的第一存储部件。

如果能够以给定精度预测虚拟照相机和实际照相机之间的位置关系，则有可能计算投影模型上的对应点在哪个照相机中具有对应点。例如，通常监视照相机、车载照相机等的安装位置限制为监视目标的图像等能够被拾取的位置，由此虚拟照相机和实际照相机之间的位置关系能够被预测，并且实际照相机的预测位置数据能够被输入到计算部分30作为照相机参数，并且能够利用映射表存储部分42的第一存储部件中的记录数据创建映射表。

计算部分30基于与通过参考三维坐标记录部件32和分开地输入的实际照相机的照相机参数所获得的虚拟照相机的像素位置相对应的三维坐标，计算与虚拟照相机的像素位置相对应的实际照相机上的像素位置。在图5中，在映射表存储部分42的第一存储部件中，例如，平面A的点R1A的坐标(x1a，y1a，z1a)被记录为与输出图像的像素R1的位置(u1，v1)相对应的三维位置，并且平面B的点R2B的坐标(x2b，y2b，z2b)被记录为与输出图像的像素R2的位置(u2，v2)相对应的三维位置，如上所述。

当通过透视转换计算实际照相机上的点的投影点时，点R1A被投影到点I1(U1，V1)，并且点R2B被投影到点I2(U2，V2)。计算部分30从该结果创建映射表，并将映射表存储在映射表记录部分42的第二存储部件中。

由于通过已知的校准部件，能够容易地测量对应于与虚拟照相机上的像素相对应的投影模型上的对应点的实际照相机的像素位置，所以，如果测量数据被捕获，则能够设置虚拟照相机和实际照相机之间的位置关系。

图6是描述在根据本发明第一实施例的车载图像处理设备中使用的映射表的概念图。

映射表记录部分42存储指示由计算部分30计算的虚拟照相机上的像素和实际照相机上的像素之间的对应的映射表。首先，在步骤S2找到的投影模型上的坐标(x，y，z)和虚拟照相机的像素坐标位置(u，v)之间的关系被记录在映射表存储部分42的第一存储部件中。

计算部分30在步骤S3基于所存储的信息，计算投影模型上的坐标和实际照相机的像素坐标位置(U，V)之间的关系，并在步骤S4创建虚拟照相机的像素坐标位置(u，v)和实际照相机的像素坐标位置(U，V)之间的关系，并存储为映射表。如果涉及多个照相机，则实际照相机的标识符(图6中示例为“C1”)和每个照相机的需要程度根据需要被记录在映射表中。由此创建映射表。

接着，将讨论如上所述计算部分30创建映射表、并将映射表记录在映射表存储部分42中之后的操作。

图像拾取部分10将由照相机11和照相机12拾取的图像分别记录在帧存储器13和帧存储器14中。映射表参照部分40参照在映射表存储部分42中存储的映射表，并将由图像合成部分50生成的输出图像的像素位置变换成与像素相对应的输入图像的像素位置。如果输出图像的一个像素位置对应于输入图像的多个像素位置，则还从映射表读取对于像素的需要程度。

图像合成部分50参照映射表参照部分40，并读取与将从图像拾取部分10生成的输出图像的像素相对应的输入图像的像素。如果输出图像的像素仅对应于输入图像的一个像素，则输入像素的值被输出到图像输出部分60。如果对应像素不存在，则预定值被输出到图像输出部分60。

如果输出图像的一个像素位置对应于输入图像的多个像素位置，则在输入图像的像素位置，同时响应于对于每个像素的需要程度，结合像素值。简单地，响应于需要程度的反比，像素值被相加以找到输出图像的像素值。图像输出部分60从由图像合成部分50生成的输出图像的像素生成输出图像，并输出该输出图像。

根据本发明的第一实施例，基于在投影模型存储部分中存储的投影模型上的多个点的位置信息，指定虚拟图像被施加到的投影模型上的区域，并且生成视点变换信息，以便能够容易地获得响应于车辆模型的适当的虚拟图像。

(第二实施例)

图7是示出根据本发明第二实施例的车载图像处理设备的主结构的方框图。在图7中，与第一实施例中描述的图1中的部件相同或相似的部件由相同的附图标记指示。

如图7中所示，该实施例的车载图像处理设备包括：图像拾取部分10、输出范围指定部分20、计算部分30、映射表参照部分140、图像合成部分150、和图像输出部分60。

映射表参照部分140包括投影模型存储部分141和映射表存储部分142。

投影模型存储部分141存储响应于与投影模型上点的位置信息相关联的车辆的状态而预测的车辆驶过路径。将参考图8和图9讨论在投影模型存储部分141中存储的数据的例子。

图8是示出在根据本发明第二实施例的车载图像处理设备中使用的包含路径信息的表的第一例子的概念图。在图8所示的例子中，指示响应于车辆的状态而预测的车辆驶过路径的路径数据与投影模型上点的坐标相关联。在例子中，车辆转向盘的舵角(rudder angle)和车辆宽度被显示为指示路径数据中包含的车辆的状态的元素。图8中所示的例子指示点p2(x2，y2，z2)是预测如果车辆的车辆宽度是160cm并且舵角是30度则车辆将行驶的位置。

图9是示出根据本发明第二实施例的车载图像处理设备中使用的包含路径信息的表的第二例子的概念图。在图9所示的例子中，投影模型上点的坐标与具有车辆宽度和舵角的元素的路径数据相关联。

为了基于由输出范围指定部分20指定的输出范围，将输出图像的像素位置和投影模型上点的坐标彼此相关联，如果路径数据与投影模型存储部分141中存储的投影模型上的点的坐标相关联，则计算部分30将路径数据和输出图像的像素位置相关联，并记录在映射表存储部分142中。此外，计算部分30将路径数据与之相关联的输出像素的像素位置和输入图像的像素位置相关联地记录到映射表存储部分142中作为映射表。

图10是描述根据本发明第二实施例的车载图像处理设备中使用的映射表的概念图。如图10所示，除了输入图像的像素位置(U，V)，车辆宽度W和舵角A的路径数据以及照相机标识符C被加到虚拟照相机的像素位置(u，v)。因此，响应于车辆宽度和舵角，可以确定输出像素的像素位置是否在预测的车辆驶过路径上。

因此，本实施例的车载图像处理设备创建关联路径数据的映射表，并将它存储在映射表存储部分142中。如果车辆具有相同车辆宽度和相同转向半径，即使它们的车辆模型不同，在投影模型上行驶的路径也是相同的。例如，如果尽管相同模型施加但车辆在车辆模型或类型上不同，转向半径通常相同。在这种情况下，利用公共数据，路径数据能够被嵌入到映射表中。

接着，将讨论如上所述计算部分30创建映射表，并将映射表记录在映射表存储部分42之后的操作。

图像拾取部分10将照相机11和照相机12拾取的图像分别记录在帧存储器13和帧存储器14中。映射表参照部分140参照映射表存储部分142中存储的映射表，并将图像合成部分150生成的输出图像的像素位置变换成与像素相对应的输入图像的像素位置。如果输出图像的像素位置对应于输入图像的多个像素位置，则还从映射表读取对于像素的需要程度。

图像合成部分150参照映射表参照部分140，并读取与将要从图像拾取部分10生成的输出图像的像素相对应的输入图像的像素。如果输出图像的像素仅对应于输入图像的一个像素，则输入像素的值被输出到图像输出部分60。如果对应像素不存在，则将预定值输出到图像输出部分60。

如果输出图像的一个像素位置对应于输入图像的多个像素位置，则在输入图像的像素位置，同时响应于对于每个像素的需要程度，结合像素值。简单地，响应于需要程度的反比，像素值被相加，以找到输出图像的像素值。

此外，基于指示从包含车辆中安装的舵角传感器171的传感器组170输出的车辆状态的信号，图像合成部分150将预测的车辆驶过路径叠加到与匹配当前车辆状态的路径数据相关联的输出像素。

图11是输出根据本发明第二实施例的车载图像处理设备的输出图像的例子的图示。如图11所示，图像合成部分150基于来自舵角传感器171的信号，提取与路径数据相关联的输出图像的像素位置P1R、P2R和P3R以及输出像素的像素位置P1L、P2L和P3L，连接像素位置作为预测的车辆驶过路径LL和LR，并将路径叠加到输出图像VI。图像输出部分60从由图像合成部分150生成的预测的车辆驶过路径以及输出图像的像素生成输出图像，并输出该输出图像。

根据本发明的第二实施例，路径数据与映射表相关联，因此消除了每次响应于来自传感器的输出计算和找到预测车辆驶过路径的需求，从而用于将预测车辆驶过路径叠加到虚拟图像用于显示的计算量能够被降低。

在本发明的第二实施例中，输入像素位置和车辆宽度以及舵角数据被提供在一个映射表中。映射表可被划分为仅具有输入像素的映射数据1和具有舵角和显示位置的映射数据2。数据的格式是一个例子，任何不同的数据格式可被采用。

尽管本发明已参照其特定实施例进行了描述，但对于本领域的技术人员而言，显然在不脱离本发明的精神和范围的情况下，可以对其进行各种改变和修改。

本申请基于2006年8月18日提交的日本专利申请No.2006-223278，其内容结合在此作为参考。

工业应用

本发明的车载图像处理设备和该设备的视点变换信息生成方法具有如下优点：其能够响应于车辆模型容易地提供适当的虚拟图像，并且对于车载照相机系统有用等。

Claims (5)

1.一种车载图像处理设备，用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定的虚拟视点观看的虚拟图像，该车载图像处理设备包括：

投影模型存储部分，用于存储预定投影模型上多个点的位置信息；

位置信息获取部分，用于参照投影模型存储部分，并获取虚拟图像对应点的位置信息，其中虚拟图像的每个像素在单独指定为虚拟图像的显示范围目标的投影模型上的区域中投影为所述虚拟图像对应点；以及

视点变换信息获取部分，用于找到反映虚拟图像对应点的真实图像的像素，并获取指示虚拟图像的像素和真实图像的像素之间的对应的视点变换信息。

2.如权利要求1所述的车载图像处理设备，其中

如果在投影模型存储部分中存储的投影模型上的指定区域中的点数与虚拟图像的像素数不匹配，则位置信息获取部分利用在投影模型存储部分中存储的点来找到虚拟图像对应点的位置信息。

3.如权利要求1或2所述的车载图像处理设备，其中

投影模型存储部分存储指示响应于与投影模型上点的位置信息相关联的车辆的状态而预测的车辆驶过路径的路径数据，并且其中

位置信息获取部分将虚拟图像对应点的位置信息和路径数据相关联，并且视点变换信息获取部分将路径数据与虚拟图像的像素相关联，以生成视点变换信息。

4.一种车载图像处理设备的视点变换信息生成方法，用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定的虚拟视点观看的虚拟图像，该视点变换信息生成方法具有步骤：

参照用于存储预定投影模型上多个点的位置信息的投影模型存储部分，并获取虚拟图像对应点的位置信息，其中虚拟图像的每个像素在单独指定为虚拟图像的显示范围目标的投影模型上的区域中投影为所述虚拟图像对应点；和

找到反映虚拟图像对应点的真实图像的像素，并获取指示虚拟图像的像素和真实图像的像素之间的对应的视点变换信息。

5.一种视点变换信息生成程序，用于使得计算机执行如权利要求4所述的视点变换信息生成方法的步骤。

Images