CN1735205A

CN1735205A - 图像生成方法和装置

Info

Publication number: CN1735205A
Application number: CN200510091146.2A
Authority: CN
Inventors: 三由贵史; 岩城秀和; 小坂明生
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-08-04
Filing date: 2005-08-04
Publication date: 2006-02-15
Anticipated expiration: 2025-08-04
Also published as: JP2006050263A; US20060029271A1; CN100435584C; US7457456B2

Abstract

图像生成方法和装置。基于一个或多个图像检测单元检测的摄像机信息来执行用于生成观察点已变图像的图像生成方法，所述图像检测单元用于检测在所述布置有图像检测单元的物体周围的图像。该图像生成方法包括：在所述观察点已变图像上显示布置有图像检测单元的物体模型，对所述布置有图像检测单元的物体的可移动部分的变化进行检测，并且在所述观察点已变图像中变换/显示所述布置有图像检测单元的物体模型的相关部分。该图像生成方法还可以包括：根据布置有图像检测单元的物体的可移动部分的变化量，来变换/显示观察点已变图像的虚拟观察点的位置。

Description

图像生成方法和装置

技术领域

本发明在总体上涉及图像生成方法和装置，更具体地涉及一种用于将由摄像机单元检测的一个或多个图像组合为一个图像的技术，修改该图像的检测点，使得它们好像实际上是从另一个观察点检测的，并对其进行显示。

背景技术

通常，当使用监控摄像机等进行监控时，将该监控摄像机设计为在监控器上显示由摄像机检测的图像，并且在排列在监控室内的多个监控器上显示由安装在监控区域的期望位置上的摄像机检测的图像。为了有助于安全驾驶，在车辆中安装摄像机，使用朝向车后的摄像机来检测驾驶员不能直接或间接看到的区域，并且在设置在驾驶员座位上的监控器上显示这种图像。

然而，由于这种监控器装置针对摄像机来显示图像，所以为了检测广阔的区域，必须设置大量的摄像机。如果使用广角摄像机，则摄像机的数量会减少。然而，由于在监控器上显示的图像精确度较差，所以难以看到被显示的图像，而且其监控器功能降低。在这种情况下，提出了将多个摄像机图像组合为一个图像并对其进行显示的技术。例如，在下面的参考文献1中，可以在一个监控器的多个分割区域中显示多个摄像机图像。在参考文献2中，可以以如下的方式来布置多个摄像机，即，使这些摄像机的检测图像可以部分地重叠，并且可以在其重叠部分中将所检测的图像组合为一个图像。在参考文献3中，通过利用坐标变换将多个摄像机的图像组合为一个图像，可以显示从任意观察点组合的图像。

在参考文献3中，一维地摄取多个摄像机的各条图像数据，并且根据已知的信息来生成三维空间模型。然后，在该三维空间模型中，根据构成从摄像机输入的图像的各个像素的信息、基于其摄像机参数对所获取的图像数据进行映射，以生成空间数据。在通过这种方式将所有独立摄像机图像与三维空间相关联作为其中的点之后，可以生成并显示观察点已变的图像，该观察点已变图像是从任意虚拟观察点而不是实际的摄像机观察点观察的。根据上述观察点已变图像显示方法，可以从一个任意的观察点来显示整个监控区域，而不会降低图像的精确度，并且还可以从任意观察点来监控要进行监控的区域。

参考文献1：日本特开平05-310078号公报

参考文献2：日本特开平10-164566号公报

参考文献3：日本专利No.3286306

发明内容

本发明的一个方面是一种图像生成方法，用于根据一个或多个图像检测单元的摄像机信息来生成观察点已变图像，所述图像检测单元检测布置有图像检测单元的物体周围的图像。该图像生成方法在观察点已变图像上同时地显示布置有图像检测单元的物体模型。然后，该图像生成方法还对布置有图像检测单元的物体的可移动部分的变化进行检测，并且在观察点已变图像中变换/显示布置有图像检测单元的物体模型的相关部分。在这种情况下，可以根据布置有图像检测单元的物体模型的变换/显示，基于接近被显示障碍物的程度来更新已显示的紧急信息。

附图说明

通过以下参照附图的详细说明，将使本发明变得更加明了。

图1示出了在优选实施例中的图像生成装置的系统结构。

图2示出了设置有优选实施例中的图像生成装置的车辆的结构。

图3示出了在布置有图像检测单元的物体(相关车辆)和另一个车辆之间的位置关系。

图4示出了布置有图像检测单元的物体的空间模型。

图5A至5C示出了布置有图像检测单元的物体是车辆的情况。

图6示出了在相关车辆的右前门打开的情况下的模型变化。

图7是示出了布置有图像检测单元的物体模型编辑设备的操作的流程图。

图8示出了紧急程度计算装置的结构。

图9示出了基于布置有图像检测单元的物体的变换的紧急区域(第一)。

图10示出了基于布置有图像检测单元的物体的变换的紧急区域(第二)。

图11是变换测绘方法的流程图。

图12示出了布置有图像检测单元的物体的紧急程度显示。

图13A和13B示出了布置有图像检测单元的物体的紧急程度彩色显示。

图14是示出了优选实施例的图像生成装置的处理的流程图。

图15A和15B示出了在将本发明应用到室内监控器装置的情况下，当门开/关时，借助于图像生成装置的布置有图像检测单元的物体的可移动部分的变化及紧急区域。

具体实施方式

下面将参照附图来描述本发明的优选实施例。

本发明的图像生成方法根据一个或多个图像检测单元的图像检测信息来生成观察点已变图像，所述图像检测单元检测其中布置有图像检测单元的物体周围的图像。该图像生成方法同时在观察点已变图像中显示布置有图像检测单元的物体模型。然后，该图像生成方法还对布置有图像检测单元的物体的可移动部分的变化进行检测，并且在观察点已变图像中变换/显示布置有图像检测单元的物体的相关部分。

在这种情况下，可以根据接近障碍物(根据布置有图像检测单元的物体模型的变换而显示出所述障碍物)的程度来更新已显示的紧急信息。还可以通过改变紧急信息的色彩来显示紧急信息。此外，可以根据可移动部分的变化来修改观察点已变图像的虚拟观察点的设置。

当根据从安装在布置有图像检测单元的物体上的一个或多个图像检测单元获得的图像检测信息来生成观察点已变图像时，本发明的图像生成方法还可以在观察点已变图像中显示布置有图像检测单元的物体模型，并且还可以根据布置有图像检测单元的物体的可移动部分的变化量，来改变/显示观察点已变图像的虚拟观察点的位置。该可移动部分包括从外部加装的货物。

本发明的图像生成装置包括：安装在布置有图像检测单元的物体上的一个或多个图像检测单元，用于检测该物体周围的图像；观察点已变图像生成单元，其基于从该图像检测单元获得的图像数据和空间模型，来生成从预定虚拟观察点观察的观察点已变图像；以及，布置有图像检测单元的物体模型更新单元，其基于在图像生成装置中的所述布置有图像检测单元的物体的可移动部分的变化，来变换布置有图像检测单元的物体模型的相关部分的显示形式，所述图像生成装置配备有布置有图像检测单元的物体模型交叠单元，其在该观察点已变图像生成单元中交叠布置有图像检测单元的物体模型。

所述观察点已变图像生成单元还可以包括：紧急信息显示单元，其基于可移动部分的位置和与所显示障碍物的接近程度来显示紧急程度，该可移动部分的位置是通过布置有图像检测单元的物体模型更新单元来更新的。在这种情况下，所述观察点已变图像生成单元优选地包括观察点更新单元，其基于布置有图像检测单元的物体的可移动部分的变化来修改观察点已变图像的虚拟观察点。此外，所述布置有图像检测单元的物体还可以是车辆。

下面将参照附图详细描述图像生成方法和装置的最优选实施例的具体配置。

图1示出了在优选实施例中的图像生成装置的系统配置。图2示出了具有该优选实施例中的图像生成装置的车辆10的结构，以便于在驾驶车辆时可以监控周边环境以帮助驾驶。该系统基本上包括：作为图像检测单元的多个摄像机12；以及观察点已变合成图像生成/显示装置16，用于处理通过这些摄像机12获得的图像数据，并且再现/显示该图像数据，作为从不同于摄像机观察点的虚拟观察点所观察到的合成图像。

首先，如图2所示，在该优选实施例中，在作为布置有图像检测单元的物体的车辆10的前部和后部，设置有作为图像检测单元的多个摄像机12。在图2中，在车辆10的前部设置有前摄像机组12F(12FR、12FC和12FL)，并且这三个摄像机12分别检测车辆右前侧45度方向上、车辆的中前侧以及车辆的左前侧45度方向上的图像。并且在车辆10的后部设置有作为图像检测单元的后摄像机组12R(12RR、12RC和12RL)，并且这三个摄像机12分别检测车辆的右后侧45度方向上、车轴的中后侧以及车辆的左后侧45度方向上的图像。

车辆10还包括观察点已变合成图像生成/显示装置16，用于组合图像，好像由摄像机检测的各个图像是从不同于所述摄像机观察点的任意观察点检测到的。该观察点已变合成图像生成/显示装置16和各个摄像机12经由网络集线器(HUB)通过局域网(LAN)线18相连，并且图像数据是经由摄像机缓冲装置14而分组发送的。以这种方式，由于从摄像机缓冲装置14中选择/提取针对各个预定观察点唯一确定的必要图像数据，以及通过分组传输来快速地获取这些图像数据，并且将它们组合以进行显示，所以可以提高图像显示速度，并且可以快速地显示合成图像。

观察点已变合成图像生成/显示装置16主要输入从各个摄像机12的观察点检测到的图像，设置布置有诸如车辆等的布置有图像检测单元的物体的三维空间，指定在该三维空间中任意设置的一个原点(虚拟观察点)，通过对从各个摄像机12的观察点检测到的该三维空间中的图像数据的像素进行坐标变换，使这些像素相关联，并且在从虚拟观察点观察的图像平面上对这些像素进行重新排列。因此，可以将从摄像机观察点获得的图像数据的像素在指定了虚拟观察点的三维空间中重新排列并组合，以生成、输出并显示从所希望的观察点(而不是摄像机的观察点)观察的合成图像。

在该系统中，由各个摄像机12检测的图像数据被分组发送。因此，将摄像机缓冲装置14添加给作为图像检测单元的摄像机12中，并在其缓冲存储器中临时存储所检测的图像。

在该缓冲装置中，将ID附加到各条所检测得到的图像数据上。该ID还包括时间标记、图像检测单元位置/姿势信息、内部图像检测单元参数以及曝光信息中的至少一个。因此，将从各个摄像机12发送来的图像数据和所附加的ID，从该缓冲装置连续地分组发送给观察点已变合成图像生成/显示装置16，该附加ID还包括时间标记和其它摄像机信息。

尽管将图像数据发送到了观察点已变组合图像生成/显示装置16(该观察点已变组合图像生成/显示装置16用于经由通信控制装置24来从摄像机12接收图像数据)，但是由预定虚拟观察点唯一地确定了要从各个摄像机12获得的图像数据。因此，该观察点已变组合图像生成/显示装置16包括图像选择装置26，以获取与预定虚拟观察点相对应的图像数据。通过该图像选择装置26从图像数据分组中选择与预定虚拟观察点相对应的图像数据分组，并且将其用于后续的图像组合处理，所述图像数据分组是从添加给任意一个摄像机12的摄像机缓冲装置14输入的。

由于通过分组传输将检测图像临时存储到了用于各条具有ID的图像数据的摄像机缓冲装置14中，所以可以使用ID信息来组合具有相同时间的多条图像数据。因此，观察点已变组合图像生成/显示装置16还包括图像排列装置28，用于根据ID信息来按照时间顺序排列来自多个摄像机12的检测图像；以及实际检测图像数据存储装置30，用于按照时间顺序来存储检测图像。

在这种情况下，如果所述多条已获取数据的参数不同步，则组合图像就不同于实际检测的图像。因此，如上所述，如果所述ID包括时间标记、图像检测单元位置/姿势信息、内部图像检测单元参数以及曝光信息中的至少一个，则可以按照要求来调整在三维空间中绘制的多个图像数据。

具有该优选实施例的系统的车辆10还包括深度测量装置42，用于测量距离可移动障碍物的深度。在该优选实施例中，该深度测量装置42通过激光雷达、毫米波雷达等测量深度。

当通过雷达来测量深度时，可以使用基于发射信号和反射信号之间的时间差来测量深度的常规系统。将由深度测量装置42生成的图像深度数据存储在深度数据存储装置43中。

此外，观察点已变组合图像生成/显示装置16包括空间模型生成装置46。该空间模型生成装置46通过使用图像数据、借助于深度测量装置的图像深度数据、校准数据来生成空间模型。

校准装置44确定并指定用于指示在三维真实环境中的摄像机特性的摄像机参数(例如图像检测单元的安装位置、安装角、透镜失真校正值、焦距等)。将通过校准获取的摄像机参数作为校准数据存储在校准存储装置48中。

因此，空间模型生成装置46通过使用图像数据、图像深度数据和校准数据来生成空间模型。将所生成的空间模型存储在空间模型存储装置50中。

空间重构装置32将如此选择性取得的图像数据的各个像素与三维空间中的点相关联，并且生成空间数据。以这种方式，来计算构成所选图像的各个对象所处的位置，并且将作为计算结果的空间数据临时存储在空间数据存储装置34中。

观察点改变装置36读取由空间重构装置32生成的空间数据，并且再现从指定虚拟观察点观察的图像。该过程是由空间重构装置32执行的处理的逆过程。以这种方式，基于从空间数据存储装置34中读取的数据，来生成从新改变的观察点观察的图像，并且在将该图像存储在观察点已变图像数据存储装置38之后，通过显示器件40来显示图像，作为观察点已变图像。

在该优选实施例中，由于利用优先级来获得与在观察点已变图像中的虚拟观察点的位移相对应的来自必要图像检测单元的图像数据分组，所以不存在额外的数据处理，并且提高了图像组合处理的速度，这对于在需要实时响应的移动物体(诸如车辆)的应用中是高效的。

在本发明中，当通过观察点改变装置36来显示观察点已变图像时，在观察点已变图像中显示车辆10的模型(作为布置有图像检测单元的物体)。同时，对所述布置有图像检测单元的物体的可移动部分的变化进行检测，并且变换并显示观察点已变图像中的所述布置有图像检测单元的物体模型的相关部分。下面将描述这一处理。首先，图3示出了在布置有图像检测单元的物体(相关车辆)和其它车辆之间的位置关系。如图3所示，另一个车辆82位于布置有图像检测单元的物体(相关车辆)80的后面。在这种位置关系中，生成图4中所示的空间模型。布置有图像检测单元的物体模型84位于空间模型坐标系的中心，形成圆柱形空间模型(背景)O和平面上的空间模型(路面)P，并且将虚拟观察点Q设置为从布置有图像检测单元的物体模型84上部向斜后下方。如图4所示，三维地形成从相关的车辆侧观察的空间模型(另一车辆)R。

将布置有图像检测单元的物体模型84作为CAD数据进行预先存储，并且可以从多条模板数据(诸如小汽车、运货车、卡车等)中选择任意一个数据。图5A到5C示出了当图3和图4所示的布置有图像检测单元的物体80是轿车型车辆的情况下的布置有图像检测单元的物体模型的示例。图5A、5B和5C分别是布置有图像检测单元的物体模型84的顶视图、侧视图和前视图。图6示出了相关车辆的右前门打开的情况下的模型的变化。如图6所示，在该模型中，可以指定车辆的宽度W、长度L和高度H，门的开/关角(例如，在右前门的情况下，开/关角为θFDR(F表示前侧，D表示门，而R表示右侧))、枢轴的位置FDR(X，Y)、门LFDR的长度等，而且还可以变换门的开/关等。

在图6中，还设置了布置有图像检测单元的物体的坐标。如图6所示，将布置有图像检测单元的物体模型84的前侧设置为Y轴，在该相关车辆的中心且与Y轴相关联的方式来设置X轴。将这些坐标固定在与图4所示的空间模型坐标系相同的轴上。因此，可以基于该坐标系来生成空间模型。每个门都具有开/关检测器，而且还可以测量四个门的开/关角θFDR、θFDL、θRDR和θFDL(F表示前，D表示门，R表示右侧，而L表示左侧)。

图7示出了布置有图像检测单元的物体模型编辑设备的操作的流程图。

当布置有图像检测单元的物体模型的变换探测检测器62检测变换时(S202)，布置有图像检测单元的物体模型编辑装置60读取布置有图像检测单元的物体的变换探测检测器值(S204)。

在S206，布置有图像检测单元的物体模型编辑装置60确定是否对布置有图像检测单元的物体模型进行变换。

如果对布置有图像检测单元的物体模型进行了变换(S206中的“是”)，则布置有图像检测单元的物体模型编辑装置60从布置有图像检测单元的物体模型存储装置64中读取(S210)已变换的布置有图像检测单元的物体模型(S208)。

如果没有对布置有图像检测单元的物体模型进行变换(S206中的“否”)，则该处理返回到探测检测器的探测状态。

作为一个示例，如果右前门被打开，则布置有图像检测单元的物体模型编辑装置60根据该门的旋转角θFDR值使布置有图像检测单元的物体模型的三维数据沿着该门的旋转轴旋转，并且执行如图6所示的变换处理(S212)。

在完成了变换处理之后，将布置有图像检测单元的物体模型输出给布置有图像检测单元的物体模型存储装置64，并且将该布置有图像检测单元的物体模型存储在其中(S214)。

就已变换的布置有图像检测单元的物体模型来说，确定该变换处理是否已完成。如果已完成该变换处理(S218中的“是”)，则该变换处理结束。如果没有完成该变换处理，则该处理返回到探测检测器的探测状态。

使用这种布置有图像检测单元的物体模型来生成空间数据。由于这种空间数据还包括相关车辆的布置有图像检测单元的物体模型，所以如果虚拟观察点位于可以观察车辆的部分，则在观察点已变图像中显示出布置有图像检测单元的物体模型。

通过紧急程度计算装置(作为图8所示的紧急信息显示单元)来显示紧急区域。紧急程度计算装置86基于空间数据、实际检测的图像数据存储装置30的实际图像数据等，来识别诸如另一车辆等的障碍物，并且基于另一个车辆的变化来计算其预测路线等。将以这种方式计算的紧急程度分布到空间模型上，并且就高度紧急的部分来说，空间数据编辑装置88改变空间数据的色彩等。基于空间数据，通过生成虚拟观察点已变图像来显示紧急区域。

接下来，将参考图9到11描述基于布置有图像检测单元的物体的变换的紧急区域的变换测绘方法，其作为紧急区域的显示方法。如图9所示，通过连接布置有图像检测单元的物体模型84的最外周获得的区域被称作最外周区域A。此外，将通过将所述最外周区域A扩展预定量而获得的范围设置为紧急区域B。

图11是变换测绘方法的流程图。计算外周线，作为用于环绕布置有图像检测单元的物体模型84的最外周线(S300)。将布置有图像检测单元的物体模型84的最外周线向外侧扩展预定量(S302)，并且将由最外周线和扩展后的最外周线包围的区域称为紧急区域空间模型(S304)。由警告色彩来代替用于指示包括在紧急区域空间模型中的空间模型的各个空间数据的色彩信息(例如亮度、饱和度、色调等)(S306)，例如将其色调改变为红色。在空间数据上生成其色彩已被修改为警告色彩的警告区域(S308)。通过使用用于观察点已变图像的空间数据，可以根据布置有图像检测单元的物体的变换来显示紧急区域。所生成的紧急区域对应于图9所示的区域B。

如图10所示，如果右前门(FDR)打开，则紧急区域B会根据布置有图像检测单元的物体的变化而变化。通过对空间模型中的部分进行设置，并且将要映射到观察点已变图像中的图像的色彩改变为例如红色来显示警告。

此外，通过改变色彩来显示这种紧急信息。如图12所示，在这种情况下，还可以通过改变空间数据上的发生变化的门的色彩来显示紧急程度。

根据可移动部分的变化来修改观察点已变图像的虚拟观察点的设置。当在鸟瞰图像中显示布置有图像检测单元的物体模型84时，根据相关车辆的状态(诸如门的开/关状态等)，来变换并显示布置有图像检测单元的物体模型84，并且还根据接近程度来改变色彩等。如果在空间数据编辑装置88修改要被编辑的空间色彩时，紧急程度计算装置86对高紧急程度进行检测，则还可以修改并显示用于修改色彩的方式。在这种情况下，使用紧急区域和另一个车辆的预测路线之间的接近程度来确定紧急程度是高还是低。如果确定了预测路线越接近于紧急区域，则紧急程度就越高。

例如，如图13A和13B所示，越是接近于另一个车辆的预测路线的部分具有越高警告等级的色彩。如图13A所示，分别通过绿色和黄色来显示低级和中级警告。然后，如图13B所示，如果车门打开且警告等级为高，则通过红色来显示周围区域。可以通过空间数据编辑装置将色彩信息的重写应用于空间数据。可以在与路面空间模型相同的平面上显示该紧急区域。另选地，可以在布置有图像检测单元的物体的周围空间中三维地设置紧急区域。

当为了显示这种紧急区域或接近程度而设置虚拟观察点时，根据侧视镜、后视镜等的调整来改变虚拟观察点的设置或盲角的显示。具体地，如果应为驾驶员等显示的盲角由于例如以下的原因而变化时，该原因例如是：为了显示这种紧急区域或接近程度，在设置虚拟观察点时，对布置有图像检测单元的物体模型的更新伴随着对侧视镜的调整，那么虚拟观察点编辑装置90还可以通过编辑虚拟观察点数据、将这些数据输出给虚拟观察点设置装置92并且将这些数据写入虚拟观察点存储装置94，来相应地修改图像选择装置26或虚拟观察点改变装置36的操作。虚拟观察点编辑装置90通过使用镜角检测器、侧视镜调节检测器等作为布置有图像检测单元的物体变换探测检测器62，来更新布置有图像检测单元的物体模型，还通过镜子等来检测驾驶员可以监控的区域的变化。

虚拟观察点编辑装置90根据可转换车篷(hood)的开/闭来改变预置的虚拟观察点的位置。虚拟观察点编辑装置90根据负载的状态来改变虚拟观察点的预设位置。虚拟观察点编辑装置90根据拖车的运动来更新虚拟观察点的设置、或要在虚拟观察点图像上交叠的相关车辆模型。具体地，尽管在上述优选实施例中，使用门的开/关检测器作为布置有图像检测单元的物体的变换探测检测器62，但在这种情况下，可以在可转换车篷上设置开/关检测器，并且根据该开/关检测器来更新布置有图像检测单元的物体模型。此外，如果驾驶员的可见度被如此改变很大，并且所布置的摄像机由车篷所覆盖，则由于图像检测装置的选择和虚拟观察点的设置变得不合适，虚拟观察点编辑装置90通过编辑虚拟观察点数据、将这些数据输出给虚拟观察点设置装置92并且将这些数据写入虚拟观察点存储装置94，来根据布置有图像检测单元的物体模型的更新，而改变图像选择装置26或虚拟观察点改变装置36的操作。同时，当探测车篷的开/闭时，布置有图像检测单元的物体模型编辑装置60从布置有图像检测单元的物体模型存储装置64中读取布置有图像检测单元的物体模型，并且将其车篷模型的变换应用到布置有图像检测单元的物体模型的三维数据。将已变换的布置有图像检测单元的物体模型输出给布置有图像检测单元的物体模型的存储装置64，并且将该布置有图像检测单元的物体模型存储在其中。

如果将红外线、超声波检测器等用作布置有图像检测单元的物体变换探测检测器62以探测负载，则当由于在装载平台上的负载、其拖动的车辆等原因而出现与上述问题相同的问题时，可以修改虚拟观察点的位置。

具体地，如果在车辆拖动拖车时布置有图像检测单元的物体变换探测检测器62对被拖车的拖动进行检测，则布置有图像检测单元的物体模型编辑装置60从布置有图像检测单元的物体模型存储装置64中读取布置有图像检测单元的物体模型，并且将其所拖车模型添加给布置有图像检测单元的物体模型的三维数据，并对布置有图像检测单元的物体模型进行变换。将已变换的布置有图像检测单元的物体模型输出给布置有图像检测单元的物体模型存储装置64，并且将该布置有图像检测单元的物体模型存储在其中。

图14是示出了上述优选实施例的图像生成装置的处理的流程图。下面是观察点已变图像的生成方法。

首先，通过虚拟观察点设置装置92来选择要显示的任意一个虚拟观察点(S100)。

然后，从多个摄像机12中选择要使用的摄像机(S102)。

之后，通过所选的摄像机12来检测图像(S104)。

通过校准装置44预先进行要用于立体匹配的校准，并且生成并选择校准数据，使如对应于所选摄像机12的基线长度、内部和外部摄像机参数(S106)。

然后，基于所获取的校准数据将立体匹配应用于所选的被检测图像。具体地，通过从左侧立体投影图像到右侧立体投影图像绘制预定窗口、并且对窗口图像的归一化互相关值等进行计算、并且对左图像和右图像的各自像素之间的视差进行计算来检索对应点。基于所述校准数据通过使用视差来计算深度，并且将所获得的深度数据规定为图像深度数据(S108)。

然后，将借助于摄像机12的图像数据、借助于深度测量装置42和布置有图像检测单元的物体模型的图像深度数据输入作为空间模型更新单元的空间重构装置32。通过在所希望的深度处选择性地使用这些数据，来生成更加具体的空间模型(S110)。然后，根据所述校准数据将对应于该空间模型的实际检测的图像数据映射到三维空间模型上，并且还将从图像检测单元输入的图像映射到该三维空间模型上。因此，生成了结构映射空间数据(S112)。

然后，参考由空间重构装置32生成的空间数据，通过观察点改变装置36来生成从所希望的虚拟观察点观察的观察点已变图像(S114)。

然后，在显示器件40上显示所生成的观察点已变图像数据。

当在该处理中生成虚拟观察点合成图像时，对布置有图像检测单元的物体的移动部分的变化进行检测，并且将观察点已变图像中的布置有图像检测单元的物体模型的相关部分、或者在布置有图像检测单元的物体模型同时显示在观察点已变图像上。同时，根据布置有图像检测单元的物体的可移动部分的变化量，对观察点已变图像的虚拟观察点的位置进行改变并显示。

尽管在上述优选实施例中，将图像生成系统安装在车辆上并且使用，但是通过将系统应用于室内监控系统也可以实现根据变化的观察点的改变。例如，可以检查待监控的房间中的门的开/关状态，并且可以显示电器或家具的门的状态变化。

图15A和15B示出了一种情形，在这种情形中，布置有图像检测单元的物体对应于房间120和家具122，而可移动物体对应于人124。在图15A中，家具122a的门和房间120a的门是打开的，其紧急区域F也相应地被扩宽。在图15B中，家具122a的门和房间120a的门是关着的，其紧急区域F也相应地变窄。在这种情况下，其设备配置与安装在车辆上的设备配置完全相同。

通过将布置有图像检测单元的物体结合到房间的内部设计中，可以在形成了合谐的生活空间的同时对该房间进行监控。在这种情况下，当人接近于紧急区域时，使用空间数据，不仅可以通过虚拟观察点图像的色彩改变来显示紧急程度，而且除了视觉观测之外，还可以通过来自扬声器等的音频信号、来自振动器等的振动等将紧急程度通知给人。对于人们来说，最好是能够通过变换立体声音频的声音或者多个振动器来识别高度紧急区域的方向。

尽管在上述优选实施例中，在车辆或监控房间中安装了诸如摄像机12等的图像检测单元，但甚至在将该图像检测单元安装到室内或室外的布置有图像检测单元的物体(例如行人、街道、商店、住宅、办公室等)中时，也可以生成相同的图像。通过采用这种配置，还可以将该图像生成装置应用于用于获取基于视频的信息的监控摄像机或者便携式计算机等。

本申请要求于2004年8月4日提交的日本申请No.2004-228541的优先权，通过引用将其内容并入本文。

Claims

1、一种图像生成方法，用于基于一个或多个图像检测单元检测的摄像机信息来生成观察点已变图像，所述图像检测单元检测在布置有图像检测单元的物体周围的图像，所述图像生成方法包括：

在所述观察点已变图像上显示布置有图像检测单元的物体模型；

对所述布置有图像检测单元的物体的可移动部分的变化进行检测；以及

在所述观察点已变图像中变换/显示所述布置有图像检测单元的物体模型的相关部分。

2、权利要求1所述的图像生成方法，其中：

根据所述布置有图像检测单元的物体模型的变换/显示，基于与障碍物的接近程度来更新所显示的紧急信息。

3、据权利要求1所述的图像生成方法，其中：

通过改变所述紧急信息的色彩来显示所述紧急信息。

4、根据权利要求1所述的图像生成方法，其中：

根据所述可移动部分的变化来修改所述观察点已变图像的虚拟观察点的设置。

5、一种图像生成方法，用于基于安装在布置有图像检测单元的物体上的一个或多个图像检测单元所获取的图像数据来生成观察点已变图像，所述图像生成方法包括：

根据所述布置有图像检测单元的物体的可移动部分的变化量，来改变/显示所述观察点已变图像的虚拟观察点的位置。

6、根据权利要求5所述的图像生成方法，其中：

所述可移动部分包括从外部安装的负载。

7、一种图像生成装置，包括：

安装在布置有图像检测单元的物体上的一个或多个图像检测单元，用于检测在所述布置有图像检测单元的物体周围的图像；

观察点已变图像生成单元，其基于通过所述图像检测单元获得的图像数据和空间模型，来生成从所设置的虚拟观察点观察的观察点已变图像；

布置有图像检测单元的物体模型交叠单元，其在所述观察点已变图像生成单元上叠加/显示布置有图像检测单元的物体模型；以及

布置有图像检测单元的物体模型更新单元，其基于所述布置有图像检测单元的物体的可移动部分的变化，来变换/显示所述布置有图像检测单元的物体模型的相关部分的显示形式。

8、根据权利要求7所述的图像生成装置，其中：

所述观察点已变图像生成单元包括：紧急信息显示单元，其根据通过所述布置有图像检测单元的物体模型更新单元更新的可移动部分的位置和与所显示障碍物的接近程度来显示紧急情况。

9、根据权利要求7所述的图像生成装置，还包括：

观察点改变单元，其基于布置有图像检测单元的物体的可移动部分的变化，来修改观察点已变图像的虚拟观察点。

10、根据权利要求7所述的图像生成装置，其中：

所述布置有图像检测单元的物体是车辆。