CN1344470A - 图象处理装置及监视系统 - Google Patents

Abstract

一种图象处理装置及监视系统使用对车辆周围进行拍摄的多台摄象机的拍摄图象,生成从车辆上方的假设视点看去的合成图象。在合成图象中的存在自己车辆的车辆区域显示自己车辆的插图图象或实际拍摄图象。而且,对于任意摄象机拍摄不到的自己车辆周围的区域,表示为死角区域。

Description

图象处理装置及监视系统

技术领域

本发明涉及利用由多台摄象机拍摄的图象生成合成图象的图象处理技术，特别是属于构成被利用在作为行车安全确认的辅助装置等中的监视系统的技术。

背景技术

以往的监视系统一般是通过设置1台或多台监视摄象机对监视对象进行拍摄，将拍摄的图象显示在监视器上。通常这种系统对应所设置的摄象机的台数，需要设置相同数量的监视器。

而且，作为以往的车辆用安全监视系统，例如具有在车辆的周围设置摄象机，将摄象机拍摄的图象显示在设置在驾驶席附近的监视器上的构造。这样的系统能够使驾驶员通过监视器观察到象车辆后方那样的通过目视或反光镜难以观察到的部位。

并且，在日本国专利公报第2696516号中发表了一种具有对应齿轮和车速在监视器上进行画面分割显示构成的监视系统。具体的是，当判断为车辆是在停止或微速行驶时，将监视器画面进行3分割，显示把由设置在车辆的左右及下方的3台摄象机所拍摄的图象合成的合成图象，当车辆被判断为前进状态时，2分割监视器画面，显示配置在车辆左右的2台摄象机图象的合成图象。

另外，在日本国专利公开公报的特开平11-78692号中，发表了每当遇到实际情况时，可确切地合成显示映象的车辆用映象提示装置。具体的是，对应后退入库状态、或前进入库状态、或纵列停车状态、或进入视野不好的交叉路口的状态等的车辆行驶状态，进行摄象机图象的变形合成。

但是，这种以往的构成对于车辆的驾驶员等的用户来说，并不是一种易于使用的系统。

发明内容

本发明的目的是提供一种在对车辆驾驶员等用户的方便性方面优于以往技术的图象处理装置或监视系统。

具体的是，本发明是一种具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成从假设视点看去的合成图象的图象处理部，上述图象处理部对应上述车辆的行驶状态，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项的图象处理装置。

并且，理想的是：上述图象处理部对应上述车辆的行驶速度，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

另外，理想的是：上述图象处理部在至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项的同时，进行收进变更后的假设视点的视野范围之外图象的控制。而且，理想的是：上述图象处理部通过改变用于图象合成的模式来进行收进变更后的假设视点的视野范围之外图象的控制。

另外，理想的是：上述图象处理部对应上述车辆的转向角，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

而且，理想的是：上述图象处理部对应上述物体传感器的检测结果，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

另外，理想的是：上述图象处理部具有原构图表，使用从这个原构图表中提取出的构图表进行合成图象的生成，并且，通过改变从原构图表提取出的构图表来进行上述假设视点的位置、视线的朝向及焦点距离其中的至少任意一项的变更。

另外，本发明的图象处理装置是：一种具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成从假设视点看去的合成图象的图象处理部，上述图象处理部对应上述车辆的行驶状态，进行收进变更后的假设视点的视野范围之外图象的控制的图象处理装置。

另外，本发明的监视系统是：一种具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成从假设视点看去的合成图象的图象处理部、和显示上述合成图象的显示部，上述图象处理部对应上述车辆的行驶状态，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项的监视系统。

另外，具体地说，本发明的图象处理装置是：一种具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部，上述图象处理部生成作为上述合成图象的包含从假设视点看去的第1图象和从至少与上述第1图象的假设视点的位置、视线的朝向及焦点距离中的任意一项不同的视点看去的，或与上述第1图象的模式不同的第2图象的图象的图象处理装置。

另外，理想的是：上述第2图象是至少一个上述摄象机图象。

而且，理想的是：上述第1图象是表示自己车辆及其周围的近处图象，上述第2图象是表示位于上述近处图象所示的自己车辆周围区域远方的区域的远方图象。并且，理想的是：上述图象处理部在上述合成图象中的上述近处图象的周围配置上述远方图象。更好的是：上述远方图象是与上述近处图象具有连续性的图象。

另外，理想的是：上述第1图象是表示自己车辆的至少一部分和自己车辆周围的至少一部分的图象，上述第2图象是把上述第1图象所示的区域的至少一部分放大的图象。

另外，本发明的监视系统是，一种具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部、和显示上述合成图象显示部，上述图象处理部生成作为上述合成图象的包含从假设视点看去的第1图象和从至少与上述第1图象的假设视点的位置、视线的朝向及焦点距离其中的任意一项不同的视点看去的，或与上述第1图象的模式不同的第2图象的图象的监视系统。

另外，具体地说，本发明是，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部，上述图象处理部在所述合成图象中把表示自己车辆存在的车辆区域的至少一部分和自己车辆周围的至少一部分的区域作为提醒注意的注意提醒区域进行显示。

另外，理想的是：上述合成图象是从设定在上述车辆上方的假设视点看去的图象。

而且，理想的是：上述图象处理部在上述车辆区域上显示自己车辆的插图图象或实际拍摄图象。

另外，理想的是：上述上述注意提醒区域包含从任意摄象机都拍摄不到的车辆周围的死角区域的一部分。或者，理想的是：上述注意提醒区域相当于从任意摄象机都拍摄不到的车辆周围的死角区域。并且，理想的是：上述图象处理装置使用表示各个摄象机图象中的映入自己车辆的区域的区域数据，确定组合上述死角区域及车辆区域的区域范围。

另外，作为本发明的监视系统，具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部、和显示上述合成图象的显示部，上述图象处理部在上述合成图象中显示自己车辆存在的车辆区域的至少一部分和表示自己车辆周围的至少一部分的为了提醒注意的注意提醒区域。

另外，具体地说，作为本发明的图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部，上述图象处理部使用具有记述合成图象的象素与摄象机图象的象素的对应关系的第1构图数据，和记述表示合成图象的象素与摄象机图象以外的象素数据互相对应的识别因子的第2构图数据的构图表生成上述合成图象。

另外，理想的是：上述摄象机图象以外的象素数据用于表示上述车辆或上述车辆周围的至少一部分中的死角区域。

另外，理想的是：上述图象处理部记忆有摄象机图象以外的规定的图象，上述第2构图数据用于记述对于合成图象的象素，在被记忆的上述规定的图象中的与该象素对应的坐标值。

另外，理想的是：上述第2构图数据用于记述对应合成图象象素的象素数据。

另外，作为本发明的图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部，上述图象处理部使用记述有合成图象的象素与由摄象机图象的象素数据和摄象机图象以外的象素数据中的一方或双方构成的多个象素数据之间的对应关系，并且，对各个象素数据分别记述了必要度的构图数据，根据必要度把各个象素数据进行叠加，来生成上述合成图象象素的象素数据。

另外，作为本发明的图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入并且根据这些摄象机图象生成合成图象的图象处理部，上述图象处理部具有原构图表，从这个原构图表中提取出记述合成图象的象素与摄象机图象的象素的对应关系的构图表，利用提取出的构图表来生成合成图象。

附图说明

图1是表示本发明的监视系统的示意图。

图2是表示摄象机配置例的视图。

图3表示图2中的各个摄象机的拍摄图象。

图4是概念地表示假设视点与实际摄象机之间关系的视图。

图5表示一例生成的合成图象。

图6是表示构图表进行图象合成的视图。

图7表示本发明的一实施例的监视系统的构成。

图8是表示图7的图象合成部的动作的流程图。

图9表示一例构图表的构成。

图10是详细表示图8的象素合成步骤S14的流程图。

图11表示一例记述了摄象机图象的象素数据的构图数据。

图12表示一例利用8幅摄象机图象构成的俯视图象。

图13表示一例利用4幅摄象机图象构成的俯视图象。

图14表示一例利用2幅摄象机图象构成的俯视图象。

图15表示一例向斜下方看去的图象。

图16表示一例全景方式的前方全景图象。

图17表示一例全景方式的后方全景图象。

图18表示一例由斜下方图象和全景图象组合的图象。

图19表示一例在对应车辆的行驶状态改变了假设视点的高度的情况下的合成图象。

图20表示一例在对应车辆的行驶状态改变了假设视点的视线朝向的情况下的合成图象。

图21表示一例在对应车辆的转向角改变了假设视点的视线朝向情况下的合成图象。

图22表示一例对应物体检测传感器输出信号的切换图象的视图。

图23表示一例对应物体检测传感器输出信号的切换图象的视图。

图24表示一例对应物体检测传感器输出信号的切换图象的视图。

图25表示本发明的一实施例的监视系统的构成。

图26表示在平行移动图象时的构图表的裁取的视图。

图27表示在放大缩小图象时的构图表的裁取的视图。

图28表示对构图表以矩形以外的四边形进行裁取的实例图。

图29表示摄象机图象的实例。

图30表示通过在俯视图象的左右附着向斜后方拍摄的摄象机图象的合成图象的实例。

图31表示并排显示窄范围的俯视图象和宽范围的俯视图象的实例。

图32表示在俯视图象的周围附着斜下方图象的实例。

图33表示在俯视图象的周围附着使用模拟圆筒方式的图象的实例。

图34表示在俯视图象的周围附着全景图象的实例。

图35表示在俯视图象的周围附着斜下方的图象，在四角部留有空白部的实例。

图36在显示摄象机图象的同时显示表示假设视点位置的图象。

图37是表示摄象机图象和映入自己车辆的区域的掩蔽数据的实例。

图38表示叠加自己的车辆的图象的实例。

图39表示在把映入自己车辆的图象直接进行转换的场合下的一例合成图象。

图40是表示掩蔽数据的一部分的视图。

图41表示一例显示有车辆区域和死角区域的合成图象。

图42是表示在求出死角区域，附着车辆图象时生成构图数据的顺序的视图。

图43是表示掩蔽数据与合成图象象素之间关系的视图。

图44表示一例利用按照图42的顺序获得的构图数据所合成的图象。

图45是表示在指定告警区域时的构图数据的生成顺序。

图46表示一例利用按照图45的顺序获得的构图数据所合成的图象。

图47是几何变换的说明图。

图48是几何变换的说明图。

图49是几何变换的说明图。

图50是几何变换的说明图。

具体实施方式

图1是本发明的监视系统的概念图。在图1所示的监视系统中，图象处理部2将由拍摄部1输出的多幅摄象机图象作为输入进行合成，生成从假设视点看去的合成图象。这个合成图象通过例如象液晶显示器那样的显示部3来显示。由图象处理部2构成本发明的图象处理装置。

在这里说明的本监视系统是装配在车辆上的作为在停靠车辆时的辅助装置所使用的系统。

图2是一例摄象机的配置图，图3是一例按照图2那样配置的摄象机的拍摄图象。如图2所示，分别在车辆的车门反光镜附近、后方柱附近及后背箱上配置5台摄象机。图象处理部2根据图3所示的5幅摄象机图象生成从假设视点看去的合成图象。

假设视点与在生成计算机图象时配置摄象机的情况相同，可在3维空间的任意位置、任意方向上进行设定。确定假设视点的参数是由表示假设视点在3维空间中的位置的坐标(X坐标、Y坐标、Z坐标)、表示方向的3个角度，即方位角(水平转动)、仰角(倾角)及Twist(围绕光轴的转动)和确定视野范围的焦距构成。焦距是指假设视点到生成合成图象的投影面之间的距离，当焦距小时为广角图象，焦距大时为望远图象。实际的摄象机等一般是用根据投影面的胶片尺寸(35mm)换算的距离(mm)来表示，但在本说明书中由于合成图象的尺寸用象素表示，所以焦距也用象素来表示。

通过对应具体的状况选择这个假设视点的位置、方向及焦距可生成适当的合成图象。

图4表示假设视点与实际摄象机之间的关系。在图4中，假设视点被设定在车辆的上方。图5表示一例生成的合成图象，生成表示从图4所示的假设视点看去的包括自己车辆及其附近的图象。

本实施例的图象处理部2为了生成由多幅摄象机图象组成的合成图象，使用了构图表4。这里的所谓“构图表”是指记述了合成图象的象素与各个摄象机图象的象素数据之间关系的数据表。另外，如后面所述的那样，构图表也可以记述合成图象的象素与摄象机图象以外的象素数据之间的对应关系。

构图表的原理

下面，利用构图表对生成由多幅摄象机图象构成的合成图象的动作进行说明。

图6是说明这个动作的概要的说明图。图6中的(a)～(c)分别表示设置在相互不同位置上的3台摄象机(分别与图2中的摄象机3、摄象机1及摄象机2相对应)的拍摄图象。图6的(d)是为了合成由图6的(a)～(c)的各个摄象机图象构成的合成图象所使用的构图表。图象处理部2依照图6(d)的构图表的信息，根据图6(a)～(c)的3幅摄象机图象生成图6(e)所示的一幅合成图象。

图6(d)所示的构图表具有分别对应图6(e)所示的合成图象的各个象素的构图数据。各个构图数据记述有关于对应的合成图象的象素是由哪个摄象机图象的象素所生成的信息。

所谓生成合成图象就是确定合成图象的全部象素的值。这里是以图象处理部2从左上按照光栅的顺序依次确定合成图象的象素值，确定其中的象素P1的场合为例，对该动作进行说明。

首先，参照对应合成图象的象素P1的构图数据MP1。在构图数据MP1中记述有对应的摄象机编号和该摄象机图象的对应象素的坐标。当前记述在构图数据MP1中的摄象机编号为“1”、X坐标为“340”、Y坐标为“121”。

图象处理部2根据构图数据MP1的记述内容，参照图6所示的摄象机1的拍摄图象的坐标(340、121)的象素数据C1来确定合成图象的象素P1。在这里，作为最简单的确定方法是直接把象素数据C1的值作为象素P1的值。通过按照同样的方法确定合成图象的各个象素的值，便可生成图6(e)所示的合成图象。

例如，由于对应合成图象的象素P2的构图数据MP2表示图6(c)所示的摄象机2的拍摄图象的象素数据C2，所以作为象素P2的值可赋予象素数据C2的值。同样，由于对应合成图象的象素P3的构图数据MP3表示图6(a)所示的摄象机3的拍摄图象的象素数据C3，可把象素数据C3的值赋予象素P3。在图6(d)的构图表中，区域R1与摄象机1对应，区域R2与摄象机2对应，区域R3与摄象机3对应。

对应各个摄象机的3个区域R1～R3以外的区域R4，可以认为是各个摄象机的拍摄区域以外的区域，或是被自己车辆遮挡住的死角，总之是不存在对应摄象机图象的区域。例如，合成图象的象素P4为上述那样的区域R4。因此，与象素P4对应的构图数据MP4的摄象机编号用表示不存在对应摄象机图象的特定摄象机编号(在这里用“-1”表示)记述。并且，当摄象机编号为“-1”时，对对应的象素P4设定表示其为拍摄区域以外或死角的规定的象素数据。这里把规定的象素数据设定为黑色。

在图6的实例中，构图表具有可生成从车辆上方的假设视点向下看去的车辆周围的合成图象的构成。这样的构图表如后述的那样，可利用把路面为平面作为前提的几何变换作成。或也可以一边观察合成图象一边进行修正地作成。

在实际设定时，可通过利用构图表，把合成图象与摄象机图象的象素数据的对应关系根据用途自由地设定。例如，可把摄象机图象的任意区域放大或缩小合成在摄象机图象的一部分中，或并排地合成多幅摄象机图象等生成任意的合成图象。

并且，由于无论是何种生成合成图象的构图表，图象处理部2都只需执行参照构图数据、参照被指定的摄象机图象的象素数据、设定合成图象的各个象素值的步骤即可完成对合成图象的各个象素值的设定，所以，其处理量比起通过逐次的运算进行图象合成的场合要小的多。因此，由于本方式的处理量与合成图象的种类无关保持不变，并且能够进行高速处理，所以尤其适用于要求实时地在一定时间内完成处理的监视或驾驶辅助等的用途。

(合成图象生成动作的实施例1)

图7表示一例本实施例的监视系统的构成。图7所示的图象处理部2具有图象合成部200、显示模式记忆部210及显示模式设定部220。显示模式记忆部210具有记忆如上所述的多个构图表的构图表记忆部211。显示模式设定部220从记忆在构图表记忆部211中的构图表中对应生成的合成图象的显示模式选择出1个构图表MPT，把其设定在图象合成部200的构图表参照部202中。

另外，显示模式记忆部210具有记忆有各种插图图象的插图记忆部212。显示模式设定部220从插图图象记忆部212中读出生成合成图象所必要的插图图象，把其设定在图象合成部200的插图参照部203中。在这里设定表示自己车辆的插图图象。

图象合成部200根据设定在构图表参照部202中的构图表MPT，使用从拍摄部1输出的摄象机图象来生成合成图象。时序生成部205生成为了生成合成图象动画系列的时序信号。

在各个摄象机101中设有一对桢存储器102a、102b。在这里使用CCD感光器件的摄象机。在使用CMOS器件的摄象机的情况下，由于可使摄象机具备桢存储器的机能，所以可省去桢存储器。

图8是表示在生成1桢的合成图象时的图象合成部200的动作的流程图。

首先，对应从时序生成部205输出的开始合成一桢图象的时序信号，拍摄部1执行在写入有各个摄象机101拍摄的图象的桢存储器102a与可被图象合成部200参照的桢存储器102b之间的转换(步骤S11)。在这里之所以对各个摄象机101要设置2个桢存储器进行数据转换，是由于如后面所述的那样，图象合成部200要对应构图表MPT对摄象机图象的象素数据进行跳跃式地参照，与摄象机101的写入顺序无关，为了防止写入与参照相互发生干扰。

然后，时序生成部205生成把进行合成处理的象素指定在构图表参照部202中的时序信号(步骤S12)。构图表参照部202从构图表MPT中读出对应被指定的象素的构图数据，输出到象素合成部201(步骤S13)。

象素合成部201对应输入的构图数据的内容，使用存储在桢存储器102中的各个摄象机图象的象素数据，或存储在插图参照部203中的插图图象的象素数据，生成被指定的合成图象的象素值，输出到映象信号生成部204(步骤S14)。这个步骤S14的处理将在后面进行详细说明。

映象信号生成部204对应从时序生成部205所输出的时序信号，将输入的合成图象的象素值转换成映象信号，输出到显示部3(步骤S15)。

图象合成部200对一桢的所有象素执行步骤S12～S15的处理(步骤S16，S17)。时序生成部205在执行完一桢的最后象素的处理后，开始执行下一桢的处理。

另外，也可以以半帧为单位执行同样的处理。

图9表示一例构图表的构成。图9所示的构图表具有MP11～MP14的4种构图数据。虽然各个构图数据的构成与图6所示的构图数据基本相同，但在摄象机编号及X，Y坐标的基础上增加了该象素值的必要度的记述。在这里，“必要度”用从0到1的值来表示，值越大表示该象素的必要度越高。

构图数据MP11记述了合成图象的象素与1个摄象机图象的象素数据的对应关系。在此情况下，必要度为“1”。而构图数据MP12记述了合成图象的象素与多个摄象机图象的象素数据的对应关系。在此情况下，是在对摄象机图象的象素数据进行对应该必要度的叠加之后生成合成图象的象素值。

构图数据MP13用于在合成图象的象素上附着插入图象的象素数据。即，为了能够识别存储在插图参照部203中的插图图象，将不与任何实际摄象机对应的编号(在这里用“99”)作为摄象机编号分配给插图参照部203。

构图数据MP14表示合成图象的象素位于所说的死角区域。即，在生成构图表时，为了生成合成图象而对参照的摄象机图象的象素的坐标值进行计算的计算结果表示该坐标值的象素，例如正当拍摄车辆本身的场合，该合成图象的象素正好位于车辆区域与死角区域重合的区域。从这个区域中除去车辆区域的区域既是死角区域。所以，例如通过赋予实际不存在的摄象机编号和X，Y坐标值来表示位于死角区域。在这里用“-1”表示实际不存在的摄象机编号。

图10是表示象素合成步骤S14的具体处理过程的流程图。

首先，把将要合成的象素值初始化为“0”(步骤S21)。

然后，从对应将要合成的象素的构图数据中读出摄象机编号、X，Y坐标及必要度(步骤S22)。

在步骤S22中，当读出的摄象机编号是表示插图图象的编号“99”时(即构图数据MP13)，进入步骤S24，读出存储在插图参照部203中的插图图象中的指定X，Y坐标的象素数据并保持。然后进入步骤S28。另一方面，当摄象机编号不是“99”时，进入步骤S25。

在步骤S25中，当读出的摄象机编号是表示死角区域的识别编号“-1”时(即构图数据MP14)，进入步骤S26，保持表示预先设定的死角区域的象素数据。然后进入步骤S28。当摄象机编号不是“-1”时，进入步骤S27。

在步骤S27中，当摄象机编号是“99”“-1”以外的编号时，即，被判断为既不是附着插图图象的区域也不是死角区域时，这个摄象机编号为实际的摄象机编号，从存储在与该摄象机编号对应的桢存储器102中的摄象机图象中读出指定X、Y坐标的象素数据并保持。

在步骤S28中，对保持的图象数据进行对应该必要度的叠加，并加上合成图象的象素值。对于在构图数据中所记述的所有的摄象机编号，重复进行步骤S22～S28的处理(步骤S29、S30)。当完成对所有摄象机编号的处理后，把将要合成的象素值输出到象素合成部201(步骤S31)。

例如，在图9所示的构图数据MP12的场合，可通过下面的公式求出合成图象的象素值。

合成图象的象素值

＝(在摄象机2的坐标(10、10)上的象素值×0.3

+在摄象机3的坐标(56、80)上的象素值×0.5)/(0.3+0.5)除以必要度之和(0.3+0.5)是为了使象素值标准化。

通过以上的动作可容易地生成混合有多幅摄象机图象的合成图象和包含插图图象的合成图象。而且，通过把摄象机图象与插图图象对应必要度进行叠加，可生成在实际图象上半透明地显示插图图象的合成图象。或通过把摄象机图象以外的多个象素数据对应必要度进行叠加，也可生成半透明地显示多幅插图图象的合成图象。

而且，作为插图图象，除了自己车辆的插图和图象，也可以增加例如象刻度或标识那样的在画面上具有固定形状的插图图象。

另外，这里所说明的构成是分别把用于参照插图图象的摄象机编号设定为“99”，把表示死角区域的摄象机编号设定为“-1”，不过只要把表示死角区域的图象存储在插图参照部203中，在参照插图图象时和在表示死角区域时可以使用相同的摄象机编号“99”。在这种场合下，例如可把表示车辆的插图图象和表示死角区域的图象组合，事先存储在插图参照部203中。

另外，显示模式设定部220对应显示模式的指定来变更显示模式时，只要从构图表记忆部211中读出对应新的显示模式的构图表，把其设定在构图表参照部202中即可。或，也可以把多个构图表进行合成，生成新的构图表。

另外，在这里所说明的构图数据中，如图9所示的MP13那样，记述有为了表示插图图象的插图参照部203的X、Y坐标值，也可以把插图图象的象素数据本身记述在构图表中。

图11表示在这个场合下的一例构图数据。图11的构图数据MP15当摄象机编号为“99”时，也就是表示插图图象时，在记忆X坐标、Y坐标的区域内，记忆插图图象的象素数据本身的红(R)、绿(G)、蓝(B)的值。

例如，当分别用16位数字来记述X坐标、Y坐标时，该区域的数字位数为32位。另一方面，由于当以8位的R、G、B各色来记述插图图象的象素数据时，全部只有24位，所以在该前部的8位中赋予“0”，形成32位的数据，记忆在坐标区域中。在这个场合下，在图10的步骤S24中，取代参照插图参照部203，而是把记述在构图数据MP15中的R、G、B值读出，将其保持。

在这个场合下，构图表与插图图象形成一体，从而不需要了插图参照部203。而且，由于不需要从构图数据中先读出X、Y坐标值再读出对应的插图图象的象素数据，而是从构图数据中直接读出R、G、B值，减少了处理程序中的1个步骤。

另外，在显示自己车辆的插图图象等的场合，其必要度通常多设置为1.0，如图11的例所示，不过也可以通过把插图图象的必要度设置成小于1.0的值，使其与其他的摄象机图象合成，在合成的图象上显示半透明的刻度和标识。

(基本的合成图象例)

构图表大体上可分成单独构图和复合构图地种方式。“单独构图”是利用规定的空间模式(在后面进行详细说明)根据象素水平将摄象机图象与假设视点图象对应叠加。关于“复合构图”将在后面进行说明。

图象处理部2的显示模式决定于设置在图象合成部200中的构图表。这个显示模式可通过手动或自动地进行切换。

以下说明典型的单独构图和使用单独构图合成图象的实例。

—垂直俯视(图12～图14)

使用路面平面模式的空间模式。假设视点的位置在自己车辆的上方，视线朝向正下方。其特点是对距离感一目了然，主要适用于停靠车辆(直角、纵列)等。图12表示使用了8台摄象机，图13表示使用了4台摄象机，图14表示使用了2台摄象机。

—斜俯视(图15)

使用路面平面模式的空间模式。假设视点的位置在自己车辆的上方，视线朝向斜后方。通过调整视线的角度可自由变换视野。这个模式对从自己车辆后方看去的正确位置关系一目了然。主要适用于作为正常行驶时的后视监视器，或在开始停靠车辆时的低速后退时对后部环境的观察确认。也可以在低速行驶时对应速度来切换视野和方向。

—全景(图16～图17)

使用圆筒模式的空间模式。图16表示前方全景模式，假设视点的位置在自己车辆的前端，视线朝向正前方。在这个模式下，由于可观察到行驶方向的前方的情况，所以适用于作为观察视角的监视器。即，在从窄的道路驶入宽的道路时，通过这个模式可对宽的道路的情况一目了然。

图17表示后方全景模式。假设视点的位置在自己车辆的后端部，视线朝向正后方。在这个模式下，可一目了然地观察到从自己车辆后部看去的180度全景。主要适用于作为在行驶时(特别是在高速行驶时)的后视监视器。

—斜俯视+全景(图18)

使用路面平面模式和圆筒模式作为空间模式。即，如图18所示，对自己车辆后方的附近以使用路面平面模式的斜俯视模式显示，对自己车辆后方的远处以使用圆筒模式的全景模式显示。因而这个模式同时适用于斜俯视模式和全景模式所适用的用途。

(显示的自动切换)

本监视系统通过对应各种的路况适当地切换至此所举例说明的构图表，可辅助驾驶者进行更为安全舒适的驾驶。而且，即便是在1个驾驶操作中，对应随之逐渐变化的自己车辆周围的状况进行构图表的切换，对于驾驶者来说也是不可缺少的机能。

即，通过对应车辆的行驶状态变更合成图象的假设视点的位置、视线的朝向及焦点距离中的至少一项，可提高驾驶者的便利性。

图19表示对应车辆的行驶状态，变更合成图象的假设视点高度的一个实例。图19(a)～(f)所示的各个图象依从上到下的顺序表示假设视点的高度徐徐上升，包含车辆的显示区域也随之增大。即，通过降低假设视点的高度来实现近景拍摄，通过增高假设视点的高度来实现远景拍摄。另外，即使在改变了假设视点的焦点距离的场合，也可以使合成图象发生与图19相同的变化。

作为假设视点高度的切换条件首先考虑车辆的行驶速度。例如，可以随着车辆的行驶速度的上升，增高假设视点的高度使其显示宽的区域，随着速度的下降，降低假设视点的高度使其显示窄的区域。或者，对于具有测定自己车辆与障碍物的距离的物体检测传感器的车辆，也可以使用该物体检测传感器的输出信号作为进行切换的条件。例如，随着与被检测出的障碍物的距离越来越近，降低假设视点来显示小的区域，随着距离越来越远提高假设视点来显示大的区域。另外，也可以设置切换开关，由驾驶者或其他乘员通过开关来进行放大、缩小的指定。

图20表示对应车辆的行驶状态，改变合成图象的假设视点的视线的实例。图20(a)～(d)所示的各个图象按照从上到下的顺序表示假设视点的视线方向从斜后方逐渐地变化为垂直下方。而且，与视线的朝向一同，生成合成图象的模式也发生变化。即，视线的朝向越是倾斜，模拟圆筒模式的合成图象的区域越大可容易看到更远的地方。

图20也可以说是在改变假设视点的视线朝向的同时，进行将变更后的假设视点的视野范围外的图象收入到显示图象中的控制。即，通过利用模拟圆筒模式把假设视点外的图象收入到合成图象中。并且，对应车辆的行驶状态，控制是否收入假设视点的视野范围外的图象、该尺寸以及该拍摄范围。

作为假设视点的视线朝向的切换条件，与切换假设视点高度的场合相同，是根据车辆的行驶速度或是通过键输入等。例如，可以在车辆低速行驶时，先使视线朝向正下方，随着车速的提高，使视线朝向倾斜，显示车辆的后方。

图21表示对应车辆的转向角改变合成图象的假设视点的视线朝向的实例。图21的例是对应转向角使假设视点围绕光轴进行转动。(a)表示向正后方倒车时的合成图象。由于这时的车辆向正后方移动，为了便于观察后方的区域，设定假设视点使合成图象中的自己车辆朝向正前方，且车辆左右的区域相等。另一方面，(b)表示左打方向盘倒车时的合成图象。由于这时的车辆向左后方移动，所以围绕光轴转动假设视点来观察这时的车辆的移动区域，也就是自己车辆的右侧、右后方以及后方。以此来提高安全性。

图22表示对应物体检测传感器的输出信号切换图象的实例。图中的(a)表示物体检测传感器在检测出接近自己车辆的障碍物之前的画面。当物体检测传感器检测出与自己车辆接近的其他车辆时，该画面被切换为如图22(b)所示的画面。即，显示可判断出与被检测出的障碍物的距离的扩大图象。

这样，当物体检测传感器检测出障碍物时，通过对应与障碍物的距离间断或连续地进行图象的放大/缩小/转动等的显示，可提醒乘员对障碍物的注意。另外，也可以对应障碍物的位置改变假设视点的位置。

另外，也可以如图23所示的那样，在扩大显示障碍物的区域的同时，对该区域加上边框。或使边框频闪显示、或反转框内的颜色。这样，可更确实地提醒乘员的注意。当然，不扩大图象而只显示边框，也可以提醒乘员的注意。而且，也可以改变画面显示的同时，发出警告音来告知障碍物的存在。

图24表示其他一例对应物体检测传感器的检测结果的图象切换。图24表示当检测到在车辆后方的障碍物时，改变假设视点的视线朝向从直下方到稍微朝向后方。这样可更容易地观察到车辆后方的障碍物。另外，也可以把假设视点平移，使被检测到的障碍物进入合成图象的中心。

另外，图19～图24是以假设视点位于车辆上方的合成图象为例进行的说明，在假设视点在其他位置的场合，也可以通过对应车辆的行驶状态，改变假设视点的位置、视线朝向以及焦点距离中的至少1项来提高驾驶者的便利性。假设视点的其他位置可以是后背箱的位置或驾驶者头部的位置等。

另外，图20表示在改变假设视点的视线朝向的同时，收入该视野范围之外的图象，也可以在改变假设视点的位置或焦点的同时，控制其视野范围之外的图象。另外，不用模式，也可以收入假设视点的视野范围之外的图象。并且，也可以不改变假设视点，对应车辆的行驶状态来进行假设视点的视野范围之外的图象的收入。

(生成合成图象动作的第2例)

通过适当地改变所使用的构图表，可容易地实现显示图象的切换。然而，在这个场合下，为了连续地记性显示图象的切换，则必须事先准备多个构图表。因此，在装置中必须设置具有大记忆容量的记忆部，不理想。

在这里，预先设置好大于合成图象的原构图表，利用从这个原构图表中提取出的构图表进行合成图象的生成。在这个场合下，通过适当地改变提取出的构图表，可容易地实现显示图象的连续切换。

图25表示本实施例的监视系统的构成。与图7所示的构成之不同点是构图区域设定部302根据从时序生成部205输出的合成图象的象素坐标和由显示模式设定部220A所设定的构图表的区域指定信息，来生成对应的构图表的主要内容，再把其输出到构图表参照部202。记忆在具有显示模式记忆部210A的原构图表记忆部301中的原构图表通过显示模式设定部220A被设定在构图表参照部202中。

即，在上述的第1例中，在图8所示的步骤S13中，对应由时序生成部205设定的当前应输出的合成图象的象素，读出在与这个象素同意位置的构图数据，而在本实例中，在设定了使用的构图表区域之后，从原构图表中读出与合成图象的象素对应的构图数据。

下面，对本例的构图数据的读出方法进行说明。图26及图27表示本例的合成图象与原构图表的关系。图26的例是把从原构图表提取出的区域尺寸锁定为与合成图象的尺寸相同，通过改变坐标值来实现合成图象的平移。图27的例是通过改变读出原构图表的提取区域的尺寸及主要内容的步骤来实现合成图象的放大、缩小。

首先，参照图26对平移合成图象的场合进行说明。图26(a)所示的合成图象的尺寸为宽W-DISP、高H-DISP，图26(b)所示的原构图表的尺寸为宽W-MAP、高H-MAP的尺寸。在这里，原构图表可认为是用于作成从车辆上方的假设视点俯视的车辆周围大范围的图象。在上述的第1实例中，当焦点距离固定时，可以认为在假设视点与投影面的距离不变的情况下，投影面的尺寸从(W-DISP，H-DISP)扩大到投影面的尺寸(W-MAP，H-MAP)，并可由此构成原构图表。由于投影面的扩大，在原构图表中包含了关于更大范围的区域的信息。图26(d)表示把这样的构图表的各个主要内容转换成对应摄象机图象及插图图象的图象。

然后，显示模式设定部220A根据以原点(0、0)为基准的坐标(off-x，off-y)指定在原构图表上的作为生成合成图象的构图表所使用的区域。以点(off-x，off-y)为起点，尺寸为(W-DISP，H-DISP)的区域MPT，则成为合成图象所使用的构图表。从构图表参照部202读出在通过光栅扫描所获得的合成图象的象素的X、Y坐标与这个偏置坐标(off-x，off-y)相加后的位置上的构图数据，输入到象素合成部201。象素的合成处理与第1例相同按照图10的流程图进行。图26(c)表示使用图26(b)所示的构图表MPT合成的合成图象。

当加上偏置坐标的坐标超出原构图表的范围时，通知象素合成部201，对超出范围的区域用预设的颜色(例如黑色)等的象素值进行填充等来保证该区域的正确显示。

依照本实施例，从车辆上方垂直俯视路面地设置假设视点，在使用路面平面模式的场合，可在不增加构图表的情况下生成在与路面平行地移动假设视点时的合成图象。即，在上述的第1例中，必须要有分别对应平移后的各个假设视点的构图表，而本例则只需要1个原构图表即可。例如在为了平滑地进行视点移动一个象素一个象素地移动假设视点的场合，上述的第1例必须要有对应全部移动步骤的多个构图表，而本例则只需在1个大范围的原构图表中改变构图表的提取开始位置(off x，offy)便可实现移动。而且本例例如在通过转动方向盘来改变假设视点的位置、或与障碍物检测传感器输出的大小成比例地向障碍物的方向改变假设视点的位置时，由于可细微地改变假设视点的位置，所以可容易地生成与具体状况相应的合成图象。

本例由于在以细微的步骤平行移动假设视点时不需要使用多个构图表，所以，对于记忆构图表的存储器只要具有可记忆1个原构图表的容量即可。而且，相对于第1例在进行构图表的切换和设定时需要时间，而本例只需要设定偏置坐标即可，所以可实现高速化的处理。

下面，参照图27对使用同样的方法进行合成图象的放大、缩小的处理进行说明。

在图27中，时序生成部205指定了(a)所示的合成图象的象素P1的坐标(x，y)。显示模式设定部220A指定区域的开始位置(off x，offy)和主要内容的读出步骤(step-x，step-y)。这时，如果把对应象素P1的构图数据MD的坐标设定为(u，v)，则坐标(u，v)可通过下面的公式求出。

u＝step-x^*x+off-x

v＝step-y^*y+off-y通过改变读出步骤(step x，step y)的值可逐渐地放大、缩小合成图象。当从原构图表提取出的构图表的区域对应读出步骤(step x，step y)的变化变化为MPT1、MPT2、MPT3、MPT4时，合成图象发生象(d)、(e)、(f)、(g)那样的变化。

当坐标(u，v)超出原构图表的范围时，与上述的平行移动的情况相同，输出指定的颜色等。而且，读出步骤(step-x，step-y)的值也可以使用整数以外的值，这时，把计算结果的(u，v)的值转换成整数值。

依照本例所述的放大、缩小，在从车辆上方垂直向下地设置假设视点，使用路面平面模式的场合下，通过改变假设视点的高度或焦点距离可生成与放大、缩小视野范围的场合相同的合成图象。

例如，在对应驾驶者等的指令或传感器的输出，放大显示原图象中的一部分时，不是突然一下子显示放大的图象，而是使用本例的方法显示逐渐放大的图象，从而，可容易地把握该放大图象在原图象中的所在位置。

并且，通过在与改变读出步骤的同时改变偏置坐标值，可在放大、缩小合成图象的同时实现图象的平行移动。

另外，在一般的情况下，没有必要把构图表的区域限定为矩形。也可以由显示模式设定部220A指定出构图表的四边形的4个顶点的坐标。

图28表示用4点n1、n2、n3、n4指定出呈凸形四边形的构图表区域。这时，可通过如下的步骤求出对应合成图象的坐标(x，y)象素P1的构图数据MD的坐标(u，v)。

首先，求出将连接顶点n1、n2的直线分成(y/H-DISP：1-y/H-DISP)的点na的坐标。同样，求出将连接顶点n3、n4的直线分成(y/H-DISP：1-y/H-DISP)的点nb的坐标。然后只要再求出将连接点na、nb的直线分成(x/W-DISP：1-y/W-DISP)的点的坐标，则该坐标便是对应的构图数据MD的坐标(u，v)。

进行这样的指定，可实现对包括平行移动、放大、缩小、旋转的任意构图表的区域指定。

另外，依照本方式，在使用路面平面模式，假设视点为从上方垂直朝向路面的场合下，可生成与象假设视点的平移、视野范围的放大和缩小或与路面平行地转向那样的假设视点的变化保持正确一致的合成图象。但在模式或假设视点的朝向不同的情况下，虽然不是不可能生成与假设视点的变化保持正确一致的合成图象，但是即使在这种场合，也可以生成接近于假设视点的变化的合成图象，所以说，是一种非常有效的方式。

(显示多种类的图象)

通过把多种类的合成图象同时显示在一个画面上，或把合成图象和摄象机图象同时显示在一个画面上，可提高对驾驶者的便利性。例如，通过同时显示自己车辆的近处和远处，或同时显示不同方向的图象，或同时显示自己车辆全体和放大的自己车辆的局部，可使驾驶者不用进行画面显示的切换边可了解到车辆周围的状况。

通过使用复合构图表可容易地实现这样的多种类的图象显示。所谓“复合构图表”是指把单独构图表的必要部分提出，进行适当的变形附着组合，或者在单独构图表上附着组合摄象机图象的构图表。利用复合构图表可容易地实现下面将要说明的图象显示，对于除此之外的图象显示，可通过进行单独构图表之间的组合或单独构图表与摄象机图象的组合，来制作出对应各种驾驶情况的复合构图表。

在这里，以作为从设置在车辆上方的假设视点看去的表示自己车辆及其周围的近处图象的包括使用路面平面模式的俯视图象和表示位于这个俯视图象所示的自己车辆周围区域远处的区域的远方图象的图象为例，进行说明。图29表示以在这里的说明为前提的摄象机图象。

图30表示在作为第1图象的俯视图象的左右位置附着作为第2图象的拍摄斜后方的摄象机图象的示例。在这个例中，可以认为第2图象的视点与第1图象的假设视点、位置、视线的朝向及焦点距离不同。在图30的图象中，在俯视图象的右侧，左右反转地配置拍摄右斜后方风景的摄象机2的图象，在俯视图象的左侧，左右反转地配置拍摄左斜后方风景的摄象机6的图象。即，设置在左右反光镜附近的摄象机2、6的图象，如从实际的反光镜看去的那样被左右反转地配置。这样，使驾驶者可以与看反光镜的感觉一样，直观地了解车辆周围的状况。当然也可以不进行左右反转地显示。

图31表示并排显示作为表示狭小范围的第1图象的俯视图象和作为表示宽范围的第2图象的俯视图象的一个示例。在这个例中，第2图象的假设视点与第1图象的假设视点、高度或焦点距离不同。通过图31的图象可一目了然地了解自己车辆近处的细节和大范围内的全体状况。

图32表示在作为第1图象的俯视图象的周围，附着作为第2图象的向上下左右的斜的方向看去的俯视图象的示例。在这个例中，第2图象的假设视点与第1图象的假设视点和视线的朝向不同。图33表示在作为第1图象的俯视图象的周围附着作为第2图象的使用模拟圆筒模式的如同透过鱼眼透镜看去的图象的示例。在这个例中，第2图象与第1图象在显示模式上不同。图34表示在第1图象的俯视图象的周围附着作为第2图象的前后左右的全景图象的示例。在这个例中，第2图象与第1图象在假设视点的位置及模式上不同。通过观察图32～图34的图象，可保持自己车辆近旁的距离感，并且可如同眺望地环顾到自己车辆周围的远方。

另外，没有必要在俯视图象的前后左右全部附着远方的图象，可以只显示想要观察的方向上的图象，例如只显示右侧、后方的远方图象。

另外，如图35所示，在俯视图象周围的前后左右附着斜俯视图象的场合，也可以在显示区域的四角设置空白部，来强调斜俯视图象不具有连续性。

并且，在显示如图32～图35那样的图象时，也可以通过对周围的远方图象进行滤镜处理，来进行模糊显示。这样，可使驾驶者把注视区域集中在自己车辆的周围。而且，可使周围的远方图象的变形不明显。

这样的部分模糊处理在使用单独构图表的图象显示时也是有效。例如，在如图5所示的俯视图象的场合，通过对自己车辆及附近不进行模糊处理，而对含有其他车辆的周围区域进行模糊处理，也可以获得同样的效果。在停靠车辆时等的场合下，把不进行模糊处理的区域设定为从自己车辆的10m以内的区域最为适合。而且，也可以随着离自己车辆距离的增加，增加模糊的强度。

另外，图31所示的图象也可以说是包含自己车辆、表示自己车辆周围的第1图象和至少把这个第1图象所表示的区域中的一部分放大的第2图象的合成图象。当然，第1图象也可以不是表示自己车辆的全体，而是只表示自己车辆的一部分或自己车辆周围的一部分。

另外，也可以把显示图象分成多窗口，在副窗口中显示上述那样的合成图象、或摄象机图象、表示假设视点位置的图象以及文字等。这样，可更容易地把握自己车辆周围的状况，更利于驾驶者的操作。

可以有各种各样的多画面的显示方法。例如，也可以如图3b所示的那样，在副窗口中把表示假设视点位置的图象与摄象机图象和合成图象一同显示。这样可容易地把握假设视点的位置。

而且，例如也可以在物体检测传感器检测到障碍物时，在各副窗口的摄象机图象或合成图象上显示表示该障碍物的位置的警告标志，同时在其他副窗口中通过文字来表示该障碍物的位置。

(死角区域及自己车辆区域的显示)

(显示之一)

图37表示摄象机图象以及作为表示该摄象机图象中的映入自己车辆的区域的区域数据的掩蔽数据的示例。如图37所示，对各个摄象机图象中的映入自己车辆的部分进行识别，把表示被识别出的车辆区域的掩蔽数据预先记忆在图象处理部2中。图37所示的掩蔽数据中的黑色部分既是车辆的映入区域。车辆的映入区域既可以根据摄象机的参数和朝向以及自己车辆的形状来确定，也可以预先根据自己的意愿设定。

图38(a)表示使用图37的摄象机图象合成的垂直俯视图象。图38(a)所示的合成图象在图象的中央部的白色区域表示自己车辆的映入区域，但多少不太直观。

所以，把各个摄象机图象的掩蔽数据转换成从假设视点看去的图象，用其填充在合成图象中车辆的映入区域。结果可得到如图38(b)所示的图象，使直观性得到了改善。

另外，图38(a)由于在图象的中央部映入自己车辆，不仅不直观，而且搞不清自己车辆的实际位置，给驾驶者造成困难。因此，在自己车辆的实际存在位置上叠加自己车辆的插图图象或实际图象。例如，在图象处理部2中预置以标准的假设视点的视角作为前提的自己车辆的插图图象或实际图象，把该图象转换成从显示的合成图象的假设视点看去的图象，然后叠加到其中。其结果可得到如图38(c)所示的图象，从而可对相对周围的物体自己车辆的大小和相对的位置关系一目了然。通过使用上述的构图表可容易地实现自己车辆图象的转换。

这时，作为标准的假设视点例如可以使用设置在自己车辆上方的假设视点、或位于侧面的假设视点、或设置在自己车辆前方或后方的假设视点。另外，也可以设置多个标准假设视点，准备分别对应多个假设视点的图象。而且，也可以当确定了生成合成图象的假设视点的位置后，根据该假设视点与各个标准假设视点的位置关系，在进行图象转换时，选择图象的扭曲程度最小的标准假设视点。

另外，也可以取代附着自己车辆的插图或实际图象，把使用在CAD/CAM或CG技术领域中广为人知的平面模型或实体模型的自己车辆的3维模型附着在合成图象上。在这个场合下，可以先预置好表示从标准假设视点看去的3维模型的图象，把这个图象转换成从显示合成图象的假设视点看去的图象，并可进行叠加。通过使用上述的构图表可容易地实现这个转换。

并且，也可以直接使用由摄象机图象生成的合成图象作为表示自己车辆实际存在的区域的图象。另外，也可以只把自己车辆的一部分，例如保险杠用合成图象显示，在其他部分附着插图或实际图象。

(显示之2)

在从假设视点看去的合成图象中，有时包含不属于任何摄象机拍摄范围的区域。另外，由于自己车辆的遮挡，有时还包含各个摄象机拍摄不到的区域。

为了解决这个问题，上述的(显示之1)是通过在车辆的映入区域填充规定的象素数据，来使合成图象更为直观。

在这里，如图39所示，当把映入自己车辆的图象直接转换成假设视点的图象后，形成转换后的自己车辆的图象被包含在合成图象之中，不容易分辨(A1)。这时可通过对自己车辆的映入区域进行填充来改善图象的可观性。

然而，在假设视点图象中，自己车辆本来不存在的部分上映入了自己车辆的一部分(A2)。在这种情况下，如果对假设视点图象的自己车辆的部分进行填充，则削去了本来应看到的部分，所以这样不好。产生这个问题的原因是因为在把原摄象机图象转换成假设视点图象时所使用的空间模型与摄象机所拍摄的实际空间不同(基本被单纯化)。所以，为了从原理上解决这个问题，必须对实际空间的纵深信息进行实时的计算，则必须要有具备非常高速运算能力的运算装置。因此，这种方法不易于实施。

因此，这个问题可通过下述的方法来解决。

即，参照对应原摄象机图象的掩蔽数据来判断在车辆的映入区域中是否包含合成图象的象素，对应包含在车辆的映入区域中的场合和不包含的场合对这个象素的生成进行切换。也就是，不是把掩蔽数据转换成假设视点图象，而是直接以原摄象机图象的形态使用掩蔽数据。

图40表示掩蔽数据的一个示例。如图40所示，对应各个摄象机图象设置表示在进行自己车辆的映入部分等的假设视点图象的合成时不使用的区域的掩蔽数据。

在这个场合下，也可以例如，在参照生成合成图象的摄象机图象的象素数据时，同时参照对应这个摄象机图象的掩蔽数据，在车辆的映入区域内包含该图象时，不进行象素的生成，进行用表示死角区域的颜色进行填充的处理。

另外，也可以象上述的构图数据MP14那样，使构图表本身具有表示合成图象的象素是否包含在死角区域中的信息。在这个场合下，在进行假设视点图象合成时，不需要参照每一桢的掩蔽数据，可实现高速的处理。而且，还具有不需要设置存储掩蔽数据的记忆部的优点。

图41表示图象合成的结果的一个示例。在图41所示的合成图象中，表示有存在自己车辆的车辆区域和自己车辆周围的死角区域。通过表示车辆区域，使驾驶者容易掌握自己车辆与周围状况的位置关系和距离等。而且，可以通过合成图象观察到从驾驶席难以看到的区域，并且通过表示死角区域，可以使驾驶者了解到任何摄象机都拍摄不到的区域，提高了安全性。

另外，也可以不表示存在自己车辆的全部车辆区域，而只表示车辆区域的一部分。例如，在摄象机的设置台数有限，只能拍摄到车辆及其周围一部分的情况下，只表示被拍摄的车辆区域的一部分及其周围的死角区域。或在把车辆周围的特定部分放大显示时，只显示所显示的车辆区域的一部分及其周围的死角区域。

另外，也可以取代死角区域，显示提醒车辆的乘员等注意的注意提醒区域。这个注意提醒区域即可以是包含任意摄象机拍摄不到的车辆周围的死角区域的区域，也可以是相当于死角区域的区域。而且，注意提醒区域也可以是表示车辆周围一部分的区域。

由于注意提醒区域能够与摄象机的摄影范围无关地只根据与车辆区域的位置关系预先设定，所以，只需简单的处理便可合成。而且，在注意提醒区域中包含死角区域时，有可能把不是死角区域的由摄象机所拍摄的部分也作为注意提醒区域被隐藏起来，这时，也可以例如把注意提醒区域半透明地显示，与死角区域一同显示。

图42表示在使用掩蔽数据求出死角区域，附着插图图象时的生成构图数据的步骤顺序。在图42中，(PT1)是根据1个摄象机图象生成的合成图象的象素；(PT2)虽然是参照2个摄象机图象，但为了映入车辆除去其中1个摄象机图象，是根据剩下的1个摄象机图象生成的合成图象的象素；(PT3)是参照1个摄象机图象，但为了映入车辆除去该摄象机图象的合成图象的象素，(PT4)是参照1个摄象机图象，但为了映入车辆除去该摄象机图象并且附着有车辆的插图图象的合成图象的象素。

首先，在步骤1中，计算参照坐标及必要度。对合成图象的象素计算出在全部摄象机图象中的参照坐标。通过后述的几何运算来进行这个参照坐标的计算。这时，当求出的参照坐标是在摄象机图象的拍摄范围之外(即，死角)时，把坐标值记述为(-1，-1)。而且，在这里求出所参照的摄象机的台数，将其倒数作为必要度的值。必要度的赋值方法可以是人工输入的方法，也可以是其他的方法。在这个步骤1中，可以了解到(PT1)参照的是摄象机6，(PT2)参照的是摄象机4、5，(PT3)参照的是摄象机6，(PT4)参照的是摄象机2。

然后，在步骤2中，参照表示车辆的映入区域的掩蔽数据进行死角的处理。对于对应坐标值为(-1，-1)以外的摄象机的掩蔽数据判断该坐标值所示的点是否属于车辆的映入区域。如果属于车辆的映入区域，则把该坐标值转换成(-1，-1)。在通过这个转换，减少了参照摄象机台数时，重新计算必要度的值。

如图43(d)所示，由于(PT1)在摄象机6的掩蔽数据中的坐标为(450，200)，不属于车辆的映入区域，所以，不进行坐标值的转换。如图43(b)所示，由于(PT2)在摄象机4的掩蔽数据中的坐标为(150，280)，属于车辆的映入区域，所以，把摄象机4的坐标值转换成(-1，-1)。如图43(d)所示，由于(PT3)在摄象机6的掩蔽数据中的坐标为(110，250)，属于车辆的映入区域，所以，把摄象机6的坐标值转换成(-1，-1)。由于(PT4)在摄象机2的掩蔽数据中的坐标为(600，290)，属于车辆的映入区域，所以，把摄象机4的坐标值转换成(-1，-1)。

然后，在步骤3中，为了最大限度地简化图象合成所必要的数据，对冗长的数据进行整理。首先，把坐标值为(-1，-1)的摄象机编号全部改变成“-1”。并且在全部的摄象机编号都为“-1”时，把这些数据合并为1个数据[(PT3)，(PT4)]。而且在存在“-1”以外的摄象机编号时，除去摄象机编号为“-1”的数据[(PT1)，(PT2)]。

然后，在步骤4中，进行自己车辆的插图图象的附着。对于附着自己车辆的插图图象的合成图象的象素，把构图数据的摄象机编号转换成“99”，设定插图图象的参照坐标。在这里，由于(PT4)是附着插图图象的象素，所以把摄象机编号转换为“99”，同时，把坐标值转换为插图图象的参照坐标值(360，44)。

图44(a)为在步骤1结束时使用了构图数据时的合成图象的示例。图44(b)为在步骤3结束时使用了构图数据的合成图象的示例。图44(c)为在步骤4结束时使用了构图数据的合成图象的示例。

图45为表示不用构图数据，生成在指定注意提醒区域时的构图数据的顺序图。在图45中，(PT5为从1个摄象机图象所生成的合成图象的象素，(PT6)为在注意提醒区域被指定的合成图象的象素，(PT7)虽然被指定在注意提醒区域，但是为附贴车辆的插图图象的合成图象的象素。

首先，在步骤1’中，进行生成初始构图表。这是通过在图42所示的步骤1及步骤3的处理进行的。

然后，在步骤2’中，进行注意提醒区域的指定。使用在步骤1’所生成的初始构图表作成合成图象，并在该合成图象中指定注意提醒区域。

然后，在步骤3’中，进行在注意提醒区域的构图表的改写。把在步骤2’所指定的注意提醒区域的构图表变换成摄象机号“-1”、坐标(-1，-1)。然后，当所参照的摄象机的台数减少时，再次计算必要度的值。

然后，在步骤4’中，进行自己车辆的插图图象的装贴。这里，(PT7)为装贴插图图象的象素，所以把摄象机号变换成“99”，同时把坐标值变换成插图图象的参照坐标值(360，44)。

图46(a)表示在步骤1结束时使用了构图数据的合成图象的示例。图46(b)表示在步骤3结束时使用了构图数据的合成图象的示例。图46(c)表示在步骤4结束时使用了构图数据的合成图象的示例。

这样，可容易地进行在合成图象上重叠显示自己车辆的图象，或用特定的颜色填充死角区域和注意提醒区域那样的处理。并且，在设定注意提醒区域时，通过合成预先确定好的注意提醒区域而不用参照对应摄象机的掩蔽数据，可更容易地生成合成图象。另一方面，在设定死角区域时，通过参照对应摄象机的掩蔽数据可以把摄象机所拍摄的车辆周围的状况完整地反映在合成图象上。

另外，以上的说明是针对把本发明的监视系统和图象处理装置应用在车辆上的情况，但同样也可适用于车辆以外的移动体，例如飞机和船舶等。而且，也可以把摄象机设置在移动体以外的监视对象，例如商店、住所、展厅等。

而且，对于多台摄象机的设置位置和台数不限于在这里所述的位置和数量。

而且，也可以使用专用的硬件或软件来实现全部或一部分本发明的图象处理装置的机能。而且，也可以利用存储有使计算机执行本发明的图象处理装置的全部或一部分机能的程序的记录媒体和传送媒体。

(几何转换)

为了作成用于合成图象的构图表，必须要确定与从假设视点看去的合成图象的各个象素对应的各个摄象机图象的象素坐标。

因此，首先，为了便于理解，可分为2步，第1步先求出与从假设视点看去的合成图象的各个象素对应的空间坐标系(Xw、Yw、Zw)，在第2步求出与该空间坐标系的3维坐标对应的摄象机图象的象素坐标。

最终的必要关系是假设视点的合成图象的各个象素与各个摄象机的象素之间的关系，不限定在经由这个空间坐标系的构图表之内。但是，经由这个空间坐标系的构图表为了明确地表示其是基于合成图象时的立体坐标系的空间坐标系的构图表，其重要的一点是，可生成易于把周围的状况与实际的距离、位置关系相对应的合成图象。

作为表示假设视点的位置和朝向的参数，如果用设定视点的空间坐标系下的坐标为位置矢量Tv＝(Txv、Tyv、Tzv)、表示旋转视线的朝向、视平面坐标系使其与空间坐标系的方向形成一致的3行3列的旋转行列式Rv来表示，则合成图象的视点坐标(Vxe、Vye、Vze)的对应空间坐标(Xw、Yw、Zw)可通过式(1)求出。 $\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]=R_v\left[\begin{array}{c}{\mathrm{Vx}}_e\\ {\mathrm{Vy}}_e\\ {\mathrm{Vz}}_e\end{array}\right]+T_v$ 式中， $R_v=\left[\begin{array}{ccc}{r}_{v11}& r_{v12}& r_{v13}\\ r_{v21}& r_{v22}& r_{v23}\\ r_{v31}& r_{v32}& r_{v33}\end{array}\right],T_v=\left[\begin{array}{c}{T}_{\mathrm{xv}}\\ T_{\mathrm{yv}}\\ T_{\mathrm{zv}}\end{array}\right]...\left(1\right)$ 图47是说明视点坐标系与空间坐标系之间关系的示意图。如图48所示，如果设定假设视点的朝向为，其视线相对于空间坐标系Y-Z平面的水平旋转角度(方位角)为αv，相对于X-Z平面的倾角(仰角)为βv，以摄象机光轴为轴的旋转(Twist)为γv，则旋转行列式Rv是， $R_v=\left[\begin{array}{ccc}{\cos \mathrm{\α}}_v& 0& -\sin {\mathrm{\α}}_v\\ 0& 1& 0\\ \sin {\mathrm{\α}}_v& 0& \cos {\mathrm{\α}}_v\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\β}}_v& -\sin {\mathrm{\β}}_v\\ 0& \sin {\mathrm{\β}}_v& \cos {\mathrm{\β}}_v\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\γ}}_v& \sin {\mathrm{\γ}}_v& 0\\ -\sin {\mathrm{\γ}}_v& \cos {\mathrm{\γ}}_v& 0\\ 0& 0& 1\end{array}\right]...\left(2\right)$

另外，对于假设视点的视点坐标系(Vxe、Vte、Vze)的Vxe、Vye与投影面上的2维坐标Uv、Vv的关系，使用透视投影转换的焦点距离fv，用如下的关系式(3)表示。 $u_v=\frac{f_v}{V_{\mathrm{Ze}}}{V}_{\mathrm{xe}}$ $v_v=\frac{f_v}{V_{\mathrm{Ze}}}{y}_{\mathrm{ye}}...\left(3\right)$

对于焦点距离的单位，虽然可把投影面作为底片或CCD，用对应其尺寸的mm或英寸来表示，或对应合成图象的尺寸用象素来表示，但在此，是把投影面设定为以投影中心作为中心的宽2、高2的标准化的画面，来考虑对其的焦点距离。

所以，对于投影面上的坐标与合成图象的象素的关系，如果设定与在图象的右上(Sv、Tv)位置的象素对应的投影面上的坐标(Uv、Vv)把图象的横幅为Wv象素，纵幅为Hv象素，则可通过式4求出。

Uv＝2Sv/Wv-1

Vv＝2Tv/Hv-1    …(4)

如上所述，与合成图象的任意象素(Sv、Tv)对应的空间坐标系的3维坐标(Xw、Yw、Zw)可通过式(1)～(4)求出，摄象机的位置Txv、Tyv、Tzv，摄象机的朝向αv、βv、γv、可通过参照焦点距离fv的下面的式(5)求出。 $\left[\begin{array}{c}{x}_w\\ y_w\\ x_w\end{array}\right]=R_v\left[\begin{array}{c}\frac{V_{\mathrm{ze}}}{f_v}{u}_v\\ \frac{V_{\mathrm{ze}}}{f_v}{v}_v\\ V_{\mathrm{ze}}\end{array}\right]+T_v=\left[\begin{array}{c}(\frac{{2S}_v-W_v}{f_v\·W_v}{r}_{v11}+\frac{{2T}_v-H_v}{f_v\·H_v}{r}_{v12}+r_{v13})V_{\mathrm{ze}}+T_{\mathrm{xv}}\\ (\frac{{2S}_v-W_v}{f_v\·W_v}{r}_{v21}+\frac{{2T}_v-H_y}{f_v\·H_v}{r}_{v22}+r_{v13})V_{\mathrm{ze}}+T_{\mathrm{yv}}\\ (\frac{{2S}_v-W_v}{f_v\·W_v}{r}_{v31}+\frac{{2T}_v-H_v}{f_v\·H_v}{r}_{v32}+r_{v33})V_{\mathrm{ze}}+T_{\mathrm{zv}}\end{array}\right]...\left(5\right)$

但是，在式(5)中，未确定与合成图象的坐标(Sv、Tv)对应的纵深Vze。也就是说，还必须确定各个象素至合成图象中的被摄对象物的纵深值。

尽管只要知道从假设视点看到的对象物的3维形状，就可得出各个象素的纵深值，但在一般的情况下是困难的。因此，是通过对应从假设视点看到的对象物的形状设定若干个模型，来求出上述的Vze，进而求出合成图象的坐标与空间坐标系的3维坐标之间的关系。

-路面平面模式-

作为其中的一例，对把对象物限定在车辆接触的路面平面的情况进行说明。

假定所有的对象物全都在空间坐标系的平面(路面)上，则空间坐标系的3维坐标(Xw、Yw、Zw)满足以下的平面方程式。

所以，将式(6)代入式(5)，Vze可通过下式求出。

ax_w+by_w+cz_w+d＝0    …(6)

所以，通过把式(7)代入式(5)，可从假设视点的合成图象的象素坐标(Sv、Tv)求出对应的空间坐标系的平面的3维坐标(Xw、Yw、Zw)。 $V_{\mathrm{ze}}=-f_v\frac{{\mathrm{aT}}_{\mathrm{xv}}+{\mathrm{bT}}_{\mathrm{yv}}+{\mathrm{cT}}_{\mathrm{xv}}+d}{{\mathrm{aQ}}_1+{\mathrm{bQ}}_2+c{Q}_3}$ 式中， $Q_1=r_{v11}\frac{{2S}_1-W_v}{W_v}+r_{v12}\frac{{2T}_v-H_v}{H_v}+r_{v13}{f}_v$ $Q_2=r_{v21}\frac{{2S}_v-W_v}{W_v}+r_{v22}\frac{{2T}_v-H_v}{H_v}+r_{v23}{f}_v$ $Q_3=r_{v31}\frac{{2S}_v-W_v}{W_v}+r_{v32}\frac{{2T}_v-H_v}{H_v}+r_{v33}{f}_v...\left(7\right)$

可通过在与式(1)同样的关系式中代入与各个摄象机的位置、朝向对应的Tx、Ty、Tz、α、β、γ的参数，进行计算来求出与这个空间坐标系中的3维坐标(Xw、Yw、Zw)对应的各个摄象机图象的各个象素的坐标。

例如，假设摄象机1的位置为Tx1、Ty1、Tz1，朝向为α1、β1、γ1，则对应合成图象的象素(Sv、Tv)的摄象机1的摄象机坐标系Xe1、Ye1、Ze1，可通过下面的式(8)求出。 $\left[\begin{array}{c}{X}_{e1}\\ Y_{e1}\\ X_{e1}\end{array}\right]=R_1^{-1}(\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]-\left[\begin{array}{c}{T}_{x1}\\ T_{y1}\\ T_{z1}\end{array}\right])$ 式中， $R_1^{-1}=\left[\begin{array}{ccc}\cos {\mathrm{\γ}}_1& -\sin {\mathrm{\γ}}_1& 0\\ \sin {\mathrm{\γ}}_1& \cos {\mathrm{\γ}}_1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\β}}_1& \sin {\mathrm{\β}}_1\\ 0& -\sin {\mathrm{\β}}_1& \cos {\mathrm{\β}}_1\end{array}\right]\left[\begin{array}{ccc}{\cos \mathrm{\α}}_1& 0& \sin {\mathrm{\α}}_1\\ 0& 1& 0\\ -\sin {\mathrm{\α}}_1& 0& \cos {\mathrm{\α}}_1\end{array}\right]...\left(8\right)$

这个摄象机坐标系与摄象机图象的坐标系(U1、V1)之间的关系可通过把摄象机1的焦点距离作为f1，由式9计算出来。

U1＝f1/Ze1×Xe1

V1＝f1/Ze1×Ye1    …(9)

对于对应的摄象机图象的象素如果考虑把摄象机图象的尺寸设定为纵H1象素、横W1象素，设定缩图比为1∶1，摄象机的中心为图象的中心，则可通过下面的式(10)计算出来。

S1＝W1/2×(Uv+1)

T1＝H1/2×(Vv+1)    …(10)

通过以上的计算便求出了与假设视点图象的象素对应的摄象机1的图象象素(S1、T1)。对于摄象机1以外的一般摄象机n也可以同样地计算出对应(Sv、Tv)的象素坐标(Sn、Tn)。在实际中是根据(Sn、Tn)是否在实际的摄象机图象的范围之内、象素的放大、缩小率是否大等的各种的条件，从中选择出最合适的1个或多个，将其摄象机编号n和该坐标(Sn、Tn)写入参数表中。

—圆筒模式—

在上述的路面平面模式下，摄象机图象所反映的从水平线向上拍摄的物体，即使把路面平面无限地延长，也不会落到路面平面上，所以不能通过假设视点去观察。

为了把这些物体反映在从假设视点看去的合成图象中，对于对象的3维形状可考虑使用如图49所示的圆筒模式。这个模式适合在假设视点的朝向与路面基本平行的情况等。

为了简化说明，如果只考虑其轴在X轴、Z轴上的圆筒模式。设定椭圆圆筒的中心为(Xc、Zc)使用椭圆的参数(a、c)，该模式可由下面的式(11)表示。另外，对于轴在X轴、Y轴以外的模式也可通过旋转XZ平面来容易地进行扩展。 $\frac{{(\mathrm{Xw}-\mathrm{Xc})}^2}{a^2}+\frac{{(\mathrm{Zw}-\mathrm{Zc})}^2}{c^2}=1...\left(11\right)$

通过利用式(11)从式(5)中消去Vze，可求出与假设视点的合成图象的坐标(Sv、Tv)对应的空间坐标系的3维坐标(Xw、Yw、Zw)。通过用与上述路面平面模式同样的方法，根据这个坐标计算出各个摄象机图象的对应象素，来求出假设视点图象的象素(Sv、Tv)与摄象机图象的象素(Sn、Tn)的关系，作成构图表。

而且，也可以把路面平面模式与圆筒模式进行组合。先求出基于路面平面模式的空间坐标系的3维坐标，在该3维坐标位于圆筒模式的内侧，或具有与平面的交点的情况下，然后求出基于圆筒模式的3维坐标。这样，可实现通过复合路面平面模式和圆筒模式的图象合成。—模拟圆筒模式—

为了易于把握路面平面模式周围远方的状况，导入周围形成碗状的模拟圆筒模式。模式的形状如图50所示。合成的图象把远方的部分压缩在假设视点图象的周围，可显示更广的范围。这个模拟圆筒的形状用式(12)表示。 $\frac{{(\mathrm{Xw}-\mathrm{Xc})}^2}{a^2}+\frac{{(\mathrm{Yw}-\mathrm{Yc})}^2}{b^2}+\frac{{(\mathrm{Zw}-\mathrm{Zc})}^2}{c^2}=1...\left(12\right)$

碗的中心为(Xc、Yc、Zc)，具有在X轴、Y轴、Z轴方向上的(a、b、c)的长度。与上述圆筒模式同样，通过式(12)及式(5)计算出与从假设视点看去的合成图象的坐标对应的空间坐标系的3维坐标(Xw、Yw、Zw)，可求出合成图象的各个象素与各个摄象机图象的象素的对应关系。

另外，与圆筒模式同样，可实现通过复合路面平面模式和圆筒模式的图象合成。—镜头失真的补偿处理—

下面，对通过构图表来补偿镜头象差的方法进行说明。在实际的摄象机图象由于镜头的象差产生失真的情况下，可通过在根据上述Uv、Vv求出这个失真的实际象素S1、T1时，计算出补偿该失真部分的象素坐标，来从合成图象中除去镜头象差的影响。由于这个失真的补偿也被包括在构图表的合成图象(Sv、Tv)与摄象机图象(Sn、Tn)的关系中，所以，制定好在最初进行失真补偿的构图表，则在实际的合成时，不需要进行补偿的计算。并具有即使在以往的在补偿镜头失真时所使用的象与镜头中心的距离的函数等的失真规律不确定的情况下，只要通过拍摄方格图案，来获得镜头失真的各个象素的移动状况的信息，就可以进行失真补偿的特征。

Claims (29)

1、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成从假设视点看去的合成图象的图象处理部，其特征在于：上述图象处理部对应上述车辆的行驶状态，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

2、根据权利要求项1所述的图象处理装置，其特征在于：上述图象处理部对应上述车辆的行驶速度，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

3、根据权利要求项1所述的图象处理装置，其特征在于：上述图象处理部在至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项的同时，进行收进变更后的假设视点的视野范围之外图象的控制。

4、根据权利要求项3所述的图象处理装置，其特征在于：上述图象处理部通过改变用于图象合成的模式来进行收进变更后的假设视点的视野范围之外图象的控制。

5、根据权利要求项1所述的图象处理装置，其特征在于：上述图象处理部对应上述车辆的转向角，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

6、根据权利要求项1所述的图象处理装置，其特征在于：上述车辆具有检测障碍物的物体检测传感器，上述图象处理部对应上述物体传感器的检测结果，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

7、根据权利要求项1所述的图象处理装置，其特征在于：上述图象处理部具有原构图表，使用从这个原构图表中提取出的构图表进行合成图象的生成，并且，通过改变从原构图表提取出的构图表来进行上述假设视点的位置、视线的朝向及焦点距离中的至少任意一项的变更。

8、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些图象生成从假设视点看去的合成图象的图象处理部，其特征在于：上述图象处理部对应上述车辆的行驶状态，进行收进假设视点的视野范围之外图象的控制。

9、一种监视系统，具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成从假设视点看去的合成图象的图象处理部、和显示上述合成图象显示部，其特征在于：上述图象处理部对应上述车辆的行驶状态，至少改变上述假设视点的位置、视线的朝向及焦点距离中的任意一项。

10、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部的其特征在于：上述图象处理部生成作为上述合成图象的包含从假设视点看去的第1图象和从至少与上述第1图象的假设视点的位置、视线的朝向及焦点距离中的任意一项不同的视点看去的，或与上述第1图象的模式不同的第2图象的图象。

11、根据权利要求项10所述的图象处理装置，其特征在于：上述第2图象是至少一个上述摄象机图象。

12、根据权利要求项10所述的图象处理装置，其特征在于：上述第1图象是表示自己车辆及其周围的近处图象，上述第2图象是表示位于上述近处图象所示的自己车辆周围区域远方的区域的远方图象。

13、根据权利要求项12所述的图象处理装置，其特征在于：上述图象处理部在上述合成图象中的上述近处图象的周围配置上述远方图象。

14、根据权利要求项13所述的图象处理装置，其特征在于：上述远方图象是与上述近处图象具有连续性的图象。

15、根据权利要求项10所述的图象处理装置，其特征在于：上述第1图象是表示自己车辆的至少一部分和自己车辆周围的至少一部分的图象，上述第2图象是把上述第1图象所示的区域的至少一部分放大的图象。

16、一种监视系统，具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部、和显示上述合成图象显示部，其特征在于：上述图象处理部生成作为上述合成图象的包含从假设视点看去的第1图象和从至少与上述第1图象的假设视点的位置、视线的朝向及焦点距离中的任意一项不同的视点看去的，或与上述第1图象的模式不同的第2图象的图象。

17、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部，其特征在于：上述图象处理部在合成图象中显示自己车辆存在的车辆区域的至少一部分和表示自己车辆周围的至少一部分的为了提醒注意的注意提醒区域。

18、根据权利要求项17所述的图象处理装置，其特征在于：上述合成图象是从设定在上述车辆上方的假设视点看去的图象。

19、根据权利要求项17所述的图象处理装置，其特征在于：上述图象处理部在上述车辆区域上显示自己车辆的插图图象或实际拍摄图象。

20、根据权利要求项17所述的图象处理装置，其特征在于：上述上述注意提醒区域包含从任意摄象机都拍摄不到的车辆周围的死角区域的一部分。

21、根据权利要求项17所述的图象处理装置，其特征在于：上述注意提醒区域相当于从任意摄象机都拍摄不到的车辆周围的死角区域。

22、根据权利要求项20或21所述的图象处理装置，其特征在于：上述图象处理部使用表示各个摄象机图象中的映入自己车辆的区域的区域数据，确定组合上述死角区域及车辆区域的区域范围。

23、一种监视系统，具有对车辆周围进行拍摄的多台摄象机、把上述多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部、和显示上述合成图象的显示部，其特征在于：上述图象处理部在上述合成图象中显示自己车辆存在的车辆区域的至少一部分和表示自己车辆周围的至少一部分的为了提醒注意的注意提醒区域。

24、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部，其特征在于：上述图象处理部使用具有记述合成图象的象素与摄象机图象的象素的对应关系的第1构图数据，和记述表示合成图象的象素与摄象机图象以外的象素数据互相对应的识别因子的第2构图数据的构图表生成上述合成图象。

25、根据权利要求项24所述的图象处理装置，其特征在于：上述摄象机图象以外的象素数据用于表示上述车辆或上述车辆周围的至少一部分中的死角区域。

26、根据权利要求项24所述的图象处理装置，其特征在于：上述图象处理部记忆有摄象机图象以外的规定的图象，上述第2构图数据用于记述对于合成图象的象素，在被记忆的上述规定的图象中的与该象素对应的坐标值。

27、根据权利要求项24所述的图象处理装置，其特征在于：上述第2构图数据用于记述对应合成图象象素的象素数据。

28、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部的其特征在于：上述图象处理部使用记述有合成图象的象素与由摄象机图象的象素数据和摄象机图象以外的象素数据中的一方或双方构成的多个象素数据之间的对应关系，并且，对各个象素数据分别记述了必要度的构图数据，根据必要度把各个象素数据进行叠加，来生成上述合成图象象素的象素数据。

29、一种图象处理装置，具有把对车辆周围进行拍摄的多台摄象机的拍摄图象作为输入，根据这些摄象机图象生成合成图象的图象处理部的其特征在于：上述图象处理部具有原构图表，从这个原构图表中提取出记述合成图象的象素与摄象机图象的象素的对应关系的构图表，利用提取出的构图表来生成合成图象。

Images