CN102271966A - 周边影像生成方法及装置 - Google Patents

Abstract

本发明涉及周边影像生成方法及装置。根据本发明的车辆周边影像生成方法包括：将通过设置于车辆的前方、后方、左侧及右侧的摄像机拍摄的影像，通过连接在摄像机的各频道输入的步骤；将拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；利用包含每个频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像，对多个校正影像进行覆盖处理而生成车辆的周边影像的步骤；以及显示周边影像的步骤。根据本发明，消除车辆周边的死角地带，对由多个摄像机拍摄的重复区域进行校正处理而使其看起来自然，从而驾驶员可以准确地识别车辆周边的状况。因此，驾驶员可以不看侧镜或后视镜，也能够方便地停车，可以安全地进行前进行驶或后退行驶。

Description

周边影像生成方法及装置

技术领域

本发明涉及周边影像生成方法及装置，更详细地涉及将通过设置在车辆的前方、后方、左侧及右侧的摄像机拍摄的影像合成而生成车辆的周边影像的方法及装置。

背景技术

一般，在汽车上没有普遍地设置拍摄汽车的周边环境而进行监视的系统，驾驶员单纯通过自己的肉眼确认前方，或通过侧镜或后视镜确认后方而使汽车前进或后退。

但是，随着汽车的结构，坐在驾驶座上容易确认前后方的周边环境，当然还存在不能通过肉眼或各镜子确认的死角地带。特别是，大型汽车的情况下，有很多仅通过侧镜或后视镜不能确认的部位，在开动汽车之前，必须环视汽车的周边并用肉眼确认是否存在障碍物，才能防止如碰撞事故的交通安全事故及人事事故的发生。

另外，想要停车的驾驶员的情况下，不能一眼就确认左右侧和后方，所以驾驶不熟练的新手驾驶员具有与停在周边的汽车或停车柱发生碰撞事故的危险。并且，即使位于汽车的前方的障碍物也可能被位于汽车的前玻璃或门之间的机架挡住障碍物，未发现坐在汽车的前方或后方玩耍的小孩的情况下，有可能引起人命事故。

因此，最近开发出通过分别安装在汽车的前后方部、左右侧面部的摄像机拍摄周边环境，组合被拍摄的画面显示在设置于驾驶员的导航画面上的装置。

但是，根据过去的技术，单纯组合车辆的前后方影像和左右侧影像来显示，从而对在影像之间重叠的重复区域的影像处理执行得不自然，所以存在不能完全去除位于车辆周边的死角地带的问题。例如，有时由前方影像和右侧影像同时拍摄的重复区域被截取表现或显示为省略一部分的状态，使驾驶员难以准确识别当前车辆的周边状况。

发明内容

所要解决的技术课题

因此，本发明要解决的技术课题涉及消除车辆周边的死角地带并使驾驶员准确识别车辆周边的状况的车辆周边影像生成方法及装置。

解决课题技术方案

为了实现这样的技术课题，根据本发明的一实施例的车辆周边影像生成方法包括：将通过设置于车辆的前方、后方、左侧及右侧的摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；利用包含上述每个频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像的步骤；以及显示上述周边影像的步骤。

生成多个校正影像的步骤可以包括：对由上述摄像机的透镜畸变引起的拍摄影像的畸变进行校正的步骤；将上述拍摄影像的视点变换为顶视图形态的步骤；以及使变换为上述顶视图形态的拍摄影像旋转或移动或进行比率变换的步骤。

生成多个校正影像的步骤可以包括：对由上述摄像机的透镜畸变引起的拍摄影像的畸变进行校正的步骤；以及将上述拍摄影像投影变换为长方形的顶视图形态的步骤。

可以利用查找表生成上述多个校正影像。

对在上述多个校正影像之间重复的区域，可以利用下面的数学式进行覆盖处理。

l′(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l′(t+1)表示被覆盖处理的影像信息。

上述掩饰影像可以设定为对包含在上述重复区域的像素具有梯度加权值。

上述方法还可以包括：通过上述设置在前方的摄像机计算对4个指针的平均亮度值，将上述平均亮度值应用于上述周边影像的步骤。

根据本发明的另一实施例的车辆周边影像生成装置包括：影像输入部，将通过设置在车辆的前方、后方、左侧及右侧的摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；影像合成部，利用包含上述每个频道的区域信息和对构成各区域像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像；以及显示部，显示上述周边影像。

上述装置还可以包括对在上述多个校正影像之间重复的区域利用下面的数学式进行覆盖处理的控制部。

l′(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l′(t+1)表示被覆盖处理的影像信息。

上述装置还可以包括接收上述车辆的行驶状态信息而传递到上述控制部的通信部；上述控制部根据上述车辆的行驶状态决定上述周边影像的显示与否。

根据本发明的另一实施例的车辆周边影像生成系统包括：多个摄像机，设置在车辆的前方、后方、左侧及右侧，将被拍摄的影像通过各频道输出；影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，利用包含上述每个频道的区域信息和对构成各区域像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像；以及显示装置，显示上述周边影像。

发明效果

这样，根据本发明，消除车辆周边的死角地带，对由多个摄像机拍摄的重复区域校正处理为看起来自然，驾驶员可以准确地识别车辆周边的状况。因此，驾驶员不看侧镜或后视镜也可以方便地停车，可以安全进行前进或后退行驶。

附图说明

图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图。

图5是表示根据本发明的实施例的周边影像生成系统的构成的图。

图6是表示根据本发明的实施例的周边影像生成方法的顺序图。

图7是用于说明根据本发明的实施例的投影变换算法的例示图。

图8是用于说明根据本发明的实施例的掩饰影像的图。

图9是用于说明2台摄像机拍摄同一物体的情况下产生重复区域的原因的图。

图10是表示根据本发明的实施例的对包含在掩饰影像的重复区域的像素的加权值信息的图。

图11是表示对应于图10进行覆盖处理的影像的图。

图12是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图。

图13是表示根据本发明的实施例的显示装置的画面构成的图。

图14是表示显示在根据图13的显示装置的画面的例示图。

具体实施方式

这样，参考附图对本发明的实施例进行详细地说明，以便本发明所属技术领域的普通技术人员能够容易实施。

图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图。根据本发明的实施例的周边影像生成系统是对通过设置于车辆的3维空间上的4台摄像机110、120、130、140拍摄的影像进行校正处理，从而使驾驶员能够确认车辆的360°周边的用于确保辨认性的系统。如图1所示，在车辆的前方、后方、左侧、右侧分别设有摄像机110、120、130、140，为了最小化车辆的死角地带，摄像机需要最小180°以上的广角。另外，为了提高车辆周边影像的质量，将摄像机的设置高度设定成两个摄像机的重复的视野角的区域最少维持1000×1000mm²。摄像机的设置高度越高越能够确保良好的影像质量。这样，各摄像机可消除车辆的死角地带的位置选定和最小化被合成的周边影像的图像质量下降的设置位置和视野角设定很重要。

通过图2至图4，更详细地说明在车辆(在图1至图4举三箱式汽车为例)设置4台摄像机的位置。如图2所示，前方摄像机110设置在车辆的机罩中心，左侧摄像机130和右侧摄像机140设置成分别位于车辆的两个侧镜的边缘或下方。另外，如图3所示，后方摄像机120设置在后方保险杠上方的中央。在此，前方摄像机110和后方摄像机120设置成以地面方向的垂直线为基准可以拍摄170°以上。

并且，如图4所示，优选前方摄像机110的高度和后方摄像机120的高度维持相同，同样地，优选左侧摄像机130和右侧摄像机140的高度也维持相同。随着摄像机的高度和角度(PAN/TILT)，所输出的影像的比率及图像质量不同，因此在周边影像合成时，这是为了将行车线的宽度在重复区域表现出不同且周边事物的大小出现差异的现象最小化。另外，左侧摄像机130和右侧摄像机140设置成以地面方向的垂直线为基准可以拍摄170°以上。在此，各摄像机的设置位置根据车种不同，根据车辆的设计而可能发生限制。

一般，广角摄像机的透镜周边部的光量不足，发生图像质量的下降，与透镜的中心部相比，在周边部发生很多畸变。并且，将通过摄像机拍摄的影像进行视点变换时，周边部的影像的图像质量严重下降。因此，为了使用形成在摄像机透镜的中心部区域的影像，前方摄像机110和后方摄像机120的光轴与地平线平行，左侧摄像机130和右侧摄像机140设置成与地面垂直。

另外，如图2及图4所示，将摄像机110、120、130、140的高度设定为可以拍摄到从车辆的前后方及左右侧面离开大约1.5m的范围，这时摄像机可以拍摄到相对于地面的垂直轴大约30°至60°左右。

图5是表示根据本发明的实施例的周边影像生成系统的构成的图。

如图5所示，周边影像生成系统可以包括多个摄像机110、120、130、140、影像生成装置200及显示装置300。

多个摄像机110、120、130、140分别设置在车辆的前后方、左右侧，可以具备如广角透镜或鱼眼透镜的视角大的透镜，并包括针孔摄像机。摄像机110、120、130、140通过具有170°以上的宽视角的透镜将3维的被摄体拍摄为2维的影像D1、D2、D3、D4，被拍摄的影像分别通过4个频道ch1、ch2、ch3、ch4被传递到影像生成装置200。

影像生成装置200包括影像输入部210、影像处理部230、影像合成部250、控制部270及通信部290。

影像输入部210将通过多个摄像机110、120、130、140拍摄的影像D1、D2、D3、D4通过各频道ch1、ch2、ch3、ch4接收。

影像处理部230将从影像输入部210接收的拍摄影像D1、D2、D3、D4通过查找表进行影像处理，从各拍摄影像D1、D2、D3、D4生成输出校正影像E1、E2、E3、E4。在此，查找表可以应用畸变校正算法、仿射变换算法、视点变换算法而生成。

影像合成部250接收通过影像处理部230校正的校正影像E1、E2、E3、E4，对接收到的校正影像E1、E2、E3、E4以重叠的覆盖方式进行合成处理。在此，影像合成部250利用掩饰影像进行覆盖合成处理，掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对构成校正影像的像素的加权值信息。

控制部270对包含在校正影像E1、E2、E3、E4之间重复的区域的像素的加权值进行调节而使重复区域自然地显示。

这样，影像合成部250将4个校正影像E1、E2、E3、E4以覆盖方式进行合成处理而生成可以一眼看到车辆的周边360°的周边影像。

通信部290通过CAN通信或LIN通信，从车辆的齿轮、方向盘、速度计、驱动装置等接收当前的行驶状态信号。通信部290将接收到的信号传递到控制部270，控制部270根据行驶状态决定显示于显示装置300的周边影像。例如，控制部270为了预防交通事故，在车辆以一定速度以上行驶中的情况下不显示周边影像。

显示装置300是可以显示由影像合成部250生成的周边影像的装置，可以通过设置于汽车内的显示器或导航体现，也可以包含在影像生成装置200内。

以下，通过图6对影像生成装置200生成汽车的周边影像的方法进行说明。图6是表示根据本发明的实施例的周边影像生成方法的顺序图。

首先，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4分别通过4个频道ch1、ch2、ch3、ch4接收(S310)。如通过图1至图4说明，根据摄像机110、120、130、140的设置位置及高度，拍摄影像D1、D2、D3、D4的构图不同。

接着，影像生成装置200对接收到的拍摄影像D1、D2、D3、D4通过查找表进行校正处理(S320)，生成适合覆盖处理的校正影像E1、E2、E3、E4。查找表应用畸变校正算法、仿射变换算法、视点变换算法的表，以下对各算法进行说明。

首先，畸变校正算法是用于校正由摄像机透镜产生的几何学性畸变的算法。实际上广角透镜或鱼眼透镜不是完全的球形态并且焦距短，所以可能发生几何学性畸变，例如放射形畸变或切线方向畸变。通过这种透镜的畸变，在被拍摄的影像中，直线可能变形为曲线出现。即，可能发生表示透镜的畸变的畸变常数(k)小于0的枕形畸变或发生透镜畸变常数(k)大于0的桶形畸变。

因此，可以通过畸变校正算法校正透镜的几何学性畸变影像。在此，畸变校正算法可以表示为与校正参数和畸变常数有关的函数。校正参数可以包括安装在摄像机的透镜的焦距和光学中心坐标，畸变常数可以包括放射形畸变常数和切线方向畸变常数。

根据本发明的实施例，可以应用如下面的数学式1的畸变校正算法。

[数学式1]

u＝f_X×{x′×(1+k₁×r²+k₂×r⁴)+2p₁×x′×y′+p₂(r²+2x′²)}+c_x

v＝f_y×{y′×(1+k₁×r²+k₂×r⁴)+p₁(r²+2y′²)+2p₂×x′×y′}+c_y

在此，(x′，y′)表示影像平面上的校正指标图像的坐标，u、v表示3维空间坐标被投影的透镜平面上的坐标，f_x和f_y表示透镜的焦距，c_x和c_y表示透镜的光学中心点坐标。k₁和k₂表示放射形畸变常数，p₁和p₂表示切线方向畸变常数，表示r²＝x′²+y′²。在此，校正指标图像可以由方格形状构成，是为了校正透镜的几何学性畸变而使用的图像。

仿射变换表示2维空间表示为1次式的点对应，经过旋转(R)、移动(T)、比率(S)变换。一般，仿射变换可以如下面的数学式2表示。

[数学式2]

W＝A×D+B

在此，W表示仿射运算而输出的2维彩色影像数据，A表示用于体现2维彩色影像数据的线形放大及缩小、旋转等的第1变换系数，D表示所输入的帧单位的2维彩色影像数据，B表示用于体现2维彩色影像数据D的线形移动的第2变换系数。

视点变换算法将通过4个频道输入的拍摄影像D1、D2、D3、D4变换为顶视图视点。即，将输入影像D1、D2、D3、D4进行视点变换为从上向下看的影像。

另一方面，根据本发明的实施例，取代仿射变换和视点变换算法，通过一个投影变换算法也可以执行校正处理。图7是用于说明根据本发明的实施例的投影变换算法的例示图。

如图7通过畸变校正算法生成的点(x，y)通过投影变换算法H变换为(x′，y′)。投影变换算法H如下面的数学式3由3×3的行列构成。

[数学式3]

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

在数学式3分别代入通过畸变校正算法生成的点(x，y)和通过投影变换要生成的点(x′，y′)可以导出表示于数学式3的投影变换算法H。即，如图7例示，在(x，y)分别代入(0，0)、(1，0)、(2，1)、(0，1)，在(x′，y′)分别代入(0，0)、(1，0)、(1，1)、(0，1)进行运算处理，从而可以获得投影变换算法H。这样，通过投影变换来校正由摄像机的倾斜产生的畸变，可以将歪斜的影像变换为如图7的长方形形态。

如本发明的实施例，若利用查找表，则具有可以减少对输入影像D1、D2、D3、D4的变换处理时间的优点，但是也可以不利用查找表对输入影像D1、D2、D3、D4进行畸变校正、仿射变换及视点变换，或者分别执行畸变校正及投影变换来进行变换处理。另外，根据本发明的实施例，可以将根据查找表的设定输出的校正影像E1、E2、E3、E4变更为多种形态。

并且，影像生成装置200利用存储在掩饰影像的每个频道ch1、ch2、ch3、ch4的区域信息和对像素的加权值信息，对校正影像E1、E2、E3、E4进行覆盖处理(S330)。在此，影像生成装置200对在多个校正影像之间重复的区域也利用掩饰影像执行覆盖处理而生成最终的车辆的周边影像(S340)。

图8是用于说明根据本发明的实施例的掩饰影像的图。

根据本发明的实施例，为了将4个校正影像E1、E2、E3、E4覆盖合成为一个影像而利用掩饰影像。

掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对应于各区域的像素值的信息，如图8所示分为9个区域。如图8所示，掩饰影像被设定为通过频道ch1输入的由前方摄像机110拍摄的影像覆盖在1、2、3区域，通过频道ch2输入的由后方摄像机120拍摄的影像覆盖在7、8、9区域。另外，掩饰影像被设定为通过频道ch3输入的由左侧摄像机130拍摄的影像覆盖在1、4、7区域，通过频道ch4输入的由右侧摄像机140拍摄的影像覆盖在3、6、9区域。在此，第1、3、7、9区域是由多个摄像机重复拍摄的重复区域。即，第1区域是由前方摄像机110和左侧摄像机130重复拍摄的重复区域，第3区域是由前方摄像机110和右侧摄像机140重复拍摄的重复区域。另外，第7区域是由后方摄像机120和左侧摄像机130重复拍摄的重复区域，第9区域是由后方摄像机120和右侧摄像机140重复拍摄的重复区域。

控制部270将对应于未重复拍摄的区域即第2、4、6、8区域的影像移动到相当于目标影像的周边影像的相同的区域。并且，控制部270对由多个摄像机重复拍摄的重复区域的第1、3、7、9区域进行利用掩饰影像的覆盖处理。

掩饰影像为了区分色相，对第2、4、6、8区域的每一个显示为没有色相的变化的单色。另外，为了区分车辆，相当于车辆的5区域设定为可调节R、G、B像素值。

并且，掩饰影像设定为包含在第1、3、7、9区域的各像素具有从1至254之间的范围的R像素值。特别是，为了自然的颜色匹配，如图8所示，掩饰影像将包含在第1、3、7、9区域的各像素的R像素值在1至254之间设定为梯度值。若以第1区域为例，将与第2区域相接的部分的像素的R像素值设定为1，越是位于接近第4区域的地方的像素越增加R像素值，与第4区域相接的部分的像素的R像素值设定成254。

同样，如图8所示，在第3区域，将与第2区域相接的部分像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定成254。另外，在第7区域，将与第8区域相接的部分的像素的R像素值役定为1，与第4区域相接的部分的像素的R像素值设定为254。并且，在第9区域，将与第8区域相接的部分的像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定为254。

在此，相邻的频道之间影像的重复的区域即第1、3、7、9区域由于各摄像机的亮度或明度差异而看起来区分为不同事物，控制部270对包含在第1、3、7、9区域的各像素应用下面的数学式4执行覆盖运算。

[数学式4]

I′(t+1)＝αI₁(t)+(1-α)I₂(t)，0≤α≤1

在数学式4中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l′(t+1)表示被覆盖处理的影像信息。

特别是，l₁(t)表示由设置在前方的摄像机110或设置在后方的摄像机120拍摄而通过ch1频道和ch2频道输入的对重复区域的影像信息，l₂(t)表示由设置在左侧的摄像机130或设置在右侧的摄像机140拍摄而通过ch3频道或ch4频道输入的对重复区域的影像信息。

另外，α是对包含在重复区域的R像素的加权值，例如，在第1区域和第2区域相接的部分的情况下，α成为接近0的值1/255，在第1区域和第4区域相接的部分的情况下，α成为接近1的值254/255。

以下，利用图9至图11更详细地说明控制部270利用掩饰影像对重复区域进行覆盖处理的过程。

图9是用于说明2台摄像机拍摄同一物体的情况下产生重复区域的原因的图。

如图9所示，2台摄像机(摄像机1、摄像机2)拍摄相同的物体的情况下，由于2台摄像机指向的视差，物体的形状在影像合成边界区域消失或重复出现。这样的重复区域是车辆的死角地带区域，在车辆周边的四个角地域出现。因此，为了使驾驶员清楚识别车辆周边的状况而提高辨认性，在本发明的实施例中应用通过掩饰影像的覆盖处理。

图10是表示根据本发明的实施例的对包含在掩饰影像的重复区域的像素的加权值信息的图。图11是表示对应于图10进行覆盖处理的影像的图。控制部270如图10所示的(a)至(d)，随着改变对包含在重复区域的像素的加权值，可以表示如图11所示的(a)至(d)的覆盖处理结果。

首先，图10和图11所示的(a)的情况表示以影像合成边界为基准点，两个摄像机的影像完全独立分离的情况。即，对通过摄像机1和摄像机2拍摄的重复区域，若将由图10的(a)例示的加权值信息应用于数学式4，则可以生成如图11的(a)的覆盖处理的影像。

并且，如图10和图11所示的(b)的情况是通过将邻接的各像素之间的加权值线形地设定的半透明混合方法(alpha blend方法)对2个影像进行覆盖处理的情况。(b)的情况下，线形地设定邻接的各像素之间的加权值，从而可以成为最自然的影像。在(a)至(d)所示的重复处理方法中，(b)的情况与图8中说明的梯度加权值设定方法最类似，可以成为最自然的影像。

另外，图10和图11所示的(c)的情况分割区间进行覆盖处理，使得odd列输出由摄像机1拍摄的影像，even列输出由摄像机2拍摄的影像。如图10和图11所示的(d)的情况是在(c)追加行分割而进行覆盖处理，使得odd列输出由摄像机1拍摄的影像，even列输出由摄像机2拍摄的影像。

这样，影像生成装置200对在校正影像E1、E2、E3、E4之间产生的重复区域通过掩饰影像进行覆盖处理，从而可以生成重复区域自然显示的周边影像。

图12是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图。

如图12所示，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4分别通过4个频道ch1、ch2、ch3、ch4接收之后，利用掩饰影像对重复区域执行覆盖处理，从而可以生成自然显示重复区域而合成的周边影像E。

另一方面，通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4的亮度分别不同，从而根据本发明的实施例的影像生成装置200在由设置于车辆的前方的摄像机110拍摄的影像D1放置4个指针并计算对4个指针的亮度的平均值。并且，影像生成装置200使通过图表均衡器对4个影像D1、D2、D3、D4应用平均亮度值合成的周边影像E尽可能具有相同的亮度。

图13是表示根据本发明的实施例的显示装置的画面构成的图，图14是表示在根据图13的显示装置显示的画面的例示图。

如图13及图14所示，车辆行驶的情况下，在A画面输出前方摄像机影像D1，在停车的情况下显示后方摄像机影像D2。在此，控制部270通过车辆的CAN通信检测齿轮箱的后退齿轮on/off信号，使A画面自动转换。并且，驾驶员直接触摸按扭1或按扭2，可以选择性地转换前方摄像机影像D1和后方摄像机影像D2。在此，驾驶员也可以利用轻推转盘来转换影像。

另外，通过A画面显示停车时的后方摄像机影像D2的情况下，由通信部290接收车辆的操纵角度信号的控制部270在A画面显示停车导向线路和预想轨迹，从而可以对驾驶员提供停车的方便性。

并且，如图13及图14所示，在B画面显示由影像生成装置200合成的周边影像E。在此，控制部270从通信部290接收信号，在行驶中可以显示左侧摄像机影像D3或右侧摄像机影像D4。另外，考虑驾驶员的安全性，车辆的行驶速度例如为20km以上，控制部270可以将A画面及B画面转换为关闭状态。

在以上对本发明的优选实施例详细地进行了说明，但是本发明的权利范围不限于此，本领域普通技术人员利用下面的权利要求书所定义的本发明的概念的各种变形及改良形态也属于本发明的权利范围。

工业上可利用性，

这样，根据本发明，消除车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而驾驶员可以准确识别车辆周边的状况。因此，驾驶员不看侧镜或后视镜也可以方便地停车，可以安全地前进或后退行驶。

Claims (13)

1.一种车辆周边影像生成方法，其特征在于，包括：

将通过设置于车辆的前方、后方、左侧及右侧的摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；

将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；

利用包含上述每个频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像的步骤；以及

显示上述周边影像的步骤。

2.如权利要求1所述的车辆周边影像生成方法，其特征在于，

生成多个校正影像的步骤包括：

对由上述摄像机的透镜畸变引起的拍摄影像的畸变进行校正的步骤；

将上述拍摄影像的视点变换为顶视图形态的步骤；以及

使变换为上述顶视图形态的拍摄影像旋转或移动或进行比率变换的步骤。

3.如权利要求1所述的车辆周边影像生成方法，其特征在于，

生成多个校正影像的步骤包括：

对由上述摄像机的透镜畸变引起的拍摄影像的畸变进行校正的步骤；以及

将上述拍摄影像投影变换为长方形的顶视图形态的步骤。

4.如权利要求2或3所述的车辆周边影像生成方法，其特征在于，

利用查找表生成上述多个校正影像。

5.如权利要求1所述的车辆周边影像生成方法，其特征在于，

对在上述多个校正影像之间重复的区域，利用下面的数学式进行覆盖处理：

l′(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

其中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l′(t+1)表示被覆盖处理的影像信息。

6.如权利要求5所述的车辆周边影像生成方法，其特征在于，

上述掩饰影像被设定为对包含在上述重复区域的像素具有梯度加权值。

7.如权利要求1所述的车辆周边影像生成方法，其特征在于，还包括：

通过上述设置在前方的摄像机计算对4个指针的平均亮度值，将上述平均亮度值应用于上述周边影像的步骤。

8.一种车辆周边影像生成装置，其特征在于，包括：

影像输入部，将通过设置在车辆的前方、后方、左侧及右侧的摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；

影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；

影像合成部，利用包含上述每个频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像；以及

显示部，显示上述周边影像。

9.如权利要求8所述的车辆周边影像生成装置，其特征在于，

上述影像处理部对由上述摄像机的透镜畸变引起的拍摄影像的畸变进行校正；将上述拍摄影像的视点变换为顶视图形态；使变换为上述顶视图形态的拍摄影像旋转或移动或进行比率变换。

10.如权利要求8所述的车辆周边影像生成装置，其特征在于，

还包括对在上述多个校正影像之间重复的区域利用下面的数学式进行覆盖处理的控制部；

l′(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

其中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l′(t+1)表示被覆盖处理的影像信息。

11.如权利要求10所述的车辆周边影像生成装置，其特征在于，

上述掩饰影像被设定为对包含在上述重复区域的像素具有梯度加权值。

12.如权利要求10所述的车辆周边影像生成装置，其特征在于，

还包括接收上述车辆的行驶状态信息而传递到上述控制部的通信部；

上述控制部根据上述车辆的行驶状态决定上述周边影像的显示与否。

13.一种车辆周边影像生成系统，其特征在于，包括：

多个摄像机，设置在车辆的前方、后方、左侧及右侧，将被拍摄的影像通过各频道输出；

影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，利用包含上述每个频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像，对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像；以及

显示装置，显示上述周边影像。

Images