CN102427982B - 利用车辆周边影像的车线脱离检测方法及装置 - Google Patents

Abstract

本发明涉及利用车辆周边影像的车线脱离检测方法及装置。根据本发明的利用车辆周边影像的车线脱离检测方法包括：将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在摄像机的各频道输入的步骤；将拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；将多个校正影像合成而生成车辆的周边影像的步骤；从车辆的周边影像提取车线，计算车辆和提取出的车线之间的距离信息或车辆的行进方向和提取出的车线构成的角度信息来判断车线脱离的步骤；以及被判断为车线脱离时发生警报的步骤。根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。

Description

利用车辆周边影像的车线脱离检测方法及装置

技术领域

本发明涉及周边影像生成方法及装置，更详细地涉及将通过设置在车辆的前方、后方、左侧及右侧的摄像机拍摄的影像合成来判断车线脱离与否的车线脱离检测方法及装置。

背景技术

最近，由于汽车产业的发达，汽车的普及普遍到可以称得上1户1车时代，由于高速公路及公路运输网的扩充，长途驾驶的驾驶员大幅增加。随之，长途运输较多的卡车驾驶员和长途上下班人员等曝露在由基于长时间驾驶的疲劳、不小心、困倦驾驶带来的车线脱离事故的危险。

一般，尖端安全车辆(AdvancedSafetyVehicle，以下称为“ASV”)是指为了提高车辆的安全性应用尖端电子技术和控制技术的尖端车辆，减少交通事故而增加交通量，节约能源并谋求驾驶员的方便。

ASV包括自动控制车距的匀速行驶装置(AdaptiveCruiseControl，以下称为“ACC”)，监视车线脱离进行警告的车线脱离警报系统(LaneDepartureWarningSystem，以下称为“LDWS”)等。

特别是LDWS是通过安装在车辆的摄像机检测前方道路影像掌握当前行驶的车线之后，如果驾驶员由于不注意或困倦驾驶等而要脱离车线时，响起警报音的安全系统。LDWS基于通过摄像机拍摄的图像，综合分析测面位置和测面速度、操纵角度、车线的宽度、道路的弯曲等，分析结果，若检测出车线脱离，则通知给驾驶员。

根据现有技术，根据通过安装在车辆的两侧侧镜的摄像机拍摄的后侧方的左右影像提取车线，计算提取出的左右车线和车体的方向线构成的角度等而检测出车线脱离与否。根据其它现有技术，根据通过安装在车辆的前方的摄像机拍摄的前方的影像和道路的影像识别车线，提取识别出的车线的斜率变化来判断车线脱离与否。

但是，根据现有技术，单纯组合车辆的左右侧影像而显示，从而不能自然的执行影像之间的覆盖处理，具有不能准确判断当前车辆的行驶位置或路径脱离程度的问题，特别是仅根据车辆的前方影像难以准确判断当前车辆的脱离程度，具有驾驶员难以方便地确认行驶状况的问题。

发明内容

因此，本发明要解决的技术课题涉及将由安装在车辆的摄像机拍摄的影像合成为尽可能自然的影像，从而准确地检测车线脱离，使驾驶员能够方便识别车线脱离与否的利用车辆周边影像的车线脱离检测方法及装置。

用于实现这种技术课题的根据本发明的一实施例的利用车辆周边影像的车线脱离检测方法包括：将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；将上述多个校正影像合成而生成上述车辆的周边影像的步骤；从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息来判断车线脱离的步骤；以及被判断为上述车线时脱离发生警报的步骤。

生成上述车辆的周边影像的步骤可以利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像。

上述摄像机可以分别在上述车辆的左侧及右侧方向各设置1个，或分别在上述车辆的前方及后方各设置1个。

上述摄像机可以分别在上述车辆的前方、左侧及右侧方向各设置1个。

上述摄像机可以分别在上述车辆的前方、后方、左侧及右侧方向各设置1个。

判断上述车线脱离的步骤包括：在上述车辆的周边显示表示上述车辆的行进方向的行进方向线的步骤；测定上述行进方向线和上述提取出的车线之间的距离，测定上述行进方向线和上述提取出的车线的交差角度来生成上述距离信息或上述角度信息的步骤；以及上述距离信息或上述角度信息脱离基准范围的情况下判断为脱离车线的步骤。

根据本发明的其它实施例的利用车辆周边影像的车线脱离检测装置包括：影像输入部，将通过设置在行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；影像合成部，将上述多个校正影像合成而生成上述车辆的周边影像；车线脱离检测部，从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据计算出的上述距离信息或上述角度信息判断车线脱离。

根据本发明的其它实施例的利用车辆周边影像的车线脱离检测系统包括：多个摄像机，设置在行驶中的车辆，将被拍摄的影像通过各频道输出；影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，合成上述多个校正影像而生成上述车辆的周边影像；车线脱离检测装置，从上述车辆的周边影像提取出车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据上述距离信息或上述角度信息判断车线脱离，在判断为上述车线脱离时发生警报，以及显示装置，显示上述周边影像或警报画面。

这样，根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。另外，行驶中的驾驶员不太依赖侧镜或后视镜也可以准确迅速地识别车辆周边的状况和车线脱离信息，可以预防由酒后驾驶或困倦驾驶引起的事故。

附图说明

图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图；

图5是表示根据本发明的实施例的利用车辆周边影像的车线检测系统的构成的图；

图6是表示根据本发明的实施例的周边影像生成方法的顺序图；

图7是用于说明根据本发明的实施例的掩饰影像的图；

图8是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图；

图9是表示根据本发明的实施例的车线脱离检测方法的顺序图；

图10至图12是用于说明根据本发明的实施例的车线脱离检测方法的车辆周边影像。

具体实施方式

这样，参考附图对本发明的实施例进行详细地说明，以便本发明所属技术领域的普通技术人员能够容易实施。

以下，在说明根据本发明的实施例的利用车辆周边影像的车线检测系统之前，对设置于车辆的摄像机进行说明。

图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图。根据本发明的实施例，对通过设置于车辆的3维空间上的4台摄像机110、120、130、140拍摄的影像进行校正处理，从而使驾驶员能够确认车辆的360°周边。如图1所示，在车辆的前方、后方、左侧、右侧分别设有摄像机110、120、130、140，为了最小化车辆的死角地带，摄像机需要最小180°以上的广角。另外，为了提高车辆周边影像的质量，将摄像机的设置高度设定成两个摄像机的重复的视野角的区域最少维持1000×1000mm²。摄像机的设置高度越高越能够确保良好的影像质量。这样，各摄像机可消除车辆的死角地带的位置选定及最小化被合成的周边影像的图像质量下降的设置位置和视野角设定很重要。

通过图2至图4，更详细地说明在车辆(在图1至图4举三箱式汽车为例)设置4台摄像机的位置。如图2所示，前方摄像机110设置在车辆的机罩中心，左侧摄像机130和右侧摄像机140设置成分别位于车辆的两个侧镜的边缘或下方。另外，如图3所示，后方摄像机120设置在后方保险杠上方的中央。在此，前方摄像机110和后方摄像机120设置成以地面方向的垂直线为基准可以拍摄170°以上。

并且，如图4所示，优选前方摄像机110的高度和后方摄像机120的高度维持相同，同样地，优选左侧摄像机130和右侧摄像机140的高度也维持相同。随着摄像机的高度和角度(PAN/TILT)，所输出的影像的比率及图像质量不同，因此在周边影像合成时，这是为了将行车线幅的宽度在重复区域表现出不同且周边事物的大小出现差异的现象最小化。另外，左侧摄像机130和右侧摄像机140设置成以地面方向的垂直线为基准可以拍摄170°以上。在此，各摄像机的设置位置根据车种不同，根据车辆的设计而可能发生限制。

一般，广角摄像机的透镜周边部的光量不足，发生图像质量的下降，与透镜的中心部相比，在周边部发生很多畸变。并且，将通过摄像机拍摄的影像进行视点变换时，周边部的影像的图像质量严重下降。因此，为了使用形成在摄像机透镜的中心部区域的影像，前方摄像机110和后方摄像机120的光轴与地平线平行，左侧摄像机130和右侧摄像机140设置成与地面垂直。

另外，如图2及图4所示，将摄像机110、120、130、140的高度设定为可以拍摄到从车辆的前后方及左右侧面离开大约1.5m的范围，这时摄像机可以拍摄到相对于地面的垂直轴大约30°至60°左右。

另一方面，在图1中，为了便于说明，图示出在车辆的前方、后方、左侧及右侧分别设置摄像机，但是在本发明的实施例中也可以通过2个以上的摄像机体现。

即，分别在车辆的左侧及右侧方向各设置1个摄像机，或分别在车辆的前方及后方各设置1个。另外，可以分别在车辆的前方、左侧及右侧方向各设置1个摄像机。

图5是表示根据本发明的实施例的车线检测系统的构成的图。

如图5所示，车线检测系统可以包括多个摄像机110、120、130、140、影像生成装置200、车线脱离检测装置300及显示装置400。

多个摄像机110、120、130、140分别设置在车辆的前后方、左右侧，可以具备如广角透镜或鱼眼透镜的视角大的透镜，并包括针孔摄像机。摄像机110、120、130、140通过具有170°以上的宽视角的透镜将3维的被摄体拍摄为2维的影像D1、D2、D3、D4，被拍摄的影像分别通过4个频道ch1、ch2、ch3、ch4传递到影像生成装置200。

影像生成装置200包括影像输入部210、影像处理部230、影像合成部250及控制部270。

影像输入部210将通过多个摄像机110、120、130、140拍摄的影像D1、D2、D3、D4通过各频道ch1、ch2、ch3、ch4接收。

影像处理部230将从影像输入部210接收的拍摄影像D1、D2、D3、D4通过查找表进行影像处理，从各拍摄影像D1、D2、D3、D4生成输出校正影像E1、E2、E3、E4。在此，查找表可以应用畸变校正算法、仿射变换算法、视点变换算法而生成。

影像合成部250接收通过影像处理部230校正的校正影像E1、E2、E3、E4，以使接收到的校正影像E1、E2、E3、E4重叠的覆盖方式进行合成处理。在此，影像合成部250利用掩饰影像进行覆盖合成处理，掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对构成校正影像的像素的加权值信息。

控制部270对包含在校正影像E1、E2、E3、E4之间重复的区域的像素的加权值进行调节而使重复区域自然地显示。

这样，影像合成部250将4个校正影像E1、E2、E3、E4以覆盖方式进行合成处理而生成可以一眼看到车辆的周边360°的周边影像。

车线脱离检测装置300包括影像接收部310、车线识别部330、脱离判断部350及警报发生部370。

首先，影像接收部310接收从影像生成装置200生成的车辆周边的合成影像。在接收到的影像中不仅显示行驶中的车辆，还显示车辆周边的车线及障碍物。

车线识别部330根据车辆周边影像识别位于车辆的两侧的车线，提取对应于车辆的左右车线的假想车线。

脱离判断部350计算表示车辆行驶的假想线和车线之间的距离及角度等，从而生成当前行驶中的车辆的车线脱离信息。

在检测到车辆脱离车线时，警报发生部370承担向显示装置400传递车线脱离信息或发生警告音或方向盘振动的功能。

显示装置400是可以显示由影像生成装置200生成的周边影像的装置，在从车线脱离检测装置300接收车线脱离信息的情况下将画面转换成警报模式画面。例如，使显示的画面闪烁或画面转换成表示警报的红色。显示装置400可以通过设置在汽车内的单独的显示器或导航仪体现，可以包含在影像生成装置200或车线脱离检测装置300内。

在图5中为了便于说明而将影像生成装置200和车线脱离检测装置300分为承担各自的功能的装置进行图示，但是包含在影像生成装置200的各构成要素可以包含在车线脱离检测装置300并一体化为利用车辆周边影像的车线脱离检测装置来体现。

以下，通过图6至图8对影像生成装置200生成汽车的周边影像的方法进行说明。图6是表示根据本发明的实施例的周边影像生成方法的顺序图。

首先，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4分别通过4个频道ch1、ch2、ch3、ch4接收(S310)。如通过图1至图4说明，根据摄像机110、120、130、140的设置位置及高度，拍摄影像D1、D2、D3、D4的构图不同。

接着，影像生成装置200对接收到的拍摄影像D1、D2、D3、D4通过查找表进行校正处理(S320)，生成适合覆盖处理的校正影像E1、E2、E3、E4。查找表是应用畸变校正算法、仿射变换算法、视点变换算法的表，以下对各算法进行说明。

首先，畸变校正算法是用于校正由摄像机透镜产生的几何学性畸变的算法。实际上广角透镜或鱼眼透镜不是完全的球形态并且焦距短，所以可能发生透镜的几何学性畸变，例如放射形畸变或切线方向畸变。通过这种透镜的畸变。由于这种透镜的畸变，在被拍摄的影像中直线可能变形为曲线出现。即，可能发生表示透镜的畸变的畸变常数k小于0的枕形畸变或发生透镜畸变常数k大于0的桶形畸变。

因此，可以通过畸变校正算法校正透镜的几何学性畸变影像。在此，畸变校正算法可以表示为与校正参数和畸变常数有关的函数。校正参数可以包括安装在摄像机的透镜的焦距和光学中心坐标，畸变常数可以包括放射形畸变常数和切线方向畸变常数。

根据本发明的实施例，可以应用如下面的数学式1的畸变校正算法。

[数学式1]

u＝f_x×{x′×(1+k₁×r²+k₂×r⁴)+2p₁×x′×y′+p₂(r²+2x′²)}+c_x

v＝f_y×{y′×(1+k₁×r²+k₂×r⁴)+p₁(r²+2y′²)+2p₂×x′×y′}+c_y

在此，x′、y′表示影像平面上的校正指标图像的坐标，u、v表示3维空间坐标被投影的透镜平面上的坐标，f_x和f_y表示透镜的焦距，c_x和c_y表示透镜的光学中心点坐标。k₁和k₂表示放射形畸变常数，p₁和p₂表示切线方向畸变常数，表示r²＝x′²+y′²。在此，校正指标图像可以由方格形状构成，是为了校正透镜的几何学性畸变而使用的图像。

仿射变换表示2维空间表示为1次式的点对应，经过旋转(R)、移动(T)、比率(S)变换。一般，仿射变换可以如下面的数学式2表示。

[数学式2]

W＝A×D+B

在此，W表示仿射运算而输出的2维彩色影像数据，A表示用于体现2维彩色影像数据的线形放大及缩小、旋转等的第1变换系数，D表示所输入的帧单位的2维彩色影像数据，B表示用于体现2维彩色影像数据D的线形移动的第2变换系数。

视点变换算法将通过4个频道输入的拍摄影像D1、D2、D3、D4变换为顶视图视点。即，将输入影像D1、D2、D3、D4进行视点变换为从上向下看的影像。

并且，影像生成装置200利用存储在掩饰影像的各频道ch1、ch2、ch3、ch4的区域信息和对像素的加权值信息对校正影像E1、E2、E3、E4执行覆盖处理(S330)。在此，影像生成装置200对于在多个校正影像之间重复的区域也利用掩饰影像执行覆盖处理而生成最终的车辆的周边影像(S340)。

图7是用于说明根据本发明的实施例的掩饰影像的图。

根据本发明的实施例，为了将4个校正影像E1、E2、E3、E4覆盖合成为一个影像而利用掩饰影像。

掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对应于各区域的像素值的信息，如图7所示分为9个区域。如图7所示，掩饰影像被设定为通过频道ch1输入的由前方摄像机110拍摄的影像覆盖在1、2、3区域，通过频道ch2输入的由后方摄像机120拍摄的影像覆盖在7、8、9区域。另外，掩饰影像被设定为通过频道ch3输入的由左侧摄像机130拍摄的影像覆盖在1、4、7区域，通过频道ch4输入的由右侧摄像机140拍摄的影像覆盖在3、6、9区域。在此，第1、3、7、9区域是由多个摄像机重复拍摄的重复区域。即，第1区域是由前方摄像机110和左侧摄像机130重复拍摄的重复区域，第3区域是由前方摄像机110和右侧摄像机140重复拍摄的重复区域。另外，第7区域是由后方摄像机120和左侧摄像机130重复拍摄的重复区域，第9区域是由后方摄像机120和右侧摄像机140重复拍摄的重复区域。

控制部270将对应于未重复拍摄的区域即第2、4、6、8区域的影像移动到相当于目标影像的周边影像的相同的区域。并且，控制部270对由多个摄像机重复拍摄的重复区域的第1、3、7、9区域进行利用掩饰影像的覆盖处理。

掩饰影像为了区分色相，对第2、4、6、8区域的每一个显示为没有色相的变化的单色。另外，为了区分车辆，相当于车辆的5区域设定为可调节R、G、B像素值。

并且，掩饰影像设定为包含在第1、3、7、9区域的各像素具有从1至254之间的范围的R像素值。特别是，为了自然的颜色匹配，如图7所示，掩饰影像将包含在第1、3、7、9区域的各像素的R像素值在1至254之间设定为梯度加权值。若以第1区域为例，将与第2区域相接的部分的像素的R像素值设定为1，越是位于接近第4区域的地方的像素越增加R像素值，与第4区域相接的部分的像素的R像素值设定成254。

同样，如图7所示，在第3区域，将与第2区域相接的部分像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定成254。另外，在第7区域，将与第8区域相接的部分的像素的R像素值役定为1，与第4区域相接的部分的像素的R像素值设定为254。并且，在第9区域，将与第8区域相接的部分的像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定为254。

在此，相邻的频道之间影像的重复的区域即第1、3、7、9区域由于各摄像机的亮度或明度差异而看起来区分为不同事物，控制部270对包含在第1、3、7、9区域的各像素应用下面的数学式4执行覆盖运算。

[数学式3]

I′(t+1)＝αI₁(t)+(1-α)I₂(t)，0≤α≤1

在数学式3中，I₁(t)和I₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，I′(t+1)表示被覆盖处理的影像信息。

特别是，I₁(t)表示由设置在前方的摄像机110或设置在后方的摄像机120拍摄而通过ch1频道和ch2频道输入的对重复区域的影像信息，I₂(t)表示由设置在左侧的摄像机130或设置在右侧的摄像机140拍摄而通过ch3频道或ch4频道输入的对重复区域的影像信息。

另外，α是对包含在重复区域的R像素的加权值，例如，在第1区域和第2区域相接的部分的情况下，α成为接近0的值1/255，在第1区域和第4区域相接的部分的情况下，α成为接近1的值254/255。

这样，影像生成装置200对在校正影像E1、E2、E3、E4之间发生的重复区域通过掩饰影像进行覆盖处理，从而可以生成重复区域自然显示的周边影像。

图8是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图。

如图8所示，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4通过4个频道ch1、ch2、ch3、ch4分别接收之后，利用掩饰影像对重复区域进行覆盖处理，从而可以生成重复区域自然显示合成的周边影像E。

通过这种方式，利用影像生成装置200生成的汽车的周边影像，车线脱离检测装置300可以判断行驶中的车辆是否脱离车线，在以下通过图9至图12对车线脱离检测装置300生成汽车的周边影像的方法进行说明。图9是表示根据本发明的实施例的车线脱离检测方法的顺序图，图10至图12是用于说明根据本发明的实施例的车线脱离检测方法的车辆周边影像。

首先，车线脱离检测装置300接收从影像生成装置200合成的车辆周边的影像(S610)。在此，行驶中的车辆的行驶影像如图10及图11显示为顶视图形态。如图10所示，显示车辆710在道路上行驶的影像，在行驶中的车辆710的两侧分别显示左右车线720、730。

车线脱离检测装置300根据从影像生成装置200接收到的车辆周边的合成影像提取车线(S620)。在此，根据合成影像提取车线方法可以利用霍夫变换(houghtransform)。霍夫变换是在二维影像坐标中利用特定点检测直线的算法。因此，车线脱离检测装置300利用图10所示的车线与画面的上端的交差点a、和车线与画面的下端的交差点b的假想坐标提取左侧车线。同样，利用车线与画面的上端的交差点c、和车线与画面的下端的交差点d的假想坐标提取左侧车线。

因此，车线脱离检测装置300如图10所示提取与车辆710行驶的道路的左右车线720、730对应的左侧假想车线725及右侧假想车线735而显示在合成影像。并且，车线脱离检测装置300将显示车辆710的行进方向的假想的行进方向线分别显示在车辆的左右侧745、755。即，连接车辆的左侧前轮和后轮而生成假想的延长线即左侧行进方向线745来显示，连接车辆710的右侧前轮和后轮而生成假想的延长线即右侧行进方向线755来显示。

车线脱离检测装置300测定左右侧假想车线725、735和车辆的左右侧之间的距离e1、e2，测定左右侧假想车线725、735和左右侧行进方向线745、755构成的交差角度(S630)。即，车线脱离检测装置300测定车辆的左侧行进方向线745和左侧假想车线725之间的距离e1，测定左侧行进方向线745和左侧假想车线725交差的地点的交差角度。同样，车线脱离检测装置300测定车辆的右侧行进方向线755和右侧假想车线735之间的距离e2，测定右侧行进方向线755和右侧假想车线735交差的地点上的交差角度。

并且，判断左右侧假想车线725、735和车辆的左右侧之间的距离e1、e2或左右侧假想车线725、735和左右侧行进方向线745、755构成的角度是否包含在基准范围内(S640)。在此，基准范围考虑驾驶员识别所产生的警报并将朝脱离车线方向行进中的车辆变更为正常方向所需的充分的时间来设定。

图11及图12是表示脱离车线的车辆的周边影像的例示图。如图11所示，在计算出的左侧假想车线725和左侧行进方向线745构成的角度e大于基准角度的情况下，车线脱离检测装置300判断为行驶中的车辆脱离车线。

另一方面，车辆平行于车线行驶的情况下，不产生左右侧假想车线725、735和左右侧行进方向线745、755交差的点。但是，如图12所示，左侧行进方向线745和车辆的左侧假想车线725之间的距离e1比基准距离宽，或右侧行进方向线755和车辆的右侧假想车线735之间的距离e2比基准距离窄的情况下，车线脱离检测装置300判断行驶中的车辆脱离车线。另外，左右侧假想车线725、735和左右侧行进方向线745、755之间的距离e1、e2逐渐减少、或逐渐增加的情况下，车线脱离检测装置300判断行驶中的车辆脱离车线。

车线脱离检测装置300若判断为行驶中的车辆脱离车线，则产生车线脱离警报信号(S650)。在检测到车辆脱离车线时，车线脱离检测装置300执行向显示装置400传递车线脱离信息或产生警告音或方向盘振动的功能。接收到车线脱离信息的显示装置400设定为所显示的画面闪烁或画面转换成表示警报的红色。

另外，车线脱离检测装置300可以在车辆脱离车线时立即产生警报信号，也可以仅在车辆脱离车线的时间为一定期间以上的情况下产生警报信号。

另一方面，根据本发明的实施例的车线脱离检测装置300不仅进行单纯的车辆的车线脱离检测，还可以检测位于车辆的前方的物体，例如车辆前方的车辆、步行者、各种障碍物。即，根据顶视图形态的车辆周边影像提取前方物体的坐标，检测与当前行驶中的车辆之间的距离变化。因此，车辆和前方物体的距离持续缩小的情况下也产生警报音。

以上，对本发明的优选实施例详细地进行了说明，但是，本发明的权利范围不限于此，利用下面的权利要求书定义的本发明的基本概念的从业人员进行的各种变形及改良形态也属于本发明的权利范围。

工业可利用性

这样，根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。另外，行驶中的驾驶员在行驶中不太依赖侧镜或后视镜也可以准确迅速地识别车辆周边的状况和车线脱离信息，可以预防由酒后驾驶或困倦驾驶引起的事故。

Claims (5)

1.一种利用车辆周边影像的车线脱离检测方法，其特征在于，包括：

将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；

将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；

将上述多个校正影像合成而生成上述车辆的周边影像的步骤；

从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息来判断车线脱离的步骤；以及

被判断为上述车线脱离时发生警报的步骤，

其中，所述生成上述车辆的周边影像的步骤是利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像，

其中，利用查找表生成上述多个校正影像，

其中，对在上述多个校正影像之间重复的区域，利用下面的数学式进行覆盖处理：

l'(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

其中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l'(t+1)表示被覆盖处理的影像信息，

上述掩饰影像被设定为对包含在上述重复区域的像素具有梯度加权值，

上述多个摄像机包括前方摄像机、后方摄像机、左侧摄像机和右侧摄像机，

上述前方摄像机和上述后方摄像机的光轴与地平线平行，并且上述左侧摄像机和右侧摄像机被设置成与地面垂直，并且

上述掩饰影像包括第一区域、第二区域、第三区域、第四区域、第五区域、第六区域、第七区域、第八区域和第九区域，其中第一区域是由车辆的前方摄像机和左侧摄像机重复拍摄所得到的区域，第三区域是由上述车辆的前方摄像机和右侧摄像机重复拍摄所得到的区域，第七区域是由上述车辆的后方摄像机和左侧摄像机重复拍摄所得到的区域，第九区域是由上述车辆的后方摄像机和右侧摄像机重复拍摄所得到的区域，第二区域是由上述车辆的前方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第四区域是由上述车辆的左侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第六区域是由上述车辆的右侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第八区域是由上述车辆的后方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，并且第五区域是在其中显示与上述车辆对应的影像的区域。

2.如权利要求1所述的利用车辆周边影像的车线脱离检测方法，其特征在于，

判断上述车线脱离的步骤包括：

在上述车辆的周边显示表示上述车辆的行进方向的行进方向线的步骤；

测定上述行进方向线和上述提取出的车线之间的距离，测定上述行进方向线和上述提取出的车线的交差角度来生成上述距离信息或上述角度信息的步骤；以及

上述距离信息或上述角度信息脱离基准范围的情况下判断为脱离车线的步骤。

3.一种利用车辆周边影像的车线脱离检测装置，其特征在于，包括：

影像输入部，将通过设置在行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；

影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；

影像合成部，将上述多个校正影像合成而生成上述车辆的周边影像；

车线脱离检测部，从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据计算出的上述距离信息或上述角度信息判断车线脱离，

其中，上述影像合成部利用上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像，

其中，利用查找表生成上述多个校正影像，

其中，对在上述多个校正影像之间重复的区域，利用下面的数学式进行覆盖处理：

l'(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

其中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l'(t+1)表示被覆盖处理的影像信息，

上述掩饰影像被设定为对包含在上述重复区域的像素具有梯度加权值，

上述多个摄像机包括前方摄像机、后方摄像机、左侧摄像机和右侧摄像机，

上述前方摄像机和上述后方摄像机的光轴与地平线平行，并且上述左侧摄像机和右侧摄像机被设置成与地面垂直，并且

上述掩饰影像包括第一区域、第二区域、第三区域、第四区域、第五区域、第六区域、第七区域、第八区域和第九区域，其中第一区域是由车辆的前方摄像机和左侧摄像机重复拍摄所得到的区域，第三区域是由上述车辆的前方摄像机和右侧摄像机重复拍摄所得到的区域，第七区域是由上述车辆的后方摄像机和左侧摄像机重复拍摄所得到的区域，第九区域是由上述车辆的后方摄像机和右侧摄像机重复拍摄所得到的区域，第二区域是由上述车辆的前方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第四区域是由上述车辆的左侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第六区域是由上述车辆的右侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第八区域是由上述车辆的后方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，并且第五区域是在其中显示与上述车辆对应的影像的区域。

4.如权利要求3所述的利用车辆周边影像的车线脱离检测装置，其特征在于，

还包括警报发生部，该警报发生部在判断为上述车线脱离时发生警报。

5.一种利用车辆周边影像的车线脱离检测系统，其特征在于，包括：

多个摄像机，设置在行驶中的车辆，将被拍摄的影像通过各频道输出；

影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，合成上述多个校正影像而生成上述车辆的周边影像；

车线脱离检测装置，从上述车辆的周边影像提取出车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据上述距离信息或上述角度信息判断车线脱离，在判断为上述车线脱离时发生警报；以及

显示装置，显示上述周边影像或警报画面，

其中，利用查找表生成上述多个校正影像，

其中，对在上述多个校正影像之间重复的区域，利用下面的数学式进行覆盖处理：

l'(t+1)＝αl₁(t)+(1-α)l₂(t)，0≤α≤1

其中，l₁(t)和l₂(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，l'(t+1)表示被覆盖处理的影像信息，

上述影像生成装置利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像，

上述掩饰影像被设定为对包含在上述重复区域的像素具有梯度加权值，

上述多个摄像机包括前方摄像机、后方摄像机、左侧摄像机和右侧摄像机，

上述前方摄像机和上述后方摄像机的光轴与地平线平行，并且上述左侧摄像机和右侧摄像机被设置成与地面垂直，并且

上述掩饰影像包括第一区域、第二区域、第三区域、第四区域、第五区域、第六区域、第七区域、第八区域和第九区域，其中第一区域是由车辆的前方摄像机和左侧摄像机重复拍摄所得到的区域，第三区域是由上述车辆的前方摄像机和右侧摄像机重复拍摄所得到的区域，第七区域是由上述车辆的后方摄像机和左侧摄像机重复拍摄所得到的区域，第九区域是由上述车辆的后方摄像机和右侧摄像机重复拍摄所得到的区域，第二区域是由上述车辆的前方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第四区域是由上述车辆的左侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第六区域是由上述车辆的右侧摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，第八区域是由上述车辆的后方摄像机拍摄且未经其他任何摄像机重复拍摄所得到的区域，并且第五区域是在其中显示与上述车辆对应的影像的区域。