CN103810686A

CN103810686A - 无缝拼接全景辅助驾驶系统及方法

Info

Publication number: CN103810686A
Application number: CN201410070044.1A
Authority: CN
Inventors: 王正; 陈国栋
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2014-05-21

Abstract

本发明公开了一种无缝拼接全景辅助驾驶系统及方法，该方法包括：S1、畸变校正，对广角摄像头进行畸变校正，获取车辆四周的图像；S2、图像配准，对相邻图像进行特征提取，实现多幅图像的配准；S3、鸟瞰变换，将不同视点图像变换至同一视点；S4、图像融合，采用对感兴趣区域加权融合的方法，消除有缝拼接、光照影响、鬼影、模糊的影响，实现高清无缝拼接；S5、虚拟车实现，实现360度全景虚拟车显示。本发明为驾驶者提供了一种全新的驾驶模式，是一种无盲区、无缝隙的全景系统，为驾驶者提供了一种实景360度全景系统，使驾驶员能直观、全面了解车身周边情况。

Description

无缝拼接全景辅助驾驶系统及方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种无缝拼接全景辅助驾驶系统及方法。

背景技术

汽车的主动安全主要以操控的安全性为前提，目前主动安全的技术主要包括了防抱死制动系统（ABS）、防碰撞预警系统（AWS）、变道辅助系统（LCA）、电子制动力分配系统（EBD）、牵引力控制系统（TCS）、电子稳定装置（ESP）、高级驾驶辅助系统（ADAS）等多项能够让汽车驾驶者能够在多种环境和路况下尽可能的自由操纵控制汽车的技术。

而汽车的被动安全主要以汽车发生交通事故后的防护性安全为主，目前其主要技术突破都出现安全气囊、颈部防护系统、儿童安全座椅以及安全带等多个项目中。

随着汽车技术的快速发展和不断革新，汽车作为人们工作生活中的常用交通工具，已经对整个社会的发展产生了重要的影响。而伴随频繁发生的交通事故，人们对汽车安全的关注和要求也越来越高。一方面人们开始逐步提高安全驾驶意识，另一方面汽车相关企业也从主动安全和被动安全两个方面进行技术研发，不断推出增加汽车驾驶安全系数的产品和应用。

随着社会的发展，交通安全问题越来越凸显，传统的汽车安全理念也在逐渐发生变化，传统的安全理念很被动比如安全带、安全气囊、保险杠等多是些被动的方法并不能有效解决交通事故的发生，随着科技的进步，汽车的安全被细化，主动安全的概念慢慢的行成并不断的完善。

倒车警告/倒车影像/车外摄像头、芯片防盗系统、自动感应大灯和/或夜视辅助系统等都是常见的汽车主动安全技术。

Bird View(360度环视系统)，这一系统安装在仪表台上的显示屏显示了车辆四周的俯视情况，可以彻底消灭车辆的盲点。尤其是在停车时会给出很大帮助。通过安装在车身前后左右的摄像头对周围路面情况进行拍摄，然后利用图像处理技术将其合成为一个完整的画面在显示屏上。

目前一些专利或文献中提出了一系列相似技术方案，如申请号201010590428.8（一种全景泊车辅助系统）的专利中提出了一种包含摄像头输入模块、图像校正模块、鸟瞰透视模块、图像拼接模块、直方图均衡模块和图像显示模块，在摄像头输入模块，支持PAL制式相机，在图像校正模块采用多项式拟合方法标定摄像头，采用通用鸟瞰透视变换实现图像鸟瞰变换，并按照各透视变换图在三维坐标系中的尺寸关系实现全景拼接。上述实现全景图像拼接的方法实现的是一种有缝的全景图像拼接。申请号200910119475.1（全景可视泊车系统）的专利提出了一种采用4个摄像头的全景可视泊车系统，该系统只是单纯的将4个摄像头数据简单放置于仪器，并没有对图像进行处理形成自然直观的全景图。

申请号201010590428.8的专利中实现全景图像拼接的方式是采用世界坐标拼接，势必会造成图像拼接中出现缝隙，且在图像拼接过程中可能会造成拼接区域死点的存在。申请号200910119475.1专利中只是简单的图像堆积，并没有有效融合，形成一种有缝隙全景拼接；该专利的后续补充专利申请号201110382366.6提出了一种用于全景泊车系统的图像融合方法，采用的是将重合区域图像点坐标与重叠区边界的位置关系，从而将信息融合，这种融合方法单纯利用数据本身在坐标系中的位置关系，而忽略了融合部分的内容信息。目前一些融合方法由于拼接过程中采用图像简单的叠加以及图像在标定或鸟瞰变换过程中造成的图像缺失在拼接过程中会造成拼接区域出现死角等问题。

因此，针对上述技术问题，有必要提供一种无缝拼接全景辅助驾驶系统及方法。

发明内容

有鉴于此，本发明针对上述问题，提出了一种无缝拼接全景辅助驾驶系统及方法。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种无缝拼接全景辅助驾驶方法，所述方法包括：

S1、畸变校正，对广角摄像头进行畸变校正，获取车辆四周的图像；

S2、图像配准，对相邻图像进行特征提取，实现多幅图像的配准；

S3、鸟瞰变换，将不同视点图像变换至同一视点；

S4、图像融合，采用对感兴趣区域加权融合的方法，消除有缝拼接、光照影响、鬼影、模糊的影响，实现高清无缝拼接；

S5、虚拟车实现，实现360度全景虚拟车显示。

作为本发明的进一步改进，所述步骤S2具体包括：

S21、根据相邻图像中重叠部分的位置，确定两张图像的变换关系，找出待拼接图像之间映射关系的变换模型；

S22、利用一种或多种配准方式实现多幅图像的配准。

作为本发明的进一步改进，所述步骤S21中的变换关系包括平移变换、刚性变换、仿射变换、投影变换。

作为本发明的进一步改进，所述步骤S22中配准方法包括基于坐标系位置的图像配准方法、基于像素灰度的图像配准方法。

作为本发明的进一步改进，所述步骤S4中图像融合采用像素级的特征融合算法实现，具体为：

采用线性亮度补偿方法进行融合处理，根据待拼接区域亮度差按照亮度线性分布方式调整，实现亮度融合。

相应地，一种无缝拼接全景辅助驾驶系统，所述系统包括若干安装于车辆四周的广角摄像头、与广角摄像头相连的图像处理模块、以及与图像处理模块相连的显示器和蜂鸣器。

作为本发明的进一步改进，所述广角摄像头数量为4个，包括分别位于车辆前后左右位置的前置广角摄像头、后置广角摄像头、左置广角摄像头、右置广角摄像头。

作为本发明的进一步改进，所述前置广角摄像头采用螺栓与螺母固定安装于车头中部，前置广角摄像头为斜向下倾斜安装；

所述后置广角摄像头采用弹片式卡扣固定安装于车尾中部，后置广角摄像头为斜向下倾斜安装；

所述左置广角摄像头采用嵌入式安装于左后视镜底部，左置广角摄像头为垂直向下安装或向外倾斜安装；

所述右置广角摄像头采用嵌入式安装于右后视镜底部，右置广角摄像头为垂直向下安装或向外倾斜安装。

作为本发明的进一步改进，所述广角摄像头上垫设有硅胶垫。

作为本发明的进一步改进，所述广角摄像头为180°广角摄像头。

本发明不仅为驾驶者提供了一种全新的驾驶模式，其作为主动安全系统，是一种无盲区、无缝隙的全景系统，该系统为驾驶者提供了一种实景360°全景系统；安全线的设置与蜂鸣器提醒更是增强了该系统的安全性；能使驾驶员能直观、全面了解车身周边情况，高速模式下为增强安全性，系统自动关闭。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明无缝拼接全景辅助驾驶系统的模块示意图；

图2为本发明无缝拼接全景辅助驾驶系统中广角摄像头的安装示意图；

图3为本发明无缝拼接全景辅助驾驶方法的具体流程图；

图4为本发明广角摄像头的畸变校正原理图；

图5为本发明视点变换的原理图；

图6为本发明图像融合时的光线补偿示意图；

图7为本发明一具体实施例中广角摄像头的标定示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明的一种无缝拼接全景辅助驾驶系统，包括若干安装于车辆四周的广角摄像头、与广角摄像头相连的图像处理模块20、以及与图像处理模块20相连的显示器(未图示)和蜂鸣器30。

结合图2所示，广角摄像头数量为4个，前置广角摄像头11、后置广角摄像头12、左置广角摄像头13、右置广角摄像头14，其中：

前置广角摄像头11采用螺栓与螺母固定安装于车头中部，前格栅附近，高度大于70cm，斜向下倾斜安装，使摄像头的光轴在车辆前方1～2米处；

后置广角摄像头12采用弹片式卡扣固定安装于车尾中部，牌照灯下方，高度大于70cm，斜向下倾斜安装，使摄像头的光轴在车辆后方1～2米处；

左置广角摄像头13采用嵌入式安装于左后视镜底部，左置广角摄像头为垂直向下安装或向外倾斜安装；

右置广角摄像头14采用嵌入式安装于右后视镜底部，右置广角摄像头为垂直向下安装或向外倾斜安装。

广角摄像头在安装时还可以加装硅胶垫起到加紧固定和防震的作用。

本发明所采用的摄像头均为视野大于或等于180°的广角摄像头，因此，上述安装方法可以确保摄像头采集到的场景能够有效覆盖车身周围360°的视场区域，为后续的全景拼接提供了保障。当然，在其他实施方式中摄像头数量及安装位置也可以改变，只要满足摄像头覆盖车身周围360°的视场区域即可。

布线步骤如下：

布线时应按照摄像头位置向主机方向穿线；线路最后汇集到主机方向进行集中。布线时要参照相应的线路连接图；连接线路要注意摄像头延长线的匹配。其中：

前面：1.卸下工具柜；2.从前栅格板车标位置，通过驾驶室穿线孔，将前摄像头延长线穿到工具柜位置；

后面：1.卸下车门内板或后行李箱盖板；2.从尾部牌照灯位置，沿底棚或地板将后摄像头延长线穿到工具柜位置；

左右两侧：1.卸下左右后视镜及左右驾驶室侧门内装饰板；2.卸下后视镜镜片，从后视镜镜片后面位置，经后视镜穿线孔将侧摄像头延长线穿到车门夹层；3.从车门夹层经门侧穿线孔穿到工具柜。

布线注意：非主机厂原配时，倒车后视镜折卸注意点后视镜镜片通常采用塑料卡扣的结构设计，内部上边上L型卡扣，下边是凹形卡扣，折卸时通常从下部将平口改锥插入白色构件与底部塑胶件之间，轻轻转动或撬动就能分离镜片，切不可用力在镜片上以免损坏。也有一些车型采用球头卡扣设计，折卸容易，安装时球头受力会向内收缩，可以考虑对塑料卡扣进行适当加热或加润滑剂。

安装注意：左右摄像头根据后视镜的规格可选择内藏式或外挂式。非主机厂原配时，拆卸时注意保护后视镜镜片，打孔时注意保护底漆。

参图3所示，本发明的一种无缝拼接全景辅助驾驶方法，具体包括：

S3、鸟瞰变换，将不同视点图像变换至同一视点；

S5、虚拟车实现，实现360度全景虚拟车显示。

具体算法实现如下：

S1、畸变校正

180度广角镜头不同于传统真空模型摄像头，真空模型摄像头为小孔成像原理摄像头，而180度广角镜头为等距离模型，180度广角镜头模型如图4所示。

广角镜头畸变校正是360°全景图像显示的第一步，采用基于扩展kalman滤波的摄像机标定方法具有速度快、精度高的优点，畸变模型如图4所示,采用多项式拟合方法即可求解摄像机参数。

参图4所示，在成像系统中的世界坐标点投影至球面，公式如下：

x_{s} = \frac{x}{| | x | |} = (X_{s}, Y_{s}, Z_{s}),

成像点变换至相对球心有一定距离的参考坐标下C_p(0,0,ξ)，成像点变换为：

x_s＝(X_s，Y_s，Z_s+ξ)；

接着将图像投影至归一化图像平面：

m_{u} = (\frac{X_{s}}{Z_{s} + ξ}, \frac{Y_{s}}{Z_{s} + ξ}, 1);

将成像系统中的径向和切向畸变加入：

m_d＝m_u+D(m_u，v)；

设通用投影矩阵为K，按照针孔相机投影模型，图像坐标系与世界坐标系中的点的关系可以表示为：p=Km。

S2、图像配准，具体包括：

S21、根据相邻图像中重叠部分的位置，确定两张图像的变换关系，找出待拼接图像之间映射关系的变换模型，其中变换关系包括平移变换、刚性变换、仿射变换、投影变换。

根据相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡等差别,配准的目的就是找出一种最能描述待拼接图像之间映射关系的变换模型。目前常用的一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换。

S22、利用一种或多种配准方式实现多幅图像的配准，其中配准方法包括基于坐标系位置的图像配准方法、基于像素灰度的图像配准方法。

针对多视图匹配利用模板匹配精度低、计算量大等问题，尤其少纹理物体特征匹配，利用灰度或纹理特征进行图像匹配，易产生误匹配等问题。根据实际情况可以采用多种配准方式，一种较为快速的配准方式为利用参考坐标系坐标，将所有图像投射在同一参考坐标系下，根据坐标系位置进行配准，采用此方法需要精准的标定。为避免因微小误差造成的位置配准不准确，采用基于像素灰度的图像配准方法实现位置微调。

S3、视点变换

由于摄像机镜头安装位置处于车身的不同位置，成像平面未知，因此，在图像拼接过程中要将所有成像平面变换至统一平面，以地面作为标准平面，实现多幅视图变换至鸟瞰图，参图5所示，三维物体从不同视点看去投影成像不同，但是各投影成像之间可以通过视点变换方式实现转换，并且可以通过已知的两个视点图像合成在这两个视点图像之间的任何一个视点图像，而鸟瞰图像是自上而下的一个视点图像，已知车身周围四个摄像头所获取的图像，每一个摄像头图像都可以通过视点变换至鸟瞰图。假定三维物体的在两个视点下的像分别为I_i，I_j，通过多视变换，在不需要三维重建的情况下，可以得到任一视点下的视图I_k。

S4、图像融合

由于光照、噪点、拼接算法鲁棒性等问题，在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点，边界处也可能形成明显的拼缝。采用对感兴趣区域加权融合的方法，可以有效消除光照影响，拼接区域清晰、无鬼影。

采用像素级的特征融合算法实现特征融合：首先采用线性亮度补偿方法进行融合处理，根据待拼接区域亮度差按照亮度线性分布方式调整，实现亮度融合。参图6所示为本发明一具体光线补偿的示意图。

S5、虚拟车实现

实现360度全景虚拟车显示，由于图像经过各种变换后，对车身周围的观测变为俯视，形成的俯视画面与地面间为一种2D平面与2D平面之间的对应矩阵，根据预先测量的距离信息进行标定，假设设定安全线为车身周边0.5米，根据图像平面与地面之间的标定矩阵，容易映射出对应的安全线区域。

在本发明的一具体实施例中，无缝拼接全景辅助驾驶方法具体如下：

首先，在汽车车身按照图2所示位置分别安装4个广角摄像头。

（1）摄像头标定：为观测较大视角，采用的摄像头为视角为185°的鱼眼镜头，采用摄像头等距模型进行标定摄像头。

（2）在安装好摄像头后，在车身周围A、B、C、D四个位置放置高为2m的标杆，参图7所示，通过观察相邻两摄像头是否可以同时观测到标杆作为判别摄像头是否固定好位置的依据。直到4个摄像头相邻两两摄像头可以观测到A、B、C、D四个标杆为止。

（3）鸟瞰变换：将所有摄像头图像与地面之间建立映射关系，通过二维平面与二维平面之间的映射矩阵将摄像头平面映射至水平面，形成鸟瞰效果。分别对应的图像为I1，I2，I3，I4。

（4）将I1，I2，I3，I4平面与实际物理坐标之间建立比例与平移关系，按照地面物理坐标进行I1，I2，I3，I4粗匹配形成全局图像I。

（5）对I的拼缝处进行数据融合处理，形成无缝拼接图像。

本发明提出了一种包含图像采集、畸变矫正、图像配准、视点变换、图像融合等步骤的360°无缝拼接全景辅助驾驶方法及系统，作为汽车主动安全系统，包含以下功能：

（1）倒档自动开启

倒车时自动开启360°全景显示，并能显示智能倒车轨迹。当处于非倒车状态时，按下启动按钮，自动开启。

（2）360度全景显示

将四路广角摄像头分别安装在汽车前、后、左后照镜、右后照镜位置处，经过图像配准与图像融合后，实现汽车360度无缝全景显示。

（3）视图手动/智能切换

可以实现前、后、左、右四个畸变校正视图的手动切换显示，系统默认智能切换模式，当左转灯亮或向左打方向盘幅度较大时主视图切换至左侧摄像头，当右转灯亮或向右打方向盘幅度较大时主视图切换至右侧摄像头视图，当停车或倒车时，主视图切换至后视图，当前行且前侧3米范围内有障碍物时，主视图切换至前侧摄像头视图。

（4）倒车轨迹显示

倒车时可依据方向盘转动角度预先估算好倒车的行进轨迹，将车辆轨迹显示于车内屏幕上供驾驶者参考，挂入倒档时，影像监视器能够清晰地显示车后情况，并有倒车指引线，标明合理的倒车路线，指引驾驶者按正确的轨迹倒车。

（5）车身四周安全线提醒

在360度全景显示过程时，四周0.5米范围内有障碍物时，并设置警报线，接近警报线时系统蜂鸣器报警提醒。

（6）前方障碍物距离提醒

平整路面行驶时，前方5米范围内有障碍物，系统报警提醒。

（7）高速自动关闭

当速度超过设定限制时（>30km/h），全景系统自动关闭。

综上所述，本发明无缝拼接全景辅助驾驶系统及方法不仅为驾驶者提供了一种全新的驾驶模式，其作为主动安全系统，是一种无盲区、无缝隙的全景系统，该系统为驾驶者提供了一种实景360°全景系统；安全线的设置与蜂鸣器提醒更是增强了该系统的安全性；能使驾驶员能直观、全面了解车身周边情况，高速模式下为增强安全性，系统自动关闭。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种无缝拼接全景辅助驾驶方法，其特征在于，所述方法包括：

S3、鸟瞰变换，将不同视点图像变换至同一视点；

S5、虚拟车实现，实现360度全景虚拟车显示。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S22、利用一种或多种配准方式实现多幅图像的配准。

3.根据权利要求2所述的方法，其特征在于，所述步骤S21中的变换关系包括平移变换、刚性变换、仿射变换、投影变换。

4.根据权利要求2所述的方法，其特征在于，所述步骤S22中配准方法包括基于坐标系位置的图像配准方法、基于像素灰度的图像配准方法。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4中图像融合采用像素级的特征融合算法实现，具体为：

6.一种应用权利要求1所述的无缝拼接全景辅助驾驶方法的驾驶系统，其特征在于，所述系统包括若干安装于车辆四周的广角摄像头、与广角摄像头相连的图像处理模块、以及与图像处理模块相连的显示器和蜂鸣器。

7.根据权利要求6所述的系统，其特征在于，所述广角摄像头数量为4个，包括分别位于车辆前后左右位置的前置广角摄像头、后置广角摄像头、左置广角摄像头、右置广角摄像头。

8.根据权利要求7所述的系统，其特征在于，所述前置广角摄像头采用螺栓与螺母固定安装于车头中部，前置广角摄像头为斜向下倾斜安装；

9.根据权利要求7所述的系统，其特征在于，所述广角摄像头上垫设有硅胶垫。

10.根据权利要求6所述的系统，其特征在于，所述广角摄像头为180°广角摄像头。