CN102729902B - 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法 - Google Patents

Abstract

本发明提出了一种服务于汽车安全驾驶的嵌入式全景显示装置和方法，包括超广角摄像头、视频采集卡、全景显示CPU、存储器和显示器；超广角摄像头采集来的模拟信号通过视频采集卡转变成数字信号，数字信号传入由全景显示CPU、存储器组成的图像处理模块进行图像校正处理，校正后的图像与汽车俯视图一起在图像处理模块中进行拼接处理，并输出到显示器上。本发明通过显示屏直观的将车身四周的景象展示出来，在汽车正常行驶时，能为驾驶者在拥挤路况行驶提供全景辅助，同时提供多视角视频切换功能，为汽车由匝道斜入主道、或经特殊路况提供更丰富和清晰的盲区影像，为驾驶者因视野范围受限而带来的潜在安全隐患提供有效解决方案。

Description

一种服务于汽车安全驾驶的嵌入式全景显示装置和方法

技术领域

本发明涉及一种嵌入式全景显示装置和方法，为车辆在密集道路、高危路口、遮挡路口等特殊路况行驶提供丰富和清晰的影像。 

背景技术

随着经济的发展和人民物质生活水平的不断提高，我国私家车数量于2011年7月突破7000万辆(数据源自http://www.chinadaily.com.cn)，这种现状导致原本就不宽阔的城市道路变得更加拥挤，而且随着每年新增的大量驾驶经验不足的驾驶者，更加加剧了汽车行驶的安全隐患，随之而来的是交通事故频发，汽车之间、汽车与其他交通工具间的刮擦事件屡见不鲜。当前，辅助驾驶者行车的路况反馈工具主要集中于中央、左、右后视镜和泊车辅助系统(主要用于倒车辅助)。 

当汽车在密集道路行驶时，由于左右后视镜难于观察前车身周边50cm范围内的视野，致使驾驶员视线完全受限，难于在瞬间做出正确判断，易于发生刮擦、追尾和碰撞；当汽车由匝道斜入主道、或经由高危路口、遮挡路口等特殊路况时，驾驶者从后视镜观察范围太小，观察效果还会受车内乘客位置的影响，难于全面了解主道的实况，易于发生突发事故。 

近年来，在辅助汽车安全驾驶视频系统方面的研究主要有： 

中国专利《一种汽车全景环视系统》(201020134403.2)公开了一种通过安装在车身前方、左侧、右侧和后方的四个摄像头，采用主控制器将四个方向的视频修正并拼接，以实现全景图像的显示和局部视频的切换功能。但是由于显示界面仅仅是四个区域视频信息的简单罗列，驾驶者需要判断每一画面与车身一侧的对应关系；安装在左、右两侧后视镜下方的摄像头拍摄视角较小，尤其是在关键路段、高危路口、建筑物密集等视线受阻的地区，无法提供丰富清晰的盲区影像；同时显示界面无法提供障碍物距车身的距离，当存在安全隐患时，无法辅助驾驶者提前做出判断，避免事故的发生。 

中国专利《全景汽车行驶实景监视装置》(201120182503.7)公开了一种通过将四个摄像头安置于车身顶部，朝向前、后、左、右四个方向，采集的视频信息通过微型 处理系统处理后，实现汽车俯视图与四周视频信息构成全景显示画面。但是由于摄像头安装位置较高，无法拍到车身周边近距离的景象，仍然存在视觉的盲区，而且汽车俯视图没能与自身车型建立联系，无法提供画面中障碍物距车身的距离，该装置为一套独立的设备，不易与现有系统集成。 

发表在《电脑知识与技术》期刊的论文《视频拼接技术在可视化倒车雷达中的应用研究》设计了一种视频拼接算法和基于PC/104的硬件系统将两路视频拼接合成为一路视频，实现全景可视化倒车的应用需求，没有涉及对汽车在密集道路、关键路段、高危路口、建筑物密集等视线受阻的情形下行驶的安全辅助。 

发明内容

要解决的技术问题 

为解决现有技术存在的问题，本发明提出了一种服务于汽车安全驾驶的嵌入式全景显示装置和方法，目的在于更好地辅助驾驶员安全行车，使其通过显示器就能观察到车身四周的全部景象，无需左右扭头观看。不仅在密集道路行车时提供全景无死角显示，还能为汽车由匝道斜入主道、或经由高危路口、遮挡路口等特殊路况时提供丰富和清晰的盲区影像，为驾驶员因视野范围受限而带来的潜在安全隐患提供有效的解决方案，并采用自定义参数的方式实现安全预警功能，从而有效地减少事故的发生。同时提供视频存储和一键拍照功能，为事故后的责任判定提供依据。系统采用嵌入式的设计方案与现有行车导航、泊车辅助系统等无缝集成，为驾驶员更安全和更轻松的驾驶提供支持。 

技术方案 

本发明的技术方案为： 

所述一种服务于汽车安全驾驶的嵌入式全景显示装置，其特征在于：包括超广角摄像头、视频采集卡、全景显示CPU、存储器和显示器；所述超广角摄像头包括安装在车身正前方的第一摄像头，安装在车身左后视镜下方的第二摄像头，安装在车身右后视镜下方的第三摄像头，安装在车身正后方的第四摄像头，安装在车身左前照灯上方的第五摄像头，安装在车身右前照灯上方的第六摄像头；所述超广角摄像头的拍摄 角度达到180°；第一至第四摄像头拍摄方向垂直向下，第五、第六摄像头拍摄方向分别朝向车身左右外侧； 

超广角摄像头采集来的模拟信号通过视频采集卡转变成数字信号，数字信号传入由全景显示CPU、存储器组成的图像处理模块进行图像校正处理，校正后的图像与汽车俯视图一起在图像处理模块中进行拼接处理，并根据驾驶者的指令将驾驶者所需图像输出到显示器上。 

所述一种服务于汽车安全驾驶的嵌入式全景显示装置，其特征在于：所述超广角摄像头均采用红外摄像头。 

所述一种服务于汽车安全驾驶的嵌入式全景显示装置，其特征在于：存储器实时存储汽车行驶过程中N分钟前的视频信息。 

所述一种服务于汽车安全驾驶的嵌入式全景显示装置，其特征在于：图像处理模块控制显示器按照驾驶者指令显示摄像头的放大影像。 

所述一种服务于汽车安全驾驶的嵌入式全景显示方法，其特征在于：包括以下步骤： 

步骤1：超广角摄像头采集图像模拟信号，并将模拟信号转变成数字信号； 

步骤2：对超广角摄像头拍摄的图像进行校正，消除由广角摄像而引起的图像失真，得到校正后的图像；按照设定的车身四周安全距离对校正后的图像进行裁剪，得到长为M₁，宽为H₁的车身左右矩形图像，和长为M₂，宽为H₂的车身前后矩形图像；其中H₁为车身侧向安全距离，H₂为车身前后向安全距离，M₁不小于车身长度L，且不大于L+2H₂，M₂不小于车身宽度W，且不大于W+2H₁； 

步骤3：去除步骤2得到的裁剪后的前图像、左图像、右图像和后图像之间的重叠区域： 

步骤3.1：建立全景图像坐标系，全景图像坐标系以车身中心为坐标原点，以车身正前方方向为Y轴正方向，以车身右方方向为X轴正方向，其中车身俯视图位于全景视图中央；分别建立前图像坐标系、左图像坐标系、右图像坐标系、后图像坐标系，各图像坐标系以各自图像中心为坐标原点，各图像坐标系X轴平行于全景图像坐标系 X轴，各图像坐标系Y轴平行于全景图像坐标系Y轴；其中前图像坐标系Y轴、后图像坐标系Y轴与全景图像坐标系Y轴重合，前图像坐标系X轴以及后图像坐标系X轴与全景图像坐标系X轴的距离均为(L+H₂)/2，左图像坐标系Y轴以及右图像坐标系Y轴与全景图像坐标系Y轴的距离均为(W+H₁)/2，左图像坐标系X轴与右图像坐标系X轴重合，且与全景图像坐标系X轴的距离为H₃，H₃为车身后视镜与车身中心在Y轴方向的距离； 

步骤3.2：确定前图像与左图像的重叠区域四个顶点R₁、R₂、R₃和R₄在全景图像坐标系中的坐标，按照步骤3.1中全景图像坐标系与前图像坐标系以及左图像坐标系的关系，得到R₁、R₂、R₃和R₄四点在前图像坐标系以及左图像坐标系中的坐标，选择在前图像或左图像中将R₁、R₂、R₃和R₄四点构成的重叠区域去除； 

步骤3.3：按照步骤3.2中的方法将前图像与右图像、后图像与右图像、后图像与左图像的重叠区域去除； 

步骤4：将经过步骤3处理后的前图像、左图像、右图像、后图像以及汽车俯视图拼接，得到全景图像。 

有益效果 

与现有技术相比，本发明的优点在于：能够通过显示屏直观的将车身四周的景象展示出来，并采用自定义参数的方式实现安全预警功能，在汽车正常行驶时，能为驾驶者在拥挤路况行驶提供全景辅助，指导驾驶者做出正确的决策，在泊车时，能为驾驶者提供全景泊车辅助；同时，提供多视角的视频切换功能，为汽车由匝道斜入主道、或经由高危路口、遮挡路口等特殊路况提供更丰富和清晰的盲区影像，为驾驶者因视野范围受限而带来的潜在安全隐患提供有效的解决方案，大大提高汽车行驶的安全性，有效地减少汽车之间的刮擦、碰撞和潜在的行车安全隐患。本发明采用嵌入式设计模式，可与现有的行车导航、泊车辅助系统等无缝集成，有效地降低了成本。 

附图说明

图1是本发明的体系结构图； 

图2是本发明的硬件配置图； 

图3是本发明的多视频集成及全景显示示意图； 

图4是本发明多视角视频切换示意图； 

图5是本发明的视频存储流程图； 

图6是本发明基于嵌入式理念的设计示意图。 

其中：1、第一摄像头，2、第二摄像头，3、第三摄像头，4、第四摄像头，5、第五摄像头，6、第六摄像头，7、液晶显示器，8、全景显示CPU，9、存储器，10、视频采集卡。 

具体实施方式

下面结合具体实施例描述本发明： 

本实施例设计了一种服务于汽车安全驾驶的全景显示系统，目的在于为驾驶者提供丰富和清晰的盲区影像，在特殊路况行车时提供更好的安全辅助支持，最大限度地减少潜在的安全隐患。如附图1，本实施例中具体的功能模块包括：系统硬件配置模块、基于多视频的全景显示模块、面向特殊路况的多视角切换模块、行驶过程视频采集与存储模块、基于嵌入式理念的系统设计模块。 

本实施例中的服务于汽车安全驾驶的嵌入式全景显示装置，包括超广角摄像头、视频采集卡、全景显示CPU、存储器和液晶显示器。 

本发明需要在车身四周安装六个广角摄像头，如图2A所示，分别是：安装在车身正前方的第一摄像头，距离地面60cm，安装在车身左后视镜下方的第二摄像头，距离地面100cm，安装在车身右后视镜下方的第三摄像头，距离地面100cm，安装在车身正后方的第四摄像头，距离地面60cm(当与泊车辅助系统集成时，该摄像头可以省略，采用泊车辅助系统中的摄像头即可)，安装在车身左前照灯上方的第五摄像头，距离地面80cm，安装在车身右前照灯上方的第六摄像头，距离地面80cm。所有超广角摄像头的拍摄角度达到180°，如图2B所示，第一至第四摄像头拍摄方向垂直向下，主要拍摄车身周围的近景，由于拍摄角度达到180°，完全可以覆盖车身周边的所有区域，做到无死角、无盲区，为驾驶员在拥挤路况行驶时提供全景辅助。第五、第六摄像头拍摄方向分别朝向车身左右外侧，主要拍摄汽车左右两侧远方的景象，当汽车 由匝道斜入主道、或经由高危路口、遮挡路口等特殊路况时，为驾驶者提供更丰富和清晰的盲区影像。所述摄像头均采用红外摄像头，便于夜间或阴雨天气的拍摄。 

本实施例对超广角摄像头采集的视频信息采用图像校正技术和视频拼接技术进行处理： 

步骤1：将超广角摄像头采集来的模拟信号通过视频采集卡转变成数字信号； 

步骤2：数字信号传入由全景显示CPU、存储器组成的图像处理模块进行图像校正处理，这是由于摄像头采集来的视频信息具有几何畸变，在进行图像拼接之前先要进行校正，消除由广角摄像头而引起的图像畸变。本实施例中的图像校正方法采用的是中国人工智能学会第10届全国学术年会论文集中的文献《摄像头失真校正的研究》中公开的方法，该文献作者单位为北京工业大学电子信息与控制工程学院，该校正方法通过建立图像失真模型，找出原始图像坐标和畸变图像坐标之间的对应关系，对图像进行坐标变换，消除由广角摄像头而引起的失真，从而得到校正后的图像。 

得到校正后的图像后，对校正图像按照设定的车身四周安全距离进行裁剪，得到长为M₁，宽为H₁的车身左右矩形图像，和长为M₂，宽为H₂的车身前后矩形图像；其中H₁为车身侧向安全距离，H₂为车身前后向安全距离，M₁不小于车身长度L，且不大于L+2H₂，M₂不小于车身宽度W，且不大于W+2H₁。如附图3中的A，B，C所示。 

步骤3：去除步骤2得到的裁剪后的前图像、左图像、右图像和后图像之间的重叠区域： 

步骤3.1：建立全景图像坐标系，全景图像坐标系以车身中心为坐标原点，以车身正前方方向为Y轴正方向，以车身右方方向为X轴正方向，其中车身俯视图位于全景视图中央；分别建立前图像坐标系、左图像坐标系、右图像坐标系、后图像坐标系，各图像坐标系以各自图像中心为坐标原点，各图像坐标系X轴平行于全景图像坐标系X轴，各图像坐标系Y轴平行于全景图像坐标系Y轴；其中前图像坐标系Y轴、后图像坐标系Y轴与全景图像坐标系Y轴重合，前图像坐标系X轴以及后图像坐标系X轴与全景图像坐标系X轴的距离均为(L+H₂)/2，左图像坐标系Y轴以及右图像坐标 系Y轴与全景图像坐标系Y轴的距离均为(W+H₁)/2，左图像坐标系X轴与右图像坐标系X轴重合，且与全景图像坐标系X轴的距离为H₃，H₃为车身后视镜与车身中心在Y轴方向的距离； 

步骤3.2：确定前图像与左图像的重叠区域四个顶点R₁、R₂、R₃和R₄在全景图像坐标系中的坐标，按照步骤3.1中全景图像坐标系与前图像坐标系以及左图像坐标系的关系，得到R₁、R₂、R₃和R₄四点在前图像坐标系以及左图像坐标系中的坐标，选择在前图像或左图像中将R₁、R₂、R₃和R₄四点构成的重叠区域去除； 

步骤3.3：按照步骤3.2中的相应方法将前图像与右图像、后图像与右图像、后图像与左图像的重叠区域去除； 

步骤4：将经过步骤3处理后的前图像、左图像、右图像、后图像以及汽车俯视图拼接，得到全景图像，并根据驾驶者的指令将驾驶者所需图像输出到显示器上。 

汽车在正常行驶时，显示界面中的画面为第一至第四摄像头拍摄的全景图像，只采集车身周围一米的景象，消除因车身和车内乘客遮挡而形成的盲区。当汽车经由遮挡路口或高危路口，视线受到建筑物或树木阻碍时，车身前方的第五、第六摄像头为驾驶者提供更宽广的盲区景象，由于第五、第六摄像头安装在车身的前方，拍摄角度偏向外侧，所采集的视频信息是远景，能够辅助驾驶者在拐弯或由匝道斜入主道时更早的看到主道后方的车辆，为驾驶者提供更清晰和丰富的视野，提高驾驶的安全性。 

本实施例中采用可以自定义设置的显示界面，如图3D所示，显示界面的中央为汽车俯视图，系统的数据库中可存储各种车型的基本参数，用户可以根据自驾车的型号从数据库中获得相应的车身长、宽以及外形等参数信息，俯视图四周为来自各个方向的实时视频信息，在汽车在正常行驶时，显示界面中的画面为第一至第四摄像头拍摄的并按照上述拼接方法与中央的汽车俯视图拼接起来构成全景图像，消除因车身和车内乘客遮挡而形成的盲区。当汽车经由遮挡路口或高危路口，视线受到建筑物或树木阻碍时，车身前方的第五、第六摄像头为驾驶者提供更宽广的盲区景象，由于第五、第六摄像头安装在车身的前方，拍摄角度偏向外侧，所采集的视频信息是远景，能够辅助驾驶者在拐弯或由匝道斜入主道时更早的看到主道后方的车辆，为驾驶者提供更 清晰和丰富的视野，提高驾驶的安全性。 

如图3D所示，在汽车俯视图周围参数化地标识两条安全警戒线，用于标识车身四周的安全距离(本实施例中设定的初始值为20cm和50cm)，辅助驾驶者安全行车，驾驶者可以根据自身驾驶熟练程度设置安全警戒线的距离，当某一区域有障碍物进入安全警戒线时，用户可以通过显示画面的提示判断是否能够通过障碍物，更有利于驾驶者做出正确的决策，有效地避免刮擦和碰撞的发生。 

本实施例中显示器采用触摸式的液晶屏，方便用户进行操作。如图4所示，本实施例提供给用户具有面向特殊路况的多视角视频切换功能，为当驾驶员对局部信息难于准确判断时，提供更加丰富和清晰的局部视频信息。视频切换的操作模块包括前、后、左、右四个方向触摸按键，分别对应前、后、和左、右远景摄像头，通过触摸某一方向的按键可以对该侧的视频信息进行放大或全屏显示。如图4上部分所示，当汽车经由遮挡路口或高危路口，视线受到建筑物或树木阻碍时，可切换前方视频以获得车身前侧和前方左右两侧的盲区影像，为驾驶者提供更清晰和丰富的视野；如图4左右部分所示，当汽车由匝道斜入主道时，可提前切换左(右)方视频，为驾驶者提供左(右)侧更为丰富的视频，使驾驶者既能看到远方的车辆，又能了解车身一侧的盲区景象，进一步提升驾驶的安全性；如图4下部分所示，要获得更加丰富的后方视野信息时，可切换至后方视频。通过本系统提供的多视角切换功能，可为驾驶者在经由危险路况时提供更加丰富的视野，有效地避免因为驾驶者的视觉盲区而导致的刮擦和碰撞，为安全驾驶提供保障。 

参见图5，本发明提供视频存储和一键拍照功能，对汽车的行驶过程进行记录，方便以后调用查看，在汽车发生事故时为责任的判定提供依据。如图所示，为汽车行驶记录视频存储流程图，当全景显示系统开启时，首先对存储器中的缓存区进行初始化，与此同时，摄像头开始采集视频信息，并将视频信息进行校正和拼接处理，处理后的视频信息暂存到缓存区中，当缓存区中的视频长度达到两分钟时，将缓存区中的这段视频信息存到存储器中，并且覆盖上一段视频信息，用户可以通过显示器查看摄像头拍摄的行车记录。当汽车发生安全事故时，触摸终止摄像按键，系统将缓存区中 的视频信息存入存储区，同时保留上一段视频信息，以便保留事故发生时的影像，为责任的判定提供依据。如果需要进行拍照时，触动拍照按键，六个方向的摄像头同时对外部的景象进行拍照，并将照片信息直接存储到存储器中，可以通过显示器来进行调用查看。 

参见图6，本发明采用的是一种嵌入式的设计理念，尽管现有的车载导航、泊车辅助系统等成熟技术已得到广泛应用，但是仍无法解决车身周围的死角和盲区，存在着安全隐患。为了扩展现有系统的功能和与本发明的无缝集成，采用了一种嵌入式的设计方案，有效降低成本。通过给现有的辅助系统安装多个摄像头、视频采集卡、全景显示CPU和存储器等硬件设备，并采用嵌入式设计方式和开发模式实现参数化自定义设置、多视频集成显示、多视角视频切换、视频存储和一键拍照、嵌入式GUI(Graphical User Interface)显示等功能模块，最终以一种即插即用的方式接入到现有导航、泊车辅助等系统，可在相对较低的成本下实现本发明与现有系统的无缝集成。 

Claims (1)

1.一种服务于汽车安全驾驶的嵌入式全景显示方法，其特征在于：包括以下步骤：

步骤1：超广角摄像头采集图像模拟信号，并将模拟信号转变成数字信号；

步骤2：对超广角摄像头拍摄的图像进行校正，消除由广角摄像而引起的图像失真，得到校正后的图像；按照设定的车身四周安全距离对校正后的图像进行裁剪，得到长为M₁，宽为H₁的车身左右矩形图像，和长为M₂，宽为H₂的车身前后矩形图像；其中H₁为车身侧向安全距离，H₂为车身前后向安全距离，M₁不小于车身长度L，且不大于L+2H₂，M₂不小于车身宽度W，且不大于W+2H₁；

步骤3：去除步骤2得到的裁剪后的前图像、左图像、右图像和后图像之间的重叠区域：

步骤3.1：建立全景图像坐标系，全景图像坐标系以车身中心为坐标原点，以车身正前方方向为Y轴正方向，以车身右方方向为X轴正方向，其中车身俯视图位于全景视图中央；分别建立前图像坐标系、左图像坐标系、右图像坐标系、后图像坐标系，各图像坐标系以各自图像中心为坐标原点，各图像坐标系X轴平行于全景图像坐标系X轴，各图像坐标系Y轴平行于全景图像坐标系Y轴；其中前图像坐标系Y轴、后图像坐标系Y轴与全景图像坐标系Y轴重合，前图像坐标系X轴以及后图像坐标系X轴与全景图像坐标系X轴的距离均为(L+H₂)/2，左图像坐标系Y轴以及右图像坐标系Y轴与全景图像坐标系Y轴的距离均为(W+H₁)/2，左图像坐标系X轴与右图像坐标系X轴重合，且与全景图像坐标系X轴的距离为H₃，H₃为车身后视镜与车身中心在Y轴方向的距离；

步骤3.2：确定前图像与左图像的重叠区域四个顶点R₁、R₂、R₃和R₄在全景图像坐标系中的坐标，按照步骤3.1中全景图像坐标系与前图像坐标系以及左图像坐标系的关系，得到R₁、R₂、R₃和R₄四点在前图像坐标系以及左图像坐标系中的坐标，选择在前图像或左图像中将R₁、R₂、R₃和R₄四点构成的重叠区域去除；

步骤3.3：按照步骤3.2中的方法将前图像与右图像、后图像与右图像、后图像与左图像的重叠区域去除；

步骤4：将经过步骤3处理后的前图像、左图像、右图像、后图像以及汽车俯视图拼接，得到全景图像。