CN209776359U - 一种车用全景式辅助驾驶系统 - Google Patents

Abstract

本实用新型公开了一种车用全景式辅助驾驶系统，该系统包括车载处理器模块和分别与车载处理器模块连接的图像采集模块、陀螺仪模块、雷达模块、GPS模块、车辆驾驶模块及4G模块，车载处理器模块通过4G模块、GPS模块与远程监控中心连接。本系统解决了目前全景式辅助驾驶系统存在的图像畸变、实时性差、障碍检测和定位受限的车辆辅助的智能驾驶技术难题。

Description

一种车用全景式辅助驾驶系统

技术领域

本实用新型涉及汽车智能驾驶领域，具体是一种车用全景式辅助驾驶系统。

背景技术

随着汽车工业与智能驾驶的迅速发展，使汽车更为便捷，汽车数量日益迅猛增多，人们对汽车的依赖程度日益增加，同时，安全事故和交通拥堵频频发生，汽车驾驶中的视野盲区是交通事故的主要原因之一，同时由于驾驶员不能及时获取实时路况信息，是交通拥堵的原因之一。因此，对汽车位置的实时跟踪、汽车周转的全景视频获取、汽车周围的物体实时监测、车辆与远程监控调度中心的实时互通等辅助驾驶的系统有了需求。传统的车辆监控系统仅在车内前后方各安置1个摄像头，只能观测车辆正前方和正后方的有限区域，视角受限，存在较大视野盲区。

中国专利CN109435852A公开了一种运用6路鱼眼摄像头进行全景式监控车辆，该系统可以覆盖车辆的周围环境，也可以检测车辆周围的障碍物，但是由于其使用了鱼眼摄像头，会导致获取畸变图像，其使用加速稳健特征配准算法进行图像配准，不能较好的应对实时路况的全景视频的监控，其障碍检测是基于图像信息的，不能应对能见度较低的雾霾和阴雨天气。

中国专利CN106994936A公开了一种3D全景泊车辅助系统，该系统采用4路鱼眼摄像头进行三维景象拼接，可以得到车身周围的3D全景图，虽然使用了图形畸变校正措施，但是制约了视频的实时性，其获取视野的物体仍会出现畸变问题。

中国专利CN208479822U公开了一种车用全景环视系统，该系统通过车身的多个摄像头进行全景拍摄，并由补光灯进行补光，获取车身周围的全景图像，但却忽视了车辆的障碍物检测问题。

综上所述，现有技术中存在的问题为：全景视频存在物体畸变、实时性较差，未能完全解决车辆行驶过程中的视野区、未能考虑能见度不足情况下的车辆障碍物检测，经过山洞隧道GPS功能受损的情况，而且未考虑到车辆之间的信息互通，导致无法实现智能辅助驾驶，系统的功能仍需进一步完善。

实用新型内容

本实用新型的目的在于针对上述现有技术的不足，而提供一种车用全景式辅助驾驶系统，以解决目前全景式辅助驾驶系统存在的图像畸变、实时性差、障碍检测和定位受限的车辆辅助的智能驾驶技术难题。

实现本实用新型目的的技术方案是：

一种车用全景式辅助驾驶系统，包括车载处理器模块和分别与车载处理器模块连接的图像采集模块、陀螺仪模块、雷达模块、GPS模块、车辆驾驶模块及4G模块，车载处理器模块通过4G模块、GPS模块与远程监控中心连接，其中：

车载处理器模块内置图像处理模块，用于处理、保存和传输图像数据；

图像采集模块分别安装在车辆车顶正前方、车顶右前方、车尾左后方和车尾右后方，用于实时采集车外360°的视频信息，并将视频信息传输至车载处理器模块进行处理、储存和传输；

陀螺仪模块安装在车辆内部，用于实时获取车辆的俯仰、横滚角、航向角等姿态角和加速度信息，结合图像帧之间的映射关系进行图像校正，并与GPS模块协作进行精确的车辆定位；

雷达模块分别安装在车辆正前方和正后方，将采集到的距离信息传输至车载处理器模块进行障碍监测；

GPS模块安装在车辆内部，通过卫星群对车辆位置进行实时监测；

车辆驾驶模块安装在车辆驾驶室内，通过与车载处理器、GPS模块及4G模块相互协调，对周围车辆和路况进行监控，从而实时对本车辆的行驶路线和车速进行辅助调整，及时控制车辆驾驶，并与外部车辆实现实时共享相关车辆信息。

进一步的，还设有显示模块，与车载处理器模块连接，所述显示模块安装在汽车驾驶室内，用于实时显示全景视频、处理器的输出信息和与远程监控中心互通的信息。

进一步的，还设有语音播报模块，与车载处理器模块连接，用于播报车载处理器模块输出的提示信息及远程监控中心发出的提示信息。

所述图像采集模块为分别分布在车辆车顶左前方、车顶右前方、车尾左后方、车尾右后方的4个摄像头，所述摄像头带有补光灯，能自动补光，其拍摄角度为120°，分辨率为1920*1080，录制速度为每秒30帧。

所述GPS模块还与陀螺仪连接，结合陀螺仪模块进行车辆速度计算，更好的应对在卫星信号薄弱的情况下对车辆进行定位。

所述车载处理器模块集成双核Cortex-A72和四核Cortex-A53架构CPU以及Mali-T864架构GPU，用于系统数据计算与控制。

所述车载处理器模块内部集成了图像处理模块，用于处理、保存和传输图像数据；其中：

所述图像处理模块包括特征点并行配准模块、图像变形模块、像素平滑模块、移动物体识别模块和帧间图像校正模块，图像采集模块与特征点并行配准模块连接，特征点并行配准模块与图像变形模块、像素平滑模块帧间图像校正模块、移动物体识别模块顺序连接，陀螺仪模块与帧间图像校正模块连接，雷达模块与移动物体识别模块连接，移动物体识别模块通过4G模块分别与远程监控中心、显示模块连接；通过与图像采集模块连接进行视频图像的采集，由特征点并行配准模块对视频帧进行相应的特征点匹配，并由图像变形模块计算特征点之间的透射关系，进而对相应图像帧进行图像变形以对齐图像，像素平滑模块将相应的变形图像进行像素平滑处理，以消除图像色差和鬼影，拼接得到整合视频帧，再通过移动物体识别模块识别拼接视频帧中的移动物体，计算车辆与物体的实时距离，由帧间图像校正模块和陀螺仪模块进行视频前后帧之间的空间位置校正。

所述4G模块用于车辆与远程监控中心和附近车辆之间的数据传输。

与现有技术相比，本实用新型的有益效果是：

1.系统通过4个车外摄像头采集相应视频，由处理器实时输出车身周围的全景视频，极大地开阔了驾驶员的视野范围，解决了视野盲区的问题；

2.通过使用陀螺仪校正前后帧的空间关系，并通过基于GPU的图像处理模块加速了处理器的运算速度，实现了实时视频处理；

3.基于图像帧的移动物体检测结合雷达模块，解决了能见度极低的雾霾天气和阴雨黑暗中障碍物的检测问题；

4.陀螺仪与GPS模块的结合，解决了车辆在隧道、山区等卫星信号薄弱地区无法定位的问题，通过4G模块将车辆信息传输至远程监控中心，实现信息共享，远程监控中心进行相应调度指挥，将车辆信息储存便于查验；

5.处理器根据监测信息，通过驱动车辆驾驶模块，采取相应的速度控制、导航、鸣笛和照明等措施，以辅助车辆安全行驶，提高工作安全性和效率；

综上，本实用新型的车用全景式辅助驾驶系统具有结构简单，功能全面，安装方便，无噪音，通用性强的优势，可直接安装在现有的任意车辆上，辅助实现安全驾驶。

附图说明

图1为本实用新型实施例车用全景式辅助驾驶系统的结构示意图；

图2为本实用新型实施例图像处理模块的结构示意图；

图3为本实用新型实施例车用全景式辅助驾驶系统各模块的安装位置示意图；

图4为本实用新型实施例后置摄像头和雷达模块的安装位置示意图；

图5为本实用新型实施例摄像头模块的示意图；

图6为本实用新型实施例雷达模块的示意图；

图7为本实用新型实施例显示模块的示意图。

图中：301.车体 302.第一前置摄像头 303.第二前置摄像头 304. 显示屏、语音模块、陀螺仪模块、GPS模块、4G模块、车辆驾驶模块和处理器模块安装位置 305.前置雷达模块 306.摄像头覆盖范围 401.第一后置摄像头 402.第二后置摄像头 403.后置雷达模块 501.摄像头补光灯 502.摄像头。

具体实施方式

为了使本实用新型实施例的目的、技术方案更加清楚，下面结合附图和实施例对本实用新型的技术方案进行清楚、完整的描述。需要说明的是：所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部实施例。本领域的技术在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本实用新型的保护范围。

实施例：

如图1所示，本实用新型一种车用全景式辅助驾驶系统，由4个摄像头图像采集模块、陀螺仪模块、2个雷达模块、GPS模块、车载处理器模块、车辆驾驶模块、4G模块、语音播报模块、显示模块和远程监控中心组成；4个摄像头图像采集模块、2个雷达模块、陀螺仪模块分别与车载处理器模块连接，车载处理器模块内置图像处理模块，分别通过4G模块、GPS模块与远程监控中心连接，实时获取所述陀螺仪模块、雷达模块、4G模块、GPS模块和摄像头模块等输入信息，进行计算、存储和传输，向车辆驾驶模块、远程控制中心、语音播报模块和显示屏等输出相应信息，远程监控中心通过所述处理器获取车辆实时信息，并通过4G模块进行信息调度，及时引导和提示驾驶员进行安全驾驶，车载处理器模块还分别与语音播报模块、显示模块连接。

如图2所示，图像处理模块包括特征点并行配准模块、图像变形模块、像素平滑模块、移动物体识别模块和帧间图像校正模块，图像采集模块与特征点并行配准模块连接，特征点并行配准模块与图像变形模块、像素平滑模块帧间图像校正模块、移动物体识别模块顺序连接，陀螺仪模块与帧间图像校正模块连接，雷达模块与移动物体识别模块连接，图像处理模块与显示器模块连接，并通过4G模块与远程控制中心连接，以传输拼接的视频；通过与图像采集模块连接进行视频图像的采集，由特征点并行配准模块对视频帧进行相应的特征点匹配，并计算特征点之间的透射关系，进而由图像变形模块对相应图像帧进行图像变形以对齐图像，像素平滑模块将相应的变形图像进行像素平滑处理，以消除图像色差和鬼影，拼接得到融合视频帧，由帧间图像校正模块和陀螺仪模块进行视频前后帧之间的空间位置校正，避免视频抖动，再通过移动物体识别模块结合雷达模块识别拼接视频帧中的移动物体，计算车辆与物体的实时距离。其具体工作过程是：

首先获取4个摄像头模块的图像信息，由特征点的并行配准模块对视频流图像帧组进行的特征点配准，包括同组图像帧和相邻组图像帧的特征点匹配，得到同组间图像帧透视矩阵Hcg（Hcg1和Hcg2）和相似变换矩阵Hs（Hs1和Hs2）和邻组图像帧透视变换矩阵Hag；

其次以50个像素为抽样间隔对每组内的4张图像帧，同时沿宽和高的方向进行抽样，将待拼接图像帧分别划分为密集的网格，得到相应的网格矩阵、、和，由相应矩阵对网格矩阵进行变形，和、和，再利用双线性插值的方法，即可快速完成所述待拼接视频的图像帧的变形，得到变形图像帧、、和；

再次由和分别对变形图像帧进行图像像素平滑，得到融合图像帧；

再由陀螺仪模块得到的前后帧运动误差和矩阵Hag，对视频前后帧之间的空间位置校正，避免视频抖动，并由雷达模块输入的距离信息实时监测车辆前后移动物体与车辆的距离，同时由视频的后1帧减去前1帧，确定出移动物体在图像帧中的位置，进行识别；

最后输出标注移动物体的全景视频流，输出到显示器模块如图7所示的全景视频流，通过4G模块将视频传输至远程控制中心，并由4G模块与之建立通信联系，如图7所示，在驾驶室内的显示器模块上显示远程控制中心的消息以及图像处理模块的处理信息。

如图3、4所示，摄像头模块分别安装在车辆301车顶左前方302，车顶右前方303，车尾左后方401，车尾右后方402，并与处理器通过USB接口相连，显示模块、语音播报模块、陀螺仪模块、4G模块、GPS模块、车辆驾驶模块和处理器模块304等安装在驾驶室。其中：

车辆驾驶模块安装在汽车驾驶室内，同于通过所述处理器、所述GPS模块以及4G模块等相互协调，实现对周围车辆和路况进行监控，从而实时对本车辆的行驶路线和车速进行辅助调整，及时控制车辆安全驾驶，并与外部车辆实现实时共享相关车辆信息；

如图5所示，摄像头模块带有补光灯，有自动补光功能，拍摄角度为120°，分辨率为1920x1080，录制速度为每秒30帧，分别安装在车辆车顶左前方、车顶右前方、车尾左后方、车尾右后方，通过USB接口与处理器相连，用于实时采集车外360°内的视频信息，并将视频信息传输给处理器进行相应的处理、储存和传输；

陀螺仪模块安装在汽车内部，通过IIC接口将数据传输给处理器，用于实时获取车辆的俯仰、横滚角、航向角等姿态角和加速度信息，结合图像帧之间的映射关系进行图像校正，并与GPS模块协作进行精确的车辆定位；

如图6所示，雷达模块分别安装在车前方305和车后方403，通过UART接口传输采集的距离信息，交由处理器进行障碍监测；

GPS模块安装在汽车内，通过卫星群对汽车的位置进行实时监测，结合所述陀螺仪模块进行车辆速度计算，可更好应对卫星信号薄弱情况下的定位；

如图7所示，显示器模块用于实时显示全景视频与提示信息等；语音播报模块用于语音提示和语音通话；陀螺仪模块通过IIC接口将数据传输给处理器，实时采集车辆姿态与速度信息，进行图像校正与车辆位置估算；4G模块通过UART接口与处理器进行数据传输，用于与远程监控中心和附近车辆之间的数据传输；GPS模块通过卫星群对汽车的位置进行实时监测，并通过所述4G模块与远程监控中心和附近车辆进行位置共享；车辆驾驶模块通过传入的车辆信息进行本车辆的行驶路线和速度调整；处理器模块内部设有图像处理模块，用于处理、保存、和传输数据，实现车辆智能驾驶。

本实用新型有效解决了车辆存在视野盲区、无外部监督的问题，实现车辆全景环视视频监测、车身周围物体监测、车辆定位和车辆间的信息共享、辅助车辆安全行驶、监控中心实时监测与调度功能，提高了工作安全性与效率，使出行更加安全便捷。

以上所述，仅为本实用新型较佳的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，根据本实用新型的技术方案及其实用新型构思加以等同替换或改变，都应涵盖在本实用新型的保护范围之内。在不脱离所附权利要求定义的本实用新型的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (8)

1.一种车用全景式辅助驾驶系统，其特征是：包括车载处理器模块和分别与车载处理器模块连接的图像采集模块、陀螺仪模块、雷达模块、GPS模块、车辆驾驶模块及4G模块，车载处理器模块通过4G模块、GPS模块与远程监控中心连接，其中：

车载处理器模块内置图像处理模块，用于处理、保存和传输图像数据；

图像采集模块分别安装在车辆车顶正前方、车顶右前方、车尾左后方和车尾右后方，用于实时采集车外360°的视频信息，并将视频信息传输至车载处理器模块进行处理、储存和传输；

陀螺仪模块安装在车辆内部，用于实时获取车辆的俯仰、横滚角、航向角等姿态角和加速度信息，结构图像帧之间的映射关系进行图像校正，并与GPS模块协作进行精确的车辆定位；

雷达模块分别安装在车辆正前方和正后方，将采集到的距离信息传输至车载处理器模块进行障碍监测；

GPS模块安装在车辆内部，通过卫星群对车辆位置进行实时监测；

车辆驾驶模块安装在车辆驾驶室内，通过与车载处理器、GPS模块及4G模块相互协调，对周围车辆和路况进行监控，实时对本车辆的行驶路线和车速进行辅助调整，控制车辆安全驾驶，并与外部附近的车辆实现实时共享相关车辆信息。

2.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：还设有显示模块，与车载处理器模块连接，所述显示模块安装在汽车驾驶室内，用于实时显示全景视频、处理器的输出信息和向远程监控中心发出的信息。

3.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：还设有语音播报模块，与车载处理器模块连接，用于播报车载处理器模块输出的提示信息及远程监控中心发出的提示信息。

4.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：所述图像采集模块为分别分布在车辆车顶左前方、车顶右前方、车尾左后方、车尾右后方的4个摄像头，所述摄像头带有补光灯，能自动补光，其拍摄角度为120°，分辨率为1920*1080，录制速度为每秒30帧。

5.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：所述GPS模块还与陀螺仪连接，结合陀螺仪模块进行车辆速度计算，更好的应对在卫星信号薄弱的情况下对车辆进行定位。

6.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：所述车载处理器模块集成双核Cortex-A72和四核Cortex-A53架构CPU以及Mali-T864架构GPU，用于系统数据计算与控制。

7.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：所述车载处理器模块内部集成了图像处理模块，用于处理、保存和传输图像数据；其中：

所述图像处理模块包括特征点并行配准模块、图像变形模块、像素平滑模块、移动物体识别模块和帧间图像校正模块，图像采集模块与特征点并行配准模块连接，特征点并行配准模块与图像变形模块、像素平滑模块帧间图像校正模块、移动物体识别模块顺序连接，陀螺仪模块与帧间图像校正模块连接，雷达模块与移动物体识别模块连接，移动物体识别模块通过4G模块分别与远程监控中心、显示模块连接；通过与图像采集模块连接进行视频图像的采集，由特征点并行配准模块对视频帧进行相应的特征点匹配，并由图像变形模块计算特征点之间的透射关系，进而对相应图像帧进行图像变形以对齐图像，像素平滑模块将相应的变形图像进行像素平滑处理，以消除图像色差和鬼影，拼接得到整合视频帧，再通过移动物体识别模块识别拼接视频帧中的移动物体，计算车辆与物体的实时距离，由帧间图像校正模块和陀螺仪模块进行视频前后帧之间的空间位置校正。

8.根据权利要求1所述的车用全景式辅助驾驶系统，其特征是：所述4G模块用于车辆与远程监控中心和附近车辆之间的数据传输。