CN105539290A - 一种用于显示车辆3d全景影像的系统及方法 - Google Patents

Abstract

本发明公开了一种用于显示车辆3D全景影像的系统，包括：鱼眼摄像头，四个所述鱼眼摄像头分别设置在车身的前、后、左、右四个方位上，并且四个所述鱼眼摄像头的影像覆盖区域有重叠；信号采集装置，所述信号采集装置采集车辆的方向盘转角信息，并实时生成倒车轨迹曲线；图像处理装置，所述图像处理装置将四个所述鱼眼摄像头所拍摄到的影像投影到以所述车身为基点的抛物面或球面上，并且将所述倒车轨迹曲线投影到所述抛物面或所述球面上；显示装置，用于显示投影到所述抛物面或所述球面上的倒车轨迹曲线。本发明还公开了一种用于显示车辆3D全景影像的方法。上述系统，在3D投影图像中叠加实时轨迹线，为驾驶员提供更直观具体的倒车辅助作用。

Description

一种用于显示车辆3D全景影像的系统及方法

技术领域

本发明涉及车辆工程技术领域，特别涉及一种用于显示车辆3D全景影像的系统。本发明还涉及一种用于显示车辆3D全景影像的方法。

背景技术

随着汽车行业的发展和人们生活水平的提高，汽车的使用率越来越高，由汽车引发的事故也随之增加，尤其是由于倒车不当而产生的碰撞事故占了很大比例。

相对于前向行驶而言，倒车的难度要高很多。由于看不到车尾周边的物体状况，而且倒车时转向的控制与驾驶员真实感受存在差别，驾驶员很难预估倒车过程中是否会碰到障碍物。

另一方面，汽车安全越来越被重视，汽车摄像头越来越普遍。美国国家公路交通安全局规定，2018年5月1日以后生产的所有轻型车辆必须安装倒车后视摄像头。虽然全景摄像头没有通过法规强制安装，但出于安全考虑，在高端车上已经相当普遍。

在现有技术中，倒车影像系统采用的都是广角摄像头，且安装时摄像头的光轴与水平面夹角较大，使得原本离车很近的物体，从影像上看上去感觉离车很远，给驾驶员以错觉。

发明内容

本发明的目的是提供一种用于显示车辆3D全景影像的系统，该系统可以解决泊车难度较高的问题。本发明的另一目的是提供一种用于显示车辆3D全景影像的方法。

为实现上述目的，本发明提供一种用于显示车辆3D全景影像的系统，包括：

鱼眼摄像头，四个所述鱼眼摄像头分别设置在车身的前、后、左、右四个方位上，并且四个所述鱼眼摄像头的影像覆盖区域有重叠；

信号采集装置，所述信号采集装置采集车辆的方向盘转角信息，并实时生成倒车轨迹曲线；

图像处理装置，所述图像处理装置将四个所述鱼眼摄像头所拍摄到的影像，根据摄像头的内参数和外参数，投影到以所述车身为基点的抛物面或球面上，并且将所述倒车轨迹曲线投影到所述抛物面或所述球面上；

显示装置，用于显示投影到所述抛物面或所述球面上的全景影像及倒车轨迹曲线。

相对于上述背景技术，本发明提供的用于显示车辆3D全景影像的系统，将鱼眼摄像头拍摄到的车身周围场景通过图像处理装置投影到抛物面或球面上，在矫正了拍摄过程中造成的畸变的同时，不会引起障碍物等潜在危险物体严重变形。在倒车时，车尾的运动轨迹比较复杂，在狭小空间停车时，驾驶员不易预测是否有碰撞危险。本发明在3D投影图像中叠加实时车轮(或车尾外轮廓)轨迹线，为驾驶员提供更直观具体的倒车辅助作用。

优选地，所述鱼眼摄像头的开角在170度～190度之间，所述鱼眼摄像头的光轴与水平方向夹角为30度～45度。

优选地，所述倒车轨迹曲线具体为车尾轨迹引导曲线和/或两个后轮轨迹引导曲线。

优选地，所述倒车轨迹曲线还包括两个前轮轨迹引导曲线。

优选地，所述倒车轨迹曲线还显示有距离标识。

本发明还提供一种用于显示车辆3D全景影像的方法，包括如下步骤：

实时采集车身周围的全景影像；

根据车辆方向盘转角生成倒车轨迹；

将所述全景影像以所述车身为基点，基于各个鱼眼摄像头的内参数和外参数，投影到抛物面或球面上，并将所述倒车轨迹投影到抛物面或球面上。

相对于上述背景技术，本发明提供的用于显示车辆3D全景影像的方法，通过对实时采集的车身周围的全景影像进行投影，并根据车辆方向盘转角而计算得到倒车轨迹，将倒车轨迹与车身周围的全景影像一起投影到以车身为基点的抛物面或球面上，从而得到倒车的轨迹曲线，为驾驶员提供更直观具体的倒车辅助作用。

优选地，在进行所述实时采集车身周围的全景影像步骤或进行所述根据车辆方向盘转角生成倒车轨迹步骤之前，还包括判断车辆是否处于倒车状态。

优选地，所述判断车辆是否处于倒车状态具体是通过车辆CAN信号进行判断。

优选地，所述根据车辆方向盘转角生成倒车轨迹具体包括如下两个步骤：

1)、通过车辆CAN信号采集所述方向盘转角信息；

2)、通过所述方向盘转角信息生成所述倒车轨迹。

优选地，所述将所述全景影像以所述车身为基点投影到抛物面或球面上，并将所述倒车轨迹投影到抛物面或球面上的步骤之后还包括如下步骤：

将投影到所述抛物面或所述球面上的倒车轨迹和全景影像实时显示于显示器上。

附图说明

图1为本发明实施所提供的用于显示车辆3D全景影像的方法的流程图。

具体实施方式

本发明的核心是提供一种用于显示车辆3D全景影像的系统，该系统可以清晰地供驾驶员知晓车辆后方的环境；本发明的另一核心是提供一种用于显示车辆3D全景影像的方法。

为了使本技术领域的技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

请参考图1，图1为本发明实施所提供的用于显示车辆3D全景影像的方法的流程图。

本发明提供的一种用于显示车辆3D全景影像的系统，包括鱼眼摄像头、信号采集装置、图像处理装置以及显示装置。

鱼眼摄像头分别设置在车身的前、后、左、右四个方位上，并且四个鱼眼摄像头的影像覆盖区域有重叠；也就是说，位于车身前方的鱼眼摄像头与位于车身左侧和车身右侧的鱼眼摄像头有重叠的影像覆盖区域；位于车身后方的鱼眼摄像头与位于车身左侧和车身右侧的鱼眼摄像头有重叠的影像覆盖区域；与之类似地，位于车身左侧的鱼眼摄像头与位于车身前方和车身后方的鱼眼摄像头有重叠的影像覆盖区域；位于车身右侧的鱼眼摄像头与位于车身前方和车身后方的鱼眼摄像头有重叠的影像覆盖区域。这样一来，利用四个鱼眼摄像头能够有效观测到车身四周的环境情况，从而避免发生影像覆盖的死角，能够给驾驶员提供完整的车身周围的环境信息。

本文利用信号采集装置采集车辆的方向盘转角信息，并且实时生成倒车轨迹曲线。也就是说，在驾驶员进行倒车过程中，不可避免地转动车辆方向盘，而利用信号采集装置能够对车辆方向盘的转角进行信息采集，并依据采集到的转角信息生成倒车轨迹曲线。这样一来，在倒车过程中，通过方向盘的转角便能够得到实时的倒车轨迹曲线。

利用图像处理装置将四个鱼眼摄像头所拍摄到的车身周围影像进行图像处理；具体来说，将车身周围影像进行投影，将其投影到以车身为基点的抛物面或球面上；此外，将生成的倒车轨迹曲线投影至抛物面或所述球面上。

这样一来，在图像处理装置的作用下，使得车身周围影像与倒车轨迹曲线同处在一个投影面内，使得车身周围影像与倒车轨迹曲线之间的位置关系清楚并且易于掌控。

此外，在显示装置的作用下，将车身周围影像与倒车轨迹曲线显示于驾驶员，使得驾驶员在倒车过程中，能够清晰地观测到车身周围的影像以及倒车轨迹曲线，使得驾驶员根据车身周围的影像以及倒车轨迹曲线能够轻易地作出判断，有利于驾驶员准确地控制车辆，从而避免在倒车过程中意外事故的发生。

针对上述鱼眼摄像头，本文优选将鱼眼摄像头的开角设置在170度～190度之间，并且鱼眼摄像头的光轴与水平方向夹角为30度～45度。根据实际经验，采用上述设置方式，能够确保四个鱼眼摄像头可以保证覆盖到车身周围的前提下，还不会遗漏垂直于地面的障碍物。这样一来，能够为驾驶员提供完整的路况信息；此外，由于倒车轨迹线是动态的，根据方向盘转角，实时画出；因此，有利于为驾驶员提供实时车辆以及车身周围环境信息。

除此之外，本文中的倒车轨迹曲线可以具体设置为车尾曲线和/或两个后轮曲线。也就是说，为了给驾驶员提供更加完整的车辆信息，可以将倒车轨迹曲线具体为车尾曲线和/或两个后轮曲线；即，在倒车过程中，驾驶员可以看到车身周围环境以及车尾曲线和/或两个后轮曲线；这样一来，驾驶员根据车尾曲线和/或两个后轮曲线，并根据车身周围环境，能够轻易做出判断，从而更加有利于掌控车辆。

当然，倒车轨迹曲线还可以包括两个前轮曲线；与上述类似地，利用两个前轮曲线还能够实时观测到车头部的运行轨迹，从而为驾驶员掌控车辆提供了更加完整的车辆信息。

此外，本文优选将距离标识添加于倒车轨迹曲线之中。也就是说，在显示装置的作用下，在显示车身周围影像与倒车轨迹曲线的同时，还具有距离标识；即，驾驶员能够更加精确地认知车辆与车身周围环境的位置关系，从而有助于辅助驾驶员观察车身周围障碍物的距离。

本发明还提供一种用于显示车辆3D全景影像的方法，包括如下步骤：

步骤101)；实时采集车身周围的影像，并根据摄像头的内参数和外参数拼接成全景影像；

步骤102)；根据车辆方向盘转角生成倒车轨迹；

步骤103)；将所述全景影像投影到以所述车身为基点投影到抛物面或球面上，并将所述倒车轨迹投影到抛物面或球面上。

在步骤101)中，通过安装在车身四个方位的鱼眼摄像头实时采集车身周围的影像，并根据摄像头的内参数和外参数将采集到的影像拼接成全景影像；在步骤102)中，根据车辆方向盘转角生成倒车轨迹；步骤103)中将全景影像以车身为基点投影到抛物面或球面上，并将倒车轨迹投影到抛物面或球面上。当然，需要说明的是，步骤101)与步骤102)可以同步进行，还可以先进行步骤101)，再进行步骤102)；此外，根据实际需要，还可以先进行步骤102)，再进行步骤101)。无论步骤101)与步骤102)哪一步先进行，步骤103)一定是在步骤101)与步骤102)完成之后进行。

在完成上述步骤101)、步骤102)以及步骤103)之后，能够得到车身周围影像以及倒车的轨迹曲线，从而为驾驶员提供更直观具体的倒车辅助作用。

为了优化上述实施方式，本文在进行实时采集车身周围的全景影像步骤或进行根据车辆方向盘转角生成倒车轨迹步骤之前，还包括判断车辆是否处于倒车状态。

也就是说，无论步骤101)还是步骤102)先进行操作，在之前还有一个步骤，即，判断车辆是否处于倒车状态。只有当车辆处于倒车状态时，才会进一步进行步骤101)或步骤102)，这样能够确保车辆在处于倒车状态下，执行后续步骤，从而使得用于显示车辆3D全景影像的方法更加完善。本文优选采用车辆CAN信号对车辆是否处于倒车状态进行判断。此外，还可以利用其它方式对车辆是否处于倒车状态进行判断，此处将不再赘述。

在根据车辆方向盘转角生成倒车轨迹的步骤中，本文首先通过车辆CAN信号采集方向盘转角信息，然后再将方向盘转角信息生成所述倒车轨迹。当然，还可以利用其它方式采集方向盘的转角信息，并且在生成倒车轨迹之前，还可以对采集到的方向盘转角信息进行某些处理工作，使得得到倒车轨迹更加贴近真实情况。

此外，在完成上述步骤103)之后，本文还可以将投影到抛物面或球面上的倒车轨迹和全景影像实时显示于显示器上。这样一来，驾驶员便能够实时观测到车身周围以及车辆的倒车轨迹，从而有效作出判断，避免意外事故的发生。本文的显示器优选设置在车身内部的驾驶室内；当然，根据实际需要，显示器还可以位于车身的其他位置，此次将不再赘述。

以上对本发明所提供的用于显示车辆3D全景影像的系统及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种用于显示车辆3D全景影像的系统，其特征在于，包括：

鱼眼摄像头，四个所述鱼眼摄像头分别设置在车身的前、后、左、右四个方位上，并且四个所述鱼眼摄像头的影像覆盖区域有重叠；

信号采集装置，所述信号采集装置采集车辆的方向盘转角信息，并实时生成倒车轨迹曲线；

图像处理装置，所述图像处理装置将四个所述鱼眼摄像头所拍摄到的影像，根据摄像头的内参数和外参数，投影到以所述车身为基点的抛物面或球面上，并且将所述倒车轨迹曲线投影到所述抛物面或所述球面上；

显示装置，用于显示投影到所述抛物面或所述球面上的全景影像及倒车轨迹曲线。

2.根据权利要求1所述的用于显示车辆3D全景影像的系统，其特征在于，所述鱼眼摄像头的开角在170度～190度之间，所述鱼眼摄像头的光轴与水平方向夹角为30度～45度。

3.根据权利要求2所述的用于显示车辆3D全景影像的系统，其特征在于，所述倒车轨迹曲线具体为车尾轨迹引导曲线和/或两个后轮轨迹引导曲线。

4.根据权利要求1至3任意一项所述的用于显示车辆3D全景影像的系统，其特征在于，所述倒车轨迹曲线还包括两个前轮轨迹引导曲线。

5.根据权利要求1所述的用于显示车辆3D全景影像的系统，其特征在于，所述倒车轨迹曲线还显示有距离标识。

6.一种用于显示车辆3D全景影像的方法，其特征在于，包括如下步骤：

实时采集车身周围的全景影像；

根据车辆方向盘转角生成倒车轨迹；

将所述全景影像以所述车身为基点，基于各个鱼眼摄像头的内参数和外参数，投影到抛物面或球面上，并将所述倒车轨迹投影到抛物面或球面上。

7.根据权利要求6所述的用于显示车辆3D全景影像的方法，其特征在于，在进行所述实时采集车身周围的全景影像步骤或进行所述根据车辆方向盘转角生成倒车轨迹步骤之前，还包括判断车辆是否处于倒车状态。

8.根据权利要求7所述的用于显示车辆3D全景影像的方法，其特征在于，所述判断车辆是否处于倒车状态具体是通过车辆CAN信号进行判断。

9.根据权利要求8所述的用于显示车辆3D全景影像的方法，其特征在于，所述根据车辆方向盘转角生成倒车轨迹具体包括如下两个步骤：

1)、通过车辆CAN信号采集所述方向盘转角信息；

2)、通过所述方向盘转角信息生成所述倒车轨迹。

10.根据权利要求9所述的用于显示车辆3D全景影像的方法，其特征在于，所述将所述全景影像以所述车身为基点投影到抛物面或球面上，并将所述倒车轨迹投影到抛物面或球面上的步骤之后还包括如下步骤：

将投影到所述抛物面或所述球面上的倒车轨迹和全景影像实时显示于显示器上。