CN111361502A - 一种用于铰接工程车辆变角度全景环视系统的实现方法 - Google Patents

Abstract

本发明提供了一种用于两节铰接车辆的全景环视系统，其包括鱼眼摄像头、角度传感器结构和数据采集处理器，全景环视系统利用分别安装在车头或车厢上的方位视场角至少为180度的三颗鱼眼摄像头采集的视频画面及铰接盘角度传感器采集的角度信息经数据采集处理器进行处理得到铰接工程车辆周界区域的全景环视图像；其中：针对两节铰接车辆，所述鱼眼摄像头布置在前车头和后车厢上，且各自布置3颗鱼眼摄像头。本发明通过角度传感器安装结构的设计，达到了角度传感器不受车辆颠簸影响的效果。鱼眼摄像头的安装位置设计和标定方法的设计可以生成覆盖铰接工程车辆四周的全景环视图像。

Description

一种用于铰接工程车辆变角度全景环视系统的实现方法

技术领域

本发明属于车辆安全辅助及汽车电子领域，具体涉及一种用于铰接工程车辆变角度全景环视系统的实现方法。

背景技术

在过去的几十年里，随着交通运输行业的不断发展以及汽车保有量的快速增长，道路安全事故不断增加。驾驶员对外界交通信息的判定80％都来自于视觉，而视觉盲区往往是造成交通事故的重要原因。由于全景环视系统具有减少驾驶员视觉盲区，帮助驾驶员更好判断交通路况等优点，因此已经在乘用车上得到了广泛的发展和应用。铰接工程车辆车体长且在转弯时车头和车厢会形成角度，从而产生更大的盲区。常规的全景环视系统不能解决车辆转向导致的铰接区的盲区增大问题。此外，铰接工程车辆驾驶时盲区大，更容易出现交通事故，因此，针对铰接工程车辆的变角度全景环视系统，对于提升车辆安全具有十分重要的意义。

发明内容

针对现有技术的不足，本发明要解决的技术问题是：提供一种用于铰接工程车辆变角度全景环视系统的实现方法，为该类工程车辆的行驶和泊车提供辅助工具。

本发明为解决上述技术问题所采取的技术方案为一种用于两节铰接车辆的全景环视系统，其包括鱼眼摄像头、角度传感器结构和数据采集处理器，其特征在于：

全景环视系统利用分别安装在车头或车厢上的方位视场角至少为180度的三颗鱼眼摄像头采集的视频画面及铰接盘角度传感器采集的角度信息经数据采集处理器进行处理得到铰接工程车辆周界区域的全景环视图像；其中：针对两节铰接车辆，所述鱼眼摄像头布置在前车头和后车厢上，且各自布置3颗鱼眼摄像头；

角度传感器结构包括角度传感器，角度传感器与支架固定连接，支架与铰接盘固定连接，保证角度传感器刚性连接在车厢的铰接盘部分；铰接轴与轴套固定连接，轴套与铰接盘固定连接；轴承与轴套固定连接，圆柱通过联轴器与角度传感器连接；同时圆柱通过轴承支承，贯穿铰接轴伸出的一端与焊接架固定连接，保证了焊接架和角度传感器同轴转动；焊接架卡在车厢部分的铰接盘开口处，焊接架随车头转动带动车厢铰接处安装的角度传感器转动。

进一步地，前方车头鱼眼摄像头分别位于前车头前端、左右两侧车头流水缝中间；

后方车厢鱼眼摄像头分别位于车厢罐体左右两侧的中间位置和后端护栏上方；

进一步地，六颗鱼眼摄像头都用螺栓固定在车体上并打胶固定。

该实施例还提供了一种用于两节铰接车辆的全景环视系统的全景环视图像的生成方法，具体包括以下步骤：

步骤1、将铰接工程车辆停在标定场的指定位置，将七块标定布铺设在工程车辆的四周；前后标定布摆放在车身正中心位置，标定布边缘必须完全显示在摄像画面中；车辆左右两边的标定布垂直摆放；车头和车厢左右两侧的标定布白边要在同一直线上；

步骤2、利用第一从控制器对车头的3个鱼眼摄像头进行标定，生成车头的全景环视图像；利用第二从控制器对车厢的3个鱼眼摄像头进行标定，生成车厢的全景环视图像；

对车头进行标定时，首先进入软件标定界面，根据标定布在鱼眼摄像头的画面来微调鱼眼摄像头的角度，使标定布都能完整清晰的显示，并且标定布的边缘不会被车身遮挡；然后输入车头长和车宽并选择合适的视野范围对鱼眼摄像头开始标定；最后用同样的方法标定车厢的3个鱼眼摄像头，将标定好的车头全景环视图像和车厢全景环视图像通过AV接口传输给主控制器；

步骤3、通过主控器分别获取角度传感器的信息，车头的全景环视图像和车厢的全景环视图像。

进一步地，步骤3包括：

步骤3.1、完成车头和车厢全景环视图像拼接；首先将车头和全景环视图像以二维纹理贴图的形式加载至GPU；然后根据车头和车厢全景环视图像铰接点重合的特性确定各自的顶点坐标；最后按照顶点坐标进行渲染显示；

步骤3.2、拼接图像融合；采用加权插值法来消除重叠部分处的拼接缝；

步骤3.3、拼接图像的实时变换；首先，车辆铰接处的角度传感器通过CAN总线将角度信息传输到主控器；然后，使用中值滤波来减少角度信号中的噪声干扰；最后根据铰接角计算旋转矩阵对车头部分的全景环视图像进行旋转。

本发明的有益效果，与现有技术相比，本发明提供了一种用于铰接工程车辆全景环视系统的实现方法，包括六颗鱼眼摄像头的安装位置布置，角度传感器安装结构，和铰接工程车辆变角度全景环视图像的生成方法。通过角度传感器安装结构的设计，达到了角度传感器不受车辆颠簸影响的效果。鱼眼摄像头的安装位置设计和标定方法的设计可以生成覆盖铰接工程车辆四周的全景环视图像。实时的变角度全景环视图像解决了铰接工程车辆在转向时盲区大的问题。

附图说明

图1是该实施例的鱼眼摄像头安装示意图；

图2是该实施例的角度传感器安装结构设计图；

图3是变角度全景环视图像生成流程图；

图4是标定布摆放示意图；

其中：1-角度传感器、2-联轴器、3-支架、4-轴承、5-轴套、6-圆柱、7-铰接轴、8-焊接架、9-铰接盘。

具体实施方式

为了让本领域的技术人员能够更好的理解本发明的技术方案，下面结合附图对本发明作进一步详细的阐述。

如图1所示，该实施例提供一种用于两节铰接车辆的全景环视系统，其包括鱼眼摄像头、角度传感器结构和数据采集处理器，它利用分别安装在车头或车厢上的三颗方位视场角至少为180度的鱼眼摄像头采集的视频画面及铰接盘角度传感装置采集的角度信息经数据采集处理器进行处理得到铰接工程车辆周界区域的全景环视图像。

其中所述鱼眼摄像头的布置方案为，针对两节铰接车辆在前车头和后车厢上，分别布置3颗鱼眼摄像头，前方车头鱼眼摄像头分别位于前车头前端、左右两侧车头流水缝中间，后方车厢鱼眼摄像头位于车厢罐体左右两侧的中间位置和后端护栏上方，六颗鱼眼摄像头都用螺栓固定在车体上并打胶固定。

如图2所示，所述的角度传感器结构包括角度传感器1，角度传感器1与支架3固定连接，支架3与铰接盘9固定连接，这样保证角度传感器刚性连接在车厢的铰接盘部分。铰接轴7与轴套5固定连接，轴套5与铰接盘9固定连接。轴承4与轴套5固定连接，圆柱6通过联轴器2与角度传感器1连接。同时圆柱6通过轴承支承，贯穿铰接轴伸出的一端与焊接架8固定连接，保证了焊接架8和角度传感器1同轴转动解决了工作中出现的晃动问题。焊接架8卡在车厢部分的铰接盘开口处，焊接架8随车头转动带动车厢铰接处安装的角度传感器1转动，这样可以实时对车头和车厢的角度信息的测量。

如图3所示，该实施例还提供了一种用于铰接工程车辆变角度全景环视图像的生成方法，具体包括以下3个步骤：

步骤1、将铰接工程车辆停在标定场的指定位置，将七块标定布铺设在工程车辆的四周。

如图4所示，前后标定布摆放在车身正中心位置，距离车身30cm，标定布边缘必须完全显示在摄像画面中，不能被车身遮挡。

车辆左右两边的标定布垂直摆放，距离左右侧车身各30cm。车头和车厢左右两侧的标定布白边要在同一直线上。

中间那张标定布穿过车辆底盘与前后两张标定布平行。车头前标定布与中间标定布之间距离为车头长，左右两边标定布之间的距离作为车宽。中间标定布与车尾那块标定布的距离为车厢长。

步骤2、利用第一从控制器对车头的3个鱼眼摄像头进行标定，生成车头的全景环视图像。

利用第二从控制器对车厢的3个鱼眼摄像头进行标定，生成车厢的全景环视图像。对车头或车厢进行标定时，首先进入软件标定界面，根据标定布在鱼眼摄像头的画面来微调鱼眼摄像头的角度，使标定布都能完整清晰的显示，并且标定布的边缘不会被车身遮挡。然后输入车头长和车宽并选择合适的视野范围对鱼眼摄像头开始标定。最后用同样的方法标定车厢的3个鱼眼摄像头，将标定好的车头全景环视图像和车厢全景环视图像通过AV接口传输给主控制器。

步骤3、通过主控器分别获取角度传感器的信息，车头的全景环视图像和车厢的全景环视图像。为了实现保证变角度全景环视图像生成的实时性，变角度全景环视图像的生成在GPU上进行。

步骤3.1、完成车头和车厢全景环视图像拼接。首先将车头和全景环视图像以二维纹理贴图的形式加载至GPU。然后根据车头和车厢全景环视图像铰接点重合的特性确定各自的顶点坐标。最后按照顶点坐标进行渲染显示。

步骤3.2、拼接图像融合。由于不同从控制器生成的全景图像的亮度、饱和度和对比度不同，因此拼接的整幅图像存在明显的拼接缝。本发明采用加权插值法来消除重叠部分处的拼接缝。拼接部分像素的强度值v(i,j)可由公式(1)计算可得。

式中：v₁(i,j)，v₂(i,j)分别为车头重叠区域和车厢重叠区域像素的强度值；d为重叠部分的像素到车头重叠区域边界的距离；d_max为重叠部分的宽度。

步骤3.3、拼接图像的实时变换。首先，车辆铰接处的角度传感器通过CAN总线将角度信息传输到主控器。然后，使用中值滤波来减少角度信号中的噪声干扰。最后根据铰接角计算旋转矩阵对车头部分的全景环视图像进行旋转。旋转矩阵可由公式(2)计算得到。

式中：θ为车头与车厢之间的夹角。

最后说明的是，以上实例仅用于说明本发明的技术方案而非限制，尽管参照较佳实例对本发明进行了详细说明，对于本领域的普通技术人员而言，应当理解在不脱离本发明的原理和精神的情况下对本发明的技术方案进行变化、修改、替换和变型均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种用于两节铰接车辆的全景环视系统，其包括鱼眼摄像头、角度传感器结构和数据采集处理器，其特征在于：

全景环视系统利用分别安装在车头或车厢上的方位视场角至少为180度的三颗鱼眼摄像头采集的视频画面及铰接盘角度传感器(1)采集的角度信息经数据采集处理器进行处理得到铰接工程车辆周界区域的全景环视图像；其中：针对两节铰接车辆，所述鱼眼摄像头布置在前车头和后车厢上，且各自布置3颗鱼眼摄像头；

角度传感器结构包括角度传感器(1)，角度传感器(1)与支架(3)固定连接，支架(3)与铰接盘(9)固定连接，保证角度传感器刚性连接在车厢的铰接盘部分；铰接轴(7)与轴套(5)固定连接，轴套(5)与铰接盘(9)固定连接；轴承(4)与轴套(5)固定连接，圆柱(6)通过联轴器(2)与角度传感器(1)连接；同时圆柱(6)通过轴承支承，贯穿铰接轴伸出的一端与焊接架(8)固定连接，保证了焊接架(8)和角度传感器(1)同轴转动；焊接架(8)卡在车厢部分的铰接盘开口处，焊接架(8)随车头转动带动车厢铰接处安装的角度传感器(1)转动。

2.根据权利要求1所述的用于两节铰接车辆的全景环视系统，其特征在于：

前方车头鱼眼摄像头分别位于前车头前端、左右两侧车头流水缝中间；

后方车厢鱼眼摄像头分别位于车厢罐体左右两侧的中间位置和后端护栏上方。

3.根据权利要求1所述的用于两节铰接车辆的全景环视系统，其特征在于：

六颗鱼眼摄像头都用螺栓固定在车体上并打胶固定。

4.一种如权利要求1所述的用于两节铰接车辆的全景环视系统的全景环视图像的生成方法，具体包括以下步骤：

步骤1、将铰接工程车辆停在标定场的指定位置，将七块标定布铺设在工程车辆的四周；前后标定布摆放在车身正中心位置，标定布边缘必须完全显示在摄像画面中；车辆左右两边的标定布垂直摆放；车头和车厢左右两侧的标定布白边要在同一直线上；

步骤2、利用第一从控制器对车头的3个鱼眼摄像头进行标定，生成车头的全景环视图像；利用第二从控制器对车厢的3个鱼眼摄像头进行标定，生成车厢的全景环视图像；

对车头进行标定时，首先进入软件标定界面，根据标定布在鱼眼摄像头的画面来微调鱼眼摄像头的角度，使标定布都能完整清晰的显示，并且标定布的边缘不会被车身遮挡；然后输入车头长和车宽并选择合适的视野范围对鱼眼摄像头开始标定；最后用同样的方法标定车厢的3个鱼眼摄像头，将标定好的车头全景环视图像和车厢全景环视图像通过AV接口传输给主控制器；

步骤3、通过主控器分别获取角度传感器的信息，车头的全景环视图像和车厢的全景环视图像。

5.根据权利要求4所述的用于两节铰接车辆的全景环视系统的全景环视图像的生成方法，其特征在于：步骤3包括：

步骤3.1、完成车头和车厢全景环视图像拼接；首先将车头和全景环视图像以二维纹理贴图的形式加载至GPU；然后根据车头和车厢全景环视图像铰接点重合的特性确定各自的顶点坐标；最后按照顶点坐标进行渲染显示；

步骤3.2、拼接图像融合；采用加权插值法来消除重叠部分处的拼接缝；

步骤3.3、拼接图像的实时变换；首先，车辆铰接处的角度传感器通过CAN总线将角度信息传输到主控器；然后，使用中值滤波来减少角度信号中的噪声干扰；最后根据铰接角计算旋转矩阵对车头部分的全景环视图像进行旋转。

Images