CN104477097A - 一种新型电子后视系统及控制逻辑 - Google Patents

Abstract

本发明涉及一种新型电子后视系统，包括至少3个摄像头、图像处理模块和显示屏，车身两侧设置摄像头，车身尾部设置摄像头，所述摄像头与图像处理模块连接，所述图像处理模块和显示屏通过线束连接，所述图像控制模块内设有图像处理单元、视频解码芯片和视频编码芯片，摄像头将获取的模拟图像信号发送至图形处理模块，经视频解码芯片解码后，变为数字信号输入到图像处理单元，最后输出的信号经视频编码芯片后转换成模拟视频信号输入到显示屏进行显示，本发明通过摄像头取代原后视镜，摄像头体积远小于后视镜，能消除视觉盲区，优化车辆外形，减小空气阻力和噪音，各个摄像头采集图像通过逻辑集成在车内显示屏上，方便驾驶员操作。

Description

一种新型电子后视系统及控制逻辑

技术领域

本发明涉及汽车安全驾驶领域，具体的涉及到一种新型电子后视系统及图像显示控制逻辑。

背景技术

汽车后视镜位于汽车头部的左右两侧以及汽车内部的前方。汽车后视镜反映汽车后方、侧方和下方的情况，使驾驶者可以间接看清楚这些位置的情况，它起着“第二只眼睛”的作用，扩大了驾驶者的视野范围。

传统后视镜体积大，后挡风玻璃下端为盲区，目前常用方法是在传统后视镜上增加广角后视镜，减小盲区区域；目前部分车辆上还装有普通倒车后视影像系统，此系统只能显示车尾部的影像，同时普通倒车后视系统的视场角为120°左右，存在一定的视觉死角，不能观察到车辆尾部的全部信息；对于以上两种后视镜及系统，有的车辆上在普通后视镜上加装全景摄像头，全景摄像头能消除盲区，但是并没有取代普通后视镜，普通后视镜体积大，影响空气动力系数和空气声学。

申请号为201310438762.5的专利公开了一种汽车用电子后视镜，以用导线相互连接的三个摄像头和对应的三面显示屏作为后视镜系统替代现在普遍采用的光学后视镜，并将三个摄像头分别安放于汽车左、右方的最前端和车后中部，显示摄像头信号的显示屏安放于驾驶员的前方，使驾驶员不用转动头部就能查看汽车左侧、右侧及车后的空间，此方案中，没有显示图像如何处理，而且多个显示屏需要驾驶员查看多个位置，在驾驶汽车时也不方便。

发明内容

为了弥补现有技术问题，本发明的目的是提供一种新型电子后视系统及控制逻辑，可消除视觉盲区，体积小，减小空气阻力和噪音。

本发明的目的可以通过以下技术方案实现：

一种新型电子后视系统，包括至少3个摄像头、图像处理模块和显示屏，车身两侧设置摄像头，车身尾部设置摄像头，所述摄像头与图像处理模块连接，所述图像处理模块和显示屏通过线束连接；

所述图像控制模块内设有图像处理单元、视频解码芯片和视频编码芯片，摄像头将获取的图形信号发送至图形处理模块，经视频解码芯片解码后，变为数字信号输入到图像处理单元，最后输出的信号经视频编码芯片后转换成模拟视频信号输入到显示屏进行显示。

进一步的，所述车辆尾部的摄像头安装在牌照灯附近。

优选的，所述摄像头为CMOS鱼眼摄像头或CCD鱼眼摄像头。

进一步的，所述图形处理模块具有行车记录功能。

进一步的,所述图像处理单元与CAN收发单元和CAN控制单元连接，CAN收发单元和控制单元主要用来接收和处理CAN总线上的信号，用于控制图像的输出和画面的切换，同时实现CAN总线诊断和系统在线更新。

进一步的，所述显示屏安装在车内后视镜位置。

一种新型电子后视系统的图像输出控制逻辑，所述控制逻辑具体为：

(1)、在车辆上电后，系统工作开始工作且显示屏会一直显示图像。

(2)、当车辆处于向前行驶的状态下，显示屏只显示合成图像。

a、当车辆处于左转向灯工作的状态下，显示屏显示合成图像和左侧摄像头所摄图像；

b、当车辆处于右转向灯工作的状态下，显示屏显示合成图像和右侧摄像头所摄图像；

c、当车辆处于倒挡工作的状态下，显示屏显示合成图像和后侧摄像头所摄图像。

本发明的有益效果：

(1)、通过摄像头取代原后视镜，摄像头体积远小于后视镜，优化车辆外形，减小空气阻力和噪音。

(2)、摄像头采用CMOS鱼眼摄像头或CCD鱼眼摄像头，相对于传统后视镜，能消除视觉盲区。

(3)、各个摄像头采集图像通过逻辑集成在车内显示屏上，相对于使用多块显示屏显示对个摄像头的后视系统，方便驾驶员操作。

附图说明

图1为本发明一种新型电子后视系统硬件框图。

图2为本发明一种新型电子后视系统示意图。

图3为本发明一种新型电子后视系统图像处理流程图。

图4为本发明一种新型电子后视系统俯视合成示意图。

图5为本发明一种新型电子后视系统坐标系示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

如图1和图2所示，一种新型电子后视系统，包括至少3个摄像头1、图像处理模块和显示屏2，在本实施例中摄像头为3个，其中，车身尾部设置一个摄像头1，此摄像头安装在牌照灯附近，车身两侧各设置一个摄像头1，所述摄像头1与图像处理模块连接，所述图像处理模块和显示屏2通过线束连接，所述摄像头为CMOS鱼眼摄像头或CCD鱼眼摄像头，使摄像区域无死角，所述图形处理模块具有行车记录功能。

所述图像控制模块内设有图像处理单元、视频解码芯片和视频编码芯片，摄像头将获取的图形信号发送至图形处理模块，经视频解码芯片解码后，摄像头输入的NTSC制式或者PAL制式的模拟信号转换成8bits的YUV格式的数字信号并输入到图像处理单元，图像处理单元将图像进行校正、拼接、合成，合成后的图像经视频编码芯片后转换成模拟视频信号输入到显示屏2进行显示。

如图2所示，所述图像处理单元与CAN收发单元和CAN控制单元连接，系统接受整车CAN总线上发送的倒挡信号，转角信号，PASS开关信号，转向信号等，将接受的上述信号进行辨别、解析。上述信号用于控制DVD的不同显示模式。如倒挡信号控制系统的启动，转角信号用于系统中车辅线的调取。转向信号用于实现左转、右转视图模式的实现,控制图像的输出和画面的切换，同时实现CAN总线诊断和系统在线更新。

所述显示屏2安装在车内后视镜位置，方便司机查看。

由图3和图4详细解释图像合成流程：

(1)、本系统首先要对鱼眼摄像头进行标定，获取摄像头的内、外参数。将获取的内参数作用于鱼眼摄像头获取的数字图像，将鱼眼图像校正为无畸变的数字图像。

(2)、根据摄像头的安装位置与角度不同，左右两侧摄像头直接获取左右两侧的俯视图，后侧摄像头获取的图像为透视图。

(3)、图像的拼接与合成需要在3幅图像均为俯视图的情况下才能够进行。因此需要将后透视图通过相应的坐标系变换转换为后俯视图。

(4)、因3只摄像头的安装角度和高度不同，摄像头的进光量不同，导致3幅图像的亮度不同，为使合成的图像能够亮度一致。通过直方图校正的方式将3幅俯视图之间的亮度差调整到一个允许的范围内，得到3幅亮度基本一致的俯视图。

(5)、为后续图像拼接与合成时能够减少数据的运算量，先对图像进行剪裁，左侧俯视图裁剪后获得的区域为M区域、N区域和O区域的叠加，右侧俯视图剪裁后获得的区域为S区域、R区域、Q区域的叠加。后侧俯视图剪裁后获得的区域为P区域、N区域、O区域、Q区域、R区域的叠加。

(6)、从剪裁后的图像中很容易得到左、后俯视图的公共区域为N区域与O区域的叠加。后、右侧俯视图的公共区域为Q区域与R区域的叠加。

(7)、在获取左后、后右的公共区域后，在左后公共区域内任取一条直线A，后右区域内任取一条直线B。

(8)、在获取直线A、B后，左、后、右俯视图区域分别以直线A、B为边界进行剪裁。获取左侧的俯视图区域为M区域与N区域的叠加，定义为区域I₁；获取后侧的俯视图区域为O区域、P区域、Q区域，定义为区域I₂；获取右侧的俯视图区域为S区域与R区域的叠加，定义为区域I₃。

(9)、建立图像合成映射表，即找到合成图像中每个像素点在步骤7中的各个区域中的对应点坐标。

(10)、根据映射表合成拼接图像。

(11)、输出图像。

图像处理完毕后，显示在显示屏2上的控制逻辑如下：

1、在车辆上电后，系统工作开始工作且显示屏会一直显示图像。

2、当车辆处于向前行驶的状态下，显示屏只显示合成图像。

a、当车辆处于左转向灯工作的状态下，显示屏显示合成图像和左侧摄像头所摄图像。

b、当车辆处于右转向灯工作的状态下，显示屏显示合成图像和右侧摄像头所摄图像。

c、当车辆处于倒挡工作的状态下，显示屏显示合成图像和后侧摄像头所摄图像。

当然，根据需要，图像显示的控制逻辑可调整。

下面对上述图像处理流程的细节进行描述：

1.摄像头标定过程

A、摄像头标定过程涉及的坐标系

由图5可知，在摄像头标定的过程中，涉及到了3个坐标系系统，分别是用于表示客观世界绝对三位坐标的世界坐标系；以摄像机作为原点的摄像机坐标系；图像坐标系又分为图像物理坐标系和图像像素坐标系，其中以光轴和成像面交点作为原点的是图像物理坐标系，以成像面做上角的像素点为坐标原点是图像像素坐标系。通常：

xcyc平面平行于xy或者uv平面。

空间某一点P在世界坐标系、摄像机坐标系和图像坐标系下的齐次坐标分别为

X_W＝[X_W,Y_W,Z_W,1]^T、x＝[x,y,z,1]^T和[u,v,1]^T，则有：

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=M_2\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(1\right)$

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{z}\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\frac{1}{z}{M}_1\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(2\right)$

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{z}\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=\frac{1}{z}{M}_1{M}_2\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=\frac{1}{z}{\mathrm{MX}}_W---\left(3\right)$

其中，R、t为世界坐标系到摄像机坐标系的旋转矩阵和平移向量，α_x、α_y为用图像行和列像素表示的相机焦距，u₀、v₀为投影中心，M为3×3矩阵，称投影矩阵；M₁为摄像机内部参数，M₂为摄像机外部参数。

鱼眼镜头的径向和切向失真模型可近似表示为：

u^dist＝u+(u-u₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/u+2u)]

v^dist＝v+(v-v₀)[k₁r²+k₂r⁴+k₃r⁶+k₅(r²/v+2v)]  (4)

$r=\sqrt{u^2+v^2}$

其中，k＝[k₁,k₂,k₃,k₄,k₅]为畸变系数，k₁,k₂,k₃是径向畸变项，k₄,k₅是切向畸变项。

建立数学模型后，可使用相应的标定方法进行求解。本系统中采用“张正友标定法”。

具体的标定过程如下：

(1)在地面摆一棋盘格作为标定物

(2)摄像头对棋盘格拍摄十幅不同角度的图像

(3)分别对每幅图像检测角点，并保存全部角点

(4)根据保存的角点计算摄像机的内参数、畸变系数和全部外参数

(5)优化求精。

2.透视图转换为俯视图

完成俯视的转换，主要在于找到世界坐标系中的点与图像坐标系中点的对应关系。

在本系统中，由于摄像头的安装角度θ，安装高度h,水平视角竖直视角β均是确定的，同时分辨率为m*n也是确定的。此时可推导出以图像中心为原点的图像坐标系到世界坐标系的转换公式3。

$\left\{\begin{array}{c}x(u,v)=\frac{h(m\tan \mathrm{\θ}+2u\tan \mathrm{\α})}{m-2u\tan \mathrm{\θ}\tan \mathrm{\α}}\\ y(u,v)=\frac{2v\tan \mathrm{\β}\sqrt{h^2+x^2}}{n}\end{array}\right.$

公式3

3.映射表格的建立

在映射表格中，将每个点的坐标表示为(I,X,Y)，其中I为步骤7中的各个区域，像X、Y代表当前点在各个区域内的横坐标与纵坐标，例如(I₁,5,6)表示当前点在区域I₁中横坐标为5，纵坐标为6的点。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1. 一种新型电子后视系统，其特征在于，包括至少3个摄像头、图像处理模块和显示屏，车身两侧设置摄像头，车身尾部设置摄像头，所述摄像头与图像处理模块连接，所述图像处理模块和显示屏通过线束连接；

所述图像控制模块内设有图像处理单元、视频解码芯片和视频编码芯片，摄像头将获取的图形信号发送至图形处理模块，经视频解码芯片解码后，变为数字信号输入到图像处理单元，最后输出的信号经视频编码芯片后转换成模拟视频信号输入到显示屏进行显示。

2.根据权利要求1所述一种新型电子后视系统，其特征在于，所述车辆尾部的摄像头安装在牌照灯附近。

3. 根据权利要求1或2所述一种新型电子后视系统，其特征在于，所述摄像头为CMOS鱼眼摄像头或CCD鱼眼摄像头。

4. 根据权利要求1-3所述任意一种新型电子后视系统，其特征在于，所述图形处理模块具有行车记录功能。

5. 根据权利要求1所述一种新型电子后视系统，其特征在于，所述图像处理单元与CAN收发单元和CAN控制单元连接，CAN收发单元和控制单元主要用来接收和处理CAN总线上的信号，用于控制图像的输出和画面的切换，同时实现CAN总线诊断和系统在线更新。

6. 根据权利要求1所述一种新型电子后视系统，其特征在于，所述显示屏安装在车内后视镜位置。

7. 一种新型电子后视系统的图像输出控制逻辑，其特征在于，所述控制逻辑具体为：

（1）、在车辆上电后，系统工作开始工作且显示屏会一直显示图像；

（2）、当车辆处于向前行驶的状态下，显示屏只显示合成图像；

a、当车辆处于左转向灯工作的状态下，显示屏显示合成图像和左侧摄像头所摄图像；

b、当车辆处于右转向灯工作的状态下，显示屏显示合成图像和右侧摄像头所摄图像；

c、 当车辆处于倒挡工作的状态下，显示屏显示合成图像和后侧摄像头所摄图像。