CN104590124B - 一种基于无线的全景泊车辅助系统 - Google Patents

Abstract

本发明公开了一种基于无线的全景泊车辅助系统，其包括一个或多个无线摄像头以及一个移动显示终端。其中，无线摄像头包括摄像头图像采集模块、图像压缩模块、超声波测距模块、微处理器、第一电源模块以及无线传输模块。移动显示终端包括无线路由器、无线信号放大器、无线传输模块、图像解码模块、存储模块、显示模块、语音提示模块以及第二电源模块。本发明可在一个及多个摄像头之间进行灵活伸缩，本发明使用无线网络进行传输，无须对车辆进行大量布线，安装方便，系统伸缩性好，同时不占用车辆总线资源，可靠性高，移动显示终端人机交互简单方便，智能化程度高，解决了市面上传统泊车辅助系统布线复杂，伸缩性差，以及操作复杂的问题。

Description

一种基于无线的全景泊车辅助系统

技术领域

本发明涉及汽车泊车辅助系统领域，尤其涉及基于无线的全景泊车辅助系统领域。

背景技术

由于驾驶员坐在座椅上只能通过内后视镜和左右两侧的外后视镜观察障碍物的情况，后视镜的位置固定并且受限，驾驶员很难全方位的观察到障碍物的情况，甚至当障碍物处于驾驶员视野盲区时，由于无法看到障碍物，此时倒车非常危险。即使能够有效观测到障碍物，驾驶员也需要手眼协调，不停观察判断，变得非常疲劳。虽然随着汽车技术的发展，汽车上所设置的电子设备越来越多，车载电子设备的功能也越来越丰富，应用于倒车辅助的倒车雷达、倒车摄像头也应运而生。

但是，目前的倒车雷达和倒车摄像头都是使用现有的有线雷达和有线倒车摄像头通过数据传输线缆连接至汽车机头控制台或车载显示设备进行显示的，其安装拆卸复杂，需要大量布线，并且占用车辆本身网络资源，且仅适用于小型车辆，对于大型车辆没有较为适用的方案，此外现有泊车辅助系统还存在人机交互界面不合理，操作复杂等问题。在人工费用越来越昂贵的今天，大量的安装布线工作所带来的问题以及资源的开销十分庞大，而这些不利因素都要用户来承担，这也是很大一部分用户不愿意选择相关倒车辅助系统的一大原因。

发明内容

为了克服上述技术问题，本发明提供了一种基于无线的全景泊车辅助系统，该系统不需要对车辆大量布线，并且可以在一个、四个以及八个摄像头之间进行灵活的伸缩。移动显示终端可以使用手机、平板以及笔记本等移动设备进行替代，且具有成本低，性能高，可靠性高，可定制性强，系统伸缩性强，人机交互简单等优点。

本发明解决其技术问题所采用的技术方案是：一种基于无线的全景泊车辅助系统，其包括一个或多个无线摄像头以及一个移动显示终端。

其中，无线摄像头包括摄像头图像采集模块、图像压缩模块、超声波测距模块、微处理器、第一电源模块以及无线传输模块。上述摄像头图像采集模块负责对外界图像进行采集，超声波测距模块负责采集车辆到障碍物之间的距离，摄像头图像采集模块通过图像压缩模块与微处理器的输入端口相连，超声波测距模块的输出端口与微处理器相连。微处理器负责将超声波测距模块采集的距离信息叠加到摄像头图像采集模块采集的图像信息上。微处理器与图像压缩模块相连，图像压缩模块负责图像的压缩处理，其输出端口与无线传输模块相连。无线传输模块将数据打包发送至移动显示终端，同时接收移动显示终端传达的指令。第一电源模块与摄像头图像采集模块、图像压缩模块、微处理器、超声波测距模块和无线传输模块相连，提供整个无线摄像头的电源供应。

移动显示终端包括无线路由器、无线信号放大器、无线传输模块、图像解码模块、存储模块、显示模块、语音提示模块以及第二电源模块。其中，无线传输模块可以基于802.11b、802.11g、802.11n以及802.11ac多个信号频段工作，其输出端口与无线信号放大器相连，信号经过增幅后发送。无线路由器同时与图像解码模块相连，图像解码模块通过无线路由器获取图像信息，并对图像信息进行解码。图像解码模块分别与存储模块、显示模块以及语音提示模块相连。存储模块负责图像信息的存储，显示模块负责将图像信息显示在屏幕上，语音提示模块负责对图像解码结果进行智能语音提示。第二电源模块分别连接无线路由器、无线信号放大器、图像解码模块、无线传输模块、存储模块、显示模块以及语音提示模块，为整个移动显示终端提供电源供应。

采用上述技术方案通过无线进行组网，内置无线信号放大器能够在较大的范围内组建无线网络，无须复杂的布线。无线摄像头安装完成后，获取实时图像信号传输给移动显示终端，移动显示终端通过内置的图像拼接以及校正算法，将图像进行拼接组合成全景图像，对环境的还原程度更高。

进一步的，在移动显示终端上开发APP应用，对网络进行管理，并对网络内所有无线摄像头打包发送的图像信息进行同步处理，其处理方式包括畸变校正、透视变换、图像拼接以及图像叠加，处理后的图像信息显示在移动显示终端的显示模块上供驾驶员在倒车时作为参考。

进一步的，移动显示终端在对图像打包信息解码后，对图像信息进行分析，通过语音报警模块对驾驶员提出警示信息。

更进一步的，无线摄像头可以为一个、四个或者八个。当安装一个无线摄像头时，系统自动切换为普通倒车影像。当安装四个无线摄像头时，无线摄像头应分别位于车身前部，车身两侧和车厢尾部，系统将对图像进行拼接处理并显示于移动显示终端上。当安装八个摄像头时，无线摄像头应分别位于车身前部、车身两侧、车厢尾部以及车身的四个对角点上，系统对图像进行拼接处理后显示于移动显示终端上。

本发明具有以下有益效果：

1、灵活伸缩，适用面广。本发明综合考虑到了小型车辆以及大型车辆的特性，并对系统进行了可伸缩设计。驾驶员可使用一个、四个、八个无线摄像头操作本系统，同时移动显示终端可以使用手机、平板以及笔记本等设备进行替代。

2、安全性高、实时性高。本系统基于802.11无线网络进行传输，速度快，安全性高，图像传输独立于车辆内部网络，不会对车辆内部网络造成压力。同时采用H.264图像压缩算法对图像进行压缩，使传输的文件体积更小。

3、智能化程度高。本发明采用畸变校正、透视变换、图像拼接以及图像叠加等技术对图像进行综合处理。多幅图像在经过处理后呈现为全景图像，并叠加了周边环境信息，更加真实直观，同时内置的语音提示模块会对车辆产生的危险操作进行报警和指导，避免了倒车意外的发生。

4、行车记录。传统倒车影像仅在倒车时发挥作用，而本发明可以在正常行驶状态下开启，作为行车记录仪使用。相比传统行车记录仪，本发明记录信息更为全面客观，在出现意外时，本系统存储的影像信息将成为有效证据。另外，用户可以随时调取系统内的影像信息进行查阅，对倒车或行驶中的不合理的驾驶习惯进行纠正。

以下将结合附图和实施例，对本发明进行较为详细的说明。

附图说明

图1为本发明的结构框图。

图2为本发明的无线摄像头切换逻辑图。

图3为本发明的接收流程框图。

图4为本发明的超声波测距模块原理图。

图5为本发明的透视变换原理图。

其中，1、无线摄像头；2、移动显示终端；1-1、摄像头图像采集模块；1-2、图像压缩模块；1-3、微处理器；1-4、超声波测距模块；1-5、无线传输模块；1-6、第一电源模块；2-1、存储模块；2-2、图像解码模块；2-3、无线路由器；2-4、无线信号放大器；2-5、无线传输模块；2-6、语音提示模块；2-7、显示模块；2-8、第二电源模块；3、发射器；4、接收器；5、障碍物；6、摄像机坐标系；7、成像平面坐标系；8、图像坐标系。

具体实施方式

实施例，如图1所示，一种基于无线的全景泊车辅助系统，其包括无线摄像头1和移动显示终端2两部分。

其中，无线摄像头1包括摄像头图像采集模块1-1、图像压缩模块1-2、超声波测距模块1-4、微处理器1-3、第一电源模块1-6以及无线传输模块1-5。

摄像头图像采集模块1-1：负责对外界图像进行采集；其输出接口与图像压缩模块相连，将采集的图像信息传输至图像压缩模块1-2的相应端口进行下一步处理。

超声波测距模块1-4：负责采集车辆到障碍物之间的距离；其输出接口与微处理器1-3相连，将距离信息传输至微处理器1-3相应端口进行下一步处理。

图像压缩模块1-2：负责图像的压缩处理，其输入端口与摄像头图像采集模块1-1相连，输出端口与微处理器1-3相连，将图像信息压缩处理后传输至微处理器1-3进行下一步处理。

微处理器1-3：微处理器1-3为无线摄像头1的核心，其输入端口与超声波测距模块1-4以及图像压缩模块1-2相连，负责将超声波测距模块采集的距离信息叠加到摄像头图像采集模块采集的图像信息上；微处理器1-3的输出端口与无线传输模块1-5相连，将叠加后的图像信息传出至无线传输模块1-5进行下一步处理。

无线传输模块1-5：其输入端口与微处理器1-3相连，本模块负责将图像信息打包后通过无线网络传输至移动显示终端2，同时实现接收移动显示终端2发送过来的控制指令。

第一电源模块1-6：该模块分别与摄像头图像采集模块1-1、超声波测距模块1-4、图像压缩模块1-2、微处理器1-3以及无线传输模块1-5相连，负责整个无线摄像头的电源供应。

另外，移动显示终端2包括无线路由器2-3、无线传输模块2-5、无线信号放大器2-4、图像解码模块2-2、存储模块2-1、显示模块2-7、语音提示模块2-6以及第二电源模块2-8。

无线路由器2-3：负责网络的创建。

无线传输模块2-5：负责无线摄像头1图像信息的接收以及控制指令的发送。其输出端口与无线信号放大器2-4相连，将打包后的信息传输至无线信号放大器2-4进行下一步处理。

无线信号放大器2-4：负责信号的增幅放大，将无线传输模块2-5打包发送过来的信息进行增幅放大。

图像解码模块2-2：负责图像的畸变校正、透视变换、图像拼接以及图像叠加。其输入端口与无线路由器2-3相连，输出端口与语音提示模块2-6相接，将图像分析数据传输至语音提示模块2-6进行下一步处理；图像解码模块2-2与存储模块2-1相连，将图像信息存储于存储模块2-1上；同时图像解码模块2-2的输出端口与显示模块2-7相连，将图像信息显示在显示模块2-7上。

语音提示模块2-6：负责语音驾驶提示以及倒车警示，其输入端口与图像解码模块2-2相连。

显示模块2-7：负责图像信息的显示，其输入端口与图像解码模块2-2相连。

第二电源模块2-8：负责整个移动显示终端2的电源供应。其输出模块分别与无线路由器2-3、无线信号放大器2-4、无线传输模块2-5、图像解码模块2-2、存储模块2-1、显示模块2-7、语音提示模块2-6相连。

如图2所示，当系统建立网络连接后，即开始检测无线路由器2-3上连接的无线摄像头1个数，当个数为1时，直接显示该无线摄像头的单幅画面；当连接个数为4个或者8个时，系统对无线摄像头传出的图像信息进行校正、拼接等处理，构建三维全景图像输出到移动显示终端的画面上；当连接个数为其他数量时，系统将自动报警，提醒用户检查各个无线摄像头的网络连接，同时供用户选择将画面切换到任一无线摄像头的实时画面上。

如图3所示，系统接收流程如下：

无线摄像头1的摄像头图像采集模块1-1和超声波测距模块1-4采集到信息后，传输至微处理器1-3，微处理器1-3将图像信息以及距离信息通过叠加算法进行叠加，再通过H264图像压缩算法进行图像压缩，压缩后的数据通过无线传输模块1-5发送。移动显示终端2的无线路由器2-3接收到数据后，将数据传输至图像解码模块2-2，图像解码模块2-2将数据存储于存储模块2-1，再将叠加的数据分离，并将其中的图像信息发送至显示模块2-7，将其中的距离以及障碍物信息进行分析后输出提示信息，传输至语音提示模块2-6，由语音提示模块2-6完成语音提示。

如图4所示，本发明中超声波测距模块的工作原理如下：

超声波测距模块向要探测的方向发射多个超声波脉冲，与此同时计时器开始计时，超声波在空气中传播，途中碰到障碍物就立即返回来，超声波接收器收到反射波就立即停止计时。根据超声波在空气中的传播速度为C＝340m/s，以及计时器记录的时长△t，可计算出发射点距离障碍物的距离S：

S＝C△t

为了能快速探测距离，超声波测距模块需要每隔一段时间即发射一组脉冲，具体发射的间隔由最大探测距离而定。即在最大探测距离内，如果有障碍物，则必须保证接收器能够接收到探测脉冲的发射信号。如果没有接收到反射脉冲信号，则发射器才可以继续发射下一组探测脉冲信号。假定最大探测距离为d_max＝6米，那么发射器发射脉冲之间的最小时间间隔为：

2d_max/C＝2×6/340≈35ms

带广角的镜头实际上存在着畸变，摄像头畸变包括径向畸变、离心畸变和薄棱镜畸变。本系统通过使用摄像头内部参数以及内部畸变模型对图像信息进行畸变校正，其具体实施方式如下：

假设(x，y)是校正前图像上的一点，采用多项式拟合算法，点(x，y)与校正后的对应点(u，v)之间的关系为：

$\left\{\begin{array}{c}x=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-i}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{u}^i{v}^j\\ y=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-i}{\mathrm{\Σ}}}{b}_{\mathrm{ij}}{u}^i{v}^j\end{array}\right.$

其中，n为多项式拟合次数，即为系统需要的畸变校正调节参数。

如图5所示，本系统所采用的透视变换原理如下：

(a)摄像机坐标系6与理想成像平面坐标系7之间的变换关系：

摄像机坐标系与理想无畸变的成像平面坐标系之间的关系可用针孔模型，即线性模型表示。空间中任何点P在成像面上的理想投影位置p，为光心O与P点的连线OP在成像面上的交点。这种关系也称为中心射影或透视投影，因此摄像机坐标系。X_c-Y_c-Z_c与理想的成像平面坐标系x-y之间有如下关系式：

$x=\frac{f\·X_c}{Z_c}$

$y=\frac{f\·Y_c}{Z_c}$

即

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]$

其中，f为摄像机的成像焦距。

(b)实际(畸变)成像平面坐标系7与图像坐标系8之间的变换关系：

由于图像坐标系是一个没有物理单位的坐标系，为表征出空间点的象在图像中的位置，因此成像平面坐标系x-y与图像坐标系u-v之间的关系如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中，dx、dy为每一个像素在x轴与y轴上的物理尺寸，即单位像素所代表的长度。u₀，v₀为主点坐标。

结合(a)(b)有：

$\begin{array}{c}{Z}_C\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\·\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}\mathrm{\α}& 0& u_0& 0\\ 0& \mathrm{\β}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\·\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]={\mathrm{AM}}_1\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]\end{array}$

其中，α＝f/dx、β＝f/dy；M是一个3×4矩阵，称为透视投影变换矩阵。A就是摄像机的内参矩阵。M₁为摄像机的外部参数，描述的是摄像机与世界坐标系之间的旋转和平移关系。

系统利用以上畸变校正、透视变换算法将多个摄像头图像采集模块1-1传回的图像信息进行拼接，构建了车辆所处环境的三维场景，驾驶员可以通过观察移动显示终端2上显示的三维场景画面进行泊车操作。降低了泊车的难度，提高了系统的可用性。

综上所述，本发明内嵌了多种机器视觉和数字图像处理的处理算法，同时由于独特的组网方式以及系统架构，使得本发明可以应用于多种车型，并由于实施方式的不同，可以产生多种功能，而且基于系统伸缩性好、性能优异以及智能化程度高等优点，便于大面积推广应用。

尽管本发明中未罗列更多的具体实施方式，但是对于本领域内普通技术人员而言均可理解，任何对本发明各个技术特征进行简单的替换以完成实现相同技术效果的行为，均应视为不超脱本发明的创新精神。

Claims (1)

1.一种基于无线的全景泊车辅助系统，包括一个或多个无线摄像头(1)，以及一个移动显示终端(2)，其特征在于：

所述无线摄像头(1)由摄像头图像采集模块(1-1)、图像压缩模块(1-2)、微处理器(1-3)、超声波测距模块(1-4)、无线传输模块(1-5)和第一电源模块(1-6)组成；所述移动显示终端(2)由存储模块(2-1)、图像解码模块(2-2)、无线路由器(2-3)、无线信号放大器(2-4)、无线传输模块(2-5)、语音提示模块(2-6)、显示模块(2-7)和第二电源模块(2-8)组成；

所述摄像头图像采集模块(1-1)的输出接口与图像压缩模块(1-2)相连；图像压缩模块(1-2)的输入端口与摄像头图像采集模块(1-1)相连，其输出端口与微处理器(1-3)相连；微处理器(1-3)的输入端口与超声波测距模块(1-4)以及图像压缩模块(1-2)相连，其输出端口与无线传输模块(1-5)相连；超声波测距模块(1-4)的输出接口与微处理器(1-3)相连；无线传输模块(1-5)的输入端口与微处理器(1-3)相连；第一电源模块(1-6)分别与摄像头图像采集模块(1-1)、图像压缩模块(1-2)、微处理器(1-3)、超声波测距模块(1-4)以及无线传输模块(1-5)相连接；

所述移动显示终端(2)中无线传输模块(2-5)的输出端口与无线信号放大器(2-4)的输入端口相连；图像解码模块(2-2)的输入端口与无线路由器(2-3)相连，其输出端口分别与语音提示模块(2-6)、存储模块(2-1)、显示模块(2-7)相连接；第二电源模块分别与无线路由器(2-3)、无线信号放大器(2-4)、图像解码模块(2-2)、存储模块(2-1)、显示模块(2-7)、无线传输模块(2-5)和语音提示模块(2-6)相连；

所述无线摄像头(1)为一个、四个或者八个；当系统建立网络连接后，即开始检测无线路由器上连接的无线摄像头(1)个数，当个数为1时，直接显示该无线摄像头的单幅画面；当连接个数为4个或者8个时，系统对无线摄像头传出的图像信息进行校正、拼接处理，构建三维全景图像输出到移动显示终端的画面上；当连接个数为其他数量时，系统将自动报警，提醒用户检查各个无线摄像头的网络连接，同时供用户选择将画面切换到任一无线摄像头的实时画面上；

所述移动显示终端(2)中无线传输模块(2-5)可基于的信号频段为802.11b、802.11g、802.11n、802.11ac中的任一种；

无线摄像头的摄像头图像采集模块和超声波测距模块采集到信息后，传输至微处理器，微处理器将图像信息以及距离信息通过叠加算法进行叠加，再通过H264图像压缩算法进行图像压缩，压缩后的数据通过无线传输模块发送；移动显示终端的无线路由器接收到数据后，将数据传输至图像解码模块，图像解码模块将数据存储于存储模块，再将叠加的数据分离，并将其中的图像信息发送至显示模块，将其中的距离以及障碍物信息进行分析后输出提示信息，传输至语音提示模块，由语音提示模块完成语音提示。