CN105205785A - 一种可定位的大型车辆运行管理系统及其运行方法 - Google Patents

Abstract

本发明涉及一种可定位的大型车辆运行管理系统及其运行方法，包括通信定位系统及视频图像处理系统，通信定位系统对车辆进行实时定位，获取车辆的位置信息，视频图像处理系统对多路摄像头拍摄的图像进行全景拼接，并通过通信定位系统将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，位置信息包括：经度坐标、纬度坐标。本发明对多路摄像头拍摄的图像进行全景拼接，消除了视觉盲区。本发明在实时定位车辆的同时，周期性上传多路摄像头拍摄的图像至后台管理平台，更好的实现车辆运行中的管理工作，实用性较强，同时所需硬件成本较低，易于实现，适合大规模推广。

Description

一种可定位的大型车辆运行管理系统及其运行方法

技术领域

本发明涉及一种可定位的大型车辆运行管理系统及其运行方法，属于定位技术领域。

背景技术

近年来随着经济的快速发展，大型车辆应用越来越频繁，而车辆在使用中若出现突发性事件，比如大型车辆或车辆内运送货品出现盗窃或自身发生交通事故等事件，现有车辆都无法取得一手详细的资料数据以证明事件的原由责任，这些都需要对公共道路上运行的大型车辆进行管理跟踪。

现有的车辆运行管理方案，主要是通过设置监控设备进行视频记录来实现，但是，传统的监控设备仍然解决不了视觉盲区等的问题，而且目前并未出现一种完善的大型车辆运行管理系统进行统一管理。

发明内容

针对现有技术的不足，本发明提供了一种可定位的大型车辆运行管理系统；

本发明还提供了上述大型车辆运行管理系统的运行方法；

本发明解决了车辆行驶中的视觉盲区，降低自身发生交通事故风险同时保障货品的安全。

术语解释

1、FPGA，是英文Field-ProgrammableGateArray的缩写，即现场可编程门阵列。

2、全景拼接，即全景图像拼接，指将对同一场景、不同角度之间存在相互重叠的图像序列进行图像配准，再将图像融合成一张包含各图像信息的高清图像的技术。

3、MCU，是英文MicroControlUnit的缩写，中文名称为微控制单元，又称单片微型计算机(SingleChipMicrocomputer)或者单片机。

4、采集控制，是指对摄像头进行图像数据采集并对数据进行分析处理，对于异常数据进行报警。

5、图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。

6、障碍物判别，是图像识别的一种。

7、图像配准，是指对两幅或多幅具有重叠区域的图像采取一定的匹配策略，将两幅或多幅图像变换到同一坐标系下的过程。

8、SIFT，即尺度不变特征转换(Scale-invariantfeaturetransform,SIFT)。

9、图像融合：图像拼接中调整配准后图像的像素值的处理过程，它使图像在拼接后看不出拼接的痕迹，同时融合后的图像尽可能保持图像的质量不被改变。

本发明的技术方案为：

一种可定位的大型车辆运行管理系统，包括通信定位系统及视频图像处理系统，所述通信定位系统对车辆进行实时定位，获取车辆的位置信息，所述视频图像处理系统对多路摄像头拍摄的图像进行全景拼接，并通过通信定位系统将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，所述位置信息包括：经度坐标、纬度坐标。后台管理平台即后台管理信息系统，可人机交互，可供管理人员查看、操作。

本发明对多路摄像头拍摄的图像进行全景拼接，消除了视觉盲区，更好的实现车辆运行中的管理工作，实用性较强，成本低，易于实现。

根据本发明优选的，所述通信定位系统包括主控MCU及分别与所述主控MCU连接的北斗定位模块、3G/4G通信模块；

根据本发明优选的，所述北斗定位模块用于实时获取车辆的位置信息，所述3G/4G通信模块用于将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。

根据本发明优选的，所述视频图像处理系统包括FPGA视频控制器及与所述FPGA视频控制器分别连接的显示屏、存储模块、多路摄像头及语音警示模块，所述FPGA视频控制器通过VGA/HDMI接口连接所述显示屏，所述FPGA视频控制器通过协议报文与所述主控MCU交互信息。

根据本发明优选的，当车辆行驶速度低于V时，所述多路摄像头周期性拍摄图像，V的取值范围为(3-10)Km/h，周期的取值范围为(20-40)s；否则，所述多路摄像头实时进行视频摄像，实时获取的视频经FPGA视频控制器全景拼接处理输出至显示屏，供驾驶员实时监控车辆内情况；以保证驾驶员安全行驶。

拍摄图像的目的是为了取证，车速太快时很难获取清晰的图像，并且，一般发生偷窃货物或车辆事故时，车辆是低速或停止的，当车辆行驶速度低于V时，所述多路摄像头拍摄图像，节省资源成本的同时可以实现更好的管理；另外，周期性拍摄可以减少工作量和存储量，同时保证正常运行。

所述FPGA视频控制器对所述多路摄像头获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别；所述摄像头数据包括所述多路摄像头拍摄的图像及视频；当检测出有障碍物离车辆距离小于(1.5-2)m时，所述语音警示模块发出警示音。

根据本发明优选的，所述主控MCU的型号为STM32F103，所述北斗定位模块的型号为ATGM336H，所述3G/4G通信模块的型号为ME906E。

根据本发明优选的，所述FPGA视频控制器的型号为EP4CE30F23C6；所述存储模块是指型号为MT47H64M16HR的DDR2内存储器；所述语音警示模块是指型号为NY3P087BS8SOP-8的语音IC。

根据本发明优选的，所述多路摄像头包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。

上述大型车辆运行管理系统的运行方法，具体步骤包括：

所述北斗定位模块实时获取车辆的位置信息，同时，当车辆行驶速度低于V时，所述多路摄像头周期性拍摄图像，否则，所述多路摄像头实时进行视频摄像，实时获取的视频经FPGA视频控制器全景拼接处理后输出至显示屏，供驾驶员实时监控车辆内情况；所述FPGA视频控制器还对所述多路摄像头拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别，检测出有障碍物离车辆距离小于(1.5-2)m时，所述语音警示模块发出警示音；经过所述FPGA视频控制器处理后的所述多路摄像头拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块周期性上传至后台管理平台。

根据本发明优选的，所述全景拼接，具体步骤包括：

(1)图像预处理：对图像依次进行图像去噪、几何校正处理；对失真的图像进行几何校正，把存在几何失真的图像校正为无几何失真的图像；以免影响图像拼接后续环节的精度。

(2)图像配准；

A、SIFT特征提取

a、构造高斯差分尺度空间DOG,检测尺度空间极值点：为了得到多尺度空间内的稳定关键点，利用不同尺度的高斯差分与图像进行卷积，构成高斯差分尺度空间DOG，如式(Ⅰ)所示：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)(Ⅰ)

式(Ⅰ)中，σ是指图像中任一像素点的尺度坐标，(x,y)是指图像中任一像素点的空间坐标，L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间；D(x，y，σ)为尺度空间函数，G(x，y，kσ)为尺度可变高斯函数，k为相邻两个尺度空间倍数的常数；I(x，y)是指原始图像；

检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点，将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较；确保在尺度空间和二维空间都能检测到极值点。

b、极值点精确定位

通过拟合三维二次函数精确定位极值点的位置和尺度，同时去除低对比度的点和不稳定的边缘相应点，通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点：

$stability=\frac{{(D_{xx}+D_{yy})}^2}{D_{xx}{D}_{yy}-{D_{xy}}^2}<\frac{{(r+1)}^2}{r}---\left(II\right)$

$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]---\left(III\right)$

式(Ⅱ)、式(Ⅲ)中，H为Hessian矩阵，r为控制特征值大小的参数，D_xx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果；D_yy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果；D_xy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果；stability是指稳定值；

c、分配关键点方向

为使得SIFT特征点具备局部旋转不变性，利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数，关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(IV\right)$

$\mathrm{\&theta;}(x,y)=arctan\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)---\left(V\right)$

式(Ⅳ)、式(Ⅴ)中，m(x,y)是指梯度幅度，θ(x,y)是指梯度方向；

d、生成特征点描述符

首先，将坐标轴旋转为关键点方向，以确保旋转不变性；然后，将以关键点为中心取的窗口均匀的分为16个小块，在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值，形成一个种子点，则每个种子点含8个方向的信息向量，一个特征点用16个种子点描述；

B、特征点匹配

对需要拼接的图像，按照步骤A所述的SIFT特征提取，分别得到需要拼接的图像的特征点集，记为：

P＝{p_j＝(p_j1,p_j2)^T|j＝1,2,…m}

Q＝{q_j＝(q_j1,q_j2)^T|j＝1,2,…m}

P是指需要拼接的图像一的特征点集；Q是指需要拼接的图像二的特征点集；则集合P和Q之间由仿射变换(A,t)关联；A是旋转变量，t是平移变量；

定义匹配矩阵M,其元素m_jk满足如下条件：

如果点p_j对应于q_k，则m_jk＝1；否则，m_jk＝0；

求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优，求取公式如式(Ⅵ)所示：

$E(M,t,A)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g\left|\right|p_t-t-A_{qk}|{|}^2+g\left(A\right)-\mathrm{\&alpha;}\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}---(VI)$

Subjectto1) $\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;j,k,m_{jk}\&Element;\{0,1\}$

2)g(A)＝γ(a²+b²+c²)

式(Ⅵ)中，t是平移变量，A被分解成如下形式：A＝s(a)R(θ)Sh₁(b)Sh₂(c),其中 $s\left(a\right)=\left(\begin{array}{cc}{e}^a& 0\\ 0& e^a\end{array}\right),{\mathrm{Sh}}_1\left(b\right)=\left(\begin{array}{cc}{b}^b& 0\\ 0& e^{-b}\end{array}\right),{\mathrm{Sh}}_2\left(c\right)=\left(\begin{array}{c}\cosh \left(c\right)\sinh \left(c\right)\\ \sinh \left(c\right)\cosh \left(c\right)\end{array}\right),$ R(θ)是标准的旋转矩阵，a是匹配误差的阈值，按照不同的匹配要求确定，E(M,t,A)为目标函数；

式(Ⅵ)中，对匹配矩阵M的行和列约束不等式，通过引入松弛变量，将不等式约束转化为等式约束，如式(Ⅶ)所示：

$\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}=1---\left(VII\right)$

$\&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}=1$

引入阻尼项其中T是控制模拟温度，将匹配矩阵的等式约束式和阻尼项加到目标函数式中，得到新的特征匹配问题的目标函数，如式(Ⅷ)所示：

$\begin{array}{c}E\left(M,t,A\right)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g\left|\right|p_t-t-A_{qk}|{|}^2+g\left(A\right)-\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\\ +\underset{j=1}{\overset{m}{\&Sigma;}}{\mathrm{\&mu;}}_j\left(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1\right)+\underset{j=1}{\overset{m}{\&Sigma;}}{v}_k\left(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1\right)+\underset{j=1}{\overset{m+1}{\&Sigma;}}\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}{\mathrm{logm}}_{jk}\end{array}---\left(VIII\right)$

式(Ⅷ)中，mjk是匹配矩阵M的元素，E(M,t,A)为目标函数，μ_j和ν_k是Lagrange因子，通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数；

(3)图像融合

为了得到过渡区域平滑的拼接图，利用加权平均法进行图像融合，即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到，如式(Ⅸ)所示：

$f(x,y)=\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f\\ d_1{f}_1\left(x,y\right)+d_2{f}_2\left(x,y\right)& \left(x,y\right)\&Element;f_1\&cap;f_2\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}---\left(IX\right)$

式(Ⅸ)中，d1、d2为渐变因子，设定f1和f2重叠区域的最大宽度为d_max，如式(Ⅹ)所示：

$\left\{\begin{array}{c}{d}_1=\left(d_{\max }-x\right)/d_{\max }\\ d_1+d_2=1\end{array}\right.---\left(X\right).$

本发明的有益效果为：

1、本发明对多路摄像头拍摄的图像进行全景拼接，消除了视觉盲区。

2、本发明在实时定位车辆的同时，周期性上传多路摄像头拍摄的图像至后台管理平台，更好的实现车辆运行中的管理工作，实用性较强，同时所需硬件成本较低，易于实现，适合大规模推广。

附图说明

图1为本发明所述一种可定位的大型车辆运行管理系统的结构示意图；

图1中，1、主控MCU，2、北斗定位模块，3、3G/4G通信模块，4、FPGA视频控制器，5、显示屏，6、存储模块，7、摄像头，8、语音警示模块。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种可定位的大型车辆运行管理系统，包括通信定位系统及视频图像处理系统，所述通信定位系统对车辆进行实时定位，获取车辆的位置信息，所述视频图像处理系统对多路摄像头7拍摄的图像进行全景拼接，并通过通信定位系统将全景拼接后多路摄像头7拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，所述位置信息包括：经度坐标、纬度坐标。后台管理平台即后台管理信息系统，可人机交互，可供管理人员查看、操作。

本发明对多路摄像头7拍摄的图像进行全景拼接，消除了视觉盲区，更好的实现车辆运行中的管理工作，实用性较强，成本低，易于实现。

所述通信定位系统包括主控MCU1及分别与所述主控MCU1连接的北斗定位模块2、3G/4G通信模块3；

所述北斗定位模块2用于实时获取车辆的位置信息，所述3G/4G通信模块3用于将全景拼接后多路摄像头7拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。

所述视频图像处理系统包括FPGA视频控制器4及与所述FPGA视频控制器4分别连接的显示屏5、存储模块6、多路摄像头7及语音警示模块8，所述FPGA视频控制器4通过VGA/HDMI接口连接所述显示屏5，所述FPGA视频控制器4通过协议报文与所述主控MCU1交互信息。

当车辆行驶速度低于V时，所述多路摄像头7周期性拍摄图像，V的取值为5Km/h，周期的取值为30s；否则，所述多路摄像头7实时进行视频摄像，实时获取的视频经FPGA视频控制器4全景拼接处理输出至显示屏5，供驾驶员实时监控车辆内情况；以保证驾驶员安全行驶。

拍摄图像的目的是为了取证，车速太快时很难获取清晰的图像，并且，一般发生偷窃货物或车辆事故时，车辆是低速或停止的，当车辆行驶速度低于V时，所述多路摄像头7拍摄图像，节省资源成本的同时可以实现更好的管理；另外，周期性拍摄可以减少工作量和存储量，同时保证正常运行。

所述FPGA视频控制器4对所述多路摄像头7获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别；所述摄像头数据包括所述多路摄像头7拍摄的图像及视频；当检测出有障碍物离车辆距离小于1.5m时，所述语音警示模块8发出警示音。

所述主控MCU1的型号为STM32F103，所述北斗定位模块2的型号为ATGM336H，所述3G/4G通信模块3的型号为ME906E。

所述FPGA视频控制器4的型号为EP4CE30F23C6；所述存储模块6是指型号为MT47H64M16HR的DDR2内存储器；所述语音警示模块8是指型号为NY3P087BS8SOP-8的语音IC。

所述多路摄像头7包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。

实施例1所述一种可定位的大型车辆运行管理系统的结构示意图如图1所示。

实施例2

根据实施例1所述的一种可定位的大型车辆运行管理系统的运行方法，具体步骤包括：

所述北斗定位模块2实时获取车辆的位置信息，同时，当车辆行驶速度低于V时，所述多路摄像头7周期性拍摄图像，否则，所述多路摄像头7实时进行视频摄像，实时获取的视频经FPGA视频控制器4全景拼接处理后输出至显示屏5，供驾驶员实时监控车辆内情况；所述FPGA视频控制器4还对所述多路摄像头7拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别，检测出有障碍物离车辆距离小于1.5m时，所述语音警示模块8发出警示音；经过所述FPGA视频控制器4处理后的所述多路摄像头7拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块3周期性上传至后台管理平台。

所述全景拼接，具体步骤包括：

(1)图像预处理：对图像依次进行图像去噪、几何校正处理；对失真的图像进行几何校正，把存在几何失真的图像校正为无几何失真的图像；以免影响图像拼接后续环节的精度。

(2)图像配准；

A、SIFT特征提取

a、构造高斯差分尺度空间DOG,检测尺度空间极值点：为了得到多尺度空间内的稳定关键点，利用不同尺度的高斯差分与图像进行卷积，构成高斯差分尺度空间DOG，如式(Ⅰ)所示：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)(Ⅰ)

式(Ⅰ)中，σ是指图像中任一像素点的尺度坐标，(x,y)是指图像中任一像素点的空间坐标，L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间；D(x，y，σ)为尺度空间函数，G(x，y，kσ)为尺度可变高斯函数，k为相邻两个尺度空间倍数的常数；I(x，y)是指原始图像；

检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点，将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较；确保在尺度空间和二维空间都能检测到极值点。

b、极值点精确定位

通过拟合三维二次函数精确定位极值点的位置和尺度，同时去除低对比度的点和不稳定的边缘相应点，通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点：

$stability=\frac{{(D_{xx}+D_{yy})}^2}{D_{xx}{D}_{yy}-{D_{xy}}^2}<\frac{{(r+1)}^2}{r}---\left(II\right)$

$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]---\left(III\right)$

式(Ⅱ)、式(Ⅲ)中，H为Hessian矩阵，r为控制特征值大小的参数，D_xx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果；D_yy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果；D_xy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果；stability是指稳定值；

c、分配关键点方向

为使得SIFT特征点具备局部旋转不变性，利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数，关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(IV\right)$

$\mathrm{\&theta;}(x,y)=arctan\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)---\left(V\right)$

式(Ⅳ)、式(Ⅴ)中，m(x,y)是指梯度幅度，θ(x,y)是指梯度方向；

d、生成特征点描述符

首先，将坐标轴旋转为关键点方向，以确保旋转不变性；然后，将以关键点为中心取的窗口均匀的分为16个小块，在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值，形成一个种子点，则每个种子点含8个方向的信息向量，一个特征点用16个种子点描述；

B、特征点匹配

对需要拼接的图像，按照步骤A所述的SIFT特征提取，分别得到需要拼接的图像的特征点集，记为：

P＝{p_j＝(p_j1,p_j2)^T|j＝1,2,…m}

Q＝{q_j＝(q_j1,q_j2)^T|j＝1,2,…m}

P是指需要拼接的图像一的特征点集；Q是指需要拼接的图像二的特征点集；则集合P和Q之间由仿射变换(A,t)关联；A是旋转变量，t是平移变量；

定义匹配矩阵M,其元素m_jk满足如下条件：

如果点p_j对应于q_k，则m_jk＝1；否则，m_jk＝0；

求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优，求取公式如式(Ⅵ)所示：

$E(M,t,A)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g\left|\right|p_t-t-A_{qk}|{|}^2+g\left(A\right)-\mathrm{\&alpha;}\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}---(VI)$

Subjectto1) $\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;j,k,m_{jk}\&Element;\{0,1\}$

2)g(A)＝γ(a²+b²+c²)

式(Ⅵ)中，t是平移变量，A被分解成如下形式：A＝s(a)R(θ)Sh₁(b)Sh₂(c),其中 $s\left(a\right)=\left(\begin{array}{cc}{e}^a& 0\\ 0& e^a\end{array}\right),{\mathrm{Sh}}_1\left(b\right)=\left(\begin{array}{cc}{b}^b& 0\\ 0& e^{-b}\end{array}\right),{\mathrm{Sh}}_2\left(c\right)=\left(\begin{array}{c}\cosh \left(c\right)\sinh \left(c\right)\\ \sinh \left(c\right)\cosh \left(c\right)\end{array}\right),$ R(θ)是标准的旋转矩阵，a是匹配误差的阈值，按照不同的匹配要求确定，E(M,t,A)为目标函数；

式(Ⅵ)中，对匹配矩阵M的行和列约束不等式，通过引入松弛变量，将不等式约束转化为等式约束，如式(Ⅶ)所示：

$\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}=1---\left(VII\right)$

$\&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}=1$

引入阻尼项其中T是控制模拟温度，将匹配矩阵的等式约束式和阻尼项加到目标函数式中，得到新的特征匹配问题的目标函数，如式(Ⅷ)所示：

$\begin{array}{c}E\left(M,t,A\right)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g\left|\right|p_t-t-A_{qk}|{|}^2+g\left(A\right)-\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\\ +\underset{j=1}{\overset{m}{\&Sigma;}}{\mathrm{\&mu;}}_j\left(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1\right)+\underset{j=1}{\overset{m}{\&Sigma;}}{v}_k\left(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1\right)+\underset{j=1}{\overset{m+1}{\&Sigma;}}\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}{\mathrm{logm}}_{jk}\end{array}---\left(VIII\right)$

式(Ⅷ)中，mjk是匹配矩阵M的元素，E(M,t,A)为目标函数，μ_j和ν_k是Lagrange因子，通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数；

(3)图像融合

为了得到过渡区域平滑的拼接图，利用加权平均法进行图像融合，即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到，如式(Ⅸ)所示：

$f(x,y)=\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f\\ d_1{f}_1\left(x,y\right)+d_2{f}_2\left(x,y\right)& \left(x,y\right)\&Element;f_1\&cap;f_2\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}---\left(IX\right)$

式(Ⅸ)中，d1、d2为渐变因子，设定f1和f2重叠区域的最大宽度为d_max，如式(Ⅹ)所示：

$\left\{\begin{array}{c}{d}_1=\left(d_{\max }-x\right)/d_{\max }\\ d_1+d_2=1\end{array}\right.---\left(X\right).$

Claims (10)

1.一种可定位的大型车辆运行管理系统，其特征在于，包括通信定位系统及视频图像处理系统，所述通信定位系统对车辆进行实时定位，获取车辆的位置信息，所述视频图像处理系统对多路摄像头拍摄的图像进行全景拼接后，并通过通信定位系统将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，所述位置信息包括：经度坐标、纬度坐标。

2.根据权利要求1所述的一种可定位的大型车辆运行管理系统，其特征在于，所述通信定位系统包括主控MCU及分别与所述主控MCU连接的北斗定位模块、3G/4G通信模块。

3.根据权利要求2所述的一种可定位的大型车辆运行管理系统，其特征在于，所述北斗定位模块用于实时获取车辆的位置信息，所述3G/4G通信模块用于将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。

4.根据权利要求2所述的一种可定位的大型车辆运行管理系统，其特征在于，所述视频图像处理系统包括FPGA视频控制器及与所述FPGA视频控制器分别连接的显示屏、存储模块、多路摄像头及语音警示模块，所述FPGA视频控制器通过VGA/HDMI接口连接所述显示屏，所述FPGA视频控制器通过协议报文与所述主控MCU交互信息。

5.根据权利要求4所述的一种可定位的大型车辆运行管理系统，其特征在于，当车辆行驶速度低于V时，所述多路摄像头周期性拍摄图像，V的取值范围为(3-10)Km/h，周期的取值范围为(20-40)s；否则，所述多路摄像头实时进行视频摄像，实时获取的视频经FPGA视频控制器全景拼接处理输出至显示屏，供驾驶员实时监控车辆内情况；

所述FPGA视频控制器对所述多路摄像头获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别；所述摄像头数据包括所述多路摄像头拍摄的图像及视频；当检测出有障碍物离车辆距离小于(1.5-2)m时，所述语音警示模块发出警示音。

6.根据权利要求2所述的一种可定位的大型车辆运行管理系统，其特征在于，所述主控MCU的型号为STM32F103，所述北斗定位模块的型号为ATGM336H，所述3G/4G通信模块的型号为ME906E。

7.根据权利要求4所述的一种可定位的大型车辆运行管理系统，其特征在于，所述FPGA视频控制器的型号为EP4CE30F23C6；所述存储模块是指型号为MT47H64M16HR的DDR2内存储器；所述语音警示模块是指型号为NY3P087BS8SOP-8的语音IC。

8.根据权利要求1所述的一种可定位的大型车辆运行管理系统，其特征在于，所述多路摄像头包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。

9.根据权利要求4所述的一种可定位的大型车辆运行管理系统的运行方法，其特征在于，具体步骤包括：

所述北斗定位模块实时获取车辆的位置信息，同时，当车辆行驶速度低于V时，所述多路摄像头周期性拍摄图像，否则，所述多路摄像头实时进行视频摄像，实时获取的视频经FPGA视频控制器全景拼接处理后输出至显示屏，供驾驶员实时监控车辆内情况；所述FPGA视频控制器还对所述多路摄像头拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别，检测出有障碍物离车辆距离小于(1.5-2)m时，所述语音警示模块发出警示音；经过所述FPGA视频控制器处理后的所述多路摄像头拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块周期性上传至后台管理平台。

10.根据权利要求9所述的一种可定位的大型车辆运行管理系统的运行方法，其特征在于，所述全景拼接，具体步骤包括：

(1)图像预处理：对图像依次进行图像去噪、几何校正处理；对失真的图像进行几何校正，把存在几何失真的图像校正为无几何失真的图像；

(2)图像配准；

A、SIFT特征提取

a、构造高斯差分尺度空间DOG,检测尺度空间极值点：利用不同尺度的高斯差分与图像进行卷积，构成高斯差分尺度空间DOG，如式(Ⅰ)所示：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)(Ⅰ)

式(Ⅰ)中，σ是指图像中任一像素点的尺度坐标，(x,y)是指图像中任一像素点的空间坐标，L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间；D(x，y，σ)为尺度空间函数，G(x，y，kσ)为尺度可变高斯函数，k为相邻两个尺度空间倍数的常数；I(x，y)是指原始图像；

检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点，将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较；

b、极值点精确定位

通过拟合三维二次函数精确定位极值点的位置和尺度，同时去除低对比度的点和不稳定的边缘相应点，通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点：

$stability=\frac{{(D_{xx}+D_{yy})}^2}{D_{xx}{D}_{yy}-{D_{xy}}^2}<\frac{{(r+1)}^2}{r}---\left(II\right)$

$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]---\left(III\right)$

式(Ⅱ)、式(Ⅲ)中，H为Hessian矩阵，r为控制特征值大小的参数，D_xx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果；D_yy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果；D_xy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果；stability是指稳定值；

c、分配关键点方向

为使得SIFT特征点具备局部旋转不变性，利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数，关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(IV\right)$

$\mathrm{\&theta;}(x,y)=arctan\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)---\left(V\right)$

式(Ⅳ)、式(Ⅴ)中，m(x,y)是指梯度幅度，θ(x,y)是指梯度方向；

d、生成特征点描述符

首先，将坐标轴旋转为关键点方向，然后，将以关键点为中心取的窗口均匀的分为16个小块，在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值，形成一个种子点，则每个种子点含8个方向的信息向量，一个特征点用16个种子点描述；

B、特征点匹配

对需要拼接的图像，按照步骤A所述的SIFT特征提取，分别得到需要拼接的图像的特征点集，记为：

P＝{p_j＝(p_j1,p_j2)^T|j＝1,2,…m}

Q＝{q_j＝(q_j1,q_j2)^T|j＝1,2,…m}

P是指需要拼接的图像一的特征点集；Q是指需要拼接的图像二的特征点集；则集合P和Q之间由仿射变换(A,t)关联；A是旋转变量，t是平移变量；

定义匹配矩阵M,其元素m_jk满足如下条件：

如果点p_j对应于q_k，则m_jk＝1；否则，m_jk＝0；

求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优，求取公式如式(Ⅵ)所示：

$E(M,t,A)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g{||p_t-1-A_{qk}||}^2+g\left(A\right)-\mathrm{\&alpha;}\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}---\left(VI\right)$

$Subjectto1)\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1,\&ForAll;j,k,m_{jk}\&Element;\{0,1\}$

2)g(A)＝γ(a²+b²+c²)

式(Ⅵ)中，t是平移变量，A被分解成如下形式：A＝s(a)R(θ)Sh₁(b)Sh₂(c),其中 $s\left(a\right)=\left(\begin{array}{cc}{e}^a& 0\\ 0& e^a\end{array}\right),{\mathrm{Sh}}_1\left(b\right)=\left(\begin{array}{cc}{e}^b& 0\\ 0& e^{-b}\end{array}\right),{\mathrm{Sh}}_2\left(c\right)=\left(\begin{array}{cc}\cosh \left(c\right)& \sinh \left(c\right)\\ \sinh \left(c\right)& \cosh \left(c\right)\end{array}\right),$ R(θ)是标准的旋转矩阵，a是匹配误差的阈值，按照不同的匹配要求确定，E(M,t,A)为目标函数；

式(Ⅵ)中，对匹配矩阵M的行和列约束不等式，通过引入松弛变量，将不等式约束转化为等式约束，如式(Ⅶ)所示：

$\begin{array}{c}\&ForAll;j,\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{j=1}{\overset{m}{\&Sigma;}}{m}_{jk}=1\\ \&ForAll;k,\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\&le;1\&RightArrow;\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}=1\end{array}---\left(VII\right)$

引入阻尼项其中T是控制模拟温度，将匹配矩阵的等式约束式和阻尼项加到目标函数式中，得到新的特征匹配问题的目标函数，如式(Ⅷ)所示：

$\begin{array}{c}E(M,t,A)=\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}g{||p_t-t-A_{qk}||}^2+g\left(A\right)-\underset{j=1}{\overset{m}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}{m}_{jk}\\ +\underset{j=1}{\overset{m}{\&Sigma;}}{\mathrm{\&mu;}}_j(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1)+\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&nu;}}_k(\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}-1)+\underset{j=1}{\overset{m+1}{\&Sigma;}}\underset{k=1}{\overset{m+1}{\&Sigma;}}{m}_{jk}{\mathrm{logm}}_{jk}\end{array}---\left(VIII\right)$

式(Ⅷ)中，mjk是匹配矩阵M的元素，E(M,t,A)为目标函数，μ_j和ν_k是Lagrange因子，通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数；

(3)图像融合

利用加权平均法进行图像融合，即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到，如式(Ⅸ)所示：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ a_1{f}_1(x,y)+d_2{f}_2(x,y)& (x,y)\&Element;f_1\&cap;f_2\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.---\left(IX\right)$

式(Ⅸ)中，d1、d2为渐变因子，设定f1和f2重叠区域的最大宽度为d_max，如式(Ⅹ)所示：

$\left\{\begin{array}{c}{d}_1=(d_{\max }-x)/d_{\max }\\ d_1+d_2=1\end{array}\right.---\left(X\right).$