CN104376303A - 一种低分辨率情况下的车辆成像方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，具体涉及一种低分辨率情况下的车辆成像方法，包括以下步骤：设备安装与视频采集，映射关系学习，分类器学习，车辆检测等步骤。本发明利用车辆的全局纹理信息训练模板，解决低分辨率下车辆检测问题；以低分辨率车辆图像为样本，使用非负矩阵分解训练模型字典、稀疏贝叶斯学习得到样本编码及其分布，模型字典和样本编码可重构样本图像；学习高低两种分辨率下的车辆样本编码映射关系，视频源分割为图像序列，根据学习训练到的车辆模型，逐帧检测车辆并记录如数据库。

Description

一种低分辨率情况下的车辆成像方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种低分辨率情况下的车辆成像方法。

背景技术

车辆检测技术主要有：1，以车辆边缘信息确定车辆位置的方法；2，以较多的车辆样本，根据局部纹理信息，训练车辆模板，进行匹配的方法；3，以车牌位置为依据检测车辆的方法；4，以背景建模，通过检测运动物体从而检测车辆的方法。其中，车辆边缘信息受环境影响较大，不能适应复杂场景如车辆较多，路边有树木等；车辆纹理信息如harr-like特征配合adaboost可以较为准确地检测大尺寸目标车辆，但当车辆尺寸较小，分辨率较低的情况下，局部纹理信息不明显，不足以区分车辆与非车；以车牌为依据的检测车辆方法在低分辨率情况下因无法检测到车牌同样无法工作；背景建模检测运动物体的方法不能适应拥堵等车辆不动的道路场景。

发明内容

本发明的目的在于提供一种低分辨率情况下的车辆成像方法，解决现有技术在低分辨率情况下车辆成像识别精度低的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种低分辨率情况下的车辆成像方法，包括以下步骤：

步骤一，设备安装与视频采集：将摄像机安装在单方向行驶的路面正上方6至8米处，俯视角30至45度，水平倾斜范围0至5度，工控机置于路旁杆位处，和摄像机以网线相连接，摄像机拍摄下方单方向行驶的车辆，记录为视频文件，所述摄像机为在线模式下的视频源，所述工控机为离线模式下的视频源；

步骤二，映射关系学习：将离线视频文件分割为图像序列，截取车辆样本，归一化到同一大小，记为高分辨率车辆样本x，通过缩放矩阵H得到小型的图片，记为低分辨率车辆样本y，使用非负矩阵分解优化问题并分别计算得到高、低分辨率车辆的字典φ和

步骤三，分类器学习：取低分辨率车辆样本y，使用稀疏贝叶斯学习方法解得低分辨率编码，并根据映射关系计算得高分辨率编码，以此编码为特征，以随机森林为分类方法训练分类器；

步骤四，车辆检测：将在线视频文件分割为图像序列，每一帧图像都缩放至若干级别，级别0为原始图像，级别1为级别0图像的0.9倍缩小图，以此类推，得到4至6个级别，对每个级别图像遍历截取待检测区域，计算此区域图的低分辨率编码，通过映射关系得到高分辨率编码，以此编码为特征，输入到分类器中，判定是否为车，若为车则记录位置。

更进一步的技术方案是，所述映射系学习中，

x＝φa+e_x

其中φ和分别对应高、低分辨率的字典，x和y分别是高低分辨率样本，e_x、e_y、n是误差，a和分别是高低分辨率编码，结合公式

y＝Hx+n

得到

其中e_y是不能由张成的部分，所以两边乘以得到

通过计算

$\tilde{a}=\arg \underset{a}{\max }\left\{p\left(\hat{a}\right|a)p\left(a\right)\right\}$

是a的最优值，原问题转化为和p(a)的估计问题。

更进一步的技术方案是，所述p(a)的估计由

$p(a;\mathrm{\γ})=\underset{i=1}{\overset{m}{\mathrm{\Π}}}{\left(2\mathrm{\π}{\mathrm{\γ}}_i\right)}^{-\frac{1}{2}}\exp (-\frac{{a_i}^2}{2{\mathrm{\γ}}_i})$

稀疏贝叶斯学习得到，其中a_i代表编码的某一维，γ_i是参数。

更进一步的技术方案是，所述的估计由如下方法得到：

令v＝He_x+n，通过估计p(v)得到其中v是高分辨率重建信号映射到低分辨率产生的总误差，

$u_v=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{y}_j-\mathrm{H\φ}{a}_j$

$K=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{(y_j-\mathrm{H\φ}{a}_j)}^T(y_j-\mathrm{H\φ}{a}_j)$

$p\left(v\right)=\frac{1}{Z}\exp (-{(v-u_v)}^T{K}^{-1}(v-u_v))$

则其中得到

更进一步的技术方案是，所述使用非负矩阵分解优化问题的方法是：

令可得到

$\tilde{a}=\arg \underset{a}{\min }\{{(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)\}$

定义代价函数E(a)，用迭代最速下降法求解上式，得到

$a_n=a_{n-1}-\mathrm{\α}\▿E\left(a_{n-1}\right)$

$\left(a\right)=\frac{1-\mathrm{\λ}}{2}{(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+\frac{\mathrm{\λ}}{2}{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)$

其中λ控制着先验的权重，α是迭代步长，为固定值，

${E\left(a_{n-1}\right)=-(1-\mathrm{\λ})\left(\mathrm{\ηH\φ}\right)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+\mathrm{\λ}{\mathrm{\Λ}}^{-1}(a-u_a)$

迭代初始值a₀的选取，用低分辨率图插值得到高分辨率图，再用高分辨率字典φ张成，得到a₀。

更进一步的技术方案是，所述所有级别的缩小图像全部遍历完成后，记录本帧图像所有检测到的车辆信息；有数据库模块将一帧图像的检测结果结构化后进行存储，以供查询。

与现有技术相比，本发明的有益效果是：利用车辆的全局纹理信息训练模板，解决低分辨率下车辆检测问题；以低分辨率车辆图像为样本，使用非负矩阵分解训练模型字典、稀疏贝叶斯学习得到样本编码及其分布，模型字典和样本编码可重构样本图像；学习高低两种分辨率下的车辆样本编码映射关系，视频源分割为图像序列，根据学习训练到的车辆模型，逐帧检测车辆并记录如数据库。

附图说明

图1为本发明中非负矩阵分解训练到的车辆字典。

图2为本发明中稀疏贝叶斯学习得到的车辆样本编码及其恢复效果。

图3为本发明中映射关系学习流程图。

图4为本发明中分类器学习流程图。

图5为本发明中检测流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1-图5示出了本发明一种低分辨率情况下的车辆成像方法的一个实施例：一种低分辨率情况下的车辆成像方法，其特征在于包括以下步骤：

步骤一，设备安装与视频采集：将摄像机安装在单方向行驶的路面正上方6至8米处，俯视角30至45度，水平倾斜范围0至5度，工控机置于路旁杆位处，和摄像机以网线相连接，摄像机拍摄下方单方向行驶的车辆，记录为视频文件，所述摄像机为在线模式下的视频源，所述工控机为离线模式下的视频源；

步骤二，映射关系学习：将离线视频文件分割为图像序列，截取车辆样本，归一化到同一大小，记为高分辨率车辆样本x，通过缩放矩阵H得到小型的图片，记为低分辨率车辆样本y，使用非负矩阵分解优化问题并分别计算得到高、低分辨率车辆的字典φ和

步骤三，分类器学习：取低分辨率车辆样本y，使用稀疏贝叶斯学习方法解得低分辨率编码，并根据映射关系计算得高分辨率编码，以此编码为特征，以随机森林为分类方法训练分类器；

步骤四，车辆检测：将在线视频文件分割为图像序列，每一帧图像都缩放至若干级别，级别0为原始图像，级别1为级别0图像的0.9倍缩小图，以此类推，得到4至6个级别，对每个级别图像遍历截取待检测区域，计算此区域图的低分辨率编码，通过映射关系得到高分辨率编码，以此编码为特征，输入到分类器中，判定是否为车，若为车则记录位置。

根据本发明一种低分辨率情况下的车辆成像方法的一个优选实施例，所述映射系学习中，

x＝φa+e_x

其中φ和分别对应高、低分辨率的字典，x和y分别是高低分辨率样本，e_x、e_y、n是误差，a和分别是高低分辨率编码，结合公式

y＝Hx+n

得到

其中e_y是不能由张成的部分，所以两边乘以得到

通过计算

$\tilde{a}=\arg \underset{a}{\max }\left\{p\left(\hat{a}\right|a)p\left(a\right)\right\}$

是a的最优值，原问题转化为和p(a)的估计问题。

更进一步的技术方案是，所述p(a)的估计由

$p(a;\mathrm{\γ})=\underset{i=1}{\overset{m}{\mathrm{\Π}}}{\left(2\mathrm{\π}{\mathrm{\γ}}_i\right)}^{-\frac{1}{2}}\exp (-\frac{{a_i}^2}{2{\mathrm{\γ}}_i})$

稀疏贝叶斯学习得到，其中a_i代表编码的某一维，γ_i是参数。

根据本发明一种低分辨率情况下的车辆成像方法的另一个优选实施例，所述的估计由如下方法得到：

令v＝He_x+n，通过估计p(v)得到其中v是高分辨率重建信号映射到低分辨率产生的总误差，

$u_v=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{y}_j-\mathrm{H\φ}{a}_j$

$K=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{(y_j-\mathrm{H\φ}{a}_j)}^T(y_j-\mathrm{H\φ}{a}_j)$

$p\left(v\right)=\frac{1}{Z}\exp (-{(v-u_v)}^T{K}^{-1}(v-u_v))$

则其中得到

根据本发明一种低分辨率情况下的车辆成像方法的另一个优选实施例，所述使用非负矩阵分解优化问题的方法是：

令可得到

$\tilde{a}=\arg \underset{a}{\min }\{{(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)\}$

定义代价函数E(a)，用迭代最速下降法求解上式，得到

$a_n=a_{n-1}-\mathrm{\α}\▿E\left(a_{n-1}\right)$

$\left(a\right)=\frac{1-\mathrm{\λ}}{2}{(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+\frac{\mathrm{\λ}}{2}{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)$

其中λ控制着先验的权重，α是迭代步长，为固定值，

${E\left(a_{n-1}\right)=-(1-\mathrm{\λ})\left(\mathrm{\ηH\φ}\right)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+\mathrm{\λ}{\mathrm{\Λ}}^{-1}(a-u_a)$

迭代初始值a₀的选取，用低分辨率图插值得到高分辨率图，再用高分辨率字典φ张成，得到a₀。

根据本发明一种低分辨率情况下的车辆成像方法的另一个优选实施例，，所述所有级别的缩小图像全部遍历完成后，记录本帧图像所有检测到的车辆信息；有数据库模块将一帧图像的检测结果结构化后进行存储，以供查询。

所述工控机包括三个模块。视频采集与存储模块解析硬盘视频文件或摄像头传入的视频流，并将视频分割为图像序列；车辆检测模块处理一帧图像，检测并存储车辆位置；数据库模块记录车辆检测模块的结果数据，结构化存储以供查询。

映射关系学习阶段，工控机视频采集与存储模块将传入的视频分割为图像序列，人工截取车辆样本图片并归一化到统一大小，记为高分辨率车辆样本x，通过缩放矩阵H得到较小的图片，记为低分辨率车辆样本y，使用非负矩阵分解分别计算得到高、低分辨率车辆的字典φ和分别对应高、低分辨率编码a和学习a和之间的映射关系。

分类器学习阶段，工控机视频采集与存储模块将传入的视频分割为图像序列，遍历图像截取待检测区域，使用稀疏贝叶斯学习得到待检测区域低分辨率编码利用学习阶段得到映射关系计算得高分辨率编码a，以此编码为特征，以随机森林为分类方法，训练分类器。

车辆检测阶段，步骤同分类器学习阶段，得到高分辨率编码a后直接输入到训练好的分类器进行是否为车的判定，如果分类结果为车，则保存此检测区域的位置。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (6)

1.一种低分辨率情况下的车辆成像方法，其特征在于包括以下步骤：

步骤一，设备安装与视频采集：将摄像机安装在单方向行驶的路面正上方6至8米处，俯视角30至45度，水平倾斜范围0至5度，工控机置于路旁杆位处，和摄像机以网线相连接，摄像机拍摄下方单方向行驶的车辆，记录为视频文件，所述摄像机为在线模式下的视频源，所述工控机为离线模式下的视频源；

步骤二，映射关系学习：将离线视频文件分割为图像序列，截取车辆样本，归一化到同一大小，记为高分辨率车辆样本x，通过缩放矩阵H得到小型的图片，记为低分辨率车辆样本y，使用非负矩阵分解优化问题并分别计算得到高、低分辨率车辆的字典φ和

步骤三，分类器学习：取低分辨率车辆样本y，使用稀疏贝叶斯学习方法解得低分辨率编码，并根据映射关系计算得高分辨率编码，以此编码为特征，以随机森林为分类方法训练分类器；

步骤四，车辆检测：将在线视频文件分割为图像序列，每一帧图像都缩放至若干级别，级别0为原始图像，级别1为级别0图像的0.9倍缩小图，以此类推，得到4至6个级别，对每个级别图像遍历截取待检测区域，计算此区域图的低分辨率编码，通过映射关系得到高分辨率编码，以此编码为特征，输入到分类器中，判定是否为车，若为车则记录位置。

2.根据权利要求1所述的一种低分辨率情况下的车辆成像方法，其特征在于：所述映射关系学习中，

x＝φa+e_x

其中φ和分别对应高、低分辨率的字典，x和y分别是高低分辨率样本，e_x、e_y、n是误差，a和分别是高低分辨率编码，结合公式

y＝Hx+n

得到

其中e_y是不能由张成的部分，所以两边乘以得到

通过计算

$\tilde{a}=\arg \underset{a}{\max }\left\{p\left(\hat{a}\right|a)p\left(a\right)\right\}$

是a的最优值，原问题转化为和p(a)的估计问题。

3.根据权利要求2所述的一种低分辨率情况下的车辆成像方法，其特征在于：所述p(a)的估计由

$p(a;\mathrm{\γ})=\underset{i=1}{\overset{m}{\mathrm{\Π}}}{\left({2\mathrm{\π\γ}}_i\right)}^{-\frac{1}{2}}\exp (-\frac{{a_i}^2}{{2\mathrm{\γ}}_i})$

稀疏贝叶斯学习得到，其中a_i代表编码的某一维，γ_i是参数。

4.根据权利要求3所述的一种低分辨率情况下的车辆成像方法，其特征在于：所述的估计由如下方法得到：

令v＝He_x+n，通过估计p(v)得到其中v是高分辨率重建信号映射到低分辨率产生的总误差，

$u_v=\frac{1}{k}{\mathrm{\Σ}}_{j=1}^k{y}_j-\mathrm{H\φ}{a}_j$

$K=\frac{1}{k}{\mathrm{\Σ}}_{j=1}^k{(y_j-\mathrm{H\φ}{a}_j)}^T(y_j-\mathrm{H\φ}{a}_j)$

$p\left(v\right)=\frac{1}{z}\exp (-{(v-u_v)}^T{K}^{-1}(v-u_v))$

则其中得到

5.根据权利要求4所述的一种低分辨率情况下的车辆成像方法，其特征在于：所述使用非负矩阵分解优化问题的方法是：

令可得到

$\tilde{a}=\arg \underset{a}{\min }\{{(\hat{a}-\mathrm{\ηH\φa}-{\mathrm{\ηu}}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-{\mathrm{\ηu}}_v)+{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)\}$

定义代价函数E(a)，用迭代最速下降法求解上式，得到

$a_n=a_{n-1}-a\▿E\left(a_{n-1}\right)$

$E\left(a\right)=\frac{1-\mathrm{\λ}}{2}{(\hat{a}-\mathrm{\ηH\φa}-{\mathrm{\ηu}}_v)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-{\mathrm{\ηu}}_v)+\frac{\mathrm{\λ}}{2}{(a-u_a)}^T{\mathrm{\Λ}}^{-1}(a-u_a)$

其中λ控制着先验的权重，α是迭代步长，为固定值，

$E\left(a_{n-1}\right)=-(1-\mathrm{\λ}){\left(\mathrm{\ηH\φ}\right)}^T{Q}^{-1}(\hat{a}-\mathrm{\ηH\φa}-\mathrm{\η}{u}_v)+{\mathrm{\λ\Λ}}^{-1}(a-u_a)$

迭代初始值a₀的选取，用低分辨率图插值得到高分辨率图，再用高分辨率字典φ张成，得到a₀。

6.根据权利要求1所述的一种低分辨率情况下的车辆成像方法，其特征在于：所述所有级别的缩小图像全部遍历完成后，记录本帧图像所有检测到的车辆信息；有数据库模块将一帧图像的检测结果结构化后进行存储，以供查询。