CN101945257A - 基于监控视频内容提取车辆底盘图像的合成方法 - Google Patents

Abstract

本发明提供了一种基于监控视频内容提取车辆底盘图像的合成方法，主要包括如下步骤：取帧转为灰度图片，进行预处理操作；形成运动区域不规则多边形；通过面积筛除部分不规则多边形；形成矩形包围盒；w-SIFT算法匹配；计算Y向平均偏移距离；做x方向的拉伸变换；图像拼接以及平滑过渡。本发明的有益效果在于：输入一段车辆底盘监控视频，可自动将其转换为包括该车辆完整底盘描述的单一静态图像，该图像可用于进一步的图像识别等。该方法可节省大量人工拼接图片的时间开销，并显著提高拼接后的效果；得到的结果可以直观反应监控视频所要表达的重要内容。

Description

基于监控视频内容提取车辆底盘图像的合成方法

技术领域

本发明涉及车辆运动图像监控领域，特别是一种基于监控视频内容提取车辆底盘图像的合成方法。

背景技术

近年来，视频已广泛应用于数字娱乐、电子商务、安全监控、广告宣传等众多领域，并将随着无线网络、智能移动终端等的进一步普及而快速发展。与此相应，各种基于视频的特征提取、关键帧提取、视频摘要、视频内容分析与理解等算法也逐步成为多媒体技术、计算机视觉与模式识别交叉方向中的研究热点。

传统视频监控大多依赖人工干预，而通过监控视频的内容合成则在以下方面遇到困难：1)视频内容分析容易受到拍摄质量、光照影响，且目标对象并不都位于同一成像平面，因此存在视角畸变因素的干扰；2)视频内容相对复杂，单一帧往往由对应场景下的多个目标构成，不同目标的精确分割与识别存在一定困难；3)视频数据量相对较大，内容提取算法难以做到实时、有效。因此，如何从大量视频二进制监控视频数据流中直接提取并合成其中的重要内容，已成为进一步扩展各类视频应用的瓶颈之一。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于监控视频内容提取车辆底盘图像的合成方法。

为了实现本发明所述的目的，本发明提供的一种基于监控视频内容提取车辆底盘图像的合成方法，其特征是，包含以下步骤：(1)输入车辆底盘监控视频，每间隔一段时间对视频帧取样，将每一帧转成灰度图像，并作帧间差分；

(2)设当前处理帧为f_i，在帧f_i中生成若干由封闭轮廓连接的多边形；

(3)通过最小包围盒面积筛选排除帧f_i中不对应于汽车底盘的多边形；

(4)在帧f_i中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围盒boundary_box(f_i)；

(5)取帧f_i的上一相邻帧f_i-1，在这两帧中的矩形包围盒boundary_box(f_i)与矩形包围盒boundary_box(f_i-1)之间，计算得到一组匹配的特征点集合FP(f_i-1，f_i)；

(6)遍历特征点集合FP(f_i-1，f_i)中的所有匹配特征点坐标值，计算两相邻帧f_i-1与帧f_i间的Y向平均偏移距离

(7)取帧f_i中的矩形包围盒boundary_box(f_i)区域内所有像素，对其作X方向的拉伸变换，用于消除局部视频拍摄中的帧间X向视角畸变；

(8)设当前结果车辆底盘图像为I_result，取该图像中底边为下边界、高度为Y向平均偏移距离

的矩形区域图像为I′_result；设在当前帧f_i中，通过X向拉伸变换后的矩形包围盒boundary_box(f_i)区域中，以顶边为上边界、高度为Y向平均偏移距离

的矩形区域图像为I′_merge(f_i)，将矩形区域图像I′_result与算法生成的矩形区域图像I′_merge(f_i)作融合算法平滑过渡后，得到新的矩形区域图像I_result；将矩形包围盒boundary_box(f_i)中的其余矩形区域图像合并至矩形区域图像I_result。

本发明的步骤(1)中，间隔时间设定为20ms～100ms，优选地隔设定为30ms。

本发明步骤(1)中，彩色图片转为灰度图片采用如下公式：

gray＝0.299R+0.587G+0.114B

其中R，G，B分别表示图像像素点的红色、绿色和蓝色分量，gray为灰度分量。

本发明步骤(1)中，帧间差分采用以下公式：

$R_m(x,y)=|I_m^i(x,y)-I_m^{i-1}(x,y)|$

表示第i幅图像中坐标为(x，y)的点的像素灰度值。

本发明步骤(1)中，二值化处理使用如下公式：

$\mathrm{dst}(x,y)=\left\{\begin{array}{c}255,\mathrm{if}(R_m(x,y)>35)\\ =0,\mathrm{otherwise}\end{array}\right.,$

其中dst(x，y)为(x，y)处像素二值化后的取值，其中二值化阈值取固定值35。

本发明步骤(1)中，膨胀操作使用Gaussian金字塔分解对输入图像先做向下采样，膨胀完成后作向上采样，通过上述形态学操作可以减少图像间差分所形成的细小空洞，使区域更为完整，该步骤主要用于为运动区域提取提供初始数据。

本发明步骤(2)中，先对二值化后的轮廓曲线进行最小二乘法的直线拟合，拟合后只取直线的起始点和终点进行存储，而后以若干直线段连接这些点，即可生成汽车底盘初始不规则多边形，该步骤得到由封闭曲线构成的一组不规则候选封闭轮廓。

本发明步骤(3)用于去除面积过小、不可能对应汽车底盘的候选封闭区域，其中最小包围盒面积筛选公式如下：

Area(p_i)＜λ₀*x*y

其中p_i表示各不规则候选封闭轮廓，Area(p_i)为其包围盒面积，表示目标底盘区域图像面积占当前帧总图像面积大小的最小比值阈值，本发明取λ₀＝0.6，x为当前帧的长度、y为当前帧的宽度。

本发明中步骤(4)从剩余候选封闭轮廓生成对应于汽车底盘所对应的矩形包围盒，其方法是首先对当前帧f_i中的各剩余封闭轮廓计算如下矩形运动区域：

$\mathrm{Ic}\left(c_i\right)\left\{\begin{array}{c}{x}_0=(1-a)\min \left(x_i\right)+a\max \left(x_i\right)\\ y_0=(1-c)\min \left(y_i\right)+c\max \left(y_i\right)\\ \mathrm{height}=(1-c-d)(\max \left(y_i\right)-\min \left(y_i\right))\\ \mathrm{width}=(1-a-b)(\max \left(x_i\right)-\min \left(x_i\right))\\ (x_i,y_i)\∈\mathrm{boundary}\left(c_i\right)\end{array}\right.,$

其中boundary(c_i)是某封闭轮廓c_i对应的边界轮廓，其中c_i∈f_i，a、b、c、d为其矩形运动区域调节系数，，a，b，c，d取值由用户自主确定，取值范围在0到1之间，a，b，c，d的不同取值将影响矩形在视频帧中的生成位置，以这些矩形为基础可以展开拼接操作，本发明中优选地分别取a＝0.05，b＝0.35，c＝0.05，d＝0.50，x₀表示矩形包围盒左上点的横坐标，y₀表示矩形包围盒左上点的纵坐标，width表示矩形包围盒的长，hegitht表示矩形包围盒的宽，(x_i，y_i)代表封闭轮廓c_i中的具体某一点，a取值将影响x₀位置，c取值将影响y₀位置，a，b共同作用影响width变量，c，d共同作用影响hegitht变量。然后应用如下方法得到最终底盘矩形包围盒boundary_box(f_i)：

$\mathrm{boudnary}\_\mathrm{box}\left(f_i\right)\left\{\begin{array}{cc}{x}_{\mathrm{avg}}=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i{x}_i& \\ y_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{y}_i& \\ {\mathrm{height}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{height}}_i& \\ {\mathrm{width}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{width}}_i& \mathrm{where}\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i=1\end{array}\right.,$

x_avg表示矩形包围盒左上点的横坐标，y_avg表示矩形包围盒左上点的纵坐标，width_avg表示矩形包围盒的长，hegitht_avg表示矩形包围盒的宽，w_i表示权值序列，其取值特征为中间所占比重大，序列头尾所占比重小，0≤w_i≤1，所述

表示各视频帧矩形框的权值总和为1。

本发明中，由于所输入的车辆底盘监控视频可能存在成像质量差、光照干扰大、车辆运动速度快缺点，在步骤(5)中，使用一种针对现有尺度不变特征变换算法(以下简称SIFT算法)的改进算法，来计算两相邻帧f_i-1与f_i中的匹配特征点，步骤如下：

(a)使用如下高斯核函数建立图像的尺度空间：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{\frac{-({\left({\mathrm{\ξ}}_{x}x\right)}^2+{\left({\mathrm{\ξ}}_{y}y\right)}^2)}{2{\mathrm{\σ}}^2}},$

其中ξ_x和ξ_y分别为X向与Y向调节系数，本发明取ξ_x＝2，ξ_y＝1，并由此将SIFT算法中的128维特征向量减少至64维；

(b)分别在矩形包围盒boundary_box(f_i-1)与矩形包围盒boundary_box(f_i)中按上式计算SIFT特征点；该特征点计算包含以下步骤：构造差分尺度空间；在差分尺度空间中进行候选特征点检测，候选特征点指该点像素值与其相邻26点相比为极小值或极大值；对特征点进行精确定位，剔除一些对比度低的点以及边缘相应点；当然，计算特征点可以采用现有方法实现，具体参见相关论文：DAVID G.LOWE Distinctive ImageFeatures from Scale-Invariant Keypoints.International Journal of Computer Vision 60(2)，91-110，2004。

(c)对帧f_i-1与帧f_i中计算出的任意两个SIFT特征点(x₁，y₁)与(x₂，y₂)，采用如下改进公式计算其匹配度：

d_final(x₁，y₁)，(x₂，y₂)＝d_Euclidean((x₁，y₁)，(x₂，y₂))+d_extrs((x₁，y₁)，(x₂，y₂))其中d_Euclidean表示两点间的欧氏距离，d_extea表示两个特征点间的偏移量，由下式获得：

其中ξ_max表示最大X坐标位移阈值，所述ξ_max≥0；在本发明中，ξ_max取10；

(d)将特征点匹配度大小升序排序，计算最近邻和次近邻的比值，并判断该比值是否小于设定的阈值，如果小于等于设定的阈值则保留该特征点成为SIFT匹配点，而后将所有SIFT匹配点加入匹配特征点集合FP(f_i-1，f_i)，否则不将该点加入匹配特征点集合，本发明中优选该阈值为0.49；

本发明的步骤(6)中，两相邻帧f_i-1与帧f_i间Y向平均偏移距离

的计算方法公式为：

$\mathrm{\Δ}{\tilde{y}}_i(f_{i-1},f_i)=\underset{j=1}{\overset{n(f_{i-1},f_i)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_j\mathrm{\Δ}{y}_j,$

其中n(f_i-1，f_i)表示集合FP(f_i-1，f_i)中的匹配点个数，Δy表示匹配点间Y坐标的差值，其中ξ_j变量表示权值，由下式确定：

${\mathrm{\ξ}}_j=\frac{K_j}{\mathrm{\Σ}{K}_j},$

且，

$K_j=\frac{1}{n(f_{i-1},f_i)-1}\underset{k=1}{\overset{n(f_{i-1},f_i)}{\mathrm{\Σ}}}{({\mathrm{\Δy}}_j-\mathrm{\Δ}{y}_k)}^2.$

本发明步骤(7)中，帧间X向畸变消除计算公式为

y)为畸变消除前的像素坐标，I_target(x’，y’)为畸变消除后的像素坐标。I_target(x′，y′)表示畸变消除后图像中(x′，y′)位置的像素值，I_source(x，y)表示畸变消除前图像中(x，y)处的像素值，上式中，表示进行线性插值时的权值系数，S_u表示畸变消除拉伸系数，S₀表示基础调整值，k表示拉伸斜率值，且k取值范围为1.2～1.5，S₀需要根据视频帧宽度大小具体取值，S₀取值需要大于0，本发明中优选地取值为30，所述表示x上取整运算。本发明步骤(8)中，对图像拼接处的平滑过渡算法公式为：

(1-ω(y))I_result(x，y)+ω(y)I′_merge(f_i)(x，y)，(x，y)∈I_result⌒I′_merge(f_i)

其中ω为平滑系数，ω(y)＝y/length。式中y表示纵坐标取值，length表示视频宽度。

有益效果：输入一段车辆底盘监控视频，可自动将其转换为包括该车辆完整底盘描述的单一静态图像，该图像可用于进一步的图像识别等。该方法可节省大量人工拼接图片的时间开销，并显著提高拼接后的效果；得到的结果可以直观反应监控视频所要表达的重要内容

本发明针对车辆底盘监控中的实时安全检测、危险品检查等需求，直接从监控视频中提取、生成一副完整车辆底盘图像，节省大量人工拼接图片的时间开销。所得结果可进一步用于车辆底盘危险品自动检查、底盘异常物品识别、车辆底盘损坏及异常实时报警等，可适用于各类安全检测、车辆维护等场合。与监控视频相比，可大大节省人工监控的时间开销、成本低，可靠性高；且所保存的单一静态图像数据量小、便于维护、查询与管理。本发明算法适合于低质量车辆底盘监控视频的合成。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为本发明汽车底盘所对应的矩形包围盒示例图。

图3为本发明针对汽车底盘初始不规则多边形生成效果图。

图4为本发明w-SIFT算法描述子改进示例图。

图5为本发明相邻图片偏移示例图。

图6为本发明成像场景演示示例图。

图7为本发明针对汽车底盘融合拼接效果图。

具体实施方式：

基于运动目标合成的视频内容提取方法的基本出发点是通过对视频隔固定时间取帧，转化为灰度图片，图片经一系列预处理操作后得到矩形运动区域，后进行改进w-SIFT匹配，根据匹配点y坐标的偏移值做拼接操作，并消除局部匹配的畸变，匹配区域拼接融合后可得到一副运动目标完整图像。

下面结合附图对本发明做更加详细的解释：

如图1所示。图1中的步骤1是初始动作，输入车辆底盘监控视频。

步骤2隔固定时间间隔30ms对视频帧取样；并采用下述公式将每一帧转成灰度图像

gray＝0.299R+0.587G+0.114B

其中R，G，B分别表示图像像素点的红色、绿色和蓝色分量，gray为灰度分量；

而后按作帧间差分，公式如下：

$R_m(x,y)=|I_m^i(x,y)-I_m^{i-1}(x,y)|$

表示视频m的第i幅图像中坐标为(x，y)的点的像素灰度值，R_m(x，y)为帧间差分结果。

接着进行二值化处理，公式如下：

$\mathrm{dst}(x,y)=\left\{\begin{array}{c}255,\mathrm{if}(R_m(x,y)>35)\\ =0,\mathrm{otherwise}\end{array}\right.,$

其中dst(x，y)为(x，y)处像素二值化后的取值，其中二值化阈值取固定值35。

最后进行膨胀操作，该操作使用Gaussian金字塔分解对输入图像先做向下采样，膨胀完成后作向上采样，通过上述形态学操作可以减少图像间差分所形成的细小空洞，使区域更为完整。该步骤主要用于为运动区域提取提供初始数据。

步骤3中先对二值化后的轮廓曲线进行最小二乘法的直线拟合，拟合后只取直线的起始点和终点进行存储，而后以若干直线段连接这些点，即可生成汽车底盘初始不规则封闭多边形，关于汽车底盘的具体应用示例的初始不规则多边形生成效果如图3所示，图中深黑色曲线即为初始不规则多边形，这些不规则多边形共同描述了视频帧中的运动区域，下一步将需要从中筛选出汽车底盘运动区域。

本发明中，由于步骤三中生成的多边形个数较多，可使用最小包围盒面积筛选公式去除面积过小、不可能对应汽车底盘的候选封闭区域，该公式如下：

Area(p_i)＜λ₀*x*y

其中p_i表示各不规则候选封闭轮廓，Area(p_i)为其包围盒面积，λ₀表示目标底盘区域面积占当前帧总面积大小的最小比值阈值，本发明取λ₀＝0.6，x、y分别为当前帧的长度与宽度。

步骤5中使用公式处理当前帧f_i中的各剩余封闭轮廓计算如下矩形区域：

$\mathrm{Ic}\left(c_i\right)\left\{\begin{array}{c}{x}_0=(1-a)\min \left(x_i\right)+a\max \left(x_i\right)\\ y_0=(1-c)\min \left(y_i\right)+c\max \left(y_i\right)\\ \mathrm{height}=(1-c-d)(\max \left(y_i\right)-\min \left(y_i\right))\\ \mathrm{width}=(1-a-b)(\max \left(x_i\right)-\min \left(x_i\right))\\ (x_i,y_i)\∈\mathrm{boundary}\left(c_i\right)\end{array}\right.,$

其中boundary(c_i)是封闭轮廓c_i对应的边界轮廓其中c_i∈f_i，a、b、c、d为其矩形运动区域调节系数，在发明实施例中分别取a＝0.05，b＝0.35，c＝0.05，d＝0.50，a，b，c，d取值也可由用户自由确定，取值范围在0到1之间，a，b，c，d的不同取值将影响矩形在视频帧中的生成位置，后续步骤则将以这些矩形为基础可以展开拼接操作；x₀表示矩形包围盒左上点的横坐标，y₀表示矩形包围盒左上点的纵坐标，width表示矩形包围盒的长，hegitht表示矩形包围盒的宽，(x_i，y_i)代表封闭轮廓c_i中的具体某一点。

该公式效果示意图如图2所示，可见在闭合的不规则区域中形成了所需要的矩形区域，其中，height为本发明步骤5中的矩形包围盒高度；width为本发明步骤5中的矩形包围盒宽度；

根据如下步骤得到最终底盘矩形包围盒boundary_box(f_i)：

$\mathrm{boudnary}\_\mathrm{box}\left(f_i\right)\left\{\begin{array}{cc}{x}_{\mathrm{avg}}=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i{x}_i& \\ y_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{y}_i& \\ {\mathrm{height}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{height}}_i& \\ {\mathrm{width}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{width}}_i& \mathrm{where}\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i=1\end{array}\right.$

x_avg表示矩形包围盒左上点的横坐标，y_avg表示矩形包围盒左上点的纵坐标，width_avg表示矩形包围盒的长，hegitht_avg表示矩形包围盒的宽，w_i表示权值序列，其取值特征为中间所占比重大，序列头尾所占比重小，0≤w_i≤1，

表示各视频帧矩形框的权值总和应为1。

步骤6中，在步骤5中，由于所输入的车辆底盘监控视频可能存在成像质量差、光照干扰大、车辆运动速度快缺点，使用一种针对现有尺度不变特征变换算法(以下简称SIFT算法)的改进算法，来计算两相邻帧f_i-1与f_i中的匹配特征点，步骤如下：

(a)使用如下高斯核函数建立图像的尺度空间：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{\frac{-({\left({\mathrm{\ξ}}_{x}x\right)}^2+{\left({\mathrm{\ξ}}_{y}y\right)}^2)}{2{\mathrm{\σ}}^2}},$

其中ξ_x和ξ_y分别为X向与Y向调节系数，本发明取ξ_x＝2，ξ_y＝1，并由此将SIFT算法中的128维特征向量减少至64维，具体改变如图4所示，中间图形表明特征向量在上述两种方法中具体的构造方法，128维将形成如左图的特征向量，64维则将构成如右图的特征向量；

(b)分别在矩形包围盒boundary_box(f_i-1)与矩形包围盒boundary_box(f_i)中按上式计算SIFT特征点；该特征点计算包含以下步骤：构造差分尺度空间；在差分尺度空间中进行候选特征点检测，候选特征点指该点像素值与其相邻26点相比为极小值或极大值；对特征点进行精确定位，剔除一些对比度低的点以及边缘相应点；当然，计算特征点可以采用现有方法实现，具体参见相关论文：DAVID G.LOWE Distinctive Image Features from Scale-Invariant Keypoints.Intemational Journal of Computer Vision 60(2)，91-110，2004。

(c)对帧f_i-1与帧f_i中计算出的任意两个SIFT特征点(x₁，y₁)与(x₂，y₂)，采用如下改进公式计算其匹配度：

d_final(x₁，y₁)，(x₂，y₂)＝d_Euclidean((x₁，y₁)，(x₂，y₂))+d_extra((x₁，y₁)，(x₂，y₂))

其中d_Enclidean表示两点间的欧氏距离，d_extra表示两个特征点间的偏移量，由下式获得：

$d_{\mathrm{extra}}=\left\{\begin{array}{cc}\∞,& y_2-y_1>0\mathrm{or}|x_2-x_1|>{\mathrm{\ξ}}_{\max }\\ 0,& \mathrm{otherwise}\end{array}\right.,$

其中ξ_max表示最大X坐标位移阈值，所述ξ_max≥0；在本发明中，ξ_max取10；

(d)将特征点匹配度大小升序排序，计算最近邻和次近邻的比值，并判断该比值是否小于设定的阈值，如果小于等于设定的阈值则保留该特征点成为SIFT匹配点，而后将所有SIFT匹配点加入匹配特征点集合FP(f_i-1，f_i)，如果大于则不将该点加入匹配特征点集合，本发明中优选该阈值为0.49；

步骤7中，本发明所针对的应用场景如图5所示，纵坐标为位移，横坐标为时间，图中两个箭头之间为相邻两帧之间的距离

遍历特征点集合FP(f_i-1，f_i)中的所有匹配特征点坐标值，计算两相邻帧f_i-1与f_i间的Y向平均偏移距离

Y向平均偏移距离

的计算方法公式为：

其中n(f_i-1，f_i)表示集合FP(f_i-1，f_i)中的匹配点个数，Δy表示匹配点间Y坐标的差值，ξ_j由下式确定：

${\mathrm{\ξ}}_j=\frac{K_j}{\mathrm{\Σ}{K}_j},$

且， $K_j=\frac{1}{n(f_{i-1},f_i)-1}\underset{k=1}{\overset{n(f_{i-1},f_i)}{\mathrm{\Σ}}}{(\mathrm{\Δ}{y}_j-\mathrm{\Δ}{y}_k)}^2.$

步骤8中，本应用的成像场景如图6所示，可见视频拍摄存在一定的倾斜角度导致了成像空间与车辆底盘空间不同进而使车辆底盘投影在视频中的图像将会产生x方向的畸变，因而取当前帧f_i中的矩形包围盒boundary_box(f_i)区域内所有像素，采用基于帧间X向偏移量做如下计算，以完成X方向的拉伸变换，消除局部视频拍摄中的视角畸变，该计算公式为；

其中I_source(x，y)为畸变消除前的像素坐标，I_target(x’，y’)为畸变消除后的像素坐标。I_target(x′，y′)表示畸变消除后图像中(x′，y′)位置的像素值，I_source(x，y)表示畸变消除前图像中(x，y)处的像素值，上式中

，表示进行线性插值时的权值系数，S_u表示畸变消除拉伸系数，S₀表示基础调整值，k表示拉伸斜率值，且k取值范围为1.2～1.5，S₀需要根据视频帧宽度大小具体取值，S₀取值需要大于0，本发明中优选地取值为30，所述

表示x上取整运算。

步骤9中，设当前结果车辆底盘图像为I_result，取该图像中底边为下边界、高度为Y向平均偏移距离

的矩形区域作为I′_result；设在当前帧f_i中，通过X向拉伸变换后的矩形包围盒boundary_box(f_i)区域中，以顶边为上边界、高度为Y向平均偏移距离

的矩形区域为I′_merge(f_i)，将当前结果车辆底盘图像I′_result与算法生成的图像I′_merge(f_i)作融合算法平滑过渡后，得到新的I_result；矩形包围盒boundary_box(f_i)中的其余矩形区域直接合并至I_result。

图像拼接处的平滑过渡算法公式如下：

(1-ω(y))I_result(x，y)+ω(y)I′_mergw(f_i)(x，y)，(x，y)∈I_result⌒I′_merge(f_i)

其中ω为平滑系数，ω(y)＝y/length，，式中y表示纵坐标取值，length表示视频宽度。

最后可完成监控视频内容提取，合成一幅汽车底盘图像，具体应用示例的合成拼接效果如图7所示。

本发明提供了一种基于监控视频内容提取车辆底盘图像的合成方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于监控视频内容提取车辆底盘图像的合成方法，其特征在于，包含以下步骤：

(1)输入车辆底盘监控视频，每间隔一段时间对视频帧取样，将每一帧转成灰度图像，并作帧间差分；

(2)设当前处理帧为f_i，在帧f_i中生成若干由封闭轮廓连接的多边形；

(3)通过最小包围盒面积筛选排除帧f_i中不对应于汽车底盘的多边形；

(4)在帧f_i中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围盒boundary_box(f_i)；

(5)取帧f_i的上一相邻帧f_i-1，在这两帧中的矩形包围盒boundary_box(f_i)与矩形包围盒boundary_box(f_i-1)之间，计算得到一组匹配的特征点集合FP(f_i-1，f_i)；

(6)遍历特征点集合FP(f_i-1，f_i)中的所有匹配特征点坐标值，计算两相邻帧f_i-1与帧f_i间的Y向平均偏移距离

(7)取帧f_i中的矩形包围盒boundary_box(f_i)区域内所有像素，对其作X方向的拉伸变换，用于消除局部视频拍摄中的帧间X向视角畸变；

(8)设当前结果车辆底盘图像为I_result，取该图像中底边为下边界、高度为Y向平均偏移距离

的矩形区域图像为I′_result；设在当前帧f_i中，通过X向拉伸变换后的矩形包围盒boundary_box(f_i)区域中，以顶边为上边界、高度为Y向平均偏移距离

的矩形区域图像为I′_merge(f_i)，将矩形区域图像I′_result与算法生成的矩形区域图像I′_merge(f_i)作融合算法平滑过渡后，得到新的矩形区域图像I_result；将矩形包围盒boundary_box(f_i)中的其余矩形区域图像合并至矩形区域图像I_result。

2.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(1)中，间隔时间设定为20ms～100ms；

将每一帧转成灰度图像采用如下公式：

gray＝0.299R+0.587G+0.114B，

其中R，G，B分别表示图像像素点的红色、绿色和蓝色分量，gray为灰度分量；

帧间差分采用以下公式：

$R_m(x,y)=|I_m^i(x,y)-I_m^{i-1}(x,y)|,$

表示视频m的第i幅图像中坐标为(x，y)的点的像素灰度值，R_m(x，y)为帧间差分结果。

3.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(1)中，包括二值化处理和膨胀操作，所述二值化处理使用如下公式：

$\mathrm{dst}(x,y)=\left\{\begin{array}{c}255,\mathrm{if}(R_m(x,y)>35)\\ =0,\mathrm{otherwise}\end{array}\right.,$

其中dst(x，y)为(x，y)处像素二值化后的取值；

所述膨胀操作对输入图像先做向下采样，膨胀完成后作向上采样，用于减少图像间差分所形成的细小空洞，使区域图像完整。

4.如权利要求3所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(2)中，先对二值化后的轮廓曲线进行最小二乘法的直线拟合，拟合后只取直线的起始点坐标和终点坐标进行存储，而后以直线段连接所述起始点坐标和终点坐标，即生成车辆底盘初始多边形。

5.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，最小包围盒面积筛选公式如下：

Area(p_i)＜λ₀*x*y

其中p_i表示各不规则候选封闭轮廓，Area(p_i)为其包围盒面积，λ₀表示目标底盘区域图像面积占当前帧总图像面积大小的最小比值阈值，x为当前帧的长度、y为当前帧的宽度。

6.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(4)中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围盒boundary_box(f_i)包括如下步骤，

对当前帧f_i中的各剩余封闭轮廓计算如下矩形区域：

$\mathrm{Ic}\left(c_i\right)\left\{\begin{array}{c}{x}_0=(1-a)\min \left(x_i\right)+a\max \left(x_i\right)\\ y_0=(1-c)\min \left(y_i\right)+c\max \left(y_i\right)\\ \mathrm{height}=(1-c-d)(\max \left(y_i\right)-\min \left(y_i\right))\\ \mathrm{width}=(1-a-b)(\max \left(x_i\right)-\min \left(x_i\right))\\ (x_i,y_i)\∈\mathrm{boundary}\left(c_i\right)\end{array}\right.,$

其中boundary(c_i)是封闭轮廓c_i对应的边界轮廓，其中c_i∈f_i，a、b、c、d为其矩形运动区域调节系数，a、b、c、d取值范围为0～1之间的任意实数；x₀表示矩形包围盒左上点的横坐标，y₀表示矩形包围盒左上点的纵坐标，width表示矩形包围盒的长，hegitht表示矩形包围盒的宽，(x_i，y_i)代表封闭轮廓c_i中的一点；

根据如下步骤得到最终底盘矩形包围盒boundary_box(f_i)：

$\mathrm{boudnary}\_\mathrm{box}\left(f_i\right)\left\{\begin{array}{cc}{x}_{\mathrm{avg}}=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i{x}_i& \\ y_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{y}_i& \\ {\mathrm{height}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{height}}_i& \\ {\mathrm{width}}_{\mathrm{avg}}=\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i{\mathrm{width}}_i& \mathrm{where}\underset{0}{\overset{N}{\mathrm{\Σ}}}{w}_i=1\end{array}\right.,$

x_avg表示矩形包围盒左上点的横坐标，y_avg表示矩形包围盒左上点的纵坐标，width_avg表示矩形包围盒的长，hegitht_avg表示矩形包围盒的宽，w_i表示权值序列，0≤w_i≤1，所述

表示各视频帧矩形框的权值总和为1。

7.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(5)中，计算两相邻帧f_i-1与f_i中的匹配特征点的步骤如下：

(a)使用如下高斯核函数建立图像的尺度空间：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{\frac{-({\left({\mathrm{\ξ}}_{x}x\right)}^2+{\left({\mathrm{\ξ}}_{y}y\right)}^2)}{2{\mathrm{\σ}}^2}},$

其中ξ_x和ξ_y分别为X向与Y向调节系数；

(b)分别在矩形包围盒boundary_box(f_i-1)与矩形包围盒boundary_box(f_i)中计算特征点；

(c)对帧f_i-1与帧f_i中计算出的特征点(x₁，y₁)与特征点(x₂，y₂)，采用如下公式计算其匹配度：

d_final(x₁，y₁)，(x₂，y₂)＝d_Euclidean((x₁，y₁)，(x₂，y₂))+d_extra((x₁，y₁)，(x₂，y₂))，

其中d_Euclidean表示两点间的欧氏距离，d_extra表示两个特征点间的偏移量，由下式获得：

$d_{\mathrm{extra}}=\left\{\begin{array}{cc}\∞,& y_2-y_1>0\mathrm{or}|x_2-x_1|>{\mathrm{\ξ}}_{\max }\\ 0,& \mathrm{otherwise}\end{array}\right.,$

其中ξ_max表示最大X坐标位移阈值，所述ξ_max≥0；

(d)将特征点匹配度大小升序排序，计算最近邻和次近邻的比值，并判断该比值是否小于设定的阈值，如果小于等于设定的阈值则保留该特征点成为SIFT匹配点，而后将所有SIFT匹配点加入匹配特征点集合FP(f_i-1，f_i)，否则不将该点加入匹配特征点集合。

8.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，在步骤(6)中，相邻的帧f_i-1与帧f_i间Y向平均偏移距离

的计算公式为：

其中n(f_i-1，f_i)表示集合FP(f_i-1，f_i)中的匹配点个数，Δy表示匹配点间Y坐标的差值，其中ξ_j变量表示权值，由下式确定：

${\mathrm{\ξ}}_j=\frac{K_j}{\mathrm{\Σ}{K}_j},$

且， $K_j=\frac{1}{n(f_{i-1},f_i)}\underset{k=1}{\overset{n(f_{i-1},f_i)}{\mathrm{\Σ}}}{(\mathrm{\Δ}{y}_i-\mathrm{\Δ}{y}_k)}^2.$

9.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(7)中，帧间X向视角畸变消除计算公式为：

其中I_source(x，y)为畸变消除前的像素坐标，I_target(x’，y’)为畸变消除后的像素坐标；I_target(x′，y′)表示畸变消除后图像中(x′，y′)位置的像素值，I_source(x，y)表示畸变消除前图像中(x，y)处的像素值，上式中

，表示进行线性插值时的权值系数，S_u表示畸变消除拉伸系数，S₀表示基础调整值，k表示拉伸斜率值，且k取值范围为1.2～1.5，

表示x上取整运算。

10.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是，步骤(8)中，将矩形区域图像I′_result与算法生成的矩形区域图像I′_merge(f_i)作融合算法平滑过渡的公式为：

(1-ω(y))I_result(x，y)+ω(y)I′_merge(f_i)(x，y)，(x，y)∈I_result⌒I′_merge(f_i)，

其中ω为平滑系数，ω(y)＝y/length，式中y表示纵坐标取值，length表示视频宽度。

Images