CN102708385B - 用于视频监控场景的三维车型比对识别的方法和系统 - Google Patents

Abstract

本发明公开了一种用于视频监控场景的三维车型比对识别的方法，所述方法包括：步骤一、根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型；步骤二、建立用于比对的1∶1车辆三维模型库；步骤三、利用轮廓抠像技术将二维画面中的车辆轮廓提取出来；步骤四、将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果。本发明还提供了一种用于视频监控场景的三维车型比对识别的系统，对监控图像进行自动比对处理。本发明实施例能够实现自动将监控场景中车辆与三维模型库进行比对，从而自动识别出车辆型号。

Description

用于视频监控场景的三维车型比对识别的方法和系统

技术领域

本发明涉及一种三维车型比对识别的方法和系统，特别是一种通过重建视频监控场景的三维模型，实现将监控场景中车辆与三维模型库进行比对，从而识别出车辆型号的方法和系统，属于计算机图形图像技术领域和数据管理技术领域。

背景技术

随着城市安防建设的大力发展，监控摄像机已经覆盖道路、小区、商场等各种场所，视频监控的数据量也越来越大，导致相关部门在使用这些监控录像时需要面临着巨大的录像回看的工作量。近年来，监控行业以及图形图像学方面的专家均致力于对录像中的目标进行提取、存储，从而实现快速查找目标的方法。如，在道路交通监控领域，人们希望快速地在数小时甚至半个月的视频录像中找到一辆某型号的轿车，那么传统的方法需要耗费大量的人力和时间来对监控视频进行观看。在监控画面中，对于各种车辆车型的判断，目前还处于人工识别的阶段，而具有一眼就能看出相对模糊的监控画面中一辆车的型号，具有这种经验的人寥寥无几。随着计算机技术发展，具有高性能运算能力的计算机已经全面普及，我们可以利用计算机视觉技术辅助人们对这些车型进行识别。如果通过一种自动识别比对的方法，将监控视频中的车辆提取出来，并自动对其进行车型识别，就可以大大节省时间，提高查找目标车辆的工作效率。

在计算机图形图像技术领域，从监控画面中提取一个运动目标已经有诸多方法，但如何识别提取出的运动目标是一辆什么型号的车，是一大难题。通过对监控摄像机的固有参数及安装角度等，我们可以利用三维重建技术还原一个虚拟的三维监控场景。从而使得通过一种三维模型和二维图像的轮廓比对方法，对二维图像进行轮廓识别、比对，从而将未知型号的车辆通过与已知型号的三维车辆模型的轮廓比对，得出二维图像中车辆的型号。

发明内容

本发明提出的是一种用于视频监控场景的三维车型比对识别的方法和系统，其主要特征是通过一种对监控场景的三维重建方法，将已知车型的三维模型在三维场景中与实际车辆轮廓进行多次比对，得出车辆型号结果。

本发明的技术方案如下：

本发明提供一种用于视频监控场景的三维车型比对识别的方法，其特征在于所述方法包括：

步骤一、根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型；

步骤二、建立用于比对的1∶1车辆三维模型库；

步骤三、利用轮廓抠像技术将二维画面中的车辆轮廓提取出来；

步骤四、将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果。

本发明还提供一种用于视频监控场景的三维车型比对识别的系统，通过对监控场景的三维模型重建，对场景中的车辆车型进行自动比对识别、输出和查询，其特征在于所述系统包括：

视频采集模块：用于采集实时视频或从录像文件中获取视频流；

三维场景重建模块：根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型，模拟真实环境；

自动及手动比对计算模块：用于对输入的视频流进行自动识别比对并记录在数据库中，或者在收到输入一段视频后，手动控制系统对其中的车辆进行自动识别，其中通过利用轮廓抠像技术将视频流中的二维画面中的车辆轮廓提取出来，将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果；

模型库管理模块：用于建立用于比对的1∶1车辆三维模型库，导入、修改模型库中的车辆模型；

比对预览模块：在系统进行比对时，用于对比对过程进行查看；

结果查询模块：用于对比对结果进行多种条件查询。

附图说明

图1为本发明的具体实施方式流程图；

图2为三维场景重建方法示意图；

图3为三维车型与实际车辆轮廓比对的流程图；

图4为三维车型比对识别系统的框图。

具体实施方式

下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例汇总的特征可以互相任意组合。

图1为本发明的具体实施方式流程图，一种用于视频监控场景的三维车型比对识别的方法其主要步骤如下：

步骤一、根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型；

步骤二、建立用于比对的1∶1车辆三维模型库；

步骤三、利用轮廓抠像技术将二维画面中的车辆轮廓提取出来；

步骤四、将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果。

在所述步骤一中，在三维空间内建立镜头视角三维模型的方法如下：

在实际地平面和图像中的地平面之间，建立单应性解(homography)H；然后利用摄像机实际与地平面的安装高度h、和一些已知长度的垂直于地平面的线，来对摄像机进行校准，具体实施方式如下：

101、根据摄像机的针孔模型，设置矩阵： $M=A\·\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right],$ 由此可知，实际地平面与图像中的地平面的单应性关系可表示为H＝A[r₁ r₂ t]＝[h₁ h₂ h₃]。

其中，A为摄像机的固有参数矩阵；r₁，r₂，r₃为旋转矩阵R的三个列向量；t为平移参数。若实际地平面和图像中的地平面之间有多于4组对应点，由上述公式，可使得H得到最多扩展。

102、定义摄像机的光学中心点，即摄像机视角原点为(x_c，y_c，h)，令K＝hAr₃，得到：x_ch₁+y_ch₂+K+h₃＝0。

103、设定垂直于实际地平面的参考线l^*，及其在图像中地平面上的投影l，确定出直线H^Tl在实际地平面上并且经过点(x_c，y_c，0)。

104、根据以上步骤，设定摄像机高度和两条垂直参考线，可以计算出x_c，y_c和K。

基于上述步骤101到104，可以根据如图1所示的可视化模型重建摄像机视角三维模型，如图2所示：

A.将(x_c，y_c，h)设定为用户坐标系的中心点，并将模型投影到实际地平面。所以，对于用户坐标系中的任意一点(x_w，y_w，z_w)在实际地平面中的投影可确定为：

$\left[\begin{array}{c}{x^{\′}}_w\\ {y^{\′}}_w\end{array}\right]=\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]+\frac{z_w}{h-z_w}(\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]-\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]);$

B.利用单应性解H，将模型在实际地平面上的投影映射到图像地平面中，建立一个映射关系，所述的映射关系即完成了三维监控场景的建立。

上述步骤二的具体实施方式如下：

201、通过对各种车辆的实体建模，利用3Dmax、maya等工具制作出1∶1三维车辆模型，其具有如真实车辆一样的轮廓及局部特征；

202、根据模型建立“品牌/型号”车型库，为每一个车辆模型定义底面，根据车辆的最低点(即车轮所在圆形的最低顶点)确定地平面；

203、设定穿过车辆中心点并垂直于底面的直线作为旋转轴，为多角度比对做准备。

在三维控制模块中，可对此三维模型执行自由旋转，移动等功能。

上述步骤三的具体实施方式如下：

301、分析监控画面，利用背景图像差分法将运动的车辆目标提取出来。

背景图像差分法是一种最直接简单的方法，该方法主要包括：事先将背景图像存储起来；由于运动物体和背景在灰度或色彩上存在差别，将背景图像和当前图像做减法运算，将相减的结果中每一像素值和一个预先设定的阈值相比较，若所述像素值大于阈值则认为是前景点，否则为背景点。对于优化的差分法，本发明采用了背景自动更新机制：对于每一个像素点，维护一个动态信息，记录均值、方差、最近N个采样值、前景点比率、像素点处于观察状态的持续时间，其中前景点比率是指N个采样值中被判定为前景点的次数所占的比例；然后，根据前景点比率确定像素点所处的状态。

302、利用主背景自动更新及主动轮廓模型snake算法，对检测车辆轮廓进行精确提取。

Snake是业界常用的一种曲线，它表示某种闭合形态，一般情况表示为一条参数曲线，允许在外力的影响下进行变形。和能量函数联系的snake是靠近物体边界的地方达到最小值的方式先建立的，因此定位物体边界的问题就变成了能量最小化的问题。本发明通过使用snake算法准确收敛目标的真实轮廓，因此为了提取轮廓的细节部分，使snake与目标轮廓相吻合。

上述步骤四的具体实施方式如图3所示：

401、根据摄像机安装位置及固有参数、参考信息等数据建立仿真三维场景，根据计算得到的图像地平面，将三维模型的底面置于该平面。

402、将计算得到的画面中任意一段直线的长度转换为像素值，从而确认车辆模型在画面中的某个位置时的像素大小，并实现根据用户坐标系进行缩放。

403、根据上述步骤，可以确定三维车辆模型在实际监控场景中的大小及位置关系。由此，控制车辆模型在三维场景中进行基于地平面的自动旋转，每转动5°将三维模型轮廓通过三维投影方法投影出来，将其与步骤三中得到的被提取的车辆轮廓进行相似度计算比对。

404、重复上述步骤403，将所述车辆模型库中的所有车辆模型进行循环比对，从而比对出车型，通过车辆轮廓相似度计算得出结果。

其中，根据上述步骤404所述的车辆轮廓相似度计算方法具体包括：

将从视频监控图像中提取到的车辆轮廓V进行二值化处理，得到一组距离直方图。随后，对三维车辆模型根据预先定义的规则进行自动旋转，每旋转5°将轮廓投影出来，并对此轮廓再次进行二值化处理得到三维模型M在一定角度上的轮廓投影直方图。交叉比较一个直方图上每个距离级数的值分别对另一个直方图上l个距离级数的相似度，然后再综合得出两直方图总的相似度。其中，l为自然数。

根据下面的计算方法对V和M的距离直方图进行相似度匹配。设V和M的距离直方图分别为：

H_v＝(H_v(1)，...，H_v(l))^T

H_M＝(H_M(1)，...，H_M(l))^T

则V和M的二次型距离定义为：

$D(V,M)=\sqrt{{(H_v-H_M)}^{T}A(H_V-H_M)},$ 其中，是相似度矩阵，描述了两直方图中对应的距离级bin(r)之间的关系以及该距离级与相邻距离级之间的关系，这个相似度矩阵中的元素定义如下：

$a_{i,j}=\exp \{-{\left[\frac{i-j}{\mathrm{\λ}}\right]}^2\}$

其中，i，j＝{1，...l}，变量λ是相似度参数。这里将根据二次型距离D(V，M)判定V和M的相似度。

本发明还一种用于视频监控场景的三维车型比对识别系统，通过对监控场景的三维模型重建，对场景中的车辆车型进行自动比对识别、输出和查询，所述系统包括：

[1]、视频采集模块：用于采集实时视频或从录像文件中获取视频流；

[2]、三维场景重建模块：根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型，模拟真实环境；

[3]、自动及手动比对计算模块：用于对输入的视频流进行自动识别比对并记录在数据库中，或者在收到输入一段视频后，手动控制系统对其中的车辆进行自动识别，其中通过利用轮廓抠像技术将视频流中的二维画面中的车辆轮廓提取出来，将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果；

[4]、模型库管理模块：用于建立用于比对的1∶1车辆三维模型库，导入、修改模型库中的车辆模型；

[5]、比对预览模块：在系统进行比对时，用于对比对过程进行查看；

[6]、结果查询模块：用于对比对结果进行多种条件查询。

所述系统的框图如图4所示。通过视频采集模块[1]获取视频流。预先使用模块[2]进行监控摄像机的三维场景重建。使用自动及手动比对计算模块[3]对视频流进行车辆轮廓提取，并通过与模型库管理模块[4]提供的三维模型及其平面置入三维场景中进行轮廓比对。用户可通过比对预览模块[5]实时查看比对结果。也可以通过结果查询模块[6]，在系统运行时对之前比对的结果根据所需要的查询条件进行查询。

本领域普通技术人员可以理解上述方法中的全部或者部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中。可选地，上述实施例的全部或者部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明的实施方式不限于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明实施方式还可有其他多种实施例。在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明实施方式作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (5)

1.一种用于视频监控场景的三维车型比对识别的方法，其特征在于所述方法包括：

步骤一、根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型，具体为：在实际地平面和图像中的地平面之间，建立单应性解H；然后利用摄像机实际与地平面的安装高度h、和一些已知长度的垂直于地平面的线，来对摄像机进行校准；

步骤二、建立用于比对的1∶1车辆三维模型库，包括：对各种车辆的实体建模，利用3Dmax或maya制作出1∶1三维车辆模型；根据所述三维车辆模型建立“品牌/型号”车型库，为每一个车辆模型定义底面，根据车辆的最低点确定地平面；设定穿过车辆中心点并垂直于底面的直线作为旋转轴，为多角度比对做准备；

步骤三、利用轮廓抠像技术将二维画面中的车辆轮廓提取出来；

步骤四、将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果，具体包括：

401、根据摄像机的数据建立仿真三维场景，根据计算得到的图像地平面，将三维模型的底面置于该平面，其中所述数据包括摄像机的安装位置及固有参数、参考信息；

402、将计算得到的画面中任意一段直线的长度转换为像素值，从而确认车辆模型在画面中的某个位置时的像素大小，并根据用户坐标系进行缩放；

403、根据上述步骤，确定三维车辆模型在实际监控场景中的大小及位置关系；控制车辆模型在三维场景中进行基于地平面的自动旋转，每转动5°将三维模型轮廓通过三维投影方法投影出来，将其与步骤三中得到的被提取的车辆轮廓进行相似度计算比对；

404、重复上述步骤403，将车辆三维模型库中的所有车辆模型进行循环比对，从而比对出车型，通过车辆轮廓相似度计算得出结果；

其中，所述车辆轮廓相似度计算方法具体为：将从视频监控图像中提取到的车辆轮廓V进行二值化处理，得到一组距离直方图；然后对三维车辆模型根据预先定义的规则进行自动旋转，每旋转5°将轮廓投影，并对此轮廓再次进行二值化处理得到三维模型M在一定角度上的轮廓投影直方图；交叉比较一个直方图上每个距离级数的值分别对另一个直方图上1个距离级数的相似度，然后再综合得出两个直方图总的相似度，其中1为自然数。

2.如权利要求1所述的方法，其特征在于所述对摄像机进行校准包括：

101、根据摄像机的针孔模型，设置矩阵： $M=A\·\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right],$ 由此可知，实际地平面与图像中的地平面的单应性关系可表示为H＝A[r₁ r₂ t]＝[h₁ h₂ h₃]；其中，A为摄像机的固有参数矩阵；r₁，r₂，r₃为旋转矩阵R的三个列向量；t为平移参数；

102、设置摄像机的光学中心点，即摄像机视角原点为(x_c，y_c，h)，令K＝hAr₃，得到x_ch₁+y_ch₂+K+h₃＝0；

103、设定垂直于实际地平面的参考线l^*，及其在图像中地平面上的投影l，确定出直线H^Tl在实际地平面上并且经过点(x_c，y_c，0)；

104、根据步骤101-103，设定摄像机高度和两条垂直参考线，计算得到x_c，y_c和K。

3.如权利要求2所述的方法，其特征在于还包括重建摄像机视角三维模型的步骤，所述重建摄像机视角三维模型包括：

首先，将(x_c，y_c，h)设定为用户坐标系的中心点，并将模型投影到实际地平面，对于用户坐标系中的任意一点(x_w，y_w，z_w)在实际地平面中的投影可确定为： $\left[\begin{array}{c}{x^{\′}}_w\\ {y^{\′}}_w\end{array}\right]=\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]+\frac{z_w}{h-z_w}(\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]-\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]);$ 利用单应性解H，将模型在实际地平面上的投影映射到图像地平面中，建立一个映射关系，完成三维监控场景的建立。

4.如权利要求1所述的方法，其特征在于所述步骤三包括：分析监控画面，利用背景图像差分法将运动的车辆目标提取出来；利用主背景自动更新及主动轮廓模型snake算法，对检测车辆轮廓进行精确提取。

5.一种用于视频监控场景的三维车型比对识别的系统，通过对监控场景的三维模型重建，对场景中的车辆车型进行自动比对识别、输出和查询，其特征在于所述系统包括：

视频采集模块：用于采集实时视频或从录像文件中获取视频流；

三维场景重建模块：根据监控摄像机的安装位置及镜头参数，在三维空间内建立镜头视角三维模型，具体为：在实际地平面和图像中的地平面之间，建立单应性解H；然后利用摄像机实际与地平面的安装高度h、和一些已知长度的垂直于地平面的线，来对摄像机进行校准；

自动及手动比对计算模块：用于对输入的视频流进行自动识别比对并记录在数据库中，或者在收到输入一段视频后，手动控制系统对其中的车辆进行自动识别，其中通过利用轮廓抠像技术将视频流中的二维画面中的车辆轮廓提取出来，将二维车辆轮廓置于三维场景中，导入三维车型进行多角度比对，通过轮廓相似度计算得出车型结果，具体为：

401、根据摄像机的数据建立仿真三维场景，根据计算得到的图像地平面，将三维模型的底面置于该平面，其中所述数据包括摄像机的安装位置及固有参数、参考信息；

402、将计算得到的画面中任意一段直线的长度转换为像素值，从而确认车辆模型在画面中的某个位置时的像素大小，并根据用户坐标系进行缩放；

403、根据上述步骤，确定三维车辆模型在实际监控场景中的大小及位置关系；控制车辆模型在三维场景中进行基于地平面的自动旋转，每转动5°将三维模型轮廓通过三维投影方法投影出来，将其与步骤三中得到的被提取的车辆轮廓进行相似度计算比对；

404、重复上述步骤403，将车辆三维模型库中的所有车辆模型进行循环比对，从而比对出车型，通过车辆轮廓相似度计算得出结果；

其中，所述车辆轮廓相似度计算方法具体为：将从视频监控图像中提取到的车辆轮廓V进行二值化处理，得到一组距离直方图；然后对三维车辆模型根据预先定义的规则进行自动旋转，每旋转5°将轮廓投影，并对此轮廓再次进行二值化处理得到三维模型M在一定角度上的轮廓投影直方图；交叉比较一个直方图上每个距离级数的值分别对另一个直方图上1个距离级数的相似度，然后再综合得出两个直方图总的相似度，其中1为自然数；模型库管理模块：用于建立用于比对的1∶1车辆三维模型库，导入、修改模型库中的车辆模型，具体为：对各种车辆的实体建模，利用3Dmax或maya制作出1∶1三维车辆模型；根据所述三维车辆模型建立“品牌/型号”车型库，为每一个车辆模型定义底面，根据车辆的最低点确定地平面；设定穿过车辆中心点并垂直于底面的直线作为旋转轴，为多角度比对做准备；

比对预览模块：在系统进行比对时，用于对比对过程进行查看；

结果查询模块：用于对比对结果进行多种条件查询。