CN102368810B - 一种半自动化对齐的视频融合系统和方法 - Google Patents

Abstract

本发明公开了一种半自动化对齐的视频融合系统及方法，该方法包括如下步骤：通过摄像机采集真实场景视频，创建虚拟几何模型；摄像机的标定；选取虚拟几何模型的三维特征点；选取真实场景视频中研究对象的二维特征点：在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；当前帧视频中特征点跟踪和匹配；将真实场景视频的下一帧视频作为当前帧视频，直至真实场景视频结束；进行误差反馈控制。本发明成本低、设备简单、执行效率高、可操作性强，能够将真实视频与虚拟几何模型高效率进行重叠融合，以半自动化对齐的视频融合达到了将虚拟几何模型和现实场景相结合的目的。

Description

一种半自动化对齐的视频融合系统和方法

技术领域

本发明属于视频融合技术领域，涉及一种半自动化对齐的视频融合系统及视频融合方法。

背景技术

在当今社会，交通发展如此迅速，给人们的生活带来了极大的方便、快捷，但随着交通工具的日益增加，交通出现拥堵、交通事故频有发生。为了解决交通的实际问题，具体车辆型号的识别、交通事故的情景重现显得尤为重要。如何将真实场景再现，已经成为本领域技术人员考虑研究的重点问题。

视频融合技术是目前再现真实场景的一种常用手段，该技术是指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。通过视频融合技术，可以更加真实地反映交通场景，及时地对交通事故作出响应，发出警示，进而使交通事故的处理更加准确、迅速、快捷，辅助交通运行流畅。目前，现有的视频融合方法在对真实场景视频选取二维特征点时大多采用全自动的方式，该方式通常是把真实场景视频中所有的特征点选出，并对所有的特征点进行匹配计算，达到跟踪的目的，如SIFT算法、MSER算法、FAST算法、SURF算法等，这种方式的计算复杂度要高，耗时较多，同时由于选取的特征点过多，很难解决正确匹配的问题，不能被广泛地应用。

发明内容

针对上述现有技术存在的缺陷或不足，本发明的目的在于，提供一种执行效率高、可操作性强的半自动化对齐的视频融合系统及方法，该方法能够将摄像机采集的真实场景视频与虚拟系统构建的虚拟几何模型进行快速高校的融合。

为了实现上述任务，本发明采用如下的技术方案：

一种半自动化对齐的视频融合系统，包括用于对摄像机进行标定的A4棋盘网格纸、采集真实场景视频的摄像机、与摄像机相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机，PC机包括控制器、显示器、鼠标和键盘，其中，控制器用于分析处理视频数据，显示器用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；对摄像机进行标定时，摄像机置于A4棋盘网格纸上方。

进一步的，所述的虚拟几何模型与所述摄像机所采集的真实场景视频中研究对象等比例。

上述半自动化对齐的视频融合系统的视频融合方法，该方法所采用的系统包括用于对摄像机进行标定的A4棋盘网格纸、采集真实场景视频的摄像机、与摄像机相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机，PC机包括控制器、显示器、鼠标和键盘，其中，控制器用于分析处理视频数据，显示器用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；该方法具体按以下步骤进行：

步骤1)，首先通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象创建虚拟几何模型，所述虚拟几何模型与研究对象的尺寸成比例；

步骤2)，摄像机的标定：通过对棋盘网格对摄像机进行标定获得摄像机的内参数。

步骤3)，选取虚拟几何模型的三维特征点：获取采集的真实场景视频的第一帧视频中的所有二维特征点，在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选取并标出一个三维特征点；

步骤4)，选取真实场景视频中研究对象的二维特征点：在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；

步骤5)，当前帧视频中特征点跟踪和匹配：依次计算当前帧视频中每个二维特征点对应的虚拟相机的外参数M′₂，从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；

步骤6)，将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤5)，直至真实场景视频结束，即实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示；

步骤7)，误差控制：在真实场景视频结束后，计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4)重新进行试验，直至误差被控制在允许范围内，否则结束。

进一步的，所述步骤1)中通过3DMax将真实场景视频中的研究对象创建虚拟几何模型。

进一步的，所述步骤2)中所述的摄像机的内参数 $M_1=\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right],$ 其中包括摄像机的焦距(fx，fy)，图像中心点位置(u0，v0)4个参数，采用的摄像机模型是针孔模型，针孔模型是线性的，不考虑镜头畸变。

进一步的，所述对摄像机2进行标定时，摄像机2置于A4棋盘网格纸1上方，通过A4棋盘网格纸1对摄像机2的标定只需一次。

进一步的，所述步骤3)中采用SURF算法获取采集的真实场景视频的第一帧视频中的所有二维特征点。

进一步的，所述步骤4)中所述的8个二维特征点的选取顺序与步骤3)中所述的8个三维特征点的选取顺序相同，每个二维特征点相对于研究对象上的位置与其对应的三维特征点在虚拟几何模型上的位置一致。

进一步的，所述步骤5)依次计算当前帧视频的每个二维特征点对应的虚拟相机的外参数M′₂是指：根据公式1所示的三维特征点和二维特征点的匹配关系，按照8个二维特征点的选取顺序进行计算得到，

$M_2^{\′}=\left[\begin{array}{cccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}& t_x^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}& t_y^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}& t_z^{\′}\end{array}\right]={\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]}^{-1}s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]}^{-1}$ 公式1

式中，s为齐次坐标的尺度缩放因子，(X，Y，Z)是二维特征点的世界坐标，(u，v)是二维特征点的世界坐标投影在真实场景视频的坐标； $\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]$ 是摄像头的内参数M₁；M′₂是虚拟相机的外参数，包括旋转与平移参数。

本发明的半自动化对齐的视频融合系统及其方法，与现有技术相比具有以下优点：

1)半自动化对齐的视频融合系统设备简单且投入成本非常低。

2)执行效率高。仅仅选取真实视频第一帧图像的8个二维特征点与虚拟的几何模型相匹配，反复通过子像素跟踪算法较为精确地得到新一帧视频中对应的8个二维特征点的位置，从而根据二维特征点与三维特征点的匹配关系，反算出虚拟相机的外参数，完成虚实物体动态的对齐显示。

3)根据误差进行反馈控制，即实时计算每个三维特征点与其对应的二维特征点的位置绝对误差，用来进行反馈控制，超过误差阈值即重新进行试验。

4)利用混合现实中增强现实的技术，将摄像机采集的真实视频与相对应的虚拟三维模型在同一个二维窗口中重叠融合显示，更好的与真实场景视频中的研究对象做出对比，方便操作人员的观察。

综上所述，本发明成本低、硬件设备简单、执行效率高、可操作性强，能够将真实视频与虚拟几何模型很好地、效率高地进行重叠融合，以半自动化对齐的视频融合方法达到了将虚拟几何模型和现实场景相结合的目的。

附图说明

图1为本发明的半自动化对齐的视频融合系统的结构示意图。

图2为本发明的半自动化对齐的视频融合方法的流程图。

图3为获取8个二维特征点的流程图。

图4为每一帧视频的特征点动态跟踪和匹配的流程图。

以下结合附图和具体实施方式对本发明作进一步的详细说明。

具体实施方式

如图1所示，本发明的半自动化对齐的视频融合系统，包括用于对摄像机2进行标定的A4棋盘网格纸1、采集真实场景视频的摄像机2、与摄像机2相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机3，PC机3包括控制器3-1、显示器3-2、鼠标和键盘，其中，控制器3-1用于分析处理视频数据，显示器3-2用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；对摄像机2进行标定时，摄像机2置于A4棋盘网格纸1上方；通过A4棋盘网格纸1对摄像机2的标定只需一次。虚拟几何模型与摄像机2所采集的真实场景视频中研究对象等比例。

上述半自动化对齐的视频融合系统的视频融合方法，该方法所采用的系统包括用于对摄像机2进行标定的A4棋盘网格纸1、采集真实场景视频的摄像机2、与摄像机2相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机3，PC机3包括控制器3-1、显示器3-2、鼠标和键盘，其中，控制器3-1用于分析处理视频数据，显示器3-2用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；如图2所示，该方法具体包括以下步骤：

步骤1)，首先，通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象通过3DsMax等三维制作软件创建虚拟几何模型，所述虚拟几何模型与真实场景视频中的研究对象的尺寸成比例；

步骤2)，摄像机的标定：通过对棋盘网格进行标定获得摄像机的内参数M₁， $M_1=\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right],$ 其中包括摄像机的焦距(fx，fy)，图像中心点位置(u0，v0)4个参数，采用的摄像机模型是针孔模型，针孔模型是线性的，不考虑镜头畸变。对摄像机2进行标定时，摄像机2置于A4棋盘网格纸1上方；通过A4棋盘网格纸1对摄像机2的标定只需一次。

步骤3)，选取虚拟几何模型的三维特征点：利用SURF算法获取采集的真实场景视频的第一帧视频中的所有二维特征点，然后在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选一个三维特征点，并将选定的8个三维特征点在虚拟几何模型上标出；注意记住这8个点的选取顺序及它们各自在虚拟几何模型上的位置；

步骤4)，选取真实场景视频中研究对象的二维特征点：如图3所示，在第一帧视频中的研究对象上依次选择8个二维特征点，该8个二维特征点的选取顺序与8个三维特征点的选取顺序相同，每个二维特征点相对于研究对象上的位置与其对应的三维特征点在虚拟几何模型上的位置一致；将第一帧视频作为当前帧视频；

步骤5)，当前帧视频中特征点跟踪和匹配：如图4所示，对于当前帧视频的二维特征点，根据公式1所示的三维特征点和二维特征点的匹配关系，按照步骤4)中8个二维特征点的选取顺序，依次计算每个二维特征点对应的虚拟相机的外参数M′₂，从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；

$M_2^{\′}=\left[\begin{array}{cccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}& t_x^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}& t_y^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}& t_z^{\′}\end{array}\right]={\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]}^{-1}s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]}^{-1}$ 公式1

式中，s为齐次坐标的尺度缩放因子，(X，Y，Z)是二维特征点的世界坐标，(u，v)是二维特征点的世界坐标投影在真实场景视频的坐标， $\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]$ 是摄像头的内参数M₁；M′₂是虚拟相机的外参数，包括旋转与平移参数；

步骤6)，将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤5)，直至真实场景视频结束，即可实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示。假定视频中物体运动是连续且速度均匀的，下一帧视频中每个二维特征点必然在当前帧视频中与其对应的二维特征点位置附近。

步骤7)，误差控制：在真实场景视频结束后，计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4)重新进行试验，直至误差被控制在允许范围内，否则结束。

误差产生的原因主要有：(I)虚拟三维模型与研究对象的比例关系不一致导致的误差；(II)真实摄像机(2)内参数计算时产生的误差；(III)二维特征点获取过程产生的误差；本发明的半自动化对齐的视频融合方法的误差主要源自第3个原因。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种半自动化对齐的视频融合系统的视频融合方法，其特征在于，该方法所采用的系统包括用于对摄像机（2）进行标定的A4棋盘网格纸（1）、采集真实场景视频的摄像机（2）、与摄像机（2）相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机（3），PC机（3）包括控制器（3-1）、显示器（3-2）、鼠标和键盘，其中，控制器（3-1）用于分析处理视频数据，显示器（3-2）用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；该方法具体按以下步骤进行：

步骤1），首先通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象创建虚拟几何模型，所述虚拟几何模型与研究对象的尺寸成比例；

步骤2），摄像机的标定：通过对棋盘网格对摄像机进行标定获得摄像机的内参数；

摄像机的内参数 $M_1=\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right],$ 其中包括摄像机的焦距(fx,fy)，图像中心点位置(u0,v0)4个参数，采用的摄像机模型是针孔模型，针孔模型是线性的，不考虑镜头畸变；

步骤3），选取虚拟几何模型的三维特征点：获取采集的真实场景视频的第一帧视频中的所有二维特征点，在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选取并标出一个三维特征点；

步骤4），选取真实场景视频中研究对象的二维特征点：在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；

步骤5），当前帧视频中特征点跟踪和匹配：依次计算当前帧视频中每个二维特征点对应的虚拟相机的外参数

从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；

所述依次计算当前帧视频的每个二维特征点对应的虚拟相机的外参数

是指：根据公式1所示的三维特征点和二维特征点的匹配关系，按照8个二维特征点的选取顺序进行计算得到；

$M_2^{\′}=\left[\begin{array}{cccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}& t_x^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}& t_y^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}& t_z^{\′}\end{array}\right]={\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]}^{-1}s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]}^{-1}$ 公式1

式中，s为齐次坐标的尺度缩放因子，(u,v)是二维特征点的世界坐标投影在真实场景视频的坐标；(X,Y,Z)是二维特征点的世界坐标， $\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]$ 是摄像头的内参数M₁；

是虚拟相机的外参数，包括旋转与平移参数；

步骤6），将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤5），直至真实场景视频结束，即实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示；

步骤7），误差控制：计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4）重新进行试验，直至误差被控制在允许范围内，否则结束。

2.如权利要求1所述的方法，其特征在于，所述步骤1）中通过3DMax将真实场景视频中的研究对象创建虚拟几何模型。

3.如权利要求1所述的方法，其特征在于，所述对摄像机（2）进行标定时，摄像机（2）置于A4棋盘网格纸（1）上方，通过A4棋盘网格纸（1）对摄像机（2）的标定只需一次。

4.如权利要求1所述的方法，其特征在于，所述步骤3）中采用SURF算法获取采集的真实场景视频的第一帧视频中的所有二维特征点。

5.如权利要求1所述的方法，其特征在于，所述步骤4）中所述的8个二维特征点的选取顺序与步骤3）中所述的8个三维特征点的选取顺序相同，每个二维特征点相对于研究对象上的位置与其对应的三维特征点在虚拟几何模型上的位置一致。

Images