CN103136739B - 一种复杂场景下可控摄像机监控视频与三维模型配准方法 - Google Patents

Abstract

一种复杂场景下可控摄像机监控视频与三维模型配准方法，括如下步骤：(1)搭建视频监控管理系统，所述视频监控管理系统包括媒体控制模块、视频转发模块、视频存储模块、资源请求模块、通信控制模块；(2)建立监控区域的三维立体模型，通过三维建模技术，搭建监控区域范围内的三维模型；(3)摄像机标定，标定摄像机在模型中的相对位置和角度，实现摄像机视频与三维模型配准。

Description

一种复杂场景下可控摄像机监控视频与三维模型配准方法

技术领域

本发明涉及一种图像与三维模型的配准方法。

背景技术

随着社会对安全需求的日益重视和提高，监控在现实世界中应用越来越广，作用也越来越重要。传统监控中，要求监控人员持续的实时监视屏幕，通过人工解释获得的视频信息，然后做出相应的决策。然而，让监控人员长期、枯燥地盯着众多的视频监视器是一项非常繁重的任务，特别在一些监控点较多的地方，监控人员几乎无法做到完整全面的监控。这不仅造成巨大的人力浪费，而且很容易由于监控人员思想松懈而导致漏报，在一些对安全要求敏感的场合(如银行、军用等)，这种差错是不能容忍的。因此，用摄像机代替人眼，用计算机协助人甚至于替代人来完成监视或控制任务，从而提高监控的效率，发展智能视觉监控系统的要求变得越来越迫切。

在多摄像头视频监控系统中，摄像头在安装过程中受地理环境和实际监控需要的影响，安装高度、俯仰角度各异，使同一场景在不同摄像头视域内的视觉特征存在较大差异。

随着多源图像融合技术的发展，将在同一时间、或不同时间获取的关于某个具体场景的多源图像信息加以综合，以生成一个新的有关此场景的描述，而这个描述是从单一图像的信息中无法得到的。复杂场景下监控视频与三维模型配准技术，是解决监控视频空时融合的关键技术，通过这种配准技术可以将多路视频与监控区域三维模型进行融合，通过对多源图像的融合，可克服单一图像存在的局限性，提高多源图像的使用效率，并有利于对物理现象和事件进行定位、识别和解释。

发明内容

本发明的目的在于针对视频融合存在视角多样、场景复杂、摄像头运动等问题，提供一种复杂场景下监控视频与三维模型配准方法，采取视频与模型纹理特征匹配法建立视频到三维模型的映射关系，实现复杂场景下视频与三维模型的融合问题以及摄像头运动情况下的视频融合问题。

本发明的技术方案如下：

一种复杂场景下可控摄像机监控视频与三维模型配准方法，其特征在于包括如下步骤：

(1)搭建视频监控管理系统，所述视频监控管理系统包括媒体控制模块、视频转发模块、视频存储模块、资源请求模块、通信控制模块，其中，

所述媒体控制模块是AVSS视频监控管理系统整体方案中的核心服务，可支持多级多域、用于管理视频监控业务和控制的中心服务器；

所述视频转发模块，进行实时音视频流的转发、分发；

所述视频存储模块，实现多路视频的稳定存储功能，并提供客户端历史视频检索回放支持，满足了实际应用中视频海量存储、并发访问的需求；

所述资源请求模块，实现数据库代理的功能，为客户端提供数据访问服务，减少数据库连接数量和保证数据访问的安全性；

所述通信控制模块，实现对不同厂家的编解码器进行管理、对不同厂家编解码器设备进行支持及获取不同厂家设备的参数及配置；

(2)建立监控区域的三维立体模型，通过三维建模技术，搭建监控区域范围内的三维模型；

(3)摄像机标定，标定摄像机在模型中的相对位置和角度，实现摄像机视频与三维模型配准。

上述步骤(3)进一步包括如下步骤：

(31)在固定焦距模式下，调整摄像机平移和旋转参数，截取多张静态图像，利用固定摄像机视频配准技术，对这些静态图像进行配准，并将静态图像拼接成一张静态全景图；调整焦距，重复前面的操作，建立多个焦距模式下配准后的静态全景图；

(32)在离线模式下，以摄像机焦距为依据对上述步骤中截取的静态图像进行分类，并建立静态图像与全景图的坐标对应关系；计算并保存静态图像的特征，计算并保存各焦距模式下全景图的图像特征以及特征坐标；

(33)图像的实时匹配：获取实时视频帧，以及前一帧视频的最佳匹配全景图焦距f和该帧在全景图中的坐标R，计算当前视频帧的图像特征，并在以f为焦距的全景图中以R(i，j)为搜索窗口进行特征匹配，根据匹配关系计算当前视频帧的焦距f_best及其在全景图中的坐标R′，利用f_best和R′搜索最佳静态图像I_best，并用I_best的图像特征与当前帧的图像特征进行匹配，从而计算当前帧到三维模型的映射关系。

本发明针对监控摄像机的安装角度与高度各异、视频场景复杂等特点，通过监控视频与监控区域三维场景模型的动态配准技术，解决了监控视频与三维模型的精确映射问题。在足够数量的摄像头支持情况下，提供在特定高度和角度模式下监看区域内安全态势的功能，实现监控区域的三维模型、监控视频及其它信息的融合显示。

附图说明

图1是可控摄像机监控视频虚实配准处理流程

具体实施方式

本发明为了实现复杂环境下视频与三维模型融合，首先提取并优化三维模型的纹理及场景结构信息，然后实时计算视频图像的场景结构不变特征，建立场景结构不变特征与三维模型的匹配关系，最后利用三维投影技术实现全景视频与三维模型的无缝融合。具体包括如下步骤：

步骤1：搭建视频监控管理系统，所述视频监控管理系统包括媒体控制模块、视频转发模块、视频存储模块、资源请求模块、通信控制模块，其中，

所述媒体控制模块是AVSS视频监控管理系统整体方案中的核心服务，可支持多级多域、用于管理视频监控业务和控制的中心服务器；

所述视频转发模块，进行实时音视频流的转发、分发；

所述视频存储模块，实现多路视频的稳定存储功能，并提供客户端历史视频检索回放支持，满足了实际应用中视频海量存储、并发访问的需求；

所述资源请求模块，实现数据库代理的功能，为客户端提供数据访问服务，减少数据库连接数量和保证数据访问的安全性；

所述通信控制模块，实现对不同厂家的编解码器进行管理、对不同厂家编解码器设备进行支持及获取不同厂家设备的参数及配置；

步骤2：建立监控区域的三维立体模型，通过三维建模技术，搭建监控区域范围内的三维模型；

步骤3：摄像机标定，标定摄像机在模型中的相对位置和角度，实现摄像机视频与三维模型配准。

对于可控摄像机，经常会发生摄像机的左右、上下摇移、一定程度的变焦等云台操作，其视频内容随着云台操作实时改变，这种处于云台运动状态的监控视频，我们称之为可控摄像机监控视频。

固定摄像机监控视频的实虚配准虽然能保证配准的精度，但是场景结构的搜索和匹配通常具有较高的时间复杂度，难以满足可控摄像机监控视频的实时配准要求。因此我们提出基于全景图匹配和多参考点的可控摄像机监控视频实时配准技术，处理流程如图1所示。

考虑到算法的实时性要求，整个配准过程设计如下：

第一，在固定焦距模式下，调整摄像机平移和旋转参数，截取多张静态图像，利用固定摄像机视频配准技术，对这些静态图像进行配准，并将静态图像拼接成一张静态全景图。调整焦距，重复前面的操作，建立多个焦距模式下配准后的静态全景图。

第二，在离线模式下，以摄像机焦距为依据对上述步骤中截取的静态图像进行分类，并建立静态图像与全景图的坐标对应关系。计算并保存静态图像的特征，计算并保存各焦距模式下全景图的图像特征以及特征坐标(特征坐标指特征点在图像中的坐标)。

第三，图像的实时匹配。获取实时视频帧，以及前一帧视频的最佳匹配全景图焦距f和该帧在全景图中的坐标R(假定前一帧已经配准)。计算当前视频帧的图像特征，并在以f为焦距的全景图中以R(i，j)为搜索窗口进行特征匹配。根据匹配关系计算当前视频帧的焦距f_best及其在全景图中的坐标R′，利用f_best和R′搜索最佳静态图像I_best，并用I_best的图像特征与当前帧的图像特征进行匹配，从而计算当前帧到三维模型的映射关系。

Claims (1)

1.一种复杂场景下可控摄像机监控视频与三维模型配准方法，其特征在于包括如下步骤：

(1)搭建视频监控管理系统，所述视频监控管理系统包括媒体控制模块、视频转发模块、视频存储模块、资源请求模块、通信控制模块，其中，

所述媒体控制模块是AVSS视频监控管理系统整体方案中的核心服务，可支持多级多域、用于管理视频监控业务和控制的中心服务器；

所述视频转发模块，进行实时音视频流的转发、分发；

所述视频存储模块，实现多路视频的稳定存储功能，并提供客户端历史视频检索回放支持，满足了实际应用中视频海量存储、并发访问的需求；

所述资源请求模块，实现数据库代理的功能，为客户端提供数据访问服务，减少数据库连接数量和保证数据访问的安全性；

所述通信控制模块，实现对不同厂家的编解码器进行管理、对不同厂家编解码器设备进行支持及获取不同厂家设备的参数及配置；

(2)建立监控区域的三维立体模型，通过三维建模技术，搭建监控区域范围内的三维模型；

(3)摄像机标定，标定摄像机在模型中的相对位置和角度，实现摄像机视频与三维模型配准，具体包括以下步骤：

(31)在固定焦距模式下，调整摄像机平移和旋转参数，截取多张静态图像，利用固定摄像机视频配准技术，对这些静态图像进行配准，并将静态图像拼接成一张静态全景图；调整焦距，重复前面的操作，建立多个焦距模式下配准后的静态全景图；

(32)在离线模式下，以摄像机焦距为依据对上述步骤中截取的静态图像进行分类，并建立静态图像与全景图的坐标对应关系；计算并保存静态图像的特征，计算并保存各焦距模式下全景图的图像特征以及特征坐标；

(33)图像的实时匹配：获取实时视频帧，以及前一帧视频的最佳匹配全景图焦距f和该帧在全景图中的坐标R，计算当前视频帧的图像特征，并在以f为焦距的全景图中以R(i，j)为搜索窗口进行特征匹配，根据匹配关系计算当前视频帧的焦距f_best及其在全景图中的坐标R′，利用f_best和R′搜索最佳静态图像I_best，并用I_best的图像特征与当前帧的图像特征进行匹配，从而计算当前帧到三维模型的映射关系。