CN106156199A - 一种视频监控图像存储检索方法 - Google Patents

Abstract

本发明公开了一种视频监控图像存储检索方法，所述方法包括以下步骤：在视频监控图像文件中同步记录摄像头的位置参数和光学参数信息；所述视频监控图像文件传输到服务器之后，所属服务器根据所述位置参数和光学参数信息得到所述视频监控图像对应的时空覆盖范围，和摄像头运动状态；其中，所述时空覆盖范围的X轴为经度、Y轴为纬度、Z轴为时间；所述摄像头运动状态指的是旋转、拉伸操作。由所述时空覆盖范围、所述运动状态和对应的视频监控图像构造监控视频时空数据库；通过所述监控视频时空数据库实现对监控视频的基于时间、空间的查询。本发明的方案实现弥补了基于图像内容的视频数据检索的不足，实现了基于时间和空间覆盖范围的检索。

Description

一种视频监控图像存储检索方法

技术领域

本发明涉及视频监控领域，更具体涉及一种视频监控图像存储检索方法。

背景技术

随着平安城市建设等各项政策的开展和深化，许多城市都开始大量的部署监控设备并随之产生了海量的视频数据，如何检索这些视频数据获取有价值的信息，仍然是平安城市建设所面临的一个挑战。为解决现有视频数据组织和检索中存在的数据组织困难、检索效率低等问题，一些人提出了将视频数据与摄像头的位置信息结合，通过地图将视频数据组织起来，通过索引事件发生的时间、位置检索感兴趣视频片段，从而实现海量视频数据的检索分析，推进平安城市的建设进程。

托雅玛等人使用格网分割图像集，并对每一个格网进行编号。具体方法为：使用了等距长方投影的方式，经纬度信息通过x，y坐标系进行表达；然后将全球分为20种不同分辨率的格网，只要保证所选的分辨率能够确定拍摄的图像即可。这样，由于图像都有位置信息，根据图像的经纬度信息以及精度要求，可以通过公式计算出格网索引。奈曼等人按照时间、地点层次方式对图像集进行聚类。事先预定义好位置的层次概念，比如：国家-州-城市；同时定义时间的层次，比如：年-月-日等，由于每一帧图像都对应有拍摄时间和拍摄地点，这样运用我们所熟知的地名或者时间来命名图像聚类以后的块，就可以容易地被人们所理解。Yekkala等人则通过特定的算法，实现了对每一帧图像上人物、事件、地点以及语义特征的识别，利用该算法以及元数据，可以基于以上人物、事件等层次组织图像。这些现有方法都可以利用位置信息实现对感兴趣内容的检索，但仅适用于静态图像。

而针对视频的检索，Pongnumkul等人建立“关键帧-地图”模型。首先确定关键帧的列表，再根据关键帧的地理位置将其放置在地图上，在这里只是大概的放置，且用户还可以对其的位置进行微调，从而使精度更高，从而形成一个“故事板”，利用这种方法实现基于位置的视频检索播放。“故事板”作为一种新型的用户界面，可以浏览一个类似旅行视频。而在同一个地点，不同的人拍摄的视频，可以根据关键帧的位置信息相匹配，放置在同一个地方。利用关键帧实现了将视频放置在地图上，并没有实现利用特征信息检索关键帧的功能，且只是将拍摄位置定位，且没有考虑视频的关键帧所对应的时空覆盖范围。保罗·刘易斯提出了三维视域理论模型观点，详细设计与实现了空间视频的数据检索。但上述这些技术存在以下的一些缺陷：

监控摄像头不具备定位功能，将关键帧放置于地图上也只是粗定位，精确程度低，需要人工的将视频数据根据记录的位置信息在地图上放置，存在人为的误差，也会带来一定的精度影响，且不适于大范围的推广；

只是定位摄像头的位置，并没有考虑视频内容对应的时空覆盖范围，只是可以简单的实现将视频的关键帧放置在地图上，无法实现监控视频覆盖范围精确的保存以及重建，同时也为高效率检索带来不便；

只是针对视频的关键帧进行放置，没有考虑整个视频的内容，因而无法准确的推知监控视频中连续性事件发生经过，为后续的数据分析工作带来了一定的麻烦。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何实现摄像头的精确定位，并基于摄像头的精确定位提高对连续的视频录像的检索效率。

(二)技术方案

为了解决上述技术问题，本发明提供了一种视频监控图像存储检索方法，所述方法包括以下步骤：

针对每一帧视频监控图像，获取对应时刻的摄像头的位置和光学参数信息。这里采用具备定位功能的摄像头，可以获取摄像头所在位置的经度、纬度；并记录每一帧图像对应的摄像镜头水平旋转角、垂直旋转角、最大视场角，通过传感器将以上位置和光学参数信息，以及对应的视频监控录像同步记录下来；

所述视频监控图像以视频监控录像的方式实时或者批量地传输给服务器；

所述服务器将所述视频监控录像进行存储；

所述服务器分析所述视频监控录像中的每一帧所述视频监控图像，得到所述位置参数和光学参数信息，得到对应的时空覆盖范围；其中，所述时空覆盖范围的X轴为经度、Y轴为纬度、Z轴为时间；

所述服务器根据所述时空覆盖范围的变化情况，得到摄像头在同期的运动状态；其中所述运动状态指的是旋转、拉伸；

由所述时空覆盖范围、所述摄像头运动状态与对应的视频监控图像或录像构造监控视频时空数据库；

基于所述监控视频时空数据库，支持通过所述时空覆盖范围查询对应的视频监控图像或者录像。

优选地，所述位置参数和光学参数信息包括摄像头所处位置的经度、纬度，摄像头水平旋转角度，摄像头垂直旋转角度，摄像头最大视场角。

优选地，所述摄像头所处位置的经度、纬度通过地图投影，在笛卡尔坐标系中表示；

所述摄像头水平旋转角度为0度-360度；

所述摄像头垂直旋转角度包括摄像头仰角和摄像头俯角，其中所述像头仰角和摄像头俯角均为0-90度。

优选地，所述摄像头最大视场角ω_max通过如下公式计算：

tanω_max＝y_m/2f′

其中，y_m表示摄像头感光元件出射窗的对角线长度，f′表示摄像头焦距。

优选地，所述位置参数和光学参数信息以及对应视频监控录像以AVI格式存储，具体为，通过索引建立所述位置参数和光学参数信息与所述视频监控录像的索引关系，通过hadl(第一列表)列表存储摄像头的经度、纬度，通过movi(第二列表)列表存储摄像头水平旋转角度、摄像头垂直旋转角度以及摄像头的焦距。

优选地，所述监控视频时空数据库还存储所述参数信息，并与对应的所述时空覆盖范围建立索引关系。

优选地，所述方法根据所述参数信息对所述视频监控录像进行检索。

优选地，求解所述时空覆盖范围具体包括以下步骤：

得到所述摄像头的视域与地面的交面，所述交面为一个椭圆形，其边界线为视域圆锥体与地面的交线；

根据所述摄像头所处位置的经度、纬度，摄像头水平旋转角度，摄像头垂直旋转角度，摄像头最大视场角计算所述椭圆形的中点坐标，长轴、短轴长度，得到所述时空覆盖范围。

(三)有益效果

本发明提供了一种视频监控图像存储检索方法，本发明的方法在获取视频录像的同时，同步获取相应的位置参数和光学参数，并随着视频录像的传输，将这些参数也同步传输到客户端服务器，这样解决了人工记录位置和光学参数信息所带来的误差，精确度高，并有利于大规模的推广应用；本发明通过计算得到视频帧的图像与时空覆盖范围的对应关系，利用摄像头的光学参数，根据几何光学原理得到视频片段的每一帧图像对应的时空覆盖范围，以经纬度为X、Y轴，时间为Z轴建立监控视频时空数据库，实现了监控视频覆盖范围的精确重现；利用多源视频数据以及视频数据中的每一帧图像，建立大范围的监控视频时空数据库，可以精确地实现覆盖时空点(比如某个时刻某个点位置)、时空线(比如某一段时间某个点)、时空面(比如某个时刻某个空间范围)、时空体(比如某一段时间某个空间范围)的视频数据检索，从而得到感兴趣的视频数据；总之本发明的方案将视频图像与对应的时间覆盖和空间覆盖信息相结合，通过建立监控视频时空数据库，弥补了基于图像内容的视频数据检索的不足，实现了基于时间和空间覆盖范围的检索。

附图说明

图1为本发明的一个较佳实施例的一种视频监控图像存储检索方法的流程图；

图2为本发明中计算时空覆盖范围的求解图；

图3为本发明中视场角大小的示意图；

图4为本发明中参数信息存储格式示意图；

图5为利用本发明的方法进行视频图像检索的具体应用示意图；

图6为利用本发明中摄像头不动时形成的时空覆盖范围示意图；

图7为利用本发明中摄像头只进行拉伸时形成的时空覆盖范围示意图；

图8为利用本发明中摄像头旋转时形成的时空覆盖范围示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一个较佳实施例的一种视频监控图像存储检索方法的流程图；所述方法包括以下步骤：

针对每一帧视频监控图像，获取对应时刻的摄像头的位置参数和光学参数信息，并将所述视频监控图像以及对应的所述位置参数和光学参数信息同步记录下来；

所述视频监控图像以视频监控录像的方式实时或者批量地传输给服务器；

所述服务器将所述视频监控录像进行存储；

所述服务器分析所述视频监控录像中的每一帧所述视频监控图像，得到所述位置参数和光学参数信息，得到对应的时空覆盖范围；其中，所述时空覆盖范围的X轴为经度、Y轴为纬度、Z轴为时间；

所述服务器根据所述时空覆盖范围的变化情况，得到摄像头在同期的运动状态；其中所述运动状态指的是旋转、拉伸；

由所述地面时空覆盖范围、所述摄像头运动状态与对应的视频监控图像或录像构造监控视频时空数据库；

基于所述监控视频时空数据库，支持通过所述时空覆盖范围查询对应的视频监控图像或者录像。

所述位置参数和光学参数信息包括摄像头所处位置的经度、纬度，摄像头水平旋转角度，摄像头垂直旋转角度，摄像头最大视场角。

所述摄像头所处位置的经度、纬度通过地图投影，在笛卡尔坐标系中表示；所述摄像头水平旋转角度为0度-360度；所述摄像头垂直旋转角度包括摄像头仰角和摄像头俯角，其中所述像头仰角和摄像头俯角均为0-90度。

所述摄像头最大视场角ω_max通过如下公式计算：

tanω_max＝y_m/2f′

其中，y_m表示摄像头感光元件出射窗的对角线长度，f′表示摄像头焦距。

所述位置参数和光学参数信息以及对应视频监控录像以AVI格式存储，具体为，通过索引建立所述位置参数和光学参数信息与所述视频监控录像的索引关系，通过hadl列表存储摄像头的经度、纬度，通过movi列表存储摄像头水平旋转角度、摄像头垂直旋转角度以及摄像头的焦距。

所述监控视频时空数据库还存储所述参数信息，并与对应的所述时空覆盖范围建立索引关系。

所述方法根据所述参数信息对所述视频监控图像或录像进行检索。

实施例：

利用具有定位功能的监控摄像头，在产生视频数据的同时，同步产生相应的位置、光学参数，并随着视频数据的传输，将这些参数也同步传输到客户端；这样解决了人工记录位置信息所带来的误差，并有利于大规模的推广应用。

得到视频录像内容与时空覆盖范围的对应关系。利用传感器记录摄像头的光学参数(如焦距、旋转角等)，根据几何光学原理得到视频片段的每一帧图像对应的时空覆盖范围，以经纬度为X、Y轴，时间为Z轴建立监控视频时空数据库，实现监控视频覆盖范围的精确重现。

利用多源视频数据以及视频数据中的每一帧图像，建立大范围的监控视频时空数据库，可以较精确的实现数据检索，从而得到感兴趣的时空点(比如某个时刻某个点位置)、时空线(比如某一段时间某个点)、时空面(比如某个时刻某个空间范围)、时空体(比如某一段时间某个空间范围)。

上述实施例的方法中，利用具有定位功能的摄像头，可以实时地将视频中每一帧图像所对应的位置、光学参数信息随录像传输给用户，利用这些描述位置、光学信息的参数，可以得到每一帧图像所对应的时空覆盖范围，从而可以将海量的视频数据很好的组织在一起，极大的提高了检索的效率。传统的摄像头仅可以记录视频信息，而对于每一个摄像头的位置信息，并没有加以很好的利用，这样造成的结果就是在检索感兴趣的视频片段的时候，需要通过大量的人力劳动，从海量的视频数据中去搜寻目标片段。

在本发明专利中，首先要建立位置和光学参数与时空覆盖范围的对应关系，如图2所示。位置和光学参数信息主要包括以下几个：

摄像头所处的位置：经度、纬度，通过地图投影，在笛卡尔坐标系中用(X，Y)表示；

摄像头拍摄某一帧图像的时刻，用Z表示；

摄像头水平旋转角，用表示，通常摄像头可以在水平面内实现0-360度旋转；

摄像头垂直旋转角，用表示，通常摄像头仰角、俯角的旋转范围均是0-90度；

摄像头视域范围：视场，大小用视场角ω衡量，如图3所示。当拍摄远处物体时，物方最大视场角ω_max为(其中y_m为CCD对角线长度，f′为焦距)：

tanω_max＝y_m/2f′

分析公式可以得出，对于特定的摄像机，CCD尺寸是一定的，因此焦距确定的情况下，最大视场角就是确定的。针对任意一台位置固定的摄像机，在任意一个旋转状态下拍摄出的每一帧图像，位置和光学参数(X，Y，Z，ω)都是确定的，由此可以计算出一个特定的时空覆盖范围，为后续的时空数据组织和检索做准备。

图4为本发明中参数信息存储格式示意图；视频是指连续的图像变化，且每秒超过24帧画面。主要的存储格式有：AVI格式(还可采用其他的存储格式)，这是由微软提出，具有“悠久历史”的一种视频格式；MOV格式，这是由苹果公司提出的一种视频格式；MPEG/MPG/DAT，这是由国际标准化组织ISO(International StandardsOrganization)与IEC(International Electronic Committee)联合开发的一种编码视频格式。MPEG是运动图像压缩算法的国际标准，现已被几乎所有的计算机平台共同支持。

为实现视频数据的时空索引，需要将传感器得到的每一帧图像所对应的位置参数和光学参数信息与视频数据同步存储。本实施例以‘AVI’格式为例说明如何实现位置、光学信息与视频数据的同步存储。

整个AVI文件的结构为：一个RIFF头+两个列表(一个用于描述媒体流格式、一个用于保存媒体流数据，即视频)+一个可选的索引块。RIFF表征了AVI文件类型。‘hdrl’列表，用于描述AVI文件中各个流的格式信息，可以在该列表嵌套的‘avih’块AVIMAINHEADER数据结构中定义摄像头的经度、纬度，以及拍摄时间这三个字段。‘movi’列表，用于保存真正的媒体流数据，可以将数据块直接嵌在‘movi’列表中，定义三个数据块，分别是水平旋转角、垂直旋转角、焦距，将传感器传回来的这些数据块，通过索引块与每一帧相对应。而索引块为AVI文件中每一个视频图像块进行索引，并且记录它们在文件中的偏移(可能相对于‘movi’列表，也可能相对于AVI文件开头)。将摄像头得到的视频图像数据与传感器传输的位置信息同步存储后，就可以利用每一帧图像对应的位置、光学参数信息进行一些简单的分析并建立监控视频时空数据库。

利用上述具有位置信息的视频数据，分析感兴趣的视频片段中的每一帧图像，可以重建影像信息，由影像推知现实场景中的状态变化。场景重建后，可以进行一些简单的分析，如图5所示，具体为：

推知每帧图像的时空覆盖范围。可以通过索引找到与这帧图像对应的光学参数，根据空间几何原理计算时空覆盖范围；

分析某地在一定时间内的变化。通过位置参数经纬度，以及一定的时间限制，得到感兴趣的视频片段，比较这几帧图像内容的变化，可以得知现实场景中发生的变化；

分析某一物体的运动情况。通过特征识别，得到包含某一物体的视频片段，通过分析可以得知物体的运动情况等；

理解摄像头运动情况。通过图像的位置信息参数，可以理解摄像头的动作情况，如：从A时刻到B时刻，摄像头是一动不动还是匀速转动，以及转动的速度等都可以推知。

本实施例的监控视频时空数据库是基于地理信息系统GIS的时空视频数据存储管理系统；地理信息系统，是在计算机硬、软件系统支持下，对整个或部分地球表层空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统，GIS尤其擅长地理空间数据的存储、管理、分析和可视化。利用这个优势，将带有地理位置信息的视频数据很好的组织管理，可以实现高效的查询分析等功能，从而极大的推动了平安城市的发展进程。本发明中GIS存储管理时空数据主要有以下两个步骤：

建立时空立方体(时空覆盖范围)，具体为：所述时空覆盖范围就相当于视域圆锥体与地面的交面，得到的截面为椭圆形；定位摄像头可以获得摄像头地面投影坐标，传感器传输此刻摄像头的水平旋转角、垂直旋转角、视场角，利用空间立体几何的相关知识，可以分别推知椭圆中心的坐标，长轴、短轴长度，从而得到时空覆盖范围。

设X、Y为摄像头的位置坐标(就是摄像头获得的经纬度信息，通过投影转换用X、Y表示)，Z为时间，将视频图像的每一帧在三维坐标系中组织起来。若摄像头固定在一处不动，则时空覆盖范围不变，形成的数据结构是三维空间的一个椭圆柱，随时间无限向上延伸，如图6所示；若某一时刻，摄像头只进行了缩放，得到的时空数据结构为一个椭圆锥，如图7所示；若摄像头旋转，则形成的数据结构是以摄像头位置为中心轴线，覆盖范围不断变化且随时间向上延伸的螺旋结构，螺旋的具体形状由旋转情况决定，螺旋体在任意时刻的截面为此时刻的时空覆盖范围，如图8所示。

建立GIS时空数据库。GIS时空数据库用于描述、存储、管理各个时空立方体，主要方法是针对某一时间段某一区域的若干个空间圆锥和螺旋，根据时间、位置等限制，剔除与所检索部分完全没有重叠覆盖的区域，找到时空立方体中圆锥体或者螺旋的最小外接立方体或最小外界圆柱等，缩小检索的范围从而提高检索效率。

建立好上述的时空数据库，就可以进行相关的查询检索工作。用户可以输入时间信息或者位置信息，从而实现对视频数据的检索。主要实现以下三大功能:

给定时空信息，查找包含在其中的视频录像段。如：给定时间是在某年某月某日，发生在东经XX、北纬XX，可以直接根据这两个信息检索到这个时间段与位置的视频片段，从而进行后续的分析。

交互式的多视频资料检索。如：根据某辆汽车沿途经过的一些点的信息，在融合多源视频资料的基础上，推知它可能行驶的路线，为交通侦查、公安破案，以及相关的一些工作提供有力的技术支持。

多摄像头协同无缝监控。如：在城市安保工作中，如果有某个重大的社会活动，要保证对某段道路始终处于监控范围内，就可以利用无缝监控技术进行路线规划，为安保工作提前做好准备。

本方案将视频数据与位置信息相结合，通过建立GIS时空数据库，解决了海量视频数据检索利用效率低的问题。具体来说：通将具有定位功能的摄像头得到的位置和光学参数与视频数据同步传输，实现视频数据中每一帧图像都对应一个位置和光学参数，便于建立监控视频时空数据库；利用传感器得到的光学参数可以得到每一帧图像对应的时空覆盖范围，从而实现监控视频覆盖范围精确的重建，这两个步骤可以为GIS时空数据库的建立提供理论基础，为海量视频数据的有序准确的组织提供基础，为后续的检索工作做好准备。通过建立数据立方体，并利用GIS特有的功能建立监控视频时空数据库，实现了视频数据基于位置和时间的有序组织。利用GIS在空间分析方面的优势，我们可以根据实际需求，获得所需位置和时间段数据立方体的最小外接实体，从而大大地缩小了检索的范围，极大地提高了检索效率。在前面内容的基础上，本方案不仅可以进行具体时间点和位置点的索引，还可以将多源视频数据得到的点的信息联系起来，得到一个连续的事件发生的过程，同时，可以利用城市摄像头的总体部署，实现某一个区域内的无缝监控，为平安城市建设提供强大的技术保障，在城市交通、城市安全等方面都具有广阔的应用前景。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种视频监控图像存储检索方法，其特征在于，所述方法包括以下步骤：

针对每一帧视频监控图像，获取对应时刻的摄像头的位置参数和光学参数信息，并将所述位置参数和光学参数信息和所述视频监控图像同步记录下来；

所述视频监控图像以视频监控录像的方式实时或者批量地传输给服务器；

所述服务器将所述视频监控录像进行存储；

所述服务器分析所述视频监控录像中的每一帧所述视频监控图像，得到所述位置参数和光学参数信息，得到对应的时空覆盖范围；其中，所述时空覆盖范围的X轴为经度、Y轴为纬度、Z轴为时间；

所述服务器根据所述时空覆盖范围的变化情况，得到摄像头在同期的运动状态；其中所述运动状态指的是旋转、拉伸；

由所述时空覆盖范围、所述摄像头运动状态与对应的视频监控图像或录像构造监控视频时空数据库；

基于所述监控视频时空数据库，支持通过所述时空覆盖范围查询对应的视频监控图像或者录像。

2.根据权利要求1所述的方法，其特征在于，所述位置参数和光学参数信息包括摄像头所处位置的经度、纬度，摄像头水平旋转角度，摄像头垂直旋转角度，摄像头最大视场角。

3.根据权利要求2所述的方法，其特征在于，所述摄像头所处位置的经度、纬度通过地图投影，在笛卡尔坐标系中表示；

所述摄像头水平旋转角度为0度-360度；

所述摄像头垂直旋转角度包括摄像头仰角和摄像头俯角，其中所述像头仰角和摄像头俯角均为0度-90度。

4.根据权利要求3所述的方法，其特征在于，所述摄像头最大视场角ω_max通过如下公式计算：

tanω_max＝y_m/2f′

其中，y_m表示摄像头感光元件出射窗的对角线长度，f′表示摄像头焦距。

5.根据权利要求4所述的方法，其特征在于，所述位置参数和光学参数信息以及对应视频监控图像或录像的存储格式具体为(以AVI格式为例)，通过第一列表存储摄像头的经度、纬度，通过第二列表存储摄像头水平旋转角度、摄像头垂直旋转角度以及摄像头的焦距，通过索引块建立所述位置参数和光学参数信息与所述视频监控图像或录像的索引关系。

6.根据权利要求5所述的方法，其特征在于，所述监控视频时空数据库还存储所述参数信息，并与对应的所述时空覆盖范围建立索引关系。

7.根据权利要求6所述的方法，其特征在于，所述方法根据所述参数信息对所述视频监控录像进行检索。

8.根据权利要求7所述的方法，其特征在于，求解所述时空覆盖范围具体包括以下步骤：

得到所述摄像头的视域与地面的交面，所述交面为一个椭圆形，其边界为视域圆锥体与地面的交线；

根据所述摄像头所处位置的经度、纬度，摄像头水平旋转角度，摄像头垂直旋转角度，摄像头最大视场角计算所述椭圆形的中心坐标，长轴、短轴长度，得到所述时空覆盖范围。