CN105183752A - 关联查询红外视频图像特定内容的方法 - Google Patents

Abstract

本发明提出的一种关联查询红外视频图像特定内容的方法，旨提供一种高效准确、检索效率和识别率高，视频图像特征提取方法简单的关联查询方法，本发明通过下述技术方案予以实现：采用滑动窗口截取红外视频段，通过镜头边界检测模块计算相邻帧图像间的二维直方图帧差值与滑动窗口的窗口阈值，以窗口阈值硬判决得到视频镜头边界，建立视频镜头边界标识的视频段索引库；计算每个视频镜头内容变化率，采用视频镜头内容变化率标识判决抽取关键帧图像，建立关键帧标识的索引库和关键帧二维直方图特征库；计算关联查询红外图像的二维直方图及与关键帧二维直方图的关联度，依据关联度排序进行红外视频的关联内容查询。本发明解决了红外图像与视频段的关联查询问题。

Description

关联查询红外视频图像特定内容的方法

技术领域

本发明涉及一种视频识别、图像检索领域的图像视频处理方法，特别是关于应用到智能视频监控技术和视频检索相关领域的技术。

背景技术

由于红外成像具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点，已被广泛应用于军事与民用领域的侦察与监视方面。红外侦察与监视设备产生大量的图像和视频数据。数据里面许多有用的信息，必须经过去伪存真、去粗取精的处理过程才能获得有用的信息，如何在这些数据中快速找到自己所关注的内容是一个亟待解决的问题。在海量数据的红外视频中要查找特定内容的视频片断，人工视频观看判读需要专业判读员花费大量精力去做，其效率低、准确性差。由于受限于人类的生理局限，人工查看的效率是极其低下的。主要有以下几个原因：1)容易产生视觉疲劳：由于人类的生理局限，长时间专注于单一视频画面，过程单调、乏味，容易造成情报人员注意力低下，产生视觉疲劳，严重影响审看效率。2)人眼无法克服误差：因为人眼的视觉疲劳，极易忽略掉重要的目标线索，造成“过眼不过脑”的情况，美国圣地亚国家实验室的研究表明，人对于单调的事物无法长时间的集中注意力，人眼注意画面超过22分钟的时候，则有95％的画面会被忽略。因此，一段视频往往需要花费更多的时间进行重复审看，大大增加了工作量，并且还是无法完全避免遗漏和误差。3)被迫采用“人海战术”+“疲劳战术”：通常所审看的视频量时常达到数百上千小时。在目前的审看模式下，传统的方法需要从头到尾顺序播放，往往需要数倍于原始视频的时间才能审看完成，因此需要大量人员连续加班数周进行视频的审看。为了规避遗漏和误差，往往采用加大人力投入的方法。但是经过实践证明，这种方法吃力不讨好，仍然解决不了根本的问题。

人类的感官分很多种，视觉是最重要的一种。我们通过视觉对事物进行分辨，一眼就能从所有看到的事物中，找到感兴趣的物体。用计算机对视频或者图像进行处理的技术建立在对人类视觉本质特性的基础上，利用各种成像设备作为计算机的视觉器官，通过计算机技术对采集的视频或图像进行统计和分析。随着图像和视频处理技术的不断发展和各种数学模型的建立，以及计算机软硬件的不断改进，使得计算机处理视频和图片的技术有了很大的突破。如何在一段监控视频中搜索出指定的对象，是一个非常有意义的课题。

研究表明，红外图像具有如下的特征：

(1)灰度层次不分明而且灰度分布较集中，红外探测器可探测的温度范围较广，而实际景物的温度范围相对较低，在加上景物间的温度差异较小，因此红外相机摄取到的图像灰度的层次不分明、纹理特征不明显。

(2)对比度较低，纹理不明显由于景物和周围环境存在着热交换、空气热辐射和吸收，从而导致了自然状态下景物之间的温度差别不大，红外图像中景物与背景的对比度较低。

(3)信噪比较低红外图像的噪声来源较广，包括元器件的内部噪声，系统噪声，以及随机噪声等等。这些噪声降低了红外图像的信噪比。

(4)红外传感器得到的相邻两帧图像之间的差别不大，红外图像的摄取帧速约为25～30fp/s之，景物表面的辐射分布基本上保持不变，这个性质为逐帧分析景物特征和对景物定位提供了保证。

普通的颜色直方图虽然能表示出不同颜色的概率分布，但是并不能表达出颜色的空间分布信息，因此容易造成误识别，将颜色出现概率相同但是分布位置不同的不同目标判断为同一目标。而二维直方图是一种既能反映像素灰度信息又能体现空间域相关信息的图像函数，对于对比度较低、有噪声干扰，目标和背景的分布区不明显的红外图像的识别效果有相当大的提高。目前基于内容的视频图像检索方法主要针对可见光视频图像进行处理，针对红外视频图像的处理方法还鲜有报道。在特定内容查找方面的应用还没有研究出公认的较好的结果，处于试探研究阶段。

发明内容

本发明目的是针对现有技术存在问题，提供一种高效准确、检索效率和识别率高，视频图像特征提取方法简单的关联查询红外视频图像特定内容的方法，以解决针对红外视频图像的关联查询问题。

实现本发明目的的技术方案为：一种关联查询红外视频图像特定内容的方法，其特征在于包括以下步骤：

在镜头边界检测模块中设置滑动窗口截取红外视频段，计算出相邻帧图像间的二维直方图帧差值与滑动窗口阈值，将帧差值与滑动窗口阈值进行比较，判断确定红外视频镜头边界，标识镜头边界，建立镜头边界索引；同时将计算出的每个视频的镜头边界送入关键帧提取模块，计算每个镜头的内容变化率SCCR值及对应的判决阈值，关键帧提取模块抽取视频镜头内关键帧图像，标识关键帧图像，建立关键帧图像索引；再用二维直方图特征提取模块把计算出的关键帧图像的二维直方图特征，作为关键帧图像特征参量存入特征库；二维直方图特征提取模块将计算出的待关联查询红外图像的二维直方图特征送入关键帧关联查询模块；关键帧关联查询模块计算待查询图像与特征库中所有关键帧图像二维直方图特征之间的关联度，依据关联度排序得到关键帧关联查询结果，视频片段或视频关联查询模块结合将关键帧关联查询结果与索引库的信息，查询出红外视频的关联内容，输出视频片段或视频关联查询结果。

本发明相比于现有技术具有如下有益效果。

特征提取方法简单、高效准确。本发明利用二维直方图特征进行红外视频图像的关联查询，建立了索引库，用户预先把关键帧图像存入库中，查询时从库中读出图像并显示。建立了特征库并与索引库相关联，提高了检索速度，这样在进行相似比较时系统只要计算待查询关联图像的特征值，库中关键帧图像的特征值直接从特征库中读取，从而大大节约了计算时间。

检索效率和识别率高。本发明从大量的红外视频中快速找出用户所关注的符合视觉主观感受、具有特定内容的视频片段。针对红外图像和视频进行处理，对红外视频进行镜头边界检测和关键帧提取，将视频镜头边界和关键帧的索引信息存入索引库；将关键帧图像的二维直方图特征信息存入特征库；对待关联查询红外图像进行二维直方图特征提取，计算待关联查询图像和特征库中关键帧图像特征之间的关联度，得出关键帧关联查询结果；根据关键帧关联查询结果结合索引库的索引信息得出视频镜头片段或视频关联查询结果，可以快速的将同类的目标从其他对象中识别出来。保持了单特征用于内容检索的正确性。对视频进行基于内容的分析，从而生成各个层次的索引信息，提高了用户对视频数据的控制和访问能力。本发明可以利用计算机自动搜索符合视觉主观感受、具有特定内容的视频片段，解决了红外图像与视频段的关联查询问题。

附图说明

图1是本发明关联查询红外视频图像特定内容的流程示意图。

图2是红外图像的灰度直方图。

图3是红外图像的二维直方图。

具体实施方式

参阅图1在以下描述的实施例中，根据本发明关联查询红外视频图像特定内容的方法流程按以下步骤：

步骤S1，镜头边界检测模块采用滑动窗口截取红外视频段，计算出相邻帧图像间的二维直方图帧差值与滑动窗口阈值，将帧差值与滑动窗口阈值进行比较，判断确定红外视频镜头边界，标识镜头边界，建立镜头边界索引；

步骤S2，关键帧提取模块计算每个视频镜头的内容变化率SCCR值及对应的判决阈值，采用视频镜头内容变化率标识判决法抽取视频镜头内关键帧图像，标识关键帧图像，建立关键帧图像索引；

步骤S3，二维直方图特征提取模块计算所有关键帧图像的二维直方图特征，作为关键帧图像特征参量存入特征库；

步骤S4，二维直方图特征提取模块计算待关联查询红外图像的二维直方图特征；

步骤S5，关键帧关联查询模块计算待查询图像和特征库中所有关键帧图像特征之间关联度时，计算待关联查询图像和关键帧图像的二维直方图特征的相似性欧式距离，得到待查询图像与关键帧的关联度量值计算出的相似性欧式距离越小，关联度量值越大，反之，关联度量值越小，然后按照关联度量值给出待查询图像与关键帧的关联程度排序。

步骤S6，视频片段或视频关联查询模块依据关联度量值查找得出关联内容的视频镜头片段及其视频，实现基于图像内容的视频段关联查询。依据关联度量值查找得出关联内容的视频镜头片段及其视频，具体为：按照关联度由大到小的顺序，根据关键帧的索引信息，从关键帧关联出对应的视频镜头片段，由于一个视频镜头对应一个或者多个关键帧，去除重复的关联结果，得出视频镜头片段的关联查询结果；根据视频镜头边界的索引信息，从视频镜头片段关联出对应的视频，得出视频的关联查询结果。

在步骤S1中，采用相邻视频帧的二维直方图帧差值的阈值判决检测确定红外视频段的视频镜头边界。

在步骤S2中，采用视频镜头内容变化率标识判决法抽取红外视频镜头内的关键帧。

在步骤S3和步骤S4中，所述二维直方图特征提取方法，具体为：对大小为M×N，具有L个灰度级的图像F＝f(i,j)进行平滑处理，将得到的平滑图像记为G＝g(i,j)，平滑图像的图像大小和灰度等级与原图像相同，其中，i为图像的x轴坐标值，i＝0,1,…M-1；j为图像的y轴坐标值，j＝0,1,…N-1。设二元组h(s,t)表示像素点灰度值为s,领域的灰度平均值为t的像素数目，那么{h(s,t),s,t＝0,1,…L-1}就是图像F关于点灰度与区域灰度均值的二维直方图。

下面再对上述内容作进一步说明。

1.二维直方图特征提取

二维直方图是一种既能反映像素灰度信息又能体现空间域相关信息的图像函数。二维直方图特征提取模块对大小为M×N，具有L个灰度级的图像F＝f(i,j)进行平滑处理，将得到的平滑图像记为G＝g(i,j)，平滑图像的图像大小和灰度等级与原图像相同，其中，i为图像的x轴坐标值，i＝0,1,…M-1；j为图像的y轴坐标值，j＝0,1,…N-1。设二元组h(s,t)表示像素点灰度值为s,领域的灰度平均值为t的像素数目，那么{h(s,t),s,t＝0,1,…L-1}就是图像F关于点灰度与区域灰度均值的二维直方图。这样的关系可以用一个如图2所示的三维坐标图来表示，y轴表示每个像素点的灰度值，x轴表示每个像素点领域的灰度平均值，z轴表示灰度平面上各二元组出现的频率。

红外图像对比度低，有噪声干扰，目标和背景的分布区分很不明显。因此，图2所示红外图像的灰度直方图没有明显的峰谷，但在图3的二维直方图中这种情况得到了相当大的改善，能明显地看出两个峰的不同分布，并且这两个峰主要分布在平面的对角线附近，这是由于在图像的所有像素中，目标点和背景点所占比例最大，而目标区域和背景区域内部的像素灰度等级比较均匀，点灰度和其区域灰度均值相差不大，所以都集中在对角线附近，两个峰分别对应于目标和背景。至于两个峰远离对角线坐标处和峰的高度急剧下降，是因为这部分反映的是图像中的噪声点和边缘点，点灰度和其区域灰度均值相差较大。

2.镜头边界检测方法

镜头边界检测模块在滑动窗口内计算相邻红外视频帧图像间的二维直方图帧差值和滑动窗口内帧间二维直方图帧差值的局部阈值，将帧差值与阈值进行比较，当帧差值大于阈值时，则存在视频镜头边界，否则，没有视频镜头边界发生，完成上述检测后，继续下一个窗口的检测。

3.红外视频帧图像的二维直方图帧差计算

镜头边界检测模块计算二维直方图帧差DH(x,y)可以用绝对值距离、欧式距离等常用距离计算公式得到。

4.镜头边界检测算法中滑动窗口内阈值的确定

镜头边界检测模块在确定滑动窗口内阈值时，首先定义一个时间长度为2R+1的窗口，将需要检测的帧位于滑动窗口正中，计算窗口内二维直方图帧差的最大值max和最小值min，以及平均值mean；以max和min的中值为分界点，将窗口划分为较小值和较大值两个集合，分别计算出这两个集合的平均值mmax和mmin。

镜头边界检测模块采用|mmax-mmin|＞(Factor*mean)

做判断，如果判断为真，就返回比mmax稍小的值T＝(mmin+mmax*2)/3作为阈值，否则返回max+10以表示窗口内没有视频镜头切换。

镜头边界检测算法中，高平均值mmax和低平均值mmin的差距要大于Factor倍的平均值。其中，Factor为加权因子，根据经验Factor的取值一般在3～5之间。

5.关键帧提取方法

设视频镜头S由帧集合{F₁,F₂,…F_mid…F_i…,F_n}构成，关键帧集的元素数目为M，关键帧集合为K，初始化为一个空集。

当镜头内容变化率SCCR＝-1时，取视频镜头的中间帧F_mid为此视频镜头的关键帧，K＝K∪F_mid，M＝M+1；

当镜头内容变化率SCCR＝1时，设F_c为当前帧，F_s为F_c的后续帧，帧间距离为DH(F_i,F_j)，设定阈值为T_h＝m+s_hσ。

步骤1设F_c＝F₁，则有K＝K∪F₁，M＝M+1；

步骤2计算DH(F_c,F_s)：

若DH(F_c,F_s)＞T_h，则K＝K∪F_s，F_c＝F_s，M＝M+1，返回第2步；

若DH(F_c,F_s)＜T_h，F_c＝F_s，返回第2步；

步骤3若F_c＝F_n，退出。完成此视频镜头的关键帧提取。

当镜头内容变化率SCCR＝0时，设定阈值T_l＝m+s_lσ，用上面同样的思路来提取视频镜头的关键帧。

6.视频镜头内容变化率的计算方法

关键帧提取模块采用视频镜头内容变化率(ShotContentChangeRatio,SCCR)来衡量视频镜头内容的变化程度，其定义为：

其中，SNFD_sum为视频镜头相邻帧差和，SNFD_mean为视频镜头平均邻帧差，T_sum为整个视频内所有视频镜头相邻帧差和的方差，T_mean为整个视频内所有视频镜头平均邻帧差的方差。

视频镜头相邻帧差和SNFD_sum定义为：

SNFD_sum＝sum(DH₁,DH₂,…,DH_n)

视频镜头平均邻帧差SNFD_mean定义为：

${\mathrm{SNFD}}_{mean}=mean({\mathrm{DH}}_1,{\mathrm{DH}}_2,...,{\mathrm{DH}}_n)=\frac{sum({\mathrm{DH}}_1,{\mathrm{DH}}_2,...,{\mathrm{DH}}_n)}{n}$

其中，DH为红外视频帧图像的二维直方图帧差，n为视频镜头内的相邻帧差数。

7.关键帧提取的阈值确定

关键帧提取模块采用公式T＝m+sσ来确定关键帧提取的阈值，m和σ分别为整个视频邻帧差的均值和方差，s为加权系数。关键帧提取模块根据视频镜头内容变化率的大小来确定加权系数s的大小。对于视频镜头内容变化大的视频镜头用高阈值T_h来检测其关键帧，对于视频镜头内容变化小的视频镜头用T_l低阈值来检测其关键帧，避免了采用单一阈值来检测视频镜头的关键帧。对于不同的视频序列，加权系数s会有一些变化。

8.索引库的索引信息

视频镜头边界的索引信息采用XXXXYYYY格式，其中XXXX为视频名，YYYY为视频镜头编号；根据视频库中视频数量的多少，XXXX，YYYY的长度可以进行扩展。

关键帧的索引信息采用YYYYZZZZ格式，其中YYYY为视频镜头编号，ZZZZ为关键帧编号；根据视频库中视频数量的多少，YYYY，ZZZZ的长度可以进行扩展。

9.特征库的特征信息

所有关键帧图像的二维直方图特征

10.待关联查询图像和视频关键帧图像之间的关联度的计算

关键帧关联查询模块用待关联查询图像和视频关键帧图像之间的二维直方图特征的相似性欧式距离来表征它们的关联度，相似性欧式距离越小，关联度越大，反之，关联度越小。

关键帧关联查询模块将视频帧数据抽象为矢量，设相邻的两个视频帧分别对应为两个n维矢量其中x₁,x₂,…x_n代表矢量从1到n每一维的矢量值，y₁,y₂,…y_n代表矢量从1到n每一维的矢量值，t表示转置矩阵，矢量间距离记为

欧式(Euclidean)距离。

$d(\stackrel{\‾}{x},\stackrel{\‾}{y})=\left|\right|\stackrel{\‾}{x}-\stackrel{\‾}{y}\left|\right|={\[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(x_i-y_i\right)}^2\]}^{1/2}$

11.视频镜头片段和视频的关联查询结果的获得

视频片段或视频关联查询模块按照关联度由大到小的顺序，根据关键帧的索引信息，从关键帧关联出对应的视频镜头片段，由于一个视频镜头对应一个或者多个关键帧，去除重复的关联结果，得出视频镜头片段的关联查询结果；根据视频镜头边界的索引信息，从视频镜头片段关联出对应的视频，由于一个视频对应一个或者多个视频镜头，去除重复的关联结果，得出视频的关联查询结果。

作为本发明的一个实施例，针对实验采集的含有人、车等目标的红外视频，采用上述方法搭建了一个基于内容的红外图像视频关联查询演示系统。演示系统还具有视频浏览和播放功能。

把几个含有人、车目标的红外图像提交给系统进行关联查询。针对提交的待关联查询图像，关联查询结果显示的是系统关联查询到的视频关键帧图像。视频库列表中给出了按关联度排序的视频列表。系统还给出了待关联查询图像和每个视频关键帧的关联度量值。点击任一视频关键帧关联查询结果，系统可以播放其对应的视频片段。系统很好地关联出了相似的视频关键帧，并按关联度递减的顺序显示给用户。

本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种关联查询红外视频图像特定内容的方法，其特征在于包括以下步骤：

在镜头边界检测模块中设置滑动窗口截取红外视频段，计算出相邻帧图像间的二维直方图帧差值与滑动窗口阈值，将帧差值与滑动窗口阈值进行比较，判断确定红外视频镜头边界，标识镜头边界，建立镜头边界索引；同时将计算出的每个视频的镜头边界送入关键帧提取模块，计算每个镜头的内容变化率SCCR值及对应的判决阈值，关键帧提取模块抽取视频镜头内关键帧图像，标识关键帧图像，建立关键帧图像索引；再用二维直方图特征提取模块把计算出的关键帧图像的二维直方图特征，作为关键帧图像特征参量存入特征库；二维直方图特征提取模块将计算出的待关联查询红外图像的二维直方图特征送入关键帧关联查询模块；关键帧关联查询模块计算待查询图像与特征库中所有关键帧图像二维直方图特征之间的关联度，依据关联度排序得到关键帧关联查询结果，视频片段或视频关联查询模块结合关键帧关联查询结果与索引库的信息，查询出红外视频的关联内容，输出视频片段或视频关联查询结果。

2.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，镜头边界检测模块采用相邻视频帧的二维直方图帧差值的阈值判决检测确定红外视频段的视频镜头边界。

3.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，关键帧提取模块采用视频镜头内容变化率标识判决法抽取红外视频镜头内的关键帧。

4.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，二维直方图特征提取模块对大小为M×N，具有L个灰度级的图像F＝f(i,j)进行平滑处理，将得到的平滑图像记为G＝g(i,j)，平滑图像的图像大小和灰度等级与原图像相同，其中，i为图像的x轴坐标值，i＝0,1,…M-1；j为图像的y轴坐标值，j＝0,1,…N-1。设二元组h(s,t)表示像素点灰度值为s，领域的灰度平均值为t的像素数目，那么{h(s,t),s,t＝0,1,…L-1}就是图像F关于点灰度与区域灰度均值的二维直方图。

5.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，关键帧关联查询模块计算待查询图像和特征库中所有关键帧图像特征之间关联度时，计算待关联查询图像和关键帧图像的二维直方图特征的相似性欧式距离，得到待查询图像与关键帧的关联度量值，计算出的相似性欧式距离越小，关联度量值越大，反之，关联度量值越小，然后按照关联度量值给出待查询图像与关键帧的关联程度排序。

6.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，视频片段或视频关联查询模块依据关联度量值查找得出关联内容的视频镜头片段及其视频，实现基于图像内容的视频段关联查询。

7.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，视频片段或视频关联查询模块依据关联度量值查找得出关联内容的视频镜头片段及其视频，按照关联度由大到小顺序，根据视频镜头边界和关键帧的索引信息，从一个视频镜头对应的一个或者多个关键帧中关联出对应的视频镜头片段，去除重复的关联结果，得出视频镜头片段或视频的关联查询结果。

8.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，镜头边界检测模块在滑动窗口内计算相邻红外视频帧图像间的二维直方图帧差值和滑动窗口内帧间二维直方图帧差值的局部阈值，将帧差值与阈值进行比较，当帧差值大于阈值时，则存在视频镜头边界，否则，没有视频镜头边界发生，完成上述检测后，继续下一个窗口的检测。

9.根据权利要求1所述的关联查询红外视频图像特定内容的方法，其特征在于，镜头边界检测模块在确定滑动窗口内阈值时，首先定义一个时间长度为2R+1的窗口，将需要检测的帧位于滑动窗口正中，计算窗口内二维直方图帧差的最大值max和最小值min，以及平均值mean，以max和min的中值为分界点，将窗口划分为较小值和较大值两个集合，分别计算出这两个集合的平均值mmax和mmin。

10.根据权利要求9所述的关联查询红外视频图像特定内容的方法，其特征在于，镜头边界检测模块采用|mmax-mmin|＞(Factor*mean)

做判断，如果判断为真，就返回比mmax小的值T＝(mmin+mmax*2)/3作为阈值，否则返回max+10以表示窗口内没有视频镜头切换。