CN103886013A - 一种基于网络视频监控中的智能图像检索系统 - Google Patents

Abstract

图像特征的对图像内容的检索系统，解决了视频网络监控系统中对输入的图像及时更新查询并提出了一种新的图像特征提取方法，首先把输入图像和图像库进行二值化，提取各自所有的特征点，采取提取尺度不变的特征点算法进行特征描述，并建立图像特征向量。根据相对值向量法采用欧式距离方法进行图像匹配，然后匹配模块参考所述迭代模块所获取二值化的输入图像与所述目标图像之间的图像匹配，利用迭代模块通过如下处理来获取错误匹配点集：通过机器学习方法针对多种图像特征使用AdaBoost方法通过统计学习将这多种特征有效组合，从而训练出更优秀的匹配图像集合,改善了检索返回结果集的精度。

Description

一种基于网络视频监控中的智能图像检索系统

技术领域

本发明属于图像检索领域，涉及根据图像内容的特征进行图像匹配检索技术。  

背景技术

基于内容的图像检索，即所谓的“图找图”，它是在基于内容的图像检索 (Content-based Image Retrieval，CBIR)的基础上发展起来的一种新的媒体信息检索技术。它通过提取视频图像中的视觉特征(颜色、形状、纹理、 光谱等)来表达图像的内容；从媒体内容中提取信息线索，利用近似匹配技术将在所述图像中检测到的主题与数据库中的参考图像进行比较，然后将包含与最类似的图像判定为匹配结果，以相关反馈为有效手段，实现在大型数据库的快速检索。同时加入相关反馈技术和适当的算法满足视频图像检索的精度要求，由简单的一次检索 转向交互学习的多次检索，具体采用如下方法； 

(1)图像匹配重要的是在建立两图像间的点对点的对应关系，或对某种感兴趣的特征建立关联；

(2)主要的特征匹配算法有尺度不变特征变换(Scale Invariant Feature Transform，简称SIFT)算法及其衍生算法，其算法包括特征检测和特征匹配两个步骤，SIFT算子对尺度变化，旋转，尺度缩放，部分三维视角变化和光照变化保持不变，公认为稳定性、适应性较强的局部特征匹配算子；

(3)针对输入图像和所述目标图像进行迭代学习，在每次迭代中获得所述输入图像和所述目标图像的函数关系；对所述参考匹配点 集进行逐次估计得到各匹配估计点集，并针对每个所述匹配估计点集，计算匹配估计点集中的每个点与所述目标匹配点集中相应的点的残差值，以获得各残差点集；

（4）根据图像的特征矢量建立欧式空间匹配方法；

（5）相关反馈(Relevance Feedback，RF)是指按照最初的查询条件，查询系统返回给用户查询结果，用户可以人为介入(或者自动)来选择几个最符合他查询意图的返回结果(正反馈)，使用一个代表用户检索目标的SVM分类器，然后用该分类器对图像库中的所有图像进行分类，对于分为正类的检索图像，求出每幅图像相对于分类面的距离，离分类面越远的图像就越接近查询样例，按此距离从大到小排序返回结果。

发明内容

本发明专利的目的在于，提供一种根据图像内容的特征进行图像匹配检索系统，解决现有技术存在的监控系统不能实时检测，不能基于图像的搜索。如果统一更换硬件系统对所有的视频格式更新，系统改进困难，增加成本的改进问题完全克服了传统的模拟监控系统的种种缺陷，画质清晰操作维护简洁，并且在功能和性能上更胜一筹，其结构如图2所示： 

检索输入单元，用于从接受输入待查询的图像，以及将其存储起来 ，用来以后与存储图像系统中图像做相似性匹配；

检索查询单元，基于相似性函数从图像存储装置中检索出多个相似的图像；

智能学习单元，本单元基于机器学习的向量机(RVM)的迭代学习方法针对所述输入匹配点集和图像库配点集进行迭代学习，在每次迭代中获得所述输入匹配点集和图像库配点集的函数关系；

检索更新单元，基于机器学习得到的关联值来更新所述的相识函数，使得及时更新的相识性函数从图像存储装置中检索新的图像以提高检索速度；

检索输出单元，根据检索结果输出检索出的图像集；

图3是示范性示出根据本发明的示例实施例的图像匹配系统的内部配置 的示图； 

本发明的实施的图像匹配系统包括以下组成：视频采集模块，自动识别组件、合格参考图像判定部件、图像数据库部分、通信模块和控制模块 ，以及与外部系统（未示出）通信的程序模块。所述程序模块可以以操作系统、物理存储设备，其他程序模块的形式包括在图像匹配系统中；此外，所述程序模块可以存储在可与图像检索系统远程通信的存储设备；所述程序模块还包括其他执行具体操作的例程、子例程、程序、对象、组件和数据结够，以及其他抽象数据； 

首先，根据本发明的示例实施例中能够根据系统识别部件可以根据输入的图像，能够自动执行识别输入图像的主题状况功能；简而言之，它可以识别包括图像中的主题的时间和该主题的内容、人物、环境以及拍摄该主题的场所，以及拍摄的各个时间段，然后于合图像判定部件自适应地确定在图像匹配过程期间要与所述主题的输入图像进行比较的得出合适的参考图像组，即的合格参考图像组； 

根据本发明的示例实施例的状况识别部件可以识别出包括场所环境识别部件和时间识别部分、人物行的识别部分，对于包含主题的输入图像，场所识别部件可以执行识别图像的所处的环境进而从数据库中提取出场景图像组；

通常，根据对输入图像的分析进而确定位置图像中的可能确定视频图像的主题类型；例如，根据建筑的轮廓判断出是住宅还是一般的商业中心，如果有各式的广告则进一步判断为商业中心，比如在一个海边的一个小房子，而且不太高一般判断为住宅，然后再进一步的判断，此外，如果针对主要在近距离或中等距离进行拍摄的主题（包括人、车 辆等）执行图像匹配过程，则由于该主题的深度不大，可以采用仿射变换以及其他平面型图像匹配技术；然而，对于主要在远距离进行拍摄的大尺寸主题（比如建筑物、风景等）的图像匹配过程，由于主题的深度大，采用仿射变换等； 

第一个实例，输入图像可以包括作为主题近距离拍摄的人物和远距离拍摄的人物，例如图像中包括近距离人物A远距离人物B。当拍摄的人物A距离在较近的位置处时候，另一个人物B距离拍摄位置较远的位置处。根据本发明的示例实施例的距离识别部件可以估计并识别出A在近处拍摄距离以及在远处B拍摄的距离，由此自适应地确定要与输入图像中A相匹配的近距离图像组。并根据他作为图像的首要特征进行比较，以及要与输入图像B的特征作为的第二区域进行比较进一步进行筛选出新的图像组； 

接着，场所识别部件可以执行识别主题被拍摄的场所（即主题拍摄 场所的类型）的功能，从经验情况来看，在特定场所拍摄的图像可以包括位于该特定场所的可能性高的主题，例如，室内拍摄的图像很可能包括比如桌 子等主题，而室外拍摄的图像很可能包括比如山脉、海洋、建筑物等主题， 地下拍摄的图像很可能包括比如照明设备、电梯等主题，而地面拍摄的图像很可能包括比如建筑物、汽车等主题； 

考虑到以上状况，如果根据主题被拍摄的场所（即，主题拍摄场所的类 型）的信息自适应地判定合格参考图像，则可以更高效地执行主题的图像匹配过程，为此根据本发明的示例实施例的场所识别部件可以识别主题的拍摄场所；

在本实例中时间识别部件可以执行识别主题被拍摄时的时段的功能，通常，即使存在分别包括相同主题的图像，在白天和在夜间拍摄的图像中出现的相同主题的各自的外观也会非常不同，考虑到的状况，本发明的示例实施例的时间识别部件可以识别主题在何时拍摄，以便根据主题的拍摄时间在数据库中的所有参考图像中自适应地判定在图像匹配过程期间要与主题的输入图像进行比较的合格参考图像，从而更高效地执行图像匹配过程；  

根据本发明的示例实施例的合格参考图像判定部件可以基于主题的主题位置和主题的实际位置之间的距离确定合格参考图像，例如，一方面，在近距离拍摄到的主题的情况下，可以将数据库上存储的多个参考图像中的在近距离拍摄到的可能性高的参考图像（比如钢笔、书本 和人等）确定为合格参考图像，另一方面，在远距离拍摄到的主题的情况下，可以将数据库上存储的多个参考图像中的在远距离拍摄到的可能性高的那个（那些）参考图像（比如建筑物、风景等）确定为合格参考图像，这里，从图片中的距离为变量的假设，作为示例提到了将距离范围分为两个范 围（即近距离和远距离）的状况，但不仅仅限于此，例如，作为示例可以说明如下情况：可以如下面所示将距离范围分成3个范围。具体而言，作为要 与被识别为在距离拍摄点2米之内的主题“E”的输入图像进行比较的合格参考图像，可以选择在大致2米的近距离内拍摄到的可能性高的包含小尺寸主题（比如汽车、人物、动物等）的参考图像，此外，作为要与被识别为在距离拍摄 点2米到15米的范围内的主题“F”的输入图像进行比较的合格参考图像， 可以选择在距离拍摄点2米到15米的范围内拍摄到的可能性高的包含中等尺 寸主题（比如人、车辆等）的参考图像，此外，作为要与被识别为在距离拍 摄点超过15米的范围内的主题“G”的输入图像进行比较的合格参考图像， 可以选择在超过几十或几百米的范围内拍摄到的可能性高的包含大尺寸主题 （比如建筑物、风景等）的参考图像；

此外，根据本发明的实例中的图像判定部件可以基于主题被拍摄的场所的类型来判定图像的具体的内容和环境，例如，对于在小区拍摄的主题，可以从数据库参考图像中排除掉数据库上存储的多个参考图像中的在其他拍摄到的可能性低的图像，比如交通路况的图像，对于在室内拍摄的主题，可以从合格参考图像中排除掉数据库上存储的多个参考图像中的在 室内拍摄到的可能性低的图像，比如车辆的图像，河流等，为了实现上述目的，本发明提供的基于特征的提取和匹配算法，包括姿态估计和变换，光照估计和变换和图像匹配三个过程，该方法包括步骤如下： 

第一．基于特征跟踪的增强现实系统，用于通过对图像中静态特征点的跟踪获得场景，基于图像姿态和光照估计的图像匹配算法提高了图像匹配的精确度，稳定性和实时性，利用对姿态和光照的估计，实现方法分为姿态估计和修正，光照估计和修正，图像匹配三个部分： 

所述的姿态估计和修正部分包括步骤：对基准图像和输入测试图像分别提取尺度不变的特征点；对所有的特征点进行描述，求取特征向量；用最近邻方法将基准图像和输入图像中所提取出的特征点的特征向量进行匹配；用随机抽样一致性算法(RANSAC)得到所有匹配点对中的一致集；通过一致性求得基准图像和输入测试图像的投影映射矩阵关系；通过投影映射矩阵关系，对测试图像进行姿态修正； 

对光照估计和修正部分包括步骤：第一匹配测试图像包含基准图像中的灰度直方图；利用直方图规定化方法，利用基准图像中的灰度直方图为标准，计算输入图像与第二幅测试图像之间的直方图变换函数L；根据基准图像与第二幅测试图像直方图的变换函数L， 对第二幅测试图像进行直方图规定化，从而对姿态修正后的图像进行匹配； 

所述的图像匹配部分包括步骤：求取修正后的图像的尺度不变的特征点；求取特征点描述的特征向量；将这些特征向量和图像库中基准图像的所有特征向量进行最近邻匹配；通过随机抽样一致性算法(RANSAC)算法寻找所有匹配对中的一致集；

在匹配过程中这个三个方式中的三个步骤涉及的算法与方法中的具体形式如下所述： 

基于图像姿态估计的图像特征提取和匹配算法，包括姿态估计和变换，光照估计和变换和图像匹配三个过程，步骤如下： 

图像姿态估计和修正步骤是为降低图像匹配中由于图像的姿态变化带来的困难，通过姿态修正的步骤，图像的视角得到近似的统一，使得图像在大的视角变化的情况下能够得到稳定的匹配率和匹配精度；  

为了图像判定部件的上述配置成为可能，根据本发明的示例实施例的数据库可以存储多个参考图像，该多个参考图像与对应着这些参考图像各个状况的信息链接，更具体而言，各个图像可以根据它们的对应状况的信息有差别地存储在数据库上，这里，与各个参考图像链接并被存储的状况信息可以包括拍摄距离、拍摄场所、拍摄时段等，根据本发明，数据库不仅是狭义上而且是广义上的数据库概念，包括基于计算机文件系统的图像记录等，从这个方面，必须明白的是，即使是一组简单的操作处理日志，如果可以从该组简单的操作处理日志中提取数据，则该组简单 的操作处理日志也可以是本发明中的数据库。此外，根据本发明的示例实施 例的数据库可以由本领域的技术人员配置成包括在图像匹配系统中或与图像匹配系统中分离； 

根据本发明的示例实施例的控制部件可以执行如下功能：在状况识别部件、合格图像判定部件、数据库（广义数据库）和通信部件之间对数据流进行控制，简而言之，控制部件可以控制来自外部的或图像匹配系统的组件之间的数据流，并允许状况识别部件、合格参考图像判定部件、数据库和通信部件执行它们独特的功能；

接着，根据本发明的示例实施例的通信部件可以执行如下功能：指 示图像匹配系统与移动通信服务器（未示出）、网络服务器（未示出或其他外部设备进行通信，进行数据的传输， 接着，根据本发明的示例实施例的通信部件可以执行如下功能：指 示图像匹配系统与移动通信服务器（未示出）、网络服务器（未示出或其他外部设备进行通信，进行数据的传输；

根据本发明，在对图像中所包括的主题执行图像匹配过程的情况下，根 据诸如主题的拍摄距离、拍摄场所、拍摄时段等状况，可以从数据库上的所有参考图像中自适应地选择仅仅一部分图像作为合格参考图像，因此，可以使主题的图像匹配更精确且更迅速地进行； 

可以通过各种计算机模块执行可记录到计算机可读介质上的可执行程序命令的形式来实现本发明的实施例，记录到介质上的程序命令可以是为本发明专门设计的组件，或可被计算机软件领域的技术人员所用。计算机可读记录介质包括比如硬盘、软盘、磁带等磁性介质，比如CD-ROM和DVD 等光学介质，如ROM、RAM和闪速存储器等硬件设备，其结构如图2所示。

技术方案

技术问题：本发明的目的是提供一种新的图像匹配的方法——基于多种特征的图像匹配方法，利用多种图像特征组合对图像库进行图像匹配，具体包括如下步骤：

步骤1：根据输入图形进行二值化，然后建立输入和基本图像库点集；

步骤2，提取参考图像与输入图像各自的特征初始匹配点集，确定图像库利用图像特征向量获得的与标准样本图像集中每一标准样本图像根据相似度组成的相似度集库；

步骤3：用最近邻方法将基准图像和第一幅测试图像中所提取出的特征点进行匹配；

步骤4：将上述特征向量和基准图像的所有特征点进行最近邻匹配；

步骤5：用随机抽样一致性算法(RANSAC)得到所有匹配点对中的一致集，求取特征点的SIFT特征向量；

步骤6：计算处匹配的图像，按照匹配的相似度进行输出排列；

步骤7：输出检索的图像结果； 

步骤3实施中，S表示图像为输入图像，[k]表示标准样本图像序号；D表示图像为图像库中待检索图像，[n]表示待检索图像序号，IS[i][j]表示第i标准样本图像与第j待检索图像之间的相似度，DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i] [K])为第i标准样本图像的相似度集； 

输入图像(S[1]，S[2]，...，S[K])和图像库图像(D[1]，D[2]，...， D[n])，图像库图像逐一分别同标准样本图像进行相似性比对，分别计算得到 它们之间的相似度IS[i][j]，如下表所示： 

于是，得到图像库待检索图像D[i]相对标准样本图像(S[1]，S[2]，...， S[K])的相似特征向量集DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][K])； 

2)重复过程1)计算并保存所有图像库图像相对标准样本图像(S[1]， S[2]，...，S[K])的特征向量后，组成相似度集库； 

步骤4实施如下：利用需检索图像特征向量确定相似度集； 

4.1）输入标准样本图像(S[1]，S[2]，...，S[K])和需检索图像KEY，需检索图像分别同标准样本图像进行相似性比对，分别计算得到它们之间的初步相似度KS[j]，于是，得到需检索图像KEY相对标准样本图像(S[1]，S[2]，...， S[K])的相似特征向量的相似度集KEYX＝(KS[1]，KS[2]，...，KS[K])； 

4.2）分别计算需检索图像特征向量KEYX与图像库相似度集库中图像特征向 量DX[i]之间的相似度FS[i]作为其最终的相似度。假设初步相似度KS[j]与 IS[i][j]的取值范围为0-500，相似度FS[i]的计算方法可以这样定义，FS[i]＝500- (ABS(KS[1]-IS[i][1])+ABS(KS[2]-IS[i][2])+...+ABS(KS[K]-IS[i][K]))/K，其 中ABS(a)表示a的绝对值计算。

 具体实施应用

具体设现在有一个拥有500万张图像的图像库； 

首先，选取10张标准样本图像(S[1]，S[2]，...，S[10])作为标准样本图像集； 

其次，分别计算图像库500万张待检索图像相对10张标准样本图像的相似 特征向量DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][10])，i＝1，2，...，5000000； 

再次，计算需检索图像KEY相对5张标准样本图像的相似特征向量 KEYX＝(KS[1]，KS[2]，...，KS[10])； 

然后，分别计算需检索图像特征向量KEYX与图像库图像特征向量DX[i] 之间的最终相似度FS[i]，i＝1，2，...，5000000；

其次，FS[i](i＝1，2，...，5000000)按倒序排序，最前面的结果(譬如 前10个)即为最相似检索输出结果；

最后输出检索图像集合； 

通过本发明所述的方案，能够在现有技术基础上非常有效地获得较快速度与较精确的图像检索效果；同时本发明提供的基于图像相似性比对地检索方案，可以根据要求的不同，可以采用不同的初步相似度计算方法来获得所需的检索效果，实现简单，易于操作； 

由上述实施还可知，由于现有的各种图像检索方法普遍存在对于大数据量 图像库的检索返回结果集精确度不高、速度慢，很难到达实际应用要求，因此本发明在现有的图像检索方法基础上提出了一种基于图像相似性比对的检索方案，采用本发明所述的方案，能够有效的改善图像检索返回结果集的精确度，同时提高图像的检索速度，此外还可以应用于两个或多个图像库之间的图像相似性自动匹配以用作更多的检索运用； 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。 

本发明具有以下有益效果及优点 

1.本发明解决了网络监控系统中依靠单一数值特征相似性度量函数进行检索时出现的“特征相识，内容的无序图像”的问题，以及单纯基于支持向量机相关反馈过程中的过分的依靠分类器决策函数作为相似性度量准则在检索结果排序，本发明采用了将SVM自主学习迭代判 断和基于多种特征值的特征向量的判断和支持向量机的相关反馈算法，使得检索更具有智能型，同时在参考匹配点集与目标匹配点集间建立相识性函数关系，用“剥洋葱”的策略，对残差点集进行分析，有效地剔除错误匹配点以达到对图像更精准的检索。从而很好地解决了原有基于支持向量机的相关反馈算法在检索结果排序上存在的问题，本发明克服已有方法需要大量样本、计算效率低、算法稳定性差、不能够在动态实时查询的问题，显著提高图像匹配的精度和效率； 

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。 

附图说明：

图1为本发明实施图像检测的检测流程图 

图2为本发明系统结构图 

图3为本发明整体系统详细的结构图。

Claims (9)

1.对输入图像和图像库进行二值化,并提取特征点，建立输入图像的特征点集合和匹配特征点集。

2.对所有的特征点采取提取尺度不变的特征点算法(SIFT) 进行特征描述，求取特征向量。

3.  根据相对值向量法，计算步骤S2得到的结果图像的空间分布向量。

4.采用欧氏距离法进行图像匹配。

5.当原图像与数据库中的图像逐一匹配，并根据其匹配结果的大小与阀门值进行比较，如果小于阀门值直接则不进行下一次判断，如果大于阀门值，则需要根据待测样本分辨 率动态调整取样窗口大小，进行下一次的迭代判断，最后按匹配的相识度输出结果。

6.过机器学习方法针对多种图像特征使用AdaBoost方法通过统计学习将这多种特征有效组合，更加精确的检索。

7.具体地步骤如下包括： 

①若输入样本分辨率与源样本分辨率相同，则取样窗口与模板大小相同，并执行步骤S2.4，否则，根据源样本及待测样本的分辨率 计算分辨率变化比例因子，并执行步骤S2.2；具体地，用待测样本分辨率除以图像库的分辨率，得到分辨率变化比例因子； 

②根据该分辨率变化比例因子计算取样窗口，具体地用该 分辨率变化比例因子乘以模板分辨率，得到取样窗口分辨率；

③实时检测待测样本分辨率的变化，若变化，则返回步骤 S1.1，否则，执行步骤S2.4； 

④按照取样窗口从待测样本中取样。

8.为了提高本发明的方法的效率同时又不使效果下降太多，本发明在步骤中采用了欧式距离法，即计算两个向量间的欧式距离，此法简单高效，并且结果可信度随着向量维度的提高而提高，但为了效率考虑，一般取256维向量即可；

①首先，选取10张标准样本图像(S[1]，S[2]，...，S[10])作为标准样本图像集；

②其次，分别计算图像库500万张待检索图像相对10张标准样本图像的相似 特征向量DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][10])，i＝1，2，...5000000； 

③再次，计算需检索图像KEY相对10张标准样本图像的相似特征向量 KEYX＝(KS[1]，KS[2]，...，KS[10])；

④然后，分别计算需检索图像特征向量KEYX与图像库图像特征向量DX[i] 之间的最终相似度FS[i]，i＝1，2，...，5000000； 

⑤最后，FS[i](i＝1，2，...，5000000)按倒序排序，最前面的结果(譬如 前10个)即为最相似检索输出结果。

9. 通过本发明所述的方案，能够在现有技术基础上非常有效地获得较快速度 与较精确的图像检索效果；同时本发明提供的基于图像相似性比对地检索方案，可以根据要求的不同，可以采用不同的初步相似度计算方法来获得所需的检索效果，实现简单易于操作。

Images