CN102103609A

CN102103609A - 一种信息检索方法及系统

Info

Publication number: CN102103609A
Application number: CN2009102429909A
Authority: CN
Inventors: 谢东海
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2009-12-21
Filing date: 2009-12-21
Publication date: 2011-06-22

Abstract

本发明公开了一种信息检索方法及系统，用以检索具有特定形状以及特定运动方式的目标的信息。本发明提供的一种信息检索方法包括：对待检索目标进行跟踪和检测，确定待检索目标的SIFT特征，并将所述待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标；利用满足所述SIFT特征条件的监控目标所关联的信息生成检索结果并输出。

Description

一种信息检索方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种信息检索方法及系统。

背景技术

近年来随着视频监控技术的迅速发展，实时监视报警的视频数据量越来越大，视频数据的有效使用也越来越难。

通常情况下，视频监控系统有几十路甚至上千路视频和相应的数字录像数据，工作人员需要对每一路视频进行观测分析才能发现报警事件，导致视频数据分析的工作量相当大，工作效率也很低。为了解决这一问题，现有技术提出了具有智能分析功能的智能视频监控系统。智能视频监控系统对视频中出现的用户感兴趣的事件进行实时提取和记录，从而达到及时报警的作用，以及利用存储的事件信息来检索相应的视频数据。

智能视频监控系统能够对事件进行检测与分析，可应用于各种公共场，例如：机场、车站、港口、建筑物周围、街道、社区等场所，在这些场所检测、分类、跟踪和记录行人、车辆等目标物体。例如：监测是否有行人及车辆闯入禁止区域，或者在禁止区域内长时间徘徊、停留，是否有车辆在监控的道路上违章驾驶等事件发生。

综上所述，智能视频监控系统对特定的场景进行监控，可以从场景中提取出运动目标和静止目标，并将运动目标和静止目标出现的时间存储起来。当发生特定的事件，如入侵、逆向或绊线等事件时，也可以将异常事件的信息存储下来。然而，目前的异常事件的相关检索方案一般是根据时间和事件来进行的，主要用来检索某个特定时间段内、某个特定位置出现的运动目标和特定的事件，但是不能检索到具有特定形状以及特定运动方式的目标的信息。

发明内容

本发明实施例提供了一种信息检索方法及系统，用以检索具有特定形状以及特定运动方式的目标的信息。

本发明实施例提供的一种信息检索方法包括：

对待检索目标进行跟踪和检测，确定待检索目标的尺度不变特征变换SIFT特征，并将所述待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标；

利用满足所述SIFT特征条件的监控目标所关联的信息生成检索结果并输出。

本发明实施例提供的一种监控方法包括：

确定监控目标，并对监控目标进行检测和跟踪；

确定满足预先设置的异常事件发生条件的监控目标的尺度不变特征变换SIFT特征；

提取满足所述异常事件发生条件的监控目标的信息，并将该信息以及该监控目标的SIFT特征存储在预先设置的数据库中。

本发明实施例提供的一种信息检索系统包括：

待检索目标确定单元，用于确定待检索目标；

SIFT特征确定单元，用于确定待检索目标的尺度不变特征变换SIFT特征；

匹配单元，用于将所述待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标；

检索结果输出单元，用于利用满足所述SIFT特征条件的监控目标所关联的信息生成检索结果并输出。

本发明实施例提供的一种监控系统包括：

目标检测跟踪单元，用于确定监控目标，并对监控目标进行检测和跟踪；

异常事件确定单元，用于确定满足预先设置的异常事件发生条件的监控目标；

SIFT特征确定单元，用于确定满足预先设置的异常事件发生条件的监控目标的尺度不变特征变换SIFT特征，并将该监控目标的SIFT特征存储在预先设置的数据库中；

信息提取单元，用于提取满足所述异常事件发生条件的监控目标的信息，并将该信息存储在预先设置的数据库中。

本发明实施例，确定待检索目标的SIFT特征，并将待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标；利用满足SIFT特征条件的监控目标所关联的信息生成检索结果并输出，从而实现了对具有特定形状以及特定运动方式的目标的相关信息的检索。

附图说明

图1为本发明实施例提供的信息检索方法的总体流程示意图；

图2为本发明实施例提供的信息检索方法的具体示意图；

图3为本发明实施例提供的监控方法的总体流程示意图；

图4为本发明实施例提供的监控方法的具体流程示意图；

图5为本发明实施例提供的监控系统以及信息检索系统的结构示意图。

具体实施方式

本发明实施例基于监控目标的分类识别、尺度不变特征变换(SIFT，ScaleInvariant Feature Transform)特征和特有的运动特征，提出了一种监控方法及系统，以及针对该监控方法及系统的信息检索方法及系统。

本发明实施例将监控系统提取出来的监控目标的位置、速度、方向等运动参数信息，以及计算出来的监控目标的SIFT特征存放在数据库中，检索时可以根据检索目标的纹理、形状等特征信息，以及运动信息，从数据库中提取出符合纹理、形状等条件的运动目标的相关信息。

其中，所述检索目标的纹理，可以用一些专门的数学工具来进行描述，常用的是灰度共生矩阵。共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。不同类型的纹理对应的灰度共生矩阵具有明显的差异。本发明实施例根据不同的纹理来采集相似的大量样本，然后统计出不同类型样本的灰度共生矩阵。对于新的纹理，当计算出灰度共生矩阵后，利用矩阵的相似性就可以检测出不同类型的样本。

与现有的检索系统相比，本发明实施例可以更准确地查询出目标的相关信息。

下面结合附图对本发明实施例提供的技术方案进行说明。

参见图1，本发明实施例提供的一种信息检索方法总体包括步骤：

S101、对待检索目标进行跟踪和检测，确定待检索目标的SIFT特征。

S102、将待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标。

S103、利用满足SIFT特征条件的监控目标所关联的信息生成检索结果并输出。

本发明实施例中所述的待检索目标，以及监控目标，可以是运动目标，也可以是静止目标。

较佳地，参见图2，本发明实施例提供的一种信息检索方法具体包括步骤：

S201、确定待检索目标的SIFT特征。

S202、按照预先设置的多种类别对待检索目标进行分类，确定待检索目标所属的类别。

由于监控目标绝大多数都是人和汽车等运动目标，因此在将监控目标的SIFT特征等信息存入数据库时，可以先对存入数据库的运动目标进行大致分类，例如分为三类：人、汽车和不明目标。

S203、将待检索目标的SIFT特征与预先设置在数据库中的同属于一种类别的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标。

S204、根据待检索目标的运动参数，进一步从满足SIFT特征条件的监控目标中进行检索，确定满足运动参数条件的监控目标。

S205、利用满足运动参数条件的监控目标所关联的信息生成检索结果并输出。

其中，步骤S202、S203、和S204的执行顺序不一定限定为本发明实施例中图2所示的顺序，也可以前后调整，同样可以达到可以根据检索目标的纹理、形状等特征信息，以及运动信息，准确地查询出目标的相关信息的效果。

相应地，参见图3，本发明实施例提供的一种监控方法总体包括步骤：

S301、确定监控目标，并对监控目标进行检测和跟踪。

S302、确定满足预先设置的异常事件发生条件的监控目标的SIFT特征。

S303、提取满足异常事件发生条件的监控目标的信息，并将该信息以及该监控目标的SIFT特征存储在预先设置的数据库中。

较佳地，参见图4，本发明实施例提供的一种监控方法具体包括步骤：

S401、对监控目标进行检测和跟踪。

S402、判断监控目标是否满足预先设置的异常事件发生条件，如果是，则分别执行步骤S403、S404和S405，否则执行步骤S401，即继续对监控目标进行检测和跟踪。

S403、确定满足预先设置的异常事件发生条件的监控目标的SIFT特征，将该监控目标的SIFT特征存储在预先设置的数据库中。

S404、提取满足异常事件发生条件的监控目标的信息，并将该信息存储在预先设置的数据库中。

较佳地，满足异常事件发生条件的监控目标的信息包括：

满足异常事件发生条件的监控目标的图像信息和/或运动参数信息，其中图像信息可以为图片，也可以为视频片段。

S405、按照预先设置的多种类别对满足异常事件发生条件的监控目标进行分类，确定该监控目标的类别信息，并将该类别信息存储在预先设置的数据库中。

其中，步骤S403、S404和S405可以并行执行，也可以先后执行。

可以预先训练出一个分类器来对监控目标进行分类，然后为每个监控目标分配一个类型号。分类器的训练充分利用监控系统的数据特点，除了图像信息外，还可以包括运动目标的大小、速度、方向、位置等运动参数信息。综合利用各种信息可以提高分类的精度。

在检索时，可以对待检索目标进行检测，结合图像信息、运动参数信息等确定待检索目标属于的目标类别。

本发明实施例之所以采用结合目标的SIFT特征的检索方式，是因为SIFT特征算法基于尺度空间理论提出，对图像缩放、旋转甚至仿射变换都能保持不变性，也就是说SIFT特征算法提取的特征具有良好的鲁棒性。

SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。SIFT算法提取的SIFT特征向量具有如下特性：

1)、SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

2)、独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。

3)、多量性，即使少数的几个物体也可以产生大量SIFT特征向量。

4)、高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。

5)、可扩展性，可以很方便地与其他形式的特征向量进行联合。

SIFT算子在图像二维平面空间和高斯差分(DoG，Difference-of-Gaussian)尺度空间中同时检测局部极值作为特征点，以使特征具备良好的独特性和稳定性。DoG算子定义为两个不同尺度的高斯核的差分，其具有计算简单的特点，是归一化高斯拉普拉斯算子(LoG，Laplacian-of-Gaussian)算子的近似。DoG算子如下式所示：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

其中，k表示预先设定的一个常数，σ表示方差，I表示图像。上式的含义就是用两个方差相差k倍的高斯卷积核分别与图像进行卷积，然后相减。

SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。

下面介绍一下本发明实施例提供的系统。

参见图5，本发明实施例提供的监控系统包括：

目标检测跟踪单元11，用于确定监控目标，并对监控目标进行检测和跟踪。

异常事件确定单元12，用于确定满足预先设置的异常事件发生条件的监控目标。

SIFT特征确定单元13，用于确定满足预先设置的异常事件发生条件的监控目标的SIFT特征，并将该监控目标的SIFT特征存储在预先设置的数据库16中。

信息提取单元14，用于提取满足异常事件发生条件的监控目标的信息，并将该信息存储在预先设置的数据库16中。

较佳地，该系统还包括：

分类单元15，用于按照预先设置的多种类别对满足异常事件发生条件的监控目标进行分类，确定该监控目标的类别信息，并将该类别信息存储在预先设置的数据库16中。

较佳地，所述信息提取单元14提取的满足异常事件发生条件的监控目标的信息包括：满足异常事件发生条件的监控目标的图像信息和/或运动参数信息。

本发明实施例提供的信息检索系统包括：

待检索目标确定单元21，用于确定待检索目标。

SIFT特征确定单元22，用于确定待检索目标的SIFT特征。

分类单元23，用于按照预先设置的多种类别对待检索目标进行分类，确定待检索目标所属的类别。

运动参数条件单元24，用于供用户选择或输入待检索目标的运动参数。

匹配单元25，用于将待检索目标的SIFT特征与预先设置在数据库16中的同属于一种类别的监控目标的SIFT特征进行匹配，确定满足SIFT特征条件的监控目标；并进一步根据待检索目标的运动参数，从满足SIFT特征条件的监控目标中进行检索，确定满足运动参数条件的监控目标。

检索结果输出单元26，用于利用满足运动参数条件的监控目标(当然也满足SIFT特征条件)所关联的信息生成检索结果并输出。

本发明实施例提供的监控系统，是基于视频的监控系统，可以自动对监控场景内的运动目标或静止目标进行检测和跟踪，也可以对监控场景内的异常事件进行检测。和传统的人工监控相比，基于视频的智能视频监控具有全自动化、不间断监控的特点。

本发明实施例提供的监控系统包括有目标检测跟踪单元11和异常事件确定单元12。其中，目标检测跟踪单元11是监控系统的基础，异常事件确定单元12一般都是基于目标检测跟踪单元11来实现入侵、绊线、逆向等异常事件的检测的。

在监控系统中，静止目标的检测也是一个很重要的功能，该功能可以在异常事件确定单元12中实现，可以用来分析遗留、遗失等事件。

当异常事件发生后，监控系统可以将异常事件发生时的目标和事件信息，例如运动速度、运动方向和对应的异常事件等，一起存入数据库16中。为了方便后续检索，在存入数据库16时，计算发生异常事件的目标的SIFT特征，并将该目标的SIFT特征存入数据库16。

本发明实施例基于SIFT特征进行内容检索，并可以和运动特征相结合，检索出具有特定纹理、特定形状以及特定运动特征的目标。例如，检索穿着某种款式服装的人，检索具有某种特定形状(比如某种类型的汽车，某种体型的人等)，以及特定运动速度和运动方向的目标。

检索时，用户可以提供一幅含有待检索目标的示意图，该示意图可以是从视频中截取的，也可以是单纯的一副图片，检索系统可以从图片中检测到待检索目标，并从数据库16中检索出所有和待检索目标相似的目标。

检索系统对待检索目标进行大致分类，确定该待检索目标是人、车还是其它的不明目标。然后，从待检索目标中提取出SIFT特征，根据待检索目标的分类号从监控系统中的数据库16中寻找出类别相同的SIFT特征相匹配的目标。

进一步，除了SIFT特征和分类结果，本发明实施例还支持附加的检索条件，因为监控系统可以检测出运动目标的速度、方向等特征，这些特征被存放到数据库中，因此可以参与检索。

综上，检索系统对提交的待检索目标进行目标分类，并计算待检索目标的SIFT特征。根据分类结果可以缩小检索的范围，对相同类别中的目标，进行SIFT特征匹配就可以找到相似的目标。如果还有附加的运动参数等检索条件，比如待检索目标的方向、速度等，就可以根据该限制条件对找到的相似目标进一步进行筛选，最后得到检索结果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种信息检索方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

按照预先设置的多种类别对所述待检索目标进行分类，确定所述待检索目标所属的类别；

将所述待检索目标的SIFT特征与预先设置在数据库中的监控目标的SIFT特征进行匹配的步骤包括：

将所述待检索目标的SIFT特征与预先设置在数据库中的同属于一种类别的监控目标的SIFT特征进行匹配。

3.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

根据待检索目标的运动参数，进一步从满足所述SIFT特征条件的监控目标中进行检索，确定满足运动参数条件的监控目标；

利用满足所述SIFT特征条件的监控目标所关联的信息生成检索结果的步骤包括：

利用满足所述运动参数条件的监控目标所关联的信息生成检索结果。

4.一种监控方法，其特征在于，该方法包括：

确定监控目标，并对监控目标进行检测和跟踪；

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

按照预先设置的多种类别对满足所述异常事件发生条件的监控目标进行分类，确定该监控目标的类别信息，并将该类别信息存储在预先设置的数据库中。

6.根据权利要求4或5所述的方法，其特征在于，满足所述异常事件发生条件的监控目标的信息包括：

满足所述异常事件发生条件的监控目标的图像信息和/或运动参数信息。

7.一种信息检索系统，其特征在于，该系统包括：

待检索目标确定单元，用于确定待检索目标；

8.根据权利要求7所述的系统，其特征在于，该系统还包括：

分类单元，用于按照预先设置的多种类别对所述待检索目标进行分类，确定所述待检索目标所属的类别；

所述匹配单元，将所述待检索目标的SIFT特征与预先设置在数据库中的同属于一种类别的监控目标的SIFT特征进行匹配。

9.根据权利要求7或8所述的系统，其特征在于，该系统还包括：

运动参数条件单元，用于供用户选择或输入待检索目标的运动参数；

所述匹配单元，进一步根据待检索目标的运动参数，从满足所述SIFT特征条件的监控目标中进行检索，确定满足运动参数条件的监控目标；

所述检索结果输出单元，用于利用满足所述运动参数条件的监控目标所关联的信息生成检索结果并输出。

10.一种监控系统，其特征在于，该系统包括：

11.根据权利要求10所述的系统，其特征在于，该系统还包括：

分类单元，用于按照预先设置的多种类别对满足所述异常事件发生条件的监控目标进行分类，确定该监控目标的类别信息，并将该类别信息存储在预先设置的数据库中。

12.根据权利要求10或11所述的系统，其特征在于，所述信息提取单元提取的满足所述异常事件发生条件的监控目标的信息包括：