CN103294813A - 一种敏感图片搜索方法和装置 - Google Patents

Abstract

本发明实施例公开了一种敏感图片的搜索方法和装置，属于图像处理领域。方法包括：提取待查询图片上的局部特征向量集合并将图片生成为特征向量；根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。本发明利用基于内容的图像分析和检索技术来实现对视频内容中的敏感图片或画面进行搜索，其避免了大量的人力，同时具备很好的实时性，能够在视频播放的同时进行实时分析检测，一旦发现视频内容中出现敏感图片或画面，则立即发出警告信号。

Description

一种敏感图片搜索方法和装置

技术领域

本发明属于图像处理领域，涉及一种广播电视节目和网络视频内容中的敏感图片搜索方法和装置。

背景技术

随着国家宽带网络的建设以及互联网的迅速发展，越来越多的网民通过网络视频网站来观看和分享内容丰富的视频节目。同时伴随着三网融合的发展，IPTV网络高清电视和互联网电视开始在普通家庭中普及。网络视频和电视节目的传播速度快、影响范围大。

在一些互联网视频和网络电视节目中，非法分子常常在视频内容中播放一些违法视频，或在视频画面中插入一些违法的敏感图片。现有的检测方法通常都是靠人工来审核，其缺点在于工作量巨大，且不具有实时性。

敏感图片指的是违法的、不健康的图片内容，例如一些违法的宣传标语、Logo、图画等等。目前较为常用的基于内容的图像检索技术主要分为两类：1）基于全局特征的图像检索；2）基于局部特征的图像检索。

基于全局特征的图像检索方法对每张图像提取一个或多个全局特征向量，并通过这些特征向量来描述该图像的内容，然后通过向量距离或相似度衡量方法来刻画两张图像之间的相似度。常用的全局特征有：颜色特征（颜色直方图、颜色矩等）、纹理特征（灰度共生矩阵、LBP、Gabor等）、形状边缘特征（边缘直方图、形状上下文等）。基于全局特征的方法简单，实现起来容易，但其缺点在于只能够查找原图或接近原图的图像内容，不能够查找原图中的部分子图像区域，且这类方法受光照、形变、尺度变化、遮挡的影响较大。由于敏感图片在视频中的出现可以是任意位置、大小和形态，因此，基于全局特征的图像检索方法不能够处理敏感图片的搜索问题。

基于局部特征的图像检索方法利用了局部图像特征具有光照不变性、旋转不变性、平移不变性、尺度不变性以及部分仿射不变性的特点来完成对原图像或相似图像的检索。这类方法的优点在于其不仅能够检索原图像，而且能够检索相似图像以及原图像的子图像，它能够容忍图像发生变化（例如：平移、旋转、缩放、仿射变换等）。常用的基于局部特征的图像检索方法包括：基于特征匹配的检索方法、基于BOW(Bag-of-Visual Words，视觉词袋)的检索方法。基于特征匹配的检索方法首先从图像中提取出局部特征向量，然后通过匹配方法（例如欧氏距离、直方图相交等）进行特征向量匹配，最后根据匹配成功的特征点对数来判断两张图像是否相似。这种方法的缺点在于：特征向量维数较高且待匹配图片集大时运算量会很大，从而检索时间耗费较大。常用的局部特征提取算子有：Harris,Laplace,DOG、Hessian等，局部特征描述算子有：MSER,SIFT等。

基于BOW(Bag-of-Visual Words，视觉词袋)的图像检索方法是在基于特征匹配方法的基础上进行修改得到的。其思想在于将文本检索领域中的词袋模型和倒排索引技术引入视觉图像检索中，目的在于使得检索速度能够得到较大的提升。该方法包含两个阶段：离线训练和在线检索。离线训练阶段用于生成视觉词典，并对数据库图片建立倒排索引；在线检索阶段对查询图片提取特征向量并量化成视觉词，然后通过倒排索引进行快速查询，返回相关的图片。基于BOW的图像检索方法的优点是检索速度快，适用于图片数目较大的图像检索，且其具有基于局部特征匹配方法的优点。但其缺点在于存在较大的量化误差，从而会存在较多的错误匹配。

因此，为了避免非法节目或视频的传播，需要对视频内容进一步进行分析检测，以便及时发现视频中出现的敏感图片。

发明内容

本发明的实施例提供了一种敏感图片搜索方法和装置，及时有效地查找视频中的敏感图片。

为达到上述目的，采用如下技术方案：

本发明公开了一种敏感图片的搜索方法，包括如下步骤：

提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

优选的，所述倒排索引建立包括：

对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量;然后对所有特征向量进行聚类，生成的聚类中心分别对应视觉词，从而构成视觉词典；

用所述视觉词典对敏感图片库中的所有敏感图片进行量化，形成倒排索引。

优选的，所述用所述视觉词典对敏感图片库中的所有敏感图片进行量化时，

精简视觉词典，即对所有聚类中心下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的区分能力较弱的视觉词删除掉，其中T为预设阈值，其值根据生成视觉词典的视觉词分布结果来选取；

采用比值法来对所述特征向量量化到精简后的视觉词典中的视觉词进行评价；一个特征向量能够被量化为对应的视觉词，当且仅当所述特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与所述特征向量之间的距离或相似度的比值Ratio_dist，满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和

分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词；Dist＜feature,

和Dist＜feature,

分别表示所述特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；T_ratio(0＜T_ratio≤1)是一个预设的阈值，其值由生成视觉词典阶段统计正确量化结果而得。

优选的，所述视觉词为一个高维向量，采用近似K-means方法来进行聚类。

优选的，所述计算待查询图片与各敏感图片之间的相似度时，采用加权直方图相交方法来衡量图片之间的相似度；将两张图片的BOW特征向量进行归一化，对两个BOW特征向量进行IDF加权，对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。

优选的，所述对初排序得到的各敏感图片进行筛选时，利用图像特征点之间的局部分布关系以及全局几何约束条件来删除错误匹配的特征点对。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置；K值可以取任意不为0的正数，M≤K。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致；其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用直方图进行统计；其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δorient_all；

对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当：

|Δscale_A，a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。优选的，对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

优选的，所述敏感度判断包括：当且仅当结果图片与既定敏感图片库中的敏感图片之间匹配成功的特征点数目N_I,S与所述敏感图片上的特征点数目的比值大于敏感阈值，则为敏感图片，输出报警信号。

本发明还公开了一种敏感图片的搜索装置，包括如下模块：

提取模块，用于提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

查找模块，用于根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

相似度评价模块，用于计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

筛选模块，用于利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

优选的，所述倒排索引建立包括：

对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量;然后对所有特征向量进行聚类，生成的聚类中心分别对应视觉词，从而构成视觉词典；

用所述视觉词典对敏感图片库中的所有敏感图片进行量化，形成倒排索引。

优选的，所述用所述视觉词典对敏感图片库中的所有敏感图片进行量化时，

精简视觉词典，即对所有聚类中心下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的区分能力较弱的视觉词删除掉，其中T为预设阈值，其值根据生成视觉词典的视觉词分布结果来选取；

采用比值法来对所述特征向量量化到精简后的视觉词典中的视觉词进行评价；一个特征向量能够被量化为对应的视觉词，当且仅当所述特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与所述特征向量之间的距离或相似度的比值Ratio_dist，满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和

分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词；Dist＜feature,和Dist＜feature,

分别表示所述特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；T_ratio(0＜T_ratio≤1)是一个预设的阈值，其值由生成视觉词典阶段统计正确量化结果而得。

优选的，所述视觉词为一个高维向量，采用近似K-means方法来进行聚类。

优选的，所述相似度评价模块中，采用加权直方图相交方法来衡量图片之间的相似度；将两张图片的BOW特征向量进行归一化，对两个BOW特征向量进行IDF加权，对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。

优选的，所述筛选模块中，对初排序得到的各敏感图片进行筛选时，利用图像特征点之间的局部分布关系以及全局几何约束条件来删除错误匹配的特征点对。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置；K值可以取任意不为0的正数，M≤K。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致；其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用直方图进行统计；其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δoroent_all；

对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当：

|Δscale_A,a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。

优选的，装置还包括判断模块，用于对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

优选的，所述敏感度判断包括：当且仅当结果图片与既定敏感图片库中的敏感图片之间匹配成功的特征点数目N_I,S与所述敏感图片上的特征点数目的比值大于敏感阈值，则为敏感图片，输出报警信号。

本发明实施例提供的一种敏感图片搜索方法和装置，将当前视频帧图像或关键帧图像作为查询图片，到敏感图片库中进行检索并根据检索结果判断该查询图片是否是敏感图片或包含敏感图片，并输出检测结果。利用基于内容的图像分析和检索技术来实现对视频内容中的敏感图片或画面进行搜索，其避免了大量的人力，同时具备很好的实时性，能够在视频播放的同时进行实时分析检测，一旦发现视频内容中出现敏感图片或画面，则立即发出警告信号。

附图说明

图1为本发明实施例一提供的一种敏感图片搜索方法的流程图；

图2为本发明实施例一提供的一种敏感图片搜索方法中离线建立索引的流程图；

图3为本发明实施例一提供的一种敏感图片搜索方法中生成视觉词典的示意图；

图4为本发明实施例一提供的一种敏感图片搜索方法中的特征向量量化成视觉词的示意图；

图5为本发明实施例一提供的一种敏感图片搜索方法中的倒排索引示意图；

图6为本发明实施例一提供的一种敏感图片搜索方法中的局部几何约束之K近邻位置约束示意图；

图7为本发明实施例一提供的一种敏感图片搜索方法中的局部几何约束之尺度和主方向约束示意图；

图8为本发明实施例一提供的一种敏感图片搜索方法中的全局几何约束示意图；

图9为本发明实施例二提供的一种敏感图片搜索装置的模块结构图。

具体实施方式

下面结合附图对本发明实施例一种敏感图片搜索方法和装置进行详细描述。

本专利提出了一种基于内容的敏感图片搜索方法和装置。将当前视频帧图像或关键帧图像作为查询图片，到敏感图片库中进行检索并根据检索结果判断该查询图片是否是敏感图片或包含敏感图片，并输出检测结果。

本发明公开了一种敏感图片搜索方法，如图1所示，包括如下步骤：

步骤100：离线建立索引；

离线建立索引阶段包括了如下四个主要步骤，如图2所示：

201、建立视觉词典（Visual Vocabulary）

对于既定的敏感图片库中的每张敏感图片，都将其用一个BOW（Bag-of-Visual Words）模型进行描述，即每张图片用一个BOW特征向量来表达，形成了一种对图片的简洁统一的描述方式。

建立视觉词库的过程如下：

首先，对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量。对于局部特征点检测算子常用的有Harris算子、Laplace算子、DOG算子、Hessian算子、MSER算子、Harris-Laplace算子、Hessian-Affine算子等，本方法中采用MSER（Maximally Stable Extremal Regions，最大稳定极值区域）特征检测算子来进行局部特征点检测，并采用128维的SIFT(Scale-invariant Feature Transform,尺度不变特征变换)算子来对检测到的特征点的特征向量进行描述。当然也可以采用其他特征向量描述算子，例如SURF、BRIEF算子等。

然后对所有SIFT特征向量进行聚类，生成K个聚类中心，这K个聚类中心就对应了K个视觉词（Visual Word），而这K个视觉词就构成了视觉词典，该量化过程如图3所示。每一个视觉词为一个128维的SIFT特征向量。在本方法中，K的取值可以是任何一个正整数，通常取2000到1000000中的某个数，例如取K=20000。K值越小，错误匹配的特征点对就越多，K值越大，正确匹配的特征点对就越少。本方法采用近似K-means方法来进行聚类，即通过随机森林方法的近似最近邻查找方法来查找某个特征向量，并在K个聚类中心中的最近邻划分，从而形成含有K个视觉词的视觉词典。当然，其他实施例中也可以采用其他近似最近邻查找方法。

202、精简视觉词典

生成了一个含有K个视觉词的视觉词典后，这K个视觉词对应了K个聚类中心，每个聚类中心包含的属于该类的特征向量个数或多或少。某个聚类中心（即视觉词）下的特征向量个数越多，则表明该视觉词在敏感图片库中出现次数越多，这就表示该视觉词的区分能力越弱。因此，为了消除这类区分能力较弱的视觉词，本方法对所有聚类中心（即视觉词）下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的视觉词删除掉。T值可以取任意正数并根据生成视觉词典的视觉词分布结果来选取，在本实施例中，T=5。精简后的视觉词典的好处在于：减少误匹配点对数的同时，可以减小词典所需的存储空间。

203、建立倒排索引

完成视觉词典的精简后，用精简后的视觉词典来对敏感图片库中的所有敏感图片进行量化。首先，对每张敏感图片提取SIFT特征向量集合，将每个特征向量量化到对应的视觉词。特征向量量化为视觉词的示意图如图4所示，图中A、B、C、D、E、F六个特征点经过量化后分别用其对应的视觉词来表示。例如，特征点B的特征向量量化后的视觉词为word_id6。在本专利中，采用基于随机森林方法的近似K近邻查找方法来查找对应的特征向量所属的视觉词；当然，其他实施例中也可以采用其他近似最近邻查找方法。特征向量量化到视觉词时存在一定的误差，为了减少量化误差，采用比值法来对特征向量量化到视觉词时的有效性和可靠性进行考察。一个特征向量能够被量化到某个视觉词，当且仅当该特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与该特征向量之间的距离或相似度的比值Ratio_dist满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和

分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词。Dist＜feature,

和Dist＜feature,分别表示特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；i、j为正整数；T_ratio(0＜T_ratio≤1)是一个预设的阈值，在本实施利中，阈值T_ratio=0.8。

当该敏感图片上的所有特征向量都量化完后，便得到了关于该图片的一个BOW描述。该BOW描述可看成是一种更简洁的特征向量，该特征向量具有稀疏的特点。因此，采用倒排索引技术可以加快敏感图片检索的速度。在本实施例中，倒排索引的表项为视觉词word_id，每个视觉词word_id对应的倒排链表记录了该视觉词的信息。每一个倒排链表中的索引表项记录了视觉词word_id的一次出现信息：包含该视觉词word_id的图片id，特征点的位置（x,y）、尺度（scale）和主方向（orient）。建立好的倒排索引如图5所示。

204.计算视觉词的IDF权重

完成建立一个记录所有敏感图片特征信息的倒排索引后，通过查看倒排索引可知，每个视觉词在敏感图片库中出现的次数是不一样的，有些视觉词在大部分的敏感图片中都出现了，有些则只在某几张敏感图片中出现。因此，不同的视觉词对于敏感图片库中的敏感图片的区分度是有区别的。在整个敏感图片库中出现次数越少的视觉词，其包含的信息越多，即其贡献度越大；反之，出现次数越多的视觉词，其信息越少，贡献也就越小。因此，为了对视觉词典中的视觉词的贡献度进行区分，对BOW特征向量进行加权，即赋予每个视觉词不同的权重。权重w_i的定义如下：

$w_i=\log \frac{N}{n_i}$

其中，N代表了敏感图片的总数；n_i表示第i个视觉词出现过的敏感图片的个数。

步骤101：提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

建立了视觉词典和敏感图片特征的倒排索引之后，将利用已建立的视觉词典和倒排索引来完成待查询图片（即输入的视频帧图像）的快速检索和判断。首先，提取待查询图片上的SIFT特征向量集合并将其量化生成视觉词集合，即BOW特征向量（在本方法中，采用基于随机森林方法的近似最近邻查找方法来查找对应的特征向量所属的视觉词），BOW向量中的每个向量元素代表了对应的视觉词在该图片上的出现次数。

步骤102：根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

根据视觉词集合查找倒排索引，得到这些视觉词出现过的敏感图片，以及视觉词的基本信息（位置、尺度、主方向）。查找完倒排索引后，得到多张与查询图片相关的敏感图片。

步骤103：计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

本方法中采用直方图相交方法来衡量两张图片之间的相似度，步骤如下：首先将两张图片的BOW特征向量进行归一化，这里采用L1范式方法；然后对两个BOW特征向量进行IDF加权，即乘上IDF权重系数（离线建立索引阶段已获得IDF加权值）；最后对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。在本方法中，除了使用直方图相交法外，还可使用向量空间模型、欧氏距离判断等相似度衡量方法。

当查询图片与所有相关敏感图片都计算完相似度后，根据相似度值从大到小进行排序，排名越靠前的敏感图片说明跟查询图片越相似。

步骤104：利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

得到了按相似度排序的多张敏感图片后，由于采用BOW来描述图像时存在量化误差，不同的SIFT特征向量可能会量化到同一个视觉词。因此，通过相似度排序后得到的这些敏感图片中存在着较多的错误匹配图片。

为了消除这类影响，本实施例利用图像特征点之间的局部分布关系以及全局的几何约束条件来删除错误匹配的特征点对，即只有满足局部和全局几何约束条件的特征点对匹配成功才被认为是有效的匹配对。

1）局部几何约束——K近邻位置约束

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>是有效的，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置。本实施例中，K值可以取任意不为0的正数，M≤K。例如可以取K=5，M=1。如图6所示，图片P中的特征点A与图片Q中的特征点a是一对有效的匹配对，因为A点的邻域（虚线圆圈）中的C、D、E三个特征点分别与a点邻域中的c、d、e三个特征点匹配（虚线连接），根据K近邻位置约束的判断条件可知A与a是一对有效匹配对（实线连接）。

2）局部几何约束——尺度和主方向变化一致

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>是有效的，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致。其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

判断过程如下：

首先，对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用加权直方图进行统计。其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δorient_all。

然后，对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>是有效的，当且仅当：

|Δscale_A,a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。

如图7所示，图片P和Q中的特征点对<A,a>、<B,b>、<C,c>、<D,d>分别匹配成功（实线连接），且它们的尺度和方向变化基本一致（即满足阈值T_scale和T_orient）。而特征点对<E,e>的尺度变化与方向变化差值跟其他四对特征点对的变化不一致（不满足阈值T_scale和T_orient），因而<E,e>将被认为是无效的匹配点对（虚线连接）。

3）全局几何约束

通过局部几何约束条件的进一步筛检后，重新得到了新的敏感图片排序结果（按照匹配成功的特征点对的数目从大到小进行排序）。该排序结果中去除掉了大部分错误匹配的敏感图片，然而，由于局部几何约束条件是一个弱约束条件，因此在重排序后的结果中还是会存在一些错误匹配图片。为此，本实施例对已经重排序过的检索结果利用更强的几何约束条件进行再次排序，使得到的结果更加准确。

基于全局几何约束的重排序过程如下：

对于两张匹配的图片<P,Q>，每次取其中的三对匹配特征点对，计算出一个仿射变换矩阵，然后将P中剩余的点分别通过变换矩阵计算出其在Q上的对应位置，比较这些映射点与其在Q上的匹配点之间的位置距离，如果距离满足预设阈值，则认为是一对有效的匹配点对。重新选取其他三个特征点对，重复以上过程，最终便得到P和Q上大多数匹配特征点对都满足的某个变换矩阵，该变换矩阵就对应了P和Q之间的仿射变换，满足该变换矩阵的点对为有效的点对。在本实施例中，采用RANSAC（Random Sample Consensus，随机抽样一致性算法）算法来实现上述选取过程。

如图8所示，图像P和Q中的特征点对<A,a>、<B,b>、<C,c>、<D,d>分别匹配成功（实线连接），且满足仿射变换关系，而特征点对<E,e>（虚线连接）则不满足该仿射变换关系。因而，特征点对<E,e>是无效的匹配点对，将被去除掉。

由于完成全局约束算法的运算时间花费较大，因此，在实际中只对排在前K名的候选图片进行全局约束计算（K>0），K值的选取视机器的计算能力和资源而定，本实施例中，K=10。

步骤105：对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

经过局部约束和全局约束的两次重排序后，得到了最终的图片搜索结果。由于特征提取和量化过程中存在误差，可能会存在错误匹配的图片，即当前查询图像不是敏感图片。因此，需要在检索返回结果的基础上，进行敏感图片判断，以确定当前查询图像是否是真实的敏感图片。

判断敏感图片：当前查询图像I是一张敏感图片S，当且仅当I与S之间匹配成功的特征点数目N_I,S与S上的特征点数目N_S的比值R大于对应的阈值T_num(0＜T_num≤1)：

$(R=\frac{N_{I,S}}{N_S})>T_{\mathrm{num}}$

在本实施例中，T_num取值为0.3。

通过以上步骤后，就能够对当前输入的视频图像进行分析，判断其是否是或者包含了敏感图片数据库中的某张/些敏感图片。如果存在敏感图片，则输出报警信号。

本发明还公开了一种敏感图片的搜索装置，如图9所示，包括如下模块：

提取模块901，用于提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

查找模块902，用于根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

相似度评价模块903，用于计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

筛选模块904，用于利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

优选的，所述倒排索引建立包括：

对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量;然后对所有特征向量进行聚类，生成的聚类中心分别对应视觉词，从而构成视觉词典；

用所述视觉词典对敏感图片库中的所有敏感图片进行量化，形成倒排索引。

优选的，所述用所述视觉词典对敏感图片库中的所有敏感图片进行量化时，

精简视觉词典，即对所有聚类中心（即视觉词）下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的区分能力较弱的视觉词删除掉，其中T为预设阈值，其值根据生成视觉词典的视觉词分布结果来选取；

采用比值法来对所述特征向量量化到精简后的视觉词典中的视觉词进行评价；一个特征向量能够被量化为对应的视觉词，当且仅当所述特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与所述特征向量之间的距离或相似度的比值Ratio_dist，满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词；Dist＜feature,和Dist＜feature,

分别表示所述特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；T_ratio(0＜T_ratio≤1)是一个预设的阈值，其值由生成视觉词典阶段统计正确量化结果而得。

优选的，所述视觉词为一个高维向量，采用近似K-means方法来进行聚类。

优选的，所述相似度评价模块中，采用加权直方图相交方法来衡量图片之间的相似度；将两张图片的BOW特征向量进行归一化，对两个BOW特征向量进行IDF加权，对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。

优选的，所述筛选模块中，对初排序得到的各敏感图片进行筛选时，利用图像特征点之间的局部分布关系以及全局几何约束条件来删除错误匹配的特征点对。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置；K值可以取任意不为0的正数，M≤K。

优选的，所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致；其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用直方图进行统计；其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δorient_all；

对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当：

|Δscale_A,a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。

优选的，装置还包括判断模块，用于对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

优选的，所述敏感度判断包括：当且仅当结果图片与既定敏感图片库中的敏感图片之间匹配成功的特征点数目与所述敏感图片上的特征点数目的比值大于敏感阈值，则为敏感图片，输出报警信号。

本发明实施例提供的一种敏感图片搜索方法和装置，将当前视频帧图像或关键帧图像作为查询图片，到敏感图片库中进行检索并根据检索结果判断该查询图片是否是敏感图片或包含敏感图片，并输出检测结果。利用基于内容的图像分析和检索技术来实现对视频内容中的敏感图片或画面进行搜索，其避免了大量的人力，同时具备很好的实时性，能够在视频播放的同时进行实时分析检测，一旦发现视频内容中出现敏感图片或画面，则立即发出警告信号。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种敏感图片的搜索方法，其特征在于，包括如下步骤：

提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

2.根据权利要求1所述的方法，其特征在于：所述倒排索引建立包括：

对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量;然后对所有特征向量进行聚类，生成的聚类中心分别对应视觉词，从而构成视觉词典；

用所述视觉词典对敏感图片库中的所有敏感图片进行量化，形成倒排索引。

3.根据权利要求2所述的方法，其特征在于：所述用所述视觉词典对敏感图片库中的所有敏感图片进行量化时，

精简视觉词典，即对所有聚类中心下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的区分能力较弱的视觉词删除掉，其中T为预设阈值，其值根据生成视觉词典的视觉词分布结果来选取；

采用比值法来对所述特征向量量化到精简后的视觉词典中的视觉词进行评价；一个特征向量能够被量化为对应的视觉词，当且仅当所述特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与所述特征向量之间的距离或相似度的比值Ratio_dist，满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和

分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词；Dist＜feature,

和Dist＜feature,

分别表示所述特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；T_ratio(0＜T_ratio≤1)是一个预设的阈值，其值由生成视觉词典阶段统计正确量化结果而得。

4.根据权利要求2所述的方法，其特征在于：所述视觉词为一个高维向量，采用近似K-means方法来进行聚类。

5.根据权利要求1所述的方法，其特征在于：所述计算待查询图片与各敏感图片之间的相似度时，采用加权直方图相交方法来衡量图片之间的相似度；将两张图片的BOW特征向量进行归一化，对两个BOW特征向量进行IDF加权，对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。

6.根据权利要求1所述的方法，其特征在于：所述对初排序得到的各敏感图片进行筛选时，利用图像特征点之间的局部分布关系以及全局几何约束条件来删除错误匹配的特征点对。

7.根据权利要求6所述的方法，其特征在于：所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置；K值可以取任意不为0的正数，M≤K。

8.根据权利要求6所述的方法，其特征在于：所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致；其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用直方图进行统计；其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δorient_all；

对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当：

|Δscale_A,a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。

9.根据权利要求1所述的方法，其特征在于，还包括：对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

10.根据权利要求9所述的方法，其特征在于：所述敏感度判断包括：当且仅当结果图片与既定敏感图片库中的敏感图片之间匹配成功的特征点数目N_I,S与所述敏感图片上的特征点数目的比值大于敏感阈值，则为敏感图片，输出报警信号。

11.一种敏感图片的搜索装置，其特征在于，包括如下模块：

提取模块，用于提取待查询图片上的局部特征向量集合并将图片生成为特征向量；

查找模块，用于根据特征向量查找既定敏感图片库的倒排索引，得到与查询图片相关的各敏感图片；

相似度评价模块，用于计算待查询图片与各敏感图片之间的相似度，并按相似度对各敏感图片进行初排序；

筛选模块，用于利用图片特征点对初排序得到的各敏感图片进行筛选，如得到返回的结果图片为敏感图片，则报警。

12.根据权利要求11所述的装置，其特征在于：所述倒排索引建立包括：

对每张敏感图片进行局部特征点检测并提取出每个特征点空间邻域区域上的特征向量;然后对所有特征向量进行聚类，生成的聚类中心分别对应视觉词，从而构成视觉词典；

用所述视觉词典对敏感图片库中的所有敏感图片进行量化，形成倒排索引。

13.根据权利要求12所述的方法，其特征在于：所述用所述视觉词典对敏感图片库中的所有敏感图片进行量化时，

精简视觉词典，即对所有聚类中心下的特征向量个数进行统计和排序，将类中特征向量个数排在前T%的区分能力较弱的视觉词删除掉，其中T为预设阈值，其值根据生成视觉词典的视觉词分布结果来选取；

采用比值法来对所述特征向量量化到精简后的视觉词典中的视觉词进行评价；一个特征向量能够被量化为对应的视觉词，当且仅当所述特征向量在视觉词词典中进行2近邻查找时，返回的两个视觉词与所述特征向量之间的距离或相似度的比值Ratio_dist，满足如下条件：

$({\mathrm{Ratio}}_{\mathrm{dist}}=\frac{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_i^1>}{\mathrm{Dist}<\mathrm{feature},{\mathrm{word}}_j^2>})\&le;T_{\mathrm{ratio}}$

其中，

和

分别表示特征向量在视觉词典中查找返回的最近邻和次近邻视觉词；Dist＜feature,

和Dist＜feature,

分别表示所述特征向量feature与其最近邻视觉词和次近邻视觉词之间的距离值；T_ratio(0＜T_ratio≤1)是一个预设的阈值，其值由生成视觉词典阶段统计正确量化结果而得。

14.根据权利要求12所述的装置，其特征在于：所述视觉词为一个高维向量，采用近似K-means方法来进行聚类。

15.根据权利要求11所述的装置，其特征在于：所述相似度评价模块中，采用加权直方图相交方法来衡量图片之间的相似度；将两张图片的BOW特征向量进行归一化，对两个BOW特征向量进行IDF加权，对加权后的两个特征向量进行直方图相交运算，得到两张图片的相似度。

16.根据权利要求11所述的装置，其特征在于：所述筛选模块中，对初排序得到的各敏感图片进行筛选时，利用图像特征点之间的局部分布关系以及全局几何约束条件来删除错误匹配的特征点对。

17.根据权利要求16所述的方法，其特征在于：所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)在位置空间上的K近邻中至少存在M个特征点与特征点a(x_a,y_a)的K近邻中任意M个特征点匹配（即同属于相同的视觉词）；其中，A和a分别位于不同的图片上，(x,y)为特征点在图像中的空间位置；K值可以取任意不为0的正数，M≤K。

18.根据权利要求16所述的方法，其特征在于：所述利用图像特征点之间的局部分布关系时，特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当特征点A(x_A,y_A)和特征点a(x_a,y_a)所对应的尺度变化Δscale_A,a和主方向变化Δorient_A,a与大多数匹配点对之间的变化保持一致；其中，

${\mathrm{\&Delta;scale}}_{A,a}=\log \frac{{\mathrm{scale}}_A}{{\mathrm{scale}}_a},{\mathrm{\&Delta;orient}}_{A,a}=|{\mathrm{orient}}_A-{\mathrm{orient}}_a|$

对两张匹配图片上的所有匹配点对计算尺度变化和主方向变化值，并利用直方图进行统计；其中，直方图的峰顶peak就对应了大多数匹配点对的尺度变化Δscale_all和主方向变化Δorient_all；

对所有匹配点对进行如下判断：

特征点匹配对<A(x_A,y_A),a(x_a,y_a)>有效，当且仅当：

|Δscale_A,a-Δscale_all|＜T_scale且|Δorient_A,a-Δorient_all|＜T_orient

其中，T_scale和T_orient为预设阈值，T_scale＞0,T_orient＞0；orient_A和orient_a分别为两待匹配图片的主方向；scale_A和scale_a分别为两待匹配图片的尺度。

19.根据权利要求11所述的装置，其特征在于，还包括判断模块，用于对返回的结果图片进行敏感图片判断，如判断为敏感图片，则输出报警信号。

20.根据权利要求19所述的装置，其特征在于：所述敏感度判断包括：当且仅当结果图片与既定敏感图片库中的敏感图片之间匹配成功的特征点数目N_I,S与所述敏感图片上的特征点数目的比值大于敏感阈值，则为敏感图片，输出报警信号。

Images