CN101539944B

CN101539944B - 基于Haar特征匹配的数字图像内容搜索方法

Info

Publication number: CN101539944B
Application number: CN2009100976126A
Authority: CN
Inventors: 蒋一波; 王万良; 郑建炜; 陈伟杰; 王翊
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2009-04-10
Filing date: 2009-04-10
Publication date: 2010-12-08
Anticipated expiration: 2029-04-10
Also published as: CN101539944A

Abstract

一种基于Haar特征匹配的数字图像内容搜索方法，包括以下步骤：(1)初始化特征模板与数字图库；(2)对给定原始图像进行预处理；(3)对原始图进行Haar特征统计；(4)在图库中搜索与原始图相似的图像。对用户输入的原始图像进行分析，提取原始图像的内容特征，并采用预定义的各类Haar特征来对原始图像进行匹配成功次数统计，找到与用户所提供的原始图像相似或者包含原始图像的数字图像搜索结果。本发明搜索方式直观、搜索结果有效性好。

Description

基于Haar特征匹配的数字图像内容搜索方法

技术领域

本发明涉及一种数字图像内容搜索方法。

背景技术

现今，各种与图像相关的研究与应用领域都在快速发展，例如可视化娱乐、教育、生物医学、犯罪预防和图像数据库。这些大规模用数字信息存储的数据给基于内容的图像索引和搜索带来了挑战性的搜索问题。

现在对数字图像的检索方法都是通过关键字来实现的，即对通过与该数字图像相关的文字描述内容来标定该图像内容的特征，从而加以分类和判别。在搜索过程中，人们首先输入所要搜索的图像的内容关键字信息，然后搜索系统根据这些关键字信息，到图像库中的图像信息描述中进行查找，如果有与所输入的关键字所匹配的描述信息，则认为该图像内容就是所要找的内容，将其返回给用户。随着图像库的不断增大，以及图像内容的不断复杂，基于关键字的图像内容搜索方式逐渐无法满足对图像内容搜索的需要。因此，研发一种新的能够对数字图像内容进行描述和搜索的方式就显得非常必要了。

近些年来，对基于内容的图像搜索领域的研究开始变得非常活跃。简单来说，基于内容的图像搜索还是一种在理论上探讨的技术，其应当能够根据图像的可视内容来协助管理数字图像库。在基于内容的图像搜索的研究中包含了很多不同的领域，例如计算机视觉、机器学习、信息获取、人机交互、数据挖掘、数据库管理、信息理论等等。

尽管已经有了大量的相关论文、原型和一些商用解决方案，但是图像内容搜索的核心问题至今还未得到解决。这里面有一些开放性的问题，例如在用图像处理算法所提取的图像特征与相关语义概念之间的鸿沟。早期的图像内容搜索研究都是以提取图像的全局特征为主的，但是这些方法都不如基于对象的方法效果好。在很多情况下，用户是要搜索图像中感兴趣的部分或者对象。这使得现在的研究者不再把图像作为一个整体，而是将图像分为局部或一些感兴趣的对象来处理。在具体的搜索引擎实现方面，GOOGLE，微软，BAIDU等国内外大公司都在该方面投入了巨大的人力物力，但是现在所开发的系统均还不能达到实用的程度。

在边沿检测中，常用的一种模板是Sobel算子。Sobel算子有两个，一个是检测水平边沿的；另一个是检测垂直平边沿的。由于Sobel算子是滤波算子的形式，用于提取边缘，可以利用快速卷积函数，简单有效，因此应用广泛。

发明内容

为了克服现有的基于关键字描述的图像搜索方式的搜索方式不直观、搜索效果有效性差的不足，本发明提供一种搜索方式直观、搜索结果有效性好的基于Haar特征匹配的数字图像内容搜索方法。

本发明解决其技术问题所采用的技术方案是：

一种基于Haar特征匹配的数字图像内容搜索方法，包括以下步骤：

(1)初始化特征模板与数字图库

(1.1)初始化Haar匹配模板库；

(1.2)从初始化后的模板库中载入预定义Haar模板，载入后的模板集合为模板集P；

(1.3)确认并初始化待搜索的数字图像库Y；

(1.4)用户给出并指定待搜索的原始图像T；

(2)对给定原始图像进行预处理

(2.1)原始图像T为RGB位图，以每个像素点的红、绿、蓝三色的平均值作为该像素点的灰度值，转换原始图像T为其灰度图G；

(2.2)统计灰度图G中所有像素点灰度的平均值，以该平均值为参照，凡是灰度大于平均值的像素点设置为黑色，灰度小于等于平均值的像素点设置为白色，则得到灰度图G的二值化图I；

(2.3)采用Sobel边界算子对二值化图I进行处理，使得二值化图I中仅保留边界位置的像素点；

(3)对原始图进行Haar特征统计

(3.1)从Haar模板集P中依次取P_i，其中i＝1..n，将图I中的像素点逐个与模板集中的P_i进行匹配；

(3.2)统计在图I中，所有模板P_i匹配成功的总次数R；

(4)在图库中搜索与原始图相似的图像

(4.1)依次取图库中的图像Y_k，其中k＝1..n，并遍历所有的图像；

(4.2)图像Y_k为RGB位图，以每个像素点的红、绿、蓝三色的平均值作为该像素点的灰度值，转换图像Y_k为灰度图K_k；

(4.3)统计灰度图K_k中所有像素点灰度的平均值，以该平均值为参照，凡是灰度大于平均值的像素点设置为黑色，灰度小于等于平均值的像素点设置为白色，得到灰度图K_k的二值化图Z_k；

(4.4)采用Sobel边界计算方法处理图Z_k，使得二值化图Z_k中仅保留边界位置的像素点；

(4.5)从Haar模板集P中依次取P_i，其中i＝1..n，对图Z_k中的像素点逐个与模板集中的P_i进行匹配；

(4.5)统计在图Z_k中，所有模板P_i匹配成功的总次数R’；

(4.6)依据判别式：Abs(R-R’)/R＜10％来判别原始图像T与图库中的图像Y_k是否相似，其中函数Abs()表示取绝对值，如果判别式为成立，表示相似，输出图像Y_k；如果判别式不成立，则表示不相似；

(4.7)循环以上步骤，得到并输出图库中所有与用户给定原始图像相似的图形，得到搜索结果。

本发明的工作原理是：现今各种与图像相关的研究与应用领域都在快速发展，这些大规模用数字信息存储的数据给基于内容的图像索引和搜索带来了挑战性的搜索问题。现在对数字图像的检索方法都是通过关键字来实现的，即对通过与该数字图像相关的文字描述内容来标定该图像内容的特征，从而加以分类和判别。基于关键字的图像搜索方式存在比较大的弊端，即用户很难用语言来精确描述所需查找的图像的特征。而且，随着图像库的不断增大，以及图像内容的不断复杂，基于关键字的图像内容搜索方式逐渐无法满足对图像内容搜索的需要。因此，研发一种新的能够对数字图像内容进行描述和搜索的方式就显得非常必要了。本发明将Haar特征匹配应用于图像内容搜索中，利用Haar特征的简易操作特性，为原始图像和搜索图像的相似性计算提供了可能。

Haar特征是一组基础的分类器模板，用于对特定信息内容按照预定义的模板来进行匹配。Haar特征是一种非常基础的匹配模板，但是其具有计算速度上的优势。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。在确定了特征形式后Haar特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征。

本发明提出一种基于Haar特征匹配的数字图像内容搜索方法，在图像内容搜索中引入了基于Haar特征，并给出了如何依据原始图像在图库中进行相似图像查找的过程。该方法能够对用户输入的原始图像进行分析，提取原始图像的内容特征，并采用预定义的各类Haar特征来对原始图像进行匹配成功次数统计，找到与用户所提供的原始图像相似或者包含原始图像的数字图像搜索结果。该发明能够有效的解决数字图像内容搜索中现有方法的缺陷，能够使用户无需用文字来对所要搜素的图像内容进行文字抽象描述，从而使得搜索过程更加自然和直观，而且能够提供更好的搜索结果。

本发明的有益效果主要表现在：1、搜索方式直观；2、搜索结果有效；3、过程实现方便。

附图说明

图1是基于Haar特征匹配的数字图像内容搜索方法的流程图。

图2是基于Haar特征匹配的数字图像内容搜索系统的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，基于Haar特征匹配的数字图像内容搜索方法，包括以下步骤：

第一步：初始化Haar匹配模板库，确认模板库可用。

第二步：从初始化后的模板库中载入预定义Haar模板，载入后的模板集合为模板集P。

第三步：确认并初始化待搜索的数字图像库Y，为之后对图像库的遍历做好准备。

第四步：用户给出并指定待搜索的原始图像T。

第五步：原始图像T为RGB位图，以每个像素点的红、绿、蓝三色的平均值作为该像素点的灰度值，转换原始图像T为其灰度图G。

第六步：统计灰度图G中所有像素点灰度的平均值，以该平均值为参照，凡是灰度大于平均值的像素点设置为黑色，灰度小于等于平均值的像素点设置为白色，则得到灰度图G的二值化图I。

第七步：采用Sobel边界算子对二值化图I进行处理，使得二值化图I中仅保留边界位置的像素点。

第八步：从模板集P中依次取P_i(i＝1..n)。

第九步：将图I中的像素点逐个与模板集中的P_i进行匹配。

第十步：判别模板库中的Haar模板是否已经全部遍历，如果还未遍历完，则跳转至第八步。

第十一步：统计在图I中，所有模板P_i匹配成功的总次数R。

第十二步：依次取图库中的图像Y_k(i＝1..n)。

第十三步：图像Y_k为RGB位图，以每个像素点的红、绿、蓝三色的平均值作为该像素点的灰度值，转换图像Y_k为灰度图K_k。

第十四步：统计灰度图K_k中所有像素点灰度的平均值，以该平均值为参照，凡是灰度大于平均值的像素点设置为黑色，灰度小于等于平均值的像素点设置为白色，则得到灰度图K_k的二值化图Z_k。

第十五步：采用Sobel边界计算方法处理图Z_k，使得二值化图Z_k中仅保留边界位置的像素点。

第十六步：从Haar模板集P中依次取P_i(i＝1..n)。

第十七步：对图Z_k中的像素点逐个与模板集中的P_i进行匹配。

第十八步：判别模板库中的Haar模板是否已经全部遍历，如果还未遍历完，则跳转至第十六步。

第十九步：统计在图Z_k中，所有模板P_i匹配成功的总次数R’。

第二十步：依据判别式“Abs(R-R’)/R＜10％”来判别原始图像T与图库中的图像Y_k是否相似。如果判别式为假，则跳转至第二十二步。(注：函数Abs()表示取绝对值)。

第二十一步：输出图像Y_k。

第二十二步：判别是否已经遍历完图库中的所有待搜索图像，如果还未遍历完，则跳转至第十二步。

第二十三步：搜索结束。

参照图2，应用本方法实现的一种基于Haar特征匹配的数字图像内容搜索系统，主要包括：内容搜索子系统、用户接口子系统。

所述的内容搜索子系统包括：

(1)图像库管理模块：图像库管理模块用于与现有图像库系统接口，能够从现有图像库中读取图像列表信息和指定的图像内容。

(2)图像预处理模块：对用户输入图像与图像库中的图像进行预处理，为内容搜索工作做基础准备。

(3)Haar模板管理模块：存储、读入和初始化Haar模板的模块。

(4)内容搜索模块：对已经预处理好的原始图像和图像库中的图像进行比对，查找相似的图像。

所述的用户接口子系统包括：

(1)原始图像输入模块：给用户输入和指定原始图像的接口，允许用户提供自定义的原始图像。

(2)搜索结果图像显示模块：将搜索到的相似图像显示出来，包括图像名称、大小、建立日期等。

Claims

1.一种基于Haar特征匹配的数字图像内容搜索方法，其特征在于：所述数字图像内容搜索方法包括以下步骤：

(1)初始化特征模板与数字图库

(1.1)初始化Haar匹配模板库；

(1.2)从初始化后的模板库中载入预定义Haar模板，载入后的模板集合为Haar模板集P；

(1.3)确认并初始化待搜索的数字图像库Y；

(1.4)用户给出并指定待搜索的原始图像T；

(2)对给定原始图像进行预处理

(3)对原始图进行Haar特征统计

(3.1)从Haar模板集P中依次取P_i，其中i＝1，2，...，n，将二值化图I中的像素点逐个与模板集中的P_i进行匹配；

(3.2)统计在二值化图I中，所有模板P_i匹配成功的总次数R；

(4)在图库中搜索与原始图相似的图像

(4.1)依次取数字图像库Y中的图像Y_k，其中k＝1，2，...，m，并遍历所有的图像；

(4.4)采用Sobel边界计算方法处理二值化图Z_k，使得二值化图Z_k中仅保留边界位置的像素点；

(4.5)从Haar模板集P中依次取P_i，其中i＝1，2，...，n，对二值化图Z_k中的像素点逐个与模板集中的P_i进行匹配；

(4.5)统计在图Z_k中，所有模板P_i匹配成功的总次数R’；

(4.6)依据判别式：Abs(R-R’)/R＜10％来判别原始图像T与数字图像库Y中的图像Y_k是否相似，其中函数Abs()表示取绝对值，如果判别式为成立，表示相似，输出图像Y_k；如果判别式不成立，则表示不相似；

(4.7)循环步骤(4.1)～(4.6)，得到并输出数字图像库Y中所有与用户给定原始图像相似的图形，得到搜索结果。