CN101710340B - 一种相似图像检索方法 - Google Patents

Abstract

本发明公开了一种相似图像检索方法，其步骤包括：1)根据模板图像的存储格式将图像的像素信息读取出来，将其中非24位色的信息转换为24位真彩色；2)将模板图像缩放至制定大小，提取图像中部的主要颜色值；3)从图像的二维颜色矩阵中采样像素信息，对采样像素点取三领域的颜色平均值，减去整幅采样像素信息颜色平均值，得到采样信息特征串；4)提取采样像素信息的不变距数据；5)根据步骤1)至4)的方法提取出其他图像的主要颜色值、采样信息特征串和不变矩数据，与上述特征量进行相似度计算。本发明的方法提取了图像的关键信息，避免了噪音的干扰；克服了图像色偏，旋转，大小不一致，颜色，格式不一致的问题，相似图像的检索速度快。

Description

一种相似图像检索方法

技术领域

本发明属于计算机图像处理领域，具体涉及到一种相似图像检索方法。

背景技术

随着互联网技术和多媒体技术的快速发展，互联网上的图片内容呈现爆炸性增长趋势，目前相似图像检索发展的是日新月异。针对两张相似图片的识别越来越多地被各个行业重视及应用，比如网站图像检索、图像信息分类、图像信息抽取等等方面。人们经常需要通过对图像本身内容的检索完成相似图片的发现和定位，而如何通过图像本身的内容定位到需要找到的图片成为了需要解决的技术问题。

现有技术中也有许多用于解决图像检索的方法，如专利文献：200480043401.X介绍了一种图像检索方法，采用的方法是将基准图像通过适当的区域分割和适当的特征量选择，来提高检索的精度和速度，但是区域分割和特征量的选择都会影响到检索的精度，并且分块的计算并没有从根本上减少图像计算的数据量，通过代表色替换原色的方法存在误差难以控制。而且相似图像中还存在的问题有图像的格式不一样，大小不一样，分辨率不一样，色差不一样，图像可能存在旋转。同时可能还存在噪声等等问题，需要一种可以自动快速检索的方法。

发明内容

本发明克服了现有技术中相似图像检索存在的各种问题，提供了一种相似图像的检索方法。

本发明的技术方案概述如下：

一种相似图像检索方法，其步骤包括：

1)根据模板图像的存储格式读取图像的像素信息，将非24位色的信息转换为24位真彩色，生成图像的24位二维颜色矩阵；

2)将模板图像缩放至制定大小，提取图像中部的主要颜色值，作为特征量进行存储；

3)从图像的二维颜色矩阵中采样像素信息，对采样像素点取三邻域的颜色平均值，减去整幅采样像素信息颜色平均值，得到采样信息特征串进行存储；

4)提取采样像素信息的不变距作为特征量进行存储；

5)根据步骤1)至4)的方法提取出其他图像的主要颜色值、采样信息特征串和不变矩，与模板图像的上述特征量进行相似度计算。

所述步骤1)存储格式包括bmp，jpg，gif和png。

所述步骤1)存储格式中存在动画，提取出动画各个帧的像素信息。

所述步骤2)根据图像的像素直方图统计获得图像的中部，以中心为原点椭圆型区域的主要颜色值。

所述步骤2)之后还包括对图像进行旋转的步骤，具体为：

5.1)根据步骤2)的主要颜色值获得图像的主要颜色区域；

5.2)计算主要颜色区域的重心坐标，通过x坐标与y坐标值的算术平均值获得；

5.3)求得主要颜色区域离重心最远的像素坐标，通过x坐标与y坐标值差值的最大值代表最远像素坐标；

5.4)计算出以上两点坐标连线与X轴的角度，通过仿射的方法将图像进行旋转至与X轴方向一致。

所述步骤3)图像的二维颜色矩阵中横纵间隔10-100个像素提取一个点作为采样像素点。

所述步骤5)首先计算主要颜色值相似度，其次计算不变矩数据相似度，最后计算采样信息特征串相似度。

所述主要颜色值差异在正负3个色阶之内，判断为图像主要颜色相似。

进一步，通过7个不变矩数值判断相似度。如果差别在正负0.1之内，判断为图像相似。

所述采样特征串以八位的信息码形式进行存储，与其他图像的八位信息码逐位相减，得出的八个值取绝对值相加，得到的数值小于设定值，判断为图像相似。

与现有技术相比，本发明的有益效果是：相似图像的检索速度快，因为图像信息经过抽象，经过格式化。在计算机中最后匹配的信息只是抽象信息，避免了对图像中大量信息的处理。大大加快了速度；利用合理的图像信息的抽象方法提取了图像的关键信息，避免了噪音的干扰；克服了图像色偏，旋转，大小不一致，颜色，格式不一致的问题。

附图说明

图1为本发明相似图像的检索方法流程图

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

相似图像的检索方法流程如图1所示：

首先，读入模板图像文件，此时文件有可能是各种格式不同大小，不同内容的图片，有bmp，jpg，gif，png等等格式。

读取模板图像文件的存储格式确定模板图像文件的格式，根据判断出的格式将图像的像素信息读取出来，如果有动画提取出各个帧的像素信息。通过这一步的工作可以解决图像中格式的不同的问题。

判断图像的像素压缩格式，将调色板或其他非24位色的信息转换为24位真彩色，生成图像的24位二维颜色矩阵，包括X轴和Y轴。通过这一步解决了图像的颜色压缩，调色板及颜色存储格式差异的问题。

其次，判断图像(即二维颜色矩阵)的大小，通过对图像大小的判断确定是否需要进行缩放，如果需要缩放，进行图像的缩放比例计算，确定该比例后将图像大小缩放至制定大小。通过这一步可以解决图像大小对于图像本身的影响。

根据图像的像素直方图统计获得图像的中部，以中心为原点50％宽，50％高分别为长短轴的椭圆型区域的主要颜色值，该区域为视觉关注的重点区域。并将该值记入图像抽象信息中，作为图像相似性的重要特征量。

接下来进行图像的旋转归一化，旋转归一化的方法很多，如可以计算图像区域的长轴等方法，在这里我们选用重心加距离最远点为旋转参考，方法如下：

1.根据上述方法得到的主要颜色值获得图像的主要颜色区域；

2.计算主要颜色区域的重心坐标；具体方法简单的说可以通过x坐标与y坐标值的算术平均值获得，

令(x，y)为重心坐标，主要颜色区域的重心坐标为：

$\stackrel{\·}{x}=\left(\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{x}_i\right)/n,$ $\stackrel{\·}{y}=\left(\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{y}_i\right)/n;$

3.求得主要颜色区域离重心最远的像素坐标。可以使用求欧式距离算法，通过x和y坐标差值的最大值代表最远像素，如果存在多个最大值，取从竖直向上开始顺时针第一个最大值；

4.针对任何图像都可以计算出以上两点坐标连线与X轴的角度，通过仿射的方法将图像进行旋转旋转至该两点与X轴方向一致。

其中，仿射的方法实际上是通过对图像坐标的计算获得图片的旋转，拉伸，或扭曲等等的操作。

以上通过图像旋转的方法可以避免图像中的旋转对于图像相似度的影响。当然如果对于图像的旋转不关注的话可以省略此步骤。

再下来进行图像信息采样，及采样信息的抽象。

针对图像相似程度识别的需求确定像素的采样比，即多少像素确定一个采样像素。当需要的图像处理精度高而处理速度要求低时可以用较低的采样比，采取更多的像素。当需要处理速度快，而精度没有那么高的时候可以使用较高的采样比，采取少量像素即可。在本发明中，针对一般的应用，可以从图像的二维颜色矩阵中横纵间隔10-100个像素提取一个点作为采样像素点。这一步通过采样的方式在较好的保证识别率的前提下，缩减了图像的处理时间。

采样的像素点RGB各通道的像素值，分别求3邻域颜色平均值，并求出整幅二维颜色矩阵的采样信息的平均值。将每个像素点的3邻域颜色平均值减去整幅采样像素信息的平均值，作为八位的信息码存入一个特征串，这个特征串代表了图像的特征值，将特征串进行存储。

这一步通过三邻域的平均减轻了噪音及缩放时带入的像素色差的影响，同时通过和整幅采样图像颜色平均的方法减轻了整幅图像偏色对相似图像检索的影响。

针对采样图像信息的不变距进行提取，确定采样图像的各个不变距的数值。

对于二维连续函数f(x，y)，(p+q)阶矩阵定义为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y);$

其中p，q＝0，1，2，…，求和在跨越图像的所有空间坐标x，y的值上进行。相应的中心矩定义为：

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y);$

其中， $\stackrel{\‾}{x}=\frac{m_{10}}{m_{00}},$ $\stackrel{\‾}{y}=\frac{m_{01}}{m_{00}};$

归一化(p+q)阶中心矩定义为：

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^{\mathrm{\γ}}};$

其中p+q＝2，3，…。

对于平移，缩放，镜像和旋转都不敏感的7个二维不变矩的集合可以由这些公式推导出来为。

φ₁＝η₂₀+η₀₂

${\mathrm{\φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2\mathrm{}$

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²

-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²

-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²

-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²

-(η₂₁+η₀₃)²]

对得到的不变矩数值作为特征量进行存储，在计算相似度中使用。通过这一步可以把图像本身的宏观信息提取出来，作为图像相似判断的依据。

在实施本发明的过程中经过主要颜色值特征量比较，过滤出大致颜色相似的图像，经过对图像采样处理后，可以先对采样图像的不变距的数据进行比较，过滤出大致相似的图像，减少计算机的信息处理量。对图像处理速度要求高而对图像查询速度要求低的情况下可以跳过此步骤。

最后通过将图像提取出来的抽象信息(即各个特征量)按格式存储。图像抽象信息的存储格式如表1所示：

存储结构占用字节数(B)	内容	作用
			3	纠正偏色后的最大量主要颜色	偏色纠正后的图片最主要颜色可以做为图像的明显特征。
12	采样图像的不变距	针对不变距的初步判断确定图片的大致信息可以进行比较。如果该信息相差太大则肯定不是同一张图片。

9~16K

图像的采样像素特征值

纠偏，旋转，大小归一化后的图像像素采样点，特征值用以细致的判定图像的相似性。

表1

通过以上的方法，我们已经获得了一幅图像的抽象信息。在需要检索相似图像的时候，以某些图像的抽象信息作为模板，计算其他图像的抽象信息与模板图像抽象信息之间的相似度，只要以模板图像的抽象值为模板。以海量数据的抽象值为待检测数据。如果待检测数据没有与模板数据相似，则可以认为不是同一幅数据。如果待检测图片与模板图片相相似，则可以认为通过模板找到了一幅图像。

可以采用多种方法进行是否相似的计算，如使用字符特征比较方法进行图像相似度计算，或者计算模板图像的抽象信息与其他图片抽象信息之间的距离如欧氏距离等获得最终的相似度。

具体计算图像相似度的方法如下：

首先通过主要颜色值来进行第一步匹配。以24位色来说，如果主要颜色值的差别在正负3个色阶之内，认为第一步匹配成功，图像的颜色相似，可能是同一幅图象，否则认为不是同一幅图像。

其次，通过7个不变矩的数值进行判断。如果差别在正负0.1之内则认为图像第二步匹配成功，可能是同一幅图象，否则认为不是同一幅图像。

再次，匹配采样像素的信息。如果一幅图像得到的采样信息特征串的八位的信息码与另一幅图像的采样特征串的八位的信息码进行对应位数字相减，每一位得到的数字进行取绝对值，如果是相同的图像，理想情况下，各位相减得到的值都为0，但是在存在噪声的情况下可能存在较小的差异，因此相减后的数值取绝对值，将取绝对值后的数值相加，得到两幅图像总体上的差异，为这个差异值设定一个阈值，如果大于这个阈值认为不是同一幅图象，如果小于这个阈值，认为是图像之间存在可以接受的噪声差异，本发明中这个阈值设定为500。

由此可以通过本发明的方法可以明确的从海量信息库中检索到一幅图像是与感兴趣的模板图像相似的图像数据。

Claims (10)

1.一种相似图像检索方法，其步骤包括：

1)根据模板图像的存储格式读取图像的像素信息，将非24位色的信息转换为24位真彩色，生成图像的24位二维颜色矩阵；

2)将模板图像缩放至制定大小，提取图像中部的主要颜色值，作为特征量进行存储；

3)从模板图像的二维颜色矩阵中采样像素信息，对采样像素点取三邻域的颜色平均值，减去整幅采样像素信息颜色平均值，得到采样信息特征串进行存储；

4)提取采样像素信息的不变距作为特征量进行存储；

5)根据步骤1)至4)的方法提取出其他图像的主要颜色值、采样信息特征串和不变矩，与模板图像的主要颜色值、采样信息特征串和不变矩进行相似度计算。

2.如权利要求1所述的方法，其特征在于，所述步骤1)存储格式包括bmp，jpg，gif和png。

3.如权利要求1所述的方法，其特征在于，所述步骤1)存储格式中存在动画，提取出动画各个帧的像素信息。

4.如权利要求1所述的方法，其特征在于，所述步骤2)根据图像的像素直方图统计获得图像的中部，以中心为原点椭圆型区域的主要颜色值。

5.如权利要求1所述的方法，其特征在于，所述步骤2)之后还包括对图像进行旋转的步骤，具体为：

5.1)根据步骤2)的主要颜色值获得图像的主要颜色区域；

5.2)计算主要颜色区域的重心坐标，通过x坐标与y坐标值的算术平均值获得；

5.3)求得主要颜色区域离重心最远的像素坐标，通过x坐标与y坐标值差值的最大值代表最远像素坐标；

5.4)计算出以上两点坐标连线与X轴的角度，通过仿射的方法将图像进行旋转至与X轴方向一致。

6.如权利要求1所述的方法，其特征在于，所述步骤3)图像的二维颜色矩阵中横纵间隔10-100个像素提取一个点作为采样像素点。

7.如权利要求1所述的方法，其特征在于，所述步骤5)首先计算主要颜色值相似度，其次计算不变矩数据相似度，最后计算采样信息特征串相似度。

8.如权利要求7所述的方法，其特征在于，所述主要颜色值差异在正负3个色阶之内，判断为图像主要颜色相似。

9.如权利要求7所述的方法，其特征在于，通过7个不变矩判断相似度，如果差别在正负0.1之内，判断为图像相似。

10.如权利要求7所述的方法，其特征在于，所述采样信息特征串以八位的信息码形式进行存储，与其他图像的八位信息码逐位相减，得出的八个值取绝对值相加，得到的数值小于设定值，判断为图像相似。

Images