CN106126585B

CN106126585B - 基于质量分级与感知哈希特征组合的无人机图像检索方法

Info

Publication number: CN106126585B
Application number: CN201610444398.7A
Authority: CN
Inventors: 丁文锐; 王玉峰; 李红光
Original assignee: Beijing University of Aeronautics and Astronautics
Current assignee: Beijing University of Aeronautics and Astronautics
Priority date: 2016-06-20
Filing date: 2016-06-20
Publication date: 2019-11-19
Anticipated expiration: 2036-06-20
Also published as: CN106126585A

Abstract

本发明公开一种基于质量分级与感知哈希特征组合的无人机图像检索方法，属于图像处理技术领域。首先对无人机训练图像集进行自动质量分级并分配质量标签，提取感知哈希编码，建立对应图像和文本的数据库应用；然后，类似于第一步中各步骤，对待检索的图像设置基于质量标签和感知哈希编码的数据属性；然后，将所得待检索图像的数据属性与数据库中的图像进行汉明距离匹配；最后，将匹配到的相似图像集结合相似性与质量标签分配一定权重建立权值函数，并按照权值递增顺序进行再排序，输出图像结果。本发明方法能快速提取图像特征，有效完成图像质量分级，从而实现无人机图像的快速准确检索。

Description

基于质量分级与感知哈希特征组合的无人机图像检索方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于质量分级与感知哈希特征组合的无人机图像检索方法。

背景技术

近年来，无人机以其低成本、高灵活性和高效率等优点在军事、民用及科研领域发挥着重要的作用。无人机在军事上能执行目标探测识别与跟踪、战场、通信中继及空中打击等任务；民用上，从影视资料的航拍，到突发事件处理等领域，无人机占据着重要的地位；科研上，其可执行资源勘测、气象观测等任务。无人机图像是无人机任务获取的基础数据，可为地面人员提供实效的科研数据，其具有获取手段多样、内容信息丰富、数据量大、图像质量差异大等特点。随着无人机任务的增多与载荷性能的提高，大量的数据不断形成与积累，需要对这些数据进行高效的检索以便用户获取所需图像。

无人机图像的检索，应用场景为科研人员在无人机多次飞行所积累的大量图像数据中找到所需的研究图像。现在主流的图像检索技术分为两种，分别为基于文本的图像检索和基于内容的图像检索。基于文本的图像检索技术主要通过对每幅图像利用关键字进行标注，将图像检索转换为文本检索，然后利用已有的数据库技术或文本信息检索技术对图像标注进行存储、索引和检索。然而其缺点也很明显，它需要通过对图像理解后进行人工标注，工作量很大，且标注过程的主观性和不精确性也可能导致检索过程的失配。基于内容的图像检索主要是提取图像的内容特征，来建立图像的特征矢量并存入图像特征库中，再依据图像的多维特征矢量完成相似性匹配。而根据检索内容的不同，可大体将基于内容的图像检索分为两个层次：1）基于底层视觉特征，如颜色、形状、纹理等特征，这一层次的检索具有简明、直观的特点，相关研究较多，也出现了许多比较成熟的图像检索算法；2）基于语义内容，利用对图像的高水准语义描述进行图像检索，由于包含高层的概念，往往需要借助人类的知识推理来对物体进行识别和解释，故这一层次检索算法相对较为复杂。

针对无人机图像内容信息丰富、数据量大、图像质量差异大的特点，设计一种简单高效的图像检索算法具有重要的研究意义。

发明内容

本发明的目的是为了提高无人机大数据量图像检索的速度和有效性，通过针对无人机图像的特点及无人机图像检索应用的需求分析，在图像检索处理流程（数据准备，特征提取，匹配排序等方面）的基础上，设计基于质量分级与感知哈希特征组合的无人机图像检索方法，实现无人机图像的快速准确检索。

本发明提出一种基于质量分级与感知哈希特征组合的无人机图像检索方法，质量分级算法能够有效对图像质量进行评估，感知哈希编码能简洁快速地进行图像特征提取与匹配，并设置权值函数进行特征组合，从而该算法可快速准确地完成图像检索任务。

本发明的基于质量分级与感知哈希特征组合的无人机图像检索方法，包括以下几个步骤：

第一步，对无人机训练图像集进行自动质量分级，提取哈希编码，并建立数据库应用；

具体包括以下步骤：

首先，基于边缘信息统计对无人机图像清晰度进行自动分级，并分配质量标签；

然后，采用感知哈希算法提取图像哈希编码；

最后，根据上述步骤提取的质量标签和感知哈希编码，建立基于图像和文本的数据库应用；

第二步，类似于第一步中各步骤，对待检索的图像进行自动质量分级，提取其感知哈希编码，并设置其数据属性；

第三步，将第二步所得待检索图像的数据属性与数据库中的图像进行汉明距离匹配；

第四步，将匹配到的相似图像集结合相似性与质量标签分配一定权重建立权值函数，并按照权值递增顺序进行再排序，最后输出图像结果。

本发明的优点在于：

（1）采用感知哈希编码作为图像特征表达，简洁高效；采用边缘灰度直方图的后32维数据进行处理，数据维度低，算法时间性能好；

（2）利用基于统计学习的方法获取决策阈值，可实现对无人机图像全面准确的分级，更有效地呈现检索结果；

（3）采用标识码连接的方法建立基于文本与图像的数据库存储与检索结构，具有较高的执行与存储效率。

因此，使用本发明方法能有效提取图像特征，完成图像质量分级，从而实现无人机图像的快速准确检索。

附图说明

图1是无人机图像检索算法的整体流程图；

图2是图像训练集清晰度分类流程图；

图3是图像质量分级算法流程图；

图4是图像感知哈希排序流程图;

图5是数据库存储结构示意图；

图6是无人机图像的分级标准样本；

图7a、7b、7c分别为清晰度为1的图像的原图，边缘图，和直方图数据；

图8a、8b、8c分别为清晰度为4的图像的原图，边缘图，和直方图数据；

图9为图像感知哈希编码提取示例；

图10为检索结果示意图。

具体实施方式

下面结合附图，对本发明的具体实施方法作进一步的详细说明。

本发明是一种基于质量分级与感知哈希特征组合的无人机图像检索方法，流程如图1所示，包括以下几个步骤：

首先，基于边缘信息统计对无人机图像清晰度进行自动质量分级，并分配质量标签；

由于无人机图像具有数据量大、图像质量差异大等特点，对无人机图像进行质量分级能够有选择地进行图像检索，有效提高检索速度和准确度。本发明提出一种基于边缘信息统计的图像清晰度质量分级算法，流程图如图3所示，具体步骤如下：

（1）构建图像数据集，即构建无人机图像质量分级的图像训练集，根据对图像检索的应用需求，基于人眼主观感受与图像间的比较，将无人机图像的清晰度分为若干等级。选取的无人机图像训练集共包含n幅图像，所用图像为无人机于高空实拍的需要进行质量分级的图像集，包含不同场景和不同清晰度的图像。根据对图像检索的应用需求，基于人眼主观感受与图像间比较，将无人机图像清晰度分为K个等级，以均等程度地表示图像清晰度级别。理想情况下，每个级别分别包含m幅图像（m=n/K），形成K个子图像集，如图2所示。

（2）利用将高斯滤波与拉普拉斯算子结合的LoG算子提取图像边缘特征，获取边缘灰度图像；

图像边缘定义为图像区域内两个灰度值相对一致的图像块的分界线，通过拉普拉斯算子获取的边缘图像具备连贯性与各向同性，是一个二阶微分算子，图像f(x,y)的二阶微分定义为：

其中，

因此，拉普拉斯算子的结果为：

其中：x，y分别为图像中像素的横纵坐标。

为了抑制噪声对拉普拉斯算子的影响，采用将高斯滤波与拉普拉斯算子结合的LoG算子进行边缘提取，模板如下：

（3）根据上一步的边缘特征生成边缘直方图。

通过上一步骤获取的边缘图，是具备灰度连续变化的灰度图，但由于模板内的数值为偶数，故得到的边缘图像的像素值也全部为偶数。对于每一像素，灰度值越大，说明在该像素的邻域区间灰度变化越大，即对比度越大。去除图像边框的两个像素，提取该灰度图的归一化直方图，得到一个256维的向量。

（4）基于统计方法求取分级阈值表。

基于以上分析，截取直方图的256维数据的后32维h₃₂，统计每类子图像集的h₃₂的偶数位数值的均值h_{32_avg}，将h_{32_avg}作为质量分级的阈值构建分级阈值表，并以其数量级为质量分级的判别标准。

（5）获取待分级的无人机图像特征灰度值并进行质量分级。

对待分级的无人机图像进行（2）至（4）操作，获取其特征灰度值，并根据分级阈值表对其进行质量分级判别，并分配相应质量标签q_i(i=1,2,…,K)。

然后，采用感知哈希算法提取图像哈希编码；

感知哈希（pHash）是指通过压缩多媒体对象的感知特征而生成的简短摘要，主要体现在用离散余弦变换(DCT)来获取图片的低频成分，具备唯一性、单向性、鲁棒性与敏感性。图像感知哈希编码算法如图4所示，主要包含以下几个步骤：

（1）缩小图像尺寸，将图像缩小为32*32大小，以降低DCT计算量；

（2）图像灰度化，将图片转化成灰度图像，进一步简化计算量；

（3）计算图像的DCT变换，得到32*32的DCT系数矩阵；

（4）将DCT降维，仅提取上一步中DCT系数矩阵左上角的8*8的矩阵，生成8*8的DCT系数矩阵；

（5）计算DCT系数矩阵的均值；

（6）计算哈希编码，根据上步的DCT均值将8*8的DCT矩阵二值化为0或1的64位的hash值，大于等于DCT均值的设为1，小于DCT均值的设为0。将其有序组合为64位的向量，即为图像的感知哈希编码。

（1）设计无人机图像检索的数据库系统结构，分为两部分：数据库与客户端软件，采用技术成熟的数据库管理系统存储无人机图像及相关文本信息，并根据数据库设计出界面简洁易懂、功能齐全、用户体验好的用户客户端。

（2）设计数据库存储结构。数据库存储的数据主要包括图像本身与图像相关的文字标签，采用文件与数据库混合管理的结构，如图5所示，即图像数据存储于文件系统，属性数据存储于数据库，两者间通过标识码连接，标识码即图像的存储位置。因不涉及图像文件流在数据库的输入与输出，所以此方法的执行与存储效率较高。

属性数据主要包含图像的基础属性和特征属性。

1.基础属性为图像的名字，大小，成像时间等图像数据本身自带的信息。

2.质量标签：质量标签主要为0到K，0表示没有进行质量标签的分配，1到K分别表示清晰度很好，清晰度好，……，清晰度差。

3.图像特征属性主要为图像感知哈希编码，为一个64维的向量。

第三步，将第二步所得待检索图像的数据属性与数据库中的图像进行汉明距离匹配排序；

采用感知哈希编码算法提取输入图像的感知哈希编码e作为图像特征，哈希编码e以二进制的数据类型存储，所以使用汉明距离作为相似性度量进行匹配排序。逐一求取数据库中图像的哈希编码e_k与输入图像哈希编码e_i的汉明距离d_k，并设置最大汉明距离d_max：若d_k≤d_max，则根据汉明距离递增的顺序进行排序，汉明距离越小，说明图像与输入图像越相似；若d_k>d_max，则舍弃此图像。

第四步，将匹配到的相似图像集根据权值函数进行再排序，最后输出图像结果。

在排序算法上，考虑两部分内容：图像间相似性以及图像质量。充分利用图像间的相似信息，以提高检索的准确率；同时考虑图像质量的信息，以获取高质量的图像，提高检索体验的友好性。综合两者信息，设r_k=ω·d_k+(1-ω)·q_k（0<ω<1），其中，r_k表示图像对应的得分，d_k为第三步中待检索图像的汉明距离，ω为d_k所占权重，按r_k递增顺序对图像进行综合排序，并选取其中前c幅图像作为检索结果进行输出。

实施例：

本实施例对包含500幅图像的无人机图像数据集进行测试，测试过程及结果如下所述：

1）数据准备，构建图像质量分级的图像数据集；

无人机图像数据集共包含500幅无人机于4km-5km高空的实拍图像，其中包括400幅训练集图像与100幅测试集图像。根据对图像检索的应用需求，基于人眼主观感受与图像间的比较，将无人机侦察图像分为四个等级1-4，分别对应清晰度很好，清晰度好，清晰度一般，清晰度差（如图6所示）。每类各125幅图像，其中训练集80幅，测试集25幅。分级标准为：

a.清晰度1：清晰度很好，无模糊感，图像边缘清晰可见，图像内容辨别度佳；（如图7a所示）

b.清晰度2：清晰度好，无明显的模糊感，图像边缘清晰可见，图像内容辨别度好；

c.清晰度3：清晰度一般，些许模糊，图像边缘不够清晰，图像内容基本可辨别；

d.清晰度4：清晰度差，模糊，边缘大部分不清晰，图像内容基本不可辨别。（如图8a

所示）

2）特征提取，采用LoG算子提取图像边缘特征，获取边缘灰度图像，如图7b、图8b所示。

3）根据2）的边缘特征生成边缘直方图，如图7c、图8c所示;

4）基于统计方法求取训练集的分级阈值表。统计每类图像集的h₃₂的偶数位数值的均值h_{32_avg}，得到表1。

表1质量分级各类别h₃₂均值表

根据上表，因此以h₃₂均值h_{32_avg}的数量级作为质量分级的判别标准，分级标准如表2。

表2质量分级标准

5）对测试集图像进行分级，并检验本发明中质量分级算法的准确性。分级准确率如表3所示。

表3质量分级实验结果准确率

然后，采用感知哈希算法提取图像感知哈希编码，编码e以二进制形式存储，如图9所示。

最后，根据上述步骤提取的质量标签和感知哈希编码，建立基于图像和文本的数据库应用，结构如图5所示。

第二步，取第一步中测试集图像作为待检索图像，如图10查询图像所示，类似于第一步中各步骤，对其进行自动质量分级，提取其感知哈希编码，并设置其数据属性；

第四步，将第三步匹配到的相似图像集结合相似性与质量标签根据权值函数（取权重d_k=0.7）得到待检索图像得分，并按照得分递增顺序进行再排序，最后输出图像结果，如图10查询结果所示。

Claims

1.基于质量分级与感知哈希特征组合的无人机图像检索方法，包括以下几个步骤：

具体包括以下步骤：

具体步骤如下：

(1)构建图像数据集，即构建无人机图像质量分级的图像训练集，设无人机图像训练集共包含n幅图像，将无人机图像清晰度分为K个等级，每个级别分别包含m幅图像，m＝n/K，形成K个子图像集；

(2)利用LoG算子提取图像边缘特征，获取边缘灰度图像；

设图像f(x,y)的二阶微分定义为：

其中，

拉普拉斯算子的结果为：

其中：x，y分别为图像中像素的横纵坐标；

采用LoG算子进行边缘提取，模板如下：

(3)根据上一步的边缘特征生成边缘直方图；

去除图像边框的两个像素，提取该灰度图的归一化直方图，得到一个256维的向量；

(4)基于统计方法求取分级阈值表；

截取直方图的256维数据的后32维h₃₂，统计每类子图像集的h₃₂的偶数位数值的均值h_{32_avg}，将h_{32_avg}作为质量分级的阈值构建分级阈值表，并以其数量级为质量分级的判别标准；

(5)获取待分级的无人机图像特征灰度值并进行质量分级；

对待分级的无人机图像进行第(2)至(4)步操作，获取其特征灰度值，并根据分级阈值表对其进行质量分级判别，并分配相应质量标签q_i，i＝1,2,…,K；

然后，采用感知哈希算法提取图像哈希编码；

包括以下几个步骤：

1)缩小图像尺寸，将图像缩小为32*32大小；

2)图像灰度化，将图片转化成灰度图像；

3)计算图像的DCT变换，得到32*32的DCT系数矩阵；

4)提取上一步中DCT系数矩阵左上角的8*8的矩阵，生成8*8的DCT系数矩阵；

5)计算DCT系数矩阵的均值；

6)计算哈希编码，根据上步的DCT均值将8*8的DCT矩阵二值化为0或1的64位的hash值，大于等于DCT均值的设为1，小于DCT均值的设为0，将其有序组合为64位的向量，即为图像的感知哈希编码；

(一)设计无人机图像检索的数据库系统结构，分为两部分：数据库与客户端软件，采用数据库管理系统存储无人机图像及相关文本信息，并根据数据库设计户客户端；

(二)设计数据库存储结构，数据库存储的数据包括图像本身与图像相关的文字标签，采用文件与数据库混合管理的结构，即图像数据存储于文件系统，属性数据存储于数据库，两者间通过标识码连接，标识码即图像的存储位置；

属性数据包含图像的基础属性和特征属性；

1>基础属性为图像数据本身自带的信息；

2>质量标签：质量标签为0到K，0表示没有进行质量标签的分配，1到K分别表示清晰度很好，清晰度好，……，清晰度差；

3>图像特征属性为图像感知哈希编码，为一个64维的向量；

第二步，重复第一步，对待检索的图像进行自动质量分级，提取其感知哈希编码，并设置其数据属性；

第四步，将匹配到的相似图像集结合相似性与质量标签分配权重建立权值函数，并按照权值递增顺序进行再排序，最后输出图像结果。

2.根据权利要求1所述的基于质量分级与感知哈希特征组合的无人机图像检索方法，所述的第三步具体为：

采用感知哈希编码算法提取待检索图像的感知哈希编码e作为图像特征，逐一求取数据库中训练图像集的哈希编码e_k与输入待检索图像哈希编码e_i的汉明距离d_k，并设置最大汉明距离d_max：若d_k≤d_max，则根据汉明距离递增的顺序进行排序，汉明距离越小，说明训练图像与输入待检索图像越相似，若d_k>d_max，则舍弃此图像。

3.根据权利要求1所述的基于质量分级与感知哈希特征组合的无人机图像检索方法，所述的第四步具体为：

设r_k＝ω·d_k+(1-ω)·q_k，其中，0<ω<1，r_k表示待检索图像对应的得分，d_k为第三步中待检索图像的汉明距离，ω为d_k所占权重，按r_k递增顺序对图像进行综合排序，并选取其中前c幅图像作为检索结果进行输出。