CN111259186A - 基于颜色矩的连续快速视觉演示非目标图片最优排序方法 - Google Patents

Abstract

本发明公开了一种基于颜色矩的连续快速视觉演示非目标图片最优排序方法，主要解决现有连续快速视觉演示RSVP呈现时由于非目标图片相邻图片相似度过低，导致错误诱发出事件相关电位ERP的问题。其实现方案是：将RGB图片转换成HSV图片，在HSV图片各通道上提取像素的颜色矩作为特征；对一张HSV图片各通道像素值做变换生成简单变换图片，手动完成简单变换图片的排序，同时根据简单变换图片的相似度进行排序，结合两种排序结果确定各通道权值参数；对所有非目标图片，利用各通道权值参数计算图片相似度，完成排序。本发明可实现RSVP非目标图片的最优排序，能够有效改善ERP的质量，可用于脑机接口。

Description

基于颜色矩的连续快速视觉演示非目标图片最优排序方法

技术领域

本发明属于电子信息技术领域，主要涉及一种连续快速视觉演示中非目标图片排序的方法，可用于脑机接口。

背景技术

随着社会信息技术的不断进步，导致信息超载问题日益严重。由于图片和视频数据存储库正在以指数级别的速度增长，这些数据存储库的规模、多样性以及“感兴趣目标”的潜在稀疏性给目标的有效检索带来了困难。连续快速视觉演示RSVP是在近年来脑机接口BCI技术不断发展的环境下，结合人类视觉系统与大脑皮层的事件相关电位ERP而衍生出的一种BCI范式，常用于帮助专业人员，如卫星图片侦察人员对大量图片进行有效的分类。

目前的RSVP范式通过处理图片刺激诱发出的ERP信号完成对图片分类，该ERP信号一般在目标图片刺激出现后被诱发出。存在的问题在于忽视了相邻非目标图片之间的相似度过低的情况，导致容易错误地诱发出ERP信号，对分类结果造成了影响。为了解决此问题，需计算非目标图片之间的相似度并将其按相似度由高到低的顺序进行排序。

目前计算图片之间相似度时大多使用感知哈希算法Phash，其首先将图片压缩后进行离散余弦变换，随后提取低频成分对其进行散列化处理，即使用与均值进行比较的方法实现哈希编码；最后通过求不同图片之间的汉明距离来计算图片的相似度，这种方法在很多任务上取得了很好的效果。但是此方法存在的问题在于Phash为了容忍图片的一些形变而只取了图片的低频部分，从而造成了特征捕获不到图片的细节部分这一问题，这使得对纯色图片或近似纯色图片的处理效果很差。颜色差异过大的纯色相邻非目标图片很容易被Phash算法判别为相似图片，造成ERP的诱发，进而可能将该非目标图片判为目标图片，形成虚警。

发明内容

本发明的目的在于针对传统连续快速视觉演示RSVP序列在非目标图片呈现顺序上的不足，提出一种基于颜色矩的连续快速视觉演示非目标图片最优排序方法，根据计算不同图片间的相似度，通过配合手动排序确定权值参数，实现RSVP中非目标图片的最优排序。

本发明的技术技术方案是这样实现的：

一.技术原理

RGB颜色空间利用三个相关性很强的颜色分量的线性组合来表示颜色，其均匀性较差，在此颜色空间进行特征提取时产生的结果往往与人眼视觉有较大的偏差，这会对ERP的诱发产生影响。而HSV颜色空间比RGB颜色空间更接近人们对彩色的感知经验，直观地使用色调、饱和度和明暗程度来表示图片，便于人眼直接对图片相似度进行比较。颜色矩是一种简单有效的图片特征表示方法，其一阶矩用来表示像素的均值、二阶矩表示像素的方差、三阶矩表示像素的斜度，由于图片的颜色信息主要分布于低阶矩中，所以使用一阶矩、二阶矩和三阶矩足以表达图片的颜色分布特征，利用这些特征可以通过计算对比不同图片的相似度。

本发明的技术思路是：首先将图片由RGB颜色空间表示转换为HSV颜色空间表示，随后在HSV图片的各通道上对其颜色矩的低阶矩进行特征提取，最后基于哈希的思想，结合手动排序确定权值参数，根据比较不同图片的相似度进行排序。

二.实现方案

根据上述原理，本发明的技术方案包括如下步骤：

(1)对图片进行特征提取：

将图片从原始的RGB颜色空间表示转换为HSV颜色空间表示，提取图片H、S、V这三个通道的像素值，并在H、S、V三个通道上分别提取出3个特征值，即各通道上像素的一阶矩、二阶矩、三阶矩，得到一张图片的9维特征；

(2)确定权值参数：

(2a)对单张HSV图片每个通道的像素值进行简单变换，该HSV图片称为原始图片，被试者对经过简单变换的图片按照人眼观察到的与原始图片的相似度进行手动排序；

(2b)提取原始图片和上述简单变换图片的9维特征当作其哈希值，分别对各简单变换图片与原始图片哈希值的对应位置差值的绝对值求和，并将得到的和值的大小作为相似度的度量标准，和值越小代表与原始图片相似度越高，对这些简单变换的图片进行排序；

(2c)比较(2b)排序结果相对于(2a)排序结果中图片位置的变化，对于每一个通道，将所有两张图片位置发生变化且满足有一张图片在该通道做过简单变换的两张图片作为有效图片对，将每个有效图片对在两种排序结果中的索引差值作差，并对所有作差的结果求和，求和的结果作为该通道内权值参数的增加量Δw_C，得到该通道权值参数为：w_C＝1+Δw_C；

(3)对所有非目标图片进行最终排序：

(3a)将所有连续快速视觉演示中的未排序非目标图片的9维特征当作其哈希值，并随机取任意一张图片作为基准图片，该基准图片即为首张已排序图片；

(3b)利用(2c)中确定的各通道权值参数w_C，分别计算未排序图片与基准图片的相似度，将相似度最高的图片排在基准图片之后，成为第二张已排序图片，再将该图片作为新的基准图片；

(3c)重复(3b)过程完成对所有非目标图片排序。

本发明与现有技术相比具有以下优点：

第一，本发明对连续快速视觉演示RSVP的非目标图片进行排序，最大程度上避免了由于相邻非目标图片相似度过低导致的错误诱发出事件相关电位ERP的问题，有效地提高了分类准确率。

第二，本发明采用基于颜色矩的方法并在HSV颜色空间提取图片的9维特征，结合哈希的思想计算图片之间的相似度，极大地降低了排序运算的时间复杂度和空间复杂度。

第三，本发明结合不同被试者的手动排序结果来确定权值参数，使得整个方法具有良好的鲁棒性。

附图说明

图1为本发明的实现流程框图。

图2为非目标图片排序结果示例图。

具体实施方式

以下结合附图对本发明的实施例和效果进行详细的描述：

参照图1，本实施例的具体实现步骤如下：

步骤1，对图片进行特征提取。

1.1)将所有连续快速视觉演示中的未排序非目标图片从原始的RGB颜色空间表示转换为HSV颜色空间表示，提取图片H、S、V三个通道的像素值，在H、S、V三个通道上分别计算像素的一阶矩E、二阶矩σ、三阶矩s：

式中，h和w分别表示图片的高和宽，P_ij表示各通道上第i行第j列的像素值；

1.2)由H通道上的一阶矩H₁、二阶矩H₂、三阶矩H₃，S通道上的一阶矩S₁、二阶矩S₂、三阶矩S₃，V通道上的一阶矩V₁、二阶矩V₂、三阶矩V₃共同构成一张HSV图片的9维特征。

步骤2，确定权值参数。

2.1)随机任取一张HSV图片用作原始图片，对该图片H、S、V三个通道的像素值做如下变换：

P_H'＝P_H+20*(k-2.5)

P_S'＝P_S+15*(k-2.5)

P_V'＝P_V+15*(k-2.5)

式中，P_H、P_S、P_V分别表示原始HSV图片中H、S、V通道的所有像素值，k＝1,2,3,4,5，P_H'表示变换后H通道的像素值、P_S'表示变换后S通道的像素值、P_V'表示变换后V通道的像素值；

2.2)对于每个通道的每一种变换，取该通道变换后的像素值，同时取原始HSV图片中其余两个通道的像素值，即产生一张仅在单个通道内像素值发生变化的简单变换图片，最终形成15张简单变换图片；

2.3)对2.2)产生的15张简单变换图片，被试者根据人眼观察到的每张简单变换图片与原始图片的相似度，按照相似度由高到低的顺序手动完成这15张简单变换图片的排序；

2.4)对包含原始图片和简单变换图片在内的16张HSV图片，在每张图片的H、S、V三个通道上计算像素的一阶矩、二阶矩、三阶矩，得到每张图片的9维特征，并将其当作每张图片的哈希值；

2.5)分别计算15张简单变换图片与原始图片哈希值对应位置差值的绝对值并求和，得到的和值的大小作为相似度的度量标准，和值越小代表与原始图片的相似度越高，将15张图片按相似度由高到低排序；

2.6)比较2.5)排序结果相对于2.3)排序结果中图片位置的变化，对于H、S、V这三个通道中的每一个通道，将所有两张图片位置发生变化，且满足有一张图片在该通道做过简单变换的两张图片作为该通道上的有效图片对；

2.7)对于每一个通道中的每一个有效图片对，将两张图片在两种排序结果中的索引差值作差，并将该通道内所有有效图片对的作差结果求和，获得该通道权值参数的增加量Δw_C；

2.8)对于每一个通道，根据该通道权值参数的增加量Δw_C，得到该通道权值参数为：w_C＝1+Δw_C。

步骤3，对所有非目标图片进行最终排序。

3.1)将所有连续快速视觉演示中的未排序非目标图片的9维特征当作其哈希值，并随机取任意一张图片作为基准图片，该基准图片即为首张已排序图片；

3.2)利用2.8)中确定的通道权值参数w_C，分别计算未排序图片与基准图片的哈希值对应位置差值的绝对值并加权求和，得到两张图片哈希值的相似度d：

式中，C＝H,S,V分别表示H、S、V这三个通道，m＝1,2,3分别表示某个通道内像素的一阶矩、二阶矩、三阶矩，w_C表示C通道权值参数，d_Cm表示未排序图片与基准图片在通道C上像素的m阶矩的差值，哈希值的相似度即可代表两张图片的相似度，d值越小，代表两张图片哈希值的相似度越高，

3.3)将相似度最高的图片排在基准图片之后，成为第二张已排序图片，再将该图片作为新的基准图片；

3.4)重复3.2)和3.3)，完成对所有非目标图片排序。

以上步骤得到的连续快速视觉演示RSVP非目标图片排序结果示例图如图2，从图2可以看出，本发明所实现的RSVP非目标图片的排序，极大程度上减少了相邻非目标图片相似度过低的情况。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明的内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于颜色矩的连续快速视觉演示非目标图片最优排序方法，其特征在于，包括如下：

(1)对图片进行特征提取：

将图片从原始的RGB颜色空间表示转换为HSV颜色空间表示，提取图片H、S、V这三个通道的像素值，并在H、S、V三个通道上分别提取出3个特征值，即各通道上像素的一阶矩、二阶矩、三阶矩，得到一张图片的9维特征；

(2)确定权值参数：

(2a)对单张HSV图片每个通道的像素值进行简单变换，该HSV图片称为原始图片，被试者对经过简单变换的图片按照人眼观察到的与原始图片的相似度进行手动排序；

(2b)提取原始图片和上述简单变换图片的9维特征当作其哈希值，分别对各简单变换图片与原始图片哈希值的对应位置差值的绝对值求和，并将得到的和值的大小作为相似度的度量标准，和值越小代表与原始图片相似度越高，对这些简单变换的图片进行排序；

(2c)比较(2b)排序结果相对于(2a)排序结果中图片位置的变化，对于每一个通道，将所有两张图片位置发生变化且满足有一张图片在该通道做过简单变换的两张图片作为有效图片对，将每个有效图片对在两种排序结果中的索引差值作差，并对所有作差的结果求和，求和的结果作为该通道内权值参数的增加量Δw_C，得到该通道权值参数为：w_C＝1+Δw_C；

(3)对所有非目标图片进行最终排序：

(3a)将所有连续快速视觉演示中的未排序非目标图片的9维特征当作其哈希值，并随机取任意一张图片作为基准图片，该基准图片即为首张已排序图片；

(3b)利用(2c)中确定的各通道权值参数w_C，分别计算未排序图片与基准图片的相似度，将相似度最高的图片排在基准图片之后，成为第二张已排序图片，再将该图片作为新的基准图片；

(3c)重复(3b)过程完成对所有非目标图片排序。

2.根据权利要求1所述的方法，其特征在于，(1)中在H、S、V三个通道上分别提取出3个特征值，是将原始RGB图片转换为HSV图片后，在HSV图片的H、S、V三个通道上分别计算像素的一阶矩E、二阶矩σ、三阶矩s：

得到一张图片的9维特征，式中，h和w别表示图片的高和宽，P_ij表示每个通道上第i行第j列的像素值。

3.根据权利要求1所述的方法，其特征在于，(2a)中对单张HSV图片每个通道的像素值进行简单变换，其实现如下：

(2a1)随机任取一张HSV图片用作原始图片，对该图片H、S、V三个通道的像素值做如下变换：

P_H'＝P_H+20*(k-2.5)

P_S'＝P_S+15*(k-2.5)

P_V'＝P_V+15*(k-2.5)

得到变换后各通道的所有像素值，式中，P_H、P_S、P_V分别表示原始HSV图片中H、S、V通道的所有像素值，k＝1,2,3,4,5，P_H'表示变换后H通道的像素值、P_S'表示变换后S通道的像素值、P_V'表示变换后V通道的像素值；

(2a2)对于每个通道的每一种变换，取该通道该变换后的像素值，同时取原始HSV图片中其余两个通道的像素值，即产生一张仅在单个通道内像素值发生变化的简单变换图片。

4.根据权利要求1所述的方法，其特征在于，(2b)中提取原始图片和上述简单变换图片的9维特征，是在原始图片和每张简单变换图片的H、S、V三个通道上分别计算像素的一阶矩E、二阶矩σ、三阶矩s，得到每张简单变换图片的9维特征。

5.根据权利要求1所述的方法，其特征在于，(3b)中计算未排序图片与基准图片的相似度，是对两张图片哈希值对应位置差值的绝对值加权求和，公式如下：

式中，C＝H,S,V分别表示H、S、V这三个通道，m＝1,2,3分别表示某个通道内像素的一阶矩、二阶矩、三阶矩，w_C表示C通道权值参数，d_Cm表示两张图片在C通道上像素的m阶矩的差值，d表示两张图片哈希值的相似度，哈希值的相似度即可代表两张图片的相似度。

Images