CN110232378B - 一种图像兴趣点检测方法、系统及可读存储介质 - Google Patents

Abstract

一种图像兴趣点检测方法、系统及可读存储介质。本发明首先利用注意力机制，通过像素级语义分割技术初步消除图像中的非兴趣点，实现对后续计算量的缩减；而后利用图像对应不同颜色空间的分量分别进行兴趣点的检测，最后通过对各检测结果进行加权融合，避免了检测结果对光照条件的敏感度。本发明对图像兴趣点的检测更为快速准确，适用于光照条件不佳情况下的图像兴趣点检测，具有良好的鲁棒性。

Description

一种图像兴趣点检测方法、系统及可读存储介质

技术领域

本发明涉及数字信号处理技术领域，尤其涉及一种图像处理技术。

背景技术

分析、解释和理解图像是计算机视觉及其应用的目的。图像中具有显著局部结构强度变化的“兴趣点”，对于许多视觉任务非常重要。准确检测这些“兴趣点”是很多计算机视觉任务的基础。

在一种应用场景中，例如基于兴趣点检测的美颜处理中，需要首先通过图像处理的方式检测出影响物理美感的痘痘，痤疮和毛孔粗大所在区域，而后才能够针对相应的区域进行皮肤(尤其是面部皮肤)视觉状态的调整。这种基于数字图像处理的兴趣点检测是皮肤图像进行后期调整和美化的基础。

针对上述需求，研究人员在计算机视觉，机器学习，计算机图像学，数字图像处理等领域，进行了大量针对皮肤图像的分析和研究。但是现有的检测方法不够便捷和高效，并且存在对光照信息敏感的问题。现有的方法不能适用于光照条件不佳情况下的兴趣点检测。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种图像兴趣点检测方法、系统及可读存储介质，其利用注意力机制缩减了计算量，利用灰度通道和饱和度通道避免了检测结果对光照条件的敏感度，使得本发明对图像兴趣点的检测更为快速准确。

本发明具体采用如下技术方案：

第一方面，本发明实施例提供一种图像兴趣点检测方法，其步骤包括：初步消除图像中的非兴趣点，将消除后的图像转换至至少两个颜色空间；分别对每一个颜色空间所对应的图像分量进行兴趣点的检测，获得各颜色空间所对应的检测结果；对各检测结果进行加权融合，得到图像兴趣点。

结合第一方面，作为第一种可实施的技术方案，初步消除图像中的非兴趣点的步骤包括：由多通道深度残差全卷积网络对所述图像进行计算，实现像素级语义分割以初步消除图像中的非兴趣点。

结合第一方面的第二种可实施的技术方案，所述颜色空间包括：HSV颜色空间以及灰度；相应的，HSV颜色空间所对应的图像分量为饱和度图像分量S；灰度颜色空间所对应的图像分量为灰度图像分量Gray。

结合第一方面的第三种可实施的技术方案，对任意一个颜色空间所对应的图像分量进行兴趣点的检测，获得该颜色空间所对应的检测结果的步骤包括：步骤201，获取该颜色空间所对应的图像分量；步骤202，对所述分量分别进行多方向的梯度增强处理；步骤203，对各方向的梯度增强处理所得结果进行融合；步骤204，对融合所获得的结果进行环形滤波，获得滤波后结果B；步骤205，利用掩模E对滤波后结果B进行中心点遍历比对计算，得到比对结果

步骤206，对所述比对结果

进行累加，而后二值化处理得到二值化结果B′；步骤207，对所述二值化结果B′进行非极大值抑制，获得该颜色空间所对应的检测结果。

结合第一方面的第四种可实施的技术方案，对各检测结果进行加权融合所得到图像兴趣点

其中，

表示像素加权系数，

表示像素级乘法运算，P和Q分别表示两个颜色空间所对应的检测结果。

结合第一方面的第五种可实施的技术方案，所述步骤202中，分别利用8个矩阵对所述分量分别进行卷积计算，以实现8个方向的梯度增强处理，其结果分别记为A_i，i∈[1,8]；其中，8个方向之间的角度差均为

对应的，所述步骤203中，对8个方向的梯度增强处理所得结果A_i，i∈[1,8]，进行融合所获得的结果

其中，参数

结合第一方面的第六种可实施的技术方案，所述步骤205中所利用的掩模E，其尺寸至少为15×15。

第二方面，本发明实施例提供一种图像兴趣点检测系统，其包括；预处理模块，用于初步消除图像中的非兴趣点并将初步消除非兴趣点后的图像转换至至少两个颜色空间；颜色空间内兴趣点检测模块，用于分别对每一个颜色空间所对应的图像分量进行兴趣点的检测，获得各颜色空间所对应的检测结果；加权融合输出单元，用于对各检测结果进行加权融合，输出图像兴趣点

结合第二方面，作为第一种可实施的技术方案，所述颜色空间内兴趣点检测模块中，包括有顺序连接的梯度增强处理单元、融合单元、环形滤波单元、掩模单元、元素阈值二值化单元以及非极大值抑制单元，以对颜色空间所对应的图像分量进行兴趣点的检测，获得该颜色空间所对应的检测结果。其中：所述梯度增强处理单元，用于对该颜色空间所对应的图像分量分别进行多方向的梯度增强处理；所述融合单元，用于对各方向的梯度增强处理所得结果进行融合；所述环形滤波单元，用于对融合所获得的结果进行环形滤波，获得滤波后结果B；所述掩模单元，用于利用掩模E对滤波后结果B进行中心点遍历比对计算，得到比对结果

对所述比对结果

进行累加；所述元素阈值二值化单元，用于对得到的掩模中心点遍历比对计算后的结果，进行元素阈值二值化处理，得到二值化结果B′；所述非极大值抑制单元，用于对所述二值化结果B′进行非极大值抑制，获得该颜色空间所对应的检测结果。

第三方面，本发明实施例提供一种可读存储介质，其上存储有能够被处理器执行的程序指令，该程序指令被执行时实现前述的方法的步骤。

有益效果

本发明首先利用注意力机制，通过像素级语义分割技术初步消除图像中的非兴趣点，实现对后续计算量的缩减，同时又能够排除不相干区域所可能引起的误检隐患，故本发明的运算速度和准确率均能够得到提升。本发明随后利用图像对应不同颜色空间的分量分别进行兴趣点的检测，最后通过对各检测结果进行加权融合，避免了检测结果对光照条件的敏感度。本发明对图像兴趣点的检测更为快速准确，适用于光照条件不佳情况下的图像兴趣点检测，具有良好的鲁棒性。

进一步，本发明采用多通道深度残差全卷积网络进行像素级语义分割，实现对非兴趣点的初步消除。其在保证实时处理的计算速度基础上，检测精度高，泛化性强。采用多通道深度残差全卷积网络相比于传统的角点检测方式，可减少对每个像素所进行的窗口移动以及泰勒级数运算，计算开销小，所以检测速度更快。

此外，本发明中利用灰度和饱和度进行兴趣点的检测。灰度空间只包含亮度信息，不含彩色信息，灰度化之后图像信息量大幅减少，方便后续计算。HSV空间是常用的彩色空间，与人类的视觉感知相近。灰度通道和饱和度通道与检测兴趣点的相关性最高，有利于后续分析。由于灰度和饱和度均对光照条件不明感，其配合环形滤波核，能够进一步的抑制因光照条件不佳而引起的噪点。由此本发明能够提高检测过程对光照条件的适应性和宽容度，进一步提高检测的准确率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的图像兴趣点检测系统的整体架构示意图；

图2为根据本发明的图像兴趣点检测方法的流程图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本发明中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

图1为根据本发明的一种图像兴趣点检测系统，其可集成或运行在计算机中或搭载在服务器上，或存储在可读存储介质中通过处理器执行。该系统在运行状态下对应有顺序连接的：

预处理模块，用于初步消除图像中的非兴趣点并将初步消除非兴趣点后的图像转换至至少两个颜色空间，如，RGB、灰度、YUV、YCbCr、HSV等等，只要实验能够验证该空间可以增强图像相应特征的表达能力；

颜色空间内兴趣点检测模块，用于分别对每一个颜色空间所对应的图像分量进行兴趣点的检测，获得各颜色空间所对应的检测结果；

加权融合输出单元，用于对各检测结果进行加权融合，输出图像兴趣点。

其中，预处理模块中，在一种方式下，可通过多通道深度残差全卷积网络，或通过角点检测的方式实现对接收到的图像进行像素级语义分割，对目标图像进行非兴趣点区域消除预处理。考虑到对于一张灰度图像，角点检测的方式需要取某个像素的一个邻域窗口，当这个窗口在各个方向上进行小范围移动时，观察窗口内平均的像素灰度值变化E，对该像素点x,y的u，v方向上的偏移做二维泰勒级数展开得到结构张量，使这个变化量达到最大，才能够得到检测到的角点。角点检测的方式，其计算过程复杂，最直观可以看到每个像素需要处理很多方向的窗口泰勒级数。因而本发明优选采用多通道深度残差全卷积网络的方式抑制不相关的区域。这种增加注意力机制的预处理方法，能使得兴趣点检测算法只会对兴趣区域进行检测，大幅降低了计算量，提高了检测速度。深度残差全卷积网络在保证实时处理的计算速度基础上，进一步具有检测精度高，泛化性强，降低算法复杂度，计算开销小，检测速度快的特点。

所述的颜色空间内兴趣点检测模块，分别对不同颜色空间所对应的图像进行处理。其可通过并行的两套系统或硬件或软件架构实现，也可在同一套子系统中通过两个并列的数据处理通道而实现。

具体而言，在一种实现方式下，所述的颜色空间内兴趣点检测模块能够用于执行图2中部所示的各步骤，包括：

步骤201，获取该颜色空间所对应的图像分量；其中所述的颜色空间包括HSV颜色空间以及灰度，分别对应于饱和度图像分量S以及灰度图像分量Gray。其中，灰度空间只包含亮度信息，不含彩色信息，灰度化之后图像信息量大幅减少，能够方便后续计算；HSV空间是常用的彩色空间，与人类的视觉感知相近。这两通道均与检测兴趣点具有较高的相关性，所以更有利于后续的分析过程。

步骤202，对所述分量分别进行多方向的梯度增强处理；例如，分别利用8个矩阵对所述分量分别进行卷积计算，以实现8个方向的梯度增强处理，分别将8个结果记为A_i，i∈[1,8]；其中，8个方向之间的角度差均保持在

步骤203，对各方向的梯度增强处理所得结果进行融合，获得的融合所得结果

这里的融合操作能够准确得到像素各个方向的梯度信息，进而利用高准确度的梯度信息提高检测结果的准确性；

步骤204，对融合所获得的结果进行环形滤波，以抑制因光照条件不佳而引起的噪点问题，获得滤波后结果B；

步骤205，利用尺寸为15×15或更大的掩模E对滤波后结果B进行中心点遍历比对计算，得到比对结果

这里所采用的大尺寸掩模E，对小噪声不敏感，因而能够进一步提高检测过程光照适应性和宽容度；

步骤206，对所述比对结果

进行累加，而后二值化处理得到二值化结果B′；

步骤207，对所述二值化结果B′进行非极大值抑制，获得该颜色空间所对应的检测结果。

在另一种更为具体的实现方式下。上述系统的执行过程具体如下：

第一步，首先对目标图像进行非兴趣点区域消除预处理，具体方法为利用多通道深度残差全卷积网络模型将接收到的图像进行像素级语义分割；

第二步，将处理后的图像(R,G,B)进行灰度转换处理，得到灰度化图像Gray，其灰度转换公式如下：

Gray＝R×0.299+G×0.587+B×0.114

第三步，将第一步中处理后的图像(R,G,B)进行HSV颜色空间变换处理，得到饱和度图像分量S，其颜色空间转换公式如下：

第四步，将第二步中得到的结果，进行

π、

2π共8个方向进行梯度增强处理，其具体的过程为：利用以下G1、G2、G3、G4、G5、G6、G7、G8，8个矩阵逐个对第二步中得到的Gray矩阵进行卷积计算，其矩阵卷积计算公式如下：

Gray_i＝Gray*Gi i＝1,2,3,4,5,6,7,8

其中G1、G2、G3、G4、G5、G6、G7、G8矩阵如下：

第五步，将第三步中得到的饱和度图像分量S进行与第四步相同的处理；

第六步，将第四步中的得到的8个结果，进行均方融合处理，其计算公式如下：

其中σ为参数，

第七步，将第五步中的得到的8个结果，同样进行均方融合处理，其计算公式如下：

其中σ为参数，

第八步，将第六步中得到的融合后的结果，使用r₁＝2到r₂＝5的环形滤波核进行滤波处理，并得到滤波后结果的B；其环形滤波核为：

该特定的环形滤波核，可有效抑制因光照条件不佳而引起的噪点问题；

第九步，将第七步中得到的融合后的结果，同样使用r₁＝2到r₂＝5的环形滤波核进行滤波处理，并得到滤波后结果的L；该环形滤波器对两个融合结果分别进行操作，也能够提高算法的抗噪性能；

第十步，将第八步中得到的滤波后的结果B，使用尺寸为15×15的掩模E，进行中心点遍历比对计算；

第十一步，将第九步中得到的滤波后的结果L，使用尺寸为15×15的掩模E，进行中心点遍历比对计算，其详细过程同第十步；

第十二步，将第十步中得到的掩模中心点遍历比对计算后的结果，进行元素阈值二值化处理，得到B′，其组成B′的每个元素B′_i′j′，其计算公式为：

第十三步，将第十一步中得到的掩模中心点遍历比对计算后的结果，同样的进行元素阈值二值化处理，得到L′，其计算过程同第十二步；

第十四步，将第十二步中得到的元素阈值二值化处理后的结果，进行非极大值抑制得到检测结果P；

第十五步，将第十三步中得到的元素阈值二值化处理后的结果，进行非极大值抑制得到检测结果Q；第十四步以及本步中所进行的非极大值抑制处理的作用在于得到局部区域的最值信息，进一步抑制不相关的噪点。

第十六步，将第十四步中得到的非极大值抑制后的结果P与第十五步中得到的非极大值抑制后的结果Q，进行元素级加权融合，最终得到图像中兴趣点检测结果R。其中加权融合的计算公式为：

其中，

表示像素加权系数，

表示像素级乘法运算，P和Q分别表示两个颜色空间所对应的检测结果。

更为具体的，上述第十步以及第十一步中，进行中心点遍历比对计算的具体过程，以对第八步中得到的滤波后的结果B为例，可参考如下步骤：

将掩模E的中心点c放置在B中的每一个点上，并计算掩模核强度d(半径r＝2)，其计算公式为：

其中，b_ij为掩模E核区域元素；b区域为b_ij包含的全部像素点的集合；

然后将掩模非核区域(即下方掩模E的矩阵中由a组成的区域)所对应位置的B中的点B_ij与上述掩模核强度d进行比对计算，得到比对结果

其相关计算公式为：

然后进行累加计算得到n_i′j′，其相关公式为：

其中：

值得注意的是，图2中几个双箭头并行的计算过程中，对饱和度图像分量和对灰度图像处理过程中的各参数对应完全一致。相当于对灰度维度和饱和度维度分别提供两通道实现同样的处理。采用这种方式是因为，大量的实验结果表名，上述从灰度和饱和度两个维度处理再融合相关结果，比使用任意一个维度的效果要好，能够显著提升检测的精确度。

综上，本发明综合应用深度学习、数字图像处理、图像滤波等多种领域技术，首先，利用多通道深度残差全卷积网络模型抑制目标图像中无关的非兴趣点区域；通过对光照条件不敏感的灰度变换和HSV颜色空间变换分别得到灰度图像和S分量以降低检测过程受光照条件的影响；然后通过卷积计算分别对灰度图像与S分量进行8方向梯度增强处理，提高检测准确性；将得到的两组各8个结果分别进行融合；利用环形滤波核对融合后的结果分别进行滤波处理；使用尺寸为15×15的大尺寸掩模，降低对小噪声的敏感度，对滤波后得到的结果分别进行中心点遍历比对计算；然后将计算得到的结果分别进行元素阈值二值化处理；再进行相应的非极大值抑制处理；最终将两个检测结果进行元素级加权融合计算，得到目标图像中兴趣点检测结果。与现有技术相比，本发明对分辨率不高、光照条件较差的图像兴趣点的自动检测，具有良好的光照适应性和较高的宽容度，而且检测速度快、检测准确率高。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像兴趣点检测方法，其特征在于，步骤包括：

初步消除图像中的非兴趣点，将消除后的图像转换至至少两个颜色空间；

分别对每一个颜色空间所对应的图像分量进行兴趣点的检测，获得各颜色空间所对应的检测结果；

对各检测结果进行加权融合，得到图像兴趣点，包括：对各检测结果进行加权融合所得到图像兴趣点

其中，

表示像素加权系数，

表示像素级乘法运算，P和Q分别表示两个颜色空间所对应的检测结果；R表示图像中兴趣点；

对任意一个颜色空间所对应的图像分量进行兴趣点的检测，获得该颜色空间所对应的检测结果的步骤包括：

步骤201，获取该颜色空间所对应的图像分量；

步骤202，对所述分量分别进行多方向的梯度增强处理；

步骤203，对各方向的梯度增强处理所得结果进行融合；

步骤204，对融合所获得的结果进行环形滤波，获得滤波后结果B；

步骤205，利用掩模E对滤波后结果B进行中心点遍历比对计算，得到比对结果

步骤206，对所述比对结果

进行累加，而后二值化处理得到二值化结果B′；

步骤207，对所述二值化结果B′进行非极大值抑制，获得该颜色空间所对应的检测结果。

2.如权利要求1所述的图像兴趣点检测方法，其特征在于，初步消除图像中的非兴趣点的步骤包括：由多通道深度残差全卷积网络对所述图像进行计算，实现像素级语义分割以初步消除图像中的非兴趣点。

3.如权利要求1所述的图像兴趣点检测方法，其特征在于，所述颜色空间包括：

HSV颜色空间以及灰度；

HSV颜色空间所对应的图像分量为饱和度图像分量S；

灰度颜色空间所对应的图像分量为灰度图像分量Gray。

4.如权利要求1所述的图像兴趣点检测方法，其特征在于，所述步骤202中，分别利用8个矩阵对所述分量分别进行卷积计算，以实现8个方向的梯度增强处理，其结果分别记为A_i，i∈[1,8]；其中，8个方向之间的角度差均为

所述步骤203中，对8个方向的梯度增强处理所得结果A_i，i∈[1,8]，进行融合所获得的结果

其中，参数

5.如权利要求1所述的图像兴趣点检测方法，其特征在于，所述步骤205中所利用的掩模E，其尺寸至少为15×15。

6.一种图像兴趣点检测系统，其特征在于，包括：

预处理模块，用于初步消除图像中的非兴趣点并将初步消除非兴趣点后的图像转换至至少两个颜色空间；

颜色空间内兴趣点检测模块，用于分别对每一个颜色空间所对应的图像分量进行兴趣点的检测，获得各颜色空间所对应的检测结果；

加权融合输出单元，用于对各检测结果进行加权融合，输出图像兴趣点；所述颜色空间内兴趣点检测模块中，包括有顺序连接的梯度增强处理单元、融合单元、环形滤波单元、掩模单元、元素阈值二值化单元以及非极大值抑制单元，以对颜色空间所对应的图像分量进行兴趣点的检测，获得该颜色空间所对应的检测结果；其中，

所述梯度增强处理单元，用于对该颜色空间所对应的图像分量分别进行多方向的梯度增强处理；

所述融合单元，用于对各方向的梯度增强处理所得结果进行融合；

所述环形滤波单元，用于对融合所获得的结果进行环形滤波，获得滤波后结果B；

所述掩模单元，用于利用掩模E对滤波后结果B进行中心点遍历比对计算，得到比对结果

对所述比对结果

进行累加；

所述元素阈值二值化单元，用于对得到的掩模中心点遍历比对计算后的结果，进行元素阈值二值化处理，得到二值化结果B′；

所述非极大值抑制单元，用于对所述二值化结果B′进行非极大值抑制，获得该颜色空间所对应的检测结果。

7.一种可读存储介质，其上存储有能够被处理器执行的程序指令，该程序指令被执行时实现权利要求1至5任一所述的方法的步骤。

Images