发明内容
为了解决上述技术问题,本发明的目的在于提供基于图像处理的显著性检测方法及系统,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了基于图像处理的显著性检测方法,该方法包括以下步骤:
采集预处理图像,对所述预处理图像去噪得到滤波图像;所述滤波图像进行HSV颜色空间转换得到HSV图像;
基于所述滤波图像和所述HSV图像的各通道分量图像,对所述通道分量图像进行超像素分割得到多个超像素块;获取各超像素块的各通道等级的像素点数量,拟合各所述超像素块的通道等级和对应的像素点数量,得到所述超像素块的通道等级分布;
根据各所述超像素块之间的所述通道等级分布的差异性得到第一特征指标;各所述超像素块之间的中心点的距离为第二特征指标;所述第一特征指标和所述第二特征指标的比值为目标特征指标;
根据所述超像素块和对应的目标特征指标建立显著性指标模型;基于所述显著性指标模型得到第一显著指标值,修正各所述超像素块的第一显著指标值得到第二显著指标值;
融合各所述通道分量图像的所述第二显著指标值得到所述超像素块的目标显著指标值。
优选的,所述根据各所述超像素块之间的所述通道等级分布的差异性得到第一特征指标,包括:
所述第一特征指标的计算公式为:
其中,
为超像素块
和超像素块
的所述第一特征指标;
为超像素块
的第
个通道等级对应的通道等级分布;
为超像素块
的第
个通道等级对应的通道等级分布;
为通道等级数量。
优选的,所述第一特征指标和所述第二特征指标的比值为目标特征指标,包括:
所述第二特征指标与预设调节指标相乘得到第二调节特征指标;
所述第一特征指标和所述第二调节特征指标的比值为所述目标特征指标。
优选的,所述根据所述超像素块和对应的目标特征指标建立显著性指标模型,包括:
根据所述目标特征指标对所述超像素块进行筛选,基于筛选后的超像素块和对应的目标特征指标建立显著性指标模型;
所述显著性指标模型为:
其中,
为超像素块
对应的第一显著指标值;
为筛选后的所述超像素块的数量;
为超像素块
和超像素块
对应的目标特征指标。
优选的,所述修正各所述超像素块的第一显著指标值得到第二显著指标值,包括:
所述第一显著指标值大于所述预设显著指标阈值的超像素块作为感兴趣区域;所述第一显著指标值小于所述预设显著指标阈值的超像素块作为背景区域;
增强所述感兴趣区域的第一显著指标值,减小所述背景区域的第一显著指标值,得到第二显著指标值。
优选的,所述增强所述感兴趣区域的显著指标值,减小所述背景区域的显著指标值,得到第二显著指标值,包括:
建立显著性修正模型,得到修正后的第二显著指标值;
所述显著性修正模型为:
其中,
为超像素块
对应的第二显著指标值;
为超像素块
对应的第一显著指标值;
为自然常数;
为通道分量图像中距离超像素块
最近的感兴趣区域与所述超像素块
的欧氏距离。
优选的,所述融合各所述通道分量图像的所述第二显著指标值得到所述超像素块的目标显著指标值,包括:
获取所述滤波图像对应的各通道分量图像的各超像素块的目标显著指标值的第一和;获取所述HSV图像对应的各通道分量图像的各超像素块的目标显著指标值的第二和;
所述第一和与所述第二和的均值为所述目标显著指标值。
第二方面,本发明一个实施例提供了基于图像处理的显著性检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于图像处理的显著性检测方法。
本发明实施例至少具有如下有益效果:
本发明实施例利用图像处理技术,首先获取预处理图像对应的滤波图像和HSV图像;基于滤波图像和HSV图像中的各通道分量图像,对通道分量图像进行超像素分割得到多个超像素块;获取每个超像素块的每个通道等级的像素点数量;根据每个超像素块的通道等级和对应的像素点数量拟合曲线,得到超像素块的通道等级分布;由超像素块之间通道等级分布的差异性和超像素块之间中心点距离得到目标特征指标,由第一特征指标和第二特征指标得到的目标特征指标对各超像素块进行初步的显著性分析;根据超像素块和对应的目标特征指标建立显著性指标模型;基于显著性指标模型得到各超像素块对应的第一显著指标值,利用显著性指标模型得到各超像素块的第一显著指标值减少了逐一计算第一显著指标值的计算量,修正各超像素块的第一显著指标值得到第二显著指标值;融合各通道分量图像的第二显著指标值得到超像素块的目标显著指标值。本发明通过对不同通道分量图像各像素点的显著指标值进行计算,融合各通道分量图像的第二显著指标值并进行增强处理,实现对预处理图像中显著区域的检测提取,提高了检测精度和检测效率。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于图像处理的显著性检测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于图像处理的显著性检测方法及系统的具体实施方法,该方法适用于图像显著性检测场景。利用RGB相机作为图像采集设备采集预处理图像。为了解决通过深度学习神经网络进行显著性检测的检测方法精度较低的问题,本发明实施例通过图像采集设备采集预处理图像,根据图像的特征建立显著性指标模型,以获取图像中各点的显著性指标值,提高图像信息处理的效率以及图像进行显著性目标检测的精度。
下面结合附图具体的说明本发明所提供的基于图像处理的显著性检测方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像处理的显著性检测方法的步骤流程图,该方法包括以下步骤:
步骤S100,采集预处理图像,对预处理图像去噪得到滤波图像;滤波图像进行HSV颜色空间转换得到HSV图像。
利用图像采集设备采集预处理图像,以进行后续的显著性检测处理。
采用高斯滤波器对所采集到的预处理图像进行去噪处理得到滤波图像,消除预处理图像表面的噪点,提高图像质量。将去噪之后得到的滤波图像作为显著性检测的基础图像数据,用于对后续进行显著性检测提取。
获取对应的滤波图像后,将在滤波图像上对预处理图像显著性区域进行检测提取。需要说明的是预处理图像和滤波图像均为RGB图像。
对滤波图像进行HSV颜色空间转换得到HSV图像,进行转换的目的是为了更好的区分图像中的色彩信息,增加显著检测提取的准确性。对滤波图像和HSV图像分别进行通道分离,得到滤波图像对应的各分量图像数据以及HSV图像对应的各分量图像数据,即得到了预处理图像对应的多通道分量图像,用于对各通道分量图像中的显著性区域进行提取分析。
步骤S200,基于滤波图像和HSV图像的各通道分量图像,对通道分量图像进行超像素分割得到多个超像素块;获取各超像素块的各通道等级的像素点数量,拟合各超像素块的通道等级和对应的像素点数量,得到超像素块的通道等级分布;
获取各通道分量图像数据之后,对各通道分量图像进行分析。
基于滤波图像和HSV图像中的各通道分量图像,通过超像素分割对各通道分量图像进行分割,得到多个超像素块,实现对通道分量图像的初步分割处理。
对于每个超像素块,对其通道分量进行提取分析,即获取通道分量图像在每份通道等级上的像素点数量,也即处于通道等级上的像素点的数量。
根据每个超像素块的通道等级和对应的像素点数量拟合曲线,得到超像素块的通道等级分布,并对其进行归一化处理,用于对各超像素块进行后续计算。
步骤S300,根据各超像素块之间的通道等级分布的差异性得到第一特征指标;各超像素块之间的中心点的距离为第二特征指标;第一特征指标和第二特征指标的比值为目标特征指标。
根据各超像素块与其他超像素块的通道等级分布的差异性得到第一特征指标。
其中,
为超像素块
的第
个通道等级对应的通道等级分布;
为超像素块
的第
个通道等级对应的通道等级分布;
为通道等级数量。
若超像素块的数量为M,则每个超像素块对应M-1个第一特征指标。第一特征指标越大, 则超像素块之间的差异越大。如超像素块
可获取M-1个第一特征指标,
,其中,
。第一特征指标用于对超像素块的显著性进行检测,超像素块的第一特征值越大,其相对于其他超像素块的差异性也就越大,显著性越高。
对于通道分量图像中的各超像素块,构建第二特征指标,用于更加准确的对各超像素块的差异状况进行检测分析,以便准确计算各超像素块的显著性指标值,考虑到图像中的局部显著性区域通常存在聚集现象,故将各超像素块和其他超像素块的中心点之间的距离作为第二特征指标。
其中,
为超像素块
的中心点的横坐标;
为超像素块
的中心点的纵坐标;
为超像素块
的中心点的横坐标;
为超像素块
的中心点的纵坐标。
同样的,当超像素块的数量为M时,则每个超像素块对应M-1个第二特征指标。当超像素块之间对应的第二特征指标值越大时,认为超像素块之间的差异性越高,则对应的显著性越明显。
根据得到的第一特征指标和第二特征指标对每个超像素块内的特征状况进行分析,计算超像素块的特征指标,达到对超像素块的显著性进行分析的目的。
第一特征指标和第二特征指标的比值为目标特征指标。具体的:第二特征指标与预设调节指标相乘得到第二调节特征指标。在本发明实施例中预设调节指标为2,在其他实施例中实施者可根据实际情况调整该取值。第一特征指标和第二调节特征指标的比值为目标特征指标。
超像素块
和超像素块
对应的目标特征指标
的计算公式为:
其中,
为第一特征指标;
为预设调节指标;
为第二调节特征指标。
同样的,若超像素块数量为M,则每个超像素块均对应M-1个目标特征指标。该目标特征指标越大,则代表超像素块与其他像素块之间的差异越高,对应的显著性越大。
步骤S400,根据超像素块和对应的目标特征指标建立显著性指标模型;基于显著性指标模型得到第一显著指标值,修正各超像素块的第一显著指标值得到第二显著指标值。
根据目标特征指标对超像素块进行筛选,基于筛选后的超像素块和对应的目标特征指标建立显著性指标模型。具体的:将目标特征指标按照从大到小的顺序进行排列,得到目标特征指标序列,筛选出目标特征指标序列中Top-k个目标特征指标及其对应的超像素块。对其筛选出的超像素块进行后续的显著性分析,并基于筛选后的超像素块和对应的目标特征指标建立显著性指标模型。
显著性指标模型为:
其中,
为超像素块
对应的第一显著指标值;
为筛选后的超像素块的数量;
为超像素块
和超像素块
对应的目标特征指标。
在本发明实施例中
,其中,
为超像素块数量,在其他实施例中实施者可根据实际情况调整该取值。建立显著性指标模型后,输入超像素块对应的目标特征指标即可得到该超像素块的第一显著指标值。
对于通道分量图像中的各超像素块,将第一显著指标值大于预设显著指标阈值的超像素块作为感兴趣区域,该感兴趣区域也即为显著区域;将第一显著指标值小于预设显著指标阈值的超像素块作为背景区域。在本发明实施例中预设显著指标阈值由实施者根据实际情况进行设定。
得到感兴趣区域和背景区域之后,增强感兴趣区域的显著指标值,减小背景区域的显著指标值,得到第二显著指标值,也即对超像素块的显著性进行修正处理,以凸显感兴趣区域邻域的显著性,减小背景区域的显著指标值。具体的:建立显著性修正模型,得到修正后的第二显著指标值。
该显著性修正模型为:
其中,
为超像素块
对应的第二显著指标值;
为超像素块
对应的第一显著指标值;
为自然常数;
为通道分量图像中距离超像素块
最近的感兴趣区域与超像素块
的欧氏距离,即距离超像素块
最近的感兴趣区域的中心点和超像素块
的中心点的欧氏距离。
通过显著性修正模型实现对感兴趣区域邻域像素点显著性的增强,同时降低无关像素点的显著性,提高图像显著性检测的效率及精度。
通过步骤S100~步骤S400得带通道分量图像中各超像素块的第一显著指标值,并基于建立好的显著性修正模型对超像素块的显著性进行优化处理,提高图像显著性检测效率,得到修正后第二显著指标值。对于各通道分量图像,均进行显著性检测分析,即每个超像素块均得到不同尺度的6个第二显著指标值,用于后续对预处理图像中的显著性进行最终检测,通过多通道分析,实现对预处理图像中显著性区域的准确检测提取。需要说明的是,每个超像素块均得到不同尺度的6个第二显著指标值是因为共有R,G,B,H,S,V六个通道分量图像,每个通道分量图像的超像素块均对应一个第二显著指标值。
步骤S500,融合各通道分量图像的第二显著指标值得到超像素块的目标显著指标值。
根据步骤S100~步骤S400可获取不同尺度通道分量对应的显著指标,对不同尺度的通道分量图像中各超像素块的第二显著指标值进行融合,以实现对显著区域显著性的增强。
首先获取滤波图像对应的各通道分量图像的各超像素块的目标显著指标值的第一和,即将R、G、B各通道分量图像中对应超像素块的显著指标值进行相加处理,以对各超像素块的显著性进行互补增强,得到第一和:
,其中,
为超像素块
在R通道分量图像中的第二显著指标值;
为超像素块
在G通道分量图像中的第二显著指标值;
为超像素块
在B通道分量图像中的第二显著指标值。
获取HSV图像对应的各通道分量图像的各超像素块的目标显著指标值的第二和,即将H、S、V通道分量图像中对应超像素块的显著指标值进行相加处理,以对各超像素块的显著性进行互补增强,得到第二和:
,其中,
为超像素块
在H通道分量图像中的第二显著指标值;
为超像素块
在S通道分量图像中的第二显著指标值;
为超像素块
在V通道分量图像中的第二显著指标值。
将超像素块对应的两个融合后的显著指标进行均值处理得到目标显著指标值,即第一和与第二和的均值为目标显著指标值,即可得到每个超像素块的目标显著指标值。
对得到的目标显著指标值进行归一化处理,使得每个超像素块的显著指标值处于
,该目标显著指标值越大,则对应的区域的显著性越高。根据得到的目标显著指标值即可得到对应的显著图像,显著图像中每个像素点的值代表的是其对应的目标显著指标值。
综上所述,本发明实施例利用图像处理技术,首先获取预处理图像对应的滤波图像和HSV图像;基于滤波图像和HSV图像中的各通道分量图像,对通道分量图像进行超像素分割得到多个超像素块;获取每个超像素块的每个通道等级的像素点数量;根据每个超像素块的通道等级和对应的像素点数量拟合曲线,得到超像素块的通道等级分布;由超像素块之间通道等级分布的差异性和超像素块之间中心点距离得到目标特征指标;根据超像素块和对应的目标特征指标建立显著性指标模型;基于显著性指标模型得到各超像素块对应的第一显著指标值,修正各超像素块的第一显著指标值得到第二显著指标值;融合各通道分量图像的第二显著指标值得到超像素块的目标显著指标值。本发明通过对不同通道分量图像各像素点的显著指标值进行计算,融合各通道分量图像的第二显著指标值并进行增强处理,实现对预处理图像中显著区域的检测提取,提高了检测精度和检测效率。
本发明实施例还提出了基于图像处理的显著性检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。由于基于图像处理的显著性检测方法在上述给出了详细描述,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。