CN110084818B - 动态下采样图像分割方法 - Google Patents

Abstract

本发明提供一种动态下采样图像分割方法，是一种强噪声环境下低对比度图像的快速和完整分割方法，所述方法基于动态下采样思想，主要包括以下步骤：定义局部二维熵；对图像进行动态下采样获取最佳下采样因子；使用最佳下采样因子对原图进行下采样；对最佳下采样之后的图像进行二值分割；将分割后的目标区域坐标映射回原图，实现最终的目标分割。上述方法的核心思想是动态下采样过程，以原图大小为基准逐次递减Δs进行的每一次下采样结果都会计算其局部二维熵。在这个过程中，局部二维熵峰值点所对应的分割效果既克服了图像中无关紧要的干扰因素对图像分割的影响，又保留了图像的关键细节信息，即是我们所寻找的最佳下采样因子。

Description

动态下采样图像分割方法

技术领域

本发明涉及一种动态下采样图像分割方法，是一种强噪声环境下低对比度图像的分割方法，尤其是成像不理想条件下原位浮游生物图像的快速和完整分割。

背景技术

感兴趣区域(Regions of Interest,ROIs)是在计算机视觉、图像处理任务中，基于某种特定的计算规则对图像像素进行选择之后，然后用矩形框、椭圆或者其他不规则多边形标注出来的图像区域。提取得到的ROIs往往都包含着待分析目标，这种只选取图像中包含目标区域的方式，可以减少后续步骤中其他无关背景成分对目标的进一步分析所带来的影响，比如特征提取、目标识别和跟踪等应用。传统的ROI提取方法都是直接基于原图二值分割来实现的，由于涉及到逐像素的操作，这种方式对于大尺寸图片的处理会非常耗时；除此之外，对于背景和目标之间区分度不明显的这类图片，目标的某些部位的像素值跟背景成分的像素值接近，目标的这些位置在二值分割的时候会被判定为背景成分，造成目标断裂的严重问题。

发明内容

本发明的目的是为了解决现有技术中分割过程非常耗时，以及对于强噪声低对比度图像还会出现目标区域断裂的现象，分割效果不理想的问题，提出一种动态下采样图像分割方法。

本发明所提出的动态下采样图像分割方法可以找到强噪声环境下低对比度图像的最佳下采样因子，图像在此下采样程度上能保留最多的细节信息；同时，下采样之后的图像尺寸减小很多，能够提高分割速度。

本发明所提出的分割方法能克服传统方法在图像分割时候存在的耗时和目标断裂的问题，非常适用于非理想成像条件下图像的分割，比如通过水下光学成像仪采集得到的原位浮游生物图像。

对于任意给定的一幅图像，我们定义了一种能够反映出图像局部特征的局部二维熵，并且可以根据实际需求中需要考虑的局部空间范围来调整局部域的大小。

给定任意一幅图，基于前面定义的局部二维熵，通过动态下采样过程，得出该图的最佳下采样因子，即可得到能最大限度保留图像细节的最小尺寸的最佳下采样图像。

本发明的方法是一种强噪声环境下低对比度图像的快速和完整分割方法，所述方法基于动态下采样思想，主要包括以下步骤：定义局部二维熵；对图像进行动态下采样获取最佳下采样因子；使用最佳下采样因子对原图进行下采样；对最佳下采样之后的图像进行二值分割；将分割后的目标区域坐标映射回原图，实现最终的目标分割。

在本发明的一些实施例中，最佳下采样因子的确定是动态下采样ROI提取方法的核心内容，为了综合衡量图像在经过下采样之后的局部特征和细节的保留能力，本发明定义了一种可以反映图像局部特征的局部二维熵的描述子，其定义如式(1)所示：

其中，P_i,j＝H(i,j)/(M×N),i∈f(x,y),j∈g(x',y')表示灰度值元组(i,j)出现的频数，M和N分别表示图像的高度和宽度，f(x,y)∈{0,1,2,...,255}表示原图中位置，(x,y)处的像素灰度值，x∈{1,2,...,M},y∈{1,2,...,N}，

表示在原图的位置(i,j)处使用大小为h×w的滑动窗，

进行均值滤波的结果，其中，a＝floor(h/2),n＝floor(w/2)表示窗口尺寸的一半向下取整的结果，均值滤波后的结果g(x',y')∈{0,1,2,...,255},x'∈{1,2,...,M},y'∈{1,2,...,N}。在这里特别指出，滑动窗的大小可以根据实际应用中需要考虑的局部空间域的大小来选择合适的窗口大小。

以原图的尺寸大小为基准，按给定的递减量逐次递减原图尺寸进行下采样，计算每一次下采样之后的局部二维熵。在动态下采样过程中监测局部二维熵的变化情况，当局部二维熵上升到最大值时，停止下采样，该下采样程度即为可以充分保留图像细节的最佳下采样因子。

与现有技术相比，本发明的有益效果有：

上述方法的核心思想是动态下采样过程，以原图大小为基准逐次递减Δs进行的每一次下采样结果都会计算其局部二维熵。随着下采样程度的加剧，该图像的局部二维熵会先后经历先下降，后上升到峰值，最后再急剧下降的一个过程。在这个过程中，局部二维熵峰值点所对应的分割效果既克服了图像中无关紧要的干扰因素对图像分割的影响，又保留了图像的关键细节信息，即是我们所寻找的最佳下采样因子。

进一步地，局部二维熵描述子可以反映出图像包含局部特征信息量的多少，式(1)的物理意义是根据原图像素灰度值与其h×w邻域内的平均像素灰度值之间的关系计算处能反映图像局部空间特征的二维熵。

进一步地，局部二维熵描述子可以反映出图像包含局部特征信息量的多少，随着下采样程度的加剧，该值会先后经历先下降，后上升到峰值，最后再急剧下降的一个过程，其典型过程如图1所示，图像的下采样是使用双三次插值BiCubic方法来实现的。其中，A点表示原始图像的局部二维熵，B点表示当前下采样程度下的局部二维熵有最大值，C表示当前下采样程度下局部二维熵急剧下降。对于AB段，当前下采样程度克服了图像中无关紧要的干扰因素，使得局部二维熵缓慢上升，直至达到最大值；在BC段,由于图像被过度下采样，图像结构已经遭到破坏，丢失了绝大部分细节，使得图像整体趋近于背景的灰度值分布情况，导致局部二维熵急剧下降。观察这几个关键点所对应的图像分割情况，B点所对应的分割效果既克服了图像中无关紧要的干扰因素对图像分割的影响，又保留了图像的关键细节信息，即是我们所寻找的最佳下采样因子。

附图说明

图1是图像局部二维熵与下采样程度之间的关系。

图2是特殊点下采样图像的分割效果示例，其中：

(a)为大小为960×1280px的浮游生物原位图；

(b)为原图对应的分割效果，耗时0.3076s，很显然，分割效果中存在较多的小颗粒等背景杂质，其中，白色矩形框标识出了微弱目标分割后存在的断裂现象；

(c)为图1中A点对应的下采样效果，下采样程度为1，对应的下采样因子为0.99；

(d)为图1中A点对应的分割效果，耗时0.2942s，同样地，分割效果中仍然存在较多的小颗粒等背景杂质，其中，白色矩形框也标识出了微弱目标分割后存在的断裂现象；

(e)为图1中B点对应的下采样效果，下采样程度为83，对应的下采样因子为0.17(最佳下采样因子)；

(f)为图1中B点对应的分割效果，耗时0.1821s，很明显，相比于(b)和(d)，该分割效果过滤了绝大部分小颗粒等背景杂质，重要的是白色框标识出的目标已经不存在断裂现象了；

(g)为图1中C点对应的下采样效果，下采样程度为99，对应的下采样因子为0.1，已完全丢失图像信息；

(h)为图1中C点对应的分割效果，耗时0.1645s。

图3是本发明实施例流程示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

针对于解决耗时和目标断裂这两个问题，本发明提出一种普遍适用的动态下采样图像ROI提取方法，该方法的最大创新点在于定义了一种可以反映图像局部特征的局部二维熵的描述子，然后不断重复地以原图尺寸为标准递减Δs，并计算每一次下采样之后图像的局部二维熵，该局部二维熵达到最大值时所对应的下采样程度即为最佳下采样因子，接下来便可使用已有的图像处理方法来对最佳下采样图像进行二值化处理，取其连通域对图像进行分割，最后，再根据下采样量将各个连通域的位置映射回原图即可实现ROI提取。

最佳下采样因子的确定是动态下采样ROI提取方法的核心内容，为了综合衡量图像在经过下采样之后的局部特征和细节的保留能力，本专利定义了一种可以反映图像局部特征的局部二维熵的描述子，其定义如式(1)所示：

其中，P_i,j＝H(i,j)/(M×N),i∈f(x,y),j∈g(x',y')表示灰度值元组(i,j)出现的频数，M和N分别表示图像的高度和宽度，f(x,y)∈{0,1,2,...,255}表示原图中位置(x,y)处的像素灰度值，x∈{1,2,...,M},y∈{1,2,...,N}，

表示在原图的位置(i,j)处使用大小为h×w的滑动窗

进行均值滤波的结果，其中，a＝floor(h/2),n＝floor(w/2)表示窗口尺寸的一半向下取整的结果，均值滤波后的结果g(x',y')∈{0,1,2,...,255},x'∈{1,2,...,M},y'∈{1,2,...,N}。式(1)的物理意义是根据原图像素灰度值与其h×w邻域内的平均像素灰度值之间的关系计算处能反映图像局部空间特征的二维熵。

局部二维熵描述子可以反映出图像包含局部特征信息量的多少，随着下采样程度的加剧，该值会先后经历先下降，后上升到峰值，最后再急剧下降的一个过程，其典型过程如图1所示，图像的下采样是使用双三次插值BiCubic方法来实现的。其中，A点表示原始图像的局部二维熵，B点表示当前下采样程度下的局部二维熵有最大值，C表示当前下采样程度下局部二维熵急剧下降。对于AB段，当前下采样程度克服了图像中无关紧要的干扰因素，使得局部二维熵缓慢上升，直至达到最大值；在BC段,由于图像被过度下采样，图像结构已经遭到破坏，丢失了绝大部分细节，使得图像整体趋近于背景的灰度值分布情况，导致局部二维熵急剧下降。观察这几个关键点所对应的图像分割情况，B点所对应的分割效果既克服了图像中无关紧要的干扰因素对图像分割的影响，又保留了图像的关键细节信息，即是我们所寻找的最佳下采样因子。具体的实现过程如下：设1为基准下采样因子，然后在其基础上不断递减量Δs，通过双三次插值BiCubic方法进行多次重复下采样，然后计算下采样结果的局部二维熵，当该熵值达到最大值时候的下采样值即为所求的最佳下采样因子F_optimum，即：

F_optimum＝1-M·Δs (3)

其中，E_m(1-m·Δs)表示原图经过(1-m·Δs)下采样之后的局部二维熵，m表示重复计算的次数，Δs表示下采样因子的递减量，可取0.01，最后得到的1-M·Δs即为最终的最佳下采样因子F_optimum。

测试结果

本专利所提出的动态下采样图像分割方法能克服传统方法在图像分割时候存在的耗时和目标断裂的问题，适用于非理想成像条件下图像的分割，比如通过水下光学成像仪采集得到的原位浮游生物图像。在计算局部二维熵的时候，可以根据具体任务要求选择合适尺寸的滑动窗W_x',y'，一般建议其尺寸取奇数值。比如，对于浮游生物的研究，我们只需考虑像素面积大于50px的区域，那么我们可以设滑动窗W_x',y'的尺寸为7×7。测试效果如图2所示，其中图2(a)为原图，图2(d)、(f)和(h)分别展示了对应于图1中的几个特殊点的分割情况。从实验效果来看，很显然，相比于图2(b)和2(d)，图2(f)的分割效果中存在更少的背景碎片，特别是小颗粒的背景被剔除掉了，图2(h)已完全丢失图像信息，直接不予考虑，可以证明本专利所提出的动态下采样图像分割方法确实可以克服背景成分对分割带来的干扰；除此之外，图2(b)和2(d)分割效果中红色框标注的对比度较低的完整目标存在着断裂的现象，而该完整目标在最佳下采样分割图(f)中对应的分割效果并没有出现断裂现象，证明了该方法可以避免传统分割方法导致的目标断裂问题；最后，最佳下采样图像是能最大限度保留图像局部特征信息的最小尺寸图像，与直接对原图进行处理相比，基于此下采样之后的图像进行分割操作将在很大程度上缩短图像处理的时间。在感兴趣区域(Regionsof Interest，ROIs)的提取任务中，获得下采样图像之后，对其进行二值分割，根据现有图像处理技术找到每一个有效连通域的最小外接矩形，然后基于最佳下采样因子，将最小外接矩形框的位置坐标映射到原图中相应的位置坐标，单独取出该坐标覆盖的区域，即可提取到准确的ROIs。综上，本专利所提出的动态下采样图像分割方法具有很好的实用价值。

该方法有以下几个步骤组成，下面以浮游生物原位图为例进行说明，如图3所示：

步骤一：首先根据实际需求确定需要考虑的局部空间域大小，比如浮游生物原位图需要考虑不低于50像素的面积区域，所以我们可选择7×7作为滑动窗的大小；

步骤二：根据计算精度要求和原图尺寸确认尺寸递减量Δs，比如对于大小为960×1280px的原位浮游生物图像，我们选择0.01作为递减量，原图的下采样程度为1，对应的递减量为0；

步骤三：开始动态下采样，在原图的基准上不断递减Δs0.01，使用BiCubic方法进行下采样，得到比上一步得到的下采样图的尺寸小0.01的最新下采样图，并根据公式(1)计算最新下采样结果的局部二维熵，根据公式(2)和(3)确定最佳下采样因子F_optimum；

步骤四：使用传统方法对最佳下采样因子对应的最佳下采样图进行二值分割，并基于最佳下采样因子将每个连通域的坐标位置映射回原图，取出该区域作为最终的提取得到的ROI。

该方法的优势如下：

(1)最佳下采样因子是原图能够最大限度地保留所有细节信息的最小尺寸的图片，基于该图进行分割可以在很大程度上提高处理速度；

(2)对于成像环境相同、尺寸一样的同一类图像，可以直接使用该类图像的最佳下采样因子，而不需要针对每一幅图像单独进行迭代以求最佳下采样因子，这样的话可以在很大程度上提高批量处理图片的速度；

(3)下采样之后的图像可以在分割的时候可以忽略小颗粒等背景成分的干扰，同时还可以避免微弱目标直接在原图分割时产生的目标断裂问题，有效保证了图像分割的质量。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种动态下采样图像分割方法，其特征在于，包括如下步骤：

S1：根据计算精度要求和原图尺寸确认尺寸递减量Δs；

S2：开始动态下采样，在原图的基准上不断递减Δs，进行下采样，得到比上一步得到的下采样图的尺寸小Δs的最新下采样图，并计算最新下采样结果的局部二维熵，并确定最佳下采样因子；

S3：对最佳下采样因子对应的最佳下采样图进行二值分割，并基于最佳下采样因子将每个连通域的坐标位置映射回原图，取出该连通域映射回原图的区域作为最终的提取得到的ROI；

在步骤S2中，根据以下二式确定最佳下采样因子F_optimum：

F_optimum＝1-M·Δs

其中，E_m(1-m·Δs)表示原图经过(1-m·Δs)下采样之后的局部二维熵，m表示重复计算的次数。

2.根据权利要求1所述的动态下采样图像分割方法，其特征在于,步骤S2中，使用BiCubic方法进行下采样。

3.根据权利要求1所述的动态下采样图像分割方法，其特征在于,步骤S2中，根据原图像素灰度值与其h×w邻域内的平均像素灰度值之间的关系计算处能反映图像局部空间特征的二维熵。

4.根据权利要求1所述的动态下采样图像分割方法，其特征在于,步骤S2中，根据下式计算最新下采样结果的局部二维熵：

其中，P_i,j＝H(i,j)/(M×N),i∈f(x,y),j∈g(x',y')表示灰度值元组(i,j)出现的频数，M和N分别表示图像的高度和宽度，f(x,y)∈{0,1,2,...,255}表示原图中位置(x,y)处的像素灰度值，x∈{1,2,...,M},y∈{1,2,...,N}，

表示在原图的位置(i,j)处使用大小为h×w的滑动窗

进行均值滤波的结果，其中，a＝floor(h/2),n＝floor(w/2)表示窗口尺寸的一半向下取整的结果，均值滤波后的结果g(x',y')∈{0,1,2,...,255},x'∈{1,2,...,M},y'∈{1,2,...,N}。

5.根据权利要求1所述的动态下采样图像分割方法，其特征在于,步骤S3中，对最佳下采样图像进行二值化处理，取其连通域对图像进行分割，最后，再根据下采样量将各个连通域的位置映射回原图即可实现ROI提取。

6.根据权利要求1所述的动态下采样图像分割方法，其特征在于,动态下采样确定图像的最佳下采样因子，动态下采样得到能够最大限度保留图像细节信息的最小尺寸的图像。

7.根据权利要求1所述的动态下采样图像分割方法，其特征在于,在步骤S1之前还包括：根据实际需求确定需要考虑的局部空间域大小，也即滑动窗的大。

8.一种动态下采样图像分割装置，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1到7中任一项所述的动态下采样图像分割方法。

9.一种计算机介质，其特征在于：存储有计算机程序，所述计算机程序可以被执行以实现如权利要求1到7中任一项所述的动态下采样图像分割方法。

Images