CN1811794A - 基于反射或透射光强分布特性的灰度图像分割方法 - Google Patents

Abstract

本发明属于数字图像分析和计算机视觉领域。该方法是在对图像进行噪声滤除后，根据反射或透射光强分布呈凸函数或凹函数的特性以及目标和背景的亮暗关系，分别以图像行或列的方式对图像的每行或每列进行图像背景点的寻找；在图像上按照纵横等距的方式均匀地设置关键点坐标，如果关键点的位置是已经找到的背景点，则坐标不再变，如果不是，则把周围最近的背景点坐标作为关键点新坐标；再利用插值方法由上述找到的关键点构造出图像背景；将构造出的图像背景与原始图像差的绝对值作为目标图像；对得到的目标图像进行全局阈值分割就是所期望的分割结果。本方法简单易行，而且精度较高，易于推广。

Description

基于反射或透射光强分布特性的灰度图像分割方法

技术领域

本发明属于数字图像分析和机器视觉领域。

背景技术

在数字图像处理与分析、机器视觉，以及模式识别中，图像分割是一项非常关键的工作。所谓图像分割就是把图像分成各具特性的区域并提出感兴趣目标的技术和过程。目前，常用的图像分割方法有基于区域的分割方法，基于边界的分割方法，以及二者相结合的分割方法等。其中基于阈值分割区域的分割方法被广泛采用，特别是对于在相同背景下拍摄的目标图像。但是，以前的分割方法考虑的只是图像本身的特征，而没有考虑光源照射时的光照的特性。本发明就是要根据光照强度的分布特性，对亮背景下的暗目标或暗背景下的亮目标进行简单而精确的分割。

发明内容

在进行图像摄取的时候，特别是在工业检测中，我们经常会在亮背景下拍摄暗目标，或者在暗背景下拍摄亮目标。如果灯光照射到背景上的光是均匀的，所成像的背景光强也是均匀的，只要用与背景光强相当的阈值就能很好地将目标分割出来。但是，如果摄像机拍摄过程中光照是不均匀的，所拍摄图像的背景也就不均匀，此时利用全局阈值的分割方法就行不通了。于是，有学者提出了利用区域分块的方法，力图使背景在小区域内变化较小，从而再利用全局阈值进行分割。还有的方法是对图像求梯度，把梯度大的地方当作背景点，从而插值计算出图像背景。但这些方法对于目标边缘模糊的图像来讲，分割效果不是十分的好。和目前其它的图像分割方法一样，上面的这些方法基本上只是从图像本身的特征出发的，而没有利用光照的特点。在图像处理和分析以及机器视觉被广泛应用的情况下，拍摄图像环境是已知的，光照的分布情况就可以估算出来。图像是由摄像机输出的，而摄像机所捕捉的就是反射或透射到光学传感器上的光强，因此充分利用反射或透射光强的分布特性对灰度图像进行分割就是本发明的关键所在。

本发明的基本原理是：首先根据光源在被拍摄区域内形成的反射或透射光强度呈凸函数分布或凹函数分布的特点，推出图像背景的光强分布特性，接着结合目标与背景的亮暗关系，利用凸函数或凹函数的一些性质从图像中找到一些背景点，然后从这些背景点中挑选出插值关键点，继而通过这些关键点插值生成图像背景，最后把图像和背景的差作为目标图像，再对目标图像实施阈值分割就得到了我们期望的分割结果。

本发明特征在于含有以下步骤：

步骤1.由计算机计算光源的反射或透射光强沿所拍摄图像在x-y坐标轴上某方向的分布特性，确定图像所在区域内光强分布是呈凸函数分布还是凹函数分布；

步骤1.1用摄像头拍摄所需分割的图像，并传输到计算机内；

步骤1.2由计算机计算光源的反射或透射光强沿所拍摄图像在x-y坐标轴某方向上的分布函数；

步骤1.3对步骤1.2中得到的光强分布函数求二次导数；

步骤1.4确定图像背景的光强分布特点：光强分布函数的二次导数大于0的区域是凹函数，小于0的区域是凸函数；

步骤2.根据步骤1求出的光强分布特性以及目标和背景的亮暗关系，分别按光强计算方向以图像行或列的方式对图像的每行或每列进行图像背景点的寻找：

步骤2.1.滤除白噪声，以去掉干扰；采用下述滤波方法中的任何一种方法进行：平滑滤波、高斯低通滤波、维纳滤波，从而得到滤波后的数字图像；

步骤2.2.对于光强呈凸函数分布，且目标比背景亮的图像，做如下处理：沿光强计算方向取滤波图像一行数据，将数据在该行的位置记为x，灰度值记为y，从该行数据的左端点(x_L，y_L)向每一数据点(x_i，y_i)引一条弦，如果在(x_L，y_L)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为左候选背景点；从该行数据的右端点(x_R，y_R)向每一数据点(x_i，y_i)引一条弦，如果在(x_R，y_R)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为右候选背景点；将上面既是左候选背景点又是右候选背景点的所有点挑选出来作为该图像行找到的背景点，对所有行做同样的处理；

步骤2.3.对于光强呈凸函数分布且目标比背景暗的图像，做如下处理：沿光强计算方向取滤波图像一行数据，将数据在该行的位置记为x，灰度值记为y，连接该行数据的左端点(x_L，y_L)和右端点(x_R，y_R)形成弦，寻找位于该弦上方到弦具有最大距离的点(x₁，y₁)，并将(x_L，y_L)、(x₁，y₁)和(x_R，y_R)标记为背景点；将标记出的背景点，按从x坐标左到右的顺序两两连线成弦，并把位于该弦上方到弦具有最大距离的点标记为背景点；在已找到背景点的基础上，重复按从x坐标左到右的顺序两两连线成弦并寻找背景点的过程，直至每条弦上不再有点为止；对所有行做同样的处理；

步骤2.4.对于光强呈凹函数分布，且目标比背景暗的图像，将图像取反相，后续的处理方式和步骤2.2相同；

步骤2.5.对于光强呈凹函数分布，且目标比背景亮的图像，将图像取反相，后续的处理方式和步骤2.3相同；

步骤3.先按照纵横坐标间隔等距的方式，从图像中均匀地取点作为插值产生图像背景的关键点；由于关键点必须是背景点，所以如果所取关键点不是步骤2中所找到的背景点的位置，则用离其距离最近的背景点代替之；

步骤4.利用下述各插值方法中的任何一种方法依据步骤3得到的关键点来构造图像背景：所述插值方法可以是拉格朗日插值、均差的牛顿插值、分段低次插值、样条插值；

步骤5.将原始图像与所构造的图像背景之差作为目标图像；具体的相减方法是，设f(x，y)是原始图像中像素(x，y)处的灰度，而g(x，y)是重建出的背景图像中像素(x，y)处的灰度，则得到的目标图像在(x，y)处的像素灰度值为|g(x，y)-f(x，y)|；

步骤6.对目标图像做低通滤波后，利用全局阈值方法分割出目标；

采用本方法进行处理不仅能够准确的描述所给图像背景信息，分割出目标图像，而且还可以对每一点的光照强度进行归一化，使分割结果达到更高的准确率，这对定量分析特别有利。

下面结合附图对本发明作进一步说明。

附图说明：

图1为本发明的灰度图像分割整体流程框图；

图2为本发明的硬件设备图；

图2A是本发明的给出的一幅背景亮度在水平方向上呈凸函数分布，而目标比背景亮的测试图像；

图2B是本发明的测试图像图2A的一行图像信号；

图2C是本发明的测试图像图2A经低通滤波后的一行图像信号，它与图2B形成同一行图像在滤波前后的对比图；

图2D是本发明对一行图像从左端点寻找背景点的示意图；

图2E是本发明对一行图像从右端点寻找背景点的示意图；

图2F是本发明的图2D和图2E寻找到的共同背景点示意图；

图2G是本发明在测试图像图2A中所找到的背景点的示意图；

图2H是本发明以纵横等距方式在测试图像图2A中均匀设置插值关键点的示意图；

图2I是本发明对图2H进行调整后的插值关键点的示意图；

图2J是本发明利用寻找的插值关键点构造出的测试图像图2A的背景三维立体显示；

图2K是本发明所用测试图像图2A的三维立体显示；

图2L是本发明从测试图像图2A中寻找到的目标图像的三维立体显示；

图2M是本发明对测试图像图2A的最后分割结果

图3A是本发明的给出的一幅背景亮度在水平方向上呈凸函数分布，而目标比背景暗的测试图像；

图3B是本发明的测试图像图3A经低通滤波后的一行图像信号；

图3C是本发明寻找一行图像中除对端点外的第一个背景点的示意图；

图3D是本发明在图3C基础上继续利用本发明方法寻找背景点的示意图；

图3E是本发明在一行图像图3B中最终找到的背景点示意图；

图3F是本发明在测试图像图3A中所找到的背景点的示意图；

图3G是本发明以纵横等距方式在测试图像图3A中设置均匀插值关键点的示意图；

图3H是本发明对图3G进行调整后的插值关键点的示意图；

图3I是本发明利用寻找的插值关键点构造出的测试图像图3A的背景三维立体显示；

图3J是本发明所用测试图像图3A的三维立体显示；

图3K是本发明从测试图像图3A中寻找到的目标图像的三维立体显示；

图3L是本发明对测试图像图3A的最后分割结果。

具体实施方式：

图1给出了本发明的灰度图像分割整体流程框图，主要包括：第一步，计算光照反射或透射光强沿所拍摄图像在x-y坐标轴上某方向的分布特性，以确定图像所在区域内的背景光强是呈凸函数分布还是凹函数分布；第二步，根据反射或透射光强分布特性以及目标和背景的亮暗关系，在对图像进行低通滤波后，分别沿光强计算方向以图像行或列的方式对图像的每行或每列进行图像背景点的寻找；第三步，在图像上按照纵横等距的方式均匀地设置关键点坐标，如果关键点的位置是已经找到的背景点，则坐标不再变，如果不是，则把周围最近的背景点的坐标作为关键点新坐标，根据关键点的纵横坐标，从滤波图像中确定关键点的灰度值；第四步，由上述找到的关键点再利用插值方法构造出图像背景；第五步，将构造出的背景图像与原始图像相减，其差的绝对值作为目标图像；第六步，对得到的目标图像进行全局阈值分割就是所期望的分割结果。具体过程如下：

本发明的第一步是将摄像头采集的图像输入计算机，由计算机计算光照反射或透射光强沿所拍摄图像某方向的分布特性，确定图像所在区域内是呈凸函数分布还是凹函数分布，其硬件设备图如图2所示。由于光照射强度变化是连续可导的，所以对光在图像区域内反射或透射光强求二次导数，以二次导数为0作为界判断图像所在区域的光强分布是呈凸函数分布还是凹函数分布，二次导数大于0的区域，光强呈凹函数分布，二次导数小于0的区域，光强呈凸函数分布。以点光源为例，光强分布函数可由下面公式求得：设点光源与背景距离为h，以点光源在背景上的垂直投影为原点，则坐标为(x，y)的点对应的光强为： $\mathrm{Ip}(x,y)=I\cos \mathrm{\θ}=I\frac{h}{\sqrt{x^2+y^2+h^2}}.$ 光强在x轴方向上的二次导数公式为

$\frac{{\∂}^2\mathrm{Ip}(x,y)}{{\∂x}^2}=-\mathrm{Ih}{(x^2+y^2+h^2)}^{-\frac{3}{2}}+3\mathrm{Ih}{x}^2{(x^2+y^2+h^2)}^{-\frac{3}{2}}.$

如果反射或透射光强呈凸函数分布，则直接跳到第二步，如果是凹函数，则将图像灰度取反，处理的公式为：I_inv＝255-I，其中I表示取反前的灰度值，I_inv表示取反后的灰度值；这样凹函数分布就变成了凸函数分布。为了去掉白噪声的干扰，找到真正的背景点，在第一步里还要进行低通滤波处理，如高斯低通滤波、平滑滤波、维纳滤波。图2B与图2C是本发明的测试图像图2A经维纳滤波后的同一行图像在滤波前后的对比图，可以看出，白噪声基本上被滤掉了。

在确定了反射或透射光强的分布特性后，就进入本发明的第二步，根据光强分布特性以及目标和背景的亮暗关系，分别以图像行或列的方式对图像的每行或每列进行图像背景点的寻找。无论是凸函数分布还是凹函数分布，每种分布都对应着亮目标和暗目标两种情况，这样组合起来就有四种情况，(1)背景光强呈凸函数分布，目标比背景暗；(2)背景光强呈凸函数分布，目标比背景亮；(3)背景光强呈凹函数分布，目标比背景暗；(4)背景光强呈凹函数分布，目标比背景亮。但是，因凸函数取反后变为凹函数，而凹函数取反后是凸函数，所以根据凸函数和凹函数之间的这种关系，我们把凸函数分布与亮目标以及凹函数与暗目标归为一类，把凸函数分布与暗目标以及凹函数与亮目标归为第二类，这样只要对这两类图像分割就可以了。这里以背景光强沿水平方向的分布呈凸函数或凹函数分布为例，其他方向类似。图2A给出了一幅背景光强在水平方向上呈凸函数分布，而目标比背景暗的测试图像，图3A给出了另一幅背景光强在水平方向上呈凸函数分布，但目标却比背景亮的测试图像。在图2A和图3A中，a是要分隔的目标，而b则是背景。对于这两类图像的分割，采用不同的背景点的寻找方法。对于第一类图像，也就是光强呈凸函数分布背景对应亮目标的情况。本发明的方法是对图像逐行寻找背景点。具体过程是：沿着光强计算方向取图像一行数据，这里假设是沿水平方向，我们将数据在该行的位置记为x，灰度值记为y，对于彩色图像，进行灰度转换处理的公式为：I＝R×0.3+G×0.59+B×0.11，并对I的计算结果采用256级量化；从该行数据的左端点(x_L，y_L)向每一数据点(x_i，y_i)引一条弦，如果在(x_L，y_L)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为左候选背景点，图2D中的线段c就是从左端点引出的弦，而小方框d就是找到的左候选背景点；从该行数据的右端点(x_R，y_R)向每一数据点(x_i，y_i)引一条弦，如果在(x_R，y_R)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为右候选背景点，图2E中的线段e就是从右端点引出的弦，小三角形f就是找到的右候选背景点；将上面既是左候选背景点又是右候选背景点的点挑选出来作为该图像行找到的背景点，图2F中的小圆圈g就是找到的背景点，它们是图像2D中的d和2E中的f相与之后的结果。对整幅图像来说，图2G中的白色像素就是利用上述方法从图2A中找到的背景点。对于第二类图像，也就是光强呈凸函数分布背景对应暗目标的情况。本发明的方法是对图像逐行寻找背景点。具体过程是：沿光强计算方向取图像一行数据，这里是沿水平方向，将数据在该行的位置记为x，灰度值记为y，对于彩色图像，进行灰度转换处理的公式为：I＝R×0.3+G×0.59+B×0.11，并对I的计算结果采用256级量化；连接该行数据的左端点(x_L，y_L)和右端点(x_R，y_R)形成弦，寻找位于该弦上方到弦具有最大距离的点(x₁，y₁)，并将(x_L，y_L)、(x₁，y₁)和(x_R，y_R)标记为背景点，图3C中的线段k就是左端点(x_L，y_L)和右端点(x_R，y_R)形成弦，而g就是找到的背景点，它到k的距离最大。将标记出的背景点，按从左到右的顺序两两连线成弦，并把位于该弦上方到弦具有最大距离的点标记为背景点，图3D给出了以(x_L，y_L)、(x₁，y₁)和(x_R，y_R)为背景点而继续寻找背景点的示意图。在已找到背景点的基础上，重复按从x坐标左到右的顺序两两连线成弦并寻找背景点的过程，直至每条弦上不再有点为止，图3E中的黑点g就是本发明从图3B中找到的背景点。对每一行图像处理完毕后，就得到整幅图像的背景点，图3F中的白色像素就是利用上述方法从图3A中找到的背景点。

对于背景光强在垂直方向或其他方向呈凸函数或凹函数分布的情况，可以用上面的方法。

第三步是在上述找到的众多背景点中找出关键点。本发明采用的方法是，先按照纵横坐标间隔等距的方式，从图像中均匀取点作为插值产生背景曲面的关键点坐标，图2H和图3G中的圆点h就是设置的关键点坐标。由于关键点必须是背景点，所以如果所取关键点坐标不是第二步所找到的背景点位置，则用离其距离最近的背景点位置坐标代替之，图2I和图3H中的圆点h就是经调整后，找到的关键点位置，可以看出在目标区域a处，由关键点形成的网格比较稀。有了关键点位置坐标，从滤波图像中取对应坐标点的灰度值就是关键点的灰度值，也就是插值的第三维变量。

本发明的第四步是根据上面所求出的关键点，再利用拉格朗日插值，或均差与牛顿插值公式，或差分与等距节点插值，或埃尔米特插值，或分段低次插值，或样条插值等插值方法构造出图像背景。这里以B样条曲面插值为例进行说明。B样条曲面是由许多块样条面片拼接而成的，对于一块双三次B样条曲面片而言，其通用公式为：

Q(s，t)＝S·M·G·M^T·T^T    0≤s≤1，0≤t≤1，

其中，S＝[s³   s²  s1]，T＝[t³  t?²  t1]是参数矩阵，

$M=\frac{1}{6}\left[\begin{array}{cccc}-1& 3& -3& 1\\ 3& -6& 3& 0\\ -3& 0& 3& 0\\ 1& 4& 1& 0\end{array}\right]$ 是基础矩阵，

$G=\·\left[\begin{array}{cccc}{g}_{11}& g_{12}& g_{13}& g_{14}\\ g_{21}& g_{21}& g_{21}& g_{21}\\ g_{31}& g_{31}& g_{31}& g_{31}\\ g_{41}& g_{41}& g_{41}& g_{41}\end{array}\right]\·$ 是关键点矩阵，其中的g_ij就是我们寻找到的关键点。

Q(s，t)为插值所得到的背景。

图2J和图3I分别是根据图2I和图3H所确定的控制点而由上面的双三次B样条曲面插值产生的背景图像的三维立体显示。

在重建出图像背景后，将原始图像与所构造的图像背景之差的绝对值作为目标图像就是本发明的第五步。具体的相减方法是，设f(x，y)是原始图像中像素(x，y)处的灰度，而g(x，y)是重建出的图像背景中像素(x，y)处的灰度，则得到的目标图像在(x，y)处的像素灰度值为|g(x，y)-f(x，y)|。图2K是图2A的三维显示图，而图2L则是图2J与图2K对应像素的灰度差绝对值的三维显示，也就是目标图像的三维显示。同样，图3J是图3A的三维显示图，而图3K则是图3I与图3J对应像素的灰度差绝对值的三维显示，也就是目标图像的三维显示。

本发明的最后一步就是对计算出的目标图像进行分割。对目标图像做低通滤波后，利用全局阈值方法分割出目标。全局阈值理论上为0，但实际上由于噪声的存在，一般取2或3。图2M就是本发明对图2A的最后分割结果，而图3L就是本发明对图3A的最后分割结果。

Claims (1)

1.基于反射或透射的光强分布特性的灰度图像分割方法，其特征在于含有以下步骤：

步骤1.由计算机计算光源的反射或透射光强沿所拍摄图像在x-y坐标轴上某方向的分布特性，确定图像所在区域内光强分布是呈凸函数分布还是凹函数分布；

步骤1.1用摄像头拍摄所需分割的图像，并传输到计算机内；

步骤1.2由计算机计算光源的反射或透射光强沿所拍摄图像在x-y坐标轴某方向上的分布函数；

步骤1.3对步骤1.2中得到的光强分布函数求二次导数；

步骤1.4确定图像背景的光强分布特点：光强分布函数的二次导数大于0的区域是凹函数，小于0的区域是凸函数；

步骤2.根据步骤1求出的光强分布特性以及目标和背景的亮暗关系，分别按光强计算方向以图像行或列的方式对图像的每行或每列进行图像背景点的寻找；

步骤2.1.滤除白噪声，以去掉干扰；采用下述滤波方法中的任何一种方法进行：平滑滤波、高斯低通滤波、维纳滤波，从而得到滤波后的数字图像；

步骤2.2.对于光强呈凸函数分布，且目标比背景亮的图像，做如下处理：沿光强计算方向取滤波图像一行数据，将数据在该行的位置记为x，灰度值记为y；从该行数据的左端点(x_L，y_L)向每一数据点(x_i，y_i)引一条弦，如果在(x_L，y_L)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为左候选背景点；从该行数据的右端点(x_R，y_R)向每一数据点(x_i，y_i)引一条弦，如果在(x_R，y_R)与(x_i，y_i)之间的所有点都位于该弦之上方，则将(x_i，y_i)列为右候选背景点；将上面既是左候选背景点又是右候选背景点的所有点挑选出来作为该图像行找到的背景点，对所有行做同样的处理；

步骤2.3.对于光强呈凸函数分布且目标比背景暗的图像，做如下处理：沿光强计算方向取滤波图像一行数据，将数据在该行的位置记为x，灰度值记为y；连接该行数据的左端点(x_L，y_L)和右端点(x_R，y_R)形成弦，寻找位于该弦上方到弦具有最大距离的点(x₁，y₁)，并将(x_L，y_L)、(x₁，y₁)和(x_R，y_R)标记为背景点；将标记出的背景点，按从x坐标左到右的顺序两两连线成弦，并把位于该弦上方到弦具有最大距离的点标记为背景点；在已找到背景点的基础上，重复按从x坐标左到右的顺序两两连线成弦并寻找背景点的过程，直至每条弦上不再有点为止；对所有行做同样的处理；

步骤2.4.对于光强呈凹函数分布，且目标比背景暗的图像，将图像取反相，后续的处理方式和步骤2.2相同；

步骤2.5.对于光强呈凹函数分布，且目标比背景亮的图像，将图像取反相，后续的处理方式和步骤2.3相同；

步骤3.先按照纵横坐标间隔等距的方式，从图像中均匀地取点作为插值产生图像背景的关键点；由于关键点必须是背景点，所以如果所取关键点不是步骤2中所找到的背景点的位置，则用离其距离最近的背景点代替之；

步骤4.利用下述各插值方法中的任何一种方法依据步骤3得到的关键点来构造图像背景：所述插值方法可以是拉格朗日插值、均差的牛顿插值、分段低次插值、样条插值；

步骤5.将原始图像与所构造的图像背景之差作为目标图像；具体的相减方法是，设f(x，y)是原始图像中像素(x，y)处的灰度，而g(x，y)是重建出的背景图像中像素(x，y)处的灰度，则得到的目标图像在(x，y)处的像素灰度值为|g(x，y)-f(x，y)|；

步骤6.对目标图像做低通滤波后，利用全局阈值方法分割出目标；。

Images