CN104484667B - 一种基于亮度特征和轮廓完整性的轮廓提取方法 - Google Patents
一种基于亮度特征和轮廓完整性的轮廓提取方法 Download PDFInfo
- Publication number
- CN104484667B CN104484667B CN201410851659.8A CN201410851659A CN104484667B CN 104484667 B CN104484667 B CN 104484667B CN 201410851659 A CN201410851659 A CN 201410851659A CN 104484667 B CN104484667 B CN 104484667B
- Authority
- CN
- China
- Prior art keywords
- mrow
- profile
- msub
- response
- receptive field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于亮度特征和轮廓完整性的轮廓提取方法，属于计算机视觉和模式识别的交叉邻域，意在从复杂的环境背景中将物体的轮廓完整的提取出来。本发明包括最大能量响应图的求取步骤、亮度特征调制的非经典感受野抑制步骤、物体轮廓的提取和基于概率模型的高低自适应阈值等后处理步骤、基于轮廓完整性的最近邻朝向一致性连接断裂轮廓的处理步骤。本发明利用Gabor滤波器模拟人类简单细胞经典感受野的响应，得到最大的Gabor能量响应图；利用图像的亮度特征抑制最大Gabor能量响应图，剔除纹理等非目标轮廓；对得到的目标轮廓进行基于概率模型的高低自适应阈值等后处理步骤；基于轮廓完整性的最近邻朝向一致性连接轮廓的断裂点；可以很好的提取目标物的轮廓，处理后得到完整性连接的轮廓图。
Description
技术领域
本发明属于图像处理、计算机视觉技术和模式识别的交叉领域，具体涉及到了一种基于亮度特征和轮廓完整性的轮廓提取方法。
背景技术
轮廓检测在计算机视觉中起到很重要的作用,然而自然图像信息中含有大量的噪声和复杂背景等干扰信息,主体的边缘和轮廓往往淹没于这些信息之中，故主体的轮廓提取很复杂。传统的边缘检测方法无法对目标轮廓与纹理边缘信息进行区分,所以很难有效检测出物体的轮廓。人类视觉系统能够很轻松地从自然图像中检测出目标物体的轮廓，因此需要模拟人类视觉系统，建立类似人类视觉系统的计算机视觉系统，为研究计算机视觉技术提供了一种新思路。在轮廓检测中引入视觉处理机制不仅可以有效的提高轮廓检测的效果,同时更符合人类视觉效果。
国内外很早就发现了感受野对刺激的位置和朝向信息敏感，同时发现了非经典感受野对经典感受野的外周围区域有复杂的调制作用。现有的轮廓检测算法大多数都是基于这种调制作用检测的，但是检测出的轮廓仍然存在许多短的轮廓，同时提取出来的轮廓不够连续，存在许多的断裂，导致轮廓的完整性遭到破坏，同时还需要设置许多的参数，运行速度较慢。
发明内容
本发明要解决的问题是克服现有的非经典感受野抑制轮廓检测方法的缺陷。目前已有的方法由于仅考虑到局部特征，没有考虑轮廓的闭合效应，导致提取出来的轮廓不够连续，存在许多的断点。因此，本发明结合非经典感受野抑制特性提出了一种基于亮度特征和轮廓完整性的轮廓提取方法，可以有效的减少和消除纹理等轮廓，同时利用轮廓的完整性等知识对轮廓的断点进行连接，保证了轮廓的完整性。
本发明提供了一种基于亮度特征和轮廓完整性的轮廓提取方法，可以有效的提取出物体目标的轮廓，该方法包括如下步骤：
(1)利用Gabor滤波器对图像进行滤波来模拟简单细胞的响应，结合和两种相位下的简单细胞响应构成复杂细胞响应，计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O。具体求取过程包括如下子步骤：
(1.1)Gabor能量算子可以很好的模拟复杂细胞经典感受野的响应，因此本发明采用Gabor能量算子实现经典感受野的响应。主要包括以下子步骤：
(1.1.1)为了提取输入图像中各个朝向的轮廓信息，我们需要一组不同朝向的Gabor能量算子，即一组具有不同朝向选择性的复杂细胞对图像的响应，其中朝向选择的公式如下：
式中，θi为这一组朝向中的第i个朝向，它的取值在θi∈[0,π)，Nθ代表θi的采样数量。
(1,1.2)为了提取输入图像中不同尺度的轮廓信息，我们需要一组不同尺度下的Gabor能量算子，即一组具有不同尺度的复杂细胞对图像的响应，其中尺度的选取公式如下：
σj＝1.2+0.4*j j＝0,1,2...,Nσ-1
式中，σj为这一组中的第j个尺度，Nσ为σj的采样数量。
(1.1.3)其二维Gabor的函数表达式如下：
式中，x＝xcosθi+ysinθi,y＝-xsinθi+ycosθi，θ表示朝向角度，取值范围为θ∈[0,π)，σj表示滤波器的尺度，γ表示简单细胞经典感受野的椭圆率，λ是描述波长的参数，σ/λ表示经典感受野空间频率的带宽，是相位偏移量。
(1.2)在某一朝向上具有最优响应的简单细胞经典感受野对输入刺激的响应为e(x,y；θ)，可以用经典感受野模型与输入图像进行卷积得到。具体的计算公式如下：
e(x,y；θ,σ)＝I(x,y)*g(x,y；θ,σ)
式中，I(x,y)为输入图像，g(x,y；θ,σ)为模拟简单细胞的感受野，e(x,y；θ,σ)表示具有最优朝向为θ的简单细胞经典感受野在位置点(x,y)处的响应，*表示卷积操作。
(1.3)利用两种具有典型相位选择性的简单细胞感受野的响应构成复杂细胞经典感受野的响应。复杂细胞的经典感受野对于图像的刺激响应可以表述为：
式中，和分别代表在和时两种相位的简单细胞响应。
(1.4)计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O，计算公式如下：
上式中，为各个尺度，各个朝向下的最大能量响应图，O为最大能量响应图对应的朝向。
(2)计算得到输入图像的亮度特征，将DOG函数作为距离权重系数，利用经典感受野与非经典感受野的亮度特征差异和距离权重系数的卷积结果点乘最大能量响应图和距离权重系数的卷积结果，最后得到对最大能量响应图的抑制值。具体的处理含有如下子步骤：
(2.1)计算输入图像的局部均值作为图像的局部亮度特征，即对于每一像素点，计算其邻域范围内像素点的均值作为该点的亮度特征，获得亮度特征图像。计算公式如下：
式中L(x,y)为(x,y)处的平均亮度特征，M为矩形领域S中的像素数量，S为(x,y)点附近的邻近点。
(2.2)通常利用双高斯差分DOG函数来模拟抑制环境，其中抑制的强度和距离相关，DOG函数的表达形式如下：
式中，σ1和σ2为两个高斯函数的标准差，σ1反应经典感受野的大小，σ2反应非经典感受野的大小，且
(2.3)非经典感受野的相邻细胞的作用距离权重可以由以下公式得到，归一化公式如下：
式中，运算符|| ||表示L1范数
(2.4)最大能量响应图抑制值的计算步骤
(2.4.1)对最大能量响应图和距离权重系数建立一定的关系，其中Inhi(x,y)是没有任何特征调制下的抑制值，即只考虑距离权重系数的影响，关系式如下：
式中，运算符*代表卷积运算。
(2.4.2)当经典感受野内中心像素点的亮度特征与非经典感受野内像素点的亮度特征差异越大，非经典感受野区域对经典感受野的抑制作用越小，反之，则抑制作用越大，我们用如下模型来模拟这个特性：
式中，α,β表示经典感受野中心像素点和非经典感受野内像素点的亮度特征，F＝|α-β|表示中心像素点与非经典感受野内像素点的特征差异，σ表示为经典感受野与非经典感受野的亮度特征差异选取的标准差参数。
在亮度特征调制下的抑制因子可以调整上述的抑制值，使提取的物体轮廓更加真实，抑制纹理的影响。亮度特征调制下的抑制权重的计算公式如下：
L_coefficient(x,y)＝WΔ(x,y)*W(x,y)
(2.4.3)根据无任何特征调制下的最大能量响应图的抑制值和亮度特征调制下的抑制权重，得到抑制值的计算公式如下：
Inhi_value(x,y)＝Inhi(x,y).*L_coefficient(x,y)
(3)利用经典感受野与非经典感受野的亮度特征差异调制下的抑制值抑制最大能量响应图，得到物体的初步轮廓图，然后结合相对抑制值，采用基于概率模型的自适应高低阈值，对轮廓图进行细化处理和剔除非轮廓点处理，得到物体的基本轮廓图。具体过程含有如下子步骤：
(3.1)经典感受野与非经典感受野的亮度特征差异抑制后的轮廓图根据最大Gabor能量响应图和抑制值求出，具体的公式如下：
式中，k代表全局抑制的强度系数。
(3.2)初步轮廓的细化和剔除非轮廓点处理步骤：
(3.2.1)采用非极大值抑制细化轮廓，只保留局部灰度变化极大的点，具体过程如下：
对于con(x,y)，对con(x,y)中所有像素，考虑m*m大小窗口，沿着该点的最优朝向方向O(x,y)的垂直方向进行8邻域范围内的双线性插值,得到两点(x',y'),(x″,y″)，如果(x,y)处的响应同时大于(x',y'),(x″,y″)处的响应，则保留该点，否则置为0。
(3.2.2)对细化后的轮廓图结果进行双阈值处理，即选取一个高阈值ch和一个低阈值cl，具体的细化方法如下：
con1(x,y)＝0 con(x,y)＜cl
con1(x,y)＝con(x1,y1) con(x1,y1)＞con(x,y),(x1,y1)属于(x,y)的八邻域
con1(x,y)＝con(x,y) ch＜con(x,y)
(3.2.3)利用相对抑制值剔除一些非轮廓点，能更好地改善轮廓检测效果。相对抑制值的定义如下：
当像素点位于纹理区域中时，抑制量会很大，因此，相对抑制值会很大，当像素点位于轮廓上时，抑制量较小，从而相对抑制值更小。本发明研究并采用一种基于概率模型的自适应高低阈值进行判断，判断公式如下：
con2(x,y)＝1 κ(x,y)＜κl
con2(x,y)＝1 κ(x1,y1)＜κl,其中(x1,y1)属于(x,y)的八邻域
con2(x,y)＝0 κ(x,y)＞κh
本发明所用的概率模型为候选轮廓图的统计直方图。上式中κl为通过计算概率模型的p分位数得到，p为轮廓图中要求保留的最小轮廓像素的比例。
(3.2.4)从上述得到的con1(x,y)保留了最大能量图抑制后轮廓图，con2(x,y)为经相对抑制值处理后轮廓图。最后得到物体基本轮廓的计算公式如下：
con'(x,y)＝con1(x,y).*con2(x,y)
式中，运算符.*代表点乘运算。
(4)由于得到的基本轮廓存在许多的断裂点，导致轮廓连续性遭到了破坏，我们需要基于轮廓完整性的知识将断点找出来，并把其连接起来，这样就保证了轮廓的完整性，采用基于最近邻一致性的连接方法。
(4.1)寻找基本轮廓的断点步骤
对于最终轮廓con'(x,y)的轮廓像素点，找出像素为非0的点，记录下轮廓像素点的位置和该点的像素值，在轮廓像素点的m*m邻域内搜索，看能否找到其他轮廓像素点，如果存在轮廓点，将找到的轮廓像素点聚集成链。
(4.2)连接断裂轮廓线步骤
找到轮廓的断裂点位置，即聚集成链后的轮廓图中每条链的端点，找出距离每个断裂点最近的断裂点，即他们的距离最短，若距离小于预设距离d，再判断这两点的最优朝向，若最优朝向的差异小于预设差异Δ，则将这两个断裂点连接，依次遍历所有点。最后完成了全部的轮廓提取步骤。
与现有技术相比，本发明具有以下有益效果：结合图像的亮度特征对Gabor最大能量响应图进行了有效的抑制，可以去除大多数的纹理干扰，保留目标物的初步轮廓信息。然后对得到的初步轮廓信息进行细化处理，再对细化后的结果图进行基于概率模型的自适应高低阈值处理，可以有效的滤除掉轮廓图中剩余的非轮廓纹理信息。考虑到物体轮廓的完整性，对轮廓图中出现的断裂点进行基于最近邻朝向一致性的连接处理，得到最终目标物体的轮廓图。
附图说明
图1为本发明方法流程示意图；
图2为经典感受野和非经典感受野的关系示意图；
图3为本发明的输入原图像；
图4为多尺度、多朝向Gabor滤波后的能量响应图；
图5为DOG函数的距离权重示意图；
图6为基于亮度特征抑制后的能量响应图；
图7为八领域双线性插值示意图；
图8为非极大值抑制处理后的轮廓图；
图9为相对抑制值的轮廓图；
图10为非极大值和相对抑制值点积后的轮廓图；
图11为链状形式的轮廓图；
图12为完整性处理后得到的轮廓图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明主要是模拟人类的视觉系统对物体轮廓的感知，而Gabor滤波器可以很好的模拟人类视觉系统简单细胞经典感受野的响应，所以利用
Gabor滤波器对图像进行滤波，然后对Gabor滤波后的能量图进行抑制，去除图像中的纹理等，保留物体的真实轮廓。对于得到的轮廓图进行完整性的连接，将提取出的轮廓存在的断裂点连接起来，保证轮廓的真实性。
下面以图3所示图像为例对本发明做进一步详细说明。以下结合附图和实施例对本发明进一步说明。
本发明流程如图1所示，具体实施方法包括以下步骤。包括：最大能量响应图的求取步骤、亮度特征调制的非经典感受野抑制步骤、物体轮廓的提取和基于概率模型的自适应高低阈值等后处理步骤、基于最近邻朝向一致性的轮廓完整性的处理步骤；
(1)在不同朝向和不同尺度下，利用Gabor滤波器对图像进行滤波来模拟简单细胞的响应，结合和两种相位下的简单细胞响应构成复杂细胞响应，最后求取得到能量响应的最大值。具体求取过程包括如下子步骤：
(1.1)Gabor能量算子可以很好的模拟简单细胞的基本响应，因此本发明采用Gabor能量算子实现经典感受野的响应。主要包括以下子步骤：
(1.1.1)为了提取输入图像中各个朝向的轮廓信息，我们需要一组不同朝向的Gabor能量算子，即一组具有不同朝向选择性的复杂细胞对图像的响应，其中朝向选择的公式如下：
式中，θi为这一组朝向中的第i个朝向，它的取值在θi∈[0,π)，Nθ代表θi的采样数量。本实例中，选取Nθ＝12。
(1.1.2)为了提取输入图像中不同尺度的轮廓信息，我们需要一组不同尺度下的Gabor能量算子，即一组具有不同尺度的复杂细胞对图像的响应，其中尺度的选取公式如下：
σj＝1.2+0.4*j j＝0,1,2...,Nσ-1
式中，σj为这一组中的第j个尺度，Nσ为σj的采样数量。本实例中，选取Nσ＝8。
(1.1.3)其二维Gabor的函数表达式如下：
式中，x＝xcosθi+ysinθi,y＝-xsinθi+ycosθi，θi表示朝向角度，取值范围为θ∈[0,π)，σj表示滤波器的尺度，γ表示简单细胞经典感受野的椭圆率，λ是描述波长的参数，σj/λ表示经典感受野空间频率的带宽，是相位偏移量。本实例中，选取或
(1.2)在某一朝向上具有最优响应的简单细胞经典感受野对输入刺激的响应为e(x,y；θ)，可以用经典感受野模型与输入图像进行卷积得到。具体的计算公式如下：
e(x,y；θ,σ)＝I(x,y)*g(x,y；θ,σ)
式中，I(x,y)为输入图像，g(x,y；θ,σ)为模拟简单细胞的感受野，e(x,y；θ,σ)表示具有最优朝向为θ的简单细胞经典感受野在位置点(x,y)处的响应，*表示卷积操作。
(1.3)利用两种具有典型相位选择性的简单细胞感受野的响应构成复杂细胞经典感受野的响应。复杂细胞的经典感受野对于图像的刺激响应可以表述为：
式中，和分别代表在和时两种相位的简单细胞响应。
(1.4)计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O，计算公式如下：
上式中，为各个尺度，各个朝向下的最大能量响应图，O(x,y)为最大能量响应图对应的朝向。本实例中，选取Nθ＝12,Nσ＝8。得到的最大能量响应图如图4所示。
(2)计算得到输入图像的亮度特征，将DOG函数作为距离权重系数，利用经典感受野与非经典感受野的亮度特征差异和距离权重系数的卷积结果点乘最大能量响应图和距离权重系数的卷积结果，最后得到基于亮度特征调制下的最大能量响应图的抑制值。具体的处理含有如下子步骤：
(2.1)计算输入图像的局部均值作为图像的局部亮度特征，即对于每一像素点，计算其邻域范围内像素点的均值作为该点的亮度特征，获得亮度特征图像。计算公式如下：
式中L(x,y)为(x,y)处的平均亮度特征，M为矩形领域S中的像素数量，S为(x,y)点附近的邻近点。本实例中，S为(x,y)的7*7的领域，M＝49。
(2.2)通常利用双高斯差分DOG函数来模拟抑制环境，其中抑制的强度和距离相关，DOG函数的表达形式如下：
式中，σ1和σ2为两个高斯函数的标准差，σ1反应经典感受野的大小，σ2反应非经典感受野的大小，且本实例中，选取σ1＝4,σ2＝16。DOG函数的示意图如图5所示。
(2.3)非经典感受野的相邻细胞的作用距离权重可以由以下公式得到，归一化的公式如下：
式中，运算符|| ||表示L1范数。
(2.4)最大能量响应图抑制值的计算步骤
(2.4.1)对最大能量响应图进行抑制处理，Inhi(x,y)是没有任何特征调制下的抑制值，即只考虑距离权重系数的影响，关系式如下：
式中，运算符*代表卷积运算。
(2.4.2)当经典感受野内中心像素点的亮度特征与非经典感受野内像素点的亮度特征差异越大，非经典感受野区域对经典感受野的抑制作用越小，反之，则抑制作用越大，我们用如下模型来模拟这个特性：
式中，α,β表示经典感受野中心像素点和非经典感受野内像素点的亮度特征，F＝|α-β|表示中心像素点与非经典感受野内像素点的特征差异，σ表示为经典感受野与非经典感受野的亮度特征差异选取的标准差参数。本实例中，选取σ＝15。
在亮度特征差异调制下的抑制因子可以调整上述的抑制值，使提取的物体轮廓更加真实，抑制纹理的影响。亮度特征调制下的抑制权重的计算公式如下：
L_coefficient(x,y)＝WΔ(x,y)*W(x,y)
(2.4.3)根据无任何特征调制下的最大能量响应的抑制值和亮度特征的抑制权重，得到抑制值的计算公式如下：
Inhi_value(x,y)＝Inhi(x,y).*L_coefficient(x,y)
最后得到抑制后的能量响应图如图6所示。
(3)利用经典感受野与非经典感受野的亮度特征差异调制下的抑制值抑制最大能量响应图，得到物体的初步轮廓图，结合相对抑制值，采用基于概率模型的自适应高低阈值，对轮廓图进行细化处理和剔除非轮廓点处理，得到物体的基本轮廓图。具体过程含有如下子步骤：
(3.1)亮度特征调制后的轮廓图可以根据最大Gabor能量图和抑制值求出，具体的公式如下：
式中，k代表全局抑制的强度系数。本实例中，选取k＝0.01。
(3.2)初步轮廓的细化和剔除非轮廓点处理步骤：
(3.2.1)采用非极大值抑制细化轮廓，只保留局部灰度变化极大的点，具体过程如下：
对于con(x,y)，对con(x,y)中所有像素，考虑m*m大小窗口，沿着该点的最优朝向方向O(x,y)的垂直方向进行8邻域范围内的双线性插值,得到两点(x',y'),(x″,y″)，如果(x,y)处的响应同时大于(x',y'),(x″,y″)处的响应，则保留该点，否则置为0。本实例中，选取m＝3。
(3.2.2)对细化后的轮廓图结果进行双阈值处理，即选取一个高阈值ch和一个低阈值cl，具体的细化方法如下：
con1(x,y)＝0 con(x,y)＜cl
con1(x,y)＝con(x1,y1) con(x1,y1)＞con(x,y),(x1,y1)属于(x,y)的八邻域
con1(x,y)＝con(x,y) ch＜con(x,y)
本实例中，选取cl＝10,ch＝200。得到的处理结果如图8所示。
(3.2.3)利用相对抑制值剔除一些非轮廓点，能更好地改善轮廓检测效果。相对抑制值定义如下：
当像素点位于纹理区域中时，抑制量会很大，因此，相对抑制值会很大，当像素点位于轮廓上时，抑制量较小，从而相对抑制值更小。本发明研究并采用一种基于概率模型的自适应高低阈值进行判断，判断公式如下：
con2(x,y)＝1 κ(x,y)＜κl
con2(x,y)＝1 κ(x1,y1)＜κl,其中(x1,y1)属于(x,y)的八邻域
con2(x,y)＝0 κ(x,y)＞κh
本发明所用的概率模型为候选轮廓图的统计直方图。上式中κl为通过计算概率模型的p分位数得到，p为轮廓图中要求保留的最小轮廓像素的比例。本实例中，选取p＝0.01。最后得到的抑制值的结果图如图9所示。
(3.2.4)从上述得到的con1(x,y)保留了最大能量图抑制后轮廓图，con2(x,y)为经相对抑制值处理后的轮廓图。最后得到物体基本轮廓的计算公式如下：
con'(x,y)＝con1(x,y).*con2(x,y)
式中，运算符.*代表点乘运算。得到的轮廓图如图10所示。
(4)由于得到的基本轮廓存在许多的断裂点，导致轮廓连续性遭到了破坏，我们需要基于轮廓完整性的知识将断点找出来，并把其连接起来，这样就保证了轮廓的完整性，采用基于最近邻朝向一致性的连接方法。
(4.1)寻找基本轮廓的断点步骤
对于最终轮廓con'(x,y)的轮廓像素点，找出像素为非0的点，记录下轮廓像素点的位置和该点的像素值，在轮廓像素点的m*m邻域内搜索，看能否找到其他轮廓像素点，如果存在轮廓点，将找到的轮廓像素点聚集成链，本实例中，m＝5，具体实施过程如下：
对找到的轮廓像素点的像素值排序，从而得到轮廓像素点的最大像素值，记录下该点的位置，将该点的像素值置为0，首先从该像素点的四邻域内寻找轮廓像素点，若能找到，则以找到的轮廓像素点为新的轮廓像素点开始寻找，如果四邻域内没有轮廓像素点，则找该像素点的对角线上的点，若能找到，则以找到的轮廓点为新的轮廓像素点开始寻找，若找不到，则找5*5邻域内的其他像素点，如若5*5邻域像素内均找不到轮廓像素点，则依次取排序后的轮廓像素点，作为新的轮廓像素点开始寻找，直至所有轮廓像素点均被聚集成链，结果如图11所示。当链长度小于20时，去除掉该链。
(4.2)连接断裂轮廓线步骤
找到轮廓的断裂点位置，即聚集成链后的轮廓图中每条链的端点，找出距离每个断裂点最近的断裂点，即他们的距离最短，若距离小于d，再判断这两点的最优朝向，若最优朝向的差异小于Δ，则将这两个断裂点连接，依次遍历所有点。最后完成了全部的轮廓提取步骤。本实例中，选取最后提取的完整性轮廓结果如图12所示。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于亮度特征和轮廓完整性的轮廓提取方法，其特征在于，所述方法包括如下步骤：
(1)利用Gabor滤波器对图像进行滤波来模拟简单细胞的响应，结合和两种相位下的简单细胞响应构成复杂细胞响应，计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O；
(2)计算得到输入图像的亮度特征，用DOG函数确定非经典感受野的区域，同时将DOG函数作为距离权重系数，利用经典感受野与非经典感受野的亮度特征差异和距离权重系数的卷积结果点乘最大能量响应图和距离权重系数的卷积结果，最后得到对最大能量响应图的抑制值；
(3)利用经典感受野与非经典感受野的亮度特征差异调制下的抑制值抑制最大能量响应图，得到物体的初步轮廓图，结合相对抑制值，采用基于概率模型的自适应高低阈值，对轮廓图进行细化处理和剔除非轮廓点处理，得到物体的基本轮廓图；所述步骤(3)中结合相对抑制值，采用基于概率模型的自适应高低阈值，对轮廓图进行细化处理和剔除非轮廓点处理，得到物体的基本轮廓图，具体包括：
(3.2.1)采用非极大值抑制细化轮廓，只保留局部灰度变化极大的点，具体过程如下：
对物体的初步轮廓图con(x,y)中所有像素，考虑m*m大小窗口，沿着该点的最优朝向方向O(x,y)的垂直方向进行8邻域范围内的双线性插值，得到两点(x',y'),(x”,y”)，如果(x,y)处的响应同时大于(x',y'),(x”,y”)处的响应，则保留该点，否则置为0；
(3.2.2)对(3.2.1)得到的轮廓图结果进行双阈值处理，即选取物体的初步轮廓图的一个高阈值ch和一个低阈值cl，具体的处理方法如下：
con1(x,y)＝0 con(x,y)＜cl
con1(x,y)＝con(x1,y1) con(x1,y1)＞con(x,y),(x1,y1)属于(x,y)的八邻域
con1(x,y)＝con(x,y) ch＜con(x,y)
(3.2.3)利用相对抑制值剔除一些非轮廓点，采用基于概率模型的自适应高低阈值进行判断，判断方法为：
con2(x,y)＝1 κ(x,y)＜κl
con2(x,y)＝1 κ(x1,y1)＜κl,其中(x1,y1)属于(x,y)的八邻域
con2(x,y)＝0 κ(x,y)＞κh
其中，相对抑制值为：kh和κl分别为抑制值的高、低阈值，κl为通过计算概率模型的p分位数得到，p为轮廓图中要求保留的最小轮廓像素的比例；
(3.2.4)上述得到的con1(x,y)保留了最大能量图抑制后轮廓图，con2(x,y)为经相对抑制值处理后轮廓图，最后利用下式得到物体基本轮廓，其计算公式如下：
con'(x,y)＝con1(x,y).*con2(x,y)
式中，运算符.*代表点乘运算；
(4)将轮廓点聚集成轮廓链，分析轮廓链的特点，采用基于最近邻朝向一致性的方法，将轮廓链的断点连接起来，从而保证轮廓的完整性。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)中的Gabor滤波器具体为：
二维Gabor的函数表达式如下：
式中，γ表示简单细胞经典感受野的椭圆率，λ是描述波长的参数，是相位偏移量；
θi表示朝向角度，i＝0,1,....,Nθ-1，式中，θi为这一组朝向中的第i个朝向，它的取值在θi∈[0,π)，Nθ代表θi的采样数量；
σj表示滤波器的尺度，σj＝1.2+0.4*j j＝0,1,2...,Nσ-1，式中，σj为这一组中的第j个尺度，Nσ为σj的采样数量。
3.如权利要求2所述的方法，其特征在于，所述步骤(1)中结合和两种相位下的简单细胞响应构成复杂细胞响应，具体包括：
利用经典感受野模型与输入图像进行卷积得到某一朝向上具有最优响应的简单细胞经典感受野对输入刺激的响应为e(x,y；θ)，具体的计算公式如下：
e(x,y；θ,σ)＝I(x,y)*g(x,y；θ,σ)
式中，I(x,y)为输入图像，g(x,y；θ,σ)为模拟简单细胞的感受野，e(x,y；θ,σ)表示具有最优朝向为θ的简单细胞经典感受野在位置点(x,y)处的响应，*表示卷积操作；
利用两种具有典型相位选择性的简单细胞感受野的响应构成复杂细胞经典感受野的响应，复杂细胞的经典感受野对于图像的刺激响应表述为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<mi>&theta;</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<msub>
<mi>e</mi>
<mn>0</mn>
</msub>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<mi>&theta;</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<msub>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>&pi;</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<mi>&theta;</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mrow>
式中，和分别代表在和时两种相位的简单细胞响应。
4.如权利要求3所述的方法，其特征在于，所述步骤(1)中计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O，具体包括：
计算不同尺度、不同朝向下的最大的Gabor能量响应图，同时计算得到最大Gabor能量响应图所对应的朝向O，计算公式如下：
<mrow>
<mover>
<mi>E</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<mo>{</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<msub>
<mi>N</mi>
<mi>&theta;</mi>
</msub>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<msub>
<mi>N</mi>
<mi>&sigma;</mi>
</msub>
<mo>}</mo>
</mrow>
<mrow>
<mi>O</mi>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>max</mi>
<mi>i</mi>
</munder>
<mo>{</mo>
<munder>
<mi>max</mi>
<mi>j</mi>
</munder>
<mo>{</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>12...</mn>
<msub>
<mi>N</mi>
<mi>&theta;</mi>
</msub>
<mo>}</mo>
<mo>|</mo>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<msub>
<mi>N</mi>
<mi>&sigma;</mi>
</msub>
<mo>}</mo>
</mrow>
上式中，为各个尺度、各个朝向下的最大能量响应图，O为最大能量响应图对应的朝向。
5.如权利要求1至4任一项所述的方法，其特征在于，所述步骤(2)中计算得到输入图像的亮度特征，具体包括：
计算输入图像的局部均值作为图像的局部亮度特征，即对于每一像素点，计算其邻域范围内像素点的均值作为该点的亮度特征，获得亮度特征图像，计算公式如下：
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>S</mi>
</mrow>
</munder>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
式中L(x,y)为(x,y)处的平均亮度特征，M为矩形领域S中的像素数量，S为(x,y)点附近的邻近点。
6.如权利要求1至4任一项所述的方法，其特征在于，所述步骤(2)中DOG函数，具体为：
DOG函数的表达形式如下：
<mrow>
<msub>
<mi>DOG</mi>
<mrow>
<msub>
<mi>&sigma;</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mn>2</mn>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<msup>
<mi>e</mi>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</msup>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&pi;&sigma;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<msup>
<mi>e</mi>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</msup>
</mrow>
<mo>|</mo>
</mrow>
式中，σ1和σ2为两个高斯函数的标准差，σ1反应经典感受野的大小，σ2反应非经典感受野的大小，且
7.如权利要求1所述的方法，其特征在于，所述步骤(3)中利用经典感受野中心像素点和非经典感受野内像素点的亮度特征差异调制下的抑制值抑制最大能量响应图，得到物体的初步轮廓图，具体包括：
物体的初步轮廓图根据最大Gabor能量响应图和抑制值求出，具体的公式如下：
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>~</mo>
</mover>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>k</mi>
<mo>*</mo>
<mi>I</mi>
<mi>n</mi>
<mi>h</mi>
<mi>i</mi>
<mo>_</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
式中，k代表全局抑制的强度系数。
8.如权利要求1所述的方法，其特征在于，所述步骤(4)中基于最近邻一致性连接断裂轮廓，具体包括：
(4.1)对于最终轮廓con'(x,y)的轮廓像素点，找出像素为非0的点，记录下轮廓像素点的位置和该点的像素值，在轮廓像素点的m*m邻域内搜索，看能否找到其他轮廓像素点，如果存在轮廓点，将找到的轮廓像素点聚集成链；
(4.2)找到轮廓的断裂点位置，即聚集成链后的轮廓图中每条链的端点，找出距离每个断裂点最近的断裂点，若距离小于预设距离d，再判断这两点的最优朝向，若最优朝向的差异小于预设差异Δ，则将这两个断裂点连接，依次遍历所有点，最后完成了全部的轮廓提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410851659.8A CN104484667B (zh) | 2014-12-30 | 2014-12-30 | 一种基于亮度特征和轮廓完整性的轮廓提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410851659.8A CN104484667B (zh) | 2014-12-30 | 2014-12-30 | 一种基于亮度特征和轮廓完整性的轮廓提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104484667A CN104484667A (zh) | 2015-04-01 |
| CN104484667B true CN104484667B (zh) | 2018-02-23 |
Family
ID=52759208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410851659.8A Expired - Fee Related CN104484667B (zh) | 2014-12-30 | 2014-12-30 | 一种基于亮度特征和轮廓完整性的轮廓提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104484667B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778696B (zh) * | 2015-04-13 | 2017-12-26 | 杭州电子科技大学 | 一种基于视通路方位敏感的图像边缘分级检测方法 |
| CN104966292A (zh) * | 2015-06-15 | 2015-10-07 | 广西科技大学 | 基于垂直方向Gabor滤波器的多图书目标分割方法 |
| CN105160651A (zh) * | 2015-07-05 | 2015-12-16 | 济南大学 | 基于视觉注意机制的纸病检测方法 |
| CN105469414B (zh) * | 2015-12-15 | 2018-09-18 | 凌云光技术集团有限责任公司 | 轮廓连接方法及装置 |
| CN106127209B (zh) * | 2016-06-17 | 2019-05-17 | 中南大学 | 一种基于局部边缘特征整合的目标物体轮廓提取方法 |
| CN106127168B (zh) * | 2016-06-30 | 2019-02-22 | 中国人民解放军军械工程学院 | 弹道目标识别方法 |
| CN106228547B (zh) * | 2016-07-15 | 2018-12-28 | 华中科技大学 | 一种基于视觉颜色理论和同质抑制的轮廓与边界检测算法 |
| CN106355596B (zh) * | 2016-08-30 | 2018-11-23 | 广西师范大学 | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 |
| CN106485724B (zh) * | 2016-09-20 | 2019-02-01 | 华中科技大学 | 一种基于组合感受野和朝向特征调制的轮廓检测方法 |
| CN107067408B (zh) * | 2017-04-11 | 2020-01-31 | 广西科技大学 | 模拟人眼微动的图像轮廓检测方法 |
| CN107067407B (zh) * | 2017-04-11 | 2020-01-31 | 广西科技大学 | 基于非经典感受野和线性非线性调制的轮廓检测方法 |
| CN109419497B (zh) * | 2017-08-31 | 2021-12-17 | 中国科学院微电子研究所 | 基于热成像的关脉识别方法 |
| CN107766866B (zh) * | 2017-11-07 | 2020-05-05 | 广西科技大学 | 基于感受野子区域的方向选择性轮廓检测方法 |
| CN107909593B (zh) * | 2017-11-07 | 2020-05-05 | 广西科技大学 | 基于感受野子区域的非方向选择性轮廓检测方法 |
| CN108090492B (zh) * | 2017-11-09 | 2019-12-31 | 广西科技大学 | 基于尺度线索抑制的轮廓检测方法 |
| CN107767387B (zh) * | 2017-11-09 | 2020-05-05 | 广西科技大学 | 基于可变感受野尺度全局调制的轮廓检测方法 |
| CN108053415B (zh) * | 2017-12-14 | 2020-05-22 | 广西科技大学 | 基于改进非经典感受野的仿生轮廓检测方法 |
| CN107993239B (zh) * | 2017-12-25 | 2022-04-12 | 北京邮电大学 | 一种计算单目图像的深度次序的方法和装置 |
| JP2021517255A (ja) * | 2018-03-07 | 2021-07-15 | ヴァーディクト ホールディングス プロプライエタリー リミテッド | 顕微鏡による生物学的物質の同定方法 |
| CN109949324B (zh) * | 2019-02-01 | 2022-04-22 | 广西科技大学 | 基于非经典感受野非线性亚单元响应的轮廓检测方法 |
| CN109978898B (zh) * | 2019-02-01 | 2023-07-18 | 广西科技大学 | 基于矢量场能量计算的轮廓检测方法 |
| CN111080663B (zh) * | 2019-12-30 | 2020-09-22 | 广西科技大学 | 一种基于动态感受野的仿生型轮廓检测方法 |
| CN111161253B (zh) * | 2019-12-31 | 2020-12-15 | 柳州快速制造工程技术有限公司 | 一种基于深度信息的模具检验方法 |
| CN111212228B (zh) * | 2020-01-13 | 2021-06-22 | 维沃移动通信有限公司 | 图像处理方法和电子设备 |
| CN112613427B (zh) * | 2020-12-28 | 2024-02-27 | 杭州电子科技大学 | 基于视觉信息流分区投射编码模型的道路障碍物检测方法 |
| CN117522864B (zh) * | 2024-01-02 | 2024-03-19 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板表面瑕疵检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5684894A (en) * | 1994-11-28 | 1997-11-04 | Eastman Kodak Company | Scale specific and robust line/edge encoding of images |
-
2014
- 2014-12-30 CN CN201410851659.8A patent/CN104484667B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5684894A (en) * | 1994-11-28 | 1997-11-04 | Eastman Kodak Company | Scale specific and robust line/edge encoding of images |
Non-Patent Citations (2)
| Title |
|---|
| "图像分割若干理论方法及应用研究";陈强;《中国博士学位论文全文数据库信息科技辑》;20071215(第6期);第I138-52页 * |
| "基于多视觉特征的非经典感受野模型及应用研究";杨开富;《中国优秀硕士学位论文全文数据库信息科技辑》;20120115(第1期);第I138-1296页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104484667A (zh) | 2015-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104484667B (zh) | 一种基于亮度特征和轮廓完整性的轮廓提取方法 | |
| CN107230202B (zh) | 路面病害图像的自动识别方法和系统 | |
| CN103871053B (zh) | 一种基于视觉显著性的布匹瑕疵检测方法 | |
| CN102324021B (zh) | 一种基于剪切波变换的红外弱小目标检测方法 | |
| CN101551863B (zh) | 基于非下采样轮廓波变换的遥感图像道路提取方法 | |
| CN108022233A (zh) | 一种基于改进型Canny算子的工件边缘提取方法 | |
| CN104299232B (zh) | 一种基于自适应窗方向波域和改进fcm的sar图像分割方法 | |
| CN103364410B (zh) | 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法 | |
| Zheng et al. | Large-scale oil palm tree detection from high-resolution remote sensing images using faster-rcnn | |
| CN106650770A (zh) | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 | |
| CN108491786A (zh) | 一种基于分级网络和聚类合并的人脸检测方法 | |
| CN101551853A (zh) | 复杂静态彩色背景下的人耳检测方法 | |
| CN101950364A (zh) | 基于邻域相似度和阈值分割的遥感图像变化检测方法 | |
| CN104299229A (zh) | 一种基于时空域背景抑制的红外弱小目标检测方法 | |
| CN106485724A (zh) | 一种基于组合感受野和朝向特征调制的轮廓检测方法 | |
| CN103325118A (zh) | 一种获取碳酸盐岩岩心孔洞特征参数的方法及装置 | |
| CN107767387A (zh) | 基于可变感受野尺度全局调制的轮廓检测方法 | |
| CN104463215A (zh) | 基于视网膜图像处理的微小动脉瘤发生风险预测系统 | |
| CN108805050A (zh) | 基于局部二值模式的电线检测方法 | |
| CN101853513B (zh) | 一种基于信息熵的时空显著性视觉注意方法 | |
| CN103810492A (zh) | 一种眼底图像的模糊度分析方法 | |
| CN109117717A (zh) | 一种城市行人检测方法 | |
| Argade et al. | Automatic detection of diabetic retinopathy using image processing and data mining techniques | |
| CN110533025A (zh) | 基于候选区域提取网络的毫米波人体图像检测方法 | |
| CN103198298A (zh) | 一种基于导数光谱法的轻度虫害叶片的叶脉识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180223 Termination date: 20181230 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |