CN106407927B - 基于偏振成像的适用于水下目标检测的显著性视觉方法 - Google Patents
基于偏振成像的适用于水下目标检测的显著性视觉方法 Download PDFInfo
- Publication number
- CN106407927B CN106407927B CN201610818023.2A CN201610818023A CN106407927B CN 106407927 B CN106407927 B CN 106407927B CN 201610818023 A CN201610818023 A CN 201610818023A CN 106407927 B CN106407927 B CN 106407927B
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- color
- target
- saliency map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 143
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 230000005484 gravity Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 23
- 230000005855 radiation Effects 0.000 claims description 16
- 238000011084 recovery Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000002245 particle Substances 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于偏振成像的适用于水下目标检测的显著性视觉方法，包括A）采集水下同一位置多角度自配准偏振图像；B）基于偏振信息的水下图像恢复；C）全局纹理特征提取；D）基于全局对比度的颜色特征提取；E）视觉显著性特征融合；F）基于目标中心与灰度重心的显著图优化与目标提取；G）根据最终显著图，并对其进行阈值分割，实现水下目标的检测。本发明利用目标中心概率、图像灰度重心及空间顺滑实现显著度优化，进一步抑制背景、突出前景，既能实现复杂水环境下目标检测的高检出率、高识别率，且满足实时性要求，具有良好的应用前景。
Description
技术领域
本发明涉及水下目标检测技术领域，具体涉及一种基于偏振成像的适用于水下目标检测的显著性视觉方法。
背景技术
水下目标检测是保障海洋资源开发、鱼群探测、海洋工程建设、河道疏浚港口安全监测、水下管线安全和重大水利工程安全监测的关键技术。受光照、水质、流体动力、气候条件等复杂多变的自然环境影响，传统的光学成像获取目标光强或光谱信号极易被噪声淹没，成像目标信息匮乏、模糊性和随机性增加，目标特征弱且难以表征，致使现有水下目标检测识别检出率低、识别率低。偏振是光波的固有特性，与目标的表面属性(如其介质特征，结构特征，粗糙度，水分含量等)以及观察角度、辐照条件有关，通过解析目标的偏振信息可以更加容易的识别目标。因此，近年来，偏振成像技术在水下目标检测领域收到广泛关注。
在水下环境时变、混杂且高度不确定的条件下，偏振成像仍然存在大量干扰和噪声，提高目标的检测精度必须依赖后端算法。然而，传统的成像检测方法，存在不同的缺点，具体如下：基于数据驱动建模过分依赖先验知识，由于环境不确定及量化随机噪声的存在，检测建模与被检对象之间在输出响应上难以做到精确等价；基于机器学习和模式识别的检测方法，非结构化的目标难以满足时间一致性假设；基于人工智能的方法，对于目标的不确定信息，难以构建完备的描述规则和知识库，致使水下目标检测依然存在实质性困难。
视觉显著性是生物在适应环境进化过程中形成的一种非常重要的机制。它能够帮助生物在复杂环境下，快速有效的从大量数据中挑选出最突出和高度相关的主题，以有限的计算资源，完成目标的快速检测。但是，目前已有的显著性目标检测模型，缺乏反应目标表面特征的偏振信息，存在显著性区域不连续，大面积背景误检，计算复杂度高等问题，如何设计一种适合于水下显著性目标检测方法依然是个难题，是当前急需解决的问题。
发明内容
本发明的目的是克服已有的显著性目标检测模型，缺乏反应目标表面特征的偏振信息，存在显著性区域不连续，大面积背景误检，计算复杂度高等问题。本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法，包括多幅偏振图像信息采集、偏振成像复原、偏振成像的全局显著性特征提取、目标中心的显著性区域检测，图像优化的步骤，既能实现复杂水环境下目标检测的高检出率、高识别率，且满足实时性要求，具有良好的应用前景。
为了达到上述目的，本发明所采用的技术方案是：
一种基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：包括以下步骤，
步骤(A)，通过多角度偏振成像系统，采集水下目标的偏振图像，且同一位置获取的四幅偏振图像；
步骤(B)，根据同一位置获取的四幅偏振图像，采用Stokes模型融合生成偏振度图像，并利用全局Gabor滤波均值方法提取偏振度图像的全局纹理特征；
步骤(C)，根据同一位置获取的垂直方向偏振图像，采用简化水下偏振成像模型，去除水体微粒后向散射造成的干扰，实现偏振图像的颜色恢复；
步骤(D)，利用超像素区域间颜色的相似性和差异性，提取步骤(C)颜色恢复后偏振图像的颜色唯一性和空间分布特征，并融合生成全局颜色对比特征；
步骤(E)，自适应加权融合全局颜色对比特征和全局纹理特征生成初级显著图；
步骤(F)，根据中心位置和灰度重心对初级显著图进行优化，生成背景抑制、目标增强的最终显著图；
步骤(G)，根据最终显著图，并对其进行阈值分割，实现水下目标的检测，得到可疑目标。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(A)，所述多角度偏振成像系统，通过在水下相机前加装不同角度的插片式方向偏振滤波片构成。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(A)，所述同一位置获取的四幅偏振图像，分别为0°、45°、90°和135°方向，其中，0°和90°方向为垂直方向偏振图像。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(B)，根据同一位置获取的四幅偏振图像，采用Stokes模型融合生成偏振度图像，并利用全局Gabor滤波均值方法提取偏振度图像的全局纹理特征，包括以下步骤，
(B1)，采用在同一位置获取的0°、45°、90°和135°方向的四幅偏振图像，利用Stokes模型计算每个像素点的偏振度信息，融合生成一幅水下目标的偏振度图像，根据公式(1)获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，
其中，g0°表示0°方向的偏振图像，g45°表示45°方向的偏振图像，g90°表示90°方向的偏振图像，g135°表示135°方向的偏振图像，gRCP表示右旋圆偏振光，gLCP表示左旋圆偏振光；I为总光强图像，Q表示0°与90°方向上的线偏光光强差，U表示光在45°方向与135°方向上的线偏振光强差，V表示左旋圆偏振光与右旋圆偏光的光强差；
(B2)，根据获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，根据公式(2)计算水下目标的偏振度图像ρ，
(B3)，采用SLIC算法对(B2)中得到的水下目标的偏振度图像ρ进行超像素分割，每个分割形成的超像素区域包含100像素点；
(B4)，对每个超像素区域，通过公式(3)进行q方向的Gabor滤波平均，得到超像素区域i内q方向下Gabor滤波均值A(i,q)，q方向分别为0°、45°、90°和135°，
其中，G(m,n,q)为q方向下Gabor滤波后对应(m,n)像素点的值，sum(i)为对应的超像素区域i包含像素点个数；
(B5)，对每个超像素区域，通过公式(4)进行0°、45°、90°和135°四个方向的Gabor滤波平均，得到超像素区域i的Gabor滤波均值UN(i)，
(B6)，对每个超像素区域，通过公式(5)提取超像素区域i的全局纹理特征F(i)，
其中，sum(i)、sum(j)为超像素区域i,j内包含的像素点个数，UN(i)、UN(j)为超像素区域i,j的Gabor滤波均值，T为水下目标的偏振度图像包含的区域总块数。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(C)，根据同一位置获取的垂直方向偏振图像，采用简化水下偏振成像模型，去除水体微粒后向散射造成的干扰，实现偏振图像的颜色恢复，包括以下步骤，
(C1)根据公式(6)，描述水下偏振成像模型，
Itotal＝S+B (6)
其中，Itotal为入射光总光强；S为被水体散射和吸收之后到达相机模糊的目标辐射光强，S＝e-czIobject，c为水质衰减系数，z为成像点与目标距离，Iobject为被水体衰减、吸收、散射之前的目标辐射光强；B＝B∞(1-e-cz)为水中微粒对环境光的后向散射光，B∞是水体的固有参数；
(C2)在公式(6)只考虑后向散射光存在偏振、忽略被水体散射和吸收之后到达相机模糊的目标辐射光强S的偏振、水为均匀介质的条件下，用公式(7)计算图像的偏振度p，
其中，B0和B90为水中微粒对环境光的后向散射光B的两个垂直分量，由于公式(6)中S属于非偏振光，所以目标在两个垂直方向上的偏振图像I0、I90，通过采用公式(8)表示，
(C3)根据目标在两个垂直方向上的偏振图像I0、I90相加得到总光强图像Itotal＝I0+I90，在总光强图像Itotal没有目标且距离成像点无穷远的背景区域中，S＝0，根据公式(6)，并按照公式(9)和(10)分别计算后向水体的固有参数B∞和图像的偏振度p，
B∞＝Itotal (9)
(C4)根据目标在两个垂直方向上的偏振图像I0、I90，按照公式(11)计算图像各个像素的后向散射光B(x,y)，
其中，根据公式(10)得到B0-B90＝I0(x,y)-I90(x,y)，I0(x,y)、I90(x,y)与目标在两个垂直方向上的偏振图像I0、I90含义相同；
在得到后向散射光B(x,y)后，按照公式(12)，计算水的透射比t(x,y)，
(C5)，在总光强图像Itotal中，按照公式(13)计算不存在后向散射光B(x,y)的目标图像Lobject(x,y)，
其中，Itotal(x,y)与总光强图像Itotal的含义相同，均为总光强图像Itotal；
(C6)，在目标图像Lobject(x,y)中取一个距离拍摄地点的点，对三个色度通道按照公式(14)计算颜色校正后的恢复图像Irecocered，实现偏振图像的颜色恢复，
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(D)，利用超像素区域间颜色的相似性和差异性，提取步骤(C)颜色恢复后偏振图像的颜色唯一性和空间分布特征，并融合生成全局颜色对比特征，包括以下步骤，
(D1)，对颜色恢复后偏振图像采用SLIC算法进行超像素分割，每个分割区域包含100像素点；
(D2)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值的差异性，提取分割区域i对应的整幅图像的颜色唯一性特征分量如公式(15)所示，
其中，ci是分割区域i中的所有像素的平均颜色，cj是分割区域j中的所有像素的平均颜色，pi为分割区域i的位置，pj为pi为分割区域j的位置，为高斯权重，σp控制唯一性算子的范围，N为分割区域的数量；
(D3)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值，提取分割区域i对应的整幅图像的颜色空间分布特征分量如公式(16)所示，
其中，是颜色特征ci的加权平均位置，w(ci,cj)描述了超像素区域i和j的各自的颜色特征ci和cj的相似性，σc为控制着分割区域颜色分布的敏感度，Zi为确保的标准化因子；
(D4)，在CIELab颜色空间，采用公式(17)对(D1)获取的每个分割区域融合颜色唯一性特征分量、颜色空间分布特征分量，得到分割区域i对应的全局颜色对比特征
其中，kC为平衡唯一性和分布测量的比例系数。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：平衡唯一性和分布测量的比例系数kC取值为4。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(E)，自适应加权融合全局颜色对比特征和全局纹理特征生成初级显著图，包括以下步骤，
(E1)，将每个超像素区域的全局纹理特征赋值给该超像素区域内每个像素点，得到初级纹理显著图；
(E2)，将每个分割区域的全局颜色对比特征赋值给该分割区域内每个像素点，得到初级颜色显著图，(E1)和(E2)，如公式(18)所示，
其中，C(l,k)为超像素区域i内像素(l,k)的颜色显著值分量，T(l,k)为超像素区域i内像素(l,k)的纹理显著值分量，F(i)分别为公式(17)、(5)计算得到的分割区域i对应的全局颜色对比特征和超像素区域i的全局纹理特征值；
(E3)，将初级纹理显著图、初级颜色显著图，根据公式(19)，生成初级显著图S(l,k)，
S(l,k)＝α*C(l,k)+β*T(l,k) (19)
其中，C(l,k)，T(l,k)分别为初级颜色显著图，初级纹理显著图，α，β分别为初级颜色显著图，初级纹理显著图的权重调节因子。
前述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(F)，根据中心位置和灰度重心对初级显著图进行优化，生成背景抑制、目标增强的最终显著图，包括以下步骤，
(F1)，采用Harris算法检测步骤(A)采集水下目标的偏振图像的图像角点，去除边缘的图像角点，计算剩余图像角点的平均坐标得到目标中心；
(F2)，计算水下目标的偏振图像超像素区域中心与目标中心的欧式距离，将其除以所有超像素区域中最大的欧氏距离作为目标中心概率，如公式(20)所示，
其中，D(i,center)表示超像素区域i与目标中心的欧氏距离，Dmax表示所有超像素区域中最大的欧氏距离；
(F3)，根据公式(21)，优化初级显著图S(l,k)，得到一级优化显著图
其中，为目标中心概率；
(F4)，将一级优化显著图作为目标区域优化权重，背景概率作为背景区域的优化权重，根据区域间的显著值空间顺滑，根据公式(22)，优化一级优化显著图得到二级优化显著图Si，
其中，为背景权重，为前景权重，表示区域j的一级优化显著性图为平滑度系数，σcol为稳定系数；
(F5)，采用二级优化显著图Si的灰度重心，根据公式(23)计算超像素区域i的三级优化显著图，突出前景，抑制背景，三级优化显著图为得到最终显著图；
其中，barycenter为二级优化显著图Si的灰度重心。
本发明的有益效果是：本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法，具有以下优点，
(1)采用适合水下偏振图像的复原方法，由于水下成像遇到的问题有很多，比如水体介质对光的的吸收、衰减和散射，还有背景环境光作用在水体微粒对成像点的后向散射都会使目标辐射减弱、成像模糊和图像能见度降低，针对光在水体传播的的实际情况，以及要达到提高图像能见度从而恢复图像的目的，选择能在水下保留较好的图像偏振特征，对其进行分析处理，由于目标辐射的偏振可以忽略，只有散射光存在偏振，所以滤除后向散射光能达到恢复图像的效果，使用该方法对互相垂直的的0°和90°偏振图像进行图像恢复，图像变的清晰且颜色得到校正，大大提高了图像的能见度，为后续的一系列处理打下坚实基础；
(2)为了提高复杂水下环境中的目标检测准确性和时效性，本发明联合全局对比度颜色特征和全局对比度偏振纹理特征进行显著性目标检测，综合光波的光谱、光强和偏振特征，有利于恶劣水下成像环境的目标信息完备表示，此外，偏振信息受场景光学动态变化影响较小，对于光照变化具有一定一直能力，本发明针对水下目标检测实际情况提取区域的全局对比度特征描述避免了大量信息的运算，不仅是一种提高检测效率的方法而且是一种降低局部噪声改善检测精度的途径；
(3)本发明将目标可能出现的位置概率信息和图像灰度重心作为优化背景与前景显著度的约束条件，在突出目标的同时，抑制背景信息，结合区域间显著值空间顺滑方法，提高检测目标区域边缘完整性，不但有效提高目标区域对比度，而且不丢失关键信息，本发明不但可以抑制分布较广的背景区域，而且可以有效去除非中心区域的多目标干扰，为水下复杂环境及其他自然场景下的目标检测提供了一条切实可行的新策略，提高水下目标检测的准确性。
由以上分析可知，本发明方法通过改善图像中背景与目标之间的对比度和，提高目标检测精度，通过信息压缩计算，提高目标检测实时性，适用于鲁棒、高效的水下目标检测，具有良好的应用前景。
附图说明
图1是本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法的流程图。
图2是本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法的具体算法流程图。
图3是本发明的多角度偏振成像系统的结构示意图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1及图2所示，本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法，包括以下步骤，
步骤(A)，通过多角度偏振成像系统，采集水下目标的偏振图像，且同一位置获取的四幅偏振图像，如图3所示，多角度偏振成像系统，通过在水下相机前加装不同角度的插片式方向偏振滤波片构成，这里的同一位置获取的四幅偏振图像，分别为0°、45°、90°和135°方向，其中，0°和90°方向为垂直方向偏振图像；
步骤(B)，根据同一位置获取的四幅偏振图像，采用Stokes模型融合生成偏振度图像，并利用全局Gabor滤波均值方法提取偏振度图像的全局纹理特征，包括以下步骤，
(B1)，采用在同一位置获取的0°、45°、90°和135°方向的四幅偏振图像，利用Stokes模型计算每个像素点的偏振度信息，融合生成一幅水下目标的偏振度图像，根据公式(1)获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，
其中，g0°表示0°方向的偏振图像，g45°表示45°方向的偏振图像，g90°表示90°方向的偏振图像，g135°表示135°方向的偏振图像，gRCP表示右旋圆偏振光，gLCP表示左旋圆偏振光；I是总光强图像，Q表示0°与90°方向上的线偏光光强差，U表示光在45°方向与135°方向上的线偏振光强差，V表示左旋圆偏振光与右旋圆偏光的光强差；
(B2)，根据获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，根据公式(2)计算水下目标的偏振度图像ρ，
(B3)，采用SLIC算法对(B2)中得到的水下目标的偏振度图像ρ进行超像素分割，每个分割形成的超像素区域包含100像素点；
(B4)，对每个超像素区域，通过公式(3)进行q方向的Gabor滤波平均，得到超像素区域i内q方向下Gabor滤波均值A(i,q)，q方向分别为0°、45°、90°和135°，
其中，G(m,n,q)为q方向下Gabor滤波后对应(m,n)像素点的值，sum(i)为对应的超像素区域i包含像素点个数；
(B5)，对每个超像素区域，通过公式(4)进行0°、45°、90°和135°四个方向的Gabor滤波平均，得到超像素区域i的Gabor滤波均值UN(i)，
(B6)，对每个超像素区域，通过公式(5)提取超像素区域i的全局纹理特征F(i)，
其中，sum(i)、sum(j)为超像素区域i,j内包含的像素点个数，UN(i)、UN(j)为超像素区域i,j的Gabor滤波均值，T为水下目标的偏振度图像包含的区域总块数；
步骤(C)，根据同一位置获取的垂直方向偏振图像，采用简化水下偏振成像模型，去除水体微粒后向散射造成的干扰，实现偏振图像的颜色恢复，包括以下步骤，
(C1)根据公式(6)，描述水下偏振成像模型，
Itotal＝S+B (6)
其中，Itotal为入射光总光强；S为被水体散射和吸收之后到达相机模糊的目标辐射光强，S＝e-czIobject，c为水质衰减系数，z为成像点与目标距离，Iobject为被水体衰减、吸收、散射之前的目标辐射光强；B＝B∞(1-e-cz)为水中微粒对环境光的后向散射光，B∞是水体的固有参数；
(C2)在公式(6)只考虑后向散射光存在偏振、忽略被水体散射和吸收之后到达相机模糊的目标辐射光强S的偏振、水为均匀介质的条件下，用公式(7)计算图像的偏振度p，
其中，B0和B90为水中微粒对环境光的后向散射光B的两个垂直分量，由于公式(6)中S属于非偏振光，所以目标在两个垂直方向上的偏振图像I0、I90，通过采用公式(8)表示，
(C3)根据目标在两个垂直方向上的偏振图像I0、I90相加得到总光强图像Itotal＝I0+I90，在总光强图像Itotal没有目标且距离成像点无穷远的背景区域中，S＝0，根据公式(6)，并按照公式(9)和(10)分别计算后向水体的固有参数B∞和图像的偏振度p，
B∞＝Itotal (9)
(C4)根据目标在两个垂直方向上的偏振图像I0、I90，按照公式(11)计算图像各个像素的后向散射光B(x,y)，
其中，根据公式(10)得到B0-B90＝I0(x,y)-I90(x,y)，I0(x,y)、I90(x,y)与目标在两个垂直方向上的偏振图像I0、I90含义相同；
在得到后向散射光B(x,y)后，按照公式(12)，计算水的透射比t(x,y)，
(C5)，在总光强图像Itotal中，按照公式(13)计算不存在后向散射光B(x,y)的目标图像Lobject(x,y)，
其中，Itotal(x,y)与总光强图像Itotal的含义相同，均为总光强图像Itotal；
(C6)，在目标图像Lobject(x,y)中取一个距离拍摄地点的点，对三个色度通道按照公式(14)计算颜色校正后的恢复图像Irecocered，实现偏振图像的颜色恢复，
步骤(D)，利用超像素区域间颜色的相似性和差异性，提取步骤(C)颜色恢复后偏振图像的颜色唯一性和空间分布特征，并融合生成全局颜色对比特征，包括以下步骤，
(D1)，对颜色恢复后偏振图像采用SLIC算法进行超像素分割，每个分割区域包含100像素点；
(D2)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值的差异性，提取分割区域i对应的整幅图像的颜色唯一性特征分量如公式(15)所示，
其中，ci是分割区域i中的所有像素的平均颜色，cj是分割区域j中的所有像素的平均颜色，pi为分割区域i的位置，pj为pi为分割区域j的位置，为高斯权重，σp控制唯一性算子的范围，N为分割区域的数量；
(D3)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值，提取分割区域i对应的整幅图像的颜色空间分布特征分量如公式(16)所示，
其中，是颜色特征ci的加权平均位置，w(ci,cj)描述了超像素区域i和j的各自的颜色特征ci和cj的相似性，σc为控制着分割区域颜色分布的敏感度，Zi为确保的标准化因子；
(D4)，在CIELab颜色空间，采用公式(17)对(D1)获取的每个分割区域融合颜色唯一性特征分量、颜色空间分布特征分量，得到分割区域i对应的全局颜色对比特征
其中，kC为平衡唯一性和分布测量的比例系数，优选取值为4；
步骤(E)，自适应加权融合全局颜色对比特征和全局纹理特征生成初级显著图，包括以下步骤，
(E1)，将每个超像素区域的全局纹理特征赋值给该超像素区域内每个像素点，得到初级纹理显著图；
(E2)，将每个分割区域的全局颜色对比特征赋值给该分割区域内每个像素点，得到初级颜色显著图，(E1)和(E2)，如公式(18)所示，
其中，C(l,k)为超像素区域i内像素(l,k)的颜色显著值分量，T(l,k)为超像素区域i内像素(l,k)的纹理显著值分量，F(i)分别为公式(17)、(5)计算得到的分割区域i对应的全局颜色对比特征和超像素区域i的全局纹理特征值；
(E3)，将初级纹理显著图、初级颜色显著图，根据公式(19)，生成初级显著图S(l,k)，
S(l,k)＝α*C(l,k)+β*T(l,k) (19)
其中，C(l,k)，T(l,k)分别为初级颜色显著图，初级纹理显著图，α，β分别为初级颜色显著图，初级纹理显著图的权重调节因子；
步骤(F)，根据中心位置和灰度重心对初级显著图进行优化，生成背景抑制、目标增强的最终显著图，包括以下步骤，
(F1)，采用Harris算法检测步骤(A)采集水下目标的偏振图像的图像角点，去除边缘的图像角点，计算剩余图像角点的平均坐标得到目标中心；
(F2)，计算水下目标的偏振图像超像素区域中心与目标中心的欧式距离，将其除以所有超像素区域中最大的欧氏距离作为目标中心概率，如公式(20)所示，
其中，D(i,center)表示超像素区域i与目标中心的欧氏距离，Dmax表示所有超像素区域中最大的欧氏距离；
(F3)，根据公式(21)，优化初级显著图S(l,k)，得到一级优化显著图
其中，为目标中心概率；
(F4)，将一级优化显著图作为目标区域优化权重，背景概率作为背景区域的优化权重，根据区域间的显著值空间顺滑，根据公式(22)，优化一级优化显著图得到二级优化显著图Si，
其中，为背景权重，为前景权重，表示区域j的一级优化显著性图为平滑度系数，σcol为稳定系数；
(F5)，采用二级优化显著图Si的灰度重心，根据公式(23)计算超像素区域i的三级优化显著图，突出前景，抑制背景，三级优化显著图为得到最终显著图；
其中，barycenter为二级优化显著图Si的灰度重心；
步骤(G)，根据最终显著图，并对其进行阈值分割，实现水下目标的检测，得到可疑目标。
综上所述，本发明的基于偏振成像的适用于水下目标检测的显著性视觉方法，具有以下优点，
(1)采用适合水下偏振图像的复原方法，由于水下成像遇到的问题有很多，比如水体介质对光的的吸收、衰减和散射，还有背景环境光作用在水体微粒对成像点的后向散射都会使目标辐射减弱、成像模糊和图像能见度降低，针对光在水体传播的的实际情况，以及要达到提高图像能见度从而恢复图像的目的，选择能在水下保留较好的图像偏振特征，对其进行分析处理，由于目标辐射的偏振可以忽略，只有散射光存在偏振，所以滤除后向散射光能达到恢复图像的效果，使用该方法对互相垂直的的0°和90°偏振图像进行图像恢复，图像变的清晰且颜色得到校正，大大提高了图像的能见度，为后续的一系列处理打下坚实基础；
(2)为了提高复杂水下环境中的目标检测准确性和时效性，本发明联合全局对比度颜色特征和全局对比度偏振纹理特征进行显著性目标检测，综合光波的光谱、光强和偏振特征，有利于恶劣水下成像环境的目标信息完备表示，此外，偏振信息受场景光学动态变化影响较小，对于光照变化具有一定一直能力，本发明针对水下目标检测实际情况提取区域的全局对比度特征描述避免了大量信息的运算，不仅是一种提高检测效率的方法而且是一种降低局部噪声改善检测精度的途径；
(3)本发明将目标可能出现的位置概率信息和图像灰度重心作为优化背景与前景显著度的约束条件，在突出目标的同时，抑制背景信息，结合区域间显著值空间顺滑方法，提高检测目标区域边缘完整性，不但有效提高目标区域对比度，而且不丢失关键信息，本发明不但可以抑制分布较广的背景区域，而且可以有效去除非中心区域的多目标干扰，为水下复杂环境及其他自然场景下的目标检测提供了一条切实可行的新策略，提高水下目标检测的准确性。
由以上分析可知，本发明方法通过改善图像中背景与目标之间的对比度和，提高目标检测精度，通过信息压缩计算，提高目标检测实时性，适用于鲁棒、高效的水下目标检测，具有良好的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：包括以下步骤，
步骤(A)，通过多角度偏振成像系统，采集水下目标的偏振图像，且同一位置获取的四幅偏振图像；
步骤(B)，根据同一位置获取的四幅偏振图像，采用Stokes模型融合生成偏振度图像，并利用全局Gabor滤波均值方法提取偏振度图像的全局纹理特征；
步骤(C)，根据同一位置获取的垂直方向偏振图像，采用简化水下偏振成像模型，去除水体微粒后向散射造成的干扰，实现偏振图像的颜色恢复；
步骤(D)，利用超像素区域间颜色的相似性和差异性，提取步骤(C)颜色恢复后偏振图像的颜色唯一性和空间分布特征，并融合生成全局颜色对比特征；
步骤(E)，自适应加权融合全局颜色对比特征和全局纹理特征生成初级显著图；
步骤(F)，根据中心位置和灰度重心对初级显著图进行优化，生成背景抑制、目标增强的最终显著图；
根据中心位置和灰度重心对初级显著图进行优化，生成背景抑制、目标增强的最终显著图，包括以下步骤，
(F1)，采用Harris算法检测步骤(A)采集水下目标的偏振图像的图像角点，去除边缘的图像角点，计算剩余图像角点的平均坐标得到目标中心；
(F2)，计算水下目标的偏振图像超像素区域中心与目标中心的欧式距离，将其除以所有超像素区域中最大的欧氏距离作为目标中心概率，如公式(20)所示，
其中，D(i,center)表示超像素区域i与目标中心的欧氏距离，Dmax表示所有超像素区域中最大的欧氏距离；
(F3)，根据公式(21)，优化初级显著图S(l,k)，得到一级优化显著图
其中，Pi center为目标中心概率；
(F4)，将一级优化显著图作为目标区域优化权重，背景概率作为背景区域的优化权重，根据区域间的显著值空间顺滑，根据公式(22)，优化一级优化显著图得到二级优化显著图Si，
其中，为背景权重，为前景权重，表示区域j的一级优化显著性图为平滑度系数，σcol为稳定系数；
(F5)，采用二级优化显著图Si的灰度重心，根据公式(23)计算超像素区域i的三级优化显著图，突出前景，抑制背景，三级优化显著图为得到最终显著图；
其中，barycenter为二级优化显著图Si的灰度重心；
步骤(G)，根据最终显著图，并对其进行阈值分割，实现水下目标的检测，得到可疑目标。
2.根据权利要求1所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(A)，所述多角度偏振成像系统，通过在水下相机前加装不同角度的插片式方向偏振滤波片构成。
3.根据权利要求1所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(A)，所述同一位置获取的四幅偏振图像，分别为0°、45°、90°和135°方向，其中，0°和90°方向为垂直方向偏振图像。
4.根据权利要求1所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(B)，根据同一位置获取的四幅偏振图像，采用Stokes模型融合生成偏振度图像，并利用全局Gabor滤波均值方法提取偏振度图像的全局纹理特征，包括以下步骤，
(B1)，采用在同一位置获取的0°、45°、90°和135°方向的四幅偏振图像，利用Stokes模型计算每个像素点的偏振度信息，融合生成一幅水下目标的偏振度图像，根据公式(1)获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，
其中，g0°表示0°方向的偏振图像，g45°表示45°方向的偏振图像，g90°表示90°方向的偏振图像，g135°表示135°方向的偏振图像，gRCP表示右旋圆偏振光，gLCP表示左旋圆偏振光；I为总光强图像，Q表示0°与90°方向上的线偏光光强差，U表示光在45°方向与135°方向上的线偏振光强差，V表示左旋圆偏振光与右旋圆偏光的光强差；
(B2)，根据获取被水体散射和吸收之后到达相机模糊的目标辐射光强S的Stokes偏振矢量参数，根据公式(2)计算水下目标的偏振度图像ρ，
(B3)，采用SLIC算法对(B2)中得到的水下目标的偏振度图像ρ进行超像素分割，每个分割形成的超像素区域包含100像素点；
(B4)，对每个超像素区域，通过公式(3)进行q方向的Gabor滤波平均，得到超像素区域i内q方向下Gabor滤波均值A(i,q)，q方向分别为0°、45°、90°和135°，
其中，G(m,n,q)为q方向下Gabor滤波后对应(m,n)像素点的值，sum(i)为对应的超像素区域i包含像素点个数；
(B5)，对每个超像素区域，通过公式(4)进行0°、45°、90°和135°四个方向的Gabor滤波平均，得到超像素区域i的Gabor滤波均值UN(i)，
(B6)，对每个超像素区域，通过公式(5)提取超像素区域i的全局纹理特征F(i)，
其中，sum(i)、sum(j)为超像素区域i,j内包含的像素点个数，UN(i)、UN(j)为超像素区域i,j的Gabor滤波均值，T为水下目标的偏振度图像包含的区域总块数。
5.根据权利要求1所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(D)，利用超像素区域间颜色的相似性和差异性，提取步骤(C)颜色恢复后偏振图像的颜色唯一性和空间分布特征，并融合生成全局颜色对比特征，包括以下步骤，
(D1)，对颜色恢复后偏振图像采用SLIC算法进行超像素分割，每个分割区域包含100像素点；
(D2)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值的差异性，提取分割区域i对应的整幅图像的颜色唯一性特征分量如公式(15)所示，
其中，ci是分割区域i中的所有像素的平均颜色，cj是分割区域j中的所有像素的平均颜色，pi为分割区域i的位置，pj为pi为分割区域j的位置，为高斯权重，σp控制唯一性算子的范围，N为分割区域的数量；
(D3)，在CIELab颜色空间对(D1)获取的每个分割区域按照区域内颜色平均值，提取分割区域i对应的整幅图像的颜色空间分布特征分量如公式(16)所示，
其中，是颜色特征ci的加权平均位置，w(ci,cj)描述了超像素区域i和j的各自的颜色特征ci和cj的相似性，σc为控制着分割区域颜色分布的敏感度，Zi为确保的标准化因子；
(D4)，在CIELab颜色空间，采用公式(17)对(D1)获取的每个分割区域融合颜色唯一性特征分量、颜色空间分布特征分量，得到分割区域i对应的全局颜色对比特征
其中，kC为平衡唯一性和分布测量的比例系数。
6.根据权利要求5所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：平衡唯一性和分布测量的比例系数kC取值为4。
7.根据权利要求1所述的基于偏振成像的适用于水下目标检测的显著性视觉方法，其特征在于：步骤(E)，自适应加权融合全局颜色对比特征和全局纹理特征生成初级显著图，包括以下步骤，
(E1)，将每个超像素区域的全局纹理特征赋值给该超像素区域内每个像素点，得到初级纹理显著图；
(E2)，将每个分割区域的全局颜色对比特征赋值给该分割区域内每个像素点，得到初级颜色显著图，(E1)和(E2)，如公式(18)所示，
其中，C(l,k)为超像素区域i内像素(l,k)的颜色显著值分量，T(l,k)为超像素区域i内像素(l,k)的纹理显著值分量，F(i)分别为公式(17)、(5)计算得到的分割区域i对应的全局颜色对比特征和超像素区域i的全局纹理特征值；
(E3)，将初级纹理显著图、初级颜色显著图，根据公式(19)，生成初级显著图S(l,k)，
S(l,k)＝α*C(l,k)+β*T(l,k) (19)
其中，C(l,k)，T(l,k)分别为初级颜色显著图，初级纹理显著图，α，β分别为初级颜色显著图，初级纹理显著图的权重调节因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610818023.2A CN106407927B (zh) | 2016-09-12 | 2016-09-12 | 基于偏振成像的适用于水下目标检测的显著性视觉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610818023.2A CN106407927B (zh) | 2016-09-12 | 2016-09-12 | 基于偏振成像的适用于水下目标检测的显著性视觉方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106407927A CN106407927A (zh) | 2017-02-15 |
| CN106407927B true CN106407927B (zh) | 2019-11-05 |
Family
ID=57999559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610818023.2A Expired - Fee Related CN106407927B (zh) | 2016-09-12 | 2016-09-12 | 基于偏振成像的适用于水下目标检测的显著性视觉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106407927B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685058B (zh) | 2017-10-18 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
| CN107895348B (zh) * | 2017-10-23 | 2021-09-14 | 天津大学 | 一种在散射环境中非均匀光场下的偏振图像复原方法 |
| CN107945168B (zh) * | 2017-11-30 | 2021-12-10 | 上海联影医疗科技股份有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
| CN108171672B (zh) * | 2018-01-10 | 2019-06-21 | 西北工业大学 | 基于红通道和全卷积神经网络的水下光学智能感知方法 |
| CN108335324A (zh) * | 2018-01-29 | 2018-07-27 | 清华大学 | 基于偏振瞬态成像的散射场景深度重建方法以及设备 |
| CN109242854A (zh) * | 2018-07-14 | 2019-01-18 | 西北工业大学 | 一种基于flic超像素分割的图像显著性检测方法 |
| CN109187364B (zh) * | 2018-07-25 | 2020-06-19 | 西安电子科技大学 | 一种高浓度水下偏振成像方法 |
| CN109141638B (zh) * | 2018-07-25 | 2019-11-26 | 西安电子科技大学 | 一种自然光水下偏振成像方法 |
| CN109543701A (zh) * | 2018-11-30 | 2019-03-29 | 长沙理工大学 | 视觉显著性区域检测方法及装置 |
| CN109961430B (zh) * | 2018-12-13 | 2023-09-01 | 长春理工大学 | 一种金具表面锈蚀区域提取方法 |
| CN110827309B (zh) * | 2019-11-12 | 2023-06-23 | 太原理工大学 | 一种基于超像素的偏光片外观缺陷分割方法 |
| CN111080537B (zh) * | 2019-11-25 | 2023-09-12 | 厦门大学 | 水下机器人智能控制方法、介质、设备及系统 |
| CN111738941B (zh) * | 2020-06-05 | 2023-08-29 | 大连海事大学 | 融合光场和偏振信息的水下图像优化方法 |
| CN113724372B (zh) * | 2021-08-23 | 2022-06-28 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
| CN114693577B (zh) * | 2022-04-20 | 2023-08-11 | 合肥工业大学 | 一种基于Transformer的红外偏振图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| EP3133979A1 (en) * | 2014-04-24 | 2017-03-01 | Cathx Research Ltd. | Underwater surveys |
-
2016
- 2016-09-12 CN CN201610818023.2A patent/CN106407927B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3133979A1 (en) * | 2014-04-24 | 2017-03-01 | Cathx Research Ltd. | Underwater surveys |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Improved range estimation and underwater image enhancement under turbidity by opti-acoustic stereo imaging;Mohammadreza Babaee.etc;《OCEANS 2015 - Genova》;20150921;第1-7页 * |
| 基于偏振特征的水下目标检测;马伟英;《基于偏振特征的水下目标检测》;20141231;第37卷(第12期);第90-98页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106407927A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106407927B (zh) | 基于偏振成像的适用于水下目标检测的显著性视觉方法 | |
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| Yang et al. | Underwater polarimetric imaging for visibility enhancement utilizing active unpolarized illumination | |
| Agrafiotis et al. | Underwater photogrammetry in very shallow waters: main challenges and caustics effect removal | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN105427350B (zh) | 基于局部四元数指数矩的彩色图像复制篡改检测方法 | |
| Lipschutz et al. | New methods for horizon line detection in infrared and visible sea images | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| Wang et al. | Specular reflection removal of ocean surface remote sensing images from UAVs | |
| Wang et al. | An efficient method for image dehazing | |
| CN115578366A (zh) | 农机无人驾驶摄像头脏污检测方法、系统、介质及设备 | |
| Maxwell et al. | Real-time physics-based removal of shadows and shading from road surfaces | |
| Li et al. | Detection and compensation of shadows based on ICA algorithm in remote sensing image | |
| Wu et al. | RGB-D salient object detection via feature fusion and multi-scale enhancement | |
| Cui et al. | Single image haze removal based on luminance weight prior | |
| CN115841632A (zh) | 输电线路提取方法、装置以及双目测距方法 | |
| Li et al. | Pipeline image haze removal system using dark channel prior on cloud processing platform | |
| Wei et al. | Automatic water line detection for an USV system | |
| Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
| Song et al. | Underwater image enhancement method based on dark channel prior and guided filtering | |
| Wang et al. | Shadow Detection and Reconstruction of High-Resolution Remote Sensing Images in Mountainous and Hilly Environments | |
| Jiao et al. | Cost-volume filtering-based stereo matching with improved matching cost and secondary refinement | |
| CN117372680B (zh) | 一种基于双目相机与激光雷达融合的目标检测方法 | |
| Lin et al. | Image Fusion Processing Method Based on Infrared and Visible Light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191105 |