CN101447079A - 基于模糊拓扑的图像区域目标提取方法 - Google Patents

基于模糊拓扑的图像区域目标提取方法 Download PDF

Info

Publication number
CN101447079A
CN101447079A CNA2008101871678A CN200810187167A CN101447079A CN 101447079 A CN101447079 A CN 101447079A CN A2008101871678 A CNA2008101871678 A CN A2008101871678A CN 200810187167 A CN200810187167 A CN 200810187167A CN 101447079 A CN101447079 A CN 101447079A
Authority
CN
China
Prior art keywords
target
extracted
image
fuzzytopology
boundary pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101871678A
Other languages
English (en)
Other versions
CN101447079B (zh
Inventor
史文中
廖剑锋
黄长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Polytechnic University HKPU
Original Assignee
Hong Kong Polytechnic University HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Polytechnic University HKPU filed Critical Hong Kong Polytechnic University HKPU
Priority to CN2008101871678A priority Critical patent/CN101447079B/zh
Publication of CN101447079A publication Critical patent/CN101447079A/zh
Application granted granted Critical
Publication of CN101447079B publication Critical patent/CN101447079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于模糊拓扑的图像区域目标提取方法,包括如下步骤:对原始图像进行预处理;引入最优阈值T,将待提取目标定义为模糊拓扑目标;以最优阈值T诱导两个阈值T1与T2;对待提取目标进行区域划分;并最后将目标提取出来。本发明所述方法以模糊拓扑方法引入两个阈值以用于确定待提取目标的内部、边界以及外部,从而在一定程度上提高了提取质量,并且通过对边界像素进行模糊拓扑连通性分析以确定其是否属于提取范围,并在分析过程中引入局部二元模式(LBP)算符以提高判断精度。此外,本发明所述基于模糊拓扑的图像区域目标提取方法能够显著提高那些具有较高边界像素判断难度的目标提取精度,从而得到较优的提取结果。

Description

基于模糊拓扑的图像区域目标提取方法
技术领域
本发明涉及图像处理方法,更具体地说,涉及一种基于模糊拓扑的图像区域目标提取方法。
背景技术
随着多媒体技术的不断发展,图像作为一种信息载体正逐渐融入到人类生活的每个角落。当今社会中,人类对图像的使用已不仅仅只是记录信息以及浏览信息,对图像更进一步的处理需求也在与日俱增,比如对图像中的目标进行提取。这种技术称作目标提取(Object Extraction),进行提取操作的目标载体可以是各种图像,例如:数字航空图像、卫星图像、医疗图像、或日常生活中的数字照片,提取出来的目标对象可以是自然物,比如池塘、石砾,也可以是人造物,比如建筑物。
现有目标提取技术主要采用的是最优阈值方法,该方法利用一个阈值来对提取目标边界区域进行判断。而现有技术的缺陷在于:无法对图像中待提取目标的边界像素进行准确判断来确定这些边界像素是否属于待提取目标,从而导致目标提取的精度不够高。
比较本发明后续将要结合附图介绍的系统,现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述无法对图像中待提取目标的边界像素进行准确判断而导致的提取精度不够高的缺陷,提供一种基于模糊拓扑的图像区域目标提取方法。
本发明解决其技术问题所采用的技术方案是:提供一种图像区域目标提取方法,包括如下步骤:
(a)对原始图像进行预处理;
(b)引入最优阈值T,将待提取目标定义为模糊拓扑目标;
(c)以最优阈值T诱导两个阈值T1与T2
(d)对待提取目标进行区域划分;
(e)提取目标。
在本发明所述的图像区域目标提取方法中,所述步骤(a)进一步包括:引入最优阈值T,将原始图像定义为模糊拓扑图像并将其划分为目标及背景。
在本发明所述的图像区域目标提取方法中,所述步骤(c)进一步包括:基于错误分类总数最小化原则诱导阈值T1与T2
在本发明所述的图像区域目标提取方法中,所述步骤(d)进一步包括:将所述待提取目标基于上述引入的阈值T1与T2划分为内部、边界以及外部。
在本发明所述的图像区域目标提取方法中,所述步骤(e)进一步包括:对待提取目标的边界像素进行连通性分析以确定所述像素是否需要提取。
在本发明所述的图像区域目标提取方法中,所述步骤(e)进一步包括:将上述经连通性分析的边界像素与所述内部像素组合以形成提取目标。
在本发明所述的图像区域目标提取方法中,所述连通性分析进一步包括如下步骤:
S1:搜索每个边界像素的位置;
S2:搜索每个内部像素的位置;
S3:计算内部像素范围;
S4:对于每个边界像素,计算其相邻像素距离偏差值;
S5:根据计算得出的距离偏差值判断所述相邻像素是否属于内部像素范围内。
在本发明所述的图像区域目标提取方法中,所述步骤S4中引入局部二元模式算符计算相邻像素的距离偏差值。
在本发明所述的图像区域目标提取方法中,所述距离偏差值包括平均偏差和/或标准偏差。
在本发明所述的图像区域目标提取方法中,重复执行步骤S4与S5直至完成对所有边界像素的判断。
实施本发明的图像区域目标提取方法,具有以下有益效果:
(1)与现有技术引入一个阈值相比,本发明所述方法引入两个阈值以用于确定待提取目标的内部、边界以及外部,从而在一定程度上提高了提取质量;
(2)对边界像素进行连通性分析以确定其是否属于提取范围,并在分析过程中引入局部二元模式(LBP)算符以提高判断精度;
(3)本方法能够显著提高那些具有较高边界像素判断难度的目标提取精度,从而得到较优的提取结果。
本发明的各种优点、各个方面和创新特征,以及其中所示例的实施例的细节,将在以下的描述和附图中进行详细介绍。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明所述方法一实施例的步骤流程图;
图2是本发明所述方法一实施例中进行连通性分析的步骤流程图;
图3是局部二元模式(LBP)原理示意图;
图4是卫星图像上的石砾示意图;
图5是传统目标提取方法对图4进行处理后的结果示意图;
图6是本发明所述目标提取方法对图4进行处理后的结果示意图。
具体实施方式
本发明所述基于模糊拓扑的图像区域目标提取方法的软件运行平台采用StoneExtra,该软件是用Visual Basic程序设计语言设计的用于从航空或高清晰度卫星图像中提取石砾以及岩石的图像处理系统。利用该系统可以对石砾的尺寸、形状以及高度分布进行提取。该系统可用于高速公路建设、以及其他地形或市政工程项目。此项技术与传统实地勘测解决方案相比具有高性价比以及更高的安全性,因为该系统中增加了如下功能:
(1)图像优化:包括线性优化、直方图调整以及区域空间优化;
(2)石砾分布探测:根据图像频谱特性探测石砾的空间分布;
(3)石砾信息提取:石砾特性,比如:尺寸、形状以及高度可基于原始图像的探测以及DEM来探测;
(4)信息分析:根据石砾的空间分布以及特性进行风险分析;
(5)石砾勾画:自动生成石砾的空间分布图并将原始图像进行覆盖。
图1是本发明所述方法一实施例的步骤流程图。如图1所示,流程开始于步骤101,在此步骤中,先对原始图像进行预处理,包括:将原始图像定义为模糊拓扑图像,将其划分为目标及背景两部分,比较目标分布与背景分布;在步骤102中,将上步中的目标进一步定义为模糊拓扑目标;在步骤103中,引入最优阈值T,并基于错误分类总数最小化原则诱导出阈值T1与T2;在步骤104中,根据上述引入的阈值T1与T2将目标进一步划分为内部、边界以及外部三部分;最后在步骤105中将确定的目标提取出来。
在上述流程的步骤105中,如何判断边界像素是否属于需要被提取的内部像素范围是本发明所述方法的关键点所在,在本方法中采用连通性分析来确定边界像素与内部像素的关联度。该连通性分析针对边界上的所有点进行的,需要对边界上的每一个点进行判断,具体流程如图2所示。
流程开始于步骤201,在步骤201及202中首先对每个边界像素以及内部像素的位置进行搜索,以确定具体位置;在步骤203中,根据以上对每个内部像以及边界像素的位置搜索结果来计算出内部像素范围,为后续判断作基础;在步骤204中,取定一个边界像素,对其进行连通性分析,即是计算其相邻像素之间的距离偏差值,该偏差值可以是平均偏差也可以是标准偏差,具体计算方法是引入LBP(局部二元模式)算符来进行;在步骤205中,根据上述计算得出的距离偏差值来判断该像素究竟是否属于内部像素范围,也就是说该像素是否应该与内部像素一起形成提取目标,若判断结果显示该边界像素属于内部像素范围,则流程进入步骤206a中将此像素与内部像素进行组合,否则流程进入步骤206b放弃该边界像素;随后在步骤207中,判断是否对所有的边界像素都判断完毕,若还有边界像素没有进行判断,则流程返回步骤204重新取定边界像素进行判断,若全部边界像素均已判断完毕,则流程进入步骤208;在步骤208中,根据对每个边界像素的判断结果将适当的边界像素与内部像素进行组合以形成最终的提取目标。
图3是局部二元模式(LBP)原理示意图。如图所示,31为待判断的边界像素,32为其相邻像素,假定每个待判断的边界像素是与其相距R的相邻像素的中心像素,计算方法如下:
取每个边界像素pc的R>0,令{p1,p2,...,pn}为位于B(pi:dist(pc,pi)<R)内灰度值分别为{v1,v2,...,vn}的像素;利用公式 &mu; = 1 n &Sigma; i = 1 n v i or&sigma; = 1 n - 1 &Sigma; i = 1 n ( v i - &mu; ) 2 计算相邻像素的距离平均偏差或标准偏差,若计算结果显示该边界像素的平均偏差或标准偏差在内部像素范围内则指定该边界像素属于内部,否则确定该边界像素为背景像素。
图4是卫星图像上的石砾示意图;图5和图6分别是使用传统目标提取方法和本发明所述目标提取方法对图4进行处理后的结果示意图。为便于进行比较说明,现定义两个指标值:正确率=正确提取的石砾数/总石砾数;错误率=正确提取的石砾数/总石砾数=1-正确率。两种方法的具体实施结果比较见表1。其中,图4的实际总石瓦数为201。
 
总石砾数 正确提取数 正确率 错误提取数 错误率 漏提取数 漏提取率
传统方法 288 209 72.6% 79 27.4% 36 17.9%
本方法 235 184 78.3% 51 21.7% 15 6.4%
表1  传统目标提取方法与本发明方法的实施效果比较
如表1所示,其中的正确率计算方法如前所述,正确率=正确提取的石砾数/总石砾数,因而,对传统方法来说,正确率=209/288=72.6%,因而其错误率=1-正确率=1-72.6%=27.4%;对于本发明方法,正确率=184/235=78.3%,错误率=1-78.3%=21.7%。同理可得出两种方法的相应“漏提取率”,如表所示。比较表1中相应数据可得出如下结论:采用基于模糊拓扑的图像区域目标提取方法较传统方法而言提取精度显著提高。
主要程序代码如下:
Public Function ImgBinaryWithFuzzyThresholdInSelArea(hSrcBmp As Long,hDestBmp As
Long,interiorThreshold As Integer,exteriorThreshold As Integer,
selBorder As Border)As Boolean
Dim tSBmpInfo As BITMAP,tDBmpInfo As BITMAP
Dim sBits()As Byte,dBits()As Byte
Dim BytesPixel As Long
Dim bmHeight As Long,bm Width As Long
Dim flag As Boolean
Dimw As Long,h As Long
Dim pColor As PALETTEENTRY
Dim colorGray As Integer
Dim startPoint As CPoint
Dim aStone As CStone
Call GetObject(hSrcBmp,Len(tSBmpInfo),tSBmpInfo)
Call GetObject(hDestBmp,Len(tDBmpInfo),tDBmpInfo)
ReDim sBits(1 To tSBmpInfo.bmWidthBytes,1 To tSBmpInfo.bmHeight)
ReDim dBits(1 To tDBmpInfo.bmWidthBytes,1 To tDBmpInfo.bmHeight)
Call GetBitmapBits(hSrcBmp,tSBmpInfo.bmWidthBytes*tSBmpInfo.bmHeight,sBits(1,
  1))
Call GetBitmapBits(hDestBmp,tDBmpInfo.bmWidthBytes*tDBmpInfo.bmHeight,dBits(1,
  1))
BytesPixel=tSBmpInfo.bmBitsPixel/8
'start applying the stone algorithm
Dim beginW As Long,endW As Long,beginH As Long,endH As Long
beginW=IIf(selBorder.minX>=1,selBorder.minX,1)
endW=IIf(selBorder.maxX<=tSBmpInfo.bmWidth,selBorder.maxX,
   tSBmpInfo.bmWidth)
beginH=IIf(selBorder.minY>=1,selBorder.minY,1)
endH=IIf(selBorder.maxY<=tSBmpInfo.bmHeight,selBorder.maxY,
   tSBmpInfo.bmHeight)
For h=beginH To endH
frmProgress.ProgressProcessing.Value=Round((h-beginH)/(endH-beginH)*100,
  0)
DoEvents
For w=beginW To endW
    If pointInSide(w,h,selBorder)Then
         Call CopyMemory(pColor,sBits((w-1)*BytesPixel+1,h),BytesPixel)
         colorGray=grayColor(rgbColor(pColor))
         If colorGray>interiorThreshold Then
              Call CopyMemory(dBits((w-1)*BytesPixel+1,h),pBlack,
                 BytesPixel)
              Call CopyMemory(sBits((w-1)*BytesPixel+1,h),pBlack,
                 BytesPixel)
         ElseIf colorGray>=exteriorThreshold Then
              Call CopyMemory(dBits((w-1)*BytesPixel+1,h),pWhite,
                 BytesPixel)
              Call CopyMemory(sBits((w-1)*BytesPixel+1,h),pBlack,
                 BytesPixel)
         Else
              Call CopyMemory(dBits((w-1)*BytesPixel+1,h),pWhite,
                 BytesPixel)
              Call CopyMemory(sBits((w-1)*BytesPixel+1,h),pWhite,
                 BytesPixel)
         End If
     End If
  Next w
Next h
For h=beginH To endH
    frmProgress.ProgressProcessing.Value=Round((h-beginH)/(endH-beginH)*100,
      0)
    DoEvents
    For w=beginW To endW
        If pointInSide(w,h,selBorder)Then
             Call CopyMemory(pColor,sBits((w-1)*BytesPixel+1,h),BytesPixel)
             If rgbColor(pColor)=vbBlack Then
                  Call CopyMemory(pColor,dBits((w-1)*BytesPixel+1,h),
                     BytesPixel)
                  If rgbColor(pColor)=vbBlack Then
                       Set startPoint=New CPoint
                       startPoint.X=w
                       startPoint.Y=h
                       Set aStone=New CStone
                       aStone.maxPoint.X=w
                       aStone.maxPoint.Y=h
                       aStone.minPoint.X=w
                       aStone.minPoint.Y=h
                       aStone.pointCount=0
                       aStone.LineQueue.Enqueue startPoint
                       extractOneStone tSBmpInfo,sBits,BytesPixel,aStone,vbBlack,
                          pBlue,True
                End If
            End If
        End If
    Next w
Next h
For h=beginH To endH
    frmProgress.ProgressProcessing.Value=Round((h-beginH)/(endH-beginH)*100,
      0)
    DoEvents
    For w=beginW To endW
        Call CopyMemory(pColor,sBits((w-1)*BytesPixel+1,h),BytesPixel)
        If rgbColor(pColor)=vbBlue Then
             Call CopyMemory(dBits((w-1)*BytesPixel+1,h),pBlack,BytesPixel)
        Else
             Call CopyMemory(dBits((w-1)*BytesPixel+1,h),pWhite,BytesPixel)
        End If
    Next w
Next h
Call SetBitmapBits(hDestBmp,tDBmpInfo.bmWidthBytes*tDBmpInfo.bmHeight,dBits(1,
    1))
End Function
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护范围。

Claims (10)

1、一种图像区域目标提取方法,其特征在于,所述方法包括如下步骤:
(a)对原始图像进行预处理;
(b)引入最优阈值T,将待提取目标定义为模糊拓扑目标;
(c)以最优阈值T诱导两个阈值T1与T2
(d)对待提取目标进行区域划分;
(e)提取目标。
2、根据权利要求1所述的方法,其特征在于,所述步骤(a)进一步包括:引入最优阈值T,将原始图像定义为模糊拓扑图像并将其划分为目标及背景。
3、根据权利要求1所述的方法,其特征在于,所述步骤(c)进一步包括:基于错误分类总数最小化原则诱导阈值T1与T2
4、根据权利要求1所述的方法,其特征在于,所述步骤(d)进一步包括:将所述待提取目标基于上述引入的阈值T1与T2划分为内部、边界以及外部。
5、根据权利要求4所述的方法,其特征在于,所述步骤(e)进一步包括:对待提取目标的边界像素进行连通性分析以确定所述像素是否需要提取。
6、根据权利要求5所述的方法,其特征在于,所述步骤(e)进一步包括:将上述经连通性分析的边界像素与所述内部像素组合以形成提取目标。
7、根据权利要求5或6所述的方法,其特征在于,所述模糊拓扑连通性分析进一步包括如下步骤:
S1:搜索每个边界像素的位置;
S2:搜索每个内部像素的位置;
S3:计算内部像素范围;
S4:对于每个边界像素,计算其相邻像素距离偏差值;
S5:根据计算得出的距离偏差值判断所述相邻像素是否属于内部像素范围内。
8、根据权利要求7所述的方法,其特征在于,所述步骤S4中引入局部二元模式算符计算相邻像素的距离偏差值。
9、根据权利要求8所述的方法,其特征在于,所述距离偏差值包括平均偏差和/或标准偏差。
10、根据权利要求9所述的方法,其特征在于,重复执行步骤S4与S5直至完成对所有边界像素的判断。
CN2008101871678A 2008-12-11 2008-12-11 基于模糊拓扑的图像区域目标提取方法 Active CN101447079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101871678A CN101447079B (zh) 2008-12-11 2008-12-11 基于模糊拓扑的图像区域目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101871678A CN101447079B (zh) 2008-12-11 2008-12-11 基于模糊拓扑的图像区域目标提取方法

Publications (2)

Publication Number Publication Date
CN101447079A true CN101447079A (zh) 2009-06-03
CN101447079B CN101447079B (zh) 2012-11-28

Family

ID=40742746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101871678A Active CN101447079B (zh) 2008-12-11 2008-12-11 基于模糊拓扑的图像区域目标提取方法

Country Status (1)

Country Link
CN (1) CN101447079B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847264A (zh) * 2010-05-28 2010-09-29 北京大学 基于互补显著度图的图像兴趣物体自动提取方法及系统
CN102006485A (zh) * 2009-08-31 2011-04-06 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN102155942A (zh) * 2011-02-26 2011-08-17 山东大学 大范围环境下基于模糊拓扑地图的全局路径规划方法
CN103606172A (zh) * 2013-12-09 2014-02-26 武汉大学 一种基于模糊拓扑的非监督变化检测方法
CN103973962A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像处理方法及图像采集装置
CN103973963A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN107610155A (zh) * 2016-07-12 2018-01-19 香港理工大学深圳研究院 Sar影像变化检测方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006485A (zh) * 2009-08-31 2011-04-06 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN102006485B (zh) * 2009-08-31 2014-03-12 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN101847264A (zh) * 2010-05-28 2010-09-29 北京大学 基于互补显著度图的图像兴趣物体自动提取方法及系统
CN101847264B (zh) * 2010-05-28 2012-07-25 北京大学 基于互补显著度图的图像兴趣物体自动提取方法及系统
CN102155942A (zh) * 2011-02-26 2011-08-17 山东大学 大范围环境下基于模糊拓扑地图的全局路径规划方法
CN103973962A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像处理方法及图像采集装置
CN103973963A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN103973962B (zh) * 2013-02-06 2017-09-01 聚晶半导体股份有限公司 图像处理方法及图像采集装置
CN103973963B (zh) * 2013-02-06 2017-11-21 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN103606172A (zh) * 2013-12-09 2014-02-26 武汉大学 一种基于模糊拓扑的非监督变化检测方法
CN107610155A (zh) * 2016-07-12 2018-01-19 香港理工大学深圳研究院 Sar影像变化检测方法及装置
CN107610155B (zh) * 2016-07-12 2020-05-05 香港理工大学深圳研究院 Sar影像变化检测方法及装置

Also Published As

Publication number Publication date
CN101447079B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN101447079B (zh) 基于模糊拓扑的图像区域目标提取方法
CN105160668B (zh) 图像分割方法、系统与细胞图像分割方法、系统
CN102622769B (zh) 一种在动态场景下以深度为主导线索的多目标跟踪方法
CN103366362B (zh) 一种基于萤火虫优化算法的矿带图像分割法
CN102222226B (zh) 一种基于先验分析的迭代式车牌字符分割方法
CN107491753A (zh) 一种基于背景建模的违章停车检测方法
CN104536009A (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN109753949A (zh) 一种基于深度学习的多视窗交通标志检测方法
CN103761527A (zh) 检测画面中是否存在标志的设备及方法
CN103150708A (zh) 基于黑色通道的图像快速去雾优化方法
CN102999886A (zh) 图像边缘检测器及标尺光栅栅线精度检测系统
CN109685827B (zh) 一种基于dsp的目标检测与跟踪方法
CN102243705B (zh) 基于边缘检测的车牌定位方法
CN103942797A (zh) 基于直方图和超像素的场景图像文字检测方法及系统
CN104899892A (zh) 一种快速的星图图像星点提取方法
CN110147778B (zh) 稀土矿开采识别方法、装置、设备及存储介质
CN107909047A (zh) 一种汽车及其应用的车道检测方法及系统
CN103136537A (zh) 一种基于支持向量机的车型识别方法
CN111027446A (zh) 一种高分辨率影像的海岸线自动提取方法
CN112488046A (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN105138992A (zh) 一种基于区域主动轮廓模型的海岸线检测方法
CN104021552A (zh) 一种基于图论分割过程的多目标粒子群参数优化方法
CN105184317A (zh) 一种基于svm分类的车牌字符分割方法
CN106096497A (zh) 一种针对多元遥感数据的房屋矢量化方法
CN115457277A (zh) 一种智能化路面病害识别检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant