CN112101250A - 一种基于上下文语义感知的近岸舰船目标检测方法 - Google Patents

一种基于上下文语义感知的近岸舰船目标检测方法 Download PDF

Info

Publication number
CN112101250A
CN112101250A CN202010987046.2A CN202010987046A CN112101250A CN 112101250 A CN112101250 A CN 112101250A CN 202010987046 A CN202010987046 A CN 202010987046A CN 112101250 A CN112101250 A CN 112101250A
Authority
CN
China
Prior art keywords
target
candidate
region
pixel
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010987046.2A
Other languages
English (en)
Other versions
CN112101250B (zh
Inventor
裴季方
黄钰林
王茹斐
徐帆云
尚元哲
霍伟博
杨海光
张寅�
杨建宇
张永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010987046.2A priority Critical patent/CN112101250B/zh
Publication of CN112101250A publication Critical patent/CN112101250A/zh
Application granted granted Critical
Publication of CN112101250B publication Critical patent/CN112101250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于上下文语义感知的近岸舰船目标检测方法，针对海岸区域精确监测的重大应用需求，本发明方法采用海陆分割快速定位候选区域，保留海岸线两侧的海洋区域和缓冲区域，然后采用最大稳定极值区域(MSER)法进行全局预筛选；然后对每个候选目标的背景切片进行超像素分割，提取上下文语义信息，以识别近海舰船和虚警，实验结果表明，该方法能够实现复杂海陆混合背景下近岸舰船的精确检测。

Description

一种基于上下文语义感知的近岸舰船目标检测方法
技术领域
本发明涉及目标检测领域，尤其适用于SAR图像目标检测领域。
背景技术
在遥感图像处理中，合成孔径雷达因其强大的全天时、全天候、高分辨率成像能力而得到广泛应用。合成孔径雷达(SAR)在舰船探测中的应用在军事和民用领域都具有重要意义，已成为港口动态监视、海事管理、船舶救援、走私活动监测等海洋应用的重要研究课题。特别是近海舰船的检测问题已经得到了广泛的研究，而对近岸舰船的检测问题的研究却很少。与传统的近海舰船检测相比，近岸舰船检测在港口动态监测和海事管理中越来越受到重视。
在高分辨率的SAR图像中，舰船往往以小目标的形式出现，提供的形状信息很少。因此，舰船检测往往基于舰船目标呈现较明亮的特点。对于远岸舰船，可以通过局部阈值分割对其进行粗略定位，而近岸舰船所处的海陆混合环境非常复杂。与之相连接的码头区域通常具有相似的灰度和纹理特征，且具有鲜明的特征，导致近岸舰船检测虚警率较高。因此，近岸舰船检测比远岸舰船检测面临更大的挑战。
许多研究在SAR图像中的舰船检测方面取得了一些有价值的成果，其中恒虚警率(constant false alarm rate,CFAR)方法已广泛应用于舰船检测。假设背景杂波的概率密度函数具有一定的分布，计算自适应阈值完成检测过程。然而，近岸舰船的背景复杂，无法用一个合适的模型来描述。结果，检测率下降，虚警率增加。因此，CFAR及其变体不适合用于近岸舰船探测。近年来，学者们正在努力克服上述困难。大多数人使用海、陆分割的方法提取手工特征用于舰船目标检测。代表性方法例如文献“Superpixel-level cfar detectorsfor ship detection in sar imagery,IEEE Geoscience and Remote Sensing Letters,vol.15,no.9,pp.1397–1401,2018.”；和文献“New hierarchical saliency filteringfor fast ship detection in high-resolution sar images,IEEE Transactions onGeoscience and Remote Sensing,vol.55,no.1,pp.351–362,2016.”。利用显著性信息实现舰船检测，结果优于传统的基于CFAR的方法。但是，该算法仍然存在对海陆分割精度依赖程度高、人工特征设计难度大的缺点。
发明内容
本发明的目的是针对近岸舰船目标检测过程中的问题，及考虑到背景技术中现有检测算法面临的上述挑战，提出了一种基于上下文语义感知的近岸舰船目标检测方法。
本发明的具体技术方案为：一种基于上下文语义感知的近岸舰船目标检测方法，具体包括如下步骤：
步骤一：基于海陆分割定位候选区域：对近岸场景SAR图像，进行海陆分割，得到海洋区域和近岸缓冲区，缩小感兴趣区域；具体做法是将SAR图像灰度级分为L级，灰度级为第i(i＝1,2,…,L)级的像素有ni个，并以每个灰度级为灰度门限求类间方差σ2(t)作为评价函数，通过最大化类间方差，确定灰度门限阈值t*，按灰度级将图像像素分为两类C0,C1，C0由灰度值在区间[1,t*]内所有像素组成，C1由灰度值在区间(t*+1,L]内所有像素组成，灰度门限阈值t*由下式确定：
Figure BDA0002689608280000021
步骤二：基于MSER的全局预筛选：通过步骤一去除大面积的陆地区域后，利用最大极值稳定区域算法，进行全局预筛选，定位候选舰船目标。首先将给定的SAR图像进行N个灰度值的阈值分割，得到N个对应于阈值的二值图像，然后根据极值区域的面积变化率来提取目标区域，若面积变化率不大于阈值，则该区域为候选舰船目标区域，否则从候选区域中移除该区域。
步骤三：超像素分割：近岸场景中，港口建筑物在SAR图像中形成强散射回波。这些由设施造成的强散射区域与SAR图像中的舰船区域相似，易造成虚警，因此需要对候选区域进行验证。考虑到近岸舰船所处环境的特殊性，利用目标的上下文语义信息进行舰船目标的鉴别。对于每个候选目标，利用SLIC算法进行超像素分割将候选目标背景切片分割成多个超像素块，以灵活适应各种停泊姿态的近岸舰船。
步骤四：候选目标鉴别：得到每个目标背景切片的超像素地图后，计算每个候选舰船目标的波动值，波动值可以衡量目标所处背景的像素值分布情况，利用该值能够有效鉴别真实舰船目标与虚警。当候选船的波动值大于阈值时，该候选目标被判定为虚警，并从检测结果中剔除。相反，它可以被保留并移动到下一个区域。通过对所有目标得到背景切片进行基于上下文语义信息的鉴别，可以得到一个新的二值图像，即最终的检测结果。
本发明的有益效果：本发明方法首先采用基于最大类间方差的方法进行海陆分割，确定可能存在感兴趣目标的海洋区域和近岸区域，设计了缓冲区域以减少由于海陆分割不准确而导致的漏检，从而降低对海陆分割精度的依赖。获得感兴趣区域后，利用目标区域明亮稳定的特性提取潜在目标，然而，对于近岸场景中的舰船检测，主要问题是港口建筑物在SAR图像中会形成类船区域。仅仅依靠目标的特征信息是不够的，会造成大量虚警。因此，有必要对这些候选区域进行鉴别。本发明利用近岸场景中目标所处背景承载着语境语义信息区别虚警与真实舰船目标，具体是对每个候选目标的背景切片进行超像素分割，从超像素地图中提取上下文语义信息以识别近岸舰船，消除虚警。与传统的近岸舰船处理方法相比，该方法不需要复杂的预处理、杂波建模等处理步骤。不仅利用目标自身的特性，且结合上下文语义信息，能够快速、准确地实现对近岸舰船的检测。
附图说明
图1为本发明方法流程示意图；
图2为本发明实施方式包含所有舰船目标原始图；
图3为本发明实施方式经过全局预筛选与对目标背景切片的超像素分割结果图；
图4为本发明实施方式SAR图像港口检测结果图。
具体实施方式
下面结合附图对本发明的实施例做进一步的说明。
本发明方法的流程如图1所示，具体包括如下步骤：
步骤一：将SAR图像灰度级分为L级，灰度级为第i(i＝1,2,…,L)级的像素有ni个，第i级灰度出现的概率为
Figure BDA0002689608280000031
并对SAR图像求类间方差σ2(t)作为评价函数，通过最大化类间方差，确定灰度门限阈值t*，按灰度级将图像像素分为两类C0,C1，C0由灰度值在区间[1,t*]内所有像素组成，C1由灰度值在区间(t*+1,L]内所有像素组成。
计算最佳灰度门限阈值t*由下式确定：
Figure BDA0002689608280000032
其中，类间方差：
Figure BDA0002689608280000033
其中，两部分图像的类内均值μ0(t),μ1(t)，以及图像灰度总均值μ分别为：
Figure BDA0002689608280000034
通过海陆分割方法获取候选区域后，为减小因为分割算法导致海陆错分而引起检测舰船目标数量的误差，等比例减小分割后的陆地面积，留下海陆分割线两侧的缓冲区域及海洋区域。
步骤二：海陆分割之后，利用舰船目标在近岸SAR图像中表现为稳定的明亮区域特性，通过MSER算法进行舰船目标预筛选。
将SAR图像进行N个灰度值的阈值分割，得到N个对应于阈值的二值图像，根据极值区域的面积变化率来提取目标区域，面积变化率越小，区域越稳定。因此，将潜在舰船区域定义为使满足下式的面积变化率条件稳定极值区域。
Figure BDA0002689608280000041
其中，R代表区域集合，
Figure BDA0002689608280000042
分别代表不同的极值稳定区域，
Figure BDA0002689608280000043
代表阈值为ni时
Figure BDA0002689608280000044
的面积变化率，S(·)代表计算区域的面积，ε代表面积变化率上限。
步骤三：通过步骤二获取了潜在的候选舰船目标，考虑到近海环境的特殊性，本发明利用候选目标的上下文语义信息对舰船目标进行识别，首先利用超像素分割算法将候选目标的背景切片划分为多个超像素，减小计算量，降低图像中的冗余信息。
具体方法是，首先截取每个独立目标的背景切片，去除检测到的目标区域，只留下目标周围的背景区域，为了保证截取的切片中包含足够的背景区域，切片需满足以下公式：
Figure BDA0002689608280000045
其中，Stg代表目标区域的面积，Sbg代表背景区域的面积，α代表背景区域和目标区域面积比例的最低门限，本实施例中α＝10。
然后，利用超像素分割算法根据像素之间的相似度和邻接度获得候选目标背景切片的超像素地图。其中，最重要的参数是超像素的个数，它决定了超像素的大小。因为每个目标的背景切片大小不同，因此本发明根据超像素的大小来设置该参数为超像素最小为16个像素。
步骤四：通过步骤三得到每个背景切片的超像素地图后，计算每个超像素地图的波动值，衡量目标所处背景的像素值分布情况，波动值计算如下式所示：
Figure BDA0002689608280000046
其中，V(k)代表第k个基于上下文语义感知的背景切片波动值，M代表一个切片中经过超像素处理后的网格数，Ni、N分别代表第i个超像素中的像素点个数和整个背景切片中的像素点个数，P(k)代表第k个像素点的像素值，其中，ki＝1,…,Ni，k＝1,…,N。
当候选船的波动值大于阈值时，该候选目标被判定为虚警，并从检测结果中剔除。相反，它可以被保留并移动到下一个区域。通过对所有目标得到背景切片进行基于上下文语义信息的鉴别，可以得到一个新的二值图像，即最终的检测结果。
图2为本发明实施方式包含所有舰船目标原始图；图3为本发明实施方式经过全局预筛选与对目标背景切片的超像素分割结果图；港口检测结果如图4所示，正确检测出的目标用矩形标记，虚警目标用三角形标记，遗漏的目标用圆形标记，基于上下文语义信息的SAR图像近岸舰船检测方法正确检测出Ntt＝66个正确目标，存在Nfa＝11个虚警目标。

Claims (4)

1.一种基于上下文语义感知的近岸舰船目标检测方法，具体包括如下步骤：
步骤一：基于海陆分割定位候选区域：对近岸场景SAR图像，进行海陆分割，得到海洋区域和近岸缓冲区，缩小感兴趣区域；具体做法是将SAR图像灰度级分为L级，灰度级为第i(i＝1,2,…,L)级的像素有ni个，并以每个灰度级为灰度门限求类间方差σ2(t)作为评价函数，通过最大化类间方差，确定灰度门限阈值t*，按灰度级将图像像素分为两类C0,C1，C0由灰度值在区间[1,t*]内所有像素组成，C1由灰度值在区间(t*+1,L]内所有像素组成，灰度门限阈值t*由下式确定：
Figure FDA0002689608270000011
步骤二：基于MSER的全局预筛选：将给定的SAR图像进行N个灰度值的阈值分割，得到N个对应于阈值的二值图像，然后根据极值区域的面积变化率来提取目标区域，若面积变化率不大于阈值，则该区域为候选舰船目标区域，否则从候选区域中移除该区域；
步骤三：超像素分割：利用目标的上下文语义信息进行舰船目标的鉴别，对于每个候选目标，利用SLIC算法进行超像素分割将候选目标背景切片分割成多个超像素块，
步骤四：候选目标鉴别：得到每个目标背景切片的超像素地图后，计算每个候选舰船目标的波动值，当候选船的波动值大于阈值时，该候选目标被判定为虚警，并从检测结果中剔除，相反，被保留并移动到下一个区域；通过对所有目标得到背景切片进行基于上下文语义信息的鉴别，得到一个新的二值图像，即最终的检测结果。
2.根据权利要求1所述的一种基于上下文语义感知的近岸舰船目标检测方法，其特征在于，步骤四所述的波动值计算如下式所示：
Figure FDA0002689608270000012
其中，V(k)代表第k个基于上下文语义感知的背景切片波动值，M代表一个切片中经过超像素处理后的网格数，Ni、N分别代表第i个超像素中的像素点个数和整个背景切片中的像素点个数，P(k)代表第k个像素点的像素值，其中，ki＝1,…,Ni，k＝1,…,N。
3.根据权利要求1所述的一种基于上下文语义感知的近岸舰船目标检测方法，其特征在于，步骤四所述的类间方差σ2(t)计算如下式所示：
Figure FDA0002689608270000021
其中，两部分图像的类内均值μ0(t),μ1(t)，以及图像灰度总均值μ分别为：
Figure FDA0002689608270000022
其中，pi为第i级灰度出现的概率，
Figure FDA0002689608270000023
4.根据权利要求1所述的一种基于上下文语义感知的近岸舰船目标检测方法，其特征在于，步骤三所述的候选目标背景切片需满足以下公式：
Figure FDA0002689608270000024
其中，Stg代表目标区域的面积，Sbg代表背景区域的面积，α代表背景区域和目标区域面积比例的最低门限。
CN202010987046.2A 2020-09-18 2020-09-18 一种基于上下文语义感知的近岸舰船目标检测方法 Active CN112101250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010987046.2A CN112101250B (zh) 2020-09-18 2020-09-18 一种基于上下文语义感知的近岸舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010987046.2A CN112101250B (zh) 2020-09-18 2020-09-18 一种基于上下文语义感知的近岸舰船目标检测方法

Publications (2)

Publication Number Publication Date
CN112101250A true CN112101250A (zh) 2020-12-18
CN112101250B CN112101250B (zh) 2022-07-15

Family

ID=73760365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010987046.2A Active CN112101250B (zh) 2020-09-18 2020-09-18 一种基于上下文语义感知的近岸舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN112101250B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284135A (zh) * 2021-06-21 2021-08-20 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法
CN113379695A (zh) * 2021-06-01 2021-09-10 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604383A (zh) * 2009-07-24 2009-12-16 哈尔滨工业大学 一种基于红外图像的海上目标检测方法
CN102621533A (zh) * 2012-04-05 2012-08-01 电子科技大学 一种用于船用导航雷达的弱小目标检测方法
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN102855622A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于显著性分析的红外遥感图像海面船只检测方法
CN107145874A (zh) * 2017-05-13 2017-09-08 复旦大学 复杂背景sar图像中的舰船目标检测与鉴别方法
KR20180058063A (ko) * 2016-11-23 2018-05-31 한국해양대학교 산학협력단 해양플랜트 비상 정지 시스템의 원격 모니터링 및 제어 시스템
CN108765491A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种sar图像舰船目标检测方法
CN109409286A (zh) * 2018-10-25 2019-03-01 哈尔滨工程大学 基于伪样本增强训练的船舶目标检测方法
CN110889843A (zh) * 2019-11-29 2020-03-17 西安电子科技大学 基于最大稳定极值区域的sar图像舰船目标检测方法
US20200272899A1 (en) * 2019-02-22 2020-08-27 Ubotica Technologies Limited Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604383A (zh) * 2009-07-24 2009-12-16 哈尔滨工业大学 一种基于红外图像的海上目标检测方法
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN102621533A (zh) * 2012-04-05 2012-08-01 电子科技大学 一种用于船用导航雷达的弱小目标检测方法
CN102855622A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于显著性分析的红外遥感图像海面船只检测方法
KR20180058063A (ko) * 2016-11-23 2018-05-31 한국해양대학교 산학협력단 해양플랜트 비상 정지 시스템의 원격 모니터링 및 제어 시스템
CN107145874A (zh) * 2017-05-13 2017-09-08 复旦大学 复杂背景sar图像中的舰船目标检测与鉴别方法
CN108765491A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种sar图像舰船目标检测方法
CN109409286A (zh) * 2018-10-25 2019-03-01 哈尔滨工程大学 基于伪样本增强训练的船舶目标检测方法
US20200272899A1 (en) * 2019-02-22 2020-08-27 Ubotica Technologies Limited Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network
CN110889843A (zh) * 2019-11-29 2020-03-17 西安电子科技大学 基于最大稳定极值区域的sar图像舰船目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379695A (zh) * 2021-06-01 2021-09-10 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法
CN113379695B (zh) * 2021-06-01 2024-03-29 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法
CN113284135A (zh) * 2021-06-21 2021-08-20 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法
CN113284135B (zh) * 2021-06-21 2022-10-04 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法

Also Published As

Publication number Publication date
CN112101250B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
Ao et al. Detection and discrimination of ship targets in complex background from spaceborne ALOS-2 SAR images
CN107145874B (zh) 复杂背景sar图像中的舰船目标检测与鉴别方法
CN109766811B (zh) 一种星载sar图像中海面船只的端到端检测与识别方法
CN104036239B (zh) 基于特征融合和聚类的高分辨sar图像快速舰船检测方法
CN109117802B (zh) 面向大场景高分遥感影像的舰船检测方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN107025654B (zh) 基于全局迭代检查的sar图像自适应船只检测方法
CN104331886B (zh) 基于高分辨sar图像的港口区域舰船检测方法
CN109001780A (zh) 一种自适应的sar卫星海面舰船目标在轨检测方法
CN108734111A (zh) Sar图像海面舰船识别方法
Wang et al. An improved faster R-CNN based on MSER decision criterion for SAR image ship detection in harbor
CN108171193B (zh) 基于超像素局部信息度量的极化sar舰船目标检测方法
CN110378308A (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN106646469B (zh) 基于变异系数法的sar船只检测优化方法
CN103020975A (zh) 一种结合多源遥感图像特征的码头和船舶分割方法
CN107992818B (zh) 一种光学遥感图像海面船只目标的检测方法
CN108133468B (zh) 自适应参数增强和尾迹辅助检测的恒虚警率舰船检测方法
CN112101250B (zh) 一种基于上下文语义感知的近岸舰船目标检测方法
CN104992172B (zh) 基于沿岸突异区扫描的港口遥感图像靠岸船舶检测方法
CN106156758B (zh) 一种sar海岸图像中海岸线提取方法
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
Guo et al. Fusion of ship perceptual information for electronic navigational chart and radar images based on deep learning
CN113362293A (zh) 一种基于显著性的sar图像舰船目标快速检测方法
CN114519824A (zh) 一种sar图像洪涝淹没区域的快速检测方法
CN112241956B (zh) 基于区域生长法和变差函数的PolSAR图像山脊线提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant