CN111311547A - 一种超声图像分割装置及超声图像分割方法 - Google Patents

一种超声图像分割装置及超声图像分割方法 Download PDF

Info

Publication number
CN111311547A
CN111311547A CN202010062112.5A CN202010062112A CN111311547A CN 111311547 A CN111311547 A CN 111311547A CN 202010062112 A CN202010062112 A CN 202010062112A CN 111311547 A CN111311547 A CN 111311547A
Authority
CN
China
Prior art keywords
module
image
network
frrn
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010062112.5A
Other languages
English (en)
Inventor
屈晓磊
侍尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010062112.5A priority Critical patent/CN111311547A/zh
Publication of CN111311547A publication Critical patent/CN111311547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声图像分割装置及超声图像分割方法，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，包括级联的图像增强模块、FRRN模块、输出模块。本发明的技术方案应用到超声图像分割任务上，使网络自动学习图像特征，提高分割精度和鲁棒性。

Description

一种超声图像分割装置及超声图像分割方法
技术领域
本发明属于生物医学超声图像自动分割技术领域，尤其涉及一种超声图像分割装置及超声图像分割方法。
背景技术
如今，乳腺癌已成为全球女性发病率最高的癌症，及早筛查出乳腺癌并接受及时治疗可以降低死亡率。目前我国主流的乳腺癌筛查方法有X线乳房摄影技术，然而该方法有一定的缺陷：一、X光有一定的电离辐射，会对人体造成危害；二、由于此方法产生二维图像，对于致密性乳腺乳房，在影像中难以区分出肿瘤；三、仪器的按压会给患者带来痛感。超声相比于X线，电离辐射很小，且成像为三维图像，同时筛查过程中不会给患者带来痛感。然而在医生滑动探头进行筛查的过程中，会扫描出大量的超声图像，医生需要对其进行判读，其中寻找肿瘤位置是很关键的一个步骤。长时间的读图会使医生产生疲劳感，造成误读漏读，而且不同医生经验不同，也给筛查过程带来了主观性等因素。因此，提出一种能帮助医生自动分割出乳房肿瘤区域的方法是有必要的。
目前，已有许多针对图像分割任务的网络被提出。FRRN(Full-ResolutionResidual Networks，全分辨率残差网络)是一种针对街道场景图像分割任务而提出的神经网络，并取得了较好的分割结果。
传统乳腺超声图像分割算法一般需要手动地进行特征工程，过程复杂且鲁棒性较差。对于传统方法的不足，本发明将一种改进后的神经网络模型应用到乳腺超声图像分割任务上，使网络自动学习图像特征，提高分割精度和鲁棒性。
发明内容
为了解决上述已有技术存在的不足，本发明主要通过将自然语言处理领域的注意力机制引入到FRRN中，设计Dense模块加入该模型并实施深监督机制训练网络，构成了一种新型的基于注意力的全分辨率残差网络。本发明将此改进网络应用到了超声图像的分割任务中，取得了相比于FRRN更高的分割精度。本发明的具体技术方案如下：
一种超声图像分割装置，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括级联的图像增强模块、FRRN模块、输出模块，其中，
所述图像增强模块，通过图像增强扩充样本量；
所述FRRN模块，其中，所述FRRN网络中加入Dense模块，所述Dense模块每一层的输入都是前面所有层的输出；所述FRRN网络中加入基于注意力机制的上采样模块，对所述上采样模块的每一层的输出进行2n倍的升采样，n为上采样处的网络深度，恢复到输入图像尺寸；
所述输出模块，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果。
一种超声图像分割方法，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括以下步骤：
S1：对超声图像手动标注；
S2：通过图像增强方法，扩充样本量；
S3：在FRRN网络中加入Dense模块；
S4：设计基于注意力机制的上采样模块，对FRRN网络的解码部分不同层的输出进行上采样，恢复到全分辨率特征；
S5：设计深监督机制，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果模型；
S6：对于需要分割的超声图像，输入经过步骤S3-S5训练后得到的模型中即得到分割后的输出图像。
本发明的有益效果在于：
1.本发明通过在FRRN中加入设计的Dense模块及注意力上采样模块，提升特征使用率，产生更具分辨性的特征表示。
2.引入深监督机制训练网络，提高中间层学习过程的直接性和透明度，优化浅层特征，为深层网络提供更精确的特征表示。
3.本发明应用于超声图像分割任务上，给出了比原基础网络更准确的分割结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是FRRN网络结构图；
图2(a)是乳腺超声数据样例；
图2(b)是乳腺超声数据手动标注图；
图3(a)是乳腺超声数据原图像；
图3(b)是原图像的尺寸放大图；
图3(c)是原图像的尺寸缩小图；
图3(d)是原图像的水平移动图；
图3(e)是原图像的竖直移动图；
图3(f)是原图像的水平翻转图；
图3(g)是原图像的垂直翻转图；
图3(h)是原图像的小角度旋转图；
图3(i)是原图像加噪声图；
图3(j)是原图像弹性形变图；
图4(a)是RCU模块结构图；
图4(b)是Dense模块结构图；
图5是注意力上采样模块图；
图6是基于注意力的全分辨率残差网络结构图；
图7(a)是测试分割实例1的FRRN结果与真值比对；
图7(b)是测试分割实例1的本发明的结果与真值比对；
图7(c)是测试分割实例2的FRRN结果与真值比对；
图7(d)是测试分割实例2的本发明的结果与真值比对；
图7(e)是测试分割实例3的FRRN结果与真值比对；
图7(f)是测试分割实例3的本发明的结果与真值比对。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
FRRN网络结构图如图1所示，本发明与此网络的区别在于，在网络的解码部分引入注意力机制，对特征不同部分赋予权重表示特征的重要程度，辅助网络训练学习相关度更高的特征；此外，在RCU单元之间采用Dense(密集)连接的方式，提高特征的利用率，加速收敛；最后采用深监督机制训练网络，使浅层特征得到更好的训练。本发明将注意力机制引入到传统的深度学习神经网络中，并且将其应用于超声图像的分割中。
为了方便理解本发明的上述技术方案，以下通过具体实施例对本发明的上述技术方案进行详细说明。
实施例1
S1：对乳腺超声图像进行手动标注。超声图像及标注图像如图2(a)和图2(b)所示。
S2：采用数据增强方法扩充数据集，避免过拟合。本发明中采用的数据增强方法包括垂直、水平移动；垂直、水平翻转；旋转；添加噪声；放大缩小；弹性变换等。各种增强方法如图3(a)-图3(j)所示。
S3：在FRRN网络中加入设计的Dense模块，提高特征利用率，有助于梯度反向传播。模块结构如图4(a)和图4(b)所示。每一层的输入都是前面所有层的输出，这样的设计，提高了特征利用率，有助于梯度反向传播。
S4：加入基于注意力机制的上采样模块，对网络的上采样部分的每一层的输出进行2n倍的升采样，n为该升采样处的网络深度，恢复到输入图像尺寸。注意力上采样模块如图5所示。
S5：对S4的每一个全分辨率特征添加激活层作为该深度层的输出，与正确标签计算损失值。最小化所有的损失值。最终的网络结构如图6所示。
通过本发明的模型进行分割实验，与基础网络FRRN进行比较。两种模型在测试集中的分割结果实例如图7(a)-图7(f)所示，其中,图7(a)、图7(c)和图7(e)中的白线为真实轮廓,黑线为FRRN的分割结果；图7(b)、图7(d)和图7(f)中的白线为真实轮廓，黑线为本发明模型的分割结果，表1为FRRN网络和本发明的装置及方法的对比实验结果，数据集1为163张超声图像，是公开数据集，数据集2为980张超声图像，为私有数据集，将数据集1和数据集2的图像分别通过FRRN网络和本发明的装置及方法进行分割，将分割的结果与医生手动标注的真值比较得出表1的数据。
表1 FRRN网络和本发明的装置及方法的分割结果对比
Figure BDA0002374802820000051
Dice系数，即Dice coefficient，是一种集合相似度度量函数，此处用来计算标签和预测值的相似性程度，取值范围为[0,1]，值越大，标签与预测值越相似。
Jaccard，Jaccard similarity coefficient，用于比较标签和预测值之间的相似性与差异性，Jaccard系数值越大，样本相似度越高。
F1是精确率和召回率的调和平均数，最大为1，最小为0，系数值越大，相似度越高。其中，精确率是对所有预测为组织区域的样本的精确度的衡量，召回率是对所有组织区域中能够正确预测为组织的比例的衡量。
由图7(a)-图7(f)以及表1可知，本发明提出的基于注意力的全分辨残差网络给出了更好的分割结果，精准度、可行性及可靠性都更好。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种超声图像分割装置，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括级联的图像增强模块、FRRN模块、输出模块，其中，
所述图像增强模块，通过图像增强扩充样本量；
所述FRRN模块，其中，所述FRRN网络中加入Dense模块，所述Dense模块每一层的输入都是前面所有层的输出；所述FRRN网络中加入基于注意力机制的上采样模块，对所述上采样模块的每一层的输出进行2n倍的升采样，n为上采样处的网络深度，恢复到输入图像尺寸；
所述输出模块，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果。
2.一种超声图像分割方法，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括以下步骤：
S1：对超声图像手动标注；
S2：通过图像增强方法，扩充样本量；
S3：在FRRN网络中加入Dense模块；
S4：设计基于注意力机制的上采样模块，对FRRN网络的解码部分不同层的输出进行上采样，恢复到全分辨率特征；
S5：设计深监督机制，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果模型；
S6：对于需要分割的超声图像，输入经过步骤S3-S5训练后得到的模型中即得到分割后的输出图像。
CN202010062112.5A 2020-01-20 2020-01-20 一种超声图像分割装置及超声图像分割方法 Pending CN111311547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062112.5A CN111311547A (zh) 2020-01-20 2020-01-20 一种超声图像分割装置及超声图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062112.5A CN111311547A (zh) 2020-01-20 2020-01-20 一种超声图像分割装置及超声图像分割方法

Publications (1)

Publication Number Publication Date
CN111311547A true CN111311547A (zh) 2020-06-19

Family

ID=71158224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062112.5A Pending CN111311547A (zh) 2020-01-20 2020-01-20 一种超声图像分割装置及超声图像分割方法

Country Status (1)

Country Link
CN (1) CN111311547A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785598A (zh) * 2020-11-05 2021-05-11 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894498A (zh) * 2016-03-25 2016-08-24 湖南省科学技术研究开发院 一种视网膜光学相干图像分割方法
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109034136A (zh) * 2018-09-06 2018-12-18 湖北亿咖通科技有限公司 图像处理方法、装置、摄像设备及存储介质
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109993803A (zh) * 2019-02-25 2019-07-09 复旦大学 城市色调的智能分析与评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894498A (zh) * 2016-03-25 2016-08-24 湖南省科学技术研究开发院 一种视网膜光学相干图像分割方法
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109034136A (zh) * 2018-09-06 2018-12-18 湖北亿咖通科技有限公司 图像处理方法、装置、摄像设备及存储介质
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109993803A (zh) * 2019-02-25 2019-07-09 复旦大学 城市色调的智能分析与评价方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
HUI SUN 等: "AUNet: Attention-guided dense-upsampling networks for breast mass segmentation in whole mammograms", 《ARXIV》 *
HUI SUN 等: "AUNet: Attention-guided dense-upsampling networks for breast mass segmentation in whole mammograms", 《ARXIV》, 24 October 2018 (2018-10-24) *
OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 *
OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》, 1 January 2015 (2015-01-01), pages 234 - 241, XP055746424, DOI: 10.1007/978-3-319-24574-4_28 *
TOBIAS POHLEN 等: "Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
TOBIAS POHLEN 等: "Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes", 《COMPUTER VISION AND PATTERN RECOGNITION》, 9 November 2017 (2017-11-09), pages 3309 - 3318 *
XIAOLEI QU 等: "An attention-supervised full-resolution residual network for the segmentation of breast ultrasound images", 《MEDICAL PHYSICS》 *
XIAOLEI QU 等: "An attention-supervised full-resolution residual network for the segmentation of breast ultrasound images", 《MEDICAL PHYSICS》, vol. 47, no. 11, 30 November 2020 (2020-11-30), pages 5701 - 5714 *
孙哲南 等: "计算机视觉与模式识别研究进展", 《科研信息化技术与应用》 *
孙哲南 等: "计算机视觉与模式识别研究进展", 《科研信息化技术与应用》, no. 4, 31 August 2019 (2019-08-31), pages 3 - 18 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785598A (zh) * 2020-11-05 2021-05-11 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法

Similar Documents

Publication Publication Date Title
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
Ikedo et al. Development of a fully automatic scheme for detection of masses in whole breast ultrasound images
Byra et al. Early prediction of response to neoadjuvant chemotherapy in breast cancer sonography using Siamese convolutional neural networks
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
US9826958B2 (en) Automated detection of suspected abnormalities in ultrasound breast images
WO2008035445A1 (fr) Système de diagnostic de sein à ultrasons
WO2008035444A1 (fr) Système de diagnostic de sein à ultrasons
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Valanarasu et al. Learning to segment brain anatomy from 2D ultrasound with less data
JPWO2020027228A1 (ja) 診断支援システム及び診断支援方法
CN112489788B (zh) 一种用于癌症诊断的多模态影像分析方法及系统
Ma et al. Human breast numerical model generation based on deep learning for photoacoustic imaging
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
CN114943688A (zh) 基于触诊和超声数据对乳腺图像中感兴趣区域的提取方法
Reddy et al. A deep learning based approach for classification of abdominal organs using ultrasound images
CN111311547A (zh) 一种超声图像分割装置及超声图像分割方法
Oh et al. A neural framework for multi-variable lesion quantification through b-mode style transfer
Li et al. Automatic Diagnosis of Carotid Atherosclerosis Using a Portable Freehand 3D Ultrasound Imaging System
WO2014055707A1 (en) Automated detection of suspected abnormalities in ultrasound breast images
CN113951930B (zh) 一种三维颈部超声自动扫查与评估系统及方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Ikedo et al. Computerized mass detection in whole breast ultrasound images: Reduction of false positives using bilateral subtraction technique
CN113838020A (zh) 一种基于钼靶影像的病变区域量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619

RJ01 Rejection of invention patent application after publication