CN111291667A - 细胞视野图的异常检测方法及存储介质 - Google Patents

细胞视野图的异常检测方法及存储介质 Download PDF

Info

Publication number
CN111291667A
CN111291667A CN202010075129.4A CN202010075129A CN111291667A CN 111291667 A CN111291667 A CN 111291667A CN 202010075129 A CN202010075129 A CN 202010075129A CN 111291667 A CN111291667 A CN 111291667A
Authority
CN
China
Prior art keywords
visual field
classification
map
abnormality
cell visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010075129.4A
Other languages
English (en)
Inventor
张立箎
王乾
周明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010075129.4A priority Critical patent/CN111291667A/zh
Publication of CN111291667A publication Critical patent/CN111291667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供了一种细胞视野图的异常检测方法及存储介质，所述细胞视野图的异常检测方法包括获取步骤、叠加步骤、模型学习步骤以及迭代步骤。本发明针对单张的细胞视野图，利用特征网络生成的标记框的先验信息。在标记框内的信息是影响整个细胞视野图分类判断的依据。结合标记框的信息，对细胞视野图进行分类。本发明将先验信息作为除了图像本身的额外输入，将原先的图像三通道输入叠加成四通道的输入。输入到分类模型里面。输出图像的分类结果，并且产生对应的注意力图，以此达到训练模型，完成分类任务并且优化检测的结果。

Description

细胞视野图的异常检测方法及存储介质
技术领域
本发明涉及细胞检测技术领域，尤其涉及一种细胞视野图的异常检测方法及存储介质。
背景技术
在检测异常细胞视野图中异常细胞区域的现有技术中，并没有对细胞视野图进行进一步的分类，只是完成异常细胞的位置和分类信息的获取。一般使用基于Faster-RCNN的检测方法和R-FCN的检测方法的结合，将两个网络的区域回归和标记框分类结合到一起。其具体过程为，对于一张细胞视野图，先经过特征提取器，再经过RPN（候选区域生成网络）生成一定数量的候选框，大概2000个标记框，再利用R-FCN的区域性质，分别进行标记框的回归和分类，得出最终的检测结果。然而得出的检测结果，并没有将检测结果运用到最终的分类或者诊断的任务上。而且检测出来的结果不准确，会存在假阳性的结果。
具体地，现有检测方法主要有两点问题，第一，缺少细胞视野图诊断的模型的引入，仅仅依靠检测模型产生的异常区域作为判断异常区域的基准。第二，对于检测网络，始终都会出现假阳性的区域，比如一个异常细胞视野图当中，可能会检测出现若干个异常的区域，但是这些区域当中很难保证不会出现假阳性的区域，对于这种假阳性的区域，可能会干扰我们对于一张细胞视野图的判读，但是对于一个正常细胞视野图，若也检测出现异常的区域，对于这种异常检测的假阳性，会极大降低对细胞视野图判读的分类效果。
发明内容
为了解决背景技术中的问题，本发明提供一种细胞视野图的异常检测方法，包括：获取步骤，获取待检测细胞视野图以及该细胞视野图的标注框数据；掩码生成步骤，将标注框数据生成对应的掩码信息并汇总为初始标注；样本集生成步骤，将所述待检测细胞视野图与所述初始标注生成一样本集；模型建立步骤，将所述样本集以及分类标签输入一Resnet网络进行学习得到一分类模型；分类步骤，将待识别细胞视野图输入至训练好的分类模型中得到细胞视野图的分类结果。
进一步地，所述模型建立步骤包括：划分步骤，将所述样本集分为训练集与测试集；特征图获取步骤，输入所述训练集，经Resnet网络训练得到多个特征图；注意力图生成步骤，将所述多个特征图生成注意力图；更新步骤，将所述样本集的初始标注更新为所述注意力图并再次输入Resnet网络训练并得到Resnet网络模型。
进一步地，所述模型建立步骤还包括：输出步骤，将所述测试集输入至所述Resnet网络模型得到第一判定结果；优化步骤，比对所述第一判定结果与正确结果，计算二者的差异值并反向传递，优化Resnet网络模型得到所述分类模型。
进一步地，还包括：所述分类标签包括正常细胞视野图或异常细胞视野图。
进一步地，若所述分类结果为异常细胞视野图，则所述注意力图高亮区域为异常区域。
进一步地，所述Resnet网络包括四个分块，每个分块分别包括卷积层，池化层和激活层。
进一步地，所述特征图生成所述分类注意力图包括全局平均池化的方法。
进一步地，所述获取步骤中，所述标注框数据通过Faster-RCNN检测网络和R-FCN检测网络的两步结合训练得到；或，所述标注框数据通过YOLO或SSD的检测网络训练得到。
进一步地，所述Resnet网络为Resnet50网络。
本发明还提供一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行所述的细胞视野图的异常检测方法。
本发明的有益效果是：提供了一种细胞视野图的异常检测方法及存储介质，针对单张的细胞视野图，利用特征网络生成的标记框的先验信息。在标记框内的信息是影响整个细胞视野图分类判断的依据。通过结合标记框的信息，对细胞视野图进行分类。本发明将先验信息作为除了图像本身的额外输入，将原先的图像三通道输入叠加成四通道的输入。输入到分类模型里面。输出图像的分类结果，并且产生对应的注意力图，以此达到训练模型，完成分类任务并且优化检测的结果。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明提供的细胞视野图的异常检测方法的流程图。
图2为本发明提供的模型建立步骤的流程图。
图3为本发明提供的细胞视野图的异常检测模型的功能模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
如图1所示，本发明提供一种细胞视野图的异常检测方法，包括S1~ S5。
S1、获取步骤，获取待检测细胞视野图以及该细胞视野图的标注框数据。
所述标注框数据通过Faster-RCNN检测网络和R-FCN检测网络的两步结合方法训练得到；或，所述标注框数据通过YOLO或SSD的检测网络训练得到。
S2、掩码生成步骤，将标注框数据生成对应的掩码信息并汇总为初始标注。
S3、样本集生成步骤，将所述待检测细胞视野图与所述初始标注生成一样本集。具体的，将原始图片的三通道信息，叠加上生成的这个初始标注，变成四通道的数据，作为我们后续网络的输入。
S4、模型建立步骤，将所述样本集以及分类标签输入一Resnet网络进行学习得到一分类模型；所述分类标签包括正常细胞视野图或异常细胞视野图。
如图2所示，所述模型建立步骤包括：S401~ S404。
S401、划分步骤，将所述样本集分为训练集与测试集。
S402、特征图获取步骤，输入所述训练集，经Resnet网络训练得到多个特征图。
S403、注意力图生成步骤，将所述多个特征图生成注意力图。所述特征图生成所述分类注意力图包括全局平均池化的方法。
S404、更新步骤，将所述样本集的初始标注更新为所述注意力图并再次输入Resnet网络训练并得到Resnet网络模型。
S405、输出步骤，将所述测试集输入至所述Resnet网络模型得到第一判定结果；
S406、优化步骤，比对所述第一判定结果与正确结果，计算二者的差异值并反向传递，优化Resnet网络模型得到所述分类模型。
S5、分类步骤，将待识别细胞视野图输入至训练好的分类模型中得到细胞视野图的分类结果。若所述分类结果为异常细胞视野图，则所述注意力图高亮区域为异常区域。
所述Resnet网络包括四个分块，每个分块分别包括卷积层，池化层和激活层。
在一实施例中，所述Resnet网络为Resnet50网络。
本发明还提供一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行所述的细胞视野图的异常检测方法。
本发明提供了一种细胞视野图的异常检测方法，针对单张的细胞视野图，利用特征网络生成的标记框的先验信息。在标记框内的信息是影响整个细胞视野图分类判断的依据。结合标记框的信息，对细胞视野图进行分类。本发明将先验信息作为除了图像本身的额外输入，将原先的图像三通道输入叠加成四通道的输入。输入到分类模型里面。输出图像的分类结果，并且产生对应的注意力图，以此达到训练模型，完成分类任务并且优化检测的结果。
本发明提供的技术方法，是使用基于注意力机制的分类网络模型（如图3所示），在完成分类任务的同时将分类网络感兴趣的区域进行了可视化，将最有可能的异常区域通过注意力机制体现了出来，并且将注意力机制产生的信息进行了反向的传递，作为原图的一种辅助信息存在，辅助分类网络实现分类的任务。
本发明融合了先验信息进行细胞视野图级别的异常分类诊断，修正了异常检测结果产生的假阳性数据，同时降低了正常类别的细胞视野图的异常细胞视野图检出率。并且优化了异常检测的结果，使得假阳性得以下降，降低了医生的负担，提高了细胞视野图诊断的效率和医疗资源利用。本发明还降低了正常细胞视野图的异常区域检出率，避免了正常细胞视野图的二次检查，提高了诊断的精度，进一步降低了医疗成本，减少社会资源浪费。
本方法着重实现了分类网络的注意力机制，同时实现了注意力机制的迭代更新，而且将前期检测网络的输出作为注意力的初始化信息，引入作为注意力信息的初始化，开启整个分类网络的注意力的更新。
先验信息更新之后，更新后的注意力即为分类网络所认为的较大概率影响分类网络判断的区域。而大概率会影响网络判断细胞视野图是否异常的区域。最后输出的迭代更新的注意力图即为近似版的异常区域候选。所以更新迭代的注意力图即为更新迭代的异常区域。
如图3所示，本发明的分类模型的准确性是高于检测网络的，所以使用分类网络输出的注意力的结果作为检测网络的更新的异常细胞视野图区域，降低异常检测结果的准确率。
本发明很大程度的降低正确分类为异常的细胞视野图的异常检测结果，对于正确分类为正常的细胞视野图，其异常响应的注意力图没有高响应的区域，即没有异常检测区域。通过该方法，可以将分类为正常的细胞视野图的假阳性检测结果进行修正。即降低正常分类的细胞视野图的假阳性检测结果。
本发明提供一种存储介质，该存储介质存储计算机程序，该计算机程序用以执行所述的细胞视野图的异常检测方法。
在实际使用阶段：给定一张图片和经过特征网络之后的标注框信息（即先验信息）。首先生成初始化的标注掩码（mask），作为并列在图像三通道输入的第四维输入。将整个图像与掩码（mask）输入网络，迭代更新分类结果和注意力图（attention map）。可以认为对于一个分类判断为异常的细胞视野图的注意力图（attention map）是对先验信息的修正。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。

Claims (10)

1.一种细胞视野图的异常检测方法，其特征在于，包括：
获取步骤，获取待检测细胞视野图以及该细胞视野图的标注框数据；
掩码生成步骤，将标注框数据生成对应的掩码信息并汇总为初始标注；
样本集生成步骤，将所述待检测细胞视野图与所述初始标注生成一样本集；
模型建立步骤，将所述样本集以及分类标签输入一Resnet网络进行学习得到一分类模型；
分类步骤，将待识别细胞视野图输入至训练好的分类模型中得到细胞视野图的分类结果。
2.如权利要求1所述的细胞视野图的异常检测方法，其特征在于，
所述模型建立步骤包括：
划分步骤，将所述样本集分为训练集与测试集；
特征图获取步骤，输入所述训练集，经Resnet网络训练得到多个特征图；
注意力图生成步骤，将所述多个特征图生成注意力图；
更新步骤，将所述样本集的初始标注更新为所述注意力图并再次输入Resnet网络训练并得到Resnet网络模型。
3.如权利要求1所述的细胞视野图的异常检测方法，其特征在于，所述模型建立步骤还包括：
输出步骤，将所述测试集输入至所述Resnet网络模型得到第一判定结果；
优化步骤，比对所述第一判定结果与正确结果，计算二者的差异值并反向传递，优化Resnet网络模型得到所述分类模型。
4.如权利要求2所述的细胞视野图的异常检测方法，其特征在于，还包括：
所述分类标签包括正常细胞视野图或异常细胞视野图。
5.如权利要求4所述的细胞视野图的异常检测方法，其特征在于，
若所述分类结果为异常细胞视野图，则所述注意力图高亮区域为异常区域。
6.如权利要求4所述的细胞视野图的异常检测方法，其特征在于，
所述Resnet网络包括四个分块，每个分块分别包括卷积层，池化层和激活层。
7.如权利要求2所述的细胞视野图的异常检测方法，其特征在于，
所述特征图生成所述分类注意力图包括全局平均池化的方法。
8.如权利要求1所述的细胞视野图的异常检测方法，其特征在于，
所述获取步骤中，
所述标注框数据通过Faster-RCNN检测网络和R-FCN检测网络的两步结合训练得到；或，
所述标注框数据通过YOLO或SSD的检测网络训练得到。
9.如权利要求1所述的细胞视野图的异常检测方法，其特征在于，
所述Resnet网络为Resnet50网络。
10.一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行如权利要求1~9任一项所述的细胞视野图的异常检测方法。
CN202010075129.4A 2020-01-22 2020-01-22 细胞视野图的异常检测方法及存储介质 Pending CN111291667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010075129.4A CN111291667A (zh) 2020-01-22 2020-01-22 细胞视野图的异常检测方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010075129.4A CN111291667A (zh) 2020-01-22 2020-01-22 细胞视野图的异常检测方法及存储介质

Publications (1)

Publication Number Publication Date
CN111291667A true CN111291667A (zh) 2020-06-16

Family

ID=71029192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075129.4A Pending CN111291667A (zh) 2020-01-22 2020-01-22 细胞视野图的异常检测方法及存储介质

Country Status (1)

Country Link
CN (1) CN111291667A (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048952A1 (en) * 2000-12-15 2002-06-20 Shih-Jong Lee Structure-guided image processing and image feature enhancement
CN1572079A (zh) * 2001-10-17 2005-01-26 摩托罗拉公司 用于在多用户系统中数据通信的方法和装置
WO2008151577A1 (en) * 2007-06-14 2008-12-18 Tsinghua University Tracking method and device adopting a series of observation models with different lifespans
CN102945371A (zh) * 2012-10-18 2013-02-27 浙江大学 基于多标签柔性支持向量机的分类方法
AU2013237949A1 (en) * 2012-03-28 2014-11-13 University Of Houston System Methods and software for screening and diagnosing skin lesions and plant diseases
WO2016083666A1 (en) * 2014-11-27 2016-06-02 Nokia Corporation Method, apparatus and computer program product for generating super-resolved images
CN108229430A (zh) * 2018-01-30 2018-06-29 浙江大学 一种融合注意力图的商品分类方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN108921836A (zh) * 2018-06-28 2018-11-30 京东方科技集团股份有限公司 一种提取眼底图像标注的方法及装置
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN109784159A (zh) * 2018-12-11 2019-05-21 北京航空航天大学 场景图像的处理方法、装置及系统
CN109978891A (zh) * 2019-03-13 2019-07-05 浙江商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110210513A (zh) * 2019-04-23 2019-09-06 深圳信息职业技术学院 数据分类方法、装置及终端设备
CN110376198A (zh) * 2019-08-29 2019-10-25 广州锟元方青医疗科技有限公司 一种宫颈液基细胞切片质量检测系统
CN110378278A (zh) * 2019-07-16 2019-10-25 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
WO2019206209A1 (zh) * 2018-04-26 2019-10-31 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048952A1 (en) * 2000-12-15 2002-06-20 Shih-Jong Lee Structure-guided image processing and image feature enhancement
CN1572079A (zh) * 2001-10-17 2005-01-26 摩托罗拉公司 用于在多用户系统中数据通信的方法和装置
WO2008151577A1 (en) * 2007-06-14 2008-12-18 Tsinghua University Tracking method and device adopting a series of observation models with different lifespans
AU2013237949A1 (en) * 2012-03-28 2014-11-13 University Of Houston System Methods and software for screening and diagnosing skin lesions and plant diseases
CN102945371A (zh) * 2012-10-18 2013-02-27 浙江大学 基于多标签柔性支持向量机的分类方法
WO2016083666A1 (en) * 2014-11-27 2016-06-02 Nokia Corporation Method, apparatus and computer program product for generating super-resolved images
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN108229430A (zh) * 2018-01-30 2018-06-29 浙江大学 一种融合注意力图的商品分类方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
WO2019206209A1 (zh) * 2018-04-26 2019-10-31 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN108921836A (zh) * 2018-06-28 2018-11-30 京东方科技集团股份有限公司 一种提取眼底图像标注的方法及装置
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109784159A (zh) * 2018-12-11 2019-05-21 北京航空航天大学 场景图像的处理方法、装置及系统
CN109978891A (zh) * 2019-03-13 2019-07-05 浙江商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110210513A (zh) * 2019-04-23 2019-09-06 深圳信息职业技术学院 数据分类方法、装置及终端设备
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110378278A (zh) * 2019-07-16 2019-10-25 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN110376198A (zh) * 2019-08-29 2019-10-25 广州锟元方青医疗科技有限公司 一种宫颈液基细胞切片质量检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUNFENG SONG 等: "Mask-guided Contrastive Attention Model for Person Re-Identification" *

Similar Documents

Publication Publication Date Title
CN112528963A (zh) 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题智能批阅系统
US20170200274A1 (en) Human-Shape Image Segmentation Method
US20230385333A1 (en) Method and system for building training database using automatic anomaly detection and automatic labeling technology
CN110110726A (zh) 电力设备铭牌识别方法、装置、计算机设备和存储介质
CN112597999A (zh) 一种题目识别方法、装置、电子设备及计算机存储介质
CN113221743A (zh) 表格解析方法、装置、电子设备和存储介质
CN113190220A (zh) Json文件差异化对比方法及装置
US10885593B2 (en) Hybrid classification system
Zolotukhin et al. Using Intelligent Testing as a Tool to Improve the Quality of Transport Information Systems
CN111310611B (zh) 细胞视野图的检测方法及存储介质
CN112214595A (zh) 类别确定方法、装置、设备及介质
CN114758199A (zh) 检测模型的训练方法、装置、设备和存储介质
CN113761867A (zh) 地址识别方法、装置、计算机设备及存储介质
CN116975081A (zh) 一种日志诊断集更新方法、装置、设备及存储介质
CN111291667A (zh) 细胞视野图的异常检测方法及存储介质
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
CN113221558B (zh) 一种快递地址纠错方法、装置、存储介质及电子设备
CN112764839B (zh) 一种用于管理服务平台的大数据配置方法及系统
CN114037912A (zh) 遥感图像的变化检测方法、装置及计算机可读存储介质
CN115878989A (zh) 模型训练方法、装置及存储介质
CN111832550A (zh) 数据集制作方法、装置、电子设备及存储介质
JP2020057264A (ja) 計算機システム及びデータ分類の分析方法
CN111612021A (zh) 一种错误样本识别方法、装置及终端
CN117372510B (zh) 基于计算机视觉模型的地图注记识别方法、终端及介质
CN112784015B (zh) 信息识别方法和装置、设备、介质和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200616

WD01 Invention patent application deemed withdrawn after publication