CN112949757A - 一种多模态的心力衰竭的识别分类方法及装置 - Google Patents
一种多模态的心力衰竭的识别分类方法及装置 Download PDFInfo
- Publication number
- CN112949757A CN112949757A CN202110339927.8A CN202110339927A CN112949757A CN 112949757 A CN112949757 A CN 112949757A CN 202110339927 A CN202110339927 A CN 202110339927A CN 112949757 A CN112949757 A CN 112949757A
- Authority
- CN
- China
- Prior art keywords
- data
- chest
- patient
- classification
- heart failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 206010019280 Heart failures Diseases 0.000 title claims abstract description 26
- 238000011976 chest X-ray Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000036541 health Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 208000024891 symptom Diseases 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 2
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 1
- 208000006029 Cardiomegaly Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理领域，公开了一种多模态的心力衰竭的识别分类方法及装置，包括：获取患者的胸部X光图片和电子健康记录数据并进行预处理，将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。本发明利用VGG16网络模型从患者的胸部X光图片中获取心胸比率，并实现初步分类，然后使用LDA模型提取患者的临床文本数据，最后二者相结合运用文本分类的卷积神经网络来判断患者是否患有心力衰竭，进一步提升了对于心力衰竭患者诊断的效率。
Description
技术领域
本发明涉及数据处理领域，特别涉及一种多模态的心力衰竭的识别分类方法及装置。
背景技术
心力衰竭是一种全球性流行病，部分原因是全球人口老龄化。胸部X光是最常见的非侵入性放射测试之一，可提供关于患者心脏状况的主要信息，然而，全科医生通常很难使用胸部X光图片对心力衰竭做出精确的诊断。
目前已有利用深度学习去使用胸部X光图片检测心脏肥大的技术，但市场上利用深度学习技术去使用胸部X光图片进行检测心力衰竭的研究仍然很少。
发明内容
为了解决现有技术缺乏利用深度学习技术在胸部X光图片的基础上对心里衰竭进行诊断的问题，本发明提供了一种多模态的心力衰竭的识别分类方法及装置。
本发明的技术方案如下：
一种多模态的心力衰竭的识别分类方法，包括以下步骤：
S1：获取患者的胸部X光图片和电子健康记录数据并进行预处理，得到调整为大小一致的胸部X光图片及整合好的临床文本数据；
S2：将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；
S3：将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；
S4：将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。
进一步地，所述S1的预处理包括将胸部X光图片的大小调整和修剪为1024×1024像素，分辨率为72dpi的图片，并使用电子健康记录数据中的出院摘要作为文本数据源进行整合。
进一步地，所述S2中改进的VGG16网络模型包括15层网络，由若干组卷积层及最大池化层组成的卷积部分和分类器组成，前13层网络构成卷积部分，对胸部X光图片进行图像特征的提取，后2层网络构成分类器，对图像进行分类。
进一步地，所述S2中通过使用迁移学习的通用机器学习法提取数据集小的胸部X光图片中的图像特征。
进一步地，所述S2中的VGG16网络模型，在包含14197122个分类为1000个类别的图像的ImageNet数据集上进行了预训练，在训练期间，传输的卷积部分被冻结，分类器在胸部X光图片数据集上进行了训练，对图片进行放大或缩小或平移或旋转或数据增强的处理。
进一步地，所述S3的LDA模型是利用先验分布对文本特征数据进行似然估计然后得到后验分布的算法模型。
进一步地，所述S3通过采用词袋法，将每一篇文本视为一个词频向量，接着将文本信息转化为易于建模的数字信息。
进一步地，所述S4的卷积神经网络包括输入层、卷积层、最大池化层与完全连接层，卷积神经网络提取文本特征数据作为与卷积层连接的输入层。
本发明提供了一种多模态的心力衰竭的识别分类设备，所述识别分类设备包括：
存储器、处理器，通信总线以及存储在所述存储器上的识别分类程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述识别分类程序，以实现如上述中任意一项所述的识别分类方法的步骤。
本发明还提供了一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有识别分类程序，所述识别分类程序被处理器执行时实现上述中任意一项所述的识别分类方法的步骤。
本发明的有益效果至少包括以下：
(1)基于卷积神经网络在识别正面或负面分类的文本中表现更优，可以显著提高判断心力衰竭症状的准备性；
(2)本发明首先利用VGG16网络从患者的胸部X光图片中获取心胸比率，并实现初步分类，然后使用LDA模型提取患者的临床文本数据，最后二者相结合运用文本分类的卷积神经网络来判断患者是否患有心力衰竭，进一步增强了对于心力衰竭患者诊断的效率。
附图说明
图1为本发明的多模态的心力衰竭的识别分类方法的整体结构示意图。
图2为本发明的VGG16网络模型的整体结构示意图。
图3为本发明的LDA模型的使用示意图。
图4为本发明的卷积神经网络的整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-4所示，本发明提供了
一种多模态的心力衰竭的识别分类方法，包括以下步骤：
S1：获取患者的胸部X光图片和电子健康记录数据并进行预处理，得到调整为大小一致的胸部X光图片及整合好的临床文本数据；
所述S1的预处理包括将胸部X光图片的大小调整和修剪为1024×1024像素，分辨率为72dpi的图片，并使用电子健康记录数据中的出院摘要作为文本数据源进行整合。
胸部X光图片在临床上具有重要的作用，医生可以通过图片观察病人的心脏是否有扩张的情况；同时获取得到的医院的电子健康记录数据，在不同的数据库上往往都存有较大的区别，且医生在临床记录患者的数据方式也大不相同，因此需要先对电子健康记录数据进行预处理，将患者的临床数据整合在一起，再从中获取所需要的指标，本发明获取电子健康记录数据中的出院摘要往往包括有患者的基本信息以及射血分数、血压等于患者疾病相关的数据。
S2：将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；
所述S2中改进的VGG16网络模型包括15层网络，由若干组卷积层及最大池化层组成的卷积部分和分类器组成，前13层网络构成卷积部分，前13层网络由13层卷积层组成，从接收胸部X光图片一端开始起算，第二层卷积层、第四层卷积层、第七层卷积层、第十层卷积层和第十三层卷积层后面均连接有最大池化层，卷积部分对胸部X光图片进行图像特征的提取，后2层网络构成分类器，对图像进行分类，分类为“心脏正常”或“心脏肿大”。
鉴于存在有一些数据集小的情况，而要从数据集小的图片当做获取图像特征，可以通过使用迁移学习的通用机器学习法提取数据集小的胸部X光图片中的图像特征，迁移学习的概念是转移和使用在一项任务中学习的知识，以改进另一项任务的学习。
本发明中的VGG16网络模型，在包含14197122个分类为1000个类别的图像的ImageNet数据集上进行了预训练，在训练期间，传输的卷积部分被冻结，也可以称为没有更新，只有分类器在胸部X光图片数据集上进行了训练，对图片随机进行放大或缩小或平移或旋转或进行数据增强的处理。
因为胸部X线是不对称的，所以本发明没有进行深度学习中通常会进行的左右反转和剪切变形，而是应用二元交叉熵作为损失函数，随机梯度下降(SGD)作为优化器，并以0.0001的学习率作为150个时期训练模型，本发明使用验证数据集的准确性和对数损失作为评估指标，并计算灵敏度和特异性。
S3：将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；
隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)是一种基于贝叶斯算法模型，利用先验分布对数据进行似然估计并最终得到后验分布的一种方式。LDA是一种比较常用的主题模型，LDA假设文档主题是多项分布，多项分布的参数(先验分布)是服从Dirichlet分布，其实LDA是一种三层的贝叶斯模型。
LDA是一种非监督机器学习技术，可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息，它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。
如图3所示，对于图上的θ、β、z的参数估计，基于贝叶斯算法可以得到如下分布式公式：
S4：将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。
所述S4的卷积神经网络包括输入层、卷积层、最大池化层与完全连接层，卷积神经网络提取文本特征数据作为与卷积层连接的输入层。
文本数据首先被表示为一系列单词嵌入，其中每个单词都被投影到分布式表示中。单词嵌入本质上是特征提取器，在它们的维度上编码单词的语义特征。单词嵌入在Google News的1000亿字上预先训练，改善了自然语言处理系统的结果，并减少了训练模型所需的数据量。在本发明中，嵌入的文本被用作卷积层的输入，并最初保持字向量不变，只学习模型的其他参数。
尽管对超参数的调整很少，但这个简单的模型在多个基准上取得了优异的结果，这表明预先训练的向量是“通用的”特征提取器，可以用于各种分类任务。
本发明提供了一种多模态的心力衰竭的识别分类设备，所述识别分类设备包括：
存储器、处理器，通信总线以及存储在所述存储器上的识别分类程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述识别分类程序，以实现如上述中任意一项所述的识别分类方法的步骤。
本发明还提供了一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有识别分类程序，所述识别分类程序被处理器执行时实现上述中任意一项所述的识别分类方法的步骤。
基于卷积神经网络在识别正面或负面分类的文本中表现更优，可以显著提高判断心力衰竭症状的准备性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种多模态的心力衰竭的识别分类方法，其特征在于：包括以下步骤：
S1：获取患者的胸部X光图片和电子健康记录数据并进行预处理；
S2：将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；
S3：将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；
S4：将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。
2.根据权利要求1所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S1的预处理包括将胸部X光图片的大小调整和修剪为1024×1024像素，分辨率为72dpi的图片，并使用电子健康记录数据中的出院摘要作为文本数据源进行整合。
3.根据权利要求1所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S2中改进的VGG16网络模型包括15层网络，由若干组卷积层及最大池化层组成的卷积部分和分类器组成，前13层网络构成卷积部分，对胸部X光图片进行图像特征的提取，后2层网络构成分类器，对图像进行分类。
4.根据权利要求3所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S2中通过使用迁移学习的通用机器学习法提取数据集小的胸部X光图片中的图像特征。
5.根据权利要求3所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S2中的VGG16网络模型，在ImageNet数据集上进行了预训练，在训练期间，传输的卷积部分被冻结，分类器在胸部X光图片数据集上进行了训练，对图片进行放大或缩小或平移或旋转或数据增强的处理。
6.根据权利要求1所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S3的LDA模型是利用先验分布对文本特征数据进行似然估计然后得到后验分布的算法模型。
7.根据权利要求1所述的一种多模态的心力衰竭的识别分类方法，其特征在于：所述S4的卷积神经网络包括输入层、卷积层、最大池化层与完全连接层，卷积神经网络提取文本特征数据作为与卷积层连接的输入层。
8.一种多模态的心力衰竭的识别分类设备，其特征在于：所述识别分类设备包括：
存储器、处理器，通信总线以及存储在所述存储器上的识别分类程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述识别分类程序，以实现如上述权利要求1-7中任意一项所述的识别分类方法的步骤。
9.一种计算机可读存储介质，存储有可执行指令，其特征在于：所述存储介质上存储有识别分类程序，所述识别分类程序被处理器执行时实现上述权利要求1-7中任意一项所述的识别分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339927.8A CN112949757A (zh) | 2021-03-30 | 2021-03-30 | 一种多模态的心力衰竭的识别分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339927.8A CN112949757A (zh) | 2021-03-30 | 2021-03-30 | 一种多模态的心力衰竭的识别分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112949757A true CN112949757A (zh) | 2021-06-11 |
Family
ID=76230476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110339927.8A Pending CN112949757A (zh) | 2021-03-30 | 2021-03-30 | 一种多模态的心力衰竭的识别分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949757A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260209A (zh) * | 2020-01-14 | 2020-06-09 | 山东大学 | 电子病历与医学影像结合的心血管疾病风险预测评估系统 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| US20200272857A1 (en) * | 2019-02-22 | 2020-08-27 | Neuropace, Inc. | Systems and methods for labeling large datasets of physiologial records based on unsupervised machine learning |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
| US20210027460A1 (en) * | 2019-07-25 | 2021-01-28 | Canon Medical Systems Corporation | Medical image processing method and apparatus |
-
2021
- 2021-03-30 CN CN202110339927.8A patent/CN112949757A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200272857A1 (en) * | 2019-02-22 | 2020-08-27 | Neuropace, Inc. | Systems and methods for labeling large datasets of physiologial records based on unsupervised machine learning |
| US20210027460A1 (en) * | 2019-07-25 | 2021-01-28 | Canon Medical Systems Corporation | Medical image processing method and apparatus |
| CN111260209A (zh) * | 2020-01-14 | 2020-06-09 | 山东大学 | 电子病历与医学影像结合的心血管疾病风险预测评估系统 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| JARED A. DUNNMON 等: "Assessment of Convolutional Neural Networks for Automated Classification of Chest Radiographs", 《RADIOLOGY》, 31 December 2019 (2019-12-31), pages 1 - 8 * |
| 刘玉文 等: "基于LDA模型和电子病历的疾病辅助诊断方法", 《宿州学院学报》, vol. 32, no. 2, 28 February 2017 (2017-02-28), pages 114 - 124 * |
| 黄欣 等: "基于卷积神经网络的X线胸片疾病分类研究", 《系统仿真学报》, vol. 32, no. 6, 30 June 2020 (2020-06-30), pages 1188 - 1194 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11612311B2 (en) | System and method of otoscopy image analysis to diagnose ear pathology | |
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN109409416B (zh) | 特征向量降维方法和医学图像识别方法、装置及存储介质 | |
| Fan et al. | Unsupervised cerebrovascular segmentation of TOF-MRA images based on deep neural network and hidden Markov random field model | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| CN111696640A (zh) | 自动获取病历模板的方法、装置和存储介质 | |
| Baby et al. | Automatic nerve segmentation of ultrasound images | |
| CN111192660B (zh) | 一种影像报告分析方法、设备及计算机存储介质 | |
| CN112766376A (zh) | 一种基于gacnn的多标签眼底图像识别方法 | |
| Liu et al. | Automatic segmentation of brain MR images using an adaptive balloon snake model with fuzzy classification | |
| CN115578783B (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| Kisilev et al. | Semantic description of medical image findings: structured learning approach. | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| JP2024507684A (ja) | 大動脈組織のセグメント化および特徴付けのための方法およびシステム | |
| Singh et al. | Optimized convolutional neural network for glaucoma detection with improved optic-cup segmentation | |
| CN111696674B (zh) | 一种电子病历的深度学习方法及系统 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| Xue et al. | Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans | |
| CN113723417B (zh) | 基于单视图的影像匹配方法、装置、设备及存储介质 | |
| CN112949757A (zh) | 一种多模态的心力衰竭的识别分类方法及装置 | |
| CN114972297A (zh) | 口腔健康监测方法及装置 | |
| US10910098B2 (en) | Automatic summarization of medical imaging studies | |
| WO2024098379A1 (zh) | 一种基于扩张残差网络的全自动心脏磁共振成像分割方法 | |
| Purpura-Pontoniere et al. | Semi-Supervised Relational Contrastive Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |
|
| RJ01 | Rejection of invention patent application after publication |