CN107403194A - 基于t‑SNE的皮肤癌图像识别可视化模块 - Google Patents
基于t‑SNE的皮肤癌图像识别可视化模块 Download PDFInfo
- Publication number
- CN107403194A CN107403194A CN201710619030.4A CN201710619030A CN107403194A CN 107403194 A CN107403194 A CN 107403194A CN 201710619030 A CN201710619030 A CN 201710619030A CN 107403194 A CN107403194 A CN 107403194A
- Authority
- CN
- China
- Prior art keywords
- sne
- matrix
- image
- cutaneum carcinoma
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000009030 Carcinoma Diseases 0.000 title claims abstract description 29
- 238000012800 visualization Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 201000010099 disease Diseases 0.000 claims description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种基于t‑SNE的皮肤癌图像识别可视化模块，包括获取矩阵单元、线性化单元、t‑SNE计算单元以及作图单元，获取矩阵单元与线性化单元连接，线性化单元与t‑SNE计算单元连接，t‑SNE计算单元与作图单元连接，获取矩阵单元用于获取皮肤癌图像识别系统中最后一个卷积层进行卷积后所得并记载在矩阵数据表中的矩阵；线性化单元用于将获取的矩阵进行线性化，使这些矩阵每一行跟在上一行后面，直至这些矩阵都变成向量；t‑SNE计算单元用于通过t‑SNE计算得到一系列的低维数据；作图单元用于根据低维数据绘制成点或二维图像，观察输入图像在绘制点的位置或在二维图像中的情况，实现对皮肤癌图像识别系统中的多维向量进行降维使之可视化，达到便于直观理解的效果。
Description
技术领域
本发明涉及医疗技术领域，特别是指一种基于t-SNE的皮肤癌图像识别可视化模块。
背景技术
在基于深度学习的皮肤癌图像识别系统中，输入的原始图像被转化为矩阵，在隐藏层中经过多次卷积，进行特征的提取。在隐藏层中，图像的处理都是借助矩阵乘法的，每次卷积实际上都在进行矩阵乘法，而经过多次卷积处理之后得到的矩阵实际上是系统对该图像的内部表示。将卷积处理后的矩阵线性化，可得到一个多维向量，而这一多维向量是存在于多维空间中的，人们无法直观感知这一多维向量在空间的定位，故需要一种降维方法将这一向量降低到二维空间，以便于人们对于系统内部这种多维向量表示方法获得直观理解。
因此，有必要设计一种新的基于t-SNE的皮肤癌图像识别可视化模块，以解决上述技术问题。
发明内容
针对背景技术中存在的问题，本发明的目的是提供一种基于t-SNE的皮肤癌图像识别可视化模块，对皮肤癌图像识别系统中的多维向量进行降维从而使之可视化，以便于直观理解。
本发明的技术方案是这样实现的：一种基于t-SNE的皮肤癌图像识别可视化模块，包括获取矩阵单元、线性化单元、t-SNE计算单元以及作图单元，所述获取矩阵单元与线性化单元连接，所述线性化单元与t-SNE计算单元连接，所述t-SNE计算单元与作图单元连接，其中，所述获取矩阵单元：用于获取皮肤癌图像识别系统中最后一个卷积层进行卷积后所得并记载在矩阵数据表中的矩阵；所述线性化单元：用于将获取的矩阵进行线性化，使这些矩阵每一行跟在上一行后面，直至这些矩阵都变成向量；所述t-SNE计算单元：用于通过t-SNE计算得到一系列的低维数据；所述作图单元：用于根据低维数据绘制成点或二维图像，观察输入图像在绘制点的位置或在二维图像中的聚类情况，判断疾病类型。
在上述技术方案中，所述获取矩阵单元获取矩阵包括两种模式，第一种模式为：输入的图像为单张或数量少于预设阈值，从矩阵数据表中多调取一些矩阵，并需要连同矩阵数据标签一同调取，直到矩阵数量达到能够进行可视化降维为止；第二种模式为：输入的图像为一批图像，图像数量达到预设阈值，则从矩阵数据表中调取该批图像的矩阵。
在上述技术方案中，所述线性化单元在线性化处理中，第一种模式需要分别线性化，生成待降维向量集与参考向量集；第二种模式直接将这些矩阵进行线性化生成一个向量集。
在上述技术方案中，所述作图单元在作图时，第一种模式将低维数据绘制成点，根据携带的数据标签点设置为不同颜色，而新加入的点则用单独一种颜色，以显示一张或少数几张图像在参考点中的位置，为用户提供该种疾病诊断的依据；第二种模式将低维数据绘制成二维图像，根据从皮肤癌图像识别系统中的全连接层获得的分类结果设置为不同颜色，用户借此观察输入的图像集的聚类情况。
本发明基于t-SNE的皮肤癌图像识别可视化模块，包括获取矩阵单元、线性化单元、t-SNE计算单元以及作图单元，获取矩阵单元用于获取皮肤癌图像识别系统中最后一个卷积层进行卷积后所得并记载在矩阵数据表中的矩阵；线性化单元用于将获取的矩阵进行线性化，使这些矩阵每一行跟在上一行后面，直至这些矩阵都变成向量；t-SNE计算单元用于通过t-SNE计算得到一系列的低维数据；作图单元用于根据低维数据绘制成点或二维图像，观察输入图像在绘制点的位置或在二维图像中的情况，实现对皮肤癌图像识别系统中的多维向量进行降维使之可视化，达到便于直观理解的效果。
附图说明
图1为本发明皮肤癌图像识别可视化模块流程图；
图2为本发明中t-SNE计算单元的计算流程图；
图3为本发明中具体实例的二维平面图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所述的一种基于t-SNE的皮肤癌图像识别可视化模块，通过t分布邻域计算方法(t-SNE)，从基于深度学习的皮肤癌识别系统的CNN网络中的最后一个卷积层获取系统内部对该图像的表示矩阵，经过线性化步骤以及t-SNE算法，将多维向量降维到二维空间中，从而使之可视化。
如图1所示，本发明可视化模块包含获取矩阵单元、线性化单元、t-SNE计算单元以及作图单元，其中t-SNE计算单元是核心组成部分，以下是对所述各单元的详细说明。
(1)获取矩阵单元：
在基于深度学习的皮肤癌图像识别系统中，在最后一个卷积层进行卷积后所得的矩阵，除了输入到全连接层进行分类之外，还会记录于一个矩阵数据表中。多维数据表集合了一定数量的此前经过卷积所得的矩阵，每一个矩阵代表一幅图像经过多层卷积后的结果。
获取矩阵包括两种模式：如果输入的图像为单张或数量少于一定阈值，由于数量太少进行降维之后没有参考点，因此需要从矩阵数据表中多调取一些矩阵，这些矩阵需要连同其数据标签一同调取，直到矩阵数量达到能够进行可视化降维为止。如果输入为一批图像，其图像数量达到一定阈值，则从矩阵数据表中调取该批图像的矩阵。在调取时，还需要从激活函数后的计算结果获得对应图像的判断结果。前一种模式用于单张或少数几张的图像病理比对，所多调取的矩阵作为参考点；后者适用于批量图像聚类。
(2)线性化单元：
将调取的矩阵进行线性化，使这些矩阵每一行跟在上一行后面，直到这些矩阵都变成向量。在线性化处理中，如果是以上第一种模式(输入的图像为单张或少于一定阈值)，在线性化时需要分别线性化，生成待降维向量集与参考向量集，但在降维时两者是一起降维的。而在第二种模式中，则直接将这些矩阵进行线性化生成一个向量集。
(3)t-SNE计算单元：
经过上述两个步骤，得到N个高维的数据(存在于一个或两个数据集中)。首先需要设定一个困惑度(一般设定在5-50)，困惑度可以理解为有效近邻数，困惑度的定义为：
其中，H(Pi)是Pi的熵，其计算公式为：
设定困惑度之后，首先需要根据困惑度使用二分搜索，寻找一个合适的σi值。随后，需要对参数进行优化，用户需要设置迭代的次数T、学习速率η以及动量α(t)。
将这些数据之间的欧几里得距离转化为条件概率，从而表达点与点之间的距离。概率pij即是用来表示xi和xj之间的相似度的，公式如下：
随后，令用随机初始化一系列低维的Y。之后进行迭代，从t＝1开始，一直迭代到T，进行如下的操作，简称以下的操作为操作W：
a.计算低维度下的qij：
b.计算梯度值：
c.更新低维的Y：
以上三项操作合成为操作W，用于将随机初始化的一系列Y进行更新。迭代完成之后，就得到了低维的Y，可以在平面上作图进行可视化。其中，t-SNE的计算流程如图2所示。
(4)作图单元：
经过t-SNE计算后，得到一系列的低维数据。在第一种模式中，参考集中的低维数据被绘制成点，根据其携带的数据标签点设置为不同颜色，而新加入的点则用单独一种颜色，以显示这一张或少数几张图像在参考点中的位置，从而为用户提供该种疾病可能诊断的依据。而在第二种模式中，整个数据集被绘制成一个二维图像，根据从全连接层获得的分类结果设置为不同颜色，用户可以借此观察输入的图像集的聚类情况。
以下是结合一具体实例对本发明的进一步说明：
t-SNE计算较为复杂，涉及多次迭代，以下仅为一简单例子，不完全代表实际运算情况。
在CNN隐藏层中调取一个矩阵：
| 3 | 2 | 1 |
| -2 | 1 | 0 |
| 2 | 3 | 1 |
经过线性化后，得到一个高维数据：
| 3 | 2 | 1 | -2 | 1 | 0 | 2 | 3 | 1 |
连同其他的参考点，经过t-SNE的迭代，得到低维的数据：
(-2.3,1)，则得到的二维平面图如图3所示，因而可知所输入的图像在二维平面图3中的左上那一类。如果左上那一类的参考点属于鳞状细胞癌，则所输入的图像有较大可能也属于该类疾病。
综上，与现有技术相比，本发明基于t-SNE的皮肤癌图像识别可视化模块具有以下有益效果：
1.在基于深度学习的皮肤癌识别系统中各个图像经过卷积，都是以矩阵的方式表示的，存在于在高维空间中较为抽象，难以为人所理解。而本发明基于t-SNE的可视化模块就能够将在隐藏层中的矩阵调取出来，通过线性化处理转化为向量，并经过t-SNE计算处理降低到低维空间中，通过作图完成可视化。这样就将多维的数据转变为低维，并且落在平面上能够简单直观地理解这些图像在疾病谱中的具体位置，有利于对图像的诊断。
2.存在于隐藏层中的矩阵即使转化为向量，所得的向量也是高维的，存在于高维空间中难以被直观理解，因而对一个图像集内部数据的聚类造成困难。而经过该种基于t-SNE的可视化模块降维后落在二维平面上，平面上每一个点代表图像集中的一张图片，整个图像集中的所有图片便能够根据CNN对其卷积处理提取的特征坐落在二维平面上的不同位置。用户便可以根据平面上不同点的分布情况判断哪些点属于一类，从而进行简单直观的聚类。
3.在皮肤癌图像识别系统的卷积神经网络中通过卷积可以提取出图像中的各种特征，然而由于激活函数的选取有时可能存在一定局限性，使得全连接层对图像的分类可能造成一定的偏差。而在该可视化模块中不经过激活函数，直接将卷积神经网络隐藏层中的矩阵调取为向量，并通过降维操作连同参考点一起作图，能够展现单张或少数几张图像在疾病谱中的位置，用户便可以根据这一个二维平面上的分布图，判断导入的图像在不同类别种类的哪个区域，可能与哪一种疾病接近，从而作为对疾病诊断判断的另一种依据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于t-SNE的皮肤癌图像识别可视化模块，其特征在于：包括获取矩阵单元、线性化单元、t-SNE计算单元以及作图单元，所述获取矩阵单元与线性化单元连接，所述线性化单元与t-SNE计算单元连接，所述t-SNE计算单元与作图单元连接，其中，
所述获取矩阵单元：用于获取皮肤癌图像识别系统中最后一个卷积层进行卷积后所得并记载在矩阵数据表中的矩阵；
所述线性化单元：用于将获取的矩阵进行线性化，使这些矩阵每一行跟在上一行后面，直至这些矩阵都变成向量；
所述t-SNE计算单元：用于通过t-SNE计算得到一系列的低维数据；
所述作图单元：用于根据低维数据绘制成点或二维图像，观察输入图像在绘制点的位置或在二维图像中的聚类情况，判断疾病类型。
2.根据权利要求1所述的基于t-SNE的皮肤癌图像识别可视化模块，其特征在于：所述获取矩阵单元获取矩阵包括两种模式，第一种模式为：输入的图像为单张或数量少于预设阈值，从矩阵数据表中多调取一些矩阵，并需要连同矩阵数据标签一同调取，直到矩阵数量达到能够进行可视化降维为止；第二种模式为：输入的图像为一批图像，图像数量达到预设阈值，则从矩阵数据表中调取该批图像的矩阵。
3.根据权利要求2所述的基于t-SNE的皮肤癌图像识别可视化模块，其特征在于：所述线性化单元在线性化处理中，第一种模式需要分别线性化，生成待降维向量集与参考向量集；第二种模式直接将这些矩阵进行线性化生成一个向量集。
4.根据权利要求2所述的基于t-SNE的皮肤癌图像识别可视化模块，其特征在于：所述作图单元在作图时，第一种模式将低维数据绘制成点，根据携带的数据标签点设置为不同颜色，而新加入的点则用单独一种颜色，以显示一张或少数几张图像在参考点中的位置，为用户提供该种疾病诊断的依据；第二种模式将低维数据绘制成二维图像，根据从皮肤癌图像识别系统中的全连接层获得的分类结果设置为不同颜色，用户借此观察输入的图像集的聚类情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710619030.4A CN107403194B (zh) | 2017-07-26 | 2017-07-26 | 基于t-SNE的皮肤癌图像识别可视化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710619030.4A CN107403194B (zh) | 2017-07-26 | 2017-07-26 | 基于t-SNE的皮肤癌图像识别可视化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403194A true CN107403194A (zh) | 2017-11-28 |
| CN107403194B CN107403194B (zh) | 2020-12-18 |
Family
ID=60402490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710619030.4A Expired - Fee Related CN107403194B (zh) | 2017-07-26 | 2017-07-26 | 基于t-SNE的皮肤癌图像识别可视化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403194B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596027A (zh) * | 2018-03-18 | 2018-09-28 | 西安电子科技大学 | 基于监督学习分类模型的未知类别信号的检测方法 |
| CN109086793A (zh) * | 2018-06-27 | 2018-12-25 | 东北大学 | 一种风力发电机的异常识别方法 |
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN113068412A (zh) * | 2019-10-31 | 2021-07-02 | 艾思益信息应用技术股份公司 | 信息提供系统 |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
| CN105913377A (zh) * | 2016-03-24 | 2016-08-31 | 南京大学 | 一种保留图片相关性信息的图片拼接方法 |
| WO2016149808A1 (en) * | 2015-03-20 | 2016-09-29 | London Health Sciences Centre Research Inc. | Metabolomics profiling of central nervous system injury |
| CN106778522A (zh) * | 2016-11-25 | 2017-05-31 | 江南大学 | 一种基于Gabor特征提取和空间变换的单样本人脸识别方法 |
| CN106897572A (zh) * | 2017-03-08 | 2017-06-27 | 山东大学 | 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法 |
-
2017
- 2017-07-26 CN CN201710619030.4A patent/CN107403194B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016149808A1 (en) * | 2015-03-20 | 2016-09-29 | London Health Sciences Centre Research Inc. | Metabolomics profiling of central nervous system injury |
| CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
| CN105913377A (zh) * | 2016-03-24 | 2016-08-31 | 南京大学 | 一种保留图片相关性信息的图片拼接方法 |
| CN106778522A (zh) * | 2016-11-25 | 2017-05-31 | 江南大学 | 一种基于Gabor特征提取和空间变换的单样本人脸识别方法 |
| CN106897572A (zh) * | 2017-03-08 | 2017-06-27 | 山东大学 | 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王媛媛，周涛，吴翠颖: "深度学习及其在医学图像分析中的应用研究", 《电视技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596027A (zh) * | 2018-03-18 | 2018-09-28 | 西安电子科技大学 | 基于监督学习分类模型的未知类别信号的检测方法 |
| CN109086793A (zh) * | 2018-06-27 | 2018-12-25 | 东北大学 | 一种风力发电机的异常识别方法 |
| CN109086793B (zh) * | 2018-06-27 | 2021-11-16 | 东北大学 | 一种风力发电机的异常识别方法 |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN113068412A (zh) * | 2019-10-31 | 2021-07-02 | 艾思益信息应用技术股份公司 | 信息提供系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403194B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403194A (zh) | 基于t‑SNE的皮肤癌图像识别可视化模块 | |
| Xiang et al. | Learning rgb-d feature embeddings for unseen object instance segmentation | |
| Kataoka et al. | Pre-training without natural images | |
| CN105574534B (zh) | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 | |
| CN105512289B (zh) | 基于深度学习和哈希的图像检索方法 | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN111401380B (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
| CN109544511B (zh) | 基于粒子群算法优化的卷积神经网络对肺结节识别的方法 | |
| CN109064522A (zh) | 基于条件生成对抗网络的汉字字体生成方法 | |
| KR101618996B1 (ko) | 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 | |
| CN101923715A (zh) | 基于粒子群优化空间纹理信息约束聚类的图像分割方法 | |
| CN105389821B (zh) | 一种基于云模型和图割相结合的医学图像分割方法 | |
| CN108984481A (zh) | 一种基于卷积神经网络的单应性矩阵估计方法 | |
| CN110084136A (zh) | 基于超像素crf模型的上下文优化室内场景语义标注方法 | |
| CN113837191A (zh) | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 | |
| Katkar et al. | A novel approach for medical image segmentation using PCA and K-means clustering | |
| Tariang et al. | Classification of Computer Generated and Natural Images based on Efficient Deep Convolutional Recurrent Attention Model. | |
| Salem et al. | Semantic image inpainting using self-learning encoder-decoder and adversarial loss | |
| CN114978466A (zh) | 类分形模型和希尔伯特同步置乱扩散的加密方法 | |
| Li et al. | Dual Space Coupling Model Guided Overlap-Free Scatterplot | |
| CN116993947B (zh) | 一种三维场景可视化展示方法及系统 | |
| CN117475134A (zh) | 基于多尺度跨层特征融合网络的伪装目标检测算法 | |
| CN107480769A (zh) | 基于深度学习的皮肤癌识别系统 | |
| Zhou et al. | Multi-attribute joint point cloud super-resolution with adversarial feature graph networks | |
| CN102521603B (zh) | 基于条件随机场的超光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201218 |