CN111882622A - 一种大脑功能网络的转换方法 - Google Patents
一种大脑功能网络的转换方法 Download PDFInfo
- Publication number
- CN111882622A CN111882622A CN202010756099.3A CN202010756099A CN111882622A CN 111882622 A CN111882622 A CN 111882622A CN 202010756099 A CN202010756099 A CN 202010756099A CN 111882622 A CN111882622 A CN 111882622A
- Authority
- CN
- China
- Prior art keywords
- network
- encoder
- brain
- brain function
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003925 brain function Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 210000004556 brain Anatomy 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 4
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
一种大脑功能网络的转换方法,包括以下步骤:对大脑功能磁共振成像进行格式转换、预处理和低频滤波,用标准化模板将大脑分区并提取时间序列,采用滑窗法构建动态大脑功能网络;设计稀疏结构深度网络嵌入自编码器,在损失函数中添加稀疏项,将网络中的节点映射到高维向量空间;将所有编码器的隐藏层输出组合作为特征矩阵,按照重要性对特征向量排序,得到降维后的特征矩阵;提取排序最前且方向相互垂直的特征向量,构建二维直方图;在空洞卷积神经网络中提取和整合直方图的特征,输入分类器中得到分类结果。本发明将大脑功能网络转换为直方图的形式,有助于解决大脑功能网络这类非欧几里得数据无法直接运用卷积神经网络进行分类的问题。
Description
技术领域
本发明属于医学信息处理技术领域,为一种大脑功能网络的转换方法,为一种将大脑功能网络转换为符合卷积神经网络规则的二维直方图的方法。
技术背景
神经影像技术提供了一种非侵入性的方式来探索大脑的功能和结构,最具代表性的有结构磁共振成像和功能磁共振成像。由于大脑网络可以在整体连接层次上刻画大脑结构或功能的交互,因此受到医学研究者们的热切关注,成为一个新的研究热点。机器学习是近20多年兴起的一门多领域交叉学科,它是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。越来越多的研究者利用机器学习算法对大脑功能网络进行特征提取,然后利用分类算法(如支持向量机)进行分类并得到了较好的分类精度。然而,传统的算法需要依据一些先验知识(如提取局部聚类系数作为特征)来提取特征,整个过程需要研究者手动操作。如何自动的完成大脑功能网络的特征提取和分类,是一个具有挑战性的技术问题。
深度学习是机器学习中的一个重要分支,其中卷积神经网络凭借其能自动提取深层次特征的优势在图像识别和图像分割等领域取得了广泛的应用。然而,与图像不同的是,大脑功能网络通常表示为邻接矩阵。邻接矩阵中距离相近的元素之间的相关性与距离远的元素相关性没有明确的关系,换句话说它不具有空间依赖性。因此将大脑功能网络推广到卷积神经网络中仍然是最有挑战性的问题。本发明提出一种大脑功能网络的转换方法,首先设计出稀疏结构深度网络嵌入自编码器,将大脑功能网络的节点映射到高维向量空间;然后将所有编码器的隐藏层输出组合作为特征矩阵,按照重要性对特征向量排序,得到压缩后的特征矩阵;再提取排序最前且方向相互垂直的特征向量,构建符合卷积神经网络设计规则的二维直方图;最后在空洞卷积神经网络中提取和整合二维直方图的特征,输入分类器中得到分类结果。
发明内容
本发明提出了一种大脑功能网络的转换方法,其目的在于:将大脑功能网络推广到卷积神经网络中,再利用空洞卷积神经网络提取其特征的方法实现大脑功能网络的分类。
为达到上述目的,本发明采用以下技术方案:
一种大脑功能网络的转换方法,将大脑功能网络转换为符合卷积神经网络规则的二维直方图,包括以下步骤:
1)对大脑功能磁共振成像进行格式转换和预处理,再进行低频滤波以降低低频漂移及高频生物噪音;
2)选取标准化的分区模板将大脑划分为若干个脑区,提取功能磁共振成像中各个脑区对应的时间序列;
3)采用滑窗法将每个脑区的时间序列划分为若干相互重叠的子段,计算每个时间子段的相关性并设定阈值,构建随时间变化的动态大脑功能网络,得到大脑功能网络的邻接矩阵;
4)设计稀疏结构深度网络嵌入自编码器,将大脑功能网络中的节点映射到高维的向量空间:稀疏结构深度网络嵌入自编码器由与节点一一对应的编码器和解码器组成,第i个编码器的隐藏层输出Yi和第i个解码器的输出的表达式分别如下:
Yi=σ(WiXi+Bi) (1)
式中,为第i个编码器的输入,i=1,2,…,V,Ai为大脑功能网络的邻接矩阵的第i列,V为节点的个数,为空心矩阵,分别表示节点i的编码特征向量和解码特征向量,D为节点i的特征个数,σ为Sigmoid激活函数,Wi为第i个编码器的权值矩阵,为第i个解码器的权值矩阵,Bi为第i个编码器的偏置项,为第i个解码器的偏置项;稀疏结构深度网络嵌入自编码器的目标是优化损失函数其表达式如下:
式中,和分别为一阶邻近性损失函数和二阶邻近性损失函数,为L2正则化项,为稀疏项,α和ν别为控制和的参数,ξ为控制的权重因子;用于保证具有相似邻域结构的节点的特征向量具有相似性;用于保证存在连接的节点的特征向量具有相似性,用于防止自编码器出现过拟合现象;
6)从Y'中提取排序最前且方向相互垂直的四个特征向量,依次组成两个2列的特征向量组;将每个特征向量组划分为M个区间,计算落在每个区间内的节点个数并作为像素值来构建二维直方图;
7)将二维直方图输入到空洞卷积神经网络,卷积层和空洞卷积层逐层提取直方图的特征,全连接层对特征进行整合,整合后的特征输入分类器中得到分类结果。
本发明的有益效果:本发明设计了一种稀疏结构深度网络嵌入自编码器,将大脑功能网络转换为二维直方图的形式,挖掘和提取出丰富的大脑功能网络特征信息,有助于解决大脑功能网络这类非欧几里得数据无法直接运用卷积神经网络进行分类的问题,在使用深度学习对大脑功能网络进行分类识别中,本发明方法下由大脑功能网络转换获得的二维直方图,能够在神经网络分类中获得较好的准确率。
附图说明
图1是本发明大脑功能网络的转换方法的实施流程图。
具体实施方式
为了加深对本发明的理解,下面将结合附图和实施例对本发明做进一步详细描述,该实施例仅用于解释本发明,并不对本发明的保护范围构成限定。
一种大脑功能网络的转换方法的具体实施例,包括以下步骤:
(1)对大脑功能磁共振成像进行格式转换和预处理,再进行低频滤波以降低低频漂移及高频生物噪音。本实施例中,将图像数据由DICOM格式转换为NIFTI格式,再对进行时间矫正、头动矫正、配准、空间标准化、平滑等预处理操作。
(2)选取标准化的分区模板将大脑划分为若干脑区,提取功能磁共振成像中各个脑区对应的时间序列。本实施例中,选择用Anatomical Automatic Labeling(AAL)分区模板将大脑划分成90个脑区,左右脑各45个脑区。
(3)利用滑窗法将每个脑区的时间序列划分为若干个相互重叠、窗口相同的子段。本实施例中,每个脑区时间序列总长为137,滑动窗口取70,窗口间隔步长为1。
计算每个时间子段的相关性,再设定阈值构建动态大脑功能网络。本实例中,采用Pearson相关系数计算每个时间子段的相关性;阈值T的选取采用如下策略:网络密度在10%~50%之间、网络的平均度值k需要大于2logN≈9,保证网络的小世界属性。
(4)设计稀疏结构深度网络嵌入自编码器,将大脑功能网络中的节点映射到高维的向量空间;稀疏结构深度网络嵌入自编码器由与节点一一对应的编码器和解码器组成,第i个编码器的隐藏层输出Yi和第i个解码器的输出的表达式分别如下:
Yi=σ(WiXi+Bi) (1)
式中,为第i个编码器的输入,i=1,2,…,V,Ai为大脑功能网络的邻接矩阵的第i列,V为节点的个数,为空心矩阵,分别表示节点i的编码特征向量和解码特征向量,D为节点i的特征个数,σ为Sigmoid激活函数,Wi为第i个编码器的权值矩阵,为第i个解码器的权值矩阵,Bi为第i个编码器的偏置项,为第i个解码器的偏置项;稀疏结构深度网络嵌入自编码器的目标是优化损失函数其表达式如下:
式中,⊙为哈达玛积,‖‖2表示L2范数,为惩罚项;Xi中的元素xji(j=1,…,V)表示节点i与节点j间是否存在连接;若节点i与节点j之间无连接,xji=0,中的元素否则,xji=1,β为一个大于1的常量;用于保证存在连接的节点的特征向量具有相似性,其表达式如下:
‖‖F表示F范数。
式中,,ρhi表示第i个编码器的隐藏层中第h个神经元的平均活跃度;yhi为Yi中的元素,表示第i个编码器的隐藏层第h个神经元的输出值,即节点i的第h个特征值,KL(ρ‖ρhi)为分别以ρhi和ρ为均值的两个变量之间的Kullback-Leibler(KL)相对熵;ρ为一个接近于0的常量。
式中,Y'为降维后的特征矩阵;本实施例中,运用主成分分析(PCA)方法对特征向量排序,Y的列数D设置为128,Y'的列数D'设置为20。
(6)从Y'中提取排序最前且方向相互垂直的四个特征向量,依次组成两个2列的特征向量组;将每个特征向量组划分为M个区间,计算落在每个区间内的节点个数并作为像素值来构建二维直方图。本实施例中,M=12,得到的两个二维直方图的分辨率均为1212。
(7)将二维直方图输入到空洞卷积神经网络,卷积层和空洞卷积层逐层提取直方图的特征,全连接层对特征进行整合,整合后的特征输入分类器中得到分类结果。本实施例中,采用的空洞卷积神经网络的深度设置为3层,批次大小为68,采用Rectified LinearUnit(RELU)激活函数、卷积层设置有32个卷积核,卷积核的大小为3×3,扩张率r=2,步长为1,选用Softmax分类器进行对比验证,在利用常规的结构深度网络嵌入自编码器提取特征向量的情况下,空洞卷积神经网络获得二维直方图的分类准确率为85.9%;而在利用本发明方法的稀疏结构深度网络嵌入自编码器提取特征向量的情况下,空洞卷积神经网络获得二维直方图的分类准确率为87.7%,结果表明后者的分类准确率高于前者。
上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种大脑功能网络的转换方法,其特征是将大脑功能网络转换为符合卷积神经网络规则的二维直方图,包括以下步骤:
1)对大脑功能磁共振成像进行格式转换和预处理,再进行低频滤波以降低低频漂移及高频生物噪音;
2)选取标准化的分区模板将大脑划分为若干个脑区,提取功能磁共振成像中各个脑区对应的时间序列;
3)采用滑窗法将每个脑区的时间序列划分为若干相互重叠的子段,计算每个时间子段的相关性并设定阈值,构建随时间变化的动态大脑功能网络,得到大脑功能网络的邻接矩阵;
4)设计稀疏结构深度网络嵌入自编码器,将大脑功能网络中的节点映射到高维的向量空间:稀疏结构深度网络嵌入自编码器由与节点一一对应的编码器和解码器组成,第i个编码器的隐藏层输出Yi和第i个解码器的输出的表达式分别如下:
Yi=σ(WiXi+Bi) (1)
式中,为第i个编码器的输入,i=1,2,…,V,Ai为大脑功能网络的邻接矩阵的第i列,V为节点的个数,为空心矩阵,分别表示节点i的解码特征向量和编码特征向量,D为节点i的特征个数,σ为Sigmoid激活函数,Wi为第i个编码器的权值矩阵,为第i个解码器的权值矩阵,Bi为第i个编码器的偏置项,为第i个解码器的偏置项;稀疏结构深度网络嵌入自编码器的目标是优化损失函数其表达式如下:
式中,和分别为一阶邻近性损失函数和二阶邻近性损失函数,为L2正则化项,为稀疏项,α和ν别为控制和的参数,ξ为控制的权重因子;用于保证具有相似邻域结构的节点的特征向量具有相似性;用于保证存在连接的节点的特征向量具有相似性,用于防止自编码器出现过拟合现象;
6)从Y'中提取排序最前且方向相互垂直的四个特征向量,依次组成两个2列的特征向量组,将每个特征向量组划分为M个区间,计算落在每个区间内的节点个数并作为像素值来构建二维直方图;
7)将二维直方图输入到空洞卷积神经网络,卷积层和空洞卷积层逐层提取直方图的特征,全连接层对特征进行整合,整合后的特征输入分类器中得到分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010756099.3A CN111882622B (zh) | 2020-07-31 | 2020-07-31 | 一种大脑功能网络的转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010756099.3A CN111882622B (zh) | 2020-07-31 | 2020-07-31 | 一种大脑功能网络的转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111882622A true CN111882622A (zh) | 2020-11-03 |
CN111882622B CN111882622B (zh) | 2024-02-13 |
Family
ID=73204905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010756099.3A Active CN111882622B (zh) | 2020-07-31 | 2020-07-31 | 一种大脑功能网络的转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111882622B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113616209A (zh) * | 2021-08-25 | 2021-11-09 | 西南石油大学 | 基于时空注意力机制的精神分裂症患者甄别方法 |
CN113673423A (zh) * | 2021-08-19 | 2021-11-19 | 丽水学院 | 基于亲疏度矩阵的点云特征提取方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165743A (zh) * | 2018-07-17 | 2019-01-08 | 东南大学 | 一种基于深度压缩自编码器的半监督网络表示学习算法 |
US20190124045A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Density estimation network for unsupervised anomaly detection |
CN110136109A (zh) * | 2019-05-08 | 2019-08-16 | 常州大学 | 一种基于膨胀卷积神经网络的mci分类方法 |
US20200074246A1 (en) * | 2018-09-05 | 2020-03-05 | Siemens Aktiengesellschaft | Capturing network dynamics using dynamic graph representation learning |
CN111428873A (zh) * | 2020-02-21 | 2020-07-17 | 中国民航大学 | 一种基于自编码器的多视图属性网络嵌入方法 |
-
2020
- 2020-07-31 CN CN202010756099.3A patent/CN111882622B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190124045A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Density estimation network for unsupervised anomaly detection |
CN109165743A (zh) * | 2018-07-17 | 2019-01-08 | 东南大学 | 一种基于深度压缩自编码器的半监督网络表示学习算法 |
US20200074246A1 (en) * | 2018-09-05 | 2020-03-05 | Siemens Aktiengesellschaft | Capturing network dynamics using dynamic graph representation learning |
CN110136109A (zh) * | 2019-05-08 | 2019-08-16 | 常州大学 | 一种基于膨胀卷积神经网络的mci分类方法 |
CN111428873A (zh) * | 2020-02-21 | 2020-07-17 | 中国民航大学 | 一种基于自编码器的多视图属性网络嵌入方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673423A (zh) * | 2021-08-19 | 2021-11-19 | 丽水学院 | 基于亲疏度矩阵的点云特征提取方法 |
CN113616209A (zh) * | 2021-08-25 | 2021-11-09 | 西南石油大学 | 基于时空注意力机制的精神分裂症患者甄别方法 |
CN113616209B (zh) * | 2021-08-25 | 2023-08-04 | 西南石油大学 | 基于时空注意力机制的精神分裂症患者甄别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111882622B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860612B (zh) | 无监督高光谱图像隐低秩投影学习特征提取方法 | |
Chen et al. | Semantic image segmentation with deep convolutional nets and fully connected crfs | |
Ouyang et al. | Partial occlusion handling in pedestrian detection with a deep model | |
CN113723255B (zh) | 一种高光谱影像分类方法和存储介质 | |
Bi et al. | A survey on evolutionary computation for computer vision and image analysis: Past, present, and future trends | |
CN112765352A (zh) | 基于具有自注意力机制的图卷积神经网络文本分类方法 | |
CN110097060B (zh) | 一种面向树干图像的开集识别方法 | |
CN112164067A (zh) | 一种基于多模态子空间聚类的医学图像分割方法及装置 | |
KR101777601B1 (ko) | 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템 | |
CN111882622A (zh) | 一种大脑功能网络的转换方法 | |
Chen et al. | Dictionary learning from ambiguously labeled data | |
CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
Liu et al. | Kernel low-rank representation based on local similarity for hyperspectral image classification | |
Li et al. | Image decomposition with multilabel context: Algorithms and applications | |
Rafique et al. | CNN based multi-object segmentation and feature fusion for scene recognition | |
CN111488923B (zh) | 增强的锚点图半监督分类方法 | |
CN110852304B (zh) | 基于深度学习方法的高光谱数据处理方法 | |
CN111259938B (zh) | 基于流形学习和梯度提升模型的图片偏多标签分类方法 | |
CN117011595A (zh) | 基于近似nmr模型的高光谱图像特征提取方法 | |
CN109063766B (zh) | 一种基于判别性预测稀疏分解模型的图像分类方法 | |
CN115392474B (zh) | 一种基于迭代优化的局部感知图表示学习方法 | |
Ganebnykh et al. | Metric classifier using multilevel network of templates | |
CN115310491A (zh) | 一种基于深度学习的类不平衡磁共振全脑数据分类方法 | |
Sun et al. | Iterative, deep, and unsupervised synthetic aperture sonar image segmentation | |
Rahal et al. | Handwritten words and digits recognition using deep learning based bag of features framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |