CN110516736B - 多维可视化的多源异构数据多层drnn深度融合方法 - Google Patents

多维可视化的多源异构数据多层drnn深度融合方法 Download PDF

Info

Publication number
CN110516736B
CN110516736B CN201910788720.1A CN201910788720A CN110516736B CN 110516736 B CN110516736 B CN 110516736B CN 201910788720 A CN201910788720 A CN 201910788720A CN 110516736 B CN110516736 B CN 110516736B
Authority
CN
China
Prior art keywords
layer
drnn
data
fusion
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910788720.1A
Other languages
English (en)
Other versions
CN110516736A (zh
Inventor
罗晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ruichu Technology Co ltd
Original Assignee
Shenyang Ruichu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ruichu Technology Co ltd filed Critical Shenyang Ruichu Technology Co ltd
Publication of CN110516736A publication Critical patent/CN110516736A/zh
Application granted granted Critical
Publication of CN110516736B publication Critical patent/CN110516736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人工智能教育领域，特别涉及多维可视化的多源异构数据多层DRNN深度融合方法。该方法步骤包括：步骤一：建立DRNN神经网络；多源异构数据输入DRNN神经网络，形成DRNN训练模板；步骤三：建立DRNN网络的单层神经元个体的前向输出；其中单层网络作为激活的融合函数；步骤四：建立DRNN网络的权值重构及修正；其中修正作为融合函数存在；步骤五：在DRNN网络的数据融合层通过数据特征融合,获得特征输出。本发明提出一种融合架构，可以针对不同多源异构数据，进行特征级别融合。

Description

多维可视化的多源异构数据多层DRNN深度融合方法
技术领域：
本发明属于人工智能教育领域，特别涉及多维可视化的多源异构数据多层DRNN深度融合方法。
背景技术：
可视化(Visualization)是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的。
最近几年计算机图形学的发展使得三维表现技术得以形成，这些三维表现技术能够再现三维世界中的物体，能够用三维形体来表示复杂的信息，这种技术就是可视化技术。
可视化技术能够在三维图形世界中直接对具有形体的信息进行操作，和计算机直接交流。这种技术已经把人和机器的力量以一种直觉而自然的方式加以统一，这种革命性的变化无疑将极大地提高人们的工作效率。可视化技术赋予人们一种仿真的、三维的并且具有实时交互的能力，这样人们可以在三维图形世界中用以前不可想象的手段来获取信息或发挥自己创造性的思维。但是目前针对异构信息的可视化技术并无法保证异构数据的直接展示。
发明内容：
发明目的：
本发明的目的在于克服现有技术存在的问题，提供了多维可视化的多源异构数据多层DRNN深度融合方法。
技术方案：
多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：该方法步骤包括：
步骤一：建立DRNN神经网络；
步骤二：多源异构数据输入DRNN神经网络，形成DRNN训练模板；
步骤三：建立DRNN网络的单层神经元个体的前向输出；其中单层网络作为激活的融合函数；
步骤四：建立DRNN网络的权值重构及修正；其中修正作为融合函数存在；
步骤五：在DRNN网络的数据融合层通过数据特征融合,获得特征输出。
进一步的，建立DRNN神经网络的具体步骤是：针对多源异构数据，建立基于深度经网络循环递归自学习网络；建立深度学习模型，在每层形成递归网络，该递归网络采用深度自学习，生成DRNN网络；
在靠近底层数据，建立DRNN网络的有向图模型，层中节点之间没有链接，而在最远离部分使用模糊融合判决，通过前向自编码，增加隐藏层的层数，获得相应的生成模型。
进一步的，建立基于深度经网络循环递归自学习网络的具体方法是：采用分层架构，每层根据目标的特征自适应建立不同的层结构；而且每个层结构可以分配不同的融合节点；通过时间序列的融合节点完成递归；经过层结构的递归循环，完成多源数据的特征融合。
进一步的，生成模型即是节点权值模型，
hi＝argminφ(U∑xi+Whi-1) (1)
hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，W、U是不同神经网络层的权重叠加权值，φ为激活函数：
生成模型是建立一个多源异构数据和评测指标的联合分布，联合分布通过针对目标的多源数据结构特征完成自学习评估，而且这些自学习分层网络被“限制”，这个限制条件分别为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，通过概率转移双向刻画数据特征；
DRNN神经网络通过非监督贪婪逐层方法预训练获得生成模型的权值，获得异构多源数据的关联特征。
进一步的，通过前端多源传感器采集的多源数据，将多源获取的数据进行有效目标标注，得到多源异构数据。
进一步的，多源异构数据输入的具体步骤是：
x是多源异构输入，h是隐层单元，hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，L为损失函数；V作为数据层的权值，W作为自学习隐含层的权值；U作为融合层的权值，也就是DRNN网络的不同神经网络层的权重叠加权值；其中φ为激活函数：
hi＝φ(Ux+Whi-1+b) (2)。
进一步的，建立个体的前向输出，其单层的多源异构数据形成模型为，公式如下：
Ot＝Vht+c (3)
其中，O为个体的前向输出，c表示单层偏移量；通过单层的训练模型，形成多维异构数据的层间递进。
进一步的，建立权值重构及修正的具体步骤是：
首先重建隐单元；将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建；这些特征向量再次映射给隐单元，这样就获取新的隐单元；
再通过增加进DRNN神经网络的层数会改变训练数据的概率，以获得海量数据特征的真实表达；
Figure BDA0002178890100000041
Figure BDA0002178890100000042
其中，O为个体的前向输出；U作为融合层的权值；Wt和Ut表示不同层间的最优梯度方向。
优点及效果：
针对多源异构数据，本发明提出一种融合架构，该架构可以针对不同多源异构数据，如通信信号数据，图像信号数据，雷达信号数据，非可见光数据等进行特征级别融合，因而，所采用的多层深度递归神经网络具有一定先进性。
附图说明：
图1是多维可视化的多源异构数据多层DRNN深度融合方法结构框图；
图2是DNRR生成权值网络；
图3是战场多源数据的DRNN网络的数据流处理框图。
具体实施方式：
如图1、图2和图3所示，多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：该方法步骤包括：
步骤一：建立DRNN神经网络；
针对多源异构数据，建立基于深度经网络循环递归自学习网络；建立深度学习模型，在每层形成递归网络，该递归网络采用深度自学习，生成DRNN网络；在靠近底层数据，建立DRNN网络的有向图模型，层中节点之间没有链接，而在最远离部分使用模糊融合判决，通过前向自编码，增加隐藏层的层数，获得相应的生成模型。
建立基于深度经网络循环递归自学习网络的具体方法是：
采用分层架构，每层根据目标的特征自适应建立不同的层结构；而且每个层结构可以分配不同的融合节点；通过时间序列的融合节点完成递归；经过层结构的递归循环，完成多源数据的特征融合。
如图2所示，生成模型即是节点权值模型，
hi＝argminφ(U∑xi+Whi-1) (1)
hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，W、U是不同神经网络层的权重叠加权值，φ为激活函数：
如图2所示，多维可视化的多源异构数据预处理图，所完成预处理，需要针对目标特征进行去噪，所完成的训练数据需要进行去噪处理。生成模型是建立一个多源异构数据和评测指标的联合分布，联合分布通过针对目标的多源数据结构特征完成自学习评估，而且这些自学习分层网络被“限制”，限制在多层网络的数据层和隐含层网络之中；这个限制条件分别为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，通过概率转移双向刻画数据特征。
DRNN神经网络通过非监督贪婪逐层方法预训练获得生成模型的权值，获得异构多源数据的关联特征。
步骤二：多源异构数据输入DRNN神经网络，形成DRNN训练模板；该训练模板可以作为有效的融合检测模板存在；
通过前端多源传感器采集的多源数据，如可见光图像数据、非可见光红外数据、多目标特征的雷达数据等，将多源获取的数据进行有效目标标注，得到多源异构数据。
多源异构数据输入的具体步骤是：
x是多源异构输入，h是隐层单元，hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，L为损失函数；V作为数据层的权值，W作为自学习隐含层的权值；U作为融合层的权值，也就是DRNN网络的不同神经网络层的权重叠加权值；其中φ为激活函数。
hi＝φ(Ux+Whi-1+b) (2)。
步骤三：建立DRNN网络的单层神经元个体的前向输出；其中单层网络作为激活的融合函数；其中单层网络是与多层网络对应；融合函数为通过激活函数后的数据特征完成融合。
建立个体的前向输出，其单层的多源异构数据形成模型为，公式如下：
Ot＝Vht+c (3)
其中，O为个体的前向输出，c表示单层偏移量；通过单层的训练模型，形成多维异构数据的层间递进。
步骤四：建立DRNN网络的权值重构及修正；其中修正作为融合函数存在；
建立权值重构及修正的具体步骤是：首先重建隐单元；将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建；这些特征向量再次映射给隐单元，这样就获取新的隐单元；
步骤五：在DRNN网络的数据融合层通过数据特征融合,获得特征输出。
本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：该方法步骤包括：
步骤一：建立DRNN神经网络；
步骤二：多源异构数据输入DRNN神经网络，形成DRNN训练模板；
步骤三：建立DRNN网络的单层神经元个体的前向输出；其中单层网络作为激活的融合函数；
步骤四：建立DRNN网络的权值重构及修正；其中修正作为融合函数的存在；
步骤五：在DRNN网络的数据融合层通过数据特征融合,获得特征输出；
所述多源异构数据输入的具体步骤是：
x是多源异构输入，h是隐层单元，hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，W作为自学习隐含层的权值；U作为融合层的权值，也就是DRNN网络的不同神经网络层的权重叠加权值；其中φ为激活函数：
hi＝φ(Ux+Whi-1+b) (2)；
建立权值重构及修正的具体步骤是：
首先重建隐单元；将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建；这些特征向量再次映射给隐单元，这样就获取新的隐单元；
再通过增加进DRNN神经网络的层数会改变训练数据的概率，以获得海量数据特征的真实表达；
Figure FDA0003466593140000021
Figure FDA0003466593140000022
其中，O为个体的前向输出；U作为融合层的权值；Wt和Ut表示不同层间的最优梯度方向。
2.根据权利要求1所述的多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：建立DRNN神经网络的具体步骤是：针对多源异构数据，建立基于深度经网络循环递归自学习网络；建立深度学习模型，在每层形成递归网络，该递归网络采用深度自学习，生成DRNN网络；
在靠近底层数据，建立DRNN网络的有向图模型，层中节点之间没有链接，而在最远离部分使用模糊融合判决，通过前向自编码，增加隐藏层的层数，获得相应的生成模型。
3.根据权利要求2所述的多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：建立基于深度经网络循环递归自学习网络的具体方法是：
采用分层架构，每层根据目标的特征自适应建立不同的层结构；而且每个层结构可以分配不同的融合节点；通过时间序列的融合节点完成递归；经过层结构的递归循环，完成多源数据的特征融合。
4.根据权利要求2所述的多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：生成模型即是节点权值模型，
hi＝arg minφ(U∑xi+Whi-1) (1)
hi是i时刻的隐层单元，hi-1是i-1时刻的隐层单元，W、U是不同神经网络层的权重叠加权值，W作为自学习隐含层的权值；U作为融合层的权值，φ为激活函数：
生成模型是建立一个多源异构数据和评测指标的联合分布，联合分布通过针对目标的多源数据结构特征完成自学习评估，而且这些自学习分层网络被“限制”，这个限制条件分别为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，通过概率转移双向刻画数据特征；
DRNN神经网络通过非监督贪婪逐层方法预训练获得生成模型的权值，获得异构多源数据的关联特征。
5.根据权利要求1所述的多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：通过前端多源传感器采集的多源数据，将多源获取的数据进行有效目标标注，得到多源异构数据。
6.根据权利要求1所述的多维可视化的多源异构数据多层DRNN深度融合方法，其特征在于：建立个体的前向输出，其单层的多源异构数据形成模型为，公式如下：
Ot＝Vht+c (3)
其中，O为个体的前向输出，V作为数据层的权值，c表示单层偏移量；通过单层的训练模型，形成多维异构数据的层间递进。
CN201910788720.1A 2019-06-04 2019-08-26 多维可视化的多源异构数据多层drnn深度融合方法 Active CN110516736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910484023 2019-06-04
CN2019104840237 2019-06-04

Publications (2)

Publication Number Publication Date
CN110516736A CN110516736A (zh) 2019-11-29
CN110516736B true CN110516736B (zh) 2022-02-22

Family

ID=68627742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788720.1A Active CN110516736B (zh) 2019-06-04 2019-08-26 多维可视化的多源异构数据多层drnn深度融合方法

Country Status (1)

Country Link
CN (1) CN110516736B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191529B (zh) * 2019-12-17 2023-04-28 中移（杭州）信息技术有限公司 一种处理异常工单的方法及系统
CN111553481A (zh) * 2020-04-30 2020-08-18 深圳市迪米欧科技有限公司 一种基于rnn的量子计算方法和装置
CN117784620B (zh) * 2024-02-27 2024-05-10 山东九曲圣基新型建材有限公司 尾矿干排脱水机的参数智能调整系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN107203910A (zh) * 2017-05-27 2017-09-26 科技谷（厦门）信息技术有限公司 一种大数据智能精准营销系统
CN107220611A (zh) * 2017-05-23 2017-09-29 上海交通大学 一种基于深度神经网络的空时特征提取方法
CN107766995A (zh) * 2017-12-08 2018-03-06 国网山东省电力公司枣庄供电公司 基于深度递归神经网络的电力系统短期负荷预测方法
CN109034391A (zh) * 2018-08-17 2018-12-18 王玲 自动驾驶的多源异构信息rbm网络融合架构及融合方法
CN109190550A (zh) * 2018-08-29 2019-01-11 沈阳康泰电子科技股份有限公司 联合微表情多输入信息的深度神经网络多源数据融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN107220611A (zh) * 2017-05-23 2017-09-29 上海交通大学 一种基于深度神经网络的空时特征提取方法
CN107203910A (zh) * 2017-05-27 2017-09-26 科技谷（厦门）信息技术有限公司 一种大数据智能精准营销系统
CN107766995A (zh) * 2017-12-08 2018-03-06 国网山东省电力公司枣庄供电公司 基于深度递归神经网络的电力系统短期负荷预测方法
CN109034391A (zh) * 2018-08-17 2018-12-18 王玲 自动驾驶的多源异构信息rbm网络融合架构及融合方法
CN109190550A (zh) * 2018-08-29 2019-01-11 沈阳康泰电子科技股份有限公司 联合微表情多输入信息的深度神经网络多源数据融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Multi-Sensor Motion Fusion Using Deep Neural Network Learning》;Xinyao Sun等;《International Journal of Multimedia Data Engineering and Management》;20171231;第8卷(第4期);第1-18页 *
《一种改进的BP神经网络WSN数据融合方案》;罗丹;《信息科技》;20170228(第2期);第155-160页 *
《基于多模型数据融合算法的木材干燥过程建模》;刘德胜等;《传感器与微系统》;20070731;第26卷(第7期);第82-84页 *

Also Published As

Publication number Publication date
CN110516736A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
Seo et al. Reinforcement learning with action-free pre-training from videos
CN110516736B (zh) 多维可视化的多源异构数据多层drnn深度融合方法
Wang et al. 3D-CenterNet: 3D object detection network for point clouds with center estimation priority
CN104899921B (zh) 基于多模态自编码模型的单视角视频人体姿态恢复方法
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
Li et al. Vox-surf: Voxel-based implicit surface representation
Song et al. Multiple graph affinity interactive network and a variable illumination dataset for RGBT image salient object detection
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN115222792B (zh) 一种铁路桥梁数字孪生建模方法
CN111709470A (zh) 图像生成方法、装置、设备及介质
Chelloug et al. Real Objects Understanding Using 3D Haptic Virtual Reality for E-Learning Education.
Malik et al. Simple and effective deep hand shape and pose regression from a single depth image
Zhang et al. Synthetic IR image refinement using adversarial learning with bidirectional mappings
JP2023545189A (ja) 画像処理方法、装置、及び電子機器
CN112819951A (zh) 一种基于深度图修复的带遮挡三维人体重建方法
CN115205463A (zh) 基于多球面场景表达的新视角图像生成方法、装置和设备
Van Hoorick et al. Revealing occlusions with 4d neural fields
CN113988164A (zh) 一种面向代表点自注意力机制的轻量级点云目标检测方法
Rasoulzadeh et al. Strokes2Surface: Recovering Curve Networks From 4D Architectural Design Sketches
CN112966390A (zh) 基于双重三维距离场的衣服处理方法以及装置
Nahrstedt et al. Computational Model of Human Creativity in Dance Choreography.
Anderson et al. Synthetic image data for deep learning
Zhu et al. Perception-and-Regulation Network for Salient Object Detection
CN117315765A (zh) 一种增强时空特征的动作识别方法
Chang et al. 3D hand reconstruction with both shape and appearance from an RGB image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant