CN111563583A - 基于神经常微分方程的光计算芯片设计方法及光计算芯片 - Google Patents
基于神经常微分方程的光计算芯片设计方法及光计算芯片 Download PDFInfo
- Publication number
- CN111563583A CN111563583A CN202010257989.XA CN202010257989A CN111563583A CN 111563583 A CN111563583 A CN 111563583A CN 202010257989 A CN202010257989 A CN 202010257989A CN 111563583 A CN111563583 A CN 111563583A
- Authority
- CN
- China
- Prior art keywords
- computing chip
- optical computing
- neural network
- differential equation
- ordinary differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Optical Integrated Circuits (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种基于神经常微分方程的光计算芯片设计方法及光计算芯片,其中,方法包括:将单次输入模块作为光计算芯片结构的输入端;将用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现全连接层的效果;将用波导搭建的微环谐振器实现积分器的作用,以把干涉器输出的信号进行积分操作;加入一个反馈环节,使积分后的信号进行循环计算,以达到完成常微分方程神经网络的目的。该方法通过设计光学计算芯片的结构,采用光学矩阵乘法计算元件,光学积分器元件和反馈环节来实现高速,低功耗以及占用面积小的人工神经网络常微分方程光计算芯片。
Description
技术领域
本发明涉及光学计算、光电芯片等技术领域,特别涉及一种基于神经常微分方程的光计算芯片设计方法及光计算芯片。
背景技术
在信息量爆炸的时代,处理大量数据的能力变得至关重要。微电子技术的发展与成熟有助于应用新兴的人工智能服务和高性能计算的下一代产业的出现。这些数据密集型企业严重依赖于用于计算的硬件的进步,而利用光学元器件加工芯片来提高芯片的计算速度也成为了当前的热点研究问题。
人工神经网络算法包含有大量矩阵相乘的运算,而基于传统计算机架构的中央处理器是基于光刻技术加工的晶体管,通过上亿的晶体管的合作来完成计算任务,这种中央处理器在处理这些神经网络运算的时候非常吃力,计算效率较低。而提升传统中央处理器的计算能力的方法主要在于在相对有限的空间内提升晶体管的数量,现有的技术无法做到有效防止芯片发热,已经基本上达到了瓶颈。
然而,利用光学搭建的传统神经网络占用空间较大,在复制现在已经越来越复杂的神经网络算法时已经略显无力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于神经常微分方程的光计算芯片设计方法,该方法通过设计光学计算芯片的结构,采用光学矩阵乘法计算元件,光学积分器元件和反馈环节来实现高速,低功耗以及占用面积小的人工神经网络常微分方程光计算芯片。
本发明的另一个目的在于提出一种基于神经常微分方程的光计算芯片。
为达到上述目的,本发明一方面实施例提出了一种基于神经常微分方程的光计算芯片设计方法,包括:将单次输入模块作为光计算芯片结构的输入端;将用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现全连接层的效果;将用波导搭建的微环谐振器实现积分器的作用,以把干涉器输出的信号进行积分操作;加入一个反馈环节,使积分后的信号进行循环计算,以达到完成常微分方程神经网络的目的。
本发明实施例的基于神经常微分方程的光计算芯片设计方法,通过把传统光芯片神经网络与光学积分器相结合,应用一个新的结构,把原有的神经网络替换成了求解常微分方程的环节,从而达到减少神经网络层数的目的;并通过原始创新的集成光电计算技术,在同等晶体管制程下,可以降低功耗并提升运算速度。
另外,根据本发明上述实施例的基于神经常微分方程的光计算芯片设计方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述神经网络的计算公式为:
其中,h为随时间变化的神经网络输入,t为运行时间,θ为神经网络内部参数。
进一步地,在本发明的一个实施例中,所述单个马赫曾德尔干涉器完成一个2*2的矩阵乘法。
进一步地,在本发明的一个实施例中,所述单个马赫曾德尔干涉器可以实现的矩阵的计算公式为:
其中,其中,u11,u12,u21,u22为矩阵的四个内部变量,θ,φ分别为干涉器中前后两个移相器的相位,i为虚数,e为自然对数。进一步地,在本发明的一个实施例中,其中,由多个所述单个马赫曾德尔干涉器组成的阵列,以完成n阶的矩阵乘法。
为达到上述目的,本发明另一方面实施例提出了一种基于神经常微分方程的光计算芯片,所述光计算芯片采用如上述实施例所述的基于神经常微分方程的光计算芯片设计方法,包括:单次输入模块,用于输入数据;全连接层,所述全连接层用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现,用于对输入的数据进行计算并输出信号;积分器,所述积分器用波导搭建的微环谐振器实现,以把干涉器输出的信号进行积分操作,并将积分后的信号送入全连接层,以进行循环计算,达到完成常微分方程神经网络的目的。
本发明实施例的基于神经常微分方程的光计算芯片,通过把传统光芯片神经网络与光学积分器相结合,应用一个新的结构,把原有的神经网络替换成了求解常微分方程的环节,从而达到减少神经网络层数的目的;并通过原始创新的集成光电计算技术,在同等晶体管制程下,可以降低功耗并提升运算速度。
另外,根据本发明上述实施例的基于神经常微分方程的光计算芯片还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述神经网络的计算公式为:
其中,h为随时间变化的神经网络输入,t为运行时间,θ为神经网络内部参数。
进一步地,在本发明的一个实施例中,所述单个马赫曾德尔干涉器完成一个2*2的矩阵乘法。
进一步地,在本发明的一个实施例中,所述单个马赫曾德尔干涉器可以实现的矩阵的计算公式为:
其中,u11,u12,u21,u22为矩阵的四个内部变量,θ,φ分别为干涉器中前后两个移相器的相位,i为虚数,e为自然对数。
进一步地,在本发明的一个实施例中,其中,由多个所述单个马赫曾德尔干涉器组成的阵列,以完成n阶的矩阵乘法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的基于神经常微分方程的光计算芯片设计方法的流程图;
图2为根据本发明一个实施例的基于神经常微分方程的光计算芯片设计方法的流程图;
图3为根据本发明实施例的积分器结构图;
图4为根据本发明实施例的基于马赫增德尔干涉器和积分器实现的光学芯片的内部结构;
图5为根据本发明实施例的基于神经常微分方程的光计算芯片的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于神经常微分方程的光计算芯片设计方法及光计算芯片,首先将参照附图描述根据本发明实施例提出的基于神经常微分方程的光计算芯片设计方法。
图1是本发明一个实施例的基于神经常微分方程的光计算芯片设计方法的流程图。
如图1所示,该基于神经常微分方程的光计算芯片设计方法包括以下步骤:
在步骤S101中,将单次输入模块作为光计算芯片结构的输入端。
可以理解的是,如图2所示,单次输入模块为整个光计算芯片的输入矩阵,为整个系统的输入端,仅输入一次,数据作为全部光计算芯片的识别对象。
在步骤S102中,将用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现全连接层的效果。
其中,全连接层为主要计算区域,具体包括:
1、矩阵乘法区域:此处承担了人工神经网络的大部分运算任务,在本发明实施例中,由多个马赫增德尔干涉器组成的网络构成,其中,单个马赫曾德尔干涉器可以完成一个2*2的矩阵乘法,如公式1所示:
另外,多个干涉器组成的阵列可以完成n阶的矩阵乘法。
2、非线性区域:非线性区域承担整个芯片的非线性,非线性激活函数可以使神经网络随意逼近复杂函数,在本发明实施例中,采用PCM相变材料可以达到类似ReLU的非线性函数。
在步骤S103中,将用波导搭建的微环谐振器实现积分器的作用,以把干涉器输出的信号进行积分操作。
其中,积分器为将光信号进行积分的装置,串联在全连接层后,为每路输出进行积分。在本发明实施例中,采用微环谐振器作为积分装置,如图3所示,输入端接收全连接层输入,输出端则输出积分信号。
在步骤S104中,加入一个反馈环节,使积分后的信号进行循环计算,以达到完成常微分方程神经网络的目的。
具体地,反馈波导:将积分器的输出反馈给系统的输入,以达成本例中所要求的神经网络计算效果。
完成计算的公式为:
可以发现,通过理论计算与推导,可以组成一个神经常微分方程的网络任务。
进一步地,根据本发明实施例的方法设计的一个芯片的内部结构如图4所示,其中,全连接层为n输入n输出,图中以2输入2输出网络为例,整个图片作为一个计算网络完成任务,黑色线为波导,由波导进行连接与数据的传递,通过结构搭建,可以完成人工智能计算识别任务。
综上,本发明实施例通过设计芯片内结构,利用基于马赫增德尔干涉器和非线性区域的全连接和基于微环谐振器的积分器,实现高速,低能耗以及较少运算单元的神经网络常微分方程光计算人工智能芯片的结构设计。
根据本发明实施例提出的基于神经常微分方程的光计算芯片设计方法,通过把传统光芯片神经网络与光学积分器相结合,应用一个新的结构,把原有的神经网络替换成了求解常微分方程的环节,从而达到减少神经网络层数的目的;并通过原始创新的集成光电计算技术,在同等晶体管制程下,可以降低功耗并提升运算速度。
其次参照附图描述根据本发明实施例提出的基于神经常微分方程的光计算芯片。
图5是本发明一个实施例的基于神经常微分方程的光计算芯片的结构示意图。
如图5所示,该基于神经常微分方程的光计算芯片10,光计算芯片采用如上述实施例的基于神经常微分方程的光计算芯片设计方法,包括:单次输入模块100、全连接层200和积分器300。
其中,单次输入模块100用于输入数据;全连接层200用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现,用于对输入的数据进行计算并输出信号;积分器300用波导搭建的微环谐振器实现,以把干涉器输出的信号进行积分操作,并将积分后的信号送入全连接层,以进行循环计算,达到完成常微分方程神经网络的目的。本发明实施例的光计算芯片10通过设计光学计算芯片的结构,采用光学矩阵乘法计算元件,光学积分器元件和反馈环节来实现高速,低功耗以及占用面积小的人工神经网络常微分方程光计算芯片。
进一步地,在本发明的一个实施例中,神经网络的计算公式为:
其中,h为随时间变化的神经网络输入,t为运行时间,θ为神经网络内部参数。
进一步地,在本发明的一个实施例中,单个马赫曾德尔干涉器完成一个2*2的矩阵乘法。
进一步地,在本发明的一个实施例中,单个马赫曾德尔干涉器可以实现的矩阵的计算公式为:
其中,u11,u12,u21,u22为矩阵的四个内部变量,θ,φ分别为干涉器中前后两个移相器的相位,i为虚数,e为自然对数。进一步地,在本发明的一个实施例中,其中,由多个单个马赫曾德尔干涉器组成的阵列,以完成n阶的矩阵乘法。
需要说明的是,前述对基于神经常微分方程的光计算芯片设计方法方法实施例的解释说明也适用于该实施例的基于神经常微分方程的光计算芯片,此处不再赘述。
根据本发明实施例提出的基于神经常微分方程的光计算芯片,通过把传统光芯片神经网络与光学积分器相结合,应用一个新的结构,把原有的神经网络替换成了求解常微分方程的环节,从而达到减少神经网络层数的目的;并通过原始创新的集成光电计算技术,在同等晶体管制程下,可以降低功耗并提升运算速度。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于神经常微分方程的光计算芯片设计方法,其特征在于,包括:
将单次输入模块作为光计算芯片结构的输入端;
将用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现全连接层的效果;
将用波导搭建的微环谐振器实现积分器的作用,以把干涉器输出的信号进行积分操作;以及
加入一个反馈环节,使积分后的信号进行循环计算,以达到完成常微分方程神经网络的目的。
3.根据权利要求1所述的方法,其特征在于,所述单个马赫曾德尔干涉器完成一个2*2的矩阵乘法。
5.根据权利要求3所述的方法,其特征在于,其中,由多个所述单个马赫曾德尔干涉器组成的阵列,以完成n阶的矩阵乘法。
6.一种基于神经常微分方程的光计算芯片,其特征在于,所述光计算芯片采用如权利要求1-5任意一项所述的基于神经常微分方程的光计算芯片设计方法,包括:
单次输入模块,用于输入数据;
全连接层,所述全连接层用波导搭建的马赫曾德尔干涉器以及非线性区域组成相应的网络实现,用于对输入的数据进行计算并输出信号;
积分器,所述积分器用波导搭建的微环谐振器实现,以把干涉器输出的信号进行积分操作,并将积分后的信号送入全连接层,以进行循环计算,达到完成常微分方程神经网络的目的。
8.根据权利要求6所述的光计算芯片,其特征在于,所述单个马赫曾德尔干涉器完成一个2*2的矩阵乘法。
10.根据权利要求9所述的光计算芯片,其特征在于,其中,由多个所述单个马赫曾德尔干涉器组成的阵列,以完成n阶的矩阵乘法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010257989.XA CN111563583B (zh) | 2020-04-03 | 2020-04-03 | 基于神经常微分方程的光计算芯片设计方法及光计算芯片 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010257989.XA CN111563583B (zh) | 2020-04-03 | 2020-04-03 | 基于神经常微分方程的光计算芯片设计方法及光计算芯片 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111563583A true CN111563583A (zh) | 2020-08-21 |
CN111563583B CN111563583B (zh) | 2022-08-09 |
Family
ID=72073093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010257989.XA Active CN111563583B (zh) | 2020-04-03 | 2020-04-03 | 基于神经常微分方程的光计算芯片设计方法及光计算芯片 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111563583B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657588A (zh) * | 2021-08-19 | 2021-11-16 | 山东云海国创云计算装备产业创新中心有限公司 | 一种实现光学神经网络的方法及系统 |
WO2023045202A1 (zh) * | 2021-09-23 | 2023-03-30 | 苏州浪潮智能科技有限公司 | 一种光学芯片设计方法、系统、设备及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010000170A1 (zh) * | 2008-06-30 | 2010-01-07 | 华为技术有限公司 | 一种光开关 |
CN106990481A (zh) * | 2017-05-11 | 2017-07-28 | 中国科学院半导体研究所 | 一种2×2多模光开关 |
CN110197277A (zh) * | 2019-05-13 | 2019-09-03 | 浙江大学 | 实现数字识别的光学神经网络方法 |
US20200026992A1 (en) * | 2016-09-29 | 2020-01-23 | Tsinghua University | Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system |
-
2020
- 2020-04-03 CN CN202010257989.XA patent/CN111563583B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010000170A1 (zh) * | 2008-06-30 | 2010-01-07 | 华为技术有限公司 | 一种光开关 |
US20200026992A1 (en) * | 2016-09-29 | 2020-01-23 | Tsinghua University | Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system |
CN106990481A (zh) * | 2017-05-11 | 2017-07-28 | 中国科学院半导体研究所 | 一种2×2多模光开关 |
CN110197277A (zh) * | 2019-05-13 | 2019-09-03 | 浙江大学 | 实现数字识别的光学神经网络方法 |
Non-Patent Citations (3)
Title |
---|
IMAD AGHA 等: "All-optical switch based on 4-wave mixing in Si waveguides", 《IEEE》 * |
刘将: "微环调制器及其应用的研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
高增礼: "基于微环谐振器的微分运算研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657588A (zh) * | 2021-08-19 | 2021-11-16 | 山东云海国创云计算装备产业创新中心有限公司 | 一种实现光学神经网络的方法及系统 |
CN113657588B (zh) * | 2021-08-19 | 2023-08-18 | 山东云海国创云计算装备产业创新中心有限公司 | 一种实现光学神经网络的方法及系统 |
WO2023045202A1 (zh) * | 2021-09-23 | 2023-03-30 | 苏州浪潮智能科技有限公司 | 一种光学芯片设计方法、系统、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111563583B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Roohi et al. | Adaptive model-free synchronization of different fractional-order neural networks with an application in cryptography | |
CN111563583B (zh) | 基于神经常微分方程的光计算芯片设计方法及光计算芯片 | |
Njitacke et al. | Control of multistability with selection of chaotic attractor: application to image encryption | |
Bahar et al. | Design and implementation of approximate DCT architecture in quantum-dot cellular automata | |
Solanki et al. | Design of low-power wallace tree multiplier architecture using modular approach | |
Zhou et al. | Optimization approaches for designing a novel 4-bit reversible comparator | |
Craig et al. | Optical cellular logic image processor: implementation and programming of a single channel digital optical circuit | |
Kitayama | Guiding principle of reservoir computing based on “small-world” network | |
Stirk et al. | Sorting with optical compare-and-exchange modules | |
Desmulliez et al. | Perfect-shuffle interconnected bitonic sorter: optoelectronic design | |
CN113325650B (zh) | 一种光学电路、光信号处理方法、装置及可读存储介质 | |
CN101799747B (zh) | 一种基于可逆逻辑的算术逻辑单元alu | |
CN113392966B (zh) | 一种神经网络平均池化的实现方法、设备及存储介质 | |
Zhao et al. | Accelerated projection algorithm based on smoothing approximation for distributed non-smooth optimization | |
Kashimata et al. | Efficient and Scalable Architecture for Multiple-chip Implementation of Simulated Bifurcation Machines | |
Krithivasan et al. | Fuzzy ω-automata | |
Yiyang et al. | A Floating Calculation Revamp For the Ethereum Blockchain-Based IoT Systems | |
Ranade | A framework for analyzing locality and portability issues in parallel computing | |
Norouzi Doshanlou et al. | Efficient design of quaternary quantum comparator with only a single ancillary input | |
Ahmadpour et al. | A nano-scale design of a multiply-accumulate unit for digital signal processing based on quantum computing | |
Modarressi et al. | On nonglobal positivity and domains of positivity of multivariable polynomials | |
CN114815958B (zh) | 大容量可级联电光全加/减器芯片 | |
CN113610224B (zh) | 一种光学神经网络最大池化的方法、系统、设备及介质 | |
CN113592084B (zh) | 基于反向优化超结构卷积核的片上光子神经网络 | |
Wang et al. | SSR: A skeleton-based synthesis flow for hybrid processing-in-RRAM modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |