CN116127254A - ReRAM卷积简化实现方法 - Google Patents
ReRAM卷积简化实现方法 Download PDFInfo
- Publication number
- CN116127254A CN116127254A CN202210334200.5A CN202210334200A CN116127254A CN 116127254 A CN116127254 A CN 116127254A CN 202210334200 A CN202210334200 A CN 202210334200A CN 116127254 A CN116127254 A CN 116127254A
- Authority
- CN
- China
- Prior art keywords
- multiplication
- convolution
- formula
- data
- reram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/52—Multiplying; Dividing
- G06F7/523—Multiplying only
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供了一种ReRAM卷积简化实现方法,包括:依次获取待运算卷积中的各乘法运算公式;分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式;通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果;基于各乘法运算公式的计算结果实现所述待运算卷积的运算。本发明提供的ReRAM卷积简化实现方法能够解决现有的通过忆阻器实现卷积运算时精度低的问题。
Description
技术领域
本发明涉及忆阻器数据存储设计技术领域,更为具体地,涉及一种ReRAM卷积简化实现方法。
背景技术
忆阻器(ReRAM)是一种有记忆功能的非线性电阻,通过控制电流的变化可改变其阻值,如果把高阻值定义为“1”,低阻值定义为“0”,则这种电阻就可以实现存储数据的功能。具体地,在实际使用过程中,通常使用对忆阻器进行卷积运算的方式实现不同数据的存储。如附图1所示,取忆阻器的电导G(电阻R倒数,R=1/G)为卷积权重,输入数据通过DAC电路(数模转换电路)转换成电压,那么每个并联的ReRAM电路电流I=V*G。如果将一系列的忆阻器进行并联,那么对应电流输出则为所有权重与数据的乘加结果I=I1+I2+I3=V1*G1+V2*G2+V3*G3,I最后通过ADC转换电路(模数转换电路)重新转换成数据输出。这种存算合一的架构可以大大提高性能,降低功耗损失。
但是相应的问题是,ReRAM对应的电导需要精确调控,才能做到用户可以设置任意权值的目的,一般经过量化后的权值也需要6~8Bit,甚至更多。但是ReRAM本身的工艺复杂度,并不能完全做到多Bit的权值精确调节。这是ReRAM用作为卷积运算的一大技术问题。同时ReRAM对ADC与DAC要求的精度也会随着计算精度要求的提高而提高。
发明内容
鉴于上述问题,本发明的目的是提供一种ReRAM卷积简化实现方法,以解决现有的通过忆阻器实现卷积运算时精度低的问题。
本发明提供的ReRAM卷积简化实现方法包括:
依次获取待运算卷积中的各乘法运算公式;
分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式;
通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果;
基于各乘法运算公式的计算结果实现所述待运算卷积的运算。
此外,优选的方案是,各乘法运算公式中的输入数据和权重数据均为2进制数据。
此外,优选的方案是,分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式包括:
对于任意一个乘法运算公式,获取其输入数据A和权重数据B;则所述乘法运算的结果则可记为:X=AgB;
对所述输入数据A和所述权重数据B进行高低位拆分,以将所述输入数据A拆分为高位输入数据AH和低位输入数据AL并将所述权重数据B拆分为高位权重值BH和低位权重值BL;其中,AL的位宽为LA,BL的位宽为LB;
将拆分后的所述输入数据A和所述权重数据B代入相应的乘法运算公式中的得到相应的乘法加和运算简化公式:
此外,优选的方案是,对于任意一个乘法运算公式,先将矩阵数据类型的输入数据A转换为向量数据类型的输入数据A,然后再对所述输入数据A进行高低位拆分。
此外,优选的方案是,将将矩阵数据类型的输入数据A转换为向量数据类型的输入数据以得到n个输入向量数据:A1~An;
将各输入向量数据均进行高低位拆分;
将拆分后的n个输入向量数据和所述权重数据B代入相应的乘法运算公式中的得到相应的乘法加和运算简化公式;
此外,优选的方案是,通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果,包括:
将所述乘法加和运算简化公式拆分为四个乘法运算简化公式:
基于四个所述乘法运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果。
此外,优选的方案是,在对所述输入数据A和所述权重数据B进行高低位拆分的过程中:
通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分,以对所述输入数据A和所述权重数据B进行m次高低位拆分;其中,m为整数且≥1。
此外,优选的方案是,在通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分的过程中:
对于每一个乘法运算简化公式进行进一步拆分以将AH的值进一步的拆分乘AH1与AL1,将BH拆分乘BH1与BL1;
再次将AH1、AL1、BH1、BL1拆分,以此循环,直至所述待运算卷积的运算精度达到预设精度阈值。
此外,优选的方案是,所述权重数据为忆阻器计算矩阵数据。
此外,优选的方案是,在基于各乘法运算公式的计算结果实现所述待运算卷积的运算的过程中,
基于各乘法运算公式的计算结果通过加法器计算所述待运算卷积的运算结果。
和现有技术相比,上述根据本发明的ReRAM卷积简化实现方法,有如下有益效果:
本发明提供的ReRAM卷积简化实现方法通过对输入数据和权重数据进行高低位拆分的方法能够显著提升ReRAM卷积运算的精度,并且,ReRAM卷积运算不再受限于ADC/DAC的精度要求;此外,由于本发明提供的ReRAM卷积简化实现方法能够对输入数据和权重数据进行循环式的高低位拆分,使ReRAM卷积运算的精度一直提升至饱和值,因此,能够显著降低对忆阻器本身器件阻态精度的要求。
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:
图1为根据本发明实施例的利用现有的忆阻器做乘加运算的原理图;
图2为根据本发明实施例的ReRAM卷积简化实现方法的原理图;
图3为根据本发明实施例的ReRAM卷积简化实现方法的循环拆分后的原理图;
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中,为了便于描述一个或多个实施例,公知的结构和设备以方框图的形式示出。
需要提前说明的是,在详细介绍本发明提供的ReRAM卷积简化实现方法的具体结构之前,需要先对矩阵卷积运算原理进行简单介绍,矩阵卷积运算原理如下公式(以3*3的矩阵与2*2的矩阵卷积为例):
从上述公式可知,卷积运算主要是乘法与加法运算。如果相乘矩阵大小不一致,则有会有移位操作,但是最基本的运算是乘法与加法,卷积后的矩阵每一个元素都是乘加结果。所以在卷积运算中乘加器为核心,因此,乘加器的改进与优化直接决定了电路架构整体的性能与开销。
此外,还需要说明的是,ReRAM是一种新型的存储器件,它利用电阻来用作0,1的存储(高阻态与低阻态),是一种类似FLASH的新型存储技术。因为ReRAM本身是利用电阻存数据,根据图1的原理,ReRAM是一个很好的利用电阻做卷积运算的原理器件。现在利用ReRAM做卷积核的运算架构入图1。当前状态会存在两个问题。
1.如果我们将图1中G值看成权重,权重本身精度可能达到8Bit,10Bit,甚至直接采用浮点数32Bit,这对忆阻器本身的多阻态提出了非常高的要求,当前无论时并联或者是忆阻器本身都达不到这么高的精度要求。
2.输入的电压代表了输入的数据值,其值本身精度可能与权重一致,比如10+Bit或者20+Bit,在如此高的精度情况下,对ADC或者DAC转换电路要求无形扩大,会进一步加大忆阻器乘加器的电路实现成本。
下面结合附图对本发明提供的ReRAM卷积简化实现方法及其运算方法进行详细说明。
图2示出了根据本发明实施例的ReRAM卷积简化实现方法的原理,图3示出了根据本发明实施例的ReRAM卷积简化实现方法的循环拆分后的原理。
结合图2与图3共同所示可知,本发明提供的ReRAM卷积简化实现方法的构思是对待运算卷积中的输入的乘法结构进行拆分,从而重新实现卷积中的乘加器电路,降低ReRAM乘加运算的ADC或者权重的精度要求。
下面详细介绍本发明实施例的ReRAM卷积简化实现方法的具体步骤:
本发明提供的ReRAM卷积简化实现方法包括:
依次获取待运算卷积中的各乘法运算公式;
分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式;
通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果;
基于各乘法运算公式的计算结果实现所述待运算卷积的运算。
需要说明的是,通常情况下,在卷积运算中,各乘法运算公式中的输入数据和权重数据均为二进制数据。
具体地,分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式包括:
对于任意一个乘法运算公式,获取其输入数据A和权重数据B;则所述乘法运算的结果则可记为:X=AgB;
对所述输入数据A和所述权重数据B进行高低位拆分,以将所述输入数据A拆分为高位输入数据AH和低位输入数据AL并将所述权重数据B拆分为高位权重值BH和低位权重值BL;其中,AL的位宽为LA,BL的位宽为LB;
将拆分后的所述输入数据A和所述权重数据B代入相应的乘法运算公式中的得到相应的乘法加和运算简化公式:
在实际运算过程中,对于任意一个乘法运算公式,我们将输入的数据值记为A,其位宽为WA,权重值记为B,其位宽为WB。那么乘法结果可以表示为:
X=AgB (1)
如果将二进制数A拆成高低位,高位为AH,低位为AL,且低位位宽为LA。同理将B拆为BH,BL,且低位位宽为LB。那么式(1)可以表示为:
在二进制运算中,2的指数幂等于移位操作,这时A与B的乘法计算就变化成4个小位宽的乘法与他们之间的加法运算,通过这种方式,能够降低乘法本身对于精度的要求。并且,乘法精度的要求可以根据实际情况对乘数A,B高低位宽的调整而调整。
此外,还需要说明的是,对于任意一个乘法运算公式,先将矩阵数据类型的输入数据A转换为向量数据类型的输入数据A,然后再对所述输入数据A进行高低位拆分。
具体地,将将矩阵数据类型的输入数据A转换为向量数据类型的输入数据以得到n个输入向量数据:A1~An;
将各输入向量数据均进行高低位拆分;
将拆分后的n个输入向量数据和所述权重数据B代入相应的乘法运算公式中的得到相应的乘法加和运算简化公式;
通过上述公式,能够实现通过拆分的方式将一个大位宽的乘加电路拆成小位宽的乘加电路。这种方式能够降低对忆阻器阻态精度的要求,同时降低了对输入ADC或者输出DAC电路的精度要求,降低了整体的开销成本与精度要求。
下面结合附图2和3详细说明本发明提供的ReRAM卷积简化实现方法的工作原理。
由图2可知,控制逻辑将由数据缓存得到的矩阵数据转换为向量数据后,一共有n个数据A1~An,我们将每一个数据都拆成高低位,AH与AL,其中高位与低位的位宽可以自行设置,低位宽的长度是LA的值。同时已经被设置好权值的忆阻器计算阵列(即权重数据)BH,BL,A1~An的高低位数据会进入忆阻器计算阵列,完成类似图1原理的乘加运算。
具体地,通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果,包括:
将所述乘法加和运算简化公式拆分为四个乘法运算简化公式:
基于四个所述乘法运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果。
对应在上述图2中,4个忆阻器计算阵列对应着公式2中的四个乘加运算,最后得到计算结果然后这些计算结果会通过移位后送入加法器。完成加法运算后将结果送入控制逻辑,完成卷积运算中的一次乘加运算。随后把结果送入控制逻辑,然后控制逻辑控制开始下一个乘加运算,直至完成所有的卷积运算。
需要说明的是,因为通过公式2中的方法对乘加运算进行了拆分,这样可以根据拆分的强度((LA,LB长度)对单个忆阻器计算阵列的精度进行控制,最佳情况可以让忆阻器、ADC电路DAC电路对精度的要求下降接近一半。
此外,在本发明的一个优选的实施方式中,本发明提供的ReRAM卷积简化实现方法的精度还可以通过嵌套循环的方法进一步下降,其原理如图3所示(图3可理解为进一步降低器件精度要求架构图),在对所述输入数据A和所述权重数据B进行高低位拆分的过程中:
可以通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分,以对所述输入数据A和所述权重数据B进行m次高低位拆分;其中,m为整数且≥1。
此外,优选的方案是,在通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分的过程中:
对于每一个乘法运算简化公式进行进一步拆分以将AH的值进一步的拆分乘AH1与AL1,将BH拆分乘BH1与BL1;
再次将AH1、AL1、BH1、BL1拆分,以此循环,直至所述待运算卷积的运算精度达到预设精度阈值。
下面以计算部分为例详细说明采用嵌套循环方法进一步提升精度的过程,如图3所示,计算部分可以被进一步的降低精度要求,我们将AH的值进一步的拆分为AH1与AL1,将BH拆分为BH1与BL1这样等于对图3中的架构中单一的忆阻器计算阵列再进行一次拆分,这样可以进一步降低图三中忆阻器计算阵列的精度要求。理论上可以循环减少下去,直到满足器件本身可以达到的精度要求。
需要说明是的是,由于本发明提供的卷积简化实现方法是基于种ReRAM(忆阻器)实现的,因此,在实际计算过程中,所述权重数据即为忆阻器计算矩阵数据。
另外,在基于各乘法运算公式的计算结果实现所述待运算卷积的运算的过程中,基于各乘法运算公式的计算结果需要通过预设的加法器完成所述待运算卷积的最终运算结果。
通过上述具体实施方式可知,本发明提供的ReRAM卷积简化实现方法有如下优点:
1、本发明提供的ReRAM卷积简化实现方法通过对输入数据和权重数据进行高低位拆分的方法能够显著提升ReRAM卷积运算的精度,并且,ReRAM卷积运算不再受限于ADC/DAC的精度要求;
2、由于本发明提供的ReRAM卷积简化实现方法能够对输入数据和权重数据进行循环式的高低位拆分,使ReRAM卷积运算的精度一直提升至饱和值,因此,能够显著降低对忆阻器本身器件阻态精度的要求。
如上参照图2和图3以示例的方式描述根据本发明的ReRAM卷积简化实现方法。但是,本领域技术人员应当理解,对于上述本发明所提出的ReRAM卷积简化实现方法,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。
Claims (10)
1.一种ReRAM卷积简化实现方法,其特征在于,包括:
依次获取待运算卷积中的各乘法运算公式;
分别对各乘法运算公式中的输入数据和权重数据进行高低位拆分以将各乘法运算公式均转换为相应的乘法加和运算简化公式;
通过所述乘法加和运算简化公式依次计算所述待运算卷积中的各乘法运算公式的计算结果;
基于各乘法运算公式的计算结果实现所述待运算卷积的运算。
2.如权利要求1所述的ReRAM卷积简化实现方法,其特征在于,
各乘法运算公式中的输入数据和权重数据均为二进制数据。
4.如权利要求3所述的ReRAM卷积简化实现方法,其特征在于,
对于任意一个乘法运算公式,先将矩阵数据类型的输入数据A转换为向量数据类型的输入数据A,然后再对所述输入数据A进行高低位拆分。
7.如权利要求6所述的ReRAM卷积简化实现方法,其特征在于,
在对所述输入数据A和所述权重数据B进行高低位拆分的过程中:
通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分,以对所述输入数据A和所述权重数据B进行m次高低位拆分;其中,m为整数且≥1。
8.如权利要求7所述的ReRAM卷积简化实现方法,其特征在于,
在通过嵌套循环的方式对待运算卷积中的各乘法运算公式进行循环拆分的过程中:
对于每一个乘法运算简化公式进行进一步拆分以将AH的值进一步的拆分乘AH1与AL1,将BH拆分乘BH1与BL1;
再次将AH1、AL1、BH1、BL1拆分,以此循环,直至所述待运算卷积的运算精度达到预设精度阈值。
9.如权利要求1至8中任意一项所述的ReRAM卷积简化实现方法,其特征在于,
所述权重数据为忆阻器计算矩阵数据。
10.如权利要求1所述的ReRAM卷积简化实现方法,其特征在于,
在基于各乘法运算公式的计算结果实现所述待运算卷积的运算的过程中,
基于各乘法运算公式的计算结果通过加法器计算所述待运算卷积的运算结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334200.5A CN116127254A (zh) | 2022-03-31 | 2022-03-31 | ReRAM卷积简化实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334200.5A CN116127254A (zh) | 2022-03-31 | 2022-03-31 | ReRAM卷积简化实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116127254A true CN116127254A (zh) | 2023-05-16 |
Family
ID=86296060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210334200.5A Pending CN116127254A (zh) | 2022-03-31 | 2022-03-31 | ReRAM卷积简化实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116127254A (zh) |
-
2022
- 2022-03-31 CN CN202210334200.5A patent/CN116127254A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112085183B (zh) | 一种神经网络运算方法及装置以及相关产品 | |
CN110427171B (zh) | 可扩展的定点数矩阵乘加运算的存内计算设备和方法 | |
WO2020238889A1 (zh) | 一种基于Radix-4编码和差分权重的乘累加电路 | |
Wang et al. | Low power convolutional neural networks on a chip | |
US11853594B2 (en) | Neural network computing chip and computing method | |
CN111125616B (zh) | 一种二维离散傅里叶变换运算电路及运算方法 | |
CN104660261B (zh) | 一种自适应量化的模拟数字转换装置 | |
CN113364462B (zh) | 模拟存算一体多比特精度实现结构 | |
US11886972B2 (en) | Non-volatile memory accelerator for artificial neural networks | |
US20230315388A1 (en) | Multiply-Accumulate Circuit | |
US20210294874A1 (en) | Quantization method based on hardware of in-memory computing and system thereof | |
CN114418105A (zh) | 一种基于量子线路处理量子应用问题的方法及装置 | |
CN116127254A (zh) | ReRAM卷积简化实现方法 | |
US11221827B1 (en) | In-memory computation device | |
CN116362314A (zh) | 一种存算一体装置和计算方法 | |
Rhe et al. | VWC-SDK: Convolutional weight mapping using shifted and duplicated kernel with variable windows and channels | |
CN115879530B (zh) | 一种面向rram存内计算系统阵列结构优化的方法 | |
CN116303229A (zh) | 一种分组前向梯度回归的存算系统的计算方法 | |
US11928176B2 (en) | Time domain unrolling sparse matrix multiplication system and method | |
CN111988031B (zh) | 一种忆阻存内矢量矩阵运算器及运算方法 | |
CN111666063B (zh) | 一种基于随机计算的增函数实现装置 | |
CN113283591A (zh) | 基于Winograd算法和近似乘法器的高效卷积实现方法及装置 | |
CN114168107A (zh) | 一种存内精度可调的矢量矩阵乘法运算方法及运算器 | |
CN111625760A (zh) | 基于闪存电学特性的存算一体方法 | |
JP7206531B2 (ja) | メモリデバイスおよびその動作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |