CN107392307A - 并行化时序数据的预测方法 - Google Patents

并行化时序数据的预测方法 Download PDF

Info

Publication number
CN107392307A
CN107392307A CN201710660184.8A CN201710660184A CN107392307A CN 107392307 A CN107392307 A CN 107392307A CN 201710660184 A CN201710660184 A CN 201710660184A CN 107392307 A CN107392307 A CN 107392307A
Authority
CN
China
Prior art keywords
training
prediction
data
data set
forecast model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710660184.8A
Other languages
English (en)
Inventor
张栗粽
段贵多
卢国明
刘贵松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710660184.8A priority Critical patent/CN107392307A/zh
Publication of CN107392307A publication Critical patent/CN107392307A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的并行化时序数据的预测方法,包括对输入的数据进行训练和预测;训练包括:A.输入历史数据集D;B.数据预处理;C.划分历史数据集D;D.创建对应数量的预测模型,对历史子数据集完成训练并得到训练模型;E.通过历史数据集D得到每个预测模型的误差值,如果误差最小值达到系统要求进入步骤F;F.将得到的网络参数复制到所有的训练模型中输出;预测包括:G.输入预测数据集Y;H.数据预处理;I.划分多个预测子数据集;J.预测步骤F输出的训练模型,预测结果返回主控制节点;K.主控制节点输出总的预测结果。本发明有效提高了回归预测问题中的准确度,同时也明显减少了预测模型的训练时间,提高了训练和预测的效率。

Description

并行化时序数据的预测方法
技术领域
本发明涉及计算机机器学习的方法,具体的讲是大规模数据基于神经网络回归的并行化时序数据的预测方法。
背景技术
大规模数据集下预测模型的训练与预测是回归预测问题中迫切需要解决的问题之一,神经网络预测模型是实现训练与预测的有效手段之一。在预测模型中,预测的准确性与预测的耗时性是两个主要问题,其中耗时性更严重,原因是由于数据量太大,使用单机根本无法在指定时间内完成训练。
针对预测的准确性,可以使用神经网络预测模型。因为神经网络具有自学习性和自适应性,即神经网络将训练数据中的信息存储在神经元之间相互连接的权值中。因此,根据训练样本,网络通过训练算法后,可以将训练样本之间的相应信息存储到各层神经元相互连接的权重之中。此外神经网络还具有非线性性,即神经网络通过各层神经元之间的连接权值来实现非线性映射。隐含层中神经元的传输函数如sigmoid就是一个非线性函数,通过神经元之间权值的相互连接可表示数据之间的非线性关系。
而针对预测的耗时性特征是在单机上无法完成训练的情况,可以使用并行化的思想,目前已有的神经网络并行化主要是针对分类问题的并行化,而很少针对回归问题的并行化。神经网络的并行化主要有基于横向的并行化、基于层次的并行化和基于数据集的并行化。由于基于横向与层次的并行化需要各神经元之间的相互信息交互,效率低。而采用基于数据集的并行化能达到较好的效果。基于数据的并行化思想即是通过将训练数据集划分成若干个数据集,然后将这些划分出来的子数据集分配给各个节点上的神经网络进行训练,将每个节点训练得到的模型参数改送到主节点上。主节点根据得到的各模型参数挑选出对整个训练集拟合度最优的模型参数,然后将这个最优的模型参数再次分配到各个子节点中进行训练,一直重复这个循环直到挑选到的模型参数能得到预期的效果。
发明内容
本发明提供了一种并行化时序数据的预测方法,以克服现有的回归预测问题中存在的预测准确度不足,以及预测模型训练耗时的问题。
本发明的并行化时序数据的预测方法,包括:对输入的数据进行训练,并对训练后的数据进行预测;其中训练步骤包括:
A.输入历史数据集D,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据;
B.数据预处理,根据读取到的训练数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
C.将历史数据集D按指定的大小划分为多个历史子数据集;
D.根据历史数据集D的划分个数,创建对应数量的基于神经网络的预测模型,通过所述的预测模型对对应的历史子数据集完成神经网络的训练,得到相应数量的训练模型;
E.将历史数据集D分别输入到每个所述的预测模型中得到预测值,根据预测值计算出每个预测模型的误差,挑选出误差最小值对应的预测模型的网络参数,如果该误差最小值未达到系统要求,则将挑选出来的网络参数作为最优参数分发到其他预测模型中作为网络参数并返回步骤D重新训练;反之,挑选出来的网络参数是满足系统要求的网络参数,进入步骤F;
F.将所述的网络参数复制到所有的训练模型中,并保存和输出各训练模型;
对训练后的数据进行预测的步骤包括:
G.输入预测数据集Y,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据;
H.数据预处理,根据读取到的预测数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
I.将预测数据集Y按指定的大小划分为多个预测子数据集;
J.通过神经网络的主控制节点将步骤F输出的训练模型分发给各子结点进行预测,并将预测结果返回到主控制节点;
K.主控制节点根据各子节点返回的预测结果进行整合,然后将总的预测结果进行输出。
本发明利用了神经网络以及并行化的思想针对于回归问题,对大规模数据集进行训练与预测。通过基于神经网络的预测模型提高预测精度,同时,将大数据集进行划分来进行训练,从而来减少了直接对大数据集进行训练而造成的时间开销。本发明的方法可以应用到各种有关大数据集下的回归预测问题中,例如时间序列分析,股票预测分析等。
具体的,步骤D包括:创建与历史子数据集的数量相同的预测模型,初始化各预测模型的参数,并使用对应的历史子数据集通过误差反向传播训练算法对预测模型进行训练,得到对应的训练参数。
进一步的,如果是首次创建预测模型,则使用(0,1)之间的随机值对预测模型进行初始化,所述的随机值从
(-2.4/InputNumber,2.4/InputNumber)或之间产生,其中InputNumber为权值输入端连接的神经元节点数;
如果是非首次训练预测模型,则使用控制节点挑选出来当前最优的训练参数作为子结点的模型参数,然后使用该预测模型所分配的历史子数据集再次进行训练,得到对应的训练参数。
具体的,步骤J中的预测步骤为:先将步骤F输出的各训练模型的参数进行freeze冻结(网络权值不进行更新),然后主控制节点将各预测子数据集和其对应的训练模型分别分配给各子节点进行预测。因为这里是使用训练模型进行预测,而不是进行训练,所以不涉及网络权值的调整,因此将网络权值调整关闭。
具体的,步骤E中将数据集D输入到各个预测模型得到预测值后,使用预测值与数据集D内包含的真实值之间差值,计算得到与预测模型相等数量的误差,然后挑选出误差最小值对应的预测模型的网络参数;步骤F中将所有训练模型的参数均设置为所述挑选出的网络参数。
在此基础上,步骤D中所述的基于神经网络的预测模型,其参数至少包括有各层神经元之间的权重及各层神经元个数。
进一步的,由于是大数据集,因此步骤A输入的历史数据集D和步骤G输入的预测数据集Y分别存储在分布式存储介质中,减轻单机负载。
本发明的并行化时序数据的预测方法,有效提高了回归预测问题中的预测准确度,同时也明显减少了预测模型的训练时间,提高了训练和预测的效率。
以下结合实施例的具体实施方式,对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下,根据本领域普通技术知识和惯用手段做出的各种替换或变更,均应包括在本发明的范围内。
附图说明
图1为本发明并行化时序数据的预测方法的流程图。
具体实施方式
通过大数据集下的神经网络时间序列预测模型来解决大数据集高维非线性的时间序列的预测问题,即解决预测模型的准确性与模型训练预测的耗时性。神经网络预测模型通过输入层将数据输入,通过输入层与隐含层的各连接权重相乘求和作为隐含层的输入,隐含层通过传输函数如sigmoid实现非线性转化;然后将隐含层的输出数据与输出层的连接权重相乘作为输出层的输出;最后通过输出层的传输函数得到预测的结果。隐含层的作用相当于特征空间,即对训练数据集的一种特征表示,通过各层之间的权重来实现特征空间中各特征的相应预测贡献,从而提取到能表示训练数据的一组相应的特征空间。在本实施例中,通过分布式训练的方式将大数据集划分成多个等同的数据集,并将这些小数据集分配到各个子节点中进行训练;然后将训练的得到的模型参数来预测数据,并将各模型参数与预测误差返回到主控制节点;最后主控制节点将得到的误差集中挑选出最小误差对应的模型参数,并将模型参数分发到各个子节点再次进行训练;这些训练一直迭代进行直达达到训练次数或小于系统指定的预测误差。
如图1所示本发明并行化时序数据的预测方法,包括:对输入的数据进行训练,并对训练后的数据进行预测;其中训练步骤包括:
A.输入历史数据集D,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据。由于历史数据集D是大数据集,因此可存储在分布式存储介质中,如HBase,HDFS或分布式mysql数据库中;
B.数据预处理,创建神经网络模型,根据系统配置参数,包括网络层次、传函数、各层神经元个数等。神经网络的主控制节点判断读取到的训练数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
C.将历史数据集D按指定的大小划分为多个历史子数据集,并将各历史子数据集分配到各个子节点。因为每个子结点都是独立读取数据的,因此各个子节点可以并发的读取相应的数据子集,大大提高了数据的读取操作。
D.根据历史数据集D的划分个数,创建与历史子数据集的数量相同的预测模型,初始化各预测模型的参数,预测模型的参数至少包括有各层神经元之间的权重及各层神经元个数。在初始化单个预测模型的网络权值时,如果是首次创建预测模型,则使用(0,1)之间的随机值对预测模型进行初始化,所述的随机值从
(-2.4/InputNumber,2.4/InputNumber)或之间产生,其中InputNumber为权值输入端连接的神经元节点数;如果是非首次训练预测模型,则使用控制节点挑选出来当前最优的训练参数作为子结点的模型参数,然后使用对应的历史子数据集通过误差反向传播训练算法对预测模型进行训练,得到对应的训练参数和相应数量的训练模型;
E.将历史数据集D分别输入到每个所述的预测模型中得到预测值,使用预测值与数据集D内包含的真实值之间差值,计算得到与预测模型相等数量的误差。挑选出误差最小值对应的预测模型的网络参数,如果该误差最小值未达到系统要求,则将挑选出来的网络参数作为最优参数分发到其他预测模型中作为网络参数并返回步骤D重新训练;反之,挑选出来的网络参数是满足系统要求的网络参数,进入步骤F;
F.将所有训练模型的参数均设置为所述挑选出的网络参数,并保存和输出各训练模型;
对训练后的数据进行预测的步骤包括:
G.输入预测数据集Y,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据。由于预测数据集Y是大数据集,因此可存储在分布式存储介质中,如HBase,HDFS或分布式mysql数据库中;
H.数据预处理,根据读取到的预测数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
I.将预测数据集Y按子节点的相同数量划分为多个预测子数据集;
J.通过神经网络的主控制节点先将步骤F输出的训练模型的参数进行freeze冻结(网络权值不进行更新),即在预测过程中不对权值进行修改。然后主控制节点将各预测子数据集和其对应的训练模型分别分配给各子节点进行预测。因为这里是使用训练模型进行预测,而不是进行训练,所以不涉及网络权值的调整,因此将网络权值调整关闭。并将预测结果返回到主控制节点。
K.主控制节点根据各子节点返回的预测结果进行整合,然后将总的预测结果进行输出。

Claims (7)

1.并行化时序数据的预测方法,其特征包括:对输入的数据进行训练,并对训练后的数据进行预测;其中训练步骤包括:
A.输入历史数据集D,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据;
B.数据预处理,根据读取到的训练数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
C.将历史数据集D按指定的大小划分为多个历史子数据集;
D.根据历史数据集D的划分个数,创建对应数量的基于神经网络的预测模型,通过所述的预测模型对对应的历史子数据集完成神经网络的训练,得到相应数量的训练模型;
E.将历史数据集D分别输入到每个所述的预测模型中得到预测值,根据预测值计算出每个预测模型的误差,挑选出误差最小值对应的预测模型的网络参数,如果该误差最小值未达到系统要求,则将挑选出来的网络参数作为最优参数分发到其他预测模型中作为网络参数并返回步骤D重新训练;反之,进入步骤F;
F.将所述的网络参数复制到所有的训练模型中,并保存和输出各训练模型;
对训练后的数据进行预测的步骤包括:
G.输入预测数据集Y,根据历史数据的并行化的场景从相应的存储设备中读取待训练的数据;
H.数据预处理,根据读取到的预测数据差别是否有缺失,若有则使用均值替换法进行缺失值的填充,并对各字段进行相应的归一化操作;
I.将预测数据集Y按指定的大小划分为多个预测子数据集;
J.通过神经网络的主控制节点将步骤F输出的训练模型分发给各子结点进行预测,并将预测结果返回到主控制节点;
K.主控制节点根据各子节点返回的预测结果进行整合,然后将总的预测结果进行输出。
2.如权利要求1所述的并行化时序数据的预测方法,其特征为:步骤D包括:创建与历史子数据集的数量相同的预测模型,初始化各预测模型的参数,并使用对应的历史子数据集通过误差反向传播训练算法对预测模型进行训练,得到对应的训练参数。
3.如权利要求2所述的并行化时序数据的预测方法,其特征为:如果是首次创建预测模型,则使用(0,1)之间的随机值对预测模型进行初始化,所述的随机值从(-2.4/InputNumber,2.4/InputNumber)或之间产生,其中InputNumber为权值输入端连接的神经元节点数;
如果是非首次训练预测模型,则使用控制节点挑选出来当前最优的训练参数作为子结点的模型参数,然后使用该预测模型所分配的历史子数据集再次进行训练,得到对应的训练参数。
4.如权利要求1所述的并行化时序数据的预测方法,其特征为:步骤J中的预测步骤为:先将步骤F输出的各训练模型的参数进行freeze冻结,然后主控制节点将各预测子数据集和其对应的训练模型分别分配给各子节点进行预测。
5.如权利要求1所述的并行化时序数据的预测方法,其特征为:步骤E中将数据集D输入到各个预测模型得到预测值后,使用预测值与数据集D内包含的真实值之间差值,计算得到与预测模型相等数量的误差,然后挑选出误差最小值对应的预测模型的网络参数;步骤F中将所有训练模型的参数均设置为所述挑选出的网络参数。
6.如权利要求1至5之一所述的并行化时序数据的预测方法,其特征为:步骤D中所述的基于神经网络的预测模型,其参数至少包括有各层神经元之间的权重及各层神经元个数。
7.如权利要求1至5之一所述的并行化时序数据的预测方法,其特征为:步骤A输入的历史数据集D和步骤G输入的预测数据集Y分别存储在分布式存储介质中。
CN201710660184.8A 2017-08-04 2017-08-04 并行化时序数据的预测方法 Pending CN107392307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710660184.8A CN107392307A (zh) 2017-08-04 2017-08-04 并行化时序数据的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710660184.8A CN107392307A (zh) 2017-08-04 2017-08-04 并行化时序数据的预测方法

Publications (1)

Publication Number Publication Date
CN107392307A true CN107392307A (zh) 2017-11-24

Family

ID=60344819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710660184.8A Pending CN107392307A (zh) 2017-08-04 2017-08-04 并行化时序数据的预测方法

Country Status (1)

Country Link
CN (1) CN107392307A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658141A (zh) * 2018-12-12 2019-04-19 中智关爱通(上海)科技股份有限公司 商品销售预测方法、服务器及存储介质
CN110084438A (zh) * 2019-05-09 2019-08-02 上汽安吉物流股份有限公司 订单的预测方法及装置、物流系统以及计算机可读介质
CN111597175A (zh) * 2020-05-06 2020-08-28 天津大学 融合时空信息的传感器缺失值的填充方法
CN111930795A (zh) * 2020-07-02 2020-11-13 苏州浪潮智能科技有限公司 一种分布式模型搜索方法及系统
CN112270376A (zh) * 2020-11-10 2021-01-26 北京百度网讯科技有限公司 模型训练方法、装置、电子设备、存储介质和开发系统
CN112446520A (zh) * 2019-08-30 2021-03-05 京东数字科技控股有限公司 一种预测产品排期时间的方法和装置
CN114114126A (zh) * 2021-11-22 2022-03-01 浙江华采科技有限公司 低磁导率磁粉芯电流互感器的数字校准方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658141A (zh) * 2018-12-12 2019-04-19 中智关爱通(上海)科技股份有限公司 商品销售预测方法、服务器及存储介质
CN110084438A (zh) * 2019-05-09 2019-08-02 上汽安吉物流股份有限公司 订单的预测方法及装置、物流系统以及计算机可读介质
CN112446520A (zh) * 2019-08-30 2021-03-05 京东数字科技控股有限公司 一种预测产品排期时间的方法和装置
CN111597175A (zh) * 2020-05-06 2020-08-28 天津大学 融合时空信息的传感器缺失值的填充方法
CN111597175B (zh) * 2020-05-06 2023-06-02 天津大学 融合时空信息的传感器缺失值的填充方法
CN111930795A (zh) * 2020-07-02 2020-11-13 苏州浪潮智能科技有限公司 一种分布式模型搜索方法及系统
CN111930795B (zh) * 2020-07-02 2022-11-29 苏州浪潮智能科技有限公司 一种分布式模型搜索方法及系统
CN112270376A (zh) * 2020-11-10 2021-01-26 北京百度网讯科技有限公司 模型训练方法、装置、电子设备、存储介质和开发系统
CN114114126A (zh) * 2021-11-22 2022-03-01 浙江华采科技有限公司 低磁导率磁粉芯电流互感器的数字校准方法及系统

Similar Documents

Publication Publication Date Title
CN107392307A (zh) 并行化时序数据的预测方法
Shokri et al. Algorithm for increasing the speed of evolutionary optimization and its accuracy in multi-objective problems
Lobato et al. Multi-objective genetic algorithm for missing data imputation
Madani et al. A Monte-Carlo game theoretic approach for multi-criteria decision making under uncertainty
Han et al. A solution to bi/tri-level programming problems using particle swarm optimization
García-Pedrajas et al. An alternative approach for neural network evolution with a genetic algorithm: Crossover by combinatorial optimization
CN110276442A (zh) 一种神经网络架构的搜索方法及装置
CN110532417A (zh) 基于深度哈希的图像检索方法、装置及终端设备
CN108694673A (zh) 一种保险业务风险预测的处理方法、装置及处理设备
CN104636801A (zh) 一种基于优化bp神经网络的预测输电线路可听噪声方法
EP3948692A1 (en) Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
CN104700160A (zh) 一种车辆路径优化方法
CN104156943B (zh) 基于非支配邻域免疫算法的多目标模糊聚类图像变化检测方法
CN104504442A (zh) 神经网络优化方法
CN103324954A (zh) 一种基于树结构的图像分类方法及其系统
CN108510050A (zh) 一种基于混洗蛙跳的特征选择方法
Khalili-Damghani et al. Solving land-use suitability analysis and planning problem by a hybrid meta-heuristic algorithm
CN114492782A (zh) 基于强化学习的神经网络的片上核心编译映射方法及装置
CN105260746A (zh) 一种可扩展的多层集成多标记学习系统
CN110222838A (zh) 深度神经网络及其训练方法、装置、电子设备及存储介质
CN111311001B (zh) 基于DBSCAN算法和特征选择的Bi-LSTM网络短期负荷预测方法
Khan et al. A multi-perspective revisit to the optimization methods of Neural Architecture Search and Hyper-parameter optimization for non-federated and federated learning environments
Chan et al. An introduction of dominant genes in genetic algorithm for FMS
CN113240219A (zh) 一种土地利用模拟及预测方法
CN111310985B (zh) 一种行程规划方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication