CN114564640A - 基于长短期记忆和图注意力网络的oj平台题目推荐方法 - Google Patents
基于长短期记忆和图注意力网络的oj平台题目推荐方法 Download PDFInfo
- Publication number
- CN114564640A CN114564640A CN202210146608.XA CN202210146608A CN114564640A CN 114564640 A CN114564640 A CN 114564640A CN 202210146608 A CN202210146608 A CN 202210146608A CN 114564640 A CN114564640 A CN 114564640A
- Authority
- CN
- China
- Prior art keywords
- user
- topic
- platform
- long
- recommendation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000015654 memory Effects 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000007774 longterm Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000012217 deletion Methods 0.000 abstract description 2
- 230000037430 deletion Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,包括:通过训练好的评分模型计算题目和用户的匹配评分;根据评分排序向用户推荐题目;其中,评分模型的训练过程包括:将用户和题目向量化,获得用户结点嵌入和题目结点嵌入;根据用户结点嵌入、题目结点嵌入以及用户的答题记录构建二分图;根据二分图,通过图注意力网络计算出每个用户的短期兴趣表示和长期兴趣表示,通过GRU将用户的短期兴趣表示和长期兴趣表示结合,得到用户最终兴趣表示;利用用户最终兴趣表示、题目表示和用户在OJ平台的答题记录训练评分模型。与现有技术相比,本发明解决了OJ平台题目推荐存在的个性化缺失问题,有效提高用户的学习训练效率。
Description
技术领域
本发明涉及数据挖掘领域,尤其是涉及一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法。
背景技术
OJ(Online Judge)平台是一个专门针对算法编程竞赛的在线测评网站,用户可以选择题目,尝试编写代码并提交,OJ平台会返回评测结果。由于用户对知识点的掌握程度以及OJ平台使用熟练度等问题,导致很多用户很难选择到合适的题目。如果题目难度远高于用户现实能力,可能会打击用户的学习信心,对训练效果造成影响;如果题目难度远低于用户现实能力,则会浪费训练时间,降低训练效率。因此为不同用户推荐合适的训练题目是一个亟待解决的问题。推荐算法在商品、新闻等领域有着长期研究,方法也是多种多样,比如:传统的基于用户/物品的协同过滤、线性/逻辑回归算法;比较经典的因子分解机及变种算法;基于概率的决策树、随机森林等算法;基于神经网络、深度学习的方法在推荐领域也有广泛的运用;图神经网络在推荐领域也受到了大量关注,比如NGCF、LightGCN等算法;此外,对序列推荐的研究也逐渐增多,例如基于马尔科夫链、基于循环神经网络等方法。
上述方法在一定条件下拥有不错的推荐效果,但是OJ平台题目推荐相对于传统场景的推荐是有一定差异的。首先,OJ平台专业属性较强,随着用户训练的持续推进,编程能力不断提升,对于题目难度的需求也随之变化,用户兴趣的变化有较强的递进性,传统的推荐方法在兴趣递进变化的考虑存在一定的欠缺;其次,传统的方法忽略了用户—题目交互的拓扑信息和语义信息,但是这些信息在一定程度上蕴含了丰富的用户兴趣,在传统的算法中,用户提交的每一道题对用户兴趣表征的影响是相同的,但是在真实条件下每道题目对用户的兴趣表征的影响是存在明显差异的。因此急需一种方法来解决OJ场景下题目的个性化推荐问题,以提升题目训练效率。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,解决了OJ平台题目推荐存在的个性化缺失问题,有效提高用户的学习训练效率。
本发明的目的可以通过以下技术方案来实现:
一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,包括:
通过训练好的评分模型计算题目和用户的匹配评分;
根据评分排序向用户推荐题目;
其中,所述的评分模型的训练过程包括以下步骤:
S1、将用户和题目向量化,获得用户结点嵌入和题目结点嵌入;
S2、根据用户结点嵌入、题目结点嵌入以及用户在OJ平台的答题记录构建二分图;
S3、根据二分图,通过图注意力网络获取每个用户的短期兴趣表示和长期兴趣表示,通过GRU将用户的短期兴趣表示和长期兴趣表示结合,得到用户最终兴趣表示;
S4、利用用户最终兴趣表示、题目表示和用户在OJ平台的答题记录训练评分模型。
进一步地,所述的用户向量化的具体过程包括:
采用序号进行独热编码,得到用户嵌入表示。
进一步地,所述的题目向量化的具体过程包括:
通过独热编码对每道题目进行编码,每道题目对应一个二进制向量,所述的二进制向量的每一位对应一个知识点,1表示有该知识点,0表示没有该知识点,每道题目对应的二进制向量即为该题目的题目结点嵌入。
采用序号进行独热编码,得到用户嵌入表示。
进一步地,所述的图注意力网络的表达式为:
其中,ei,j表示题目j对于用户i的重要性,为注意力神经网络,W1为权值矩阵,ui表示用户i,αi,j为ei,j的归一化值,softmax为归一化函数,Ui为用户的短期兴趣表示,σ表示激活函数,W2为权重矩阵,pj为二分图中的题目结点j。
进一步地,所述的评分模型的表达式为:
ri,j=MLP([U′i,pj])
其中,ri,j为题目j对于用户i的匹配评分,MLP为多层感知机,U′i为用户最终兴趣表示,pj为二分图中的题目结点j。
进一步地,将用户最近尝试过的L道题目作为训练集,后续尝试的1道题作为测试集,利用训练集和测试集对评分模型进行训练;
其中,有多次提交或者正确通过的题目为正样本,没有尝试或者尝试次数少于设定值且未通过的题目为负样本,每次训练完成后通过与测试集比较计算损失,然后训练集和测试集都向后移1道题,开始下一次训练。
进一步地,其特征在于,训练评分模型的损失函数表达式为:
一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行所述的OJ平台题目推荐方法。
一种计算机可读存储介质,包括计算机程序,所述计算机程序能够被处理器执行所述的OJ平台题目推荐方法。
与现有技术相比,本发明具有以如下有益效果:
(1)本发明针对用户和题目生成二分图,二分图中蕴含了丰富的语义信息和拓扑信息,采用了基于图注意力网络充分聚合用户短期兴趣,在用户表示上有更好的效果,针对用户学习状态在不断变化,对题目的需求不断提高的问题,并且用户的状态是可以预知的情况下采用长短期记忆的模型GRU将长期兴趣和短期兴趣相结合,解决OJ平台题目推荐存在的个性化缺失问题,有效提高用户的学习训练效率;
(2)本发明将有多次提交或者正确通过的题目为正样本,没有尝试或者尝试次数少于设定值且未通过的题目为负样本,更符合OJ平台使用习惯,使推荐的题目更符合用户知识水平和做题习惯。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,包括:
1)分别将用户和题目向量化,获得用户结点嵌入和题目结点嵌入;
2)将所有用户近期尝试提交的题目构成一个二分图,该二分图的结点由题目和用户构成;
3)对于每一个用户通过图注意力网络计算出短期兴趣表示和长期兴趣表示;
4)使用GRU(Gate Recurrent Unit)将用户短期兴趣表示和长期兴趣表示结合,得到用户最终表示;
5)通过用户的最终表示和题目表示计算得到用户—题目匹配评分;
6)将评分高的作为预测正样本,其他的作为预测负样本,开始训练模型;
7)利用模型为用户推荐题目。
步骤1)中,在OJ平台中,每道题有非常清晰且由专家标记的标签,这些标签包含了该题涉及的知识点和难度,使用这些标签对题目进行嵌入表示,这里采用独热编码的方式,为每个题目设置一个二进制向量,所述的二进制向量的每一位对应一个知识点,1表示有该知识点,0表示没有该知识点,每个题目结点对应的二进制向量即为该题目结点的题目结点嵌入。对于用户,采用序号进行独热编码,得到用户嵌入表示,用户的向量化表示和题目的表示方式相同。
在步骤2)中,用户和题目构成的二分图记为G(u,e,p),u代表用户结点,p代表题目结点,e代表边,边表示用户u对题目D有过尝试。
在步骤1)和步骤2)结束后,完成初始化,开始聚合用户兴趣。
在步骤3)中,聚合用户短期兴趣的过程包括如下步骤:
31)计算每一道题对用户的影响权重;
32)根据每道题对用户不同的权重,聚合得到用户短期兴趣表示;
其中每道题对用户不同的权重计算方式如下:
得到权重过后开始计算用户的短期兴趣表示,计算公式如下:
其中σ表示激活函数,W2为权重矩阵。
在步骤4)中,长短期记忆融合方式使用了GRU模型,公式如下:
Rt=δ(xtWxr+Ht-1Whr+br)
Zt=δ(xtWxz+Ht-1Whz+bz)
其中t表示当前短期兴趣时间段,xt是当前通过图注意力网络的聚合过后的短期兴趣表示作为输入,Rt表示GRU的重置门,Zt表示更新门,表示候选隐藏状态,Ht表示当前时间段的状态,也是用户的最终表示(U′i),同时也作为下一次GRU的输入。
在步骤5)中,用户i与题目j的匹配评分计算方式为:
ri,j=MLP([U′i,pj])
其中MLP表示多层感知机。
在步骤6)中,用户最近尝试过的L道题目作为训练集,后续尝试的1道题作为测试集,利用训练集和测试集对模型进行训练。并定义:有多次提交或者正确通过的题目为正样本;没有尝试或者尝试极少次数且未通过的题目为负样本。模型训练的损失函数为负对数似然,公式如下:
每次训练过后训练集和测试集都向后移动1道题,开始下一轮训练。
当训练一定次数后开始步骤7)进行推荐,将用户近期的提交记录送入训练好的模型,计算题目和用户的匹配评分,将匹配评分由低到高排序后的前k道题目推荐给用户。
综上,本实施例提出的OJ平台题目推荐方法的流程示意图如图1所示。
实施例2
一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行实施例1所述的OJ平台题目推荐方法。
实施例3
一种计算机可读存储介质,包括计算机程序,所述计算机程序能够被处理器执行实施例1所述的OJ平台题目推荐方法。
实施例1、实施例2和实施例3提出了一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法、电子设备及介质,使用图注意力网络获取用户短期兴趣表示和长期兴趣表示,采用GRU将长期兴趣表示和短期兴趣表示相结合,合理选择正负样本,解决OJ平台题目推荐存在的个性化缺失问题,有效提高用户的学习训练效率,为用户提供一个良好的学习体验,增加用户粘性。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,其特征在于,包括:
通过训练好的评分模型计算题目和用户的匹配评分;
根据评分排序向用户推荐题目;
其中,所述的评分模型的训练过程包括以下步骤:
S1、进行用户向量化和题目向量化,获得用户结点嵌入和题目结点嵌入;
S2、根据用户结点嵌入、题目结点嵌入以及用户在OJ平台的答题记录构建二分图;
S3、根据二分图,通过图注意力网络获取每个用户的短期兴趣表示和长期兴趣表示,通过GRU将用户的短期兴趣表示和长期兴趣表示结合,得到用户最终兴趣表示;
S4、利用用户最终兴趣表示、题目表示和用户在OJ平台的答题记录训练评分模型。
2.根据权利要求1所述的一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,其特征在于,所述的用户向量化的具体过程包括:
采用序号进行独热编码,得到用户嵌入表示。
3.根据权利要求1所述的一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,其特征在于,所述的题目向量化的具体过程包括:
通过独热编码对每道题目进行编码,每道题目对应一个二进制向量,所述的二进制向量的每一位对应一个知识点,1表示有该知识点,0表示没有该知识点,每道题目对应的二进制向量即为该题目的题目结点嵌入。
6.根据权利要求1所述的一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,其特征在于,所述的评分模型的表达式为:
ri,j=MLP([U′i,pj])
其中,ri,j为题目j对于用户i的匹配评分,MLP为多层感知机,U′i为用户最终兴趣表示,pj为二分图中的题目结点j。
7.根据权利要求1所述的一种基于长短期记忆和图注意力网络的OJ平台题目推荐方法,将用户最近尝试过的L道题目作为训练集,后续尝试的l道题作为测试集,利用训练集和测试集对评分模型进行训练;
其中,有多次提交或者正确通过的题目为正样本,没有尝试或者尝试次数少于设定值且未通过的题目为负样本,每次训练完成后通过与测试集比较计算损失,然后训练集和测试集都向后移l道题,开始下一次训练。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行如权利要求1至8任一所述的OJ平台题目推荐方法。
10.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-8任一所述的OJ平台题目推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210146608.XA CN114564640A (zh) | 2022-02-17 | 2022-02-17 | 基于长短期记忆和图注意力网络的oj平台题目推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210146608.XA CN114564640A (zh) | 2022-02-17 | 2022-02-17 | 基于长短期记忆和图注意力网络的oj平台题目推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114564640A true CN114564640A (zh) | 2022-05-31 |
Family
ID=81713717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210146608.XA Pending CN114564640A (zh) | 2022-02-17 | 2022-02-17 | 基于长短期记忆和图注意力网络的oj平台题目推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114564640A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160239738A1 (en) * | 2013-10-23 | 2016-08-18 | Tencent Technology (Shenzhen) Company Limited | Question recommending method, apparatus and system |
CN112396492A (zh) * | 2020-11-19 | 2021-02-23 | 天津大学 | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 |
CN113159891A (zh) * | 2021-04-24 | 2021-07-23 | 桂林电子科技大学 | 一种基于多种用户表示融合的商品推荐方法 |
CN113239264A (zh) * | 2021-04-07 | 2021-08-10 | 中国人民解放军战略支援部队信息工程大学 | 基于元路径网络表示学习的个性化推荐方法及系统 |
CN113256367A (zh) * | 2021-04-25 | 2021-08-13 | 西安交通大学 | 基于用户行为历史数据的商品推荐方法、系统、设备及介质 |
-
2022
- 2022-02-17 CN CN202210146608.XA patent/CN114564640A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160239738A1 (en) * | 2013-10-23 | 2016-08-18 | Tencent Technology (Shenzhen) Company Limited | Question recommending method, apparatus and system |
CN112396492A (zh) * | 2020-11-19 | 2021-02-23 | 天津大学 | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 |
CN113239264A (zh) * | 2021-04-07 | 2021-08-10 | 中国人民解放军战略支援部队信息工程大学 | 基于元路径网络表示学习的个性化推荐方法及系统 |
CN113159891A (zh) * | 2021-04-24 | 2021-07-23 | 桂林电子科技大学 | 一种基于多种用户表示融合的商品推荐方法 |
CN113256367A (zh) * | 2021-04-25 | 2021-08-13 | 西安交通大学 | 基于用户行为历史数据的商品推荐方法、系统、设备及介质 |
Non-Patent Citations (1)
Title |
---|
PETAR VELICKOVIC: "Graph Attention Networks" * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569443B (zh) | 一种基于强化学习的自适应学习路径规划系统 | |
CN108804689B (zh) | 面向问答平台的融合用户隐连接关系的标签推荐方法 | |
CN110162703B (zh) | 内容推荐方法、训练方法、装置、设备及存储介质 | |
CN111523047B (zh) | 基于图神经网络的多关系协同过滤算法 | |
CN108647233B (zh) | 一种用于问答系统的答案排序方法 | |
CN112905648B (zh) | 一种基于多任务学习的多目标推荐方法及系统 | |
CN111814982B (zh) | 面向多跳问答的动态推理网络系统及方法 | |
CN117009490A (zh) | 基于知识库反馈的生成式大语言模型的训练方法和装置 | |
CN110619081B (zh) | 一种基于交互图神经网络的新闻推送方法 | |
CN110717098A (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN110955826B (zh) | 基于改进型循环神经网络单元的推荐系统 | |
CN109933720B (zh) | 一种基于用户兴趣自适应演化的动态推荐方法 | |
CN114202061A (zh) | 基于生成对抗网络模型及深度强化学习的物品推荐方法、电子设备及介质 | |
US20230237093A1 (en) | Video recommender system by knowledge based multi-modal graph neural networks | |
CN115618101A (zh) | 基于负反馈的流媒体内容推荐方法、装置及电子设备 | |
CN115080715B (zh) | 基于残差结构和双向融合注意力的跨度提取阅读理解方法 | |
CN115249072A (zh) | 一种基于生成对抗用户模型的强化学习路径规划方法 | |
US20220327402A1 (en) | Automated Compositing of Content Compilations | |
Zhou et al. | Towards real time team optimization | |
Li et al. | Self-supervised bot play for conversational recommendation with justifications | |
CN114564640A (zh) | 基于长短期记忆和图注意力网络的oj平台题目推荐方法 | |
CN115982373A (zh) | 结合多级交互式对比学习的知识图谱推荐方法 | |
CN114386764B (zh) | 一种基于gru和r-gcn的oj平台题目序列推荐方法 | |
Chae et al. | Adversarial training of deep autoencoders towards recommendation tasks | |
Abdalla et al. | Probabilistic Approach for Recommendation Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220531 |
|
RJ01 | Rejection of invention patent application after publication |