CN113407862A - 一种基于门机制的序列社交推荐方法、系统及存储介质 - Google Patents

一种基于门机制的序列社交推荐方法、系统及存储介质 Download PDF

Info

Publication number
CN113407862A
CN113407862A CN202110553411.3A CN202110553411A CN113407862A CN 113407862 A CN113407862 A CN 113407862A CN 202110553411 A CN202110553411 A CN 202110553411A CN 113407862 A CN113407862 A CN 113407862A
Authority
CN
China
Prior art keywords
user
friends
interest
friend
interests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110553411.3A
Other languages
English (en)
Other versions
CN113407862B (zh
Inventor
蔡晓东
曾志杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110553411.3A priority Critical patent/CN113407862B/zh
Publication of CN113407862A publication Critical patent/CN113407862A/zh
Application granted granted Critical
Publication of CN113407862B publication Critical patent/CN113407862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于门机制的序列社交推荐方法、系统及存储介质,方法包括:将用户与朋友原始消费数据划分序列,初始化得到用户序列数据和朋友序列数据;基于选择门机制的GRU神经网络得到用户和朋友的当前兴趣;基于选择门机制的网络拼接得到朋友的短期兴趣,将朋友的商品数据进行初始化得到朋友的长期兴趣,将朋友的短期兴趣与朋友的长期兴趣拼接得到朋友的最终兴趣;基于图注意力的神经网络得到朋友影响,将朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;计算不同商品的概率分布,根据所述概率分布进行模型训练,根据训练模型向用户推荐商品信息;通过选择门机制可以更准确学习用户的兴趣,使推荐系统的推荐性能得到进一步提高。

Description

一种基于门机制的序列社交推荐方法、系统及存储介质
技术领域
本发明涉及推荐系统技术领域,具体涉及一种基于门机制的序列社交推荐方法、系统及存储介质。
背景技术
推荐系统通过分析用户的行为,找到用户的个性化需求,从而将一些商品个性化推荐给相应的用户,帮助用户找到自己想要但难以被发现的商品。现有的推荐系统模型有多种多样,比如基于RNN的序列推荐系统:给定一系列历史用户-项目交互,基于RNN的序列推荐系统通过对给定交互的顺序依赖关系建模,尝试预测下一个可能的交互,除了基本的RNN外,长短时记忆(LSTM)和基于门控递归单元(GRU)的RNN也被开发用于捕获序列中的长期依赖关系;再比如基余序列与社交相结合的推荐系统,这种推荐系统不仅利用了用户的自身兴趣还结合了朋友的影响,提高了推荐系统的性能表现,但现有技术在用户兴趣学习过程中,对用户的兴趣学习不准确,不足以表达用户的真实兴趣。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种基于门机制的序列社交推荐方法、系统及存储介质。利用选择门过滤无用信息的特性信息,保留与当前整体消费特征有关的特征信息,得到用户和朋友的兴趣表达,通过选择门机制可以更准确学习用户的兴趣,使推荐系统的推荐性能得到进一步提高。
本发明解决上述技术问题的技术方案如下:一种基于门机制的序列社交推荐方法包括:
步骤S1、分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
步骤S2、基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣;
步骤S3、对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣,将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;
步骤S4、基于图注意力的神经网络,对所述用户的当前兴趣和朋友的所述最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;
步骤S5、将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
步骤S6、根据Softmax函数对所述用户的最终兴趣进行计算,得到用户对不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
本发明的有益效果是:将经过GRU神经网络输出处理后得到的用户兴趣再经过选择门可过滤与当前整体消费特征无关的信息,保留与当前整体消费特征有关的特征信息,得到用户和朋友的兴趣表达,根据不同朋友的兴趣权重,增强与用户兴趣相似的朋友影响,更能准确获取用户的消费兴趣。
在上述技术方案的基础上,本发明还可以做如下改进:
进一步,所述步骤S1具体包括:
分别将用户与朋友的所述原始消费数据根据预设周期划分为一个序列,得到多个序列段,将每个序列段初始化得到序列数据,根据GRU神经网络展开后,所述用户序列数据表示为xu=(m1,m2,...mj),所述朋友序列数据表示为xf=(k1,k2,...kj),j表示时间步的大小。
进一步,所述步骤S2具体包括:
S21、根据式(1)对所述用户序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hn;根据式(2)对所述朋友序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hf;所述式(1)为:hn=GRU(xu),所述式(2)为:hf=GRU(xf),xu为用户序列数据,xf为朋友序列数据;
S22、根据式(3)将所述用户序列数据和所述多个隐藏状态hn的最后一个隐藏状态融入处理,得到选择门gn;根据式(4)将所述朋友序列数据和所述多个隐藏状态hf的最后一个隐藏状态融入处理,得到选择门gf;所述选择门gn和选择门gf包括所述用户原始消费数据和当前消费特征;
所述式(3)为:gn=σ([W1xu;W2hj]+b),
所述式(4)为:gf=σ([W1xf;W2hg]+b),
式中,σ为激活函数,W1、W2为权重矩阵,b为偏置向量,xu为用户序列数据,xf为朋友序列数据,hj为hn的最后一个隐藏状态,hg为hf的最后一个隐藏状态;
S23、根据式(5)对所述多个隐藏状态hn进行过滤选择,得到用户的当前兴趣,根据式(6)对所述多个隐藏状态hf进行过滤选择,得到朋友的当前兴趣;所述式(5)为
Figure BDA0003076217650000031
所述式(6)为
Figure BDA0003076217650000032
gn和gf为选择门,
Figure BDA0003076217650000041
为哈达码乘积。
采用上述进一步方案的有益效果是:用户序列数据经过选择门与哈达码乘积进行过滤选择后,与用户当前整体消费特征有关的特征信息被保留,与当前整体消费特征无关的信息被过滤,可以准确地表达用户的当前兴趣。
进一步,步骤S3具体包括:
S31、根据式(7)将所述朋友的当前兴趣进行拼接得到兴趣,将所述兴趣进行GRU神经网络输出,将输出的最后一个隐藏状态作为朋友的短期兴趣;所述式(7)为:
Figure BDA0003076217650000042
Figure BDA0003076217650000043
为朋友的当前兴趣,hg为多个隐藏状态hf的最后一个隐藏状态;
S32、对所述朋友初始消费数据的商品数据进行初始化学习,得到朋友的长期兴趣;
S33、将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣。
经过选择过滤可得到包含与当前消费有关的消费特征的朋友的当前兴趣,对朋友的当前兴趣拼接并通过GRU神经网络输出后,使朋友的短期兴趣既包含了朋友过滤后消费特征信息,又包含了朋友整体的消费特征,与朋友的长期兴趣拼接后得到朋友的最终兴趣,不仅丰富了朋友的消费信息,还强调了朋友的消费特征,可进一步准确地获取朋友的消费兴趣。
进一步,所述步骤S4具体包括:
S41、基于图注意力函数式(8)的神经网络,将所述用户的当前兴趣与所述朋友的最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,所述图注意力函数式(8)为:
Figure BDA0003076217650000044
式中,T表示转置,hc表示社交网络上第c个朋友的兴趣,k=d∪u表示k为多个朋友d和用户u的合集,hk表示多个朋友的最终兴趣和用户的当前兴趣集合,hn表示用户序列数据的GRU神经网络输出;
S42、根据式(9)对不同的朋友对用户兴趣的权重加权计算,得到朋友影响,所述式(9)为:
Figure BDA0003076217650000051
式中,k=d∪u表示k为多个朋友d和用户u的集合,hk表示朋友的最终兴趣和用户的当前兴趣集合,ak表示用户兴趣的权重。
采用上述进一步方案的有益效果是:对朋友的最终兴趣进行卷积并根据不同朋友的兴趣权重加权计算,可增强与用户兴趣相似的朋友影响,更能准确获取用户的消费兴趣,实现训练模型更准确学习用户的兴趣,使推荐系统的推荐性能得到进一步提高。
进一步,所述步骤S6具体包括:
S61、将所述原始消费数据中的商品数据进行维度转换,转换后的商品数据可表示为z=(z1,z2,...zI);
S62、根据Softmax函数式(10)对所述用户的最终兴趣和所述转换后的商品数据计算得到用户对每个商品的感兴趣的概率大小,所述Softmax函数式(10)为:
Figure BDA0003076217650000052
式中,I为商品的总数量,zy为第y个商品,zq为第q个商品,T为转置,q为任一商品,hl为用户的最终兴趣;
S63、根据式(11)对每个商品的所述兴趣概率大小采用交叉熵损失函数进行模型训练,当输出损失值趋于稳定时,得到训练模型,所述式(11)为:
Figure BDA0003076217650000061
式中,p'q为预测用户对商品感兴趣的概率,1-p'q为预测用户对商品不感兴趣的概率,pq为实际用户对商品感兴趣的概率;
S64、根据所述训练模型以及Recall指标和NDCG指标选择出排名在前的商品信息,将所述商品信息推荐给用户。
采用上述进一步方案的有益效果是:采用计算用户对每个商品的感兴趣概率大小后,再采用交叉熵损失函数对模型进行训练,可提高训练模型学习用户对每个商品的兴趣的准确性,当输出损失值趋于稳定时,训练模型则可用于对数据进行测试,使推荐系统的推荐性能得到进一步提高。
为了解决上述技术问题,本发明还提供一种基于残差网络的序列推荐系统,包括:初始模块、兴趣获取模块和训练模块;
所述初始模块,用于分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
所述兴趣获取模块,用于基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣,对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣,将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;基于图注意力的神经网络,对所述用户的当前兴趣和朋友的所述最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
所述训练模块,用于根据Softmax函数对所述用户的最终兴趣进行计算,得到不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
附图说明
图1为本发明一实施例提供的一种基于门机制的序列社交推荐方法的流程图;
图2为本发明一实施例提供的一种基于门机制的序列社交推荐方法的GRU神经网络输出的示意图;
图3为本发明一实施例提供的一种基于门机制的序列社交推荐方法的整体框架示意图;
图4为本发明一实例提供的一种基于门机制的序列社交推荐方法的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例一
一种基于门机制的序列社交推荐方法,该社交推荐方法包括:
步骤S1、分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
步骤S2、基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣;
步骤S3、对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣,将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;
步骤S4、基于图注意力的神经网络,对所述用户的当前兴趣和朋友的所述最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;
步骤S5、将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
步骤S6、根据Softmax函数对所述用户的最终兴趣进行计算,得到用户对不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
在本实施例中,将经过GRU神经网络输出处理后得到的用户兴趣再经过选择门可过滤与当前整体消费特征无关的信息,保留与当前整体消费特征有关的特征信息,得到用户和朋友的兴趣表达,根据不同朋友的兴趣权重,增强与用户兴趣相似的朋友影响,更能准确获取用户的消费兴趣,实现训练模型更准确学习用户的兴趣,使推荐系统的推荐性能得到进一步提高。
优选的,作为本发明的一个实施例,所述步骤S1具体包括:
分别将用户与朋友的所述原始消费数据根据预设周期划分为一个序列,得到多个序列段,将每个序列段初始化得到序列数据,根据GRU神经网络展开后,所述用户序列数据表示为xu=(m1,m2,...mj),所述朋友序列数据表示为xf=(k1,k2,...kj),j表示时间步的大小。
其中,在同一社交网络上,相互关注的用户之间为朋友;
其中,用户原始消费数据包括用户消费过的商品信息集合,朋友原始消费数据包括朋友消费过的商品信息集合;
其中,预设周期推荐预设7天为一个周期;
其中,时间步表示GRU神经网络展开后的长度。
优选的,作为本发明的一个实施例,所述步骤S2具体包括:
S21、根据式(1)对所述用户序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hn;根据式(2)对所述朋友序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hf;所述式(1)为:hn=GRU(xu),所述式(2)为:hf=GRU(xf),xu为用户序列数据,xf为朋友序列数据;
S22、根据式(3)将所述用户序列数据和所述多个隐藏状态hn的最后一个隐藏状态融入处理,得到选择门gn;根据式(4)将所述朋友序列数据和所述多个隐藏状态hf的最后一个隐藏状态融入处理,得到选择门gf;所述选择门gn和选择门gf包括所述用户原始消费数据和当前消费特征;
所述式(3)为:gn=σ([W1xu;W2hj]+b),
所述式(4)为:gf=σ([W1xf;W2hg]+b),
式中,σ为激活函数,W1、W2为权重矩阵,b为偏置向量,xu为用户序列数据,xf为朋友序列数据,hj为hn的最后一个隐藏状态,hg为hf的最后一个隐藏状态;
S23、根据式(5)对所述多个隐藏状态hn进行过滤选择,得到用户的当前兴趣,根据式(6)对所述多个隐藏状态hf进行过滤选择,得到朋友的当前兴趣;所述式(5)为
Figure BDA0003076217650000091
所述式(6)为
Figure BDA0003076217650000092
gn和gf为选择门,
Figure BDA0003076217650000093
为哈达码乘积。
需要说明的是,所述hn与所述
Figure BDA0003076217650000094
为不同的两个数值,所述hn表示多个隐藏状态,所述
Figure BDA0003076217650000095
表示用户的当前兴趣;所述hf与所述
Figure BDA0003076217650000096
为不同的两个数值,所述hf表示多个隐藏状态,所述
Figure BDA0003076217650000097
表示朋友的当前兴趣。
可以理解的是,如图2所示,将用户序列数据xu=(m1,m2,...mj)输入到GRU神经网络,得到多个隐藏状态hn=(h1,h2,...hj),多个隐藏状态hn经过过滤选择得到用户的当前兴趣
Figure BDA0003076217650000101
需要说明的是,在用户的消费数据中可能会包含一些与当前兴趣无关的消费信息,比如用户想要买运动器材,但偶然点到了某个数码产品,这个数码产品就是与当前兴趣无关的杂质信息,传统的GRU神经网络很难将这部分无关信息处理过滤掉,因此学习到的用户兴趣不准确。经过选择门处理则可以有效过滤掉不符合用户当前兴趣的一些杂质信息,弱化如数码产品的杂质信息,而保留运动器材,准确学习用户的消费行为,表达用户当前兴趣。
可以理解的是,设计一种带有选择门的GRU神经网络对用户序列数据进行输出,使输出的hn最后一个隐藏状态hj包含了用户当前整个序列数据中最能代表用户当前的整体消费特征的信息,为了准确获取用户的消费兴趣,用hj构造一个选择门,将用户序列数据和hj通过公式融入到选择门gn中,选择门gn=(g1,g2,...gj),使得gn既包含用户的原始信息,又包含用户消费特征信息,再通过哈达码乘积对输出hn进行过滤选择,得到用户的当前兴趣,用户的当前兴趣中包含了与用户整体消费特征有关的特征信息,与之无关的被过滤同理,朋友的当前兴趣包含了与朋友整体消费特征有关的特征信息。用户的当前兴趣即用GRU神经网络学习用户第n+1个序列交互信息得到的用户兴趣,朋友的当前兴趣即用GRU神经网络学习用户第j+1个序列交互信息得到的朋友兴趣。
上述实施例中,用户序列数据和朋友序列数据经过选择门与哈达码乘积进行过滤后,与用户和朋友的当前整体消费特征有关的特征信息被保留,与当前整体消费特征无关的信息被过滤,可以准确地表达用户的当前兴趣。
优选的,作为本发明的一个实施例,所述步骤S3具体包括:
S31、根据式(7)将所述朋友的当前兴趣进行拼接得到兴趣,将所述兴趣进行GRU神经网络输出,将输出的最后一个隐藏状态作为朋友的短期兴趣;所述式(7)为:
Figure BDA0003076217650000111
Figure BDA0003076217650000112
为朋友的当前兴趣,hg为多个隐藏状态hf的最后一个隐藏状态;
S32、对所述朋友初始消费数据的商品数据进行初始化学习,得到朋友的长期兴趣;
S33、将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣。
其中,根据公式
Figure BDA0003076217650000113
将所述兴趣进行GRU神经网络输出。
其中,根据公式
Figure BDA0003076217650000114
将朋友的所述短期兴趣
Figure BDA0003076217650000115
与所述长期兴趣
Figure BDA0003076217650000116
拼接得到朋友的最终兴趣id
可以理解的是:朋友的短期兴趣为用GRU神经网络学习朋友的第j个序列交互信息得到的兴趣;朋友的长期兴趣为不随时间或者短期兴趣而改变,是朋友的固定标签,当朋友的短期兴趣与用户的兴趣不符,但长期兴趣与用户兴趣相符时,同样可以将朋友长期喜欢的东西推荐给用户。
上述实施例中,经过选择过滤可得到包含与当前消费有关的消费特征的朋友的当前兴趣,对朋友的当前兴趣拼接并通过GRU神经网络输出后,使朋友的短期兴趣既包含了朋友过滤后消费特征信息,又包含了朋友整体的消费特征,与朋友的长期兴趣拼接后得到朋友的最终兴趣,不仅丰富了朋友的消费信息,还强调了朋友的消费特征,可进一步准确地获取朋友的消费兴趣。
优选的,作为本发明的一个实施例,所述步骤S4具体包括:
S41、基于图注意力函数式(8)的神经网络,将所述用户的当前兴趣与所述朋友的最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,所述图注意力函数式(8)为:
Figure BDA0003076217650000121
式中,T表示转置,hc表示社交网络上第c个朋友的兴趣,k=d∪u表示k为多个朋友d和用户u的集合,hk表示多个朋友的最终兴趣和用户的当前兴趣集合,hn表示用户序列数据的GRU神经网络输出;
S42、根据式(9)对不同的朋友对用户兴趣的权重加权计算,得到朋友影响,所述式(9)为:
Figure BDA0003076217650000122
式中,k=d∪u表示k为多个朋友d和用户u的集合,hk表示朋友的最终兴趣和用户的当前兴趣集合,ak表示用户兴趣的权重。
需要说明的是,不同的朋友的兴趣与用户的不一定一致,则需要更多关注与用户兴趣相似的朋友上,而少关注与用户兴趣不相似的朋友,因此在卷积的同时,加入图注意力网络区分不同朋友对用户的不同影响。与用户兴趣相似程度越高,不同的朋友对用户的兴趣的权重值越大,反之越小。
上述实施例中,对朋友的最终兴趣进行卷积并根据不同朋友的兴趣权重加权计算,可增强与用户兴趣相似的朋友影响,朋友影响包括用户兴趣,更能准确获取用户的消费兴趣,实现训练模型更准确学习用户的兴趣,使推荐系统的推荐性能得到进一步提高。
优选的,作为本发明的一个实施例,所述步骤S6具体包括:
S61、将所述原始消费数据中的商品数据进行维度转换,转换后的商品数据可表示为z=(z1,z2,...zI);
S62、根据Softmax函数式(10)对所述用户的最终兴趣和所述转换后的商品数据计算得到用户对每个商品的感兴趣的概率大小,所述Softmax函数式(10)为:
Figure BDA0003076217650000131
式中,I为商品的总数量,zy为第y个商品,zq为第q个商品,T为转置,q为任一商品,hl为用户的最终兴趣;
S63、根据式(11)对每个商品的所述兴趣概率大小采用交叉熵损失函数进行模型训练,当输出损失值趋于稳定时,得到训练模型,所述式(11)为:
Figure BDA0003076217650000132
式中,p'q为预测用户对商品感兴趣的概率,1-p'q为预测用户对商品不感兴趣的概率,pq为实际用户对商品感兴趣的概率;
S64、根据所述训练模型以及Recall指标和NDCG指标选择出排名在前的商品信息,将所述商品信息推荐给用户。
其中,将朋友影响与用户的当前兴趣拼接得到用户的最终兴趣hl
其中,损失值趋于稳定时,得到训练模型,根据训练模型可确定用户对每个商品感兴趣的预测概率值p'q,将预测概率值按从大到小排序,通过Recall指标和NDCG指标同时计算,选择排名在前20的对应的商品信息,将商品信息推荐给用户。
其中,将所述商品信息推荐给用户是通过信息流的方式将商品信息推荐给用户。
上述实施例中,采用计算用户对每个商品的感兴趣概率值后,再采用交叉熵损失函数对模型进行训练,可提高训练模型学习用户对每个商品的兴趣的准确性,当输出损失值趋于稳定时,训练模型则可用于对数据进行测试,使推荐系统的推荐性能得到进一步提高。
实施例二
为了便于理解,本实施例以一个较为具体的例子对基于门机制的序列社交推荐方法进行说明,如图3所示,基于门机制的序列社交推荐方法包括:
S1、将用户序列数据xu=(m1,m2,...mj)输入到GRU神经网络,对应于序列数据顺序得到多个隐藏状态hn,多个隐藏状态hn经过选择门过滤选择得到用户的当前兴趣输出得到用户的当前兴趣
Figure BDA0003076217650000141
S2、将朋友序列数据xf=(k1,k2,...kj)输入到GRU神经网络,对应于序列数据顺序得到多个隐藏状态hf,将所述朋友序列数据和所述hf的最后一个隐藏状态hg过滤选择得到朋友的当前兴趣
Figure BDA0003076217650000142
将hg与朋友的当前兴趣
Figure BDA0003076217650000143
拼接得到兴趣i,将兴趣i输入到GRU神经网络输出得到朋友的短期兴趣
Figure BDA0003076217650000144
S3、对朋友消费的所有商品数据进行初始化得到朋友的长期兴趣
Figure BDA0003076217650000145
S4、将朋友的短期兴趣
Figure BDA0003076217650000146
与朋友的长期兴趣
Figure BDA0003076217650000147
拼接得到朋友的最终兴趣id
S5、将朋友的最终兴趣id进行卷积加权计算,得到朋友影响hm,将朋友影响hm与用户的当前兴趣
Figure BDA0003076217650000148
拼接得到用户的最终兴趣hl
S6、根据Softmax函数对用户的最终兴趣hl计算,得到每个商品的概率值;根据用户对商品感兴趣的概率值大小倒序排列,选择出概率值排名在前的商品信息,将所述商品信息推荐给用户。
实施例三
本实施例提供一种基于门机制的序列社交推荐系统,如图4所示,包括:初始模块、兴趣获取模块和训练模块;
所述初始模块,用于分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
所述兴趣获取模块,用于基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣;对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣,将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;基于图注意力的神经网络,对所述用户的当前兴趣和朋友的所述最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
所述训练模块,用于根据Softmax函数对所述用户的最终兴趣进行计算,得到用户对不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
在本实施例还提供一种基于门机制的序列社交推荐系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,以实现如一种基于门机制的序列社交推荐方法的步骤,在此不再一一赘述。
在本实施例还提供一种存储介质,该存储介质包括存储有一个或者多个计算机程序,一个或者多个计算机程序可被一个或者多个处理器执行,以实现如上各实施例中的基于门机制的序列社交推荐的步骤,在此不再一一赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明实施例所提供的技术方案进行了详细介绍,本专利中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述,以上实施例的说明只适用于帮助理解本发明实施例的原理;以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于门机制的序列社交推荐方法,其特征在于,包括如下步骤:
步骤S1、分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
步骤S2、基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣;
步骤S3、对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣,将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;
步骤S4、基于图注意力的神经网络,对所述用户的当前兴趣和所述朋友的最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;
步骤S5、将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
步骤S6、根据Softmax函数对所述用户的最终兴趣进行计算,得到用户对不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
2.根据权利要求1所述的一种基于门机制的序列社交推荐方法,其特征在于,所述步骤S1包括:
分别将用户与朋友的所述原始消费数据根据预设周期划分为一个序列,得到多个序列段,将每个序列段初始化得到序列数据,根据GRU神经网络展开后,所述用户序列数据表示为xu=(m1,m2,...mj),所述朋友序列数据表示为xf=(k1,k2,...kj),j表示时间步的大小。
3.根据权利要求2所述的一种基于门机制的序列社交推荐方法,其特征在于,所述步骤S2包括:
S21、根据式(1)对所述用户序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hn;根据式(2)对所述朋友序列数据进行GRU神经网络输出,对应于序列数据顺序得到多个隐藏状态hf;所述式(1)为:hn=GRU(xu),所述式(2)为:hf=GRU(xf),xu为用户序列数据,xf为朋友序列数据;
S22、根据式(3)将所述用户序列数据和所述多个隐藏状态hn的最后一个隐藏状态融入处理,得到选择门gn;根据式(4)将所述朋友序列数据和所述多个隐藏状态hf的最后一个隐藏状态融入处理,得到选择门gf;所述选择门gn和所述选择门gf包括所述用户原始消费数据和当前消费特征;
所述式(3)为:gn=σ([W1xu;W2hj]+b),
所述式(4)为:gf=σ([W1xf;W2hg]+b),
式中,σ为激活函数,W1、W2为权重矩阵,b为偏置向量,xu为用户序列数据,xf为朋友序列数据,hj为hn的最后一个隐藏状态,hg为hf的最后一个隐藏状态;
S23、根据式(5)对所述多个隐藏状态hn进行过滤选择,得到用户的当前兴趣;根据式(6)对所述多个隐藏状态hf进行过滤选择,得到朋友的当前兴趣;所述式(5)为
Figure FDA0003076217640000021
所述式(6)为
Figure FDA0003076217640000022
gn和gf为选择门,
Figure FDA0003076217640000023
为哈达码乘积。
4.根据权利要求3所述的一种基于门机制的序列社交推荐方法,其特征在于,所述步骤S3包括:
S31、根据式(7)将所述朋友的当前兴趣进行拼接得到兴趣,将所述兴趣进行GRU神经网络输出,将输出的最后一个隐藏状态作为朋友的短期兴趣;所述式(7)为:
Figure FDA0003076217640000031
Figure FDA0003076217640000032
为朋友的当前兴趣,hg为多个隐藏状态hf的最后一个隐藏状态;
S32、对所述朋友初始消费数据的商品数据进行初始化学习,得到朋友的长期兴趣;
S33、将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣。
5.根据权利要求4所述的一种基于门机制的序列社交推荐方法,其特征在于,所述步骤S4包括:
S41、基于图注意力函数式(8)的神经网络,将所述用户的当前兴趣与所述朋友的最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,所述图注意力函数式(8)为:
Figure FDA0003076217640000033
式中,T表示转置,hc表示社交网络上第c个朋友的兴趣,k=d∪u表示k为多个朋友d和用户u的集合,hk表示多个朋友的最终兴趣和用户的当前兴趣集合,hn表示用户序列数据的GRU神经网络输出;
S42、根据式(9)对不同的朋友对用户兴趣的权重加权计算,得到朋友影响,所述式(9)为:
Figure FDA0003076217640000034
式中,k=d∪u表示k为多个朋友d和用户u的集合,hk表示朋友的最终兴趣和用户的当前兴趣集合,ak表示用户兴趣的权重。
6.根据权利要求5所述的一种基于门机制的序列社交推荐方法,其特征在于,所述步骤S6包括:
S61、将所述原始消费数据中的商品数据进行维度转换,转换后的商品数据可表示为z=(z1,z2,...zI);
S62、根据Softmax函数式(10)对所述用户的最终兴趣和所述转换后的商品数据计算得到用户对每个商品的感兴趣的概率大小,所述Softmax函数式(10)为:
Figure FDA0003076217640000041
式中,I为商品的总数量,zy为第y个商品,zq为第q个商品,T为转置,q为任一商品,hl为用户的最终兴趣;
S63、根据式(11)对每个商品的所述兴趣概率大小采用交叉熵损失函数进行模型训练,当输出损失值趋于稳定时,得到训练模型,所述式(11)为:
Figure FDA0003076217640000042
式中,p'q为预测用户对商品感兴趣的概率,1-p'q为预测用户对商品不感兴趣的概率,pq为实际用户对商品感兴趣的概率;
S64、根据所述训练模型以及Recall指标和NDCG指标选择出排名在前的商品信息,将所述商品信息推荐给用户。
7.一种选择门机制基于序列的社交推荐系统,其特征在于,包括初始模块、兴趣获取模块和训练模块;
所述初始模块,用于分别将用户原始消费数据和朋友原始消费数据划分序列,得到用户序列段和朋友序列段,将所述用户序列段和所述朋友序列段初始化,得到供GRU神经网络识别的用户序列数据和朋友序列数据;
所述兴趣获取模块,用于基于选择门机制的GRU神经网络,对所述用户序列数据进行过滤选择,得到用户的当前兴趣,并对所述朋友序列数据进行过滤选择,得到朋友的当前兴趣,对所述朋友的当前兴趣进行拼接处理,得到朋友的短期兴趣;将所述朋友的原始消费数据中的商品数据进行初始化,得到朋友的长期兴趣,将所述朋友的短期兴趣与所述朋友的长期兴趣拼接得到朋友的最终兴趣;基于图注意力的神经网络,对所述用户的当前兴趣和所述朋友的所述最终兴趣进行卷积,得到多个朋友对用户兴趣的权重,根据多个朋友对用户兴趣的权重加权计算得到朋友影响;将所述朋友影响与所述用户的当前兴趣拼接得到用户的最终兴趣;
所述训练模块,用于根据Softmax函数对所述用户的最终兴趣进行计算,得到用户对不同商品的概率分布,根据所述概率分布进行模型训练,得到训练模型,根据所述训练模型向用户推荐商品信息。
8.一种选择门机制基于序列的社交推荐系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,实现如权利要求1至6任一项所述的基于门机制的序列社交推荐方法。
9.一种存储介质,其特征在于,所述存储介质包括存储有一个或者多个计算机程序,所述一个或者多个计算机程序可被一个或者多个处理器执行,以实现如权利要求1至6中任一种基于门机制的序列社交推荐方法。
CN202110553411.3A 2021-05-20 2021-05-20 一种基于门机制的序列社交推荐方法、系统及存储介质 Active CN113407862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110553411.3A CN113407862B (zh) 2021-05-20 2021-05-20 一种基于门机制的序列社交推荐方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110553411.3A CN113407862B (zh) 2021-05-20 2021-05-20 一种基于门机制的序列社交推荐方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113407862A true CN113407862A (zh) 2021-09-17
CN113407862B CN113407862B (zh) 2022-06-17

Family

ID=77679037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110553411.3A Active CN113407862B (zh) 2021-05-20 2021-05-20 一种基于门机制的序列社交推荐方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113407862B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905472A (zh) * 2022-12-07 2023-04-04 广州市南方人力资源评价中心有限公司 商机业务处理方法、装置、服务器及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767301A (zh) * 2019-01-14 2019-05-17 北京大学 推荐方法及系统、计算机装置、计算机可读存储介质
CN110807150A (zh) * 2019-10-14 2020-02-18 腾讯科技(深圳)有限公司 信息处理方法及装置、电子设备和计算机可读存储介质
CN111522962A (zh) * 2020-04-09 2020-08-11 苏州大学 序列推荐方法、装置及计算机可读存储介质
CN112256980A (zh) * 2020-10-23 2021-01-22 辽宁工程技术大学 一种基于动态图注意力网络的多关系协同过滤推荐
CN112507245A (zh) * 2020-12-03 2021-03-16 中国人民大学 基于图神经网络的社交网络好友推荐方法
CN112559904A (zh) * 2020-12-16 2021-03-26 中国计量大学 一种基于门机制和多模态图网络的会话社交推荐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767301A (zh) * 2019-01-14 2019-05-17 北京大学 推荐方法及系统、计算机装置、计算机可读存储介质
CN110807150A (zh) * 2019-10-14 2020-02-18 腾讯科技(深圳)有限公司 信息处理方法及装置、电子设备和计算机可读存储介质
CN111522962A (zh) * 2020-04-09 2020-08-11 苏州大学 序列推荐方法、装置及计算机可读存储介质
CN112256980A (zh) * 2020-10-23 2021-01-22 辽宁工程技术大学 一种基于动态图注意力网络的多关系协同过滤推荐
CN112507245A (zh) * 2020-12-03 2021-03-16 中国人民大学 基于图神经网络的社交网络好友推荐方法
CN112559904A (zh) * 2020-12-16 2021-03-26 中国计量大学 一种基于门机制和多模态图网络的会话社交推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIQIANG SONG等: ""DREAM:A Dynamic Relation-Aware Model for Social Recommendation"", 《CIKM"20:PROCEEDINGS OF THE 29TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 *
ZHIYANG ZENG等: ""Potential purchase intentian capturing method based on consumer"s interests mining in social networks"", 《2022 2ND INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS AND COMPUTER ENGINEERING(ICCECE)》 *
冯勇等: ""融合近邻评论的GRU商品推荐模型"", 《数据分析与知识发现》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905472A (zh) * 2022-12-07 2023-04-04 广州市南方人力资源评价中心有限公司 商机业务处理方法、装置、服务器及计算机可读存储介质

Also Published As

Publication number Publication date
CN113407862B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110503531B (zh) 时序感知的动态社交场景推荐方法
CN113508378A (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
CN110008408A (zh) 一种会话推荐方法、系统、设备及介质
CN111061946A (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN113256367B (zh) 用户行为历史数据的商品推荐方法、系统、设备及介质
EP4181026A1 (en) Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium
CN108665311B (zh) 一种基于深度神经网络的电商用户时变特征相似性计算推荐方法
CN111242729A (zh) 一种基于长短期兴趣的序列化推荐方法
CN110427560A (zh) 一种应用于推荐系统的模型训练方法以及相关装置
CN110413888B (zh) 一种书籍推荐方法及装置
CN106909560B (zh) 兴趣点排序方法
CN111242310A (zh) 特征有效性评估方法、装置、电子设备及存储介质
CN111737578A (zh) 一种推荐方法及系统
CN110955826A (zh) 基于改进型循环神经网络单元的推荐系统
CN114117216A (zh) 推荐概率预测方法及装置、计算机存储介质和电子设备
Dhillon et al. Modeling dynamic user interests: A neural matrix factorization approach
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及系统
CN110727872A (zh) 基于隐式反馈进行不明确选择行为挖掘的方法及装置
CN113407862B (zh) 一种基于门机制的序列社交推荐方法、系统及存储介质
CN115423037A (zh) 一种基于大数据的用户分类方法及系统
CN111949886A (zh) 一种用于信息推荐的样本数据生成方法和相关装置
CN114491267A (zh) 一种物品的推荐方法、装置以及存储介质
CN113688306A (zh) 一种基于强化学习的推荐策略生成方法及装置
CN117455687A (zh) 金融产品的推荐方法、装置、存储介质及电子设备
CN107665202A (zh) 一种构建兴趣模型的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant