CN113902522A - 一种基于图神经网络的专利推荐方法及终端 - Google Patents

一种基于图神经网络的专利推荐方法及终端 Download PDF

Info

Publication number
CN113902522A
CN113902522A CN202111152619.0A CN202111152619A CN113902522A CN 113902522 A CN113902522 A CN 113902522A CN 202111152619 A CN202111152619 A CN 202111152619A CN 113902522 A CN113902522 A CN 113902522A
Authority
CN
China
Prior art keywords
graph
neural network
recommendation
organization
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111152619.0A
Other languages
English (en)
Inventor
林哲
王晖
秦爽
罗景龙
蒋芳清
苏佳轩
张晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202111152619.0A priority Critical patent/CN113902522A/zh
Publication of CN113902522A publication Critical patent/CN113902522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services; Handling legal documents
    • G06Q50/184Intellectual property management

Abstract

本发明公开了一种基于图神经网络的专利推荐方法及终端,所述方法包括:获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取,经过编码及转化处理为图神经网络的图数据样本,利用图神经网络实现节点的图嵌入,采用预训练加微调的机制,经过推荐模型实现需求机构与待售专利之间的匹配,提高推荐质量。

Description

一种基于图神经网络的专利推荐方法及终端
技术领域
本发明涉及信息处理技术领域,尤其涉及一种基于图神经网络的专利推荐方法、终端及计算机可读存储介质。
背景技术
随着当今时代经济全球化、信息全球化的不断深入发展,“知识产权”的重要性日渐凸显。知识产权对于提升一个企业乃至国家的核心竞争力和可持续发展力而言,是不可或缺的战略资源。以产业数据、专利数据为基础的新兴产业专利导航决策机制作为重要改革举措被采纳,旨在运用专利导航方法,通过产业数据、专利数据分析,准确把握战略新兴产业领域和区域重点产业的技术与市场竞争态势,合理推进区域新兴产业布局和结构优化。知识产权只有通过转化投入到产业中使用才能更好地体现其意义,为了使专利有效融入产业,让专利成果有效解决产业实际问题,一个完善的专利交易机制是不可或缺的。然而,在专利交易过程中,买卖双方(如某专利购入机构作为买方,某专利出售方作为卖方)的精准匹配与推荐存在着巨大的挑战。
第一个挑战在于专利交易的成交数据规模较小,从小样本中进行学习与信息挖掘有着较大的局限。其原因可以归结为以下三点:1)专利具有较高的稀缺性。从申请动机的角度考虑,为追求商业利润而申报知识产权的权利人比重较多,而单纯为了交易开展知识产权布局的权利人占比较少,因而能够进入交易平台的专利在申请成功的专利中的占比是非常小的。2)专利交易作为一种无形资产权利的交付,交易展示的仅为权利证书,相较于普通货物商品,其交易过程带来了更高的沟通成本。3)专利交易需要参与者具备很强的专业性。知识产权交易的参与者需要对知识产权的权属信息、价值含量和市场应用前景有较深入的了解或研究,同时,也需要对专利所涉及的技术领域具有一定的基础知识与实践经验,从而判断出专利的含金量,进而实现专利的估价并完成交易。
第二个挑战在于目前主流的推荐模型,如因子分解机、卷积神经网络等,仅仅使用了买卖双方各自的属性信息(如技术领域、地域等),而难以对影响成交的关系信息(如公司之间的合作关系、专利之间的引证关系等)进行建模与学习。实际上,买卖双方及其与专利之间的关系信息对专利的交易起了关键的作用。而由于这种关键信息无法有效进行抽象与表达,目前的专利推荐系统的推荐准确率难以得到保证。如何利用关系信息提高专利交易的成功率,是亟需解决的一个难点。
第三个挑战在于专利交易中的买卖双方各自有着隐私保护的需求。作为买方来说,不愿意公开购买需求以及所购入的知识产权的具体应用场景;作为卖方来说,不愿意公开待售的知识产权应用的具体产品、业务场景以及研制过程中的数据。买卖双方的数据不透明化为大规模专利数据交易增加了阻碍,也成为了专利交易的一个难点。
以提高专利交易推荐的撮合率为目标,目前的专利推荐技术主要存在以下瓶颈问题:
1.高维特征小样本学习过拟合问题:能够被成功进行交易的专利在专利总数中的占比是极小的。如何利用小部分的专利交易信息,为海量未被交易的专利寻求合适的买家以实现其市场价值的最大化,是目前专利交易推荐中的一个难点。此外,每个专利所包含的信息又是十分丰富的。举个例子,专利包含了发明人的信息,所依托的申请单位的信息,以及专利所包含的技术细节等诸多的信息。在小样本的条件下,从海量的信息中筛选和挖掘出与交易正相关的潜在属性无疑更加困难。
传统的推荐系统大多采用机器学习算法,而主流的机器学习算法通常需要使用大量的数据进行训练,以构建具有高泛化能力的预测模型。在高维度特征及小样本数据的情况下,这些机器学习算法容易出现过拟合问题。高维特征小样本学习问题是专利推荐中的瓶颈问题,需要新的方法来解决传统模型无法对高维特征小样本进行有效学习的缺陷。
2.买卖双方的关系网络无法有效建模:专利的信息,如标题、摘要、技术领域等,是专利交易中重要的属性。同样地,企业的市值、融资情况、征信情况等,也作为重要属性在交易中发挥关键作用。除了买卖双方各自的属性信息之外,买卖双方各自也构成了其独特的关系网络。该关系网络包含了买卖双方所属机构在其行业内的竞争合作关系、人才流动关系、专利与专利之间的引证关系等丰富的信息。
传统的推荐算法将买卖双方较为独立的属性信息进行抽取、拼接,用作特征输入到推荐模型进行结果预测。然而,这些传统的推荐算法无法对买卖双方的关系网络进行有效建模。除了买卖双方各自的属性信息之外,买卖双方所构建的关系信息对专利的成功交易也有着不可忽视的作用。因此,需要新的方法在推荐中引入关系网络,并对其进行有效建模,以利用买卖双方的丰富的关系信息提高推荐质量。
3.买卖双方的隐私保护需求:买卖双方在交易的过程中,存在着较强的隐私保护需求。专利需求提出方不愿意过多透露其购买专利的用途,而专利持有方不愿意过多提及其专利被保护的核心内容。在隐私安全保护的前提下,对专利买卖双方进行精准的匹配,是专利交易的一个迫切需求。
4.端边云架构协同设计:专利交易的参与方可以是专利代理机构,这些机构持有大量的专利,拥有较强大的算力,可以充当云平台;专利交易的参与方也可以是小型机构与公司,这些机构发表部分相关的专利,具有一定的算力,作为边设备;此外,专利交易的参与方主体为个体用户,这些用户拥有少部分的专利,但是不具备强大的算力,作为端设备。目前的专利交易推荐并没有考虑端边云架构的协同设计,使得专利交易难以大规模普及。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于图神经网络的专利推荐方法、终端及计算机可读存储介质,旨在解决现有技术中在进行专利交易时无法实现精准匹配和推荐的问题。
为实现上述目的,本发明提供一种基于图神经网络的专利推荐方法,所述基于图神经网络的专利推荐方法包括如下步骤:
获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;
根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述机构与专利关系包括:机构与专利申请关系、机构与专利交易关系、人物与专利发明关系、专利与专利引证关系、专利隶属领域关系、专利隶属国民经济分类、机构与地域隶属关系、人物与领域相关关系以及领域层级关系。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述图神经网络模型包括训练阶段和预测阶段;
所述训练阶段包括预训练阶段和微调阶段。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述预训练阶段包括:
预训练方根据拥有的机构与专利信息,构建机构与专利关系的知识图谱,并对机构与专利关系的知识图谱中的每个节点的信息进行编码及转化;
将机构与专利关系的知识图谱转化为适用于所述图神经网络模型的图数据;
其中,所述编码及转化包括:
将文本类的数据采用自然语言处理的模型对文本信息进行词嵌入表示;
将于非文本类的分类数据采用独热码进行编码。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述微调阶段包括:
将完成预训练阶段的图神经网络模型和推荐模型发送给买方机构和卖方机构;
买方机构和卖方机构根据自己持有的数据,通过相同的知识图谱构建方式构建小规模的机构与专利知识图谱;
买方机构和卖方机构利用各自的数据,对图神经网络模型和推荐模型进行微调训练,并且买方机构和卖方机构在预训练方的协助下进行模型参数平均。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述预测阶段包括:
买方机构和卖方机构将各自拥有的专利及交易数据,构建知识图谱,将图谱信息经过编码转化,作为图数据样本输入到图神经网络预训练模型,得到买方机构需求和待推荐专利的图嵌入表示,作为中间结果;
对发起方的嵌入表示加入噪声保护,发送到响应的参与方;
参与方在收到经过噪声保护的买方机构的图嵌入表示后,与得到专利的图嵌入表示一起输入到下游推荐模型;
所述下游推荐模型利用全连接网络对图嵌入表示进行一次变换,再利用余弦相似度求出买方机构与专利之间的匹配程度,将匹配结果进行排序,将匹配得分最高的专利作为推荐信息,加密传送给发起方;
发起方对推荐结果进行解密,得到推荐列表。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述发起方对推荐结果进行解密,得到推荐列表,包括:
如果发起方是卖方机构,则推荐结果为与专利匹配度最高的买方机构列表;
如果发起方是买方机构,则推荐结果为与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
可选地,所述的基于图神经网络的专利推荐方法,其中,所述基于图神经网络的专利推荐方法还包括:
在预训练阶段过程中,利用云服务器进行模型的本地训练;
在微调阶段过程中,采用安全聚合的方式,在模型聚合的微调阶段,仅传输模型的梯度信息而不传输训练数据,同时在梯度信息的传输过程中,在梯度信息中加入掩码,使聚合协调方无法获得准确的梯度信息;
在预测阶段过程中,通过图嵌入表示进行交互,同时在图嵌入表示的传输中,在图嵌入表示中加入噪声。
此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图神经网络的专利推荐程序,所述基于图神经网络的专利推荐程序被所述处理器执行时实现如上所述的基于图神经网络的专利推荐方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于图神经网络的专利推荐程序,所述基于图神经网络的专利推荐程序被处理器执行时实现如上所述的基于图神经网络的专利推荐方法的步骤。
本发明通过获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取,经过编码及转化处理为图神经网络的图数据样本,利用图神经网络实现节点的图嵌入,采用预训练加微调的机制,经过推荐模型实现需求机构与待售专利之间的匹配,在隐私安全保护的前提下,对专利买卖双方进行精准的匹配,提高推荐质量。
附图说明
图1是本发明基于图神经网络的专利推荐方法的较佳实施例的流程图;
图2是本发明基于图神经网络的专利推荐方法的较佳实施例中构建的机构与专利关系知识图谱的示意图;
图3是本发明基于图神经网络的专利推荐方法的较佳实施例中训练阶段(预训练阶段和微调阶段)的原理示意图;
图4是本发明基于图神经网络的专利推荐方法的较佳实施例中预测阶段的原理示意图;
图5是本发明基于图神经网络的专利推荐方法的较佳实施例中噪声保护下信噪比-NDCG曲线的示意图;
图6是本发明基于图神经网络的专利推荐方法的较佳实施例中加入噪声前后每组样本的余弦相似度幅值变化示意图;
图7为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的基于图神经网络的专利推荐方法,如图1所示,所述基于图神经网络的专利推荐方法包括以下步骤:
步骤S10、获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱(即机构-专利知识图谱)。
其中,所述机构与专利关系包括:机构与专利申请关系、机构与专利交易关系、人物与专利发明关系、专利与专利引证关系、专利隶属领域关系、专利隶属国民经济分类、机构与地域隶属关系、人物与领域相关关系以及领域层级关系。
具体地,如图2所示,图2中涵盖了以下的关系:
机构-专利申请关系:表示专利发明人依托哪个机构进行专利申请;
机构-专利交易关系:表示专利被哪个机构购入,表明最终专利权人的变更关系;
人物-专利发明关系:表示专利由哪个发明人进行发明与申请;
专利-专利引证关系:表示专利权利要求书中引证了哪些专利;
专利隶属领域关系:表示专利属于哪个国际专利分类(IPC)类别;
专利隶属国民经济分类:表示专利属于哪个国民经济分类类别;
机构-地域隶属关系:表示机构位于哪个地区,如省、市;
人物-领域相关关系:表示人物发明的专利与哪些国际专利分类(IPC)类别相关;
领域层级关系:按照IPC细分领域进行进一步的层级划分。
步骤S20、根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
具体地,本发明中的所述图神经网络模型需要提前进行训练,也就是说,所述图神经网络模型包括训练阶段和预测阶段;其中,所述训练阶段包括预训练阶段和微调阶段。
如图3所示,在预训练阶段,预训练方通常为大规模机构-专利数据的拥有者,该参与方充当云服务器的角色,完成大规模图神经网络模型的预训练。预训练方首先根据其拥有的大量机构与专利信息,构建的机构-专利关系知识图谱,并对其中每个节点的信息进行编码及转化。该编码及转化的具体内容包括(1)对于文本类的数据,采用自然语言处理的模型,如BERT,对文本信息进行词嵌入表示;(2)对于非文本类的分类数据,采用独热码进行编码。图谱的节点的各类编码信息拼接在一起,作为节点的属性;节点之间的关系构成有向边,从而将机构-专利知识图谱转化为适用于图神经网络的图数据。通过将机构及专利信息构建成知识图谱,可以将成交信息以边的形式进行结构化表示,同时将机构或专利本身具有的属性信息作为节点的属性(属性指的是机构,例如机构的名称、成立日等信息)表示,利用图神经网络可以同时对属性信息及结构信息进行有效学习,从而提高专利推荐的准确率。
由于成功交易的专利占总专利数的比重是较小的,在训练过程中,有必要引入自监督学习,以缓解标签数据稀疏的问题。以此为出发点,本发明采用基于生成式的图神经网络预训练框架GPT-GNN。GPT-GNN将训练任务分为节点属性预测和连边预测两个子任务,通过对节点的属性以及连边信息进行掩码并预测,实现自监督学习(就是说在训练该模型的时候,分为两个任务:一个是将某一个节点的属性进行掩码,模型根据该节点连接的其他节点的属性及连边关系,预测该节点的属性值;另一个是将某两个节点之间的边进行掩码,然后根据这两个节点的属性,预测这两个节点之间是否存在边以及边值)。这两个子任务并非相互独立的,GPT-GNN在训练过程中考虑到了网络结构与节点属性之间的依赖关系,即利用结构信息生成节点的属性信息,反之,利用预测到的节点信息进一步用来生成其他结构信息。由于自监督机制的引入,GPT-GNN对解决大规模图挖掘应用中标签数据稀疏的挑战提供了有效的解决方案。因此,本发明采用GPT-GNN进行大规模机构-专利交易训练与预测。
进一步地,GPT-GNN的输出结果为各个节点的图嵌入表示,即将节点的属性及其连边关系用一个向量进行统一表示。本发明按照专利推荐的实际场景,以向专利推荐相应的买方机构以及向买方机构推荐相应的专利为目标,构建买方机构与专利之间的链路预测问题,作为下游任务对预训练模型进行进一步的迭代更新。
具体地说,本发明采用相似性匹配的方法,按照买方机构与专利之间的匹配程度给专利推荐相应的买方机构以及给买方机构推荐相应的专利,例如,根据节点的嵌入表示相似性进行推荐是推荐系统中的常用做法,这里的假设是买卖双方越相似,则推荐结果越有用,比如一个机构持有很多半导体专利,他购买半导体专利的可能性就高于购买食品专利的可能性,这种情况下,半导体专利与半导体机构的图嵌入相似性较高。本发明将节点的图嵌入表示作为特征使用,将买方机构节点的图嵌入表示经过一个全连接层进行一步线性变换,再与专利节点的图嵌入表示进行余弦相似度的计算。具体地说,给定一个专利(卖方),将其与众多公司机构(买方)进行逐一匹配,求余弦相似度。最终按照相似性进行排序,将排名靠前的一定数量的公司机构作为推荐结果。在下游任务对预训练模型的迭代更新中,本发明采用归一化折扣累积增益(Normalized Discounted Cumulative Gain,NDCG)作为评价指标。
如图3所示,在微调阶段,在完成模型预训练阶段之后,模型预训练方将预训练模型,包括图神经网络和推荐模型,分发给多个买方机构和卖方机构。买卖方(买方机构和卖方机构)根据己方持有的数据,通过相同的知识图谱构建方式构建小规模的机构-专利知识图谱。此后,买卖方利用各自的数据,对模型进行微调训练,之后买卖方在预训练方的协助下进行模型参数平均(这里的微调训练和模型参数平均是指在原有的模型基础上再基于本机构所有的少量样本进行训练,指的是在已有模型上用少量样本在进一步小幅度调整参数,模型参数平均是指多方利用己方的数据对各自模型进行微调,但是微调后各个模型参数不统一,为了使用统一的模型,需要进行模型参数平均)。由于在训练过程中,买卖方引入了各自的隐私数据,为了保护各自的隐私数据不会在模型参数平均的过程中遭到泄露,本发明采用安全聚合进行模型参数更新。具体地说,买卖方在参数中加入掩码,实现对己方模型的隐私保护,这里采用的是安全聚合技术,大致原理是参与方A在参数上加入掩码(+X),参与方B在参数上减去掩码(-X),在协调方对AB参数进行相加与平均,这个过程中掩码相消;这是两方的简单示例,可以拓展至多个参与方。在掩码加入的过程中,各方加入的掩码满足互相抵消的条件。此后,买卖方将经过掩码的参数发送给预训练方,进行模型参数的平均,最后将模型参数发送给各个参与方。
值得注意的是,以上微调为可选操作。买卖方可根据其拥有的数据量以及算力规模,决定是否参与微调训练。若选择不参与,可以直接使用预训练模型进行专利推荐。
另外,该方案适用于端边云架构:云参与方可以利用大量算力实现图神经网络模型的预训练,边参与方可以利用一定的算力实现模型的微调,而端参与方在算力资源较缺乏的情况下,可以不参与预训练与微调,直接使用云及边参与方训练好的模型实现推荐。
如图4所示,在预测阶段,图4展示了买卖双方的推荐过程。其中,买卖双方将其拥有的专利及交易数据,构建知识图谱,将图谱信息经过编码转化,作为图数据样本输入到图神经网络预训练模型,得到买方机构需求和待推荐专利的图嵌入表示,作为模型的中间结果。该交易示例对发起方(例如买方,即专利需求机构)的嵌入表示加入噪声保护,发送到另一个响应的参与方(例如卖方,即专利持有方)。卖方在收到经过噪声保护的买方机构图嵌入表示之后,与通过本地模型得到的专利图嵌入表示一起输入到下游推荐模型。该下游推荐模型利用全连接网络对嵌入表示进行一次变换,再利用余弦相似度求出买方机构与专利之间的匹配程度,最后把匹配结果进行排序,将匹配得分最高的专利作为推荐信息,加密传送给发起方。发起方对结果进行解密,得到推荐列表。如果发起方是卖方机构,则推荐结果为与专利匹配度最高的买方机构列表,反之,如果发起方是买方机构,则推荐结果为与该买方机构所提出的专利需求匹配度最高的卖方专利列表。
在预测阶段,参与方的主要操作是利用语言模型以及图神经网络进行前向传播得到节点的图嵌入表示。在语言模型的选择上,使用轻量化的语言模型,如TinyBert,使词嵌入表示能够在端边云设备上高效运行。此外,由于图神经网络通常为2至5层,其参数规模较小,因而能同时适用于端边云三种架构,通过图神经网络获得图嵌入表示。除了图神经网络之外,在推荐中还包含相似性匹配阶段,该阶段可以在云和边设备参与方一侧进行,从而减少端设备参与方的计算量。
进一步地,本发明在专利交易中引入了对买卖双方隐私的安全保护。在训练与预测阶段均严格遵守数据不出本地的原则,只对模型参数与中间结果进行了交互。本发明提出在专利交易推荐中,利用云服务器完成预训练模型的本地训练,利用云或边设备完成模型的微调,利用端边云设备实现模型预测以完成专利推荐。在预训练过程中,利用云服务器进行模型的本地训练,在该过程中没有与其他参与方进行训练数据交互,因而隐私数据得到保护。在微调阶段,本发明采用安全聚合的方式,在模型聚合的微调阶段,仅传输模型的梯度信息而没有传输训练数据;同时在梯度信息的传输过程中,在梯度信息中加入掩码,使聚合协调方无法获得准确的梯度信息,进而对参与方的模型信息实现进一步的保护。在预测阶段,本发明通过图嵌入表示(即图神经网络的输出结果)进行交互,避免了原始数据的传输;同时,在图嵌入表示的传输中,在图嵌入表示中加入噪声,在不影响推荐结果的情况下,使图嵌入信息得到进一步保护。
本发明利提出的基于图神经网络的专利推荐的全过程中,没有原始数据的传输,同时在可能包含隐私信息的中间结果的交互过程中,通过安全聚合或噪声保护对中间结果进行掩盖,进一步实现了有效的隐私保护机制。
利用本发明提出的基于图神经网络的专利推荐方法,本发明构建了超过440万节点,超过6300万边的大规模机构-专利知识图谱。基于该实际的知识图谱,实现了专利交易推荐平台。本发明在实验中共采集了45056条交易信息作为正样本,并通过随机采样的方式,为每个正样本产生99个负样本。这样得到的100个样本作为一组样本进行推荐与结果评估。具体测试指标如表1所示。本发明将提出的图神经网络预训练加微调的方法与传统方法,即用自然语言处理的方式处理文本类型的数据,结合其他信息作为特征,直接进行相似性匹配的方法,进行对比。对比测试的指标为推荐系统中的重要指标归一化折扣累积增益NDCG和平均倒数排名MRR。在NDCG指标上,本发明提出的方法相较于传统方法,提高了41%;在MRR指标上,本发明提出的方法相较于传统方法,提高了高达80%。
采用的方法 NDCG MRR
本发明提出方法 0.861 0.759
传统方法 0.608 0.421
表1本发明提出的方案与传统方案实验结果对比
本发明提出在预测阶段,对需要传输的图嵌入表示加入噪声进行保护。本发明对加入噪声产生的推荐性能影响进行实验评估。结果如图5所示。在图5中,采用信噪比(Signal-to-Noise Ratio,SNR)衡量噪声对原始信号的影响,其定义为:
Figure BDA0003287599040000171
其中Asignal表示传输信号的幅值,Anoise表示噪声信号的幅值。当SNR的值为1的时候,噪声信号与原始信号有相同的幅度,为强噪声。在该情况下,NDCG的值为0.855,相比未加入噪声的情况(NDCG值为0.861),NDCG衰减仅为0.70%。可见,在加入强噪声对图嵌入表示进行保护的情况下,本发明提出的专利推荐系统仍然保持着高性能。此外,从图5也可以看出,在SNR大于1的情况下,NDCG基本保持恒定不变。
图6解释了在加入强噪声情况下,专利推荐的性能得以保持的原因。在图6的实验中,对于每组100个样本(由1个正样本和99个负样本组成),计算加入噪声后的买方机构-待推荐专利之间的相似度。该值表示专利与买方机构的匹配程度,为推荐排序所使用的重要指标。求出加入噪声前后的相似度差值,并以0.01作为观察粒度,统计每一组正负样本中出现相同相似度差值的频次。图6(a)展示了每一组样本中相似度差值出现的最高频次的分布情况。
从图6(a)的分布图可以看出,在加入噪声之后,买方机构-专利之间的相似度在每组样本内的变化值趋向一致。从图6(b)可以进一步看出,加入噪声后,在每一组100个相似度测量值中,至少有40%的相似度呈现相同变化值。该结论适用于高达87%以上的样本。由于推荐结果是根据相似度进行排序,可见,相似度的相对变化值并不影响推荐结果。因而,噪声对推荐结果的影响较小。加入噪声对图嵌入表示进行保护的形式能在保持高推荐性能的情况下,进一步提高隐私保护的力度。
综上所述:本发明以图谱的形式完成对专利及机构信息的抽取,经过编码及转化处理为图神经网络的图数据样本,利用图神经网络实现节点的图嵌入,采用预训练加微调的机制,经过推荐模型实现需求机构与待售专利之间的匹配。
为了满足买卖双方对于隐私保护的需求,本发明在模型训练阶段,采用预训练加微调的机制,使买卖双方数据能够以不出本地的形式实现模型更新,保证了用户的隐私数据不被泄露;在微调中采用安全聚合的形式实现多个微调模型的联合更新,进一步保护模型参数,防止了通过取得的模型参数反推用户数据的风险。此外,本发明在预测阶段,将买卖双方的本地图神经网络模型输出的图嵌入表示(中间结果)通过引入噪声进行数据保护,避免了用户隐私数据的传输,并对需要传输的中间结果进行隐私保护,进而实现预测阶段的用户隐私数据保护。
本发明提出端边云架构下的专利交易推荐模式及其相应的系统实现:利用云服务器实现大规模的专利交易知识图谱构建以及图神经网络预训练模型构建;利用云及边设备实现图神经网络联邦微调;利用端边云设备实现噪声保护机制下的知识产权交易推荐。该系统可以覆盖专利交易推荐中的绝大部分使用情况(具有强大算力的专利代理机构、具有部分算力的小型企业、具有少量算力的个人散户等)。
进一步地,本发明采用的图神经网络模型为GPT-GNN,该模型也可以替换成其他主流的图神经网络模型,如GCN、GraphSAGE、GAT和GIN。本发明采用的推荐模型为全连接网络加余弦相似度计算,该推荐模型也可以替换成其他主流的机器学习分类模型,如因子分解机、决策树等。以上为本方案实现方案的替代方案。
进一步地,如图7所示,基于上述基于图神经网络的专利推荐方法,本发明还相应提供了一种终端,所述终端包括处理器10、存储器20及显示器30。图7仅示出了终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元,例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据,例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有基于图神经网络的专利推荐程序40,该基于图神经网络的专利推荐程序40可被处理器10所执行,从而实现本申请中基于图神经网络的专利推荐方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述基于图神经网络的专利推荐方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中基于图神经网络的专利推荐程序40时实现以下步骤:
获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;
根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
其中,所述机构与专利关系包括:机构与专利申请关系、机构与专利交易关系、人物与专利发明关系、专利与专利引证关系、专利隶属领域关系、专利隶属国民经济分类、机构与地域隶属关系、人物与领域相关关系以及领域层级关系。
其中,所述图神经网络模型包括训练阶段和预测阶段;
所述训练阶段包括预训练阶段和微调阶段。
其中,所述预训练阶段包括:
预训练方根据拥有的机构与专利信息,构建机构与专利关系的知识图谱,并对机构与专利关系的知识图谱中的每个节点的信息进行编码及转化;
将机构与专利关系的知识图谱转化为适用于所述图神经网络模型的图数据;
其中,所述编码及转化包括:
将文本类的数据采用自然语言处理的模型对文本信息进行词嵌入表示;
将于非文本类的分类数据采用独热码进行编码。
其中,所述微调阶段包括:
将完成预训练阶段的图神经网络模型和推荐模型发送给买方机构和卖方机构;
买方机构和卖方机构根据自己持有的数据,通过相同的知识图谱构建方式构建小规模的机构与专利知识图谱;
买方机构和卖方机构利用各自的数据,对图神经网络模型和推荐模型进行微调训练,并且买方机构和卖方机构在预训练方的协助下进行模型参数平均。
其中,所述预测阶段包括:
买方机构和卖方机构将各自拥有的专利及交易数据,构建知识图谱,将图谱信息经过编码转化,作为图数据样本输入到图神经网络预训练模型,得到买方机构需求和待推荐专利的图嵌入表示,作为中间结果;
对发起方的嵌入表示加入噪声保护,发送到响应的参与方;
参与方在收到经过噪声保护的买方机构的图嵌入表示后,与得到专利的图嵌入表示一起输入到下游推荐模型;
所述下游推荐模型利用全连接网络对图嵌入表示进行一次变换,再利用余弦相似度求出买方机构与专利之间的匹配程度,将匹配结果进行排序,将匹配得分最高的专利作为推荐信息,加密传送给发起方;
发起方对推荐结果进行解密,得到推荐列表。
其中,所述发起方对推荐结果进行解密,得到推荐列表,包括:
如果发起方是卖方机构,则推荐结果为与专利匹配度最高的买方机构列表;
如果发起方是买方机构,则推荐结果为与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
其中,所述基于图神经网络的专利推荐方法还包括:
在预训练阶段过程中,利用云服务器进行模型的本地训练;
在微调阶段过程中,采用安全聚合的方式,在模型聚合的微调阶段,仅传输模型的梯度信息而不传输训练数据,同时在梯度信息的传输过程中,在梯度信息中加入掩码,使聚合协调方无法获得准确的梯度信息;
在预测阶段过程中,通过图嵌入表示进行交互,同时在图嵌入表示的传输中,在图嵌入表示中加入噪声。
本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于图神经网络的专利推荐程序,所述基于图神经网络的专利推荐程序被处理器执行时实现如上所述的基于图神经网络的专利推荐方法的步骤。
综上所述,本发明提供一种基于图神经网络的专利推荐方法、终端及计算机可读存储介质,所述方法包括:获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取,经过编码及转化处理为图神经网络的图数据样本,利用图神经网络实现节点的图嵌入,采用预训练加微调的机制,经过推荐模型实现需求机构与待售专利之间的匹配,在隐私安全保护的前提下,对专利买卖双方进行精准的匹配,提高推荐质量。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于图神经网络的专利推荐方法,其特征在于,所述基于图神经网络的专利推荐方法包括:
获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;
根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
2.根据权利要求1所述的基于图神经网络的专利推荐方法,其特征在于,所述机构与专利关系包括:机构与专利申请关系、机构与专利交易关系、人物与专利发明关系、专利与专利引证关系、专利隶属领域关系、专利隶属国民经济分类、机构与地域隶属关系、人物与领域相关关系以及领域层级关系。
3.根据权利要求1所述的基于图神经网络的专利推荐方法,其特征在于,所述图神经网络模型包括训练阶段和预测阶段;
所述训练阶段包括预训练阶段和微调阶段。
4.根据权利要求3所述的基于图神经网络的专利推荐方法,其特征在于,所述预训练阶段包括:
预训练方根据拥有的机构与专利信息,构建机构与专利关系的知识图谱,并对机构与专利关系的知识图谱中的每个节点的信息进行编码及转化;
将机构与专利关系的知识图谱转化为适用于所述图神经网络模型的图数据;
其中,所述编码及转化包括:
将文本类的数据采用自然语言处理的模型对文本信息进行词嵌入表示;
将于非文本类的分类数据采用独热码进行编码。
5.根据权利要求4所述的基于图神经网络的专利推荐方法,其特征在于,所述微调阶段包括:
将完成预训练阶段的图神经网络模型和推荐模型发送给买方机构和卖方机构;
买方机构和卖方机构根据自己持有的数据,通过相同的知识图谱构建方式构建小规模的机构与专利知识图谱;
买方机构和卖方机构利用各自的数据,对图神经网络模型和推荐模型进行微调训练,并且买方机构和卖方机构在预训练方的协助下进行模型参数平均。
6.根据权利要求5所述的基于图神经网络的专利推荐方法,其特征在于,所述预测阶段包括:
买方机构和卖方机构将各自拥有的专利及交易数据,构建知识图谱,将图谱信息经过编码转化,作为图数据样本输入到图神经网络预训练模型,得到买方机构需求和待推荐专利的图嵌入表示,作为中间结果;
对发起方的嵌入表示加入噪声保护,发送到响应的参与方;
参与方在收到经过噪声保护的买方机构的图嵌入表示后,与得到专利的图嵌入表示一起输入到下游推荐模型;
所述下游推荐模型利用全连接网络对图嵌入表示进行一次变换,再利用余弦相似度求出买方机构与专利之间的匹配程度,将匹配结果进行排序,将匹配得分最高的专利作为推荐信息,加密传送给发起方;
发起方对推荐结果进行解密,得到推荐列表。
7.根据权利要求6所述的基于图神经网络的专利推荐方法,其特征在于,所述发起方对推荐结果进行解密,得到推荐列表,包括:
如果发起方是卖方机构,则推荐结果为与专利匹配度最高的买方机构列表;
如果发起方是买方机构,则推荐结果为与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。
8.根据权利要求3-7任一项所述的基于图神经网络的专利推荐方法,其特征在于,所述基于图神经网络的专利推荐方法还包括:
在预训练阶段过程中,利用云服务器进行模型的本地训练;
在微调阶段过程中,采用安全聚合的方式,在模型聚合的微调阶段,仅传输模型的梯度信息而不传输训练数据,同时在梯度信息的传输过程中,在梯度信息中加入掩码,使聚合协调方无法获得准确的梯度信息;
在预测阶段过程中,通过图嵌入表示进行交互,同时在图嵌入表示的传输中,在图嵌入表示中加入噪声。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图神经网络的专利推荐程序,所述基于图神经网络的专利推荐程序被所述处理器执行时实现如权利要求1-8任一项所述的基于图神经网络的专利推荐方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于图神经网络的专利推荐程序,所述基于图神经网络的专利推荐程序被处理器执行时实现如权利要求1-8任一项所述的基于图神经网络的专利推荐方法的步骤。
CN202111152619.0A 2021-09-29 2021-09-29 一种基于图神经网络的专利推荐方法及终端 Pending CN113902522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111152619.0A CN113902522A (zh) 2021-09-29 2021-09-29 一种基于图神经网络的专利推荐方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111152619.0A CN113902522A (zh) 2021-09-29 2021-09-29 一种基于图神经网络的专利推荐方法及终端

Publications (1)

Publication Number Publication Date
CN113902522A true CN113902522A (zh) 2022-01-07

Family

ID=79189293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111152619.0A Pending CN113902522A (zh) 2021-09-29 2021-09-29 一种基于图神经网络的专利推荐方法及终端

Country Status (1)

Country Link
CN (1) CN113902522A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372732A (zh) * 2022-03-22 2022-04-19 杭州杰牌传动科技有限公司 实现用户需求智能匹配的减速电机协同制造方法和系统
CN114491082A (zh) * 2022-03-31 2022-05-13 南京众智维信息科技有限公司 基于网络安全应急响应知识图谱特征提取的预案匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233305A1 (en) * 1999-11-01 2003-12-18 Neal Solomon System, method and apparatus for information collaboration between intelligent agents in a distributed network
CN110910243A (zh) * 2019-09-26 2020-03-24 山东佳联电子商务有限公司 一种基于可重构大数据知识图谱技术的产权交易方法
CN112990295A (zh) * 2021-03-10 2021-06-18 中国互联网络信息中心 一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置
CN113065928A (zh) * 2021-04-22 2021-07-02 上海日羲科技有限公司 一种基于大数据的电商交易方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233305A1 (en) * 1999-11-01 2003-12-18 Neal Solomon System, method and apparatus for information collaboration between intelligent agents in a distributed network
CN110910243A (zh) * 2019-09-26 2020-03-24 山东佳联电子商务有限公司 一种基于可重构大数据知识图谱技术的产权交易方法
CN112990295A (zh) * 2021-03-10 2021-06-18 中国互联网络信息中心 一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置
CN113065928A (zh) * 2021-04-22 2021-07-02 上海日羲科技有限公司 一种基于大数据的电商交易方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372732A (zh) * 2022-03-22 2022-04-19 杭州杰牌传动科技有限公司 实现用户需求智能匹配的减速电机协同制造方法和系统
CN114491082A (zh) * 2022-03-31 2022-05-13 南京众智维信息科技有限公司 基于网络安全应急响应知识图谱特征提取的预案匹配方法

Similar Documents

Publication Publication Date Title
Han et al. A fuzzy TOPSIS method for performance evaluation of reverse logistics in social commerce platforms
US20140317033A1 (en) Predictive and descriptive analysis on relations graphs with heterogeneous entities
Lee et al. A causal knowledge-based expert system for planning an Internet-based stock trading system
Fujita et al. Efficient issue-grouping approach for multiple interdependent issues negotiation between exaggerator agents
CN113902522A (zh) 一种基于图神经网络的专利推荐方法及终端
Maziriri et al. Antecedents that influence the intention to use the Uber mobile application: Customer perspectives in South Africa
Pandey et al. A fuzzy decision making approach for analogy detection in new product forecasting
Si Research on the balanced relationship between online consumer behavior and E-commerce service quality based on 5G network
WO2024025863A1 (en) Systems and methods for providing process automation and artificial intelligence, market aggregation, and embedded marketplaces for a transactions platform
Yang et al. The impact of digitalization and digital logistics platform adoption on organizational performance in maritime logistics of Taiwan
Hannemann et al. Applying a decision model based on multiple criteria decision making methods to evaluate the influence of digital transformation technologies on enterprise architecture principles
Hasan et al. Understanding data products: Motivations, definition, and categories
Büyüközkan et al. Fuzzy multi-criteria evaluation of knowledge management tools
Lee et al. Interpreting the web-mining results by cognitive map and association rule approach
Chen The augmenting effects of artificial intelligence on marketing performance
Iwai et al. Bayesian Network Oriented Transfer Learning Method for Credit Scoring Model
Almomani et al. Application of choice models in tourism recommender systems
Wang A dynamic CGE model for consumer trust mechanism within an e-commerce market
Li et al. Impact of data-driven online financial consumption on supply chain services
Arnold et al. European Data Economy: Between Competition and Regulation
Zhao et al. Research on a complex network and online review data-driven product innovation design
Wen et al. Improving the novelty of retail commodity recommendations using multiarmed bandit and gradient boosting decision tree
Khaneghah et al. Artemis time: A mathematical model to calculate maximum acceptable waiting time in B2C e-commerce
Ma et al. Evaluation of product conceptual design based on Pythagorean fuzzy set under big data environment
Crama et al. Sweet sixteen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination