CN112948581B - 专利自动分类方法、装置、电子设备及存储介质 - Google Patents

专利自动分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112948581B
CN112948581B CN202110167373.8A CN202110167373A CN112948581B CN 112948581 B CN112948581 B CN 112948581B CN 202110167373 A CN202110167373 A CN 202110167373A CN 112948581 B CN112948581 B CN 112948581B
Authority
CN
China
Prior art keywords
network
view network
view
assignee
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110167373.8A
Other languages
English (en)
Other versions
CN112948581A (zh
Inventor
徐童
方林涛
张乐
武晗
周丁
陈恩红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110167373.8A priority Critical patent/CN112948581B/zh
Publication of CN112948581A publication Critical patent/CN112948581A/zh
Application granted granted Critical
Publication of CN112948581B publication Critical patent/CN112948581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • G06Q50/184—Intellectual property management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Technology Law (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供一种专利自动分类方法、装置、电子设备及存储介质，引入多视角学习和网络表示学习相关领域的方法，可以更为准确地建模专利的类别与诸如文本信息、受让人信息和发明人信息等元特征间的关系，能够显著提升对于专利分类的准确率。

Description

专利自动分类方法、装置、电子设备及存储介质
技术领域
本发明涉及数据挖掘技术领域，更具体地说，涉及一种专利自动分类方法、装置、电子设备及存储介质。
背景技术
专利自动分类对于提高大规模专利管理和服务的效率具有重要意义。通常情况下，一个专利审查员会根据其具有的领域知识手工将每个专利手动分为多个类别。然而，近年来专利申请迅速增长，传统的手动操作费力费时，几乎无法满足需求。因此，迫切需要自动专利分类工具来支持相关服务。
传统上，相关技术将专利分类视作文本分类问题，即给定一个专利问题，判断其归属的类别。然而，专利文献的复杂性使得传统的文本分类方法无法很好的运用：首先，专利文献页面冗长，结构比较复杂，使得提取其中有效的特征比较困难；其次，专利分类体系的层次化结构比较复杂，类别标签集巨大，给选择合适类别带来了困难。
因此，如何准确对专利进行分类，成为现阶段亟需解决的问题。
发明内容
有鉴于此，为解决上述问题，本发明提供一种专利自动分类方法、装置、电子设备及存储介质，技术方案如下：
一种专利自动分类方法，所述方法包括：
获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息；
调用预先基于多视角学习和网络表示学习所生成的分类模型；
将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别。
优选的，所述分类模型的生成过程，包括：
获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系；
分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示；
对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示；
将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
优选的，所述获取专利数据库单一视角的视图网络，包括：
收集所述专利数据库中专利的基础信息；
剔除所述专利数据库中基础信息不包含受让人信息或者发明人信息的专利，得到有效专利；
对于所述有效专利，对其基础信息中的文本信息进行停用词去除得到有效文本信息；
根据所述有效专利的有效文本信息、受让人信息和发明人信息识别单一视角下的节点和边，并对所识别到的节点和边执行构建操作得到相应的视图网络。
优选的，所述对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示之前，所述方法还包括：
分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
优选的，所述将所述专利表示输入至多层前馈神经网络中之前，所述方法还包括：
基于所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示，对所述专利表示进行对齐约束。
一种专利自动分类装置，所述装置包括：
模型生成模块，用于预先基于多视角学习和网络表示学习生成分类模型；
信息获取模块，用于获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息；
专利分类模块，用于调用所述分类模型；将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别。
优选的，所述模型生成模块，具体用于：
获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系；分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示；对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示；将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
优选的，所述模型生成模块，还用于：
分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
一种电子设备，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现任意一项所述的专利自动分类方法。
一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行任意一项所述的专利自动分类方法。
相较于现有技术，本发明实现的有益效果为：
本发明提供一种专利自动分类方法、装置、电子设备及存储介质，引入多视角学习和网络表示学习相关领域的方法，可以更为准确地建模专利的类别与诸如文本信息、受让人信息和发明人信息等元特征间的关系，能够显著提升对于专利分类的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的专利自动分类方法的方法流程图；
图2为本发明实施例提供的专利自动分类方法的部分方法流程图；
图3为本发明实施例提供的视图网络；
图4为本发明实施例提供的增强处理示意图；
图5为本发明实施例提供的专利自动分类装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在目前的技术中，关于自动专利分类的方法主要有以下两个方面：
1)挖掘不同类型的专利特征信息
由于专利数据存在多种结构化的元特征和非结构化的信息，研究者通常通过挖掘不同类型的专利特征，例如术语，短语，摘要等进行专利分类。通过先前工作的分析和总结可知，专利文本信息通常是区分不同类型专利最广泛利用的因素，说明文本信息所包含的特征确实能够帮助提供专利自动分类的效果。
2)设计特殊的专利分类器
另一方面的研究主要聚焦于设计特殊的专利分类器以提高专利分类的效果。基于传统的机器学习算法，例如关联规则、支持向量机、朴素贝叶斯，最近邻算法等已经被广泛研究，这些方法能够很好的利用不同方面的专利特征划分不同的专利类别。近年来，随着深度学习的迅速发展，卷积神经网络、循环神经网络、图神经网络等方法也被引入来增强分类器的表示性能，得益于强大的深度表征能力，这类算法极大的提高了专利分类的准确性。
上述两种方法虽然认识到不同特征对分类结果的影响，并能够有效的设计分类器从而来进行专利自动分类。然而，之前的大多数工作仍主要针对于专利分类的单一特征方面。换言之，很少有人关注基于各种元特征(例如，单词，专利，发明人和受让人公司)之间的潜在相关性的多视图视角，例如专利与发明人、专利与公司之间的关系。
事实上，可以发现专利的类别与其公司或发明人是高度相关的，这可能促进专利分类的效果。总而言之，专利数据中存在大量的专利与发明人和受让人之间的交互信息，已有的方法忽略了这些跨视图的相互联系的知识，而这方面信息必然对专利分类有重要的影响。
基于此，本发明实施例提供一种专利自动分类方法，该方法的方法流程图如图1所示，包括如下步骤：
S10，获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息。
本发明实施例中，目标专利即待分类的专利，其基础信息可以通过其公开的内容来获取，在专利的文档中，可以获取其包括标题和摘要等文本信息、受让人信息、发明人信息等。
S20，调用预先基于多视角学习和网络表示学习所生成的分类模型。
本发明实施例中，通过引入多视角学习与网络表示学习两个领域的方法建立分类模型，可以更加有效的利用不同视图来源的信息提升专利预测准确率。
具体实现过程中，分类模型的生成过程，包括如下步骤，方法流程图如图2所示：
S201，获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系。
本发明实施例中，从语义视角、受让人视角和发明人视角来看，分别获取专利数据库的语义视图网络、受让人视图网络和合作视图网络。
参见图3所示的视图网络。图3中左侧所示的网络为语义视角网络(SemanticView)，其中的节点表示一个专利或者一个单词，边表示专利具有某个词或者词与词之间的共现关系，而词共现关系即若在原始文本中两个单词w1、w2相继出现，则词节点w1和w2之间具有一条边。
比如，专利p的文本中包含单词w1、专利q的文本中包含单词w2，则专利节点p和词节点w1之间具有一条边、专利节点q和词节点w2之间具有一条边。再比如，单词w1和单词w2同时位于另一个专利中，则单词w1和单词w2具有词共现关系，词节点w1和词节点w2之间具有一条边。
继续参见图3，图3中间所示的网络的为受让人视图网络(Assignee View)，其中的节点表示一个专利或者一个受让人(一般是公司)，其中的边具有两种类型，第一种边表示专利之间的引用关系，即若一个专利引用了另一个专利则其两者间具有一条边；第二种边表示专利的受让关系即若一个专利的受让人为一家公司，则在其两者间具有一条边。
继续参见图3，图3右侧所示的网络的为合作视图网络(Cooperatiave View)，其中的节点表示一个专利或者一个发明人，其中的边具有两种类型，第一种边表示专利之间的引用关系，即若一个专利引用了另一个专利则其两者间具有一条边；第二种边表示专利与发明人之间的发明关系，即专利与其发明人之间具有一条边。通常一个专利具有多个发明人。
在具体实现过程中，步骤201“获取专利数据库单一视角的视图网络”可以采用如下步骤：
收集所述专利数据库中专利的基础信息；剔除所述专利数据库中基础信息不包含受让人信息或者发明人信息的专利，得到有效专利；对于所述有效专利，对其基础信息中的文本信息进行停用词去除得到有效文本信息；根据所述有效专利的有效文本信息、受让人信息和发明人信息识别单一视角下的节点和边，并对所识别到的节点和边执行构建操作得到相应的视图网络。
本发明实施例中，专利数据库中内包含各专利的公开信息，除包含专利的基础信息(文本信息、受让人信息和发明人信息等)，还包含专利的分类、引用的专利等信息。
由于本发明所针对的视角包含受让人视角和发明人视角，因此，对于专利库中没有受让人或者发明人的专利，会对后续的多视图表示造成困扰，因此首先对这部分专利进行剔除得到有效专利。
再者，无论是专利标题，还是专利摘要等文本信息，应首先去除文本信息中的停用词(如the，a等词)，以免对后续的文本向量化表示造成干扰。最后，考虑各视图网络节点和边的定义，识别各视图网络的节点和边，并执行构建操作得到语义视图网络、受让人视图网络和合作视图网络。
S202，分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示。
本发明实施例中，通过网络表示算法对单一视角的视图网络进行网络嵌入，学习专利在不同视角下的低维向量表示，进而可以更充分的从不同视角捕捉专利的特征。
具体实现过程中，对于语义视图网络，本发明使用图神经网络中的GraphSAGE算法学习到语义视图网络的节点表征，即对任意节点v，得到一个d维向量表示Embv，其中d表示空间维度。GraphSAGE是一种迭代式算法，通过不断地从邻居样本采样聚集信息然后更新节点的表征。在聚集阶段，每个节点从邻居节点聚合其表征然后使用一个聚合函数得到聚合的信息，在此使用的长短期记忆网络LSTM聚合函数。在更新阶段，将聚合得到的信息和自身的表征拼接起来并经过一层的全连接神经网络得到更新后的节点表征，在如下公式中，
Figure BDA0002936390270000081
表示节点v第k层表征,
Figure BDA0002936390270000082
表示第k层参数矩阵，concat表示向量拼接操作，σ为激活函数，
Figure BDA0002936390270000083
表示从节点v的邻居节点中聚合的信息表征，N(v)表示节点v的邻居节点集合，AGGk表示第k层使用的聚合函数。
Figure BDA0002936390270000084
Figure BDA0002936390270000085
对于受让人视图网络，本发明使用基于元路径随机行走的网络嵌入方法来捕获其中的结构信息,即节点在该视图网络中所具有的潜在表征，其可以通过一向量表示。
其中，元路径是定义在不同类型顶点之间组成的一条路径，首先定义一个元路径模式P：assignee→patent→patent→assignee，元路径模式即在图上进行随机游走遵循的模式，确定了随机游走过程中节点序列类型。对于该元路径模式P，可以得出：当从一个受让人节点作为初始节点开始游走时，其下一个选择游走的节点类型为专利节点，再下一个节点也是专利节点，最后一个节点为受让人类型，以此类推。根据定义的模式在图上进行随机游走生成元路径集，其中每个路径是一个节点序列，如{assignee_i,patent_j,patent_k,assignee_m,patent_n,......}。然后利用词嵌入模型中提出的跳字模型学习每个节点v的向量表示Embv，其优化的目标函数如下：
Figure BDA0002936390270000091
其中，Vc∪p表示所有公司与专利集合，Nc(v)表示节点v的公司邻居集合，Np(v)表示节点v的专利邻居集合，Embv表示节点v的向量表征。
对于合作视图网络，也采用了基于元路径随机游走的网络嵌入方法。与受让人视图网络不同，这里定义了两种元路径模式。第一种元路径模式P1：inventor→patent→patent→inventor，它通过两个专利之间的一条路径描述了发明人之间的相关性；第二种元路径模式P2：inventor→patent→inventor，它表示两个发明者之间的共同作者关系。通过在合作视图网络上针对这些元路径执行随机游走，与受让人视图类似，可以得到每个节点v的向量表示Embv，其优化的目标函数如下：
Figure BDA0002936390270000092
其中，Vi∪p表示所有发明人与专利的集合，Ni(v)表示节点v的发明人邻居集合，Np(v)表示节点v的专利邻居集合，Embv表示节点v的向量表征。
在其他一些实施例中，为了能够利用不同视角之间的相关性知识来进一步增强单个视图网络的表示，本发明实施例通过汇总其他视图网络的表示来增强单个视图网络的表示，输入的是每一个专利不同视角表示，输出的是对应的增强的视角表示。
由此，在对各视图网络进行融合之前，分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
具体的，参见图4所示的增强处理示意图。首先将语义视图网络的节点表示Pi s、受让人视图网络的节点表示Pi a和合作视图网络的节点表示Pi c堆叠为一个二维矩阵表示Pi，其为一个k×d的矩阵，d表示节点表示的维度，k表示视图网络的数量，这里k＝3。进一步，通过一个f()变换函数将Pi的维度d变换为d/r，其中r表示缩放因子，该f()变换函数包含一个一层神经网络和一个批标准化层。然后，考虑到单个视图网络的节点表示可以对其他视图网络做出不同的贡献，因此可以利用协方差矩阵以捕获不同视图网络间的相关性，具体的，将f(Pi)与单位矩阵做运算即可获得不同视图网络间的相关性矩阵，利用softmax()变换函数对其进行softmax变换。
再者，使用另一个g()变换函数作用于Pi，其功能类似于f()变换函数。将softmax变换结果与g()变换结果做乘积，即得到增强后的表示矩阵Ui，计算函数如下，其中，∑表示协方差矩阵，
Figure BDA00029363902700001012
表示单位矩阵。
Figure BDA0002936390270000101
Figure BDA00029363902700001013
最后，将二维矩阵表示Pi与增强后的表示矩阵Ui拼接到一起形成每个增强的视图网络
Figure BDA0002936390270000102
进而将
Figure BDA0002936390270000103
拆分为语义视图网络增强后的节点表示
Figure BDA0002936390270000104
受让人视图网络增强后的节点表示
Figure BDA0002936390270000105
和合作视图网络增强后的节点表示
Figure BDA0002936390270000106
Figure BDA0002936390270000107
S203，对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示。
本发明实施例中，由于不同视角下的视图网络存在一定的信息冗余，因此可以将来自不同视角的节点表示融合为一个更稠密的向量表示，即专利表示，从而实现多个视图网络对于专利分类预测的贡献进行完备的、可解释性分析并获得可视化最终的专利表征，该专利表示被接入后续多层前馈神经网络来进行专利分类。
具体的，本发明基于注意力机制融合多个语义视图网络、受让人视图网络和合作视图网络各自的节点表示得到低维的专利表示。首先，利用注意力机制来获得各视图网络的注意力值，该注意力值能够表征单一视图网络的贡献程度，可以通过两个完全连接的层来实现，计算函数如下：
Figure BDA0002936390270000108
Figure BDA0002936390270000109
Figure BDA00029363902700001010
Figure BDA00029363902700001011
其中，m∈{s*，a*，c*}，attm表示单个视图网络的注意力值，其一起组成为
Figure BDA0002936390270000111
Figure BDA0002936390270000112
是可训练的参数，Pi *表示低维的专利表示。
在其他一些实施例中，尽管将多视图网络的节点表示压缩为单个专利表示，但基于注意力机制的融合可能会引入额外的噪声并造成信息损失，因为在同质空间中对多视图网络的节点表示进行了加权，能够保留潜在的关系信息。为解决该问题，本发明假定融合所得到的专利表示与之前单个视图网络的节点表示在一个潜在空间中是相似的，在关系嵌入空间中约束最终的专利表示，以便专利表示可以保留原始信息。
由此，在将述专利表示输入至多层前馈神经网络中之前，基于所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示，对所述专利表示进行对齐约束。
具体的，考虑到最后融合所得到的专利表示与之前单个视图网络的节点表示间具有潜在约束关系，本发明实施例将专利表示与单个视图网络的节点表示映射到一个潜在的隐空间进行约束。
以语义视图网络为例，通过对齐变换将专利表示与语义视图网络的节点表示映射到共享的潜在空间，然后获得映射表示，通过最大化映射表示的点积，可以在潜在空间内保留这种依赖性。
最后，定义如下的语义对齐损失
Figure BDA0002936390270000113
其中Wps为权重矩阵，σ表示sigmoid函数，Pi *为专利表示，
Figure BDA0002936390270000114
为对应的语义表示，通过下式计算相应的损失。
Figure BDA0002936390270000115
同理，对于受让人视图网络可以定义受让人对齐约束
Figure BDA0002936390270000116
并计算相应的损失；对于合作视图网络可以定义发明人对齐约束
Figure BDA0002936390270000117
并计相应的损失。
然后，将语义视图网络、受让人视图网络和所述合作视图网络各自对应的损失结合在一起，以获得最终的对齐损失
Figure BDA0002936390270000118
其中，α、β和γ分别表示语义视图网络、受让人视图网络和所述合作视图网络各自约束的权重。
Figure BDA0002936390270000119
按照上述步骤，将专利表示输入到多层前馈神经网络，如两层前馈神经网络进行预测，其激活函数分别为sigmoid和ReLU，第j个标签的最终预测概率
Figure BDA0002936390270000121
公式为：
Figure BDA0002936390270000122
其中，
Figure BDA0002936390270000123
是可训练的参数矩阵，ReLU和σ为对应的激活函数，
Figure BDA0002936390270000124
为模型预测的专利i属于类别j的概率。
最后，因为任务是多标签文本分类，因此使用二元交叉熵(BCELoss)损失作为分类损失，其计算公式如下：
Figure BDA0002936390270000125
其中，专利数据库中专利数量为N，t表示分类标签总数，yij表示专利i实际的分类标签，表示专利i是否属于类别j,
Figure BDA0002936390270000126
表示模型预测的专利i是否属于类别j概率。将分类损失与对齐约束相结合，得出最终的损失函数
Figure BDA0002936390270000127
Figure BDA0002936390270000128
其中，λ表示对齐约束的平衡系数。
通过优化此损失函数，可以学习每个专利的表示形式并进行预测专利的类别。
经过以上操作，对于专利数据库中每一个专利，可以获得一个提纯后的专利表示。将该专利表示输入到一个多层前馈神经网络，可以预测专利的分类标签。
S204，将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
本发明实施例中，得到专利表示之后，将其输入到一个多层前馈神经网络中利用多分类问题广泛使用的损失函数进行基于梯度的训练，进而不断调整参数，最终训练结束后得到分类模型。由此，分类模型可以利用学习到的知识进行数据分析和挖掘。
S30，将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别。
本发明实施例中，对于目标专利，根据其文本信息、受让人信息和发明人信息可以获得其在语义视角、受让人视角和发明人视角下的节点表示，通过，基于训练得到的模型参数进行前向传播过程，从而得到类别的预测结果。
本发明实施例提供的专利自动分类方法，引入多视角学习和网络表示学习相关领域的方法，可以更为准确地建模专利的类别与诸如文本信息、受让人信息和发明人信息等元特征间的关系，能够显著提升对于专利分类的准确率。
基于上述实施例提供的专利自动分类方法，本发明实施例则对应提供执行上述专利自动分类方法的装置，该装置的结构示意图如图5所示，包括：
模型生成模块10，用于预先基于多视角学习和网络表示学习生成分类模型；
信息获取模块20，用于获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息；
专利分类模块30，用于调用所述分类模型；将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别。
可选的，所述模型生成模块10，具体用于：
获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系；分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示；对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示；将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
可选的，用于获取专利数据库单一视角的视图网络的模型生成模块10，还用于：
收集所述专利数据库中专利的基础信息；剔除所述专利数据库中基础信息不包含受让人信息或者发明人信息的专利，得到有效专利；对于所述有效专利，对其基础信息中的文本信息进行停用词去除得到有效文本信息；根据所述有效专利的有效文本信息、受让人信息和发明人信息识别单一视角下的节点和边，并对所识别到的节点和边执行构建操作得到相应的视图网络。
可选的，模型生成模块10，还用于：
分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
可选的，模型生成模块10，还用于：
基于所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示，对所述专利表示进行对齐约束。
本发明实施例提供的专利自动分类装置，引入多视角学习和网络表示学习相关领域的方法，可以更为准确地建模专利的类别与诸如文本信息、受让人信息和发明人信息等元特征间的关系，能够显著提升对于专利分类的准确率。
本发明实施例还提供一种电子设备，该电子设备包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用存储器存储的程序，程序用于实现上述专利自动分类方法。
本发明实施例还提供一种存储介质，该存储介质中存储有计算机可执行指令，计算机可执行指令用于执行上述专利自动分类方法。
以上对本发明所提供的一种专利自动分类方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种专利自动分类方法，其特征在于，所述方法包括：
获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息；
调用预先基于多视角学习和网络表示学习所生成的分类模型；
将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别；
其中，所述分类模型的生成过程，包括：
获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系；
分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示；
对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示；
将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
2.根据权利要求1所述的方法，其特征在于，所述获取专利数据库单一视角的视图网络，包括：
收集所述专利数据库中专利的基础信息；
剔除所述专利数据库中基础信息不包含受让人信息或者发明人信息的专利，得到有效专利；
对于所述有效专利，对其基础信息中的文本信息进行停用词去除得到有效文本信息；
根据所述有效专利的有效文本信息、受让人信息和发明人信息识别单一视角下的节点和边，并对所识别到的节点和边执行构建操作得到相应的视图网络。
3.根据权利要求1所述的方法，其特征在于，所述对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示之前，所述方法还包括：
分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
4.根据权利要求1所述的方法，其特征在于，所述将所述专利表示输入至多层前馈神经网络中之前，所述方法还包括：
基于所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示，对所述专利表示进行对齐约束。
5.一种专利自动分类装置，其特征在于，所述装置包括：
模型生成模块，用于预先基于多视角学习和网络表示学习生成分类模型；
信息获取模块，用于获取目标专利的基础信息，所述基础信息包括文本信息、受让人信息和发明人信息；
专利分类模块，用于调用所述分类模型；将所述目标专利的文本信息、受让人信息和发明人信息输入至所述分类模型中，以获取所述分类模型所输出的所述目标专利的类别；
其中，所述模型生成模块，具体用于：
获取专利数据库单一视角的视图网络，所述视图网络包括语义视图网络、受让人视图网络和合作视图网络，所述语义视图网络表征所述专利数据库中专利与单词间的关系，所述受让人视图网络表征所述专利数据库中专利与受让人间的关系，所述合作视图网络表征所述专利数据库中专利与发明人间的关系；分别学习所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示；对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行融合得到低维的专利表示；将所述专利表示输入至多层前馈神经网络中，并通过对所述多层前馈神经网络进行基于梯度的训练得到所述分类模型。
6.根据权利要求5所述的装置，其特征在于，所述模型生成模块，还用于：
分别对所述语义视图网络、所述受让人视图网络和所述合作视图网络各自的节点表示进行增强。
7.一种电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-4任意一项所述的专利自动分类方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-4任意一项所述的专利自动分类方法。
CN202110167373.8A 2021-02-05 2021-02-05 专利自动分类方法、装置、电子设备及存储介质 Active CN112948581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110167373.8A CN112948581B (zh) 2021-02-05 2021-02-05 专利自动分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110167373.8A CN112948581B (zh) 2021-02-05 2021-02-05 专利自动分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112948581A CN112948581A (zh) 2021-06-11
CN112948581B true CN112948581B (zh) 2022-09-06

Family

ID=76243109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110167373.8A Active CN112948581B (zh) 2021-02-05 2021-02-05 专利自动分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112948581B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468291B (zh) * 2021-06-17 2024-04-02 中国科学技术大学 基于专利网络表示学习的专利自动分类方法
CN116069760B (zh) * 2023-01-09 2023-12-15 青岛华慧泽知识产权代理有限公司 一种专利管理数据处理系统、装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016099019A1 (ko) * 2014-12-15 2016-06-23 한국과학기술정보연구원 특허문서 분류 시스템 및 방법
CN108897805A (zh) * 2018-06-15 2018-11-27 江苏大学 一种专利文本自动分类方法
CN110175224A (zh) * 2019-06-03 2019-08-27 安徽大学 基于语义链接异构信息网络嵌入的专利推荐方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095581B2 (en) * 1999-02-05 2012-01-10 Gregory A Stobbs Computer-implemented patent portfolio analysis method and apparatus
TWI273446B (en) * 2003-09-30 2007-02-11 Hon Hai Prec Ind Co Ltd System and method for classifying patents and displaying patent classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016099019A1 (ko) * 2014-12-15 2016-06-23 한국과학기술정보연구원 특허문서 분류 시스템 및 방법
CN108897805A (zh) * 2018-06-15 2018-11-27 江苏大学 一种专利文本自动分类方法
CN110175224A (zh) * 2019-06-03 2019-08-27 安徽大学 基于语义链接异构信息网络嵌入的专利推荐方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PatentLine: Analyzing Technology Evolution on Multi-View Patent Graphs;Zhang,Longhui等;《SIGIR"14: PROCEEDINGS OF THE 37TH INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION RETRIEVAL》;20141231;第1095-1098页 *
基于协同转导的外观设计专利图像检索方法的研究;朱慧敏;《中国优秀硕士学位论文全文数据库(电子期刊)》;20180215;第I138-1434页 *

Also Published As

Publication number Publication date
CN112948581A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Meng et al. Leveraging concept association network for multimedia rare concept mining and retrieval
CN110059181A (zh) 面向大规模分类体系的短文本标签方法、系统、装置
Rojarath et al. Improved ensemble learning for classification techniques based on majority voting
CN113468291B (zh) 基于专利网络表示学习的专利自动分类方法
CN114565053B (zh) 基于特征融合的深层异质图嵌入模型
CN112948581B (zh) 专利自动分类方法、装置、电子设备及存储介质
CN110287292B (zh) 一种裁判量刑偏离度预测方法及装置
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及系统
CN113761359A (zh) 数据包推荐方法、装置、电子设备和存储介质
CN115392254A (zh) 一种基于目标任务可解释性认知预测与判别方法及其系统
CN113159976B (zh) 一种微博网络重要用户的识别方法
Papadopoulos et al. Knowledge-assisted image analysis based on context and spatial optimization
CN114022716A (zh) 一种基于注意力机制与图关系网络的服饰属性预测方法
CN113205175A (zh) 一种基于互信息最大化的多层属性网络表征学习方法
Yanagisawa et al. Automatic classification of manga characters using density-based clustering
Boudiba et al. Tag-based embedding representations in neural collaborative filtering approaches.
CN117591969B (zh) 一种基于ipc标签共现的规则检核方法及系统
CN116702784B (zh) 实体链接方法、装置、计算机设备和存储介质
Barman et al. Estimation of possible profit/loss of a new movie using" natural grouping" of movie genres
Lad et al. HSG-CDM: A Heterogeneous Service Graph Contextual Deep Model for Web Service Classification
Kale et al. Sentiment Analysis for Polarity Detection
Bodhankar A Detailed Study and Evaluation of Various Zero-Shot Learning Approaches to Solve the Image Classification Problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant