CN117112734B - 基于语义的知识产权文本表示与分类方法及终端设备 - Google Patents

基于语义的知识产权文本表示与分类方法及终端设备 Download PDF

Info

Publication number
CN117112734B
CN117112734B CN202311350169.5A CN202311350169A CN117112734B CN 117112734 B CN117112734 B CN 117112734B CN 202311350169 A CN202311350169 A CN 202311350169A CN 117112734 B CN117112734 B CN 117112734B
Authority
CN
China
Prior art keywords
training data
piece
data
loss
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311350169.5A
Other languages
English (en)
Other versions
CN117112734A (zh
Inventor
周凡
刘海亮
苏航
汤武惊
张怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Shenzhen Research Institute of Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202311350169.5A priority Critical patent/CN117112734B/zh
Publication of CN117112734A publication Critical patent/CN117112734A/zh
Application granted granted Critical
Publication of CN117112734B publication Critical patent/CN117112734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/11—Patent retrieval
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于深度学习技术领域，提供了一种基于语义的知识产权文本表示与分类方法及终端设备，包括：基于外观专利数据库构建第一训练集；在采用第一训练集对外观专利分类模型进行训练的过程中，针对各条训练数据，通过外观专利分类模型确定外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码及训练数据对应的预测分类概率分布，并基于目标损失函数及每条训练数据对应的文本特征编码、图像特征编码、融合特征编码以及预测分类概率分布，对外观专利分类模型的模型参数进行调整；通过训练好的外观专利分类模型对外观专利申请文本进行分类，提高了外观专利分类的效率和准确性。

Description

基于语义的知识产权文本表示与分类方法及终端设备
技术领域
本申请属于深度学习技术领域，尤其涉及一种基于语义的知识产权文本表示与分类方法及终端设备。
背景技术
专利分类是专利申请过程中的一个重要环节，无论是在专利检索，专利撰写，还是专利审查等过程中，都需要对专利进行准确地分类。现有的专利分类方法通常是由人工对专利进行分类，然而人工进行专利分类的分类效率较低，且人工成本较高。有鉴于此，相关技术提供给了一种基于外观专利的所有附图对外观专利进行分类的方法，然而该方法需要对外观专利的所有附图均进行预处理、特征提取等操作，计算过程较为复杂，外观专利的分类效率依旧较低。
发明内容
有鉴于此，本申请实施例提供了一种基于语义的知识产权文本表示与分类方法及终端设备，能够在确保外观专利分类的准确性的同时，提高外观专利的分类效率。
第一方面，本申请实施例提供一种基于语义的知识产权文本表示与分类方法，包括：
基于外观专利数据库构建第一训练集；所述第一训练集中的每条训练数据包括一个外观专利的专利名称、目标附图以及专利分类号；
在采用所述第一训练集对外观专利分类模型进行训练的过程中，针对各条所述训练数据，通过所述外观专利分类模型确定所述训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及所述训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整；所述专利草图基于所述目标附图生成；
通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类。
在第一方面的一种可选的实现方式中，所述目标损失函数包括第一损失函数、第二损失函数及第三损失函数；所述基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整，包括：
针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据；
基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值；
基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值；
基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值；
基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整。
在第一方面的一种可选的实现方式中，所述针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据，包括：
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号相同的其他训练数据确定为所述正关联数据；
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号不同的其他训练数据确定为所述负关联数据。
在第一方面的一种可选的实现方式中，所述基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值，包括：
将每条所述训练数据对应的文本特征编码、每条所述训练数据的正关联数据对应的文本特征编码、每条所述训练数据的负关联数据对应的文本特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第一损失函数中，得到所述外观专利分类模型的第一损失值；
所述第一损失函数为：
；
其中，L 1为所述第一损失值，W 1为每条所述训练数据对应的文本特征编码、W 1 +为每条所述训练数据的正关联数据对应的文本特征编码，W 1 －为每条所述训练数据的负关联数据对应的文本特征编码，D 1(W 1,W 1 +)为每条所述训练数据对应的文本特征编码与每条所述训练数据的正关联数据对应的文本特征编码之间的第一距离值，D 1(W 1,W 1 －)为每条所述训练数据对应的文本特征编码与每条所述训练数据的负关联数据对应的文本特征编码之间的第二距离值，µ 1为第一控制系数，µ 1用于确保所述第二距离值大于所述第一距离值与µ 1之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
在第一方面的一种可选的实现方式中，所述基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值，包括：
将每条所述训练数据对应的图像特征编码、每条所述训练数据的正关联数据对应的图像特征编码、每条所述训练数据的负关联数据对应的图像特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第二损失函数中，得到所述外观专利分类模型的第二损失值；
所述第二损失函数为：
；
其中，L 2为所述第二损失值，T 1为每条所述训练数据对应的图像特征编码、T 1 +为每条所述训练数据的正关联数据对应的图像特征编码，T 1 －为每条所述训练数据的负关联数据对应的图像特征编码，D 1(T 1,T 1 +)为每条所述训练数据对应的图像特征编码与每条所述训练数据的正关联数据对应的图像特征编码之间的第三距离值，D 1(T 1,T 1 －)为每条所述训练数据对应的图像特征编码与每条所述训练数据的负关联数据对应的图像特征编码之间的第四距离值，µ 2为第二控制系数，µ 2用于确保所述第四距离值大于所述第三距离值与µ 2之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
在第一方面的一种可选的实现方式中，所述基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值，包括：
将每条所述训练数据对应的融合特征编码、每条所述训练数据的正关联数据对应的融合特征编码、每条所述训练数据的负关联数据对应的融合特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第三损失函数中，得到所述外观专利分类模型的第三损失值；
所述第三损失函数为：
；
其中，L 3为所述第三损失值，R 1为每条所述训练数据对应的融合特征编码、R 1 +为每条所述训练数据的正关联数据对应的融合特征编码，R 1 －为每条所述训练数据的负关联数据对应的融合特征编码，D 1(R 1,R 1 +)为每条所述训练数据对应的融合特征编码与每条所述训练数据的正关联数据对应的融合特征编码之间的第五距离值，D 1(R 1,R 1 －)为每条所述训练数据对应的融合特征编码与每条所述训练数据的负关联数据对应的融合特征编码之间的第六距离值，µ 3为第三控制系数，µ 3用于确保所述第六距离值大于所述第五距离值与µ 3之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
在第一方面的一种可选的实现方式中，所述基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整，包括：
基于所述第一损失值、所述第二损失值以及所述第三损失值，采用公式L=λ 1 L 1+λ 2 L 2+λ 3 L 3确定所述外观专利分类模型的总损失值，并基于所述总损失值对所述外观专利分类模型的模型参数进行调整；
其中，L为所述总损失值，λ 1为所述第一损失值对应的权重系数，L 1为所述第一损失值，λ 2为所述第二损失值对应的权重系数，L 2为所述第二损失值，λ 3为所述第一损失值对应的权重系数，L 3为所述第三损失值。
第二方面，本申请实施例提供一种终端设备，包括：
数据构建单元，用于基于外观专利数据库构建第一训练集；所述第一训练集中的每条训练数据包括一个外观专利的专利名称、目标附图以及专利分类号；
模型训练单元，用于在采用所述第一训练集对外观专利分类模型进行训练的过程中，针对各条所述训练数据，通过所述外观专利分类模型确定所述训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及所述训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整；所述专利草图基于所述目标附图生成；
专利分类单元，用于通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类。
第三方面，本申请实施例提供另一种终端设备，包括存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一可选实现方式所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一可选实现方式所述的方法。
实施本申请实施例提供的基于语义的知识产权文本表示与分类方法、终端设备及计算机可读存储介质具有以下有益效果：
本申请实施例提供的基于语义的知识产权文本表示与分类方法，由于基于外观专利的专利名称和目标附图对外观专利进行自动分类，因此相对于基于外观专利的所有附图对外观专利进行分类而言，可以提高外观专利的分类效率。同时，由于在通过外观专利分类模型对外观专利进行分类时，不仅会提取专利名称对应的文本特征编码、专利草图对应的图像特征编码，还会提取专利名称和专利草图对应的融合特征编码，并基于三种不同的特征编码来综合对外观专利进行分类，因此相对于仅基于图像特征编码对外观专利进行分类而言，能够提高外观专利分类的准确性。此外，由于外观专利分类模型是针对外观专利的专利草图而非目标附图来提取图像特征编码，因此可以避免目标附图的内容过于丰富而导致外观专利分类模型过度拟合，且可以降低图像特征提取和融合特征提取过程中的计算复杂度，节省计算资源。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于语义的知识产权文本表示与分类方法的示意性流程图；
图2为本申请实施例提供的一种外观专利分类模型的结构示意图；
图3为本申请实施例提供的一种基于语义的知识产权文本表示与分类方法中S13的具体实现流程图；
图4为本申请实施例提供的一种终端设备的结构示意图；
图5为本申请另一实施例提供的一种终端设备的结构示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
需要说明的是，除非另有规定，本申请实施例使用的所有技术术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请实施例使用的技术术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
在本申请实施例的描述中，技术术语“包括”、“包含”、“具有”及它们的任意变形等都意味着“包括但不限于”，除非是以其他方式另外特别强调。在本申请实施例的描述中，除非另有说明，技术术语“多个”是指两个或多于两个，技术术语“至少一个”、“一个或多个”是指一个、两个或两个以上。技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。技术术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例的描述中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供的基于语义的知识产权文本表示与分类方法的执行主体可以为终端设备。终端设备例如可以包括于手机、平板电脑或台式电脑等。在具体应用中，可以通过对终端设备配置目标脚本文件，由该目标脚本文件描述本申请实施例提供的基于语义的知识产权文本表示与分类方法，令终端设备在需要对外观专利进行分类时执行该目标脚本文件，进而执行本申请实施例提供的基于语义的知识产权文本表示与分类方法中的各个步骤。
请参阅图1，为本申请实施例提供的一种基于语义的知识产权文本表示与分类方法的示意性流程图。如图1所示，该基于语义的知识产权文本表示与分类方法可以包括S11~S13，详述如下：
S11，基于外观专利数据库构建第一训练集。
本申请实施例中，第一训练集用于对外观专利分类模型进行训练。
外观专利分类模型用于对待分类的外观专利申请文本进行自动分类。示例性的，外观专利分类模型可以基于外观专利申请文本中的外观专利的专利名称和目标附图，对外观专利申请文本进行自动分类。其中，目标附图可以是外观专利申请文本的多张附图中最能体现外观专利的设计要点的附图。
第一训练集可以包括多条训练数据。每条训练数据可以来自于外观专利数据库中的一个外观专利公开文本。示例性的，每条训练数据可以包括一个外观专利公开文本对应的外观专利的专利名称、目标附图以及专利分类号。
在一个具体的实现方式中，基于外观专利数据库构建第一训练集，可以包括如下步骤a1～步骤a3：
步骤a1，从外观专利数据库中获取多个不同外观专利类别下的若干个外观专利公开文本。
本申请实施例中，为了提高训练得到的外观专利分类模型对外观专利分类的准确性和全面性，上述外观专利类别可以包括洛迦诺分类表中的所有外观专利类别。即，针对洛迦诺分类表中的每一个外观专利类别，电子设备可以从外观专利数据库中获取该外观专利类别下的若干个外观专利公开文本。
在具体应用中，电子设备从外观专利数据库中获取多个不同外观专利类别下的若干个外观专利公开文本，可以包括：
将洛迦诺分类表中的每一个外观专利类别对应的专利分类号分别作为外观专利数据库的一个检索表达式，在外观专利数据库中进行检索，从每个检索表达式对应的检索结果中下载若干个外观专利公开文本。
示例性的，电子设备可以将17-03这一表示弦乐器的专利分类号作为外观专利数据库的一个检索表达式，在外观专利数据库中进行检索，从检索出的所有属于弦乐器类别的检索结果中下载若干个外观专利公开文本。
步骤a2，从各个外观专利公开文本的扉页获取对应的外观专利的专利名称、目标附图以及专利分类号。
由于外观专利公开文本的扉页会记载对应的外观专利的专利名称、目标附图以及专利分类号，因此，电子设备在获取到多个不同外观专利类别下的若干个外观专利公开文本后，针对获取到的每一个外观专利公开文本，电子设备可以从其扉页获取对应的外观专利的专利名称、目标附图以及专利分类号。
步骤a3，将每个外观专利公开文本对应的外观专利的专利名称、目标附图以及专利分类号建立关联关系，并作为第一训练集的一条训练数据，得到第一训练集。
在一种可选的实现方式中，第一训练集中的每条训练数据可以包括一个外观专利的专利名称、目标附图以及专利分类号。
在另一种可选的实现方式中，第一训练集中的每条训练数据除了包括一个外观专利的专利名称、目标附图以及专利分类号外，还可以包括该外观专利的专利分类号对应的类别名称。基于此，终端设备在得到每个外观专利的专利分类号后，还可以基于洛迦诺分类表确定每个外观专利的专利分类号对应的类别名称，并将每个外观专利公开文本对应的外观专利的专利名称、目标附图、专利分类号以及专利分类号对应的类别名称建立关联关系，并作为第一训练集的一条训练数据，得到第一训练集。示例性的，第一训练集可以如下表1所示。
表1
S12，在采用第一训练集对外观专利分类模型进行训练的过程中，针对各条训练数据，通过外观专利分类模型确定训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的文本特征编码、图像特征编码、融合特征编码以及预测分类概率分布，对外观专利分类模型的模型参数进行调整。
其中，外观专利的专利草图可以是基于外观专利的目标附图生成的。
本申请实施例中，终端设备在构建了第一训练集之后，可以采用第一训练集对外观专利分类模型进行训练。示例性的，外观专利分类模型可以是基于PyTorch框架的深度学习模型。其中，PyTorch是一个开源的机器学习库。
示例性的，如图2所示，外观专利分类模型可以包括草图生成器20、文本特征提取网络21、图像特征提取网络22、融合特征提取网络23以及分类器24。其中，文本特征提取网络21的输入端和草图生成器20的输入端可以分别作为外观专利分类模型的文本输入端和图像输入端，草图生成器20的输出端可以与图像特征提取网络22的输入端连接，文本特征提取网络21的输出端和图像特征提取网络22的输出端可以与融合特征提取网络23的输入端连接，且文本特征提取网络21的输出端和图像特征提取网络22的输出端可以分别作为外观专利分类模型的文本特征编码输出端和图像特征编码输出端，融合图特征提取网络23的输出端可以与分类器24的输入端连接，且融合图特征提取网络23的输出端可以作为外观专利分类模型的融合特征编码输出端，分类器24的输出端可以用于输出外观专利申请/公开文本的预测分类概率分布。
其中，预测分类概率分布可以指通过外观专利分类模型预测出的，外观专利申请/公开文本对应的外观专利属于各个外观专利类别的概率。
草图生成器例如可以为基于生成对抗网络（generative adversarial network，GAN）的草图生成器，基于GAN的草图生成器能够基于竞争性训练生成网络和判别网络来生成草图，从而使生成的专利草图相对于目标附图而言较为逼真。
由于外观专利的专利草图相对于外观专利的目标附图 （即原图）而言，能够通过更加简练的线条表达目标附图中的目标对象的主要特征和形状，因此，通过生成各个外观专利的专利草图，能够提高后续生成的专利草图的图像特征编码对专利草图中目标对象的表达能力，且能够提高专利草图中有效特征的提取效率，降低图像特征提取时的计算复杂度，节省电子设备的计算资源。
文本特征提取网络例如可以是基于转换器的双向编码器表示（bidirectionalencoder representations from transformers，BERT）网络。
图像特征提取网络例如可以是残差网络（residual network，ResNet）网络。融合特征提取网络可以是自注意力机制网络。
需要说明的是，关于BERT网络、ResNet网络以及自注意力机制网络的具体结构和应用原理等，可以参考现有技术中的相关描述，此处不对其进行详述。
在一个具体的实现方式中，在采用第一训练集对外观专利分类模型进行训练时，S12中通过外观专利分类模型确定训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及训练数据对应的预测分类概率分布，可以包括以下步骤：
针对各条训练数据，通过外观专利分类模型中的草图生成器生成该训练数据中外观专利的目标附图对应的专利草图；
通过外观专利分类模型中的文本特征提取网络确定该训练数据中外观专利的专利名称对应的文本特征编码；
通过外观专利分类模型中的图像特征提取网络确定该训练数据中外观专利的专利草图对应的图像特征编码；
通过外观专利分类模型中的融合特征提取网络确定该训练数据中外观专利的专利名称和专利草图对应的融合特征编码；
通过外观专利分类模型中的分类器确定该训练数据对应的预测分类概率分布。
其中，针对每条训练数据，训练数据对应的文本特征编码指训练数据中外观专利的专利名称对应的文本特征编码。训练数据对应的图像特征编码指训练数据中外观专利的专利草图对应的图像特征编码。训练数据对应的融合特征编码指训练数据中外观专利的专利名称和专利草图对应的融合特征编码。
在另一个具体的实现方式中，S12中基于目标损失函数以及每条训练数据对应的文本特征编码、图像特征编码、融合特征编码以及预测分类概率分布，对外观专利分类模型的模型参数进行调整的过程，具体可以包括如图3所示的S121~S125，详述如下：
S121，针对每条训练数据，从其他训练数据中确定训练数据的正关联数据和负关联数据。
对于第一训练集中的任意一条训练数据而言，其他训练数据指第一训练集中除该训练数据之外的训练数据。示例性的，对于表1中的第1条训练数据而言，其他训练数据指第2条至第n条训练数据。
需要说明的是，对应的外观专利的专利分类号相同的两条训练数据可以互为彼此的正关联数据，对应的外观专利的专利分类号不同的两条训练数据可以互为彼此的负关联数据。每条训练数据的正关联数据和负关联数据的数量可以为一个，也可以为多个，本申请实施例对此不做特别限定。
在一个具体的实现方式中，S121可以包括以下步骤b1～步骤b2：
步骤b1，针对每条训练数据，将对应的专利分类号与训练数据中的专利分类号相同的其他训练数据确定为正关联数据。
示例性的，假设表1中第11条训练数据的专利分类号与第1条训练数据的专利分类号相同，则可以将第11条训练数据确定为第1条训练数据的正关联数据，相应地，也可以将第1条训练数据确定为第11条训练数据的正关联数据。
步骤b2，针对每条训练数据，将对应的专利分类号与训练数据中的专利分类号不同的其他训练数据确定为负关联数据。
示例性的，假设表1中第32条训练数据的专利分类号与第1条训练数据的专利分类号不同，则可以将第32条训练数据确定为第1条训练数据的负关联数据，相应地，也可以将第1条训练数据确定为第32条训练数据的负关联数据。
S122，基于第一损失函数、训练数据对应的文本特征编码、训练数据的正关联数据对应的文本特征编码、训练数据的负关联数据对应的文本特征编码以及训练数据对应的预测分类概率分布，确定外观专利分类模型的第一损失值。
在一个具体的实现方式中，可以将每条训练数据对应的文本特征编码、每条训练数据的正关联数据对应的文本特征编码、每条训练数据的负关联数据对应的文本特征编码以及每条训练数据对应的预测分类概率分别代入第一损失函数中，得到外观专利分类模型的第一损失值；第一损失函数可以为：
；
其中，L 1为第一损失值，W 1为每条训练数据对应的文本特征编码、W 1 +为每条训练数据的正关联数据对应的文本特征编码，W 1 －为每条训练数据的负关联数据对应的文本特征编码，D 1(W 1,W 1 +)为每条训练数据对应的文本特征编码与每条训练数据的正关联数据对应的文本特征编码之间的第一距离值，D 1(W 1,W 1 －)为每条训练数据对应的文本特征编码与每条训练数据的负关联数据对应的文本特征编码之间的第二距离值，µ 1为第一控制系数，µ 1用于确保第二距离值大于第一距离值与µ 1之和，C为外观专利类别的总数量，y i为每条训练数据中外观专利的专利分类号对应的独热编码，p i为训练数据对应的预测分类概率分布中第i个元素的值。对于每条训练数据中外观专利的专利分类号对应的独热编码，假设该外观专利的专利分类号与第i个专利分类号相同，则y i=1，假设该外观专利的专利分类号与第i个专利分类号不相同，则y i=0。
S123，基于第二损失函数、训练数据对应的图像特征编码、训练数据的正关联数据对应的图像特征编码、训练数据的负关联数据对应的图像特征编码以及训练数据对应的预测分类概率分布，确定外观专利分类模型的第二损失值。
在一个具体的实现方式中，可以将每条训练数据对应的图像特征编码、每条训练数据的正关联数据对应的图像特征编码、每条训练数据的负关联数据对应的图像特征编码以及每条训练数据对应的预测分类概率分别代入第二损失函数中，得到外观专利分类模型的第二损失值；第二损失函数可以为：
；
其中，L 2为第二损失值，T 1为每条训练数据对应的图像特征编码、T 1 +为每条训练数据的正关联数据对应的图像特征编码，T 1 －为每条训练数据的负关联数据对应的图像特征编码，D 1(T 1,T 1 +)为每条训练数据对应的图像特征编码与每条训练数据的正关联数据对应的图像特征编码之间的第三距离值，D 1(T 1,T 1 －)为每条训练数据对应的图像特征编码与每条训练数据的负关联数据对应的图像特征编码之间的第四距离值，µ 2为第二控制系数，µ 2用于确保第四距离值大于第三距离值与µ 2之和，C为外观专利类别的总数量，y i为每条训练数据中外观专利的专利分类号对应的独热编码，p i为训练数据对应的预测分类概率分布中第i个元素的值。对于每条训练数据中外观专利的专利分类号对应的独热编码，假设该外观专利的专利分类号与第i个专利分类号相同，则y i=1，假设该外观专利的专利分类号与第i个专利分类号不相同，则y i=0。
S124，基于第三损失函数、训练数据对应的融合特征编码、训练数据的正关联数据对应的融合特征编码、训练数据的负关联数据对应的融合特征编码以及训练数据对应的预测分类概率分布，确定外观专利分类模型的第三损失值。
在一个具体的实现方式中，可以将每条训练数据对应的融合特征编码、每条训练数据的正关联数据对应的融合特征编码、每条训练数据的负关联数据对应的融合特征编码以及每条训练数据对应的预测分类概率分别代入第三损失函数中，得到外观专利分类模型的第三损失值；第三损失函数可以为：
；
其中，L 3为第三损失值，R 1为每条训练数据对应的融合特征编码、R 1 +为每条训练数据的正关联数据对应的融合特征编码，R 1 －为每条训练数据的负关联数据对应的融合特征编码，D 1(R 1,R 1 +)为每条训练数据对应的融合特征编码与每条训练数据的正关联数据对应的融合特征编码之间的第五距离值，D 1(R 1,R 1 －)为每条训练数据对应的融合特征编码与每条训练数据的负关联数据对应的融合特征编码之间的第六距离值，µ 3为第三控制系数，µ 3用于确保第六距离值大于第五距离值与µ 3之和，C为外观专利类别的总数量，y i为每条训练数据中外观专利的专利分类号对应的独热编码，p i为训练数据对应的预测分类概率分布中第i个元素的值。对于每条训练数据中外观专利的专利分类号对应的独热编码，假设该外观专利的专利分类号与第i个专利分类号相同，则y i=1，假设该外观专利的专利分类号与第i个专利分类号不相同，则y i=0。
在具体应用中，上述第一距离值、第二距离值、第三距离值、第四距离值、第五距离值及第六距离值可以是基于欧几里得或余弦相似度等公式计算出的。
在具体应用中，µ 1、µ 2、µ 3可以是用户预先设置的，且在对外观专利分类模型进行训练的过程中，可以对µ 1、µ 2、µ 3的值进行调整。
S125，基于第一损失值、第二损失值以及第三损失值对外观专利分类模型的模型参数进行调整。
在一个具体的实现方式中，可以先基于第一损失值、第二损失值以及第三损失值，采用公式L=λ 1 L 1+λ 2 L 2+λ 3 L 3确定外观专利分类模型的总损失值，再基于总损失值对外观专利分类模型的模型参数进行调整。
其中，L为总损失值，λ 1为第一损失值对应的权重系数，L 1为第一损失值，λ 2为第二损失值对应的权重系数，L 2为第二损失值，λ 3为第一损失值对应的权重系数，L 3为第三损失值。
在具体应用中，λ 1、λ 2、λ 3可以是用户预先设置的。
作为示例而非限定，基于总损失值对外观专利分类模型的模型参数进行调整具体可以包括：采用梯度下降法对外观专利分类模型的模型参数进行调整，直至上述总损失值最小为止，将总损失值最小时的模型参数确定为外观专利分类模型的最终模型参数。如此，便完成了对外观专利分类模型的训练。
S13，通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类。
在具体应用中，当需要对待分类的外观专利申请文本进行分类时，可以将该外观专利申请文本对应的外观专利的专利名称和目标附图输入至训练好的外观专利分类模型中，外观专利分类模型便可以输出该外观专利的专利分类号，从而实现对外观专利申请文本的自动分类。需要说明的是，向外观专利分类模型同时输入外观专利申请文本对应的外观专利的专利名称和目标附图，相对于仅输入外观专利申请文本对应的外观专利的专利名称，或者仅输入外观专利申请文本对应的外观专利的目标附图而言，得到的分类结果会更加准确。
以上可以看出，本申请实施例提供的基于语义的知识产权文本表示与分类方法，由于基于外观专利的专利名称和目标附图对外观专利进行自动分类，因此相对于基于外观专利的所有附图对外观专利进行分类而言，可以提高外观专利的分类效率。同时，由于在通过外观专利分类模型对外观专利进行分类时，不仅会提取专利名称对应的文本特征编码、专利草图对应的图像特征编码，还会提取专利名称和专利草图对应的融合特征编码，并基于三种不同的特征编码来综合对外观专利进行分类，因此相对于仅基于图像特征编码对外观专利进行分类而言，能够提高外观专利分类的准确性。此外，由于外观专利分类模型是针对外观专利的专利草图而非目标附图来提取图像特征编码，因此可以避免目标附图的内容过于丰富而导致外观专利分类模型过度拟合，且可以降低图像特征提取和融合特征提取过程中的计算复杂度，节省计算资源。
可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的基于语义的知识产权文本表示与分类方法，本申请实施例进一步给出实现上述方法实施例的终端设备的实施例。请参阅图4，为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本实施例相关的部分。如图4所示，终端设备40可以包括：数据构建单元41、模型训练单元42以及专利分类单元43。其中：
数据构建单元41用于基于外观专利数据库构建第一训练集；所述第一训练集中的每条训练数据包括一个外观专利的专利名称、目标附图以及专利分类号。
模型训练单元42用于在采用第一训练集对外观专利分类模型进行训练的过程中，针对各条所述训练数据，通过所述外观专利分类模型确定所述训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及所述训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整；所述专利草图基于所述目标附图生成。
专利分类单元43用于通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类。
可选的，所述目标损失函数包括第一损失函数、第二损失函数及第三损失函数；模型训练单元42包括关联数据确定单元、第一损失计算单元、第二损失计算单元、第三损失计算单元以及参数调整单元。其中：
关联数据确定单元用于针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据。
第一损失计算单元用于基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值。
第二损失计算单元用于基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值。
第三损失计算单元用于基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值。
参数调整单元用于基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整。
可选的，关联数据确定单元具体用于：
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号相同的其他训练数据确定为所述正关联数据；
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号不同的其他训练数据确定为所述负关联数据。
可选的，第一损失计算单元具体用于：
将每条所述训练数据对应的文本特征编码、每条所述训练数据的正关联数据对应的文本特征编码、每条所述训练数据的负关联数据对应的文本特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第一损失函数中，得到所述外观专利分类模型的第一损失值；
所述第一损失函数为：
；
其中，L 1为所述第一损失值，W 1为每条所述训练数据对应的文本特征编码、W 1 +为每条所述训练数据的正关联数据对应的文本特征编码，W 1 －为每条所述训练数据的负关联数据对应的文本特征编码，D 1(W 1,W 1 +)为每条所述训练数据对应的文本特征编码与每条所述训练数据的正关联数据对应的文本特征编码之间的第一距离值，D 1(W 1,W 1 －)为每条所述训练数据对应的文本特征编码与每条所述训练数据的负关联数据对应的文本特征编码之间的第二距离值，µ 1为第一控制系数，µ 1用于确保所述第二距离值大于所述第一距离值与µ 1之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
可选的，第二损失计算单元具体用于：
将每条所述训练数据对应的图像特征编码、每条所述训练数据的正关联数据对应的图像特征编码、每条所述训练数据的负关联数据对应的图像特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第二损失函数中，得到所述外观专利分类模型的第二损失值；
所述第二损失函数为：
；
其中，L 2为所述第二损失值，T 1为每条所述训练数据对应的图像特征编码、T 1 +为每条所述训练数据的正关联数据对应的图像特征编码，T 1 －为每条所述训练数据的负关联数据对应的图像特征编码，D 1(T 1,T 1 +)为每条所述训练数据对应的图像特征编码与每条所述训练数据的正关联数据对应的图像特征编码之间的第三距离值，D 1(T 1,T 1 －)为每条所述训练数据对应的图像特征编码与每条所述训练数据的负关联数据对应的图像特征编码之间的第四距离值，µ 2为第二控制系数，µ 2用于确保所述第四距离值大于所述第三距离值与µ 2之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
可选的，第三损失计算单元具体用于：
将每条所述训练数据对应的融合特征编码、每条所述训练数据的正关联数据对应的融合特征编码、每条所述训练数据的负关联数据对应的融合特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第三损失函数中，得到所述外观专利分类模型的第三损失值；
所述第三损失函数为：
；
其中，L 3为所述第三损失值，R 1为每条所述训练数据对应的融合特征编码、R 1 +为每条所述训练数据的正关联数据对应的融合特征编码，R 1 －为每条所述训练数据的负关联数据对应的融合特征编码，D 1(R 1,R 1 +)为每条所述训练数据对应的融合特征编码与每条所述训练数据的正关联数据对应的融合特征编码之间的第五距离值，D 1(R 1,R 1 －)为每条所述训练数据对应的融合特征编码与每条所述训练数据的负关联数据对应的融合特征编码之间的第六距离值，µ 3为第三控制系数，µ 3用于确保所述第六距离值大于所述第五距离值与µ 3之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
可选的，参数调整单元具体用于：
基于所述第一损失值、所述第二损失值以及所述第三损失值，采用公式L=λ 1 L 1+λ 2 L 2+λ 3 L 3确定所述外观专利分类模型的总损失值，并基于所述总损失值对所述外观专利分类模型的模型参数进行调整；
其中，L为所述总损失值，λ 1为所述第一损失值对应的权重系数，L 1为所述第一损失值，λ 2为所述第二损失值对应的权重系数，L 2为所述第二损失值，λ 3为所述第一损失值对应的权重系数，L 3为所述第三损失值。
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参照方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将终端设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述终端设备中各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图5，图5为本申请另一实施例提供的一种终端设备的结构示意图。如图5所示，本实施例提供的终端设备5可以包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52，例如基于语义的知识产权文本表示与分类方法对应的程序。处理器50执行计算机程序52时实现上述基于语义的知识产权文本表示与分类方法实施例中的步骤，例如图1所示的S11~S13。或者，处理器50执行计算机程序52时实现上述终端设备实施例中各模块/单元的功能，例如图4所示的单元41~43的功能。
示例性的，计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在终端设备5中的执行过程。例如，计算机程序52可以被分割成数据构建单元、模型训练单元以及专利分类单元，各单元的具体功能请参阅图4对应的实施例中的相关描述，此处不赘述。
本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
处理器50可以是中央处理单元（central processing unit，CPU），还可以是其他通用处理器、数字信号处理器（digital signal processor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是终端设备5的内部存储单元，例如终端设备5的硬盘或内存。存储器51也可以是终端设备5的外部存储设备，例如终端设备5上配备的插接式硬盘、智能存储卡（smart media card，SMC）、安全数字（secure digital，SD）卡或闪存卡（flash card）等。进一步地，存储器51还可以既包括终端设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及终端设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中基于语义的知识产权文本表示与分类方法中的各个步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参照其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于语义的知识产权文本表示与分类方法，其特征在于，包括：
基于外观专利数据库构建第一训练集；所述第一训练集中的每条训练数据包括一个外观专利的专利名称、目标附图以及专利分类号；
在采用所述第一训练集对外观专利分类模型进行训练的过程中，针对各条所述训练数据，通过所述外观专利分类模型确定所述训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及所述训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整；所述专利草图基于所述目标附图生成；所述预测分类概率分布指通过外观专利分类模型预测出的外观专利申请文本对应的外观专利属于各个外观专利类别的概率；
通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类；
所述目标损失函数包括第一损失函数、第二损失函数及第三损失函数；所述基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整，包括：
针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据；
基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值；
基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值；
基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值；
基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整；
所述基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值，包括：
将每条所述训练数据对应的融合特征编码、每条所述训练数据的正关联数据对应的融合特征编码、每条所述训练数据的负关联数据对应的融合特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第三损失函数中，得到所述外观专利分类模型的第三损失值；
所述第三损失函数为：
；
其中，L 3为所述第三损失值，R 1为每条所述训练数据对应的融合特征编码、R 1 +为每条所述训练数据的正关联数据对应的融合特征编码，R 1 －为每条所述训练数据的负关联数据对应的融合特征编码，D 1(R 1,R 1 +)为每条所述训练数据对应的融合特征编码与每条所述训练数据的正关联数据对应的融合特征编码之间的第五距离值，D 1(R 1,R 1 －)为每条所述训练数据对应的融合特征编码与每条所述训练数据的负关联数据对应的融合特征编码之间的第六距离值，µ 3为第三控制系数，µ 3用于确保所述第六距离值大于所述第五距离值与µ 3之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
2.根据权利要求1所述的方法，其特征在于，所述针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据，包括：
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号相同的其他训练数据确定为所述正关联数据；
针对每条所述训练数据，将对应的专利分类号与所述训练数据中的专利分类号不同的其他训练数据确定为所述负关联数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值，包括：
将每条所述训练数据对应的文本特征编码、每条所述训练数据的正关联数据对应的文本特征编码、每条所述训练数据的负关联数据对应的文本特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第一损失函数中，得到所述外观专利分类模型的第一损失值；
所述第一损失函数为：
；
其中，L 1为所述第一损失值，W 1为每条所述训练数据对应的文本特征编码、W 1 +为每条所述训练数据的正关联数据对应的文本特征编码，W 1 －为每条所述训练数据的负关联数据对应的文本特征编码，D 1(W 1,W 1 +)为每条所述训练数据对应的文本特征编码与每条所述训练数据的正关联数据对应的文本特征编码之间的第一距离值，D 1(W 1,W 1 －)为每条所述训练数据对应的文本特征编码与每条所述训练数据的负关联数据对应的文本特征编码之间的第二距离值，µ 1为第一控制系数，µ 1用于确保所述第二距离值大于所述第一距离值与µ 1之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值，包括：
将每条所述训练数据对应的图像特征编码、每条所述训练数据的正关联数据对应的图像特征编码、每条所述训练数据的负关联数据对应的图像特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第二损失函数中，得到所述外观专利分类模型的第二损失值；
所述第二损失函数为：
；
其中，L 2为所述第二损失值，T 1为每条所述训练数据对应的图像特征编码、T 1 +为每条所述训练数据的正关联数据对应的图像特征编码，T 1 －为每条所述训练数据的负关联数据对应的图像特征编码，D 1(T 1,T 1 +)为每条所述训练数据对应的图像特征编码与每条所述训练数据的正关联数据对应的图像特征编码之间的第三距离值，D 1(T 1,T 1 －)为每条所述训练数据对应的图像特征编码与每条所述训练数据的负关联数据对应的图像特征编码之间的第四距离值，µ 2为第二控制系数，µ 2用于确保所述第四距离值大于所述第三距离值与µ 2之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整，包括：
基于所述第一损失值、所述第二损失值以及所述第三损失值，采用公式L=λ 1 L 1+λ 2 L 2+λ 3 L 3确定所述外观专利分类模型的总损失值，并基于所述总损失值对所述外观专利分类模型的模型参数进行调整；
其中，L为所述总损失值，λ 1为所述第一损失值对应的权重系数，L 1为所述第一损失值，λ 2为所述第二损失值对应的权重系数，L 2为所述第二损失值，λ 3为所述第一损失值对应的权重系数，L 3为所述第三损失值。
6.一种终端设备，其特征在于，包括：
数据构建单元，用于基于外观专利数据库构建第一训练集；所述第一训练集中的每条训练数据包括一个外观专利的专利名称、目标附图以及专利分类号；
模型训练单元，用于在采用所述第一训练集对外观专利分类模型进行训练的过程中，针对各条所述训练数据，通过所述外观专利分类模型确定所述训练数据中外观专利的专利名称对应的文本特征编码、专利草图对应的图像特征编码、专利名称和专利草图对应的融合特征编码以及所述训练数据对应的预测分类概率分布，并基于目标损失函数以及每条训练数据对应的所述文本特征编码、所述图像特征编码、所述融合特征编码以及所述预测分类概率分布，对所述外观专利分类模型的模型参数进行调整；所述专利草图基于所述目标附图生成；
专利分类单元，用于通过训练好的外观专利分类模型对待分类的外观专利申请文本进行分类；
所述目标损失函数包括第一损失函数、第二损失函数及第三损失函数；
所述模型训练单元包括关联数据确定单元、第一损失计算单元、第二损失计算单元、第三损失计算单元以及参数调整单元；
所述关联数据确定单元用于针对每条所述训练数据，从其他训练数据中确定所述训练数据的正关联数据和负关联数据；
所述第一损失计算单元用于基于所述第一损失函数、所述训练数据对应的文本特征编码、所述训练数据的正关联数据对应的文本特征编码、所述训练数据的负关联数据对应的文本特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第一损失值；
所述第二损失计算单元用于基于所述第二损失函数、所述训练数据对应的图像特征编码、所述训练数据的正关联数据对应的图像特征编码、所述训练数据的负关联数据对应的图像特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第二损失值；
所述第三损失计算单元用于基于所述第三损失函数、所述训练数据对应的融合特征编码、所述训练数据的正关联数据对应的融合特征编码、所述训练数据的负关联数据对应的融合特征编码以及所述训练数据对应的预测分类概率分布，确定所述外观专利分类模型的第三损失值；
所述参数调整单元用于基于所述第一损失值、所述第二损失值以及所述第三损失值对所述外观专利分类模型的模型参数进行调整；
所述第三损失计算单元具体用于：
将每条所述训练数据对应的融合特征编码、每条所述训练数据的正关联数据对应的融合特征编码、每条所述训练数据的负关联数据对应的融合特征编码以及每条所述训练数据对应的预测分类概率分别代入所述第三损失函数中，得到所述外观专利分类模型的第三损失值；
所述第三损失函数为：
；
其中，L 3为所述第三损失值，R 1为每条所述训练数据对应的融合特征编码、R 1 +为每条所述训练数据的正关联数据对应的融合特征编码，R 1 －为每条所述训练数据的负关联数据对应的融合特征编码，D 1(R 1,R 1 +)为每条所述训练数据对应的融合特征编码与每条所述训练数据的正关联数据对应的融合特征编码之间的第五距离值，D 1(R 1,R 1 －)为每条所述训练数据对应的融合特征编码与每条所述训练数据的负关联数据对应的融合特征编码之间的第六距离值，µ 3为第三控制系数，µ 3用于确保所述第六距离值大于所述第五距离值与µ 3之和，C为外观专利类别的总数量，y i为每条所述训练数据中外观专利的专利分类号对应的独热编码，p i为所述训练数据对应的预测分类概率分布中第i个元素的值。
7.一种终端设备，其特征在于，包括存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
CN202311350169.5A 2023-10-18 2023-10-18 基于语义的知识产权文本表示与分类方法及终端设备 Active CN117112734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311350169.5A CN117112734B (zh) 2023-10-18 2023-10-18 基于语义的知识产权文本表示与分类方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311350169.5A CN117112734B (zh) 2023-10-18 2023-10-18 基于语义的知识产权文本表示与分类方法及终端设备

Publications (2)

Publication Number Publication Date
CN117112734A CN117112734A (zh) 2023-11-24
CN117112734B true CN117112734B (zh) 2024-02-02

Family

ID=88795004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311350169.5A Active CN117112734B (zh) 2023-10-18 2023-10-18 基于语义的知识产权文本表示与分类方法及终端设备

Country Status (1)

Country Link
CN (1) CN117112734B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742483A (zh) * 2021-08-27 2021-12-03 北京百度网讯科技有限公司 文档分类的方法、装置、电子设备和存储介质
EP3971792A1 (en) * 2020-09-21 2022-03-23 Robert Bosch GmbH Device and method for determining a knowledge graph
CN116415021A (zh) * 2022-12-30 2023-07-11 中山大学 一种基于可定制语义的外观专利图像检索方法与系统
CN116432026A (zh) * 2023-03-07 2023-07-14 阿里巴巴（中国）有限公司 视觉语言理解任务处理方法和系统
CN116469110A (zh) * 2023-04-18 2023-07-21 平安科技（深圳）有限公司 图像分类方法、装置、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230044152A1 (en) * 2021-08-05 2023-02-09 Rakuten Group, Inc. System and method for multi-modal transformer-based catagorization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3971792A1 (en) * 2020-09-21 2022-03-23 Robert Bosch GmbH Device and method for determining a knowledge graph
CN113742483A (zh) * 2021-08-27 2021-12-03 北京百度网讯科技有限公司 文档分类的方法、装置、电子设备和存储介质
WO2023024614A1 (zh) * 2021-08-27 2023-03-02 北京百度网讯科技有限公司 文档分类的方法、装置、电子设备和存储介质
CN116415021A (zh) * 2022-12-30 2023-07-11 中山大学 一种基于可定制语义的外观专利图像检索方法与系统
CN116432026A (zh) * 2023-03-07 2023-07-14 阿里巴巴（中国）有限公司 视觉语言理解任务处理方法和系统
CN116469110A (zh) * 2023-04-18 2023-07-21 平安科技（深圳）有限公司 图像分类方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的中文专利自动分类方法研究;吕璐成;韩涛;周健;赵亚娟;;图书情报工作(10);第77-87页 *

Also Published As

Publication number Publication date
CN117112734A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN111027327B (zh) 机器阅读理解方法、设备、存储介质及装置
CN110232183B (zh) 关键词提取模型训练方法、关键词提取方法、装置及存储介质
JP6601470B2 (ja) 自然言語の生成方法、自然言語の生成装置及び電子機器
JP2019008778A (ja) 画像の領域のキャプション付加
CN110909160A (zh) 正则表达式生成方法、服务器及计算机可读存储介质
CN113094552A (zh) 视频模板的搜索方法、装置、服务器及可读存储介质
CN111190997A (zh) 一种使用神经网络和机器学习排序算法的问答系统实现方法
CN111274797A (zh) 用于终端的意图识别方法、装置、设备及存储介质
CN115455171B (zh) 文本视频的互检索以及模型训练方法、装置、设备及介质
CN109522970B (zh) 图像分类方法、装置及系统
WO2024098623A1 (zh) 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统
JP2022502758A (ja) 符号化方法、装置、機器およびプログラム
CN110717009A (zh) 一种法律咨询报告的生成方法及设备
CN109002186A (zh) 一种输入预测方法及装置
CN111723192B (zh) 代码推荐方法和装置
CN112507167A (zh) 一种识别视频合集的方法、装置、电子设备及存储介质
CN114661881A (zh) 一种基于问答模式的事件抽取方法、装置和设备
CN113516961A (zh) 一种音符生成方法、相关设备、存储介质及程序产品
CN110968664A (zh) 一种文书检索方法、装置、设备及介质
JP6172332B2 (ja) 情報処理方法及び情報処理装置
CN113220828B (zh) 意图识别模型处理方法、装置、计算机设备及存储介质
CN113515620A (zh) 电力设备技术标准文档排序方法、装置、电子设备和介质
CN110705279A (zh) 一种词汇表的选择方法、装置及计算机可读存储介质
CN112926647A (zh) 模型训练方法、域名检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant