CN114510923A - 基于人工智能的文本主题生成方法、装置、设备及介质 - Google Patents

基于人工智能的文本主题生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN114510923A
CN114510923A CN202210033713.2A CN202210033713A CN114510923A CN 114510923 A CN114510923 A CN 114510923A CN 202210033713 A CN202210033713 A CN 202210033713A CN 114510923 A CN114510923 A CN 114510923A
Authority
CN
China
Prior art keywords
sentence vector
clustering
vector
target text
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210033713.2A
Other languages
English (en)
Other versions
CN114510923B (zh
Inventor
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210033713.2A priority Critical patent/CN114510923B/zh
Priority to PCT/CN2022/090163 priority patent/WO2023134075A1/zh
Publication of CN114510923A publication Critical patent/CN114510923A/zh
Application granted granted Critical
Publication of CN114510923B publication Critical patent/CN114510923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种基于人工智能的文本主题生成方法、装置、设备及介质，其中方法包括：获取目标文本集；对所述目标文本集中的每个所述目标文本进行句子向量生成；采用K‑Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；从指定句子向量聚类集对应的各个所述目标文本中分别进行TF‑IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。从而实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。

Description

基于人工智能的文本主题生成方法、装置、设备及介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种基于人工智能的文本主题生成方法、装置、设备及介质。
背景技术
在日常的自然语言处理任务中，文本主题模型一直以来都是工业中使用最为广泛的模型之一，通过文本主题模型可以将海量文档归类，从而便于日常筛选、管理以及运用。
当前工业界使用最多的文本主题模型依然是LDA(Latent DirichletAllocation)模型和PLSA(Probabilistic Latent Semantic Analysis)模型，这两者皆以统计词频为基础。虽然LDA模型和PLSA模型在工业界的应用都较为广泛，但是都需要预先设置主题的数量，仅仅依赖统计的方法，捕获不到文本中所蕴含的语义信息，导致文本主题的准确性较低。
发明内容
本申请的主要目的为提供一种基于人工智能的文本主题生成方法、装置、设备及介质，旨在解决现有技术的LDA模型和PLSA模型，仅仅依赖统计的方法，捕获不到文本中所蕴含的语义信息，导致文本主题的准确性较低的技术问题。
为了实现上述发明目的，本申请提出一种基于人工智能的文本主题生成方法，所述方法包括：
获取目标文本集；
对所述目标文本集中的每个所述目标文本进行句子向量生成；
采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
进一步的，所述获取目标文本集的步骤，包括：
获取多个小说简介文本；
对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；
将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
进一步的，所述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤，包括：
将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
进一步的，所述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，包括：
设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；
计算每个所述句子向量与每个所述聚类中心之间的向量距离；
根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；
对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；
将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；
重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；
将每个所述初始聚类集作为一个所述句子向量聚类集。
进一步的，所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，包括：
采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
进一步的，所述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，还包括：
采用预设的降维算法，对每个所述句子向量进行降维处理；
采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
进一步的，所述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题的步骤，包括：
将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；
对所述目标文档进行分词，得到初始词语集；
对初始词语集进行词语去重，得到目标词语集；
采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；
将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；
采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；
将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
本申请还提出了一种基于人工智能的文本主题生成装置，所述装置包括：
数据获取模块，用于获取目标文本集；
句子向量生成模块，用于对所述目标文本集中的每个所述目标文本进行句子向量生成；
聚类模块，用于采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
目标文本主题生成模块，用于从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于人工智能的文本主题生成方法、装置、设备及介质，其中方法通过获取目标文本集；对所述目标文本集中的每个所述目标文本进行句子向量生成；采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。通过对目标文本进行句子向量生成，以提取到目标文本中蕴含的语义信息，从而在后续的聚类中，将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果；采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
附图说明
图1为本申请一实施例的基于人工智能的文本主题生成方法的流程示意图；
图2为本申请一实施例的基于人工智能的文本主题生成装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种基于人工智能的文本主题生成方法，所述方法包括：
S1：获取目标文本集；
S2：对所述目标文本集中的每个所述目标文本进行句子向量生成；
S3：采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
S4：从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
本实施例通过对目标文本进行句子向量生成，以提取到目标文本中蕴含的语义信息，从而在后续的聚类中，将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果；采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
对于S1，可以获取用户输入的目标文本集，也可以从数据库中获取目标文本集，还可以从第三方应用系统中获取目标文本集。
目标文本集中包括一个或多个目标文本。目标文本，是包含一句或多句话的文本。
对于S2，将所述目标文本集中的每个所述目标文本进行句子向量生成，从而使句子向量提取到了目标文本中蕴含的语义信息。
对于S3，采用K-Means聚类算法，将各个所述句子向量聚类到数量与聚类数量相同的聚类集，将聚类得到的每个聚类集作为一个句子向量聚类集。因句子向量具有语义信息，从而将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果。
所述聚类数量是大于1的整数。
K-Means聚类算法，也就是K均值聚类算法。
对于S4，采用TF-IDF算法，对指定句子向量聚类集对应的各个所述目标文本进行TF-IDF权重值计算，根据各个TF-IDF权重值提取出一个或多个TF-IDF权重值，将提取得到个各个TF-IDF权重值对应的各个词语作为与所述指定句子向量聚类集对应的目标文本主题。实现了采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
TF-IDF(term frequency–inverse document frequency)，是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词。
可以理解的是，与所述指定句子向量聚类集对应的目标文本主题，是所述指定句子向量聚类集对应的各个所述目标文本的文本主题。
在一个实施例中，上述获取目标文本集的步骤，包括：
S11：获取多个小说简介文本；
S12：对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；
S13：将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
本实施例实现了对小说简介文本进行数据清洗后作为目标文本，从而使本申请确定的目标文本主题可以用于小说分类、小说推荐；通过数据清洗减少了噪音干扰，提高了确定的目标文本主题的准确性。
对于S11，可以获取用户输入的多个小说简介文本，也可以从数据库中获取多个小说简介文本，还可以从第三方应用系统中获取多个小说简介文本。
小说简介文本，是一篇小说的简介文本。
可选的，小说简介文本是大于预设字数的文本。
可选的，所述预设字数设为1024。
对于S12，小说简介文本中有大量的无用字符，比如，书名号、作为修饰的重复标点符号、空白符号、链接符号，这些无用字符会影响生成的句子向量蕴含的语义信息的准确性，因此需要对每个所述小说简介文本进行数据清洗，将数据清洗后的小说简介文本作为目标文本。
其中，采用预设的正则表达式，对每个所述小说简介文本进行无用字符删除处理，将无用字符删除处理后的每个所述小说简介文本作为一个所述目标文本，从而得到了没有噪音的文本。
对于S13，将各个所述小说简介文本对应的各个所述目标文本作为所述目标文本集，从而实现将没有噪音的各个目标文本作为所述目标文本集，基于没有噪声的目标文本集提取文本主题，提高了确定的文本主题的准确性。
在一个实施例中，上述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤，包括：
S21：将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
本实施例实现了采用基于Bert模型训练得到模型进行句子向量的生成，有利于提高提取目标文本中蕴含的语义信息，进一步提高了确定的文本主题的准确性。
对于S21，将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型，获取句子向量生成模型的编码层输出的所述句子向量。
可选的，从模型库中获取与所述目标文本集对应的文本类型的句子向量生成模型，采用获取的句子向量生成模型对所述目标文本集中的每个所述目标文本进行句子向量生成。通过采用相同文本类型的句子向量生成模型对目标文本进行句子向量生成，进一步提高了提取目标文本中蕴含的语义信息。
可选的，Bert(Bidirectional Encoder Representations from Transformers)模型采用Bert Base模型。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，包括：
S311：设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；
S312：计算每个所述句子向量与每个所述聚类中心之间的向量距离；
S313：根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；
S314：对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；
S315：将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；
S316：重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；
S317：将每个所述初始聚类集作为一个所述句子向量聚类集。
本实施例采用K-Means聚类算法和预设的聚类数量，对具有语义效果的各个所述句子向量进行聚类，从而使聚类得到的句子向量聚类集中的各个句子向量具有相同语义信息。
对于S311，设置数量与所述聚类数量相同的聚类中心，也就是聚类中心的数量与聚类数量相同。
对每个所述聚类中心进行初始化的方法在此不做赘述。
对于S312，计算每个所述句子向量与每个所述聚类中心之间的向量距离，也就是说，所述句子向量的数量与所述聚类中心的数量的乘积等于向量距离的数量。
对于S313，将任一个所述句子向量作为待处理句子向量；将所述待处理句子向量对应的各个所述向量距离中找出值为最小的所述向量距离作为目标向量距离；将所述待处理句子向量分配到与所述目标向量距离对应的所述聚类中心对应的初始聚类集。
对于S314，对每个所述初始聚类集中的各个所述句子向量进行向量平均值计算。
对于S315，将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，从而实现了对聚类中心的更新。
对于S316，重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，也就是重复执行步骤S312至步骤S316，直至每个所述初始聚类集对应的所述聚类中心不再变化。当每个所述初始聚类集对应的所述聚类中心不再变化时，意味着已经实现了最优的聚类。
对于S317，将每个所述初始聚类集作为一个所述句子向量聚类集，从而得到了具有相同语义信息的句子向量聚类集。
在一个实施例中，上述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，包括：
S3121：采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
本实施例采用余弦相似度算法作为聚类算法的向量度量指标，从而较好的度量了句子向量之间的距离，提高了聚类的准确性。
对于S3121，采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的余弦相似度，将计算得到的余弦相似度作为向量距离。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，还包括：
S321：采用预设的降维算法，对每个所述句子向量进行降维处理；
S322：采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
因句子向量是高纬度的向量，高纬度的向量通常都比较稀疏，导致聚类效果较差，为了解决该问题，本实施例先对每个所述句子向量进行降维处理，然后再对降维处理后的各个所述句子向量进行聚类，从而实现通过降维降低句子向量的稀疏以提高聚类效果，进一步提高了确定的文本主题的准确性。
对于S321，采用预设的降维算法，对每个所述句子向量进行降维处理，以降低句子向量的稀疏性。
可选的，采用UMAP算法(降维流形学习算法)，对每个所述句子向量进行降维处理。
比如，所述句子向量是采用基于Bert模型训练得到模型生成是，所述句子向量具有768维度，通过UMAP算法对所述句子向量降维处理之后，所述句子向量将变成远小于768维度的向量。
对于S322，采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，可以采用步骤S311至步骤S316的方法，也就是说，将步骤S311至步骤S316中的所述句子向量替换为降维处理后的所述句子向量。
在一个实施例中，上述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题的步骤，包括：
S41：将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；
S42：对所述目标文档进行分词，得到初始词语集；
S43：对初始词语集进行词语去重，得到目标词语集；
S44：采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；
S45：将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；
S46：采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；
S47：将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
本实施例将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，然后采用TF-IDF算法，对该文档中的词语进行TF-IDF权重值计算，最后根据计算得到的各个TF-IDF权重值提取词语作为指定句子向量聚类集对应的所述目标文本主题，实现了采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
对于S41，将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，将合并得到的文档作为目标文档。
对于S42，对所述目标文档进行分词，将分词得到的各个词语作为初始词语集。
对于S43，对初始词语集进行词语去重，词语去重后的初始词语集作为目标词语集，也就是说，目标词语集中的词语具有唯一性。
对于S44，采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算的方法在此不做作赘述。
对于S45，将各个所述TF-IDF权重值进行倒序排序，将倒序排序的各个所述TF-IDF权重值作为TF-IDF权重值集。
对于S46，采用从开头开始获取的方法，也就是从所述TF-IDF权重值集的开头开始提取，以实现从最高的TF-IDF权重值开始提取，提取出数量与预设的词语数量相同的所述TF-IDF权重值，将提取的各个所述TF-IDF权重值作为TF-IDF权重值集。
对于S47，将所述TF-IDF权重值集中的各个所述TF-IDF权重值各自对应的词语作为与所述指定句子向量聚类集对应的所述目标文本主题，实现了采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题。
参照图2，本申请还提出了一种基于人工智能的文本主题生成装置，所述装置包括：
数据获取模块100，用于获取目标文本集；
句子向量生成模块200，用于对所述目标文本集中的每个所述目标文本进行句子向量生成；
聚类模块300，用于采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
目标文本主题生成模块400，用于从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
本实施例通过对目标文本进行句子向量生成，以提取到目标文本中蕴含的语义信息，从而在后续的聚类中，将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果；采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
在一个实施例中，上述数据获取模块100包括：小说简介文本获取子模块、数据清洗子模块和目标文本集确定子模块；
所述小说简介文本获取子模块，用于获取多个小说简介文本；
所述数据清洗子模块，用于对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；
所述目标文本集确定子模块，用于将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
在一个实施例中，上述句子向量生成模块200包括：句子向量确定子模块；
所述句子向量确定子模块，用于将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
在一个实施例中，上述聚类模块300包括：聚类中心设置子模块、向量距离计算子模块、初始聚类集生成子模块、向量平均值计算子模块、聚类中心更新子模块、循环控制子模块和句子向量聚类集确定子模块；
所述聚类中心设置子模块，用于设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；
所述向量距离计算子模块，用于计算每个所述句子向量与每个所述聚类中心之间的向量距离；
所述初始聚类集生成子模块，用于根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；
所述向量平均值计算子模块，用于对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；
所述聚类中心更新子模块，用于将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；
所述循环控制子模块，用于重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；
所述句子向量聚类集确定子模块，用于将每个所述初始聚类集作为一个所述句子向量聚类集。
在一个实施例中，上述向量距离计算子模块包括：向量距离计算单元；
所述向量距离计算单元，用于采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
在一个实施例中，上述聚类模块300还包括：降维处理子模块和聚类子模块；
所述降维处理子模块，用于采用预设的降维算法，对每个所述句子向量进行降维处理；
所述聚类子模块，用于采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
在一个实施例中，上述目标文本主题生成模块400包括：目标文档确定子模块、初始词语集确定子模块、目标词语集确定子模块、TF-IDF权重值计算子模块、倒序排序子模块、TF-IDF权重值集确定子模块和目标文本主题确定子模块；
所述目标文档确定子模块，用于将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；
所述初始词语集确定子模块，用于对所述目标文档进行分词，得到初始词语集；
所述目标词语集确定子模块，用于对初始词语集进行词语去重，得到目标词语集；
所述TF-IDF权重值计算子模块，用于采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；
所述倒序排序子模块，用于将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；
所述TF-IDF权重值集确定子模块，用于采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；
所述目标文本主题确定子模块，用于将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于人工智能的文本主题生成方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的文本主题生成方法。所述基于人工智能的文本主题生成方法，包括：获取目标文本集；对所述目标文本集中的每个所述目标文本进行句子向量生成；采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
本实施例通过对目标文本进行句子向量生成，以提取到目标文本中蕴含的语义信息，从而在后续的聚类中，将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果；采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
在一个实施例中，上述获取目标文本集的步骤，包括：获取多个小说简介文本；对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
在一个实施例中，上述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤，包括：将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，包括：设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；计算每个所述句子向量与每个所述聚类中心之间的向量距离；根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；将每个所述初始聚类集作为一个所述句子向量聚类集。
在一个实施例中，上述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，包括：采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，还包括：采用预设的降维算法，对每个所述句子向量进行降维处理；采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
在一个实施例中，上述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题的步骤，包括：将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；对所述目标文档进行分词，得到初始词语集；对初始词语集进行词语去重，得到目标词语集；采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于人工智能的文本主题生成方法，包括步骤：获取目标文本集；对所述目标文本集中的每个所述目标文本进行句子向量生成；采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
上述执行的基于人工智能的文本主题生成方法，本实施例通过对目标文本进行句子向量生成，以提取到目标文本中蕴含的语义信息，从而在后续的聚类中，将具有相同语义信息的句子向量聚类到同一个聚类集中，有效的提高了聚类集的语义效果；采用TF-IDF算法从具有语义效果的每个聚类集对应的各个目标文本中提取出文本主题，实现了将统计的方法和基于语义信息的方法相结合，提高了泛化性，提高了确定的文本主题的准确性。
在一个实施例中，上述获取目标文本集的步骤，包括：获取多个小说简介文本；对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
在一个实施例中，上述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤，包括：将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，包括：设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；计算每个所述句子向量与每个所述聚类中心之间的向量距离；根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；将每个所述初始聚类集作为一个所述句子向量聚类集。
在一个实施例中，上述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，包括：采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
在一个实施例中，上述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，还包括：采用预设的降维算法，对每个所述句子向量进行降维处理；采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
在一个实施例中，上述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题的步骤，包括：将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；对所述目标文档进行分词，得到初始词语集；对初始词语集进行词语去重，得到目标词语集；采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于人工智能的文本主题生成方法，其特征在于，所述方法包括：
获取目标文本集；
对所述目标文本集中的每个所述目标文本进行句子向量生成；
采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
2.根据权利要求1所述的基于人工智能的文本主题生成方法，其特征在于，所述获取目标文本集的步骤，包括：
获取多个小说简介文本；
对每个所述小说简介文本进行数据清洗，得到每个所述小说简介文本对应的所述目标文本；
将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
3.根据权利要求1所述的基于人工智能的文本主题生成方法，其特征在于，所述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤，包括：
将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成，其中，所述句子向量生成模型是基于Bert模型训练得到模型。
4.根据权利要求1所述的基于人工智能的文本主题生成方法，其特征在于，所述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，包括：
设置数量与所述聚类数量相同的聚类中心，并对每个所述聚类中心进行初始化；
计算每个所述句子向量与每个所述聚类中心之间的向量距离；
根据各个所述向量距离，将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集；
对每个所述初始聚类集进行向量平均值计算，得到每个所述初始聚类集对应的向量平均值；
将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心，其中，所述指定向量平均值是任一个所述向量平均值；
重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，直至每个所述初始聚类集对应的所述聚类中心不再变化；
将每个所述初始聚类集作为一个所述句子向量聚类集。
5.根据权利要求4所述的基于人工智能的文本主题生成方法，其特征在于，所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤，包括：
采用余弦相似度算法，计算每个所述句子向量与每个所述聚类中心之间的所述向量距离。
6.根据权利要求1所述的基于人工智能的文本主题生成方法，其特征在于，所述采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集的步骤，还包括：
采用预设的降维算法，对每个所述句子向量进行降维处理；
采用K-Means聚类算法和所述聚类数量，对降维处理后的各个所述句子向量进行聚类，得到多个所述句子向量聚类集。
7.根据权利要求1所述的基于人工智能的文本主题生成方法，其特征在于，所述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题的步骤，包括：
将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档，得到目标文档；
对所述目标文档进行分词，得到初始词语集；
对初始词语集进行词语去重，得到目标词语集；
采用TF-IDF算法和所述初始词语集，对所述目标词语集中的每个词语进行TF-IDF权重值计算；
将各个所述TF-IDF权重值进行倒序排序，得到TF-IDF权重值集；
采用从开头开始获取的方法，从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值，得到TF-IDF权重值集；
将所述TF-IDF权重值集对应的各个词语，作为与所述指定句子向量聚类集对应的所述目标文本主题。
8.一种基于人工智能的文本主题生成装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标文本集；
句子向量生成模块，用于对所述目标文本集中的每个所述目标文本进行句子向量生成；
聚类模块，用于采用K-Means聚类算法和预设的聚类数量，对各个所述句子向量进行聚类，得到多个句子向量聚类集；
目标文本主题生成模块，用于从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取，得到与所述指定句子向量聚类集对应的目标文本主题，其中，所述指定句子向量聚类集是任一个所述句子向量聚类集。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210033713.2A 2022-01-12 2022-01-12 基于人工智能的文本主题生成方法、装置、设备及介质 Active CN114510923B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210033713.2A CN114510923B (zh) 2022-01-12 2022-01-12 基于人工智能的文本主题生成方法、装置、设备及介质
PCT/CN2022/090163 WO2023134075A1 (zh) 2022-01-12 2022-04-29 基于人工智能的文本主题生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210033713.2A CN114510923B (zh) 2022-01-12 2022-01-12 基于人工智能的文本主题生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114510923A true CN114510923A (zh) 2022-05-17
CN114510923B CN114510923B (zh) 2023-08-15

Family

ID=81550709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210033713.2A Active CN114510923B (zh) 2022-01-12 2022-01-12 基于人工智能的文本主题生成方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114510923B (zh)
WO (1) WO2023134075A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658879A (zh) * 2022-12-29 2023-01-31 北京天际友盟信息技术有限公司 自动化威胁情报文本聚类方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117391071B (zh) * 2023-12-04 2024-02-27 中电科大数据研究院有限公司 一种新闻话题数据挖掘方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347835A (zh) * 2019-07-11 2019-10-18 招商局金融科技有限公司 文本聚类方法、电子装置及存储介质
CN110413986A (zh) * 2019-04-12 2019-11-05 上海晏鼠计算机技术股份有限公司 一种改进词向量模型的文本聚类多文档自动摘要方法及系统
JP2020004157A (ja) * 2018-06-29 2020-01-09 富士通株式会社 分類方法、装置、及びプログラム
CN111832289A (zh) * 2020-07-13 2020-10-27 重庆大学 一种基于聚类和高斯lda的服务发现方法
CN113407679A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 文本主题挖掘方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495358B2 (en) * 2006-10-10 2016-11-15 Abbyy Infopoisk Llc Cross-language text clustering
CN113239150B (zh) * 2021-05-17 2024-02-27 平安科技（深圳）有限公司 文本匹配方法、系统及设备
CN113779246A (zh) * 2021-08-25 2021-12-10 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于句子向量的文本聚类分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020004157A (ja) * 2018-06-29 2020-01-09 富士通株式会社 分類方法、装置、及びプログラム
CN110413986A (zh) * 2019-04-12 2019-11-05 上海晏鼠计算机技术股份有限公司 一种改进词向量模型的文本聚类多文档自动摘要方法及系统
CN110347835A (zh) * 2019-07-11 2019-10-18 招商局金融科技有限公司 文本聚类方法、电子装置及存储介质
CN111832289A (zh) * 2020-07-13 2020-10-27 重庆大学 一种基于聚类和高斯lda的服务发现方法
CN113407679A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 文本主题挖掘方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658879A (zh) * 2022-12-29 2023-01-31 北京天际友盟信息技术有限公司 自动化威胁情报文本聚类方法和系统

Also Published As

Publication number Publication date
CN114510923B (zh) 2023-08-15
WO2023134075A1 (zh) 2023-07-20

Similar Documents

Publication Publication Date Title
CN111753060B (zh) 信息检索方法、装置、设备及计算机可读存储介质
CN110347835B (zh) 文本聚类方法、电子装置及存储介质
CN110765265A (zh) 信息分类抽取方法、装置、计算机设备和存储介质
CN114492429B (zh) 文本主题的生成方法、装置、设备及存储介质
CN114510923B (zh) 基于人工智能的文本主题生成方法、装置、设备及介质
CN110866107A (zh) 素材语料的生成方法、装置、计算机设备和存储介质
CN111221944A (zh) 文本意图识别方法、装置、设备和存储介质
CN112395500A (zh) 内容数据推荐方法、装置、计算机设备及存储介质
CN112052684A (zh) 电力计量的命名实体识别方法、装置、设备和存储介质
CN113762392A (zh) 基于人工智能的理财产品推荐方法、装置、设备及介质
CN109086265A (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN112766319A (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN113204618A (zh) 基于语义增强的信息识别方法、装置、设备及存储介质
CN111523960A (zh) 基于稀疏矩阵的产品推送方法、装置、计算机设备及介质
CN112015994B (zh) 药物推荐方法、装置、设备及介质
CN112667780A (zh) 一种评论信息的生成方法、装置、电子设备及存储介质
CN111859916A (zh) 古诗关键词提取、诗句生成方法、装置、设备及介质
WO2023134085A1 (zh) 问题答案的预测方法、预测装置、电子设备、存储介质
CN113486670A (zh) 基于目标语义的文本分类方法、装置、设备及存储介质
CN116804998A (zh) 基于医学语义理解的医学术语检索方法和系统
CN117892000B (zh) 基于用户特征的云数据统筹管理系统及方法
CN113408282B (zh) 主题模型训练和主题预测方法、装置、设备及存储介质
CN113032556A (zh) 一种基于自然语言处理形成用户画像的方法
CN116956954A (zh) 文本翻译方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant