CN114741499B - 一种基于句子语义模型的文本摘要生成方法和系统 - Google Patents

一种基于句子语义模型的文本摘要生成方法和系统 Download PDF

Info

Publication number
CN114741499B
CN114741499B CN202210639620.4A CN202210639620A CN114741499B CN 114741499 B CN114741499 B CN 114741499B CN 202210639620 A CN202210639620 A CN 202210639620A CN 114741499 B CN114741499 B CN 114741499B
Authority
CN
China
Prior art keywords
text
sentence
paragraph
vector
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210639620.4A
Other languages
English (en)
Other versions
CN114741499A (zh
Inventor
周泽伟
杨红飞
金霞
程东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huoshi Creation Technology Co ltd
Original Assignee
Hangzhou Firestone Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Firestone Technology Co ltd filed Critical Hangzhou Firestone Technology Co ltd
Priority to CN202210639620.4A priority Critical patent/CN114741499B/zh
Publication of CN114741499A publication Critical patent/CN114741499A/zh
Application granted granted Critical
Publication of CN114741499B publication Critical patent/CN114741499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种基于句子语义模型的文本摘要生成方法和系统，其中，该方法包括：获取文本与文本标签，对文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；根据词向量聚合得到文本语句向量，根据文本语句向量与文本标签，获取待生成的文本摘要所在的段落；计算待生成的文本摘要所在的段落中每个文本语句向量与文本标签的语义距离，并对语义距离按照由近及远的规则进行排序，确定最终的文本摘要。通过本申请，不仅可以解决关键词频数方法的使用范围局限、逻辑不灵活和可扩展性差的问题，还能兼顾模型准确率与模型预测时间的平衡性，即能同时保证模型准确率与模型的预测时间可用性。

Description

一种基于句子语义模型的文本摘要生成方法和系统
技术领域
本申请涉及自然语言处理技术领域，特别是涉及一种基于句子语义模型的文本摘要生成方法和系统。
背景技术
现如今，对于文本摘要生成的方法，主要有关键词词频数方法与基于一般的机器学习方法。比如，专利《文本摘要生成方法、装置、设备及存储介质》通过Transformer和Seq2Seq模型获取丰富的编码向量进行文本摘要，提升文本摘要的准确性。专利《中文文本摘要生成系统及方法》利用神经网络让机器阅读全文，将理解后的文本表示在神经网络内，再序列化的输出简短精准的摘要。尽管采用机器学习可以更加精细的理解全文，但是对于这种基于一般的机器学习模型生成文本摘要的方法，其模型的准确率与模型预测时间的可用性很难平衡，会导致这类方法并不一定都适用于实际的大规模数据中，可应用性较低。而对于常见的关键词频数法，其缺点是使用范围有限、逻辑不灵活、可扩展性差。
因此，如何解决上述相关技术中存在的问题，是本领域亟待解决的技术问题。
发明内容
本申请实施例提供了一种基于句子语义模型的文本摘要生成方法和系统，以至少解决由于相关技术的限制和缺陷而导致的一个或者多个问题。
第一方面，本申请实施例提供了一种基于句子语义模型的文本摘要生成方法，所述方法包括：
获取文本与文本标签，对所述文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；
根据所述词向量聚合得到文本语句向量，根据所述文本语句向量与所述文本标签，获取待生成的文本摘要所在的段落；
计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，并对所述语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
在其中一些实施例中，根据所述词向量聚合得到文本语句向量包括：
根据所述词向量，通过自定义计算方法聚合得到文本语句向量，其中，计算公式如下：
Figure 957130DEST_PATH_IMAGE001
其中，Wi(Wij)为文本句子分词后的第i个词向量，n为词向量的维度，L为文本语句中的词个数，V_SENTENCEk为聚合得到的文本语句向量。
在其中一些实施例中，根据所述文本语句向量与所述文本标签，获取待生成的文本摘要所在的段落包括：
根据所述文本语句向量与所述文本标签，通过自定义计算方法，计算得到待生成的文本摘要所在的段落，计算公式如下：
Figure 3363DEST_PATH_IMAGE002
其中，KS为段落Paragraphk的语句个数，KP为文本的段落个数, Wi 为文本句子分词后的第i个词向量，DISTANCE(TEXT, V_SENTENCEk)为句子V_SENTENCEk与标签向量TEXT的语义距离，DISTANCE(TEXT, Paragraphk)为段落Paragraphk与标签向量TEXT的语义距离，PARAGRAPH_SELECT为待生成的文本摘要所在的段落。
在其中一些实施例中，计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离包括：
通过自定义计算方法，计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，计算公式如下：
Figure 208079DEST_PATH_IMAGE003
其中，PS_V_SENTENCEk为待生成的文本摘要所在的段落中每个文本语句向量，TEXT为文本标签向量，Wi 为文本句子分词后的第i个词向量。
在其中一些实施例中，对所述语义距离按照由近及远的规则进行排序，生成TopK语句包括：
通过自定义计算方法，对所述语义距离按照由近及远的规则进行排序，生成TopK语句，计算公式如下：
Figure 813504DEST_PATH_IMAGE004
其中，ORDER_DISTANCE(TEXT, PS_V_SENTENCEk)为每个文本语句与文本标签的语义距离排序。
在其中一些实施例中，对划分后的文本语句进行切词处理，得到词向量包括：
对所述划分后的文本语句进行切词处理，得到多个词，通过词向量生成法将得到的词生成相应的词向量。
在其中一些实施例中，对所述文本进行语句划分包括：
以句号为基准，对文本进行语句划分，每遇到一个句号则划分得到一个语句。
第二方面，本申请实施例提供了一种基于句子语义模型的文本摘要生成系统，所述系统包括：
语句划分模块，用于获取文本与文本标签，对所述文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；
段落获取模块，用于根据所述词向量聚合得到文本语句向量，根据所述文本语句向量与所述文本标签，获取待生成的文本摘要所在的段落；
摘要生成模块，用于计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，并对所述语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于句子语义模型的文本摘要生成方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于句子语义模型的文本摘要生成方法。
相比于相关技术，本申请实施例提供的基于句子语义模型的文本摘要生成方法，获取文本与文本标签，对文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；根据词向量聚合得到文本语句向量，根据文本语句向量与文本标签，获取待生成的文本摘要所在的段落；计算待生成的文本摘要所在的段落中每个文本语句向量与文本标签的语义距离，并对语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
通过本申请不仅可以解决关键词频数方法的使用范围局限、逻辑不灵活和可扩展性差的问题，还能兼顾模型准确率与模型预测时间的平衡性，即能同时保证模型准确率与模型的预测时间可用性。本申请方法的可扩展性、可解释性较强，覆盖范围较广，在不同类型的文本以及不同的项目中均可得到很好的实际应用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于句子语义模型的文本摘要生成方法的应用环境示意图；
图2是根据本申请实施例的基于句子语义模型的文本摘要生成方法的流程图；
图3是根据本申请实施例的基于句子语义模型的文本摘要生成系统的结构框图；
图4是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的基于句子语义模型的文本摘要生成方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的基于句子语义模型的文本摘要生成方法的应用环境示意图，如图1所示。其中，终端11与服务器10通过网络进行通信。服务器10获取文本与文本标签，对文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；根据词向量聚合得到文本语句向量，根据文本语句向量与文本标签，获取待生成的文本摘要所在的段落；计算待生成的文本摘要所在的段落中每个文本语句向量与文本标签的语义距离，并对语义距离按照由近及远的规则进行排序，确定最终的文本摘要，显示于终端11上。其中，终端11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例提供了一种基于句子语义模型的文本摘要生成方法，图2是根据本申请实施例的基于句子语义模型的文本摘要生成方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取文本与文本标签，对文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量。
首先，获取待生成文本摘要的文本和文本标签，例如，以某一新闻报道为例，输入文本标签：新材料；然后，以句号为基准，对文本进行语句划分，即每遇到一个句号则划分得到一个语句。
接着，对划分后的文本语句进行切词处理，得到词向量。优选的，本实施例中对划分后的文本语句进行切词处理，得到多个词，然后通过词向量生成法，如word2vec、bert等方法，将得到的词生成相应的词向量。需要说明的是，可根据实际情况自定义设置词向量的空间维度。例如，通过上述步骤得到文本中的二维词向量“锂电池”等。
步骤S202，根据词向量聚合得到文本语句向量，根据文本语句向量与文本标签，获取待生成的文本摘要所在的段落；
优选的，本实施例中根据文本语句中每个词向量所在的空间，通过自定义计算方法聚合得到文本语句向量，其中，计算公式如下式（1）所示：
Figure 420066DEST_PATH_IMAGE005
（1）
其中，Wi(Wij)为文本句子分词后的第i个词向量，n为词向量的维度，L为文本语句中的词个数，V_SENTENCEk为聚合得到的文本语句向量。
接着，根据文本语句向量与文本标签，通过自定义计算方法，计算得到待生成的文本摘要在整个文本中所在的段落，计算公式如下式（2）-（4）所示：
Figure 944588DEST_PATH_IMAGE006
（2）
Figure 839863DEST_PATH_IMAGE007
（3）
Figure 108033DEST_PATH_IMAGE008
（4）
其中，KS为段落Paragraphk的语句个数，KP为文本的段落个数, Wi 为文本句子分词后的第i个词向量，DISTANCE(TEXT, V_SENTENCEk)为句子V_SENTENCEk与标签向量TEXT的语义距离，DISTANCE(TEXT, Paragraphk)为段落Paragraphk与标签向量TEXT的语义距离，PARAGRAPH_SELECT为待生成的文本摘要所在的段落。
本实施例中将获取的任一词向量都可以进行聚合处理，可以多种文本语句向量，相比于传统的关键词频数方法，可以扩大使用范围，可扩展性更高
步骤S203，计算待生成的文本摘要所在的段落中每个文本语句向量与文本标签的语义距离，并对语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
通过步骤S202获取得到待生成的文本摘要在整个文本中所在的段落之后，优选的，本实施例通过自定义计算方法，计算该待生成的文本摘要所在的段落中每个文本语句向量与文本标签“新材料”的语义向量距离，计算公式如下式（5）所示：
Figure 506784DEST_PATH_IMAGE009
（5）
其中，PS_V_SENTENCEk为待生成的文本摘要所在的段落中每个文本语句向量，TEXT为文本标签向量，Wi 为文本句子分词后的第i个词向量。
在通过上式得到相应的语义距离之后，通过自定义计算方法，对语义距离按照由近及远的规则进行排序，确定排在前面的K个语句为最终的文本摘要，其中K值可根据实际情况进行选取。具体计算公式如下（6）所示：
Figure 139891DEST_PATH_IMAGE010
（6）
其中，ORDER_DISTANCE(TEXT, PS_V_SENTENCEk)为每个文本语句与文本标签的语义距离排序。
本实施例通过语义距离的计算，不仅精确而且能快速得到出最佳结果，因此能同时保证模型准确率与模型的预测时间可用性。使得本方法在不同类型的文本以及不同的项目中均可得到很好的实际应用。
通过上述步骤S201至步骤S203，本实施例基于句子语义模型对文本语句进行切割和向量聚合，得到文本语句向量，接着根据文本语句向量与标签向量之间的语义计算，获取文本摘要所在的段落，从而缩小生成计算范围。最后将待生成文本摘要所在的段落中的每个文本语句与标签进行语义距离计算和排序，确定最终的文本摘要。不仅可以解决关键词频数方法的使用范围局限、逻辑不灵活和可扩展性差的问题，还能兼顾模型准确率与模型预测时间的平衡性，即能同时保证模型准确率与模型的预测时间可用性。本申请方法的可扩展性、可解释性较强，覆盖范围较广，在不同类型的文本以及不同的项目中均可得到很好的实际应用。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于句子语义模型的文本摘要生成系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的基于句子语义模型的文本摘要生成系统的结构框图，如图3所示，该系统包括语句划分模块31、段落获取模块32和摘要生成模块33：
语句划分模块31，用于获取文本与文本标签，对文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；段落获取模块32，用于根据词向量聚合得到文本语句向量，根据文本语句向量与文本标签，获取待生成的文本摘要所在的段落；摘要生成模块33，用于计算待生成的文本摘要所在的段落中每个文本语句向量与文本标签的语义距离，并对语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
通过上述系统，本实施例基于句子语义模型对文本语句进行切割和向量聚合，得到文本语句向量，接着根据文本语句向量与标签向量之间的语义计算，获取文本摘要所在的段落，从而缩小生成计算范围。最后将待生成文本摘要所在的段落中的每个文本语句与标签进行语义距离计算和排序，确定最终的文本摘要。不仅可以解决关键词频数方法的使用范围局限、逻辑不灵活和可扩展性差的问题，还能兼顾模型准确率与模型预测时间的平衡性，即能同时保证模型准确率与模型的预测时间可用性。本申请方法的可扩展性、可解释性较强，覆盖范围较广，在不同类型的文本以及不同的项目中均可得到很好的实际应用。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
另外，结合上述实施例中的基于句子语义模型的文本摘要生成方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于句子语义模型的文本摘要生成方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于句子语义模型的文本摘要生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于句子语义模型的文本摘要生成方法，数据库用于存储数据。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于句子语义模型的文本摘要生成方法，其特征在于，所述方法包括：
获取文本与文本标签，对所述文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；
根据所述词向量聚合得到文本语句向量，根据所述文本语句向量与所述文本标签，获取待生成的文本摘要所在的段落，具体步骤包括：根据文本语句向量与文本标签，通过自定义计算方法，计算得到待生成的文本摘要在整个文本中所在的段落，计算公式如下式所示：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
其中，KS为段落Paragraphk的语句个数，KP为文本的段落个数, Wi 为文本句子分词后的词向量，DISTANCE(TEXT, V_SENTENCEk)为句子V_SENTENCEk与标签向量TEXT的语义距离，DISTANCE(TEXT, Paragraphk)为段落Paragraphk与标签向量TEXT的语义距离，PARAGRAPH_SELECT为待生成的文本摘要所在的段落；
计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，并对所述语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
2.根据权利要求1所述的方法，其特征在于，根据所述词向量聚合得到文本语句向量包括：
根据所述词向量，通过自定义计算方法聚合得到文本语句向量，其中，计算公式如下：
Figure DEST_PATH_IMAGE007
其中，Wi(Wij)为文本句子分词后的第i个词向量，n为词向量的维度，L为文本语句中的词个数，V_SENTENCEk为聚合得到的文本语句向量。
3.根据权利要求1所述的方法，其特征在于，计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离包括：
通过自定义计算方法，计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，计算公式如下：
Figure DEST_PATH_IMAGE009
其中，PS_V_SENTENCEk为待生成的文本摘要所在的段落中每个文本语句向量，TEXT为文本标签向量，Wi 为文本句子分词后的词向量。
4.根据权利要求1所述的方法，其特征在于，对所述语义距离按照由近及远的规则进行排序，生成TopK语句包括：
通过自定义计算方法，对所述语义距离按照由近及远的规则进行排序，生成TopK语句，计算公式如下：
Figure DEST_PATH_IMAGE011
其中，ORDER_DISTANCE(TEXT, PS_V_SENTENCEk)为每个文本语句与文本标签的语义距离排序，PS_V_SENTENCEk为待生成的文本摘要所在的段落中每个文本语句向量，TEXT为文本标签向量。
5.根据权利要求1所述的方法，其特征在于，对划分后的文本语句进行切词处理，得到词向量包括：
对所述划分后的文本语句进行切词处理，得到多个词，通过词向量生成法将得到的词生成相应的词向量。
6.根据权利要求1所述的方法，其特征在于，对所述文本进行语句划分包括：
以句号为基准，对文本进行语句划分，每遇到一个句号则划分得到一个语句。
7.一种基于句子语义模型的文本摘要生成系统，其特征在于，所述系统包括：
语句划分模块，用于获取文本与文本标签，对所述文本进行语句划分，并对划分后的文本语句进行切词处理，得到词向量；
段落获取模块，用于根据所述词向量聚合得到文本语句向量，根据所述文本语句向量与所述文本标签，获取待生成的文本摘要所在的段落，具体步骤包括：根据文本语句向量与文本标签，通过自定义计算方法，计算得到待生成的文本摘要在整个文本中所在的段落，计算公式如下式所示：
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE005A
其中，KS为段落Paragraphk的语句个数，KP为文本的段落个数, Wi 为文本句子分词后的词向量，DISTANCE(TEXT, V_SENTENCEk)为句子V_SENTENCEk与标签向量TEXT的语义距离，DISTANCE(TEXT, Paragraphk)为段落Paragraphk与标签向量TEXT的语义距离，PARAGRAPH_SELECT为待生成的文本摘要所在的段落；
摘要生成模块，用于计算所述待生成的文本摘要所在的段落中每个文本语句向量与所述文本标签的语义距离，并对所述语义距离按照由近及远的规则进行排序，确定最终的文本摘要。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的基于句子语义模型的文本摘要生成方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的基于句子语义模型的文本摘要生成方法。
CN202210639620.4A 2022-06-08 2022-06-08 一种基于句子语义模型的文本摘要生成方法和系统 Active CN114741499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639620.4A CN114741499B (zh) 2022-06-08 2022-06-08 一种基于句子语义模型的文本摘要生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639620.4A CN114741499B (zh) 2022-06-08 2022-06-08 一种基于句子语义模型的文本摘要生成方法和系统

Publications (2)

Publication Number Publication Date
CN114741499A CN114741499A (zh) 2022-07-12
CN114741499B true CN114741499B (zh) 2022-09-06

Family

ID=82288003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639620.4A Active CN114741499B (zh) 2022-06-08 2022-06-08 一种基于句子语义模型的文本摘要生成方法和系统

Country Status (1)

Country Link
CN (1) CN114741499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071023A2 (en) * 1999-07-19 2001-01-24 Fujitsu Limited Apparatus and method for generating a summary according to hierarchical structure of topic
CN103246687A (zh) * 2012-06-13 2013-08-14 苏州大学 基于特征信息的Blog自动摘要方法
CN111581374A (zh) * 2020-05-09 2020-08-25 联想(北京)有限公司 文本的摘要获取方法、装置及电子设备
WO2020199947A1 (zh) * 2019-04-03 2020-10-08 阿里巴巴集团控股有限公司 摘要生成方法、装置和设备以及项目管理方法
CN112732899A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 摘要语句提取方法、装置、服务器及计算机可读存储介质
CN113822038A (zh) * 2021-06-03 2021-12-21 腾讯科技（深圳）有限公司 一种摘要生成方法和相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550835B2 (en) * 2017-06-16 2023-01-10 Elsevier, Inc. Systems and methods for automatically generating content summaries for topics
CN110209802B (zh) * 2019-06-05 2021-12-28 北京金山数字娱乐科技有限公司 一种提取摘要文本的方法及装置
US11272058B2 (en) * 2020-07-27 2022-03-08 Verizon Patent And Licensing Inc. Method and apparatus for summarization of dialogs
CN112183111A (zh) * 2020-09-28 2021-01-05 亚信科技（中国）有限公司 长文本语义相似度匹配方法、装置、电子设备及存储介质
CN113987169A (zh) * 2021-10-14 2022-01-28 润联软件系统(深圳)有限公司 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN114443850B (zh) * 2022-04-06 2022-07-22 杭州费尔斯通科技有限公司 基于语义相似模型的标签生成方法、系统、装置和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071023A2 (en) * 1999-07-19 2001-01-24 Fujitsu Limited Apparatus and method for generating a summary according to hierarchical structure of topic
CN103246687A (zh) * 2012-06-13 2013-08-14 苏州大学 基于特征信息的Blog自动摘要方法
WO2020199947A1 (zh) * 2019-04-03 2020-10-08 阿里巴巴集团控股有限公司 摘要生成方法、装置和设备以及项目管理方法
CN111581374A (zh) * 2020-05-09 2020-08-25 联想(北京)有限公司 文本的摘要获取方法、装置及电子设备
CN112732899A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 摘要语句提取方法、装置、服务器及计算机可读存储介质
CN113822038A (zh) * 2021-06-03 2021-12-21 腾讯科技（深圳）有限公司 一种摘要生成方法和相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic abstracting in domain-independent Chinese documents;Guo Yuqing等;《Journal of Tsinghua University (Science and Technology)》;20020131;第139-142页 *
基于潜在语义索引和句子聚类的中文自动文摘;陈戈等;《计算机仿真》;20080715(第07期);第82-85页 *

Also Published As

Publication number Publication date
CN114741499A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN112256874B (zh) 模型训练方法、文本分类方法、装置、计算机设备和介质
US20230102337A1 (en) Method and apparatus for training recommendation model, computer device, and storage medium
CN109815333B (zh) 信息获取方法、装置、计算机设备和存储介质
US9807473B2 (en) Jointly modeling embedding and translation to bridge video and language
Dey Sarkar et al. A novel feature selection technique for text classification using Naive Bayes
CN109800307B (zh) 产品评价的分析方法、装置、计算机设备及存储介质
CN113569135B (zh) 基于用户画像的推荐方法、装置、计算机设备及存储介质
CN111353303B (zh) 词向量构建方法、装置、电子设备及存储介质
US11244245B2 (en) Method for approximate k-nearest-neighbor search on parallel hardware accelerators
CN114443850B (zh) 基于语义相似模型的标签生成方法、系统、装置和介质
CN111831826B (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
CN111488526B (zh) 一种推荐方法及装置
CN112541079A (zh) 多意图识别方法、装置、设备及介质
CN114741499B (zh) 一种基于句子语义模型的文本摘要生成方法和系统
CN115795000A (zh) 基于联合相似度算法对比的围标识别方法和装置
CN113239697B (zh) 实体识别模型训练方法、装置、计算机设备及存储介质
CN110309355B (zh) 内容标签的生成方法、装置、设备及存储介质
Xu et al. Topic-sentiment evolution over time: A manifold learning-based model for online news
CN113591469A (zh) 一种基于词语解释的文本增强的方法和系统
Panagakis et al. Automatic music tagging via PARAFAC2
US20150143214A1 (en) Processing page
Tang et al. Collaborative Filtering Recommendation Using Nonnegative Matrix Factorization in GPU‐Accelerated Spark Platform
Ding et al. A framework for distributed nearest neighbor classification using Hadoop
CN113535965A (zh) 一种文本大规模分类的方法和系统
Peng et al. A general framework for multi-label learning towards class correlations and class imbalance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 310000 7th floor, building B, No. 482, Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Huoshi Creation Technology Co.,Ltd.

Address before: 310000 7th floor, building B, No. 482, Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU FIRESTONE TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder