CN113420545B - 摘要生成方法、装置、设备及存储介质 - Google Patents
摘要生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113420545B CN113420545B CN202110972150.9A CN202110972150A CN113420545B CN 113420545 B CN113420545 B CN 113420545B CN 202110972150 A CN202110972150 A CN 202110972150A CN 113420545 B CN113420545 B CN 113420545B
- Authority
- CN
- China
- Prior art keywords
- text
- sentence
- abstract
- initial
- word segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能,提供一种摘要生成方法、装置、设备及存储介质。该方法能够根据摘要生成请求获取待处理文本,对待处理文本中每个文本语句进行分词处理,得到语句分词,根据语句分词的分词向量生成初始语句向量,根据初始语句向量生成初始摘要,根据分词向量及初始摘要生成分词权值,根据分词权值对分词向量进行加权和运算处理,得到目标语句向量,根据目标语句向量生成中间摘要,计算初始摘要与中间摘要的摘要相似度,若摘要相似度大于或者等于预设相似度阈值,将中间摘要确定为待处理文本的目标摘要。本发明能够提高目标摘要的准确性。此外,本发明还涉及区块链技术,所述目标摘要可存储于区块链中。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种摘要生成方法、装置、设备及存储介质。
背景技术
文本摘要生成方式是指通过各种算法,抽取、精炼文本中的要点信息,用以概括原始文本的主要内容或大意。在目前的文本摘要生成方式中,主要基于TextRank算法分析文本中共同出现的词汇以计算句子相似度,再基于Pagerank算法计算句子权重,进而选择权值较高的句子生成摘要,然而,这种方式在计算相似度时容易受到高频词的影响,导致无法生成准确的摘要。
发明内容
鉴于以上内容,有必要提供一种摘要生成方法、装置、设备及存储介质,能够提高目标摘要的生成准确性。
一方面,本发明提出一种摘要生成方法,所述摘要生成方法包括:
当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
根据所述目标语句向量生成所述待处理文本的中间摘要;
计算所述初始摘要与所述中间摘要的摘要相似度;
若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
根据本发明优选实施例,所述根据所述摘要生成请求获取待处理文本包括:
解析所述摘要生成请求的报文,得到所述报文携带的数据信息;
从所述数据信息中获取文本路径及文本标识;
根据所述文本路径及所述文本标识生成查询语句;
执行所述查询语句,得到所述待处理文本。
根据本发明优选实施例,所述对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词包括:
对于每个文本语句,基于预设词典对所述文本语句进行切分处理,得到多个切分路径及每个切分路径所对应的路径分词;
获取所述路径分词在所述预设词典的词汇权值;
计算所述词汇权值的总和,得到所述切分路径的切分概率;
将所述切分概率最大的切分路径所对应的路径分词确定为所述语句分词。
根据本发明优选实施例,在获取所述路径分词在所述预设词典的词汇权值之前,所述方法还包括:
获取训练样本,所述训练样本包括训练文本及训练词汇;
统计所述训练词汇在所述训练文本中的词汇数量;
统计所述训练文本的训练总量,并统计包含有所述训练词汇的训练文本的文本数量;
计算所述训练总量在所述文本数量中的比值的对数值,得到所述训练词汇的重要度;
计算所述词汇数量与所述重要度的乘积,得到所述训练词汇的训练权值;
将所述训练词汇与所述训练权值的映射关系存储至所述预设词典中。
根据本发明优选实施例,所述根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要包括:
从预设向量表中获取与所述语句分词对应的向量作为所述分词向量;
对于每个文本语句,计算所述分词向量在同一向量维度上的平均值,得到所述初始语句向量;
根据所述初始语句向量计算每个语句对的语句相似度,所述语句对是指任意两个所述文本语句;
根据所述语句相似度确定所述文本语句的语句重要度;
根据所述语句重要度从所述文本语句中筛选初始语句;
根据所述初始语句在所述待处理文本中的语句顺序拼接所述初始语句,得到所述初始摘要。
根据本发明优选实施例,所述根据所述分词向量及所述初始摘要生成所述语句分词的分词权值包括:
基于所述分词向量及所述初始语句向量计算所述语句分词与所述初始摘要的词汇相似度;
对所述词汇相似度进行归一化处理,得到所述分词权值。
根据本发明优选实施例,所述方法还包括:
若所述摘要相似度小于所述预设相似度阈值,将所述中间摘要确定为下一次迭代处理的初始摘要;
基于所述语句分词对所述初始摘要进行迭代处理,并计算所述初始摘要的迭代次数,直至所述摘要相似度大于或者等于所述预设相似度阈值,或者所述迭代次数大于或者等于预设次数,将所述中间摘要确定为所述目标摘要。
另一方面,本发明还提出一种摘要生成装置,所述摘要生成装置包括:
获取单元,用于当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
处理单元,用于对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
生成单元,用于根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
所述生成单元,还用于根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
所述处理单元,还用于根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
所述生成单元,还用于根据所述目标语句向量生成所述待处理文本的中间摘要;
计算单元,用于计算所述初始摘要与所述中间摘要的摘要相似度;
确定单元,用于若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
另一方面,本发明还提出一种电子设备,所述电子设备包括:
存储器,存储计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现所述摘要生成方法。
另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述摘要生成方法。
由以上技术方案可以看出,本发明通过所述语句分词与所述初始摘要的关系生成所述分词权值,进而根据所述分词权值生成所述目标摘要,能够避免所述待处理文本中的高频词对所述目标摘要的影响,提高了所述目标摘要的准确性。
附图说明
图1是本发明摘要生成方法的较佳实施例的流程图。
图2是本发明摘要生成装置的较佳实施例的功能模块图。
图3是本发明实现摘要生成方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1所示,是本发明摘要生成方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
所述摘要生成方法可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述摘要生成方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能穿戴式设备等。
所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。
所述电子设备所处的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
S10,当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本。
在本发明的至少一个实施例中,所述摘要生成请求可以由有提炼文本要点的需求用户触发生成。
所述摘要生成请求中携带有报文及报文头。
所述待处理文本是指需要进行提炼文本要点的文本。
在本发明的至少一个实施例中,所述电子设备根据所述摘要生成请求获取待处理文本包括:
解析所述摘要生成请求的报文,得到所述报文携带的数据信息;
从所述数据信息中获取文本路径及文本标识;
根据所述文本路径及所述文本标识生成查询语句;
执行所述查询语句,得到所述待处理文本。
其中,所述数据信息中包括,但不限于:指示所述文本路径的标签、所述文本路径、指示文本标识的标签、所述文本标识等。
所述文本路径存储有多个需要进行提炼文本要点的文本。
所述文本标识是指在所述文本路径中能够唯一识别所述待处理文本的标识。
通过解析所述报文,能够提高所述文本路径及所述文本标识的获取效率,进而根据所述文本路径及所述文本标识生成的所述查询语句能够进一步提高所述待处理文本的获取效率。
S11,对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词。
在本发明的至少一个实施例中,所述语句分词是指依据预设词典对所述文本语句进行切分后所得到的词汇。
其中,所述预设词典中存储有多个训练词汇及训练权值的映射关系。
在本发明的至少一个实施例中,所述电子设备对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词包括:
对于每个文本语句,基于预设词典对所述文本语句进行切分处理,得到多个切分路径及每个切分路径所对应的路径分词;
获取所述路径分词在所述预设词典的词汇权值;
计算所述词汇权值的总和,得到所述切分路径的切分概率;
将所述切分概率最大的切分路径所对应的路径分词确定为所述语句分词。
其中,所述多个切分路径是指根据所述训练词汇对所述文本语句进行切分后所形成的不同切分方式。例如,今天天气真的特别好。经过所述预设词典中的训练词汇的切分,可以得到切分路径1:今天、天气、真的、特别、好;切分路径2:今天天气、真的、特别好。
所述词汇权值是指所述路径分词在所述预设词典中的训练权值。
通过所述预设词典切分所述文本语句,能够实现对所述文本语句的切分普遍性,从而提高所述语句分词的分词准确性。
具体地,在获取所述路径分词在所述预设词典的词汇权值之前,所述方法还包括:
获取训练样本,所述训练样本包括训练文本及训练词汇;
统计所述训练词汇在所述训练文本中的词汇数量;
统计所述训练文本的训练总量,并统计包含有所述训练词汇的训练文本的文本数量;
计算所述训练总量在所述文本数量中的比值的对数值,得到所述训练词汇的重要度;
计算所述词汇数量与所述重要度的乘积,得到所述训练词汇的训练权值;
将所述训练词汇与所述训练权值的映射关系存储至所述预设词典中。
通过所述词汇数量与所述重要度的关系生成所述训练权值,能够提高所述训练词汇的词频对所述训练权值的影响度,从而能够提高所述训练权值的准确性。此外,通过将所述映射关系存储至所述预设词典中,有利于提高所述文本语句的分词效率。
S12,根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要。
在本发明的至少一个实施例中,所述初始语句向量是根据所述文本语句中的所述分词向量的平均值确定的。
所述初始摘要是指语句重要度最高的N个文本语句所形成的文本。N可以是大于第一预设数量,且小于第二预设数量的数值。
其中,所述第一预设数量可以是预先设定好的语句需求数量,例如,所述语句需求数量可以为3。所述第二预设数量可以是指所述文本语句的语句总量的配置比。例如,所述配置比可以是10%。
在本发明的至少一个实施例中,所述电子设备根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要包括:
从预设向量表中获取与所述语句分词对应的向量作为所述分词向量;
对于每个文本语句,计算所述分词向量在同一向量维度上的平均值,得到所述初始语句向量;
根据所述初始语句向量计算每个语句对的语句相似度,所述语句对是指任意两个所述文本语句;
根据所述语句相似度确定所述文本语句的语句重要度;
根据所述语句重要度从所述文本语句中筛选初始语句;
根据所述初始语句在所述待处理文本中的语句顺序拼接所述初始语句,得到所述初始摘要。
其中,所述预设向量表中存储有多个词汇与向量的映射关系。所述预设向量表中所有向量的维度数量是相同的,例如,所述维度数量可以是100。
所述初始语句是指所述语句重要度最高的N个文本语句。
通过所述分词向量直接生成所述初始语句向量,能够提高所述初始语句向量的生成效率,进一步根据所述语句相似度能够准确的确定出所述语句重要度,从而根据所述语句重要度能够快速生成所述初始摘要。
具体地,所述电子设备根据所述语句相似度确定所述文本语句的语句重要度包括:
统计所述文本语句的语句总量;
基于下列公式,根据所述语句总量及所述语句相似度确定所述语句重要度,包括:
其中,是指第个文本语句的语句重要度,是指所述语句总量,,是指所述待处理文本中除所述第个文本语句外的其他语句,是指所述第个文本语句与所述第个文本语句的语句相似度,是指所述待处理文本中除所述第个文本语句外的其他语句,是指所述第个文本语句与所述第个文本语句的语句相似度。
S13,根据所述分词向量及所述初始摘要生成所述语句分词的分词权值。
在本发明的至少一个实施例中,所述分词权值是指所述语句分词对所述文本语句的贡献度。
在本发明的至少一个实施例中,所述电子设备根据所述分词向量及所述初始摘要生成所述语句分词的分词权值包括:
基于所述分词向量及所述初始语句向量计算所述语句分词与所述初始摘要的词汇相似度;
对所述词汇相似度进行归一化处理,得到所述分词权值。
通过所述语句分词与所述初始摘要之间的词汇相似度能够准确的确定出所述语句分词对所述文本语句的贡献度,进而能够提高所述分词权值的准确性,从而有利于剔除高频词对后续摘要生成的影响。
S14,根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量。
在本发明的至少一个实施例中,所述目标语句向量是基于所述分词权值计算所述分词向量的加权和值所得到的向量。
S15,根据所述目标语句向量生成所述待处理文本的中间摘要。
在本发明的至少一个实施例中,所述中间摘要是指剔除高频词对所述初始摘要的影响后所生成的文本。
在本发明的至少一个实施例中,所述电子设备根据所述目标语句向量生成所述待处理文本的中间摘要的方式与所述电子设备根据所述初始语句向量生成所述待处理文本的初始摘要的方式相似,本发明对此不再赘述。
S16,计算所述初始摘要与所述中间摘要的摘要相似度。
在本发明的至少一个实施例中,所述摘要相似度是指所述初始摘要与所述中间摘要的相似程度。
所述摘要相似度可以根据所述初始摘要中的摘要语句所对应的目标语句向量及所述中间摘要中的摘要语句所对应的目标语句向量的余弦值确定。
S17,若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
在本发明的至少一个实施例中,所述预设相似度阈值可以根据实际需求确定。
需要强调的是,为进一步保证上述目标摘要的私密和安全性,上述目标摘要还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述方法还包括:
若所述摘要相似度小于所述预设相似度阈值,将所述中间摘要确定为下一次迭代处理的初始摘要;
基于所述语句分词对所述初始摘要进行迭代处理,并计算所述初始摘要的迭代次数,直至所述摘要相似度大于或者等于所述预设相似度阈值,或者所述迭代次数大于或者等于预设次数,将所述中间摘要确定为所述目标摘要。
其中,所述预设次数可以根据实际需求设定。
通过所述预设相似度阈值的设定,能够确保所述目标摘要的准确性,同时,通过所述预设次数的设定,能够避免所述初始摘要的迭代处理进行死循环状态,能够确保所述目标摘要的生成效率。
具体地,所述电子设备基于所述语句分词对所述初始摘要进行处理的方式与所述电子设备根据所述分词向量及所述初始摘要生成所述中间摘要的方式相似,本发明对此不再赘述。
由以上技术方案可以看出,本发明通过所述语句分词与所述初始摘要的关系生成所述分词权值,进而根据所述分词权值生成所述目标摘要,能够避免所述待处理文本中的高频词对所述目标摘要的影响,提高了所述目标摘要的准确性。
如图2所示,是本发明摘要生成装置的较佳实施例的功能模块图。所述摘要生成装置11包括获取单元110、处理单元111、生成单元112、计算单元113、确定单元114及存储单元115。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
当接收到摘要生成请求时,获取单元110根据所述摘要生成请求获取待处理文本。
在本发明的至少一个实施例中,所述摘要生成请求可以由有提炼文本要点的需求用户触发生成。
所述摘要生成请求中携带有报文及报文头。
所述待处理文本是指需要进行提炼文本要点的文本。
在本发明的至少一个实施例中,所述获取单元110根据所述摘要生成请求获取待处理文本包括:
解析所述摘要生成请求的报文,得到所述报文携带的数据信息;
从所述数据信息中获取文本路径及文本标识;
根据所述文本路径及所述文本标识生成查询语句;
执行所述查询语句,得到所述待处理文本。
其中,所述数据信息中包括,但不限于:指示所述文本路径的标签、所述文本路径、指示文本标识的标签、所述文本标识等。
所述文本路径存储有多个需要进行提炼文本要点的文本。
所述文本标识是指在所述文本路径中能够唯一识别所述待处理文本的标识。
通过解析所述报文,能够提高所述文本路径及所述文本标识的获取效率,进而根据所述文本路径及所述文本标识生成的所述查询语句能够进一步提高所述待处理文本的获取效率。
处理单元111对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词。
在本发明的至少一个实施例中,所述语句分词是指依据预设词典对所述文本语句进行切分后所得到的词汇。
其中,所述预设词典中存储有多个训练词汇及训练权值的映射关系。
在本发明的至少一个实施例中,所述处理单元111对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词包括:
对于每个文本语句,基于预设词典对所述文本语句进行切分处理,得到多个切分路径及每个切分路径所对应的路径分词;
获取所述路径分词在所述预设词典的词汇权值;
计算所述词汇权值的总和,得到所述切分路径的切分概率;
将所述切分概率最大的切分路径所对应的路径分词确定为所述语句分词。
其中,所述多个切分路径是指根据所述训练词汇对所述文本语句进行切分后所形成的不同切分方式。例如,今天天气真的特别好。经过所述预设词典中的训练词汇的切分,可以得到切分路径1:今天、天气、真的、特别、好;切分路径2:今天天气、真的、特别好。
所述词汇权值是指所述路径分词在所述预设词典中的训练权值。
通过所述预设词典切分所述文本语句,能够实现对所述文本语句的切分普遍性,从而提高所述语句分词的分词准确性。
具体地,在获取所述路径分词在所述预设词典的词汇权值之前,所述获取单元110获取训练样本,所述训练样本包括训练文本及训练词汇;
计算单元113统计所述训练词汇在所述训练文本中的词汇数量;
所述计算单元113统计所述训练文本的训练总量,并统计包含有所述训练词汇的训练文本的文本数量;
所述计算单元113计算所述训练总量在所述文本数量中的比值的对数值,得到所述训练词汇的重要度;
所述计算单元113计算所述词汇数量与所述重要度的乘积,得到所述训练词汇的训练权值;
存储单元115将所述训练词汇与所述训练权值的映射关系存储至所述预设词典中。
通过所述词汇数量与所述重要度的关系生成所述训练权值,能够提高所述训练词汇的词频对所述训练权值的影响度,从而能够提高所述训练权值的准确性。此外,通过将所述映射关系存储至所述预设词典中,有利于提高所述文本语句的分词效率。
生成单元112根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要。
在本发明的至少一个实施例中,所述初始语句向量是根据所述文本语句中的所述分词向量的平均值确定的。
所述初始摘要是指语句重要度最高的N个文本语句所形成的文本。N可以是大于第一预设数量,且小于第二预设数量的数值。
其中,所述第一预设数量可以是预先设定好的语句需求数量,例如,所述语句需求数量可以为3。所述第二预设数量可以是指所述文本语句的语句总量的配置比。例如,所述配置比可以是10%。
在本发明的至少一个实施例中,所述生成单元112根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要包括:
从预设向量表中获取与所述语句分词对应的向量作为所述分词向量;
对于每个文本语句,计算所述分词向量在同一向量维度上的平均值,得到所述初始语句向量;
根据所述初始语句向量计算每个语句对的语句相似度,所述语句对是指任意两个所述文本语句;
根据所述语句相似度确定所述文本语句的语句重要度;
根据所述语句重要度从所述文本语句中筛选初始语句;
根据所述初始语句在所述待处理文本中的语句顺序拼接所述初始语句,得到所述初始摘要。
其中,所述预设向量表中存储有多个词汇与向量的映射关系。所述预设向量表中所有向量的维度数量是相同的,例如,所述维度数量可以是100。
所述初始语句是指所述语句重要度最高的N个文本语句。
通过所述分词向量直接生成所述初始语句向量,能够提高所述初始语句向量的生成效率,进一步根据所述语句相似度能够准确的确定出所述语句重要度,从而根据所述语句重要度能够快速生成所述初始摘要。
具体地,所述生成单元112根据所述语句相似度确定所述文本语句的语句重要度包括:
统计所述文本语句的语句总量;
基于下列公式,根据所述语句总量及所述语句相似度确定所述语句重要度,包括:
其中,是指第个文本语句的语句重要度,是指所述语句总量,,是指所述待处理文本中除所述第个文本语句外的其他语句,是指所述第个文本语句与所述第个文本语句的语句相似度,是指所述待处理文本中除所述第个文本语句外的其他语句,是指所述第个文本语句与所述第个文本语句的语句相似度。
所述生成单元112根据所述分词向量及所述初始摘要生成所述语句分词的分词权值。
在本发明的至少一个实施例中,所述分词权值是指所述语句分词对所述文本语句的贡献度。
在本发明的至少一个实施例中,所述生成单元112根据所述分词向量及所述初始摘要生成所述语句分词的分词权值包括:
基于所述分词向量及所述初始语句向量计算所述语句分词与所述初始摘要的词汇相似度;
对所述词汇相似度进行归一化处理,得到所述分词权值。
通过所述语句分词与所述初始摘要之间的词汇相似度能够准确的确定出所述语句分词对所述文本语句的贡献度,进而能够提高所述分词权值的准确性,从而有利于剔除高频词对后续摘要生成的影响。
所述处理单元111根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量。
在本发明的至少一个实施例中,所述目标语句向量是基于所述分词权值计算所述分词向量的加权和值所得到的向量。
所述生成单元112根据所述目标语句向量生成所述待处理文本的中间摘要。
在本发明的至少一个实施例中,所述中间摘要是指剔除高频词对所述初始摘要的影响后所生成的文本。
在本发明的至少一个实施例中,所述生成单元112根据所述目标语句向量生成所述待处理文本的中间摘要的方式与所述生成单元112根据所述初始语句向量生成所述待处理文本的初始摘要的方式相似,本发明对此不再赘述。
所述计算单元113计算所述初始摘要与所述中间摘要的摘要相似度。
在本发明的至少一个实施例中,所述摘要相似度是指所述初始摘要与所述中间摘要的相似程度。
所述摘要相似度可以根据所述初始摘要中的摘要语句所对应的目标语句向量及所述中间摘要中的摘要语句所对应的目标语句向量的余弦值确定。
若所述摘要相似度大于或者等于预设相似度阈值,确定单元114将所述中间摘要确定为所述待处理文本的目标摘要。
在本发明的至少一个实施例中,所述预设相似度阈值可以根据实际需求确定。
需要强调的是,为进一步保证上述目标摘要的私密和安全性,上述目标摘要还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,若所述摘要相似度小于所述预设相似度阈值,所述确定单元114将所述中间摘要确定为下一次迭代处理的初始摘要;
所述确定单元114基于所述语句分词对所述初始摘要进行迭代处理,并计算所述初始摘要的迭代次数,直至所述摘要相似度大于或者等于所述预设相似度阈值,或者所述迭代次数大于或者等于预设次数,将所述中间摘要确定为所述目标摘要。
其中,所述预设次数可以根据实际需求设定。
通过所述预设相似度阈值的设定,能够确保所述目标摘要的准确性,同时,通过所述预设次数的设定,能够避免所述初始摘要的迭代处理进行死循环状态,能够确保所述目标摘要的生成效率。
具体地,所述生成单元112基于所述语句分词对所述初始摘要进行处理的方式与所述生成单元112根据所述分词向量及所述初始摘要生成所述中间摘要的方式相似,本发明对此不再赘述。
由以上技术方案可以看出,本发明通过所述语句分词与所述初始摘要的关系生成所述分词权值,进而根据所述分词权值生成所述目标摘要,能够避免所述待处理文本中的高频词对所述目标摘要的影响,提高了所述目标摘要的准确性。
如图3所示,是本发明实现摘要生成方法的较佳实施例的电子设备的结构示意图。
在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如摘要生成程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成获取单元110、处理单元111、生成单元112、计算单元113、确定单元114及存储单元115。
所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
结合图1,所述电子设备1中的所述存储器12存储计算机可读指令实现一种摘要生成方法,所述处理器13可执行所述计算机可读指令从而实现:
当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
根据所述目标语句向量生成所述待处理文本的中间摘要;
计算所述初始摘要与所述中间摘要的摘要相似度;
若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:
当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
根据所述目标语句向量生成所述待处理文本的中间摘要;
计算所述初始摘要与所述中间摘要的摘要相似度;
若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种摘要生成方法,其特征在于,所述摘要生成方法包括:
当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
根据所述目标语句向量生成所述待处理文本的中间摘要;
计算所述初始摘要与所述中间摘要的摘要相似度;
若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
2.如权利要求1所述的摘要生成方法,其特征在于,所述根据所述摘要生成请求获取待处理文本包括:
解析所述摘要生成请求的报文,得到所述报文携带的数据信息;
从所述数据信息中获取文本路径及文本标识;
根据所述文本路径及所述文本标识生成查询语句;
执行所述查询语句,得到所述待处理文本。
3.如权利要求1所述的摘要生成方法,其特征在于,所述对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词包括:
对于每个文本语句,基于预设词典对所述文本语句进行切分处理,得到多个切分路径及每个切分路径所对应的路径分词;
获取所述路径分词在所述预设词典的词汇权值;
计算所述词汇权值的总和,得到所述切分路径的切分概率;
将所述切分概率最大的切分路径所对应的路径分词确定为所述语句分词。
4.如权利要求3所述的摘要生成方法,其特征在于,在获取所述路径分词在所述预设词典的词汇权值之前,所述方法还包括:
获取训练样本,所述训练样本包括训练文本及训练词汇;
统计所述训练词汇在所述训练文本中的词汇数量;
统计所述训练文本的训练总量,并统计包含有所述训练词汇的训练文本的文本数量;
计算所述训练总量在所述文本数量中的比值的对数值,得到所述训练词汇的重要度;
计算所述词汇数量与所述重要度的乘积,得到所述训练词汇的训练权值;
将所述训练词汇与所述训练权值的映射关系存储至所述预设词典中。
5.如权利要求1所述的摘要生成方法,其特征在于,所述根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要包括:
从预设向量表中获取与所述语句分词对应的向量作为所述分词向量;
对于每个文本语句,计算所述分词向量在同一向量维度上的平均值,得到所述初始语句向量;
根据所述初始语句向量计算每个语句对的语句相似度,所述语句对是指任意两个所述文本语句;
根据所述语句相似度确定所述文本语句的语句重要度;
根据所述语句重要度从所述文本语句中筛选初始语句;
根据所述初始语句在所述待处理文本中的语句顺序拼接所述初始语句,得到所述初始摘要。
6.如权利要求1所述的摘要生成方法,其特征在于,所述根据所述分词向量及所述初始摘要生成所述语句分词的分词权值包括:
基于所述分词向量及所述初始语句向量计算所述语句分词与所述初始摘要的词汇相似度;
对所述词汇相似度进行归一化处理,得到所述分词权值。
7.如权利要求1所述的摘要生成方法,其特征在于,所述方法还包括:
若所述摘要相似度小于所述预设相似度阈值,将所述中间摘要确定为下一次迭代处理的初始摘要;
基于所述语句分词对所述初始摘要进行迭代处理,并计算所述初始摘要的迭代次数,直至所述摘要相似度大于或者等于所述预设相似度阈值,或者所述迭代次数大于或者等于预设次数,将所述中间摘要确定为所述目标摘要。
8.一种摘要生成装置,其特征在于,所述摘要生成装置包括:
获取单元,用于当接收到摘要生成请求时,根据所述摘要生成请求获取待处理文本;
处理单元,用于对所述待处理文本中每个文本语句进行分词处理,得到每个文本语句的语句分词;
生成单元,用于根据所述语句分词的分词向量生成所述文本语句的初始语句向量,并根据所述初始语句向量生成所述待处理文本的初始摘要;
所述生成单元,还用于根据所述分词向量及所述初始摘要生成所述语句分词的分词权值;
所述处理单元,还用于根据所述分词权值对所述分词向量进行加权和运算处理,得到所述文本语句的目标语句向量;
所述生成单元,还用于根据所述目标语句向量生成所述待处理文本的中间摘要;
计算单元,用于计算所述初始摘要与所述中间摘要的摘要相似度;
确定单元,用于若所述摘要相似度大于或者等于预设相似度阈值,将所述中间摘要确定为所述待处理文本的目标摘要。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的摘要生成方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的摘要生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972150.9A CN113420545B (zh) | 2021-08-24 | 2021-08-24 | 摘要生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972150.9A CN113420545B (zh) | 2021-08-24 | 2021-08-24 | 摘要生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113420545A CN113420545A (zh) | 2021-09-21 |
CN113420545B true CN113420545B (zh) | 2021-11-09 |
Family
ID=77719480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110972150.9A Active CN113420545B (zh) | 2021-08-24 | 2021-08-24 | 摘要生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420545B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115209233B (zh) * | 2022-06-25 | 2023-08-25 | 平安银行股份有限公司 | 视频播放方法以及相关装置、设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411621A (zh) * | 2011-11-22 | 2012-04-11 | 华中师范大学 | 一种基于云模型的中文面向查询的多文档自动文摘方法 |
CN106844341A (zh) * | 2017-01-10 | 2017-06-13 | 北京百度网讯科技有限公司 | 基于人工智能的新闻摘要提取方法及装置 |
CN111428024A (zh) * | 2020-03-18 | 2020-07-17 | 北京明略软件系统有限公司 | 实现文本摘要抽取的方法、装置、计算机存储介质及终端 |
CN112906385A (zh) * | 2021-05-06 | 2021-06-04 | 平安科技(深圳)有限公司 | 文本摘要生成方法、计算机设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9317498B2 (en) * | 2014-05-23 | 2016-04-19 | Codeq Llc | Systems and methods for generating summaries of documents |
US10936796B2 (en) * | 2019-05-01 | 2021-03-02 | International Business Machines Corporation | Enhanced text summarizer |
US11334722B2 (en) * | 2019-09-23 | 2022-05-17 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method of summarizing text with sentence extraction |
-
2021
- 2021-08-24 CN CN202110972150.9A patent/CN113420545B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411621A (zh) * | 2011-11-22 | 2012-04-11 | 华中师范大学 | 一种基于云模型的中文面向查询的多文档自动文摘方法 |
CN106844341A (zh) * | 2017-01-10 | 2017-06-13 | 北京百度网讯科技有限公司 | 基于人工智能的新闻摘要提取方法及装置 |
CN111428024A (zh) * | 2020-03-18 | 2020-07-17 | 北京明略软件系统有限公司 | 实现文本摘要抽取的方法、装置、计算机存储介质及终端 |
CN112906385A (zh) * | 2021-05-06 | 2021-06-04 | 平安科技(深圳)有限公司 | 文本摘要生成方法、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
Text Summarization Generation Based on Semantic Similarity;Jingjing Chen et al.;《2020 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS)》;20200608;第946-949页 * |
基于TextRank算法的联合打分文本摘要生成;朱玉佳 等;《通信技术》;20210228;第54卷(第2期);第323-326页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113420545A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111694826B (zh) | 基于人工智能的数据增强方法、装置、电子设备及介质 | |
CN112395886B (zh) | 相似文本确定方法及相关设备 | |
CN113656547B (zh) | 文本匹配方法、装置、设备及存储介质 | |
CN112989826B (zh) | 基于人工智能的试题分数确定方法、装置、设备及介质 | |
CN113032528A (zh) | 案件分析方法、装置、设备及存储介质 | |
CN113536770B (zh) | 基于人工智能的文本解析方法、装置、设备及存储介质 | |
CN115222443A (zh) | 客户群体划分方法、装置、设备及存储介质 | |
CN113268597B (zh) | 文本分类方法、装置、设备及存储介质 | |
CN113420545B (zh) | 摘要生成方法、装置、设备及存储介质 | |
CN113064972A (zh) | 智能问答方法、装置、设备及存储介质 | |
CN113627186B (zh) | 基于人工智能的实体关系检测方法及相关设备 | |
CN113486680B (zh) | 文本翻译方法、装置、设备及存储介质 | |
CN116757207A (zh) | 基于人工智能的icd自动编码方法及相关设备 | |
CN112949305B (zh) | 负反馈信息采集方法、装置、设备及存储介质 | |
CN113343700B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114581177A (zh) | 产品推荐方法、装置、设备及存储介质 | |
CN113326365A (zh) | 回复语句生成方法、装置、设备及存储介质 | |
CN112395408A (zh) | 停用词表生成方法、装置、电子设备及存储介质 | |
CN113705468A (zh) | 基于人工智能的数字图像识别方法及相关设备 | |
CN113516205A (zh) | 基于人工智能的数据分类方法、装置、设备及存储介质 | |
CN113468334B (zh) | 密文情感分类方法、装置、设备及存储介质 | |
CN112989044B (zh) | 文本分类方法、装置、设备及存储介质 | |
CN113421575B (zh) | 声纹识别方法、装置、设备及存储介质 | |
CN113434895B (zh) | 文本解密方法、装置、设备及存储介质 | |
CN114741492A (zh) | 文本搜索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |