CN115545042B - 演讲稿质量评估方法及设备 - Google Patents

Abstract

本申请提供一种演讲稿质量评估方法及设备，所述方法包括：获取演讲稿和预设要点序列，所述预设要点序列包括多个要点内容；将所述演讲稿划分为多个文本单元；利用神经网络模型对所述多个文本单元进行语义识别，确定每个所述要点内容在所述演讲稿中的命中位置；根据所述命中位置和所述多个要点内容的顺序计算所述演讲稿的评估结果。

Description

演讲稿质量评估方法及设备

技术领域

本发明涉及自然语言处理领域，具体涉及一种演讲稿质量评估方法及设备。

背景技术

演讲是指在公众场合以有声语言为主要手段，以体态语言为辅助手段，针对某个具体问题，鲜明、完整地发表自己的见解和主张，阐明事理或抒发情感，进行宣传鼓动的一种语言交际活动。演讲稿是进行演讲的依据，其中必然存在一些确定的要点内容。

演讲稿往往采用排列法、总分法等，将所要表达的要点通过某种顺序依次表达，这种顺序可以作为评价该演讲稿质量优劣的指标。人工评估演讲稿的质量显然效率较低，而且容易受到评估者主观因素的影响。

中国专利文件CN113361275A公开了一种演讲稿逻辑结构评价方法，该方法通过识别演讲稿中出现的连词及其分布状态评估整体逻辑结构。该方案可以比较准确地评估演讲稿的逻辑性，但忽略了演讲稿所要表达的内容，一篇演讲稿合理地运用了连词并不足以充分表示其具有较高的质量。

发明内容

有鉴于此，本发明提供一种演讲稿质量评估方法，包括：获取演讲稿和预设要点序列，所述预设要点序列包括多个要点内容；将所述演讲稿划分为多个文本单元；利用神经网络模型对所述多个文本单元进行语义识别，确定每个所述要点内容在所述演讲稿中的命中位置；根据所述命中位置和所述多个要点内容的顺序计算所述演讲稿的评估结果。

可选地，利用神经网络模型对所述多个文本单元进行语义识别，确定每个所述要点内容在所述演讲稿中的命中位置，具体包括：所述神经网络模型分别识别各个所述要点内容相匹配的所述文本单元；获取各个所述要点内容相匹配的所述文本单元的序号。

可选地，根据所述命中位置确定对所述演讲稿的评估结果，具体包括：根据第一个所述要点内容和最后一个所述要点内容相匹配的文本单元的序号，确定有效内容长度；根据所述要点内容的数量、所述有效内容长度确定每个所述要点内容的期望位置；分别判断各个所述要点内容的所述命中位置与所述期望位置是否相符；根据所有判断结果计算所述演讲稿的评估结果。

可选地，所述有效内容长度为end-start，其中start 为第一个所述要点内容匹配的文本单元的序号，end为最后一个所述要点内容相匹配的文本单元的序号。

可选地，所述要点内容的期望位置为根据所述要点内容的数量、所述有效内容长度和每个要点内容的序号所确定的期望区间。

可选地，第i个所述要点内容的期望区间为[start+(i-1)*(end-start)/n，start+i*(end-start)/n]，其中start 为第一个所述要点内容匹配的文本单元的序号，end为最后一个所述要点内容相匹配的文本单元的序号，n为所述要点内容的数量。

可选地，所述方法还包括：获取人为输入的对所述期望区间的干预指令，用于调整任何所述要点内容的所述期望区间。

可选地，分别判断各个所述要点内容的所述命中位置与所述期望位置是否相符，具体包括：判断第i个所述要点内容对应的所述文本单元的序号是否在所述区间内；当第i个所述要点内容对应的所述文本单元的序号在所述区间内时，判定命中位置与期望位置相符。

可选地，根据所有判断结果计算所述演讲稿的评估结果，具体包括：对于结论为不相符的判断结果，根据所述命中位置与所述期望位置的偏离程度确定惩罚量；根据所有惩罚量计算所述演讲稿的评估结果。

本发明还提供一种演讲稿质量评估设备，处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行上述演讲稿质量评估方法。

根据本发明实施例提供的演讲稿质量评估方法及设备，首先允许评估者提供其预知的演讲稿中需要讲到的要点，本方案通过神经网络模型依次判断每个要点在被评估的演讲稿中被提及的位置，通过要点的顺序及其被提及的位置顺序来评估演讲稿的逻辑结构是否恰当、是否涉及了所有要讲到的要点，以演讲稿所要表达的内容作为主要判断依据，能够准确地评估演讲稿的质量。而且本方案不需要大规模专业领域语料来训练神经网络模型，使用通用领域开源数据训练的能够进行语义识别的模型，即可实现对要点内容命中位置的识别，具有较强的扩展性、实用性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的演讲稿质量评估方法的流程图；

图2为本发明实施例中的神经网络模型识别数据的示意图；

图3为本发明实施例中的要点内容命中情况示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种演讲稿质量评估方法，该方法可以由计算机和服务器等电子设备执行，如图1该方法包括如下步骤：

S1，获取演讲稿和预设要点序列，预设要点序列包括多个要点内容。这些要点内容是有序的，是此演讲稿预计要表达内容的总结，比如可以是一句话、短语或者词。

评估者可以根据演讲稿的主题和受众等因素设置多个要点内容，比如有n个要点内容，表示评估者期望被评估的演讲稿中包括与这n个要点内容相关的文字内容。

S2，将演讲稿划分为多个文本单元。可以参照CN113361275A中记载的方式进行划分，也可采用更简单的方式进行划分，比如按照句号、问号、感叹号等表示一句话结束的标点符号进行切分，文本单元即为一句话。

S3，利用神经网络模型对多个文本单元进行语义识别，确定每个要点内容在演讲稿中的命中位置。本方案中的神经网络模型要识别出每句话所表达的内容是否与各个预设要点相符，具体算法可以使用零资源分类模型、相似度判断模型等算法。预设的要点内容是通用的，并非人为从演讲稿中抽取的原文字。作为举例，比如要评估的演讲稿是关于电子产品推介的，一个预设要点可以是“电子产品的硬件性能”，那么神经网络模型要对每个文本单元进行识别，判断其含义是否与电子产品的硬件性能相匹配，而不是识别演讲稿中是否存在这一句话。

假设有m个文本单元、n个要点内容，神经网络模型依次判断每个要点被演讲稿命中的位置。如图2所示，比如对于第i个要点内容，神经网络模型识别出m个文本单元中的文本单元m_i……文本单元m_j所表达的内容与第i个要点内容相匹配，则文本单元m_i……文本单元m_j在整篇演讲稿中的位置，即为第i个要点内容在演讲稿中的命中位置。

需要说明的是，一篇演讲稿描述某一个要点内容的文本单元数量可以是一个或多个；并且也有可能无法识别到描述该要点内容的文本单元，也就是整篇演讲稿中没有表达该要点内容的文字。

S4，根据命中位置和多个要点内容的顺序计算演讲稿的评估结果。本方案的核心构思是高质量的演讲稿应当符合预设要点的顺序与演讲稿中命中要点的顺序是线性相关的，比如第i个要点内容的命中位置，应当在第i+1个要点内容的命中位置之前、在第i-1个要点内容的命中位置之后，如果全部要点内容的命中位置都符合上述关系，则得到较优的评估结果；反之，如果不符合上述关系，或者某些要点内容没有命中位置，则得到较差的评估结果。

评估结果可以是分数值，也可以是类似于优、良、中、差的分类结果，具体实现逻辑有多种，不符合上述线性关系的情况越多、差距越大、以及未命等负面情况越多，则分数越低或者分类结果越差，反之则分数越高或者分类结果越好，因此可以针对负面情况计算惩罚，或者针对正面情况计算激励，根据惩罚或激励得到评估结果。

在优选实施例中，在步骤S3中神经网络模型分别识别各个要点内容相匹配的文本单元，进而获取各个要点内容相匹配的文本单元的序号。假设一篇演讲稿被切分成m句话，此时即得到了m个文本单元的序号，第i个要点内容相匹配的文本单元的序号，即为第i个要点内容的命中位置。

进一步地，在步骤S4中，根据第一个要点内容和最后一个要点内容相匹配的文本单元的序号，确定有效内容长度。由于演讲稿的起始和末尾通常是与所有要点内容无关的文字，为了准确评估各个要点内容的命中位置的分布是否均匀，在此先确定有效内容长度，记第一个要点内容相匹配的文本单元的序号为start、最后一个要点内容相匹配的文本单元的序号为end，则有效内容长度为end-start。

根据要点内容的数量、有效内容长度确定每个要点内容的期望位置。为了确定命中位置是否均匀分布，需要结预设要点内容的总数量来确定期望位置。举例来说，如果预设要点数量较少，比如只有3个，那么第一个预设要点的命中位置在演讲稿的有效内容的前三分之一篇幅中是合理的，有效内容的前三分之一篇幅即为第一个预设要点的期望位置，类似地，第二个预设要点的期望位置是有效内容的中间三分之一篇幅、第三个预设要点的期望位置是有效内容的最后三分之一篇幅；如果预设要点较多，比如有10个，相应地预设要点的期望位置也会有相应调整。

分别判断各个要点内容的命中位置与期望位置是否相符，根据所有判断结果计算演讲稿的评估结果。命中位置不在其预期位置的情况即为负面情况，偏离预期位置越远，则针对该要点内容的判断结果越差，可以体现为惩罚值越高，综合所有要点内容命中位置的判断结果，即可计算出总的评估结果。

进一步地，上述要点内容的期望位置为根据要点内容的数量、有效内容长度和每个要点内容的序号所确定的期望区间。可以将每个预设要点的期望区间的长度表示为(end-start)/n，第i个要点内容的期望区间为[start+(i-1)*(end-start)/n，start+i*(end-start)/n]，其中start 为第一个要点内容匹配的文本单元的序号，end为最后一个要点内容相匹配的文本单元的序号，n为要点内容的数量。

利用上述优选方案，执行本方法的设备可以结合演讲稿和预设要点内容的实际情况自动地确定每一个要点内容的期望区间。在可选实施例中，还可以允许认为地调整上述期望区间。

比如某些要点内容相比于其它要点内容更为重要，或者是相比来说次要的，那么演讲稿中表达更重要的要点内容的篇幅应当是更长的，所以其期望区间应当更长，反之则期望区间应当更短。而上述自动确定的期望区间的长度是平均的，为了得到更加准确的评估结果，在优选的实施例中，可以先自动得到所有要点内容的期望区间，再获取人为输入的对期望区间的干预指令，用于调整任何要点内容的期望区间，使其向两端发散，根据需要缩短或加长任何期望区间都是可行的。

在得到各个要点内容的期望区间后，判断第i个要点内容对应的文本单元的序号是否在区间内；当第i个要点内容对应的文本单元的序号在区间内时，判定命中位置与期望位置相符。比如第i个要点内容对应的文本单元的序号为m_i……m_j，则判断m_i……m_j∈[start+(i-1)*(end-start)/n，start+i*(end-start)/n]是否成立。

对于结论为不相符的判断结果，也即上述条件不成立，则根据命中位置与期望位置的偏离程度确定惩罚量，命中位置偏离预期区间越远，则惩罚量越大，在具体实施例中惩罚量被定义为偏离期望区间的长度占有效内容总长度的百分比。

最后，根据所有惩罚量计算演讲稿的评估结果。图3示出了一个具体示例，纵坐标从上至下表示预设要点内容1~n，横坐标从左至右表示文本单元1~m，其中的色块表示文本单元对要点内容的命中情况，深色色块表示文本单元与要点内容相符，浅色色块表示不相符。神经网络模型的识别结果是相符程度，在图例中颜色越深的色块表示相符程度越高，反之则越低。虚线区域中的内容体现出符合预设要点的顺序与演讲稿中命中要点的顺序是线性相关的，而虚线区域外表示命中要点内容的文本单元在演讲稿中的位置，与要点内容本身的顺序不相符，将会产生惩罚量，最终根据全部的惩罚量即可计算出最终结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (5)

1.一种演讲稿质量评估方法，其特征在于，包括：

获取演讲稿和预设要点序列，所述预设要点序列包括多个要点内容；

将所述演讲稿划分为多个文本单元；

利用神经网络模型对所述多个文本单元进行语义识别，确定每个所述要点内容在所述演讲稿中的命中位置；

根据所述命中位置和所述多个要点内容的顺序计算所述演讲稿的评估结果；

所述利用神经网络模型对所述多个文本单元进行语义识别，确定每个所述要点内容在所述演讲稿中的命中位置，具体包括：所述神经网络模型分别识别各个所述要点内容相匹配的所述文本单元；获取各个所述要点内容相匹配的所述文本单元的序号；

所述根据所述命中位置和所述多个要点内容的顺序计算所述演讲稿的评估结果，具体包括：根据第一个所述要点内容和最后一个所述要点内容相匹配的文本单元的序号，确定有效内容长度，所述有效内容长度为end-start，其中start 为第一个所述要点内容匹配的文本单元的序号，end为最后一个所述要点内容相匹配的文本单元的序号；根据所述要点内容的数量、所述有效内容长度确定每个所述要点内容的期望位置，所述要点内容的期望位置为根据所述要点内容的数量、所述有效内容长度和每个要点内容的序号所确定的期望区间，第i个所述要点内容的期望区间为[start+(i-1)*(end-start)/n，start+i*(end-start)/n]，其中start 为第一个所述要点内容匹配的文本单元的序号，end为最后一个所述要点内容相匹配的文本单元的序号，n为所述要点内容的数量；分别判断各个所述要点内容的所述命中位置与所述期望位置是否相符；根据所有判断结果计算所述演讲稿的评估结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取人为输入的对所述期望区间的干预指令，用于调整任何所述要点内容的所述期望区间。

3.根据权利要求1所述的方法，其特征在于，分别判断各个所述要点内容的所述命中位置与所述期望位置是否相符，具体包括：

判断第i个所述要点内容对应的所述文本单元的序号是否在所述区间内；

当第i个所述要点内容对应的所述文本单元的序号在所述区间内时，判定命中位置与期望位置相符。

4.根据权利要求1所述的方法，其特征在于，根据所有判断结果计算所述演讲稿的评估结果，具体包括：

对于结论为不相符的判断结果，根据所述命中位置与所述期望位置的偏离程度确定惩罚量；

根据所有惩罚量计算所述演讲稿的评估结果。

5.一种演讲稿质量评估设备，其特征在于，处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行如权利要求1-4中任意一项所述的演讲稿质量评估方法。

Images