CN117391497A - 一种新闻稿件质量主客观评分一致性评价方法及系统 - Google Patents
一种新闻稿件质量主客观评分一致性评价方法及系统 Download PDFInfo
- Publication number
- CN117391497A CN117391497A CN202311283601.3A CN202311283601A CN117391497A CN 117391497 A CN117391497 A CN 117391497A CN 202311283601 A CN202311283601 A CN 202311283601A CN 117391497 A CN117391497 A CN 117391497A
- Authority
- CN
- China
- Prior art keywords
- objective
- subjective
- news
- evaluation
- manuscript
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 122
- 238000013507 mapping Methods 0.000 claims abstract description 49
- 238000013441 quality evaluation Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 11
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种新闻稿件质量主客观评分一致性评价方法及系统,包括以下步骤:基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。本发明解决机器生成新闻稿件质量评价中主观评价和客观评价存在差异的问题,实现保证主观评价和客观评价一致性的新闻稿件质量评价,提高机器生成新闻稿件质量评价的准确性和可解释性。
Description
技术领域
本发明涉及新闻稿件自动评价技术领域,尤其涉及一种新闻稿件质量主客观评分一致性评价方法及系统。
背景技术
新闻稿件质量评价是指对新闻稿件的内容、形式、风格等方面进行综合分析和判断,以确定其符合新闻规范和受众需求的程度。新闻稿件质量评价在新闻传播领域具有重要的理论和实践意义,它可以促进新闻生产者提高新闻水平,也可以帮助新闻消费者筛选优质信息。随着人工智能技术的发展,机器生成新闻稿件已经成为一种新兴的新闻稿件生产方式,它可以利用自然语言处理、计算机视觉等技术,根据数据或事实自动撰写新闻稿件。机器生成新闻稿件具有高效、低成本、多样化等优点,但也面临着质量不稳定、缺乏主观判断、难以评估等挑战。因此,如何对机器生成新闻稿件进行有效的质量评价,是一个亟待解决的问题。
针对机器生成新闻稿件的质量评价,已有的方法主要分为主观评价方法和客观评价方法两类。主观评价方法是指通过人工标注或问卷调查等方式,获取专业人员或普通用户对新闻稿件的主观感受和偏好,从而得到一系列量化的评价指标;客观评价方法是指通过计算机算法或数学模型等方式,根据新闻稿件与参考标准之间的相似度或差异度,从而得到一系列量化的评价指标。主观评价方法虽然能够反映真实的用户需求和满意度,但是耗时耗力且难以覆盖海量的新闻稿件;客观评价方法虽然能够快速地完成大规模的评价任务,但是可能与人类的主观感知存在较大的偏差。因此,如何结合主观评价方法和客观评价方法的优势,实现机器生成新闻稿件质量主观评价和客观评价的一致性,是目前有待探索的研究方向。
发明内容
为解决上述现有技术的不足,本发明提供了一种新闻稿件质量主客观评分一致性评价方法及系统,解决机器生成新闻稿件质量评价中主观评价和客观评价存在差异的问题,实现保证主观评价和客观评价一致性的新闻稿件质量评价,提高机器生成新闻稿件质量评价的准确性和可解释性。
第一方面,本公开提供了一种新闻稿件质量主客观评分一致性评价方法。
一种新闻稿件质量主客观评分一致性评价方法,包括:
基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
第二方面,本公开提供了一种新闻稿件质量主客观评分一致性评价系统。
一种新闻稿件质量主客观评分一致性评价系统,包括:
新闻稿件客观评价模块,用于基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
主客观映射模型搭建模块,用于构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
新闻稿件主客观一致性评价模块,用于将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
第三方面,本公开还提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成第一方面所述方法的步骤。
第四方面,本公开还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果:
1、本发明提供了一种新闻稿件质量主客观评分一致性评价方法及系统,基于层次化、多粒度的机器生成新闻质量评价体系,构建基于评价体系树结构先验约束的主客观映射模型,通过两阶段得学习优化使模型具备新闻稿件二元评分能力,利用该训练得到的主客观映射模型对输入的机器生成新闻稿件进行主客观一致性的客观评价,有效提高机器生成新闻稿件质量评价的准确性和可解释性,为新闻生产和消费提供有力的支持。
2、本发明综合考虑机器生成新闻稿件中文本、图片和图文混合三种模态信息,更全面地评价新闻质量;采用层次化、多粒度的评价体系来描述不同层次上的评价指标,更细致地评价新闻质量;采用专家打分法和基于规则的方法分别实现主观评价和客观评价指标的量化,从而更客观地评价新闻质量;利用基于树结构约束的主客观映射模型实现主客观评分的一致性建模,从而更有效地解决主客观评价之间的差异问题;通过两阶段的学习优化使模型具备新闻稿件二元评分能力,从而更简洁地评价新闻质量。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例中所搭建的主客观映射模型的工作流程图;
图2为本发明实施例中层次化机器生成新闻质量评价体系的示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种新闻稿件质量主客观评分一致性评价方法,综合考虑机器生成新闻稿件中文本、图片或视频影像、图文混合多种模态信息,构建层次化、多粒度的机器生成新闻质量评价体系,该评价体系包括文本、多模态(包括图像和视频)和图文混合三个单模态信息的评价子任务,以及针对锚样本、正样本和负样本的三级评价指标,并采用专家打分法和基于规则的方法分别实现主观评价和客观评价指标的量化,构建基于评价体系树结构先验约束的主客观映射模型,通过两阶段得学习优化使模型具备新闻稿件二元评分能力,利用该训练得到的主客观映射模型对输入的机器生成新闻稿件进行主客观一致性的客观评价,有效提高机器生成新闻稿件质量评价的准确性和可解释性。
本实施例所提出的一种新闻稿件质量主客观评分一致性评价方法,具体包括以下步骤:
基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
首先,基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果。在本实施例中,构建的层次化机器生成新闻质量评价体系如图2所示,包括文本评分、多模态评分和图文评分,其中,文本评分综合考虑主题概括准确性、语言凝练简洁性、语言表达精准性等,多模态评分综合考虑图片质量、视频质量等,图文评分综合考虑图文匹配性、图文布局合理性等。基于上述评价体系,对机器生成新闻质量进行人工主观评价方法和机器算法客观评价,得到相应的评价结果。
其次,本实施例所提出的新闻稿件质量主客观评分一致性评价方法中,主要是搭建基于评价体系树结构约束的主客观映射模型,通过该模型建模主客观评价的一致性,实现对机器生成新闻稿件在不同层次上的主客观映射预测评分。其中主客观映射模型的工作流程如图1所示,该模型的训练及优化主要包括有监督学习和弱监督学习两种方式,通过下述内容进行更详细的介绍。
(1)有监督学习优化阶段
在主客观映射模型的有监督学习阶段中,客观评价隐状态为决定新闻稿件在某个特定语义域(如稿件流畅度)上的评分变量,在模型中被层次化、多粒度的评价体系树结构先验约束。
首先,将多个客观评价结果输入到主客观映射模型中,通过网络模型中的激活函数生成客观评价隐状态。具体的,该客观评价隐状态基于输入的客观评价结果及其对应的嵌入可学习向量生成。
其次,对同一层次内的每个客观评价隐状态通过注意力机制进行聚合。先通过计算同一层次客观评价隐状态之间的相似度,得到同一层次内的客观评价隐状态之间的客观评价聚合权重,以第i个客观评价隐状态和第j个客观评价隐状态之间的客观评价聚合权重为例,该客观评价聚合权重的具体计算过程如公式(1)所示:
上式中,σ(·)为激活函数;W为用于注意力机制的可学习矩阵;hi表示同一层次内的第i个客观评价隐状态;hj表示同一层次内的第j个客观评价隐状态;m为同一层次内的客观评价数量(即客观评价隐状态的数量)。
之后,利用客观评价聚合权重,对同一层次内的每一客观评价隐状态进行聚合,得到该层次内每一客观评价隐状态聚合后的客观评分向量。以第i个客观评价隐状态为例,计算该客观评价隐状态聚合后的客观评价状态向量,具体计算过程如公式(2):
上式中,αij为同一层次内第i个客观评价隐状态和第j个客观评价隐状态之间的客观评价聚合权重;hi为第i个客观评价隐状态;m为同一层次内的客观评价数量;yi为针对当前层次内的第i个客观评价隐状态聚合同层隐状态后的客观评价状态向量。
最后,计算每一客观评价状态向量的客观评价二次聚合权重,根据客观评价二次聚合权重,聚合同层次内的客观评价状态向量,得到该层次的客观层次评分,具体计算过程如公式(3.1)和(3.2)所示:
上式中,βi为层次内第i个客观评价二次聚合权重;yi为层次内第i个客观评价状态向量;u为层次客观向量,是指该层次整体的唯一客观表示,为网络模型的可学习参数;m为同一层次内客观评价数量。
以客观层次评分与主观层次评分的最大似然值构建损失函数,以此优化模型,具体计算过程如公式(4)所示:
上式中,为机器生成稿件的第i个客观层次评分;/>为机器生成稿件的第i个主观层次评分;n为主客观层次评分的数量。
(2)弱监督学习优化阶段
为了减少对人工评分的依赖,本实施例还引入了弱监督学习,使用三元组损失函数优化模型。样本数据以三元组的形式输入模型,每个三元组包含一个锚样本、一个正样本和一个负样本。其中,锚样本为人工撰写的新闻稿件,与之对应的由机器生成的新闻稿件为正样本,对正样本随机修改作为负样本。
模型弱监督学习分为三个步骤。首先,获取输入的人工撰写新闻稿件、机器生成新闻稿件及随机修改的机器生成新闻稿件的客观层次评分;然后,通过基于树结构先验约束的主客观映射模型,得到每一新闻稿件的主客观映射的预测评分;最后,通过三元组损失函数,不断迭代训练,直至达到训练阈值,完成模型的训练。其中,通过三元组损失函数,减小机器生成稿件预测评分和人工撰写稿件预测评分之间的差值,增大人工撰写稿件预测评分和随机修改的机器生成稿件预测评分之间的差值,三元组损失函数的如公式(5)所示:
上式中,为机器生成稿件的第i个客观层次评分;/>为人工撰写稿件的第i个主客观映射的预测评分;/>为随机修改后的机器生成稿件的第i个主客观映射的预测评分;n为主客观层次评分数量;thr为阈值。
本实施例中,利用上述训练完成的主客观映射模型对机器生成新闻稿件进行质量评价,获取新闻稿件主客观一致性质量评价结果,解决机器生成新闻稿件质量评价中主观评价和客观评价之间的差异问题。本实施例综合考虑机器生成新闻稿件中文本、图片和图文混合三种模态信息,更全面地评价新闻质量;采用层次化、多粒度的评价体系来描述不同层次上的评价指标,更细致地评价新闻质量;采用专家打分法和基于规则的方法分别实现主观评价和客观评价指标的量化,从而更客观地评价新闻质量;利用基于树结构约束的主客观映射模型实现主客观评分的一致性建模,从而更有效地解决主客观评价之间的差异问题;通过两阶段的学习优化使模型具备新闻稿件二元评分能力,从而更简洁地评价新闻质量。通过本实施例所提出的评价方法,能够有效的提高新闻质量评价的准确性和可解释性,为新闻生产和消费提供有力的支持。
实施例二
本实施例提供了一种新闻稿件质量主客观评分一致性评价系统,包括:
新闻稿件客观评价模块,用于基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
主客观映射模型搭建模块,用于构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
新闻稿件主客观一致性评价模块,用于将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
实施例三
本实施例提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如上所述的一种新闻稿件质量主客观评分一致性评价测方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成如上所述的一种新闻稿件质量主客观评分一致性评价方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应,具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质;还应当被理解为包括任何介质,所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种新闻稿件质量主客观评分一致性评价方法,其特征是,包括:
基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
2.如权利要求1所述的新闻稿件质量主客观评分一致性评价方法,其特征是,所述主客观映射模型的训练及优化包括有监督学习优化阶段和弱监督学习优化阶段。
3.如权利要求2所述的新闻稿件质量主客观评分一致性评价方法,其特征是,所述主客观映射模型的有监督学习优化阶段,包括:
获取每一层次内每一客观评价结果对应的客观评价隐状态;
根据同一层次内客观评价隐状态之间的相似度,得到同一层次内客观评价隐状态之间的客观评价聚合权重;
基于客观评价聚合权重,通过注意力机制聚合,对同一层次内的每一客观评价隐状态进行聚合,得到该层次内每一客观评价隐状态聚合后的客观评分向量;
计算每一客观评价状态向量的客观评价二次聚合权重,根据客观评价二次聚合权重,聚合同层次内的客观评价状态向量,得到该层次的客观层次评分;
基于客观层次评分和主观层次评分构建损失函数,不断迭代训练,优化主客观映射模型。
4.如权利要求3所述的新闻稿件质量主客观评分一致性评价方法,其特征是,所述基于客观层次评分和主观层次评分构建损失函数,包括:以客观层次评分与主观层次评分的最大似然函数构建损失函数,公式为:
上式中,为机器生成稿件的第i个客观层次评分;/>为机器生成稿件的第i个主观层次评分;n为主客观层次评分的数量。
5.如权利要求2所述的新闻稿件质量主客观评分一致性评价方法,其特征是,所述主客观映射模型的弱监督学习优化阶段,包括:
获取人工撰写新闻稿件、机器生成新闻稿件及随机修改后机器生成新闻稿件的客观层次评分;
获取机器生成新闻稿件的客观层次评分,并通过基于树结构先验约束的主客观映射模型,得到人工撰写新闻稿件和随机修改后机器生成新闻稿件的主客观映射的预测评分;
基于客观层次评分和主客观映射的预测评分,构建三元组损失函数,通过三元组损失函数,不断迭代训练,直至达到训练阈值,完成模型的训练。
6.如权利要求5所述的新闻稿件质量主客观评分一致性评价方法,其特征是,所述三元组损失函数为:
上式中,为机器生成稿件的第i个客观层次评分;/>为人工撰写稿件的第i个主客观映射的预测评分;/>为随机修改后的机器生成稿件的第i个主客观映射的预测评分;n为主客观层次评分数量;thr为阈值。
7.一种新闻稿件质量主客观评分一致性评价系统,其特征是,包括:
新闻稿件客观评价模块,用于基于层次化机器生成新闻质量评价体系,获取新闻稿件的各层次客观评价结果;
主客观映射模型搭建模块,用于构建并训练基于树结构先验约束的主客观映射模型;其中,以层次化机器生成新闻质量评价体系为树结构先验约束;
新闻稿件主客观一致性评价模块,用于将新闻稿件的各层次客观评价结果输入到主客观映射模型中,基于树结构不同层的先验约束来沿树结构逐层编码,并输出新闻稿件在不同层次上的主客观映射预测评分。
8.如权利要求7所述的新闻稿件质量主客观评分一致性评价系统,其特征是,所述主客观映射模型的训练及优化包括有监督学习优化阶段和弱监督学习优化阶段。
9.一种电子设备,其特征是,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如权利要求1-6中任一项所述的一种新闻稿件质量主客观评分一致性评价方法的步骤。
10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成如权利要求1-6中任一项所述的一种新闻稿件质量主客观评分一致性评价方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311283601.3A CN117391497A (zh) | 2023-09-28 | 2023-09-28 | 一种新闻稿件质量主客观评分一致性评价方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311283601.3A CN117391497A (zh) | 2023-09-28 | 2023-09-28 | 一种新闻稿件质量主客观评分一致性评价方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117391497A true CN117391497A (zh) | 2024-01-12 |
Family
ID=89440098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311283601.3A Pending CN117391497A (zh) | 2023-09-28 | 2023-09-28 | 一种新闻稿件质量主客观评分一致性评价方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117391497A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117709311A (zh) * | 2024-02-05 | 2024-03-15 | 新励成教育科技股份有限公司 | 一种基于云端的演讲稿管理方法、装置、设备及存储介质 |
-
2023
- 2023-09-28 CN CN202311283601.3A patent/CN117391497A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117709311A (zh) * | 2024-02-05 | 2024-03-15 | 新励成教育科技股份有限公司 | 一种基于云端的演讲稿管理方法、装置、设备及存储介质 |
CN117709311B (zh) * | 2024-02-05 | 2024-05-03 | 新励成教育科技股份有限公司 | 一种基于云端的演讲稿管理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291266A (zh) | 基于人工智能的推荐方法、装置、电子设备及存储介质 | |
CN112800292B (zh) | 一种基于模态特定和共享特征学习的跨模态检索方法 | |
CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及系统 | |
CN108038492A (zh) | 一种基于深度学习的感性词向量及情感分类方法 | |
CN113191154B (zh) | 基于多模态图神经网络的语义分析方法、系统和存储介质 | |
CN111563158B (zh) | 文本排序方法、排序装置、服务器和计算机可读存储介质 | |
CN116097250A (zh) | 用于多模式文档理解的布局感知多模式预训练 | |
CN113392651A (zh) | 训练词权重模型及提取核心词的方法、装置、设备和介质 | |
CN111598153B (zh) | 数据聚类的处理方法、装置、计算机设备和存储介质 | |
CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
CN116975776A (zh) | 一种基于张量和互信息的多模态数据融合方法和设备 | |
CN112231554A (zh) | 一种搜索推荐词生成方法、装置、存储介质和计算机设备 | |
CN116881689A (zh) | 知识增强的用户多模态在线评论质量评估方法和系统 | |
CN115114974A (zh) | 一种模型蒸馏方法、装置、计算机设备和存储介质 | |
CN117377950A (zh) | 使用机器学习加速文档归类 | |
CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
CN115186085A (zh) | 回复内容处理方法以及媒体内容互动内容的交互方法 | |
Zhu | A graph neural network-enhanced knowledge graph framework for intelligent analysis of policing cases | |
CN111177493B (zh) | 数据处理方法、装置、服务器和存储介质 | |
CN110765359A (zh) | 新媒体内容推荐方法和系统 | |
CN115269844B (zh) | 模型的处理方法、装置、电子设备和存储介质 | |
CN117786234B (zh) | 一种基于两阶段对比学习的多模态资源推荐方法 | |
CN113298365B (zh) | 一种基于lstm的文化附加值评估方法 | |
Zhu | A Study on the Method of Press Freedom Value Assessment Based on Artificial Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |