CN107220355A - 基于人工智能的新闻质量判断方法、设备及存储介质 - Google Patents

基于人工智能的新闻质量判断方法、设备及存储介质 Download PDF

Info

Publication number
CN107220355A
CN107220355A CN201710407241.1A CN201710407241A CN107220355A CN 107220355 A CN107220355 A CN 107220355A CN 201710407241 A CN201710407241 A CN 201710407241A CN 107220355 A CN107220355 A CN 107220355A
Authority
CN
China
Prior art keywords
news
quality
features
word
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710407241.1A
Other languages
English (en)
Inventor
刘志慧
闭玮
曹宇慧
何径舟
姜迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710407241.1A priority Critical patent/CN107220355A/zh
Publication of CN107220355A publication Critical patent/CN107220355A/zh
Priority to US15/954,015 priority patent/US20180349781A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种基于人工智能的新闻质量判断方法、设备及存储介质。所述方法包括：根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；采用所述新闻质量分类模型对待检测新闻进行质量判断。本发明实施例通过根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型，并采用所述新闻质量分类模型对待检测新闻进行质量判断，使新闻质量判断过程更加智能化，可以提高新闻质量判断效率和准确性。

Description

基于人工智能的新闻质量判断方法、设备及存储介质
技术领域
本发明实施例涉及互联网技术领域，尤其涉及一种基于人工智能的新闻质量判断方法、设备及存储介质。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
近期百度借助自然语言处理技术带来了“交互新闻”，实现了更加智能和自然的内容组织及阅读体验。推出交互新闻的目的是向用户推荐高质量的有价值的新闻，因此就需要对新闻进行质量判断，从而过滤掉低质量的新闻(例如，广告、色情或软文等)。
目前，主要是通过对大量的新闻进行人工规则提取，然后采用规则匹配的方法来过滤掉低质量的新闻。而低质量新闻的表现各不相同，例如软文，是由企业的市场策划人员或广告公司的文案人员来负责撰写的“文字广告”。使宣传内容和文章内容完美结合在一起，让用户在阅读文章时候能够了解策划人所要宣传的东西。对于软文这种高质量的广告，从简单的规则匹配是很难进行区分的。因此单纯的人工规则提取，不仅消耗大量的人力，而且提取的规则很难覆盖到所有的低质量新闻，从而导致新闻质量判断效率较低，且准确性较低。
发明内容
本发明实施例提供一种基于人工智能的新闻质量判断方法、设备及存储介质，可以提高新闻质量判断效率和准确性。
第一方面，本发明实施例提供了一种基于人工智能的新闻质量判断方法，该方法包括：
根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
采用所述新闻质量分类模型对待检测新闻进行质量判断。
第二方面，本发明实施例还提供了一种基于人工智能的新闻质量判断装置，该装置包括：
模型构建模块，用于根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
质量判断模块，用于采用所述新闻质量分类模型对待检测新闻进行质量判断。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例任一所述的基于人工智能的新闻质量判断方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例任一所述的基于人工智能的新闻质量判断方法。
本发明实施例通过根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型，并采用所述新闻质量分类模型对待检测新闻进行质量判断，使新闻质量判断过程更加智能化，可以提高新闻质量判断效率和准确性。
附图说明
图1是本发明实施例一提供的一种基于人工智能的新闻质量判断方法的流程图；
图2是本发明实施例二提供的一种基于人工智能的新闻质量判断方法的流程图；
图3是本发明实施例三提供的一种基于人工智能的新闻质量判断方法的流程图；
图4是本发明实施例四提供的一种基于人工智能的新闻质量判断装置的结构图；
图5是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种基于人工智能的新闻质量判断方法的流程图，本实施例可适用于新闻质量判断的情况，该方法可以由本发明实施例提供的基于人工智能的新闻质量判断装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可集成在终端设备中或终端设备的应用端中。其中，终端设备可以为但不限于为移动终端(平板电脑或智能手机)、固定终端(台式电脑或笔记本)。
其中，应用端可以为内嵌于终端设备中的某个客户端的插件，或者为所述终端设备的操作系统的插件，与内嵌于终端设备中的基于人工智能的新闻质量判断的客户端或者终端设备的操作系统中的基于人工智能的新闻质量判断应用程序配合使用；应用端也可以为所述终端设备中一个独立的可提供基于人工智能的新闻质量判断的客户端，本实施例对此不进行限制。
如图1所述，本实施例的方法具体包括：
S101、根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型。
其中，已知高质量新闻为未包含广告、色情、黄反等内容的新闻，低质量新闻为包含广告、色情、黄反等内容的新闻。具体的，可通过人工判断的方式获取至少一个高质量新闻作为已知高质量新闻，和/或获取至少一个低质量新闻作为已知低质量新闻。
其中，新闻特征可以包含以下至少一项信息：词频信息、词性信息、专有名称信息和情感特征。其中，词频信息为单词在整篇新闻的标题和/或内容中出现的次数，词性信息为整篇新闻的词性标注，例如，形容词、名称、动词和副词等，专有名称为出现在新闻中的品牌、人名、公司名称或产品名称等，情感特征是新闻撰写者所表达出的情感倾向，例如对某个品牌的赞美或诋毁等。
针对高质量新闻，必然对应有独特的新闻特征，对于低质量新闻，也必然对应有独特的新闻特征，因此，根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型，可以更厚的区分新闻质量。
S102、采用所述新闻质量分类模型对待检测新闻进行质量判断。
具体的，可将待检测新闻或提取的待检测新闻的新闻特征输入新闻质量分类模型中进行训练学习，所述新闻质量分类模型会直接输出分类结果，根据该分类结果即可确定待检测新闻是高质量新闻还是低质量新闻。
本实施例通过根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型，并采用所述新闻质量分类模型对待检测新闻进行质量判断，使新闻质量判断过程更加智能化，可以提高新闻质量判断效率和准确性。
实施例二
图2是本发明实施例二提供的一种基于人工智能的新闻质量判断方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将所述根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型进一步优化为：根据预先设定的新闻质量判断规则，从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征；从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记；采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
相应的，本实施例的方法具体包括：
S201、根据预先设定的新闻质量判断规则，从已知高质量新闻和/或已知低质量新闻中提取候选新闻特征。
其中，所述新闻质量判断规则可包括一下至少一项：是否包含品牌信息、是否包含产品信息、新闻宣传意图、品牌名称和/或产品名称在文章中出现的频率、用词表意是否积极正面、用词风格是否夸张。
可预先根据编辑标注的高质量新闻和低质量新闻各500篇进行分析统计，主要是判断新闻中出现的品牌或产品宣传意图，如果某个品牌或产品名在文章中的出现频率很高，一般会高于正规的新闻报道，那么就判断该新闻为低质量新闻。或者，某新闻内容用词上形容词稍多，动词和形容词的表意很积极正面，风格略显夸张，比如软文就很喜欢用创新、突破、卓越、超级、全面、颠覆这类词汇，那么该新闻也确定为低质量新闻。以上两点是能够进行比较机械判断新闻质量的规则。或者，某产品软文还可能在文章中同时打击一下别的竞品，回避自己产品众所周知的问题与质疑，甚至在宣传中为了突出自家产品而表达了悖公众常识的信息，那么该新闻也确定为低质量新闻。反之，则为高质量新闻。基于上述判断规则，从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征。
S202、从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记。
其中，实现本步骤的一种实施方式是，计算各候选新闻特征的熵；根据所述各候选新闻特征的熵，从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据。
例如，采用公式计算各候选新闻特征的熵，其中，n取值为已知高质量新闻和/或已知低质量新闻，i取值为n，pi为单词或词组p在已知高质量新闻的所有候选新闻特征中的概率或在已知低质量新闻的所有候选新闻特征中的概率。由于熵是描述客观事物无序性的参数，熵越大，事件的不确定性越大。所以相对于表征能力来说，熵越大，则表征能力越差，区分度越小。所以按照各个新闻特征个数可以分别选取出每个新闻特征中最具有区分度(熵最小)的词。
S203、采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
其中，可采用的机器学习分类算法为支持向量机(Support Vector Machine，SVM)学习模型。
S204、采用所述新闻质量分类模型对待检测新闻进行质量判断。
本实施例通过根据大量的已知新闻质量的训练数据进行学习来构建新闻质量分类模型，并采用所述新闻质量分类模型对待检测新闻进行质量判断，可以有效的识别出软文等这些高质量的广告新闻，使新闻质量判断过程更加智能化，可以进一步提高新闻质量判断效率和准确性。
实施例三
图3是本发明实施例三提供的一种基于人工智能的新闻质量判断方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将所述从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征进一步优化为：从所述已知高质量新闻和/或已知低质量新闻中提取以下至少一项特性信息作为所述候选新闻特征：词频信息、词性信息、专有名称信息和情感特征。
相应的，本实施例的方法具体包括：
S301、从已知高质量新闻和/或已知低质量新闻中提取以下至少一项特性信息作为候选新闻特征：词频信息、词性信息、专有名称信息和情感特征。
具体的，可从所述已知高质量新闻和/或已知低质量新闻中提取词语和/或词组，并统计所述词语和/或词组在标题域中的词频信息。例如，由于一篇新闻中词数太多，为了节省计算量，可只选择标题title域来统计词频，因为title域有些已经涵盖了要宣传的产品的名称和宣传意图。为了避免漏掉有些冷门具有表意能力的词语被切散，所以对单词和词组一起进行统计，得到词频信息。
和/或，可从所述已知高质量新闻和/或已知低质量新闻的内容域提取具有表意能力的词语或词组；对所述词语或词组中包含的词语进行词性标注，得到所述词性信息。例如，由于软文在用词上形容词稍多，动词和形容词的表意很积极正面，所以对内容content域进行词性标注，然后选取出能有表意能力的形容词、名词、动词等词组成词性信息，例如为(a，ad，an，n，nr，nt，nx，nz，Ag)。其中，a为形容词、ad为副词、an为名形词(具有名词功能的形容词)，n为名词、nr为人名，nt为机构团体名、nx为外文专名、nz为其他专名、Ag为形容词语素。如果两个名词或者形容词相连，则使两个相连的单词组成一个词组。最后根据选出的所有单词和词组计算词性信息。
和/或，对所述已知高质量新闻和/或已知低质量新闻的内容域进行专有名称识别，由识别出的专有名称组成专有名称信息。例如，由于专有名词可以识别出一篇新闻中所有的公司名和产品名，所以对content域进行专有名词进行识别。
和/或，对所述已知高质量新闻和/或已知低质量新闻中包含的语句进行识别，统计出正向情感句子的个数、中立情感句子的个数和负向情感句子的个数中的至少一项作为情感特征。例如，由于软文中会着重宣传自己产品，所以新闻中会包含的正向情感的句子会比负向的情感的句子多。所以优选把一篇新闻中的正向、中立和负向的句子的个数作为三维特征作为情感偏好的特征。
S302、从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记。
S303、采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
S304、采用所述新闻质量分类模型对待检测新闻进行质量判断。
本实施例通过提取已知新闻质量的词频信息、词性信息、专有名称信息和情感特征，并训练得到新闻质量分类模型，采用所述新闻质量分类模型对待检测新闻进行质量判断，可以有效的识别出软文等这些高质量的广告新闻，使新闻质量判断过程更加智能化，可以进一步提高新闻质量判断效率和准确性。
实施例四
图4为本发明实施例四提供的一种基于人工智能的新闻质量判断装置的结构图，本实施例可适用于新闻质量判断的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在终端设备中或终端设备的应用端中。其中，终端设备可以为但不限于为移动终端(平板电脑或智能手机)、固定终端(台式电脑或笔记本)。
其中，应用端可以为内嵌于终端设备中的某个客户端的插件，或者为所述终端设备的操作系统的插件，与内嵌于终端设备中的基于人工智能的新闻质量判断的客户端或者终端设备的操作系统中的基于人工智能的新闻质量判断应用程序配合使用；应用端也可以为所述终端设备中一个独立的可提供基于人工智能的新闻质量判断的客户端，本实施例对此不进行限制。
如图4所示，所述装置包括：模型构建模块401和质量判断模块402，其中：
模型构建模块401用于根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
质量判断模块402用于采用所述新闻质量分类模型对待检测新闻进行质量判断。
本实施例的基于人工智能的新闻质量判断装置用于执行上述各实施例的基于人工智能的新闻质量判断方法，其技术原理和产生的技术效果类似，这里不再赘述。
在上述各实施例的基础上，所述模型构建模块401包括：特征提取单元4011、训练数据选择单元4012和模型训练单元4013；
特征提取单元4011用于根据预先设定的新闻质量判断规则，从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征；
训练数据选择单元4012用于从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记；
模型训练单元4013用于采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
在上述各实施例的基础上，所述特征提取单元4011具体用于：
从所述已知高质量新闻和/或已知低质量新闻中提取以下至少一项特性信息作为所述候选新闻特征：词频信息、词性信息、专有名称信息和情感特征。
在上述各实施例的基础上，所述特征提取单元4011具体用于：
从所述已知高质量新闻和/或已知低质量新闻中提取词语和/或词组，并统计所述词语和/或词组在标题域中的词频信息。
在上述各实施例的基础上，所述特征提取单元4011具体用于：
从所述已知高质量新闻和/或已知低质量新闻的内容域提取具有表意能力的词语或词组；对所述词语或词组中包含的词语进行词性标注，得到所述词性信息。
在上述各实施例的基础上，所述特征提取单元4011具体用于：
对所述已知高质量新闻和/或已知低质量新闻的内容域进行专有名称识别，由识别出的专有名称组成专有名称信息。
在上述各实施例的基础上，所述特征提取单元4011具体用于：
对所述已知高质量新闻和/或已知低质量新闻中包含的语句进行识别，统计出正向情感句子的个数、中立情感句子的个数和负向情感句子的个数中的至少一项作为情感特征。
在上述各实施例的基础上，所述训练数据选择单元4012具体用于：
计算各候选新闻特征的熵；根据所述各候选新闻特征的熵，从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据。
在上述各实施例的基础上，所述新闻质量判断规则包括一下至少一项：
是否包含品牌信息、是否包含产品信息、新闻宣传意图、品牌名称和/或产品名称在文章中出现的频率、用词表意是否积极正面、用词风格是否夸张。
上述各实施例所提供的基于人工智能的新闻质量判断装置可执行本发明任意实施例所提供的基于人工智能的新闻质量判断方法，具备执行基于人工智能的新闻质量判断方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于人工智能的新闻质量判断方法：
根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
采用所述新闻质量分类模型对待检测新闻进行质量判断。
实施例六
本发明实施例6还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的基于人工智能的新闻质量判断方法：
根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
采用所述新闻质量分类模型对待检测新闻进行质量判断。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种基于人工智能的新闻质量判断方法，其特征在于，包括：
根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
采用所述新闻质量分类模型对待检测新闻进行质量判断。
2.根据权利要求1所述的方法，其特征在于，所述根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型包括：
根据预先设定的新闻质量判断规则，从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征；
从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记；
采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
3.根据权利要求2所述的方法，其特征在于，所述从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征包括：
从所述已知高质量新闻和/或已知低质量新闻中提取以下至少一项特性信息作为所述候选新闻特征：词频信息、词性信息、专有名称信息和情感特征。
4.根据权利要求3所述的方法，其特征在于，所述从所述已知高质量新闻和/或已知低质量新闻中提取词频信息包括：
从所述已知高质量新闻和/或已知低质量新闻中提取词语和/或词组，并统计所述词语和/或词组在标题域中的词频信息。
5.根据权利要求3所述的方法，其特征在于，所述从所述已知高质量新闻和/或已知低质量新闻中提取词性信息包括：
从所述已知高质量新闻和/或已知低质量新闻的内容域提取具有表意能力的词语或词组；
对所述词语或词组中包含的词语进行词性标注，得到所述词性信息。
6.根据权利要求3所述的方法，其特征在于，所述从所述已知高质量新闻和/或已知低质量新闻中提取专有名称包括：
对所述已知高质量新闻和/或已知低质量新闻的内容域进行专有名称识别，由识别出的专有名称组成专有名称信息。
7.根据权利要求3所述的方法，其特征在于，所述从所述已知高质量新闻和/或已知低质量新闻中提取情感特征包括：
对所述已知高质量新闻和/或已知低质量新闻中包含的语句进行识别，统计出正向情感句子的个数、中立情感句子的个数和负向情感句子的个数中的至少一项作为情感特征。
8.根据权利要求2所述的方法，其特征在于，从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据包括：
计算各候选新闻特征的熵；
根据所述各候选新闻特征的熵，从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据。
9.根据权利要求2-8任一项所述的方法，其特征在于，所述新闻质量判断规则包括一下至少一项：
是否包含品牌信息、是否包含产品信息、新闻宣传意图、品牌名称和/或产品名称在文章中出现的频率、用词表意是否积极正面、用词风格是否夸张。
10.一种基于人工智能的新闻质量判断装置，其特征在于，包括：
模型构建模块，用于根据已知高质量新闻的新闻特征和/或已知低质量新闻的新闻特征构建新闻质量分类模型；
质量判断模块，用于采用所述新闻质量分类模型对待检测新闻进行质量判断。
11.根据权利要求10所述的装置，其特征在于，所述模型构建模块包括：
特征提取单元，用于根据预先设定的新闻质量判断规则，从所述已知高质量新闻和/或已知低质量新闻中提取候选新闻特征；
训练数据选择单元，用于从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据，并根据已知的新闻质量等级对所述训练数据进行标记；
模型训练单元，用于采用机器学习分类算法对所述训练数据进行学习，得到所述新闻质量分类模型。
12.根据权利要求11所述的装置，其特征在于，所述特征提取单元具体用于：
从所述已知高质量新闻和/或已知低质量新闻中提取以下至少一项特性信息作为所述候选新闻特征：词频信息、词性信息、专有名称信息和情感特征。
13.根据权利要求12所述的装置，其特征在于，所述特征提取单元具体用于：
从所述已知高质量新闻和/或已知低质量新闻中提取词语和/或词组，并统计所述词语和/或词组在标题域中的词频信息。
14.根据权利要求12所述的装置，其特征在于，所述特征提取单元具体用于：
从所述已知高质量新闻和/或已知低质量新闻的内容域提取具有表意能力的词语或词组；对所述词语或词组中包含的词语进行词性标注，得到所述词性信息。
15.根据权利要求12所述的装置，其特征在于，所述特征提取单元具体用于：
对所述已知高质量新闻和/或已知低质量新闻的内容域进行专有名称识别，由识别出的专有名称组成专有名称信息。
16.根据权利要求12所述的装置，其特征在于，所述特征提取单元具体用于：
对所述已知高质量新闻和/或已知低质量新闻中包含的语句进行识别，统计出正向情感句子的个数、中立情感句子的个数和负向情感句子的个数中的至少一项作为情感特征。
17.根据权利要求11所述的装置，其特征在于，所述训练数据选择单元具体用于：
计算各候选新闻特征的熵；根据所述各候选新闻特征的熵，从所述候选新闻特征中选取具有表征新闻质量区分度的新闻特征作为训练数据。
18.根据权利要求11-17任一项所述的装置，其特征在于，所述新闻质量判断规则包括一下至少一项：
是否包含品牌信息、是否包含产品信息、新闻宣传意图、品牌名称和/或产品名称在文章中出现的频率、用词表意是否积极正面、用词风格是否夸张。
19.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的基于人工智能的新闻质量判断方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的基于人工智能的新闻质量判断方法。
CN201710407241.1A 2017-06-02 2017-06-02 基于人工智能的新闻质量判断方法、设备及存储介质 Pending CN107220355A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710407241.1A CN107220355A (zh) 2017-06-02 2017-06-02 基于人工智能的新闻质量判断方法、设备及存储介质
US15/954,015 US20180349781A1 (en) 2017-06-02 2018-04-16 Method and device for judging news quality and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710407241.1A CN107220355A (zh) 2017-06-02 2017-06-02 基于人工智能的新闻质量判断方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN107220355A true CN107220355A (zh) 2017-09-29

Family

ID=59947864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710407241.1A Pending CN107220355A (zh) 2017-06-02 2017-06-02 基于人工智能的新闻质量判断方法、设备及存储介质

Country Status (2)

Country Link
US (1) US20180349781A1 (zh)
CN (1) CN107220355A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108912A (zh) * 2018-01-10 2018-06-01 百度在线网络技术（北京）有限公司 互动低质量用户的判别方法、装置、服务器及存储介质
CN108363700A (zh) * 2018-03-23 2018-08-03 北京奇虎科技有限公司 新闻标题的质量评估方法及装置
CN108491389A (zh) * 2018-03-23 2018-09-04 杭州朗和科技有限公司 点击诱饵标题语料识别模型训练方法和装置
CN110162797A (zh) * 2019-06-21 2019-08-23 北京百度网讯科技有限公司 文章质量检测方法和装置
CN110442714A (zh) * 2019-07-25 2019-11-12 北京百度网讯科技有限公司 Poi名称规范性评估方法、装置、设备和存储介质
CN115687628A (zh) * 2022-12-30 2023-02-03 北京搜狐新媒体信息技术有限公司 一种新闻质量评判方法、系统、计算机设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553146A (zh) * 2020-05-09 2020-08-18 杭州中科睿鉴科技有限公司 新闻写作风格建模方法、写作风格-影响力分析方法及新闻质量评估方法
CN112528040B (zh) * 2020-12-16 2024-03-19 平安科技（深圳）有限公司 基于知识图谱的引导教唆语料的检测方法及其相关设备
CN113535813B (zh) * 2021-06-30 2023-07-28 北京百度网讯科技有限公司 一种数据挖掘方法、装置、电子设备以及存储介质
CN113806586B (zh) * 2021-11-18 2022-03-15 腾讯科技（深圳）有限公司 数据处理方法、计算机设备以及可读存储介质
CN114417001B (zh) * 2022-03-29 2022-07-01 山东大学 基于多模态模式的中文写作智能分析方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064971A (zh) * 2013-01-05 2013-04-24 南京邮电大学 一种基于评分和中文情感分析的垃圾评论检测方法
CN103336764A (zh) * 2013-06-18 2013-10-02 百度在线网络技术（北京）有限公司 基于倾向性分析的分类模型建立、内容识别方法及装置
CN105975984A (zh) * 2016-04-29 2016-09-28 吉林大学 基于证据理论的网络质量评价方法
CN106202211A (zh) * 2016-06-27 2016-12-07 四川大学 一种基于微博类型的集成微博谣言识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064971A (zh) * 2013-01-05 2013-04-24 南京邮电大学 一种基于评分和中文情感分析的垃圾评论检测方法
CN103336764A (zh) * 2013-06-18 2013-10-02 百度在线网络技术（北京）有限公司 基于倾向性分析的分类模型建立、内容识别方法及装置
CN105975984A (zh) * 2016-04-29 2016-09-28 吉林大学 基于证据理论的网络质量评价方法
CN106202211A (zh) * 2016-06-27 2016-12-07 四川大学 一种基于微博类型的集成微博谣言识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄正伟 等: "基于SVM分类模型的垃圾文本识别研究", 《数学的实践与认识》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108912A (zh) * 2018-01-10 2018-06-01 百度在线网络技术（北京）有限公司 互动低质量用户的判别方法、装置、服务器及存储介质
CN108363700A (zh) * 2018-03-23 2018-08-03 北京奇虎科技有限公司 新闻标题的质量评估方法及装置
CN108491389A (zh) * 2018-03-23 2018-09-04 杭州朗和科技有限公司 点击诱饵标题语料识别模型训练方法和装置
CN108491389B (zh) * 2018-03-23 2021-10-08 杭州朗和科技有限公司 点击诱饵标题语料识别模型训练方法和装置
CN110162797A (zh) * 2019-06-21 2019-08-23 北京百度网讯科技有限公司 文章质量检测方法和装置
CN110162797B (zh) * 2019-06-21 2023-04-07 北京百度网讯科技有限公司 文章质量检测方法和装置
CN110442714A (zh) * 2019-07-25 2019-11-12 北京百度网讯科技有限公司 Poi名称规范性评估方法、装置、设备和存储介质
CN110442714B (zh) * 2019-07-25 2022-05-27 北京百度网讯科技有限公司 Poi名称规范性评估方法、装置、设备和存储介质
CN115687628A (zh) * 2022-12-30 2023-02-03 北京搜狐新媒体信息技术有限公司 一种新闻质量评判方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
US20180349781A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
CN107220355A (zh) 基于人工智能的新闻质量判断方法、设备及存储介质
EP3183728B1 (en) Orphaned utterance detection system and method
CN107767870A (zh) 标点符号的添加方法、装置和计算机设备
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN107436922A (zh) 文本标签生成方法和装置
CN108009293A (zh) 视频标签生成方法、装置、计算机设备和存储介质
Yeh et al. Topic detection and tracking for conversational content by using conceptual dynamic latent Dirichlet allocation
CN108170792A (zh) 基于人工智能的问答引导方法、装置和计算机设备
CN109408826A (zh) 一种文本信息提取方法、装置、服务器及存储介质
JP2023535709A (ja) 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体
CN103678269A (zh) 一种信息处理方法和装置
US11455472B2 (en) Method, device and computer readable storage medium for presenting emotion
CN108108468A (zh) 一种基于概念和文本情感的短文本情感分析方法和装置
CN108563655A (zh) 基于文本的事件识别方法和装置
CN108460098A (zh) 信息推荐方法、装置和计算机设备
JP2019071089A (ja) 情報提示装置、および情報提示方法
US20200242142A1 (en) Intelligent cryptic query-response in action proposal communications
CN110196929A (zh) 问答对的生成方法和装置
CN107844531A (zh) 答案输出方法、装置和计算机设备
CN114461806A (zh) 广告识别模型的训练方法及装置、广告屏蔽方法
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN108268443A (zh) 确定话题点转移以及获取回复文本的方法、装置
CN108536666A (zh) 一种短文本信息提取方法和装置
CN114757299A (zh) 文本相似度判断方法、装置及存储介质
CN114118062A (zh) 客户特征提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929