CN105975466A - 一种面向短新闻的机器写稿方法及装置 - Google Patents

Abstract

本发明公开了一种面向短新闻的机器写稿方法及装置，该方法通过利用优化算法智能选择不同的模板组合进行新闻生成，能够提高所生成新闻的生动性与灵活性。该方法的实现过程如下，基于输入的知识点与模板库进行候选模板检索；利用优化算法进行智能模板筛选，确定最终真正使用的模板；基于筛选得到的模板进行新闻文本生成；目前的中文新闻写稿系统主要基于人工定义的模板，然而通过向固定模板填充数据而生成的新闻形式比较单一，不够生动。本发明提出基于多样化模板集的智能模板筛选生成多样化的新闻文本，有效改善新闻自动生成的效果。

Description

一种面向短新闻的机器写稿方法及装置

技术领域

本发明涉及语言文字处理领域，特别涉及一种短新闻自动写稿的方法和装置。

背景技术

数据到文本的生成技术指根据给定的数值数据生成相关文本，例如基于数值数据生成天气预报文本、体育新闻、财经报道、医疗报告等。数据到文本的生成技术具有极强的应用前景，目前该领域已经取得了很大的研究进展，业界已经研制出面向不同领域和应用的多个生成系统。针对数据到文本的生成技术的研究单位主要集中少数几个单位，例如英国阿伯丁大学、英国布莱顿大学、爱丁堡大学等，相关研究成果主要发表在INLG、ENLG这几个专业学术会议上。

由于数据到文本的生成技术的巨大应用价值，工业界成立了多家从事文本生成的公司，能够为多个行业基于行业数据生成行业报告或新闻报道，从而节省大量的人力。比较知名的公司有ARRIA、AI、NarrativeScience等。其中ARRIA是一家总部设在欧洲的公司，其前称为Data2Text，由来自阿伯丁大学的两名教授Ehud Reiter与Yaji Sripada创办，后来自然语言生成领域的另一位科学家Robert Dale也加入了该公司，该公司的核心技术为ARRIA NLG引擎。AI(Automated Insights)则是一家美国人工智能公司，由一名思科的前工程师Robbie Allen所创办，最早基于体育数据生成文本摘要，目前能为包括金融、个人健身、商业智能、网站分析等在内的多个领域内的数据生成文本报告，其核心技术为WordSmith NLG引擎。目前，AI公司已经为美联社等多家单位生成数亿篇新闻报道，造成了巨大的影响力。NarrativeScience则是根据美国西北大学的一个研究项目StatsMonkey发展而来，其核心技术为Quill NLG引擎。Forbes是NarrativeScience的一个典型客户，在网站上有个NarrativeScience专页，全部文章都是由NarrativeScience自动生成。

国内学术界对数据到文本的生成鲜有研究，也很少见到相关学术成果发表在重要学术会议和期刊上。国内工业界则有部分单位研制了基于模板的文本生成系统。例如新华社已开发了从财报数据生成企业财报年报的系统，该系统基于人工模板，将需要的数据填入写好的模板中，从而生成财报年报。由于采用的模板比较固定，所以为不同企业生成的财报年报都比较类似，而不够生动。

概括来说，目前从数据到新闻文本的生成方式可分为两种：基于模板填充的方法与基于自然语言生成的方法。前者需要人工定制写作模板，通过向固定模板中填充数据生成新闻文本。而后者则基于自然语言生成技术，采用统计方法从语义表示生成自然语言文本。本发明主要涉及基于模板填充的方法。对于一个固定的新闻场景，目前的方法会采用一个固定的模板来生成新闻文本，所得到的多篇新闻文本比较雷同，不具有灵活性和生动性。为了克服这个问题，本发明提出利用优化算法自动选择不同的模板组合进行新闻文本的生成，同一场景下所得到的多篇新闻文本具有多样性，使得新闻生成过程更加智能。

发明内容

本发明提供一种面向短新闻的机器写稿方法，该方法通过利用优化算法智能选择不同的模板组合进行新闻生成，能够提高所生成新闻的生动性与灵活性。本发明所要求的输入为前期通过数据分析获得的知识点以及人工定义的模板集合。通过数据分析，结合领域知识，能够获得多个适合在新闻中报道的知识点，并赋予每个知识点一个重要性权重。针对每个知识点P，首先预先定义和整理描述该知识点的多个文本模板T₁(P),T₂(P),…,T_N(P)(P)，通过每个模板能够生成一个不同的句子,这些句子之间互为复述。例如对于知识点“股价上涨”，可以有如下多个模板来生成不同的文本句子描述该知识点：“股价上涨X％”；“股价涨X％”；“股价涨幅为X％”；等等。

本发明采用的技术方案包括：一种基于智能模板选择的短新闻自动写稿方法，包括如下步骤：

(1)基于输入的知识点与模板库进行候选模板检索；

(2)利用优化算法进行智能模板筛选，确定最终真正使用的模板；

(3)基于筛选得到的模板进行新闻文本生成；

进一步，基于输入的知识点与模板库进行候选模板检索的步骤如下：

对于输入知识点集合KC中的每个知识点P，从人工预先定义的模板库中进行匹配，找到相应的多个文本模板T₁(P),T₂(P),…,T_N(P)(P)，每个文本模板都能用来描述该知识点，生成相关的文本句子；其中N(P)表示为知识点P匹配得到的文本模板个数。由于模板库中已经对模板和知识点的对应关系做了标记，因此根据知识点检索得到候选模板集合。

进一步，利用优化算法进行智能模板筛选，确定最终真正使用的模板步骤如下：

将候选知识点和模板的筛选过程建模为整数线性规划问题，知识点和模板的选择由0-1变量所控制，要求在满足一定约束的前提下最大化新闻所涵盖的知识点权重和以及所采用的模板权重之和，通过分支定界法或割平面法或隐枚举法进行求解获得变量值，从而确定知识点和模板的选择。该方法的好处是能够智能选择部分或全部知识点，同时为每个知识点智能选择唯一的模板进行新闻生成。

具体说来，定义输入知识点集合KC中的知识点P对应的重要性权重为W_P,该权重能预先由人工指定或计算获得。对于知识点P对应的模板集合TC(P)＝{T₁(P),T₂(P),…,T_N(P)(P)},每个模板T所生成文本的长度为L(T)个汉字，且随机为每个模板赋予一个[0，1]之间的权重值W_T。最终所生成的新闻文本的长度限制为L_max个汉字，新闻文本的长度限制由实际需要而定，比如500个字。知识点P与模板T的选择问题建模为如下整数线性规划问题：

$Max\{\underset{P\∈KC}{\Σ}{W}_P{b}_P+\mathrm{\λ}\underset{T\∈U_{P}TC\left(P\right)}{\Σ}{W}_T{c}_T\}$

满足如下约束：

b_P,c_T∈{0,1} (1)

λ∈(0,1) (2)

b_P-∑_T∈TC(P)c_T＝0对于任何P (3)

${\mathrm{\Σ}}_{T\∈U_{P}TC\left(P\right)}L\left(T\right)c_T\≤L_{max}---\left(4\right)$

其中：b_P表示知识点P是否被选择的0-1变量，而c_T则表示模板T是否被选择的0-1变量，λ为系统参数，由人工根据具体情况而设定，比如可设为0.5。约束(3)表明知识点和模板之间的约束关系：一旦一个知识点被选择，则该知识点对应的一个模板必须被选择，且只能有一个模板被选择。相反，如果一个模板被选择，则该模板对应的知识点也必须被选择。约束(4)则表明所生成的新闻文本的总的长度必须满足用户设定的长度限制。

通过现有的整数线性规划求解算法(比如分支定界法或割平面法或隐枚举法)，能够求解得到变量b_P与c_T的值，根据该值是否为1来确定每个知识点和模板的选择。

上述优化算法根据不同的新闻长度限制会选择不同的知识点，而模板的选择则跟模板的长度以及模板的随机重要性权重有关，因此即使在同一场景下，最终也能够选择不同的知识点与模板用于新闻文本生成。

进一步，基于筛选得到的模板进行新闻文本生成的步骤如下：

按照所选择的每个模板进行数据填充，得到对应的文本句子。然后对这些句子按照新闻文本预设规则进行初步排序，获得最终的新闻文本。排序规则能依据不同场景而人为设定。

本发明还提供一种基于智能模板选择的短新闻自动写稿方法的装置，用于根据输入知识点和模板库生成多样化新闻文本，包括以下单元：候选模板检索单元、智能模板筛选单元、新闻文本生成单元；候选模板检索单元、智能模板筛选单元、新闻文本生成单元依次相连组成该装置。

其中，候选模板检索单元基于输入的知识点与模板库进行候选模板的匹配与检索，获得每个知识点所对应的所有潜在有用的模板；

智能模板筛选单元利用整数线性规划算法进行知识点与模板的智能筛选，确定最终真正使用的文本模板；

新闻文本生成单元则基于筛选得到的模板进行文本句子的生成，对句子进行组合之后得到最终的新闻文本。

本发明的效果在于：利用丰富的模板资源以及文本复述关系，通过优化算法自动选择知识点与模板，能够生成不同长度不同表达的新闻文本。

附图说明

图1是本发明所提供的对中文评论进行褒贬分析的方法的流程图；

具体实施方式

下面结合实施例和附图进一步阐明本发明所述的技术方案：

如图1所示，一种基于智能模板选择的短新闻自动写稿方法，包括如下步骤：

(1)基于输入的知识点与模板库进行候选模板检索：

对于输入知识点集合KC中的每个知识点P，从人工预先定义的模板库中进行匹配，找到相应的多个文本模板T₁(P),T₂(P),…,T_N(P)(P)，每个文本模板都能用来描述该知识点，生成相关的文本句子。其中N(P)表示为知识点P匹配得到的文本模板个数。由于模板库中已经对模板和知识点的对应关系做了标记，因此很容易就可以根据知识点检索得到候选模板集合。

(2)利用优化算法进行智能模板筛选，确定最终真正使用的模板：

将候选知识点和模板的筛选过程建模为整数线性规划问题，知识点和模板的选择由0-1变量所控制，要求在满足一定约束的前提下最大化新闻所涵盖的知识点的权重和以及所采用的模板的权重之和，可通过分支定界法、割平面法或隐枚举法进行求解获得变量值，从而确定知识点和模板的选择。该方法的好处是可以智能选择部分或全部知识点，同时为每个知识点智能选择唯一的模板进行新闻生成。

具体说来，定义输入知识点集合KC中的知识点P对应的重要性权重为W_P,该权重可预先由人工指定或计算获得。对于知识点P对应的模板集合TC(P)＝{T₁(P),T₂(P),…,T_N(P)(P)},每个模板T所生成文本的长度为L(T)个汉字，且随机为每个模板赋予一个[0，1]之间的权重值W_T。最终所生成的新闻文本的长度限制为L_max个汉字，这个长度限制根据实际需要而定，比如500个字。那么知识点与模板的选择问题可建模为如下整数线性规划问题：

$Max\{\underset{P\∈KC}{\Σ}{W}_P{b}_P+\mathrm{\λ}\underset{T\∈U_{P}TC\left(P\right)}{\Σ}{W}_T{c}_T\}$

满足如下约束：

b_P,c_T∈{0,1} (1)

λ∈(0,1) (2)

b_P-∑_T∈TC(P)c_T＝0对于任何P (3)

${\mathrm{\Σ}}_{T\∈U_{P}TC\left(P\right)}L\left(T\right)c_T\≤L_{max}---\left(4\right)$

其中：b_P为表示知识点P是否被选择的0-1变量，而c_T则为表示模板T是否被选择的0-1变量。λ为系统参数，由人工根据具体情况而设定，比如可设为0.5。约束(3)表明了知识点和模板之间的约束关系：一旦一个知识点被选择，则该知识点对应的一个模板必须被选择，且只能有一个模板被选择。相反，如果一个模板被选择，则该模板对应的知识点也必须被选择。约束(4)则表明所生成的新闻文本的总的长度必须满足用户设定的长度限制。

通过现有的整数线性规划求解算法(比如分支定界法、割平面法或隐枚举法)，可以求解得到变量b_P与c_T的值，根据该值是否为1来确定每个知识点和模板的选择。

上述优化算法根据不同的新闻长度限制会选择不同的知识点，而模板的选择则跟模板的长度以及模板的随机重要性权重有关，因此即使在同一场景下，最终也可以选择不同的知识点与模板用于新闻文本生成。

(3)基于筛选得到的模板进行新闻文本生成；

按照所选择的每个模板进行数据填充，得到对应的文本句子。然后对这些句子按照一定规则进行简单排序，获得最终的新闻文本。排序规则可依据不同场景而人为设定。

本发明还提供一种基于智能模板选择的短新闻自动写稿方法的装置，用于根据输入知识点和模板库生成多样化新闻文本，包括以下单元：候选模板检索单元、智能模板筛选单元、新闻文本生成单元；

其中，候选模板检索单元基于输入的知识点与模板库进行候选模板的匹配与检索，获得每个知识点所对应的所有潜在有用的模板；

智能模板筛选单元利用整数线性规划算法进行知识点与模板的智能筛选，确定最终真正使用的文本模板；

新闻文本生成单元则基于筛选得到的模板进行文本句子的生成，对句子进行组合之后得到最终的新闻文本。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (6)

1.一种面向短新闻的机器写稿方法，该方法通过利用优化算法智能选择不同的模板组合进行新闻生成，能够提高所生成新闻的生动性与灵活性；其特征在于：本方法所要求的输入为前期通过数据分析获得的知识点以及人工定义的模板集合；通过数据分析，结合领域知识，能够获得多个适合在新闻中报道的知识点，并赋予每个知识点一个重要性权重；针对每个知识点P，首先预先定义和整理描述该知识点的多个文本模板T₁(P),T₂(P),…,T_N(P)(P)，通过每个模板能够生成一个不同的句子,这些句子之间互为复述；该方法的技术方案包括：一种基于智能模板选择的短新闻自动写稿方法，包括如下步骤：

(1)基于输入的知识点与模板库进行候选模板检索；

(2)利用优化算法进行智能模板筛选，确定最终真正使用的模板；

(3)基于筛选得到的模板进行新闻文本生成。

2.根据权利要求1所述的一种面向短新闻的机器写稿方法，其特征在于：基于输入的知识点与模板库进行候选模板检索的步骤如下：

对于输入知识点集合KC中的每个知识点P，从人工预先定义的模板库中进行匹配，找到相应的多个文本模板T₁(P),T₂(P),…,T_N(P)(P)，每个文本模板都能用来描述该知识点，生成相关的文本句子；其中N(P)表示为知识点P匹配得到的文本模板个数；由于模板库中已经对模板和知识点的对应关系做了标记，因此根据知识点检索得到候选模板集合。

3.根据权利要求1所述的一种面向短新闻的机器写稿方法，其特征在于：利用优化算法进行智能模板筛选，确定最终真正使用的模板步骤如下：

将候选知识点和模板的筛选过程建模为整数线性规划问题，知识点和模板的选择由0-1变量所控制，要求在满足一定约束的前提下最大化新闻所涵盖的知识点权重和以及所采用的模板权重之和，通过分支定界法或割平面法或隐枚举法进行求解获得变量值，从而确定知识点和模板的选择；该方法的好处是能够智能选择部分或全部知识点，同时为每个知识点智能选择唯一的模板进行新闻生成。

4.根据权利要求1所述的一种面向短新闻的机器写稿方法，其特征在于：定义输入知识点集合KC中的知识点P对应的重要性权重为W_P,该权重能预先由人工指定或计算获得；对于知识点P对应的模板集合TC(P)＝{T₁(P),T₂(P),…,T_N(P)(P)},每个模板T所生成文本的长度为L(T)个汉字，且随机为每个模板赋予一个[0，1]之间的权重值W_T；最终所生成的新闻文本的长度限制为L_max个汉字，新闻文本的长度限制由实际需要而定，比如500个字；知识点P与模板T的选择问题建模为如下整数线性规划问题：

$Max\left\{\underset{P\∈KC}{\Σ}{W}_P{b}_P+\mathrm{\λ}\underset{T\∈U_{P}TC\left(P\right)}{\Σ}{W}_T{c}_T\right\}$

满足如下约束：

b_P,c_T∈{0,1} (1)

λ∈(0,1) (2)

b_P-∑_T∈TC(P)c_T＝0对于任何P (3)

${\mathrm{\Σ}}_{T\∈U_{P}TC\left(P\right)}L\left(T\right)c_T\≤L_{max}---\left(4\right)$

其中：b_P表示知识点P是否被选择的0-1变量，而c_T则表示模板T是否被选择的0-1变量，λ为系统参数，由人工根据具体情况而设定，比如可设为0.5；约束(3)表明知识点和模板之间的约束关系：一旦一个知识点被选择，则该知识点对应的一个模板必须被选择，且只能有一个模板被选择；相反，如果一个模板被选择，则该模板对应的知识点也必须被选择；约束(4)则表明所生成的新闻文本的总的长度必须满足用户设定的长度限制；

通过现有的整数线性规划求解算法(比如分支定界法或割平面法或隐枚举法)，能够求解得到变量b_P与c_T的值，根据该值是否为1来确定每个知识点和模板的选择；

上述优化算法根据不同的新闻长度限制会选择不同的知识点，而模板的选择则跟模板的长度以及模板的随机重要性权重有关，因此即使在同一场景下，最终也能够选择不同的知识点与模板用于新闻文本生成。

5.根据权利要求1所述的一种面向短新闻的机器写稿方法，其特征在于：基于筛选得到的模板进行新闻文本生成的步骤如下：

按照所选择的每个模板进行数据填充，得到对应的文本句子；然后对这些句子按照新闻文本预设规则进行初步排序，获得最终的新闻文本；排序规则能依据不同场景而人为设定。

6.一种基于智能模板选择的短新闻自动写稿方法的装置，其特征在于：用于根据输入知识点和模板库生成多样化新闻文本，包括以下单元：候选模板检索单元、智能模板筛选单元、新闻文本生成单元；候选模板检索单元、智能模板筛选单元、新闻文本生成单元依次相连组成该装置；

其中，候选模板检索单元基于输入的知识点与模板库进行候选模板的匹配与检索，获得每个知识点所对应的所有潜在有用的模板；

智能模板筛选单元利用整数线性规划算法进行知识点与模板的智能筛选，确定最终真正使用的文本模板；

新闻文本生成单元则基于筛选得到的模板进行文本句子的生成，对句子进行组合之后得到最终的新闻文本。