CN101068347A - 虚拟新闻生成系统和方法 - Google Patents

Abstract

本发明提出了一种虚拟新闻生成系统和方法，其中该系统包括：最底模块，该模块用于新闻视频的采集、切分与管理，主要是从多视频源采集视频素材，对切分之后得到视频文件进行分类标注、入库管理；中间模块，该模块是虚拟新闻总控与接口部分，主要是与其它组成系统或模块之间进行的指令收发、数据传输等；以及最顶模块，该模块是虚拟新闻的生成与播放，它是依据决策方案与交互指令，按照用户定义的格式生成虚拟新闻序列，并传输到视频播出服务器播放。利用本系统则可将参演各方的决策方案实时地以视频和音频的形式虚拟新闻，直观形象地反馈给受训人员。

Description

虚拟新闻生成系统和方法

技术领域

本发明涉及新闻视频报道系统和方法，更具体地说，涉及一种虚拟新闻生成系统和方法。

背景技术

当前，新闻视频报道是公认的信息传递最迅速、最直接、最形象，也是最容易被人们认可的信息表达方式，它不仅能够清晰地反映所发生事件的经过，而且能够通过画面向人们清晰地表达事件所涉及各方的态度、立场以及可能的应对措施。但是，在中高层决策训练中，各种信息大多还是采用传统的文本方式提供给受训人员，这种方式不仅不形象直观，同时也不容易被受训人员自然接受。同时，在涉及国家安全领域中新闻舆论战中，通过电视新闻网和Internet来传播虚假新闻也是现代战争采用的重要手段之一。但是，目前对于如何生成能够混淆是非、以假乱真的“非现实”的新闻视频，从技术上来看，国内外未见报道。

发明内容

为了克服上述缺陷，本发明提出了一种虚拟新闻生成系统和方法。

在本发明的一方面中，提出了一种虚拟新闻生成系统，该虚拟新闻生成系统包括：最底模块，该模块用于新闻视频的采集、切分与管理，主要是从多视频源采集视频素材，对切分之后得到视频文件进行分类标注、入库管理；中间模块，该模块是虚拟新闻总控与接口部分，主要是与其它组成系统或模块之间进行的指令收发、数据传输等；以及最顶模块，该模块是虚拟新闻的生成与播放，它是依据决策方案与交互指令，按照用户定义的格式生成虚拟新闻序列，并传输到视频播出服务器播放。

根据该方面，其中最底模块包括依次相连的：解码器，对加密的卫星电视信号进行解密；卫星电视收录工作站，用于对解码器解码后的卫星电视进行收录，其集成了电视收录功能的高性能计算机，能够按照预设的节目单进行节目自动录制；源视频素材库，用于存储卫星电视收录工作站所录制好的节目；新闻素材切分设备，用于识别和切分采集好的视频单元，其集成了自动切分视频素材软件的高性能计算机，能够把“源视频素材库”中的视频按照镜头、场景以及故事单元切分为视频短片；新闻素材库，用于存储所述新闻素材切分设备所切分后的视频素材；媒资管理工作站，用于对新闻素材进行分类标注并且指定关键字和描述信息；以及新闻素材特征库，用于存放所述新闻素材库中视频素材的分类标注信息，它通过数据关联所述新闻素材库形成映射关系，供查询、检索使用。

根据该方面，其中中间模块包括：虚拟新闻总控，用于对整个虚拟新闻生成系统软、硬件环境进行控制，它根据需要向中间模块的新闻语音合成设备和新闻检索接口以及播出服务器发送开始生成虚拟新闻的指令，实现虚拟新闻的生成与控制；决策信息库，用于存放高层决策训练中受训人员的决策方案；新闻检索接口，其中检索条件来自对所述决策信息库中决策信息关键字的提取，根据检索条件以一定的算法到所述新闻素材特征库中进行检索，然后根据所述新闻素材特征库与所述新闻素材库的数据关联，将检索到的新闻视频素材发送到播控工作站中形成播出计划；新闻语音合成设备，用于将受训人员的决策方案文本合成为指定声音文件以生成成年男性、女性的声音，包括中文和英文两种语言；以及调音台，用来控制合成声音的音质和音量。

根据该方面，其中该虚拟新闻总控包括新闻播报模版模块、视频检索模块、以及视频检索结果调整模块。

根据该方面，其中最顶模块包括：区域模版制作模块，用于对新闻视频的视频区域进行划定，如字幕区、视频区、台标区、滚动字幕区等等，可以预制多种模版以供使用；播控工作站，用于将虚拟新闻播出计划发送到播出服务器中等待播出；播出服务器，用于完成播出最后的虚拟新闻；以及视频分配器，用于将虚拟新闻的视频信号分发到多个作业室中。

根据该方面，其中新闻播报模版模块完成对新闻的模版应用。

根据该方面，其中视频检索模块从源视频素材库中检索出对应新闻片断的视频素材。

根据该方面，其中视频检索结果调整模块对检索到的视频素材进行适当的调整。

在本发明的另一方面中，提出了一种虚拟新闻生成方法，该虚拟新闻生成方法包括步骤：(1)虚拟新闻控制系统启动后，首先初始化与总控系统、视频播出服务器、以及音频服务器的连接；(2)当虚拟新闻总控发出“开始生成虚拟新闻指令”后，从决策信息库中检索需要生成虚拟新闻的决策方案，并记录检索的条数n；(3)对每条需要应用模版的新闻，新闻播报模版模块完成对新闻的模版应用；(4)判断还有没有需要应用模版的新闻，如果有重复步骤(3)，否则进入步骤(5)；(5)应用模版后新闻被分为m个新闻片断，同时决策方案也分成对应于视频片断的文字新闻稿；(6)总控系统发出“开始播出虚拟新闻”命令；(7)视频检索模块从源视频素材库中检索出对应于m条新闻片断的视频素材；(8)视频检索结果调整模块对检索到的视频素材进行适当的调整；(9)调整好的视频素材上传到视频播出服务器，视频片断对应的文字新闻稿发送到音频服务器中，并同时上传到视频播出服务器生成新闻字幕；以及(10)最后，视频播出服务器和音频服务器分别播出视频和声音，其中利用音频控制视频与字幕的播出时间同步播出。

根据该方面，其中步骤(3)进一步包括：(3-1)对需要应用模版的新闻选择对应的播报模版；(3-2)确定模版应用；(3-3)删除旧模版；以及(3-4)应用新模版。

根据该方面，其中在步骤(7)中，对每个新闻片断执行以下操作：(7-1)获得检索的关键词(人物、地点、类型)；(7-2)判断检索条件的合法性，如合法，进入步骤(7-3)；如不合法，手工调整检索条件，直到合法为止；(7-3)执行检索；以及(7-4)得到检索结果。

根据该方面，其中在步骤(8)中，对检索到的每个视频片断作如下操作：判断新闻(视频)片断是否符合方案，如不符合，通过插入当前未列出的检索结果来寻找符合方案的视频片断，并更新检索结果，直到都符合方案为止。

附图说明

结合随后的附图，从下面的详细说明中可显而易见的得出本发明的上述及其他目的、特征及优点。在附图中：

图1给出了根据本发明的虚拟新闻生成系统总体结构图；

图2给出了根据本发明的虚拟新闻总控的流程图；

图3给出了根据本发明的新闻播报模版模块流程图；

图4给出了根据本发明的视频检索模块流程图；

图5给出了根据本发明的视频检索结果调整模块流程图。

具体实施方式

在下文中，参考附图对本发明的优选实施例进行详细的说明。在附图中，相同的附图标记表示相同或者相似的部分，即使它们是在不同附图中进行描述的。在下面描述中，当形成本发明的主题而不会造成不清楚时，省略对这里所采用的已知功能和步骤进行详细说明。

为了解决生成逼真的“非现实”新闻视频的问题，本发明提供一种虚拟新闻的实时生成系统和方法，该系统不仅能够根据中高层决策训练的需要实时合成逼真的“未来”发生的新闻报道视频，还能够满足新闻舆论战中生成高质量的混淆是非、以假乱真的虚假新闻。

该虚拟新闻生成系统是通过采用数字媒体智能处理技术的视频采集、分析、处理、存储、检索以及编辑合成技术，首先，从现实新闻网采集需要的新闻视频，并对其进行探测、识别、切分、处理和标注入库形成海量素材库；然后，根据需要采用智能检索和匹配技术从海量的源视频素材库中检索视频素材自动组织形成虚拟新闻视频片断；其次，采用实时语音合成技术把需要播报的新闻稿实时合成高质量的虚拟音频片断；第三，在生成的视频片断和音频片断的基础上，采用视音频同步合成播控技术合成需要的新闻片断；最后，在合成的新闻片断上叠加必要的新闻字幕以最终生成虚拟新闻。

首先简单的介绍一下虚拟新闻的主要特点：(1)虚拟新闻生成的基础是已经采集视频源中切分出来的视频素材，利用现实已经发生事件的视频来形成未来可能发生事件的视频；(2)虚拟新闻不是真实事件的报道，它的生成条件是针对未来可能的决策或危机，中高层决策训练中受训各方进行危机处置所形成的决策方案；(3)虚拟新闻不同于事先编辑的视频短片，它必须根据决策方案来实时生成，属于“模拟”性质。(4)所生成的虚拟新闻的内容必须符合决策训练程序及其训练目的的需要，以此来达到引导决策者，增强他们与系统的交互性的目的。

接下来，对本发明的虚拟新闻生成系统进行详细地描述。图1给出了根据本发明的虚拟新闻生成系统总体结构图。

如图1所示，该虚拟新闻生成系统的总体结构分为三个模块：最底模块、中间模块、以及最顶模块。

最底模块主要包括依次相连的：解码器，对加密的卫星电视信号进行解密；卫星电视收录工作站，用于对解码器解码后的卫星电视进行收录，其集成了电视收录功能的高性能计算机，能够按照预设的节目单进行节目自动录制；源视频素材库，用于存储卫星电视收录工作站所录制好的节目；新闻素材切分设备，用于识别和切分采集好的视频单元，其集成了自动切分视频素材软件的高性能计算机，能够把“源视频素材库”中的视频按照镜头、场景以及故事单元切分为视频短片；新闻素材库，用于存储所述新闻素材切分设备所切分后的视频素材；媒资管理工作站，用于对新闻素材进行分类标注并且指定关键字和描述信息；以及新闻素材特征库，用于存放所述新闻素材库中视频素材的分类标注信息，它通过数据关联所述新闻素材库形成映射关系，供查询、检索使用。该最底模块用于新闻视频的采集、切分与管理，主要是从多视频源采集视频素材，对切分之后得到视频文件进行分类标注、入库管理。

中间模块主要包括：虚拟新闻总控，用于对整个虚拟新闻生成系统软、硬件环境进行控制，它根据需要向中间模块的新闻语音合成设备和新闻检索接口以及播出服务器发送开始生成虚拟新闻的指令，实现虚拟新闻的生成与控制，该虚拟新闻总控包括新闻播报模版模块、视频检索模块、以及视频检索结果调整模块；决策信息库，用于存放高层决策训练中受训人员的决策方案；新闻检索接口，其中检索条件来自对所述决策信息库中决策信息关键字的提取，根据检索条件以一定的算法到所述新闻素材特征库中进行检索，然后根据所述新闻素材特征库与所述新闻素材库的数据关联，将检索到的新闻视频素材发送到播控工作站中形成播出计划；新闻语音合成设备，用于将受训人员的决策方案文本合成为指定声音文件以生成成年男性、女性的声音，包括中文和英文两种语言；以及调音台，用来控制合成声音的音质和音量。该中间模块是虚拟新闻总控与接口部分，主要是与其它组成系统或模块之间进行的指令收发、数据传输等。

最顶模块包括：区域模版制作模块，用于对新闻视频的视频区域进行划定，如字幕区、视频区、台标区、滚动字幕区等等，可以预制多种模版以供使用；播控工作站，用于将虚拟新闻播出计划发送到播出服务器中等待播出；播出服务器，用于完成播出最后的虚拟新闻；以及视频分配器，用于将虚拟新闻的视频信号分发到多个作业室中。该最顶模块是虚拟新闻的生成与播放，它是依据决策方案与交互指令，按照用户定义的格式生成虚拟新闻序列，并传输到视频播出服务器播放。

下面对该虚拟新闻生成系统的工作过程进行描述。

如图1所示，地面站接收到的卫星电视通过解码器解码后，经过卫星电视收录工作站收录到专门的源视频素材库中。新闻素材处理工具可以识别和切分采集好的视频单元并存入新闻素材库中。媒资管理工作站对新闻素材进行分类标注，指定关键字和描述信息，并建立新闻素材特征库来存储这些信息，新闻素材特征库通过数据关联与新闻素材库形成映射关系，供查询和调用。

当需要生成虚拟新闻时，虚拟新闻总控根据需要向新闻检索接口与语音合成设备发出新闻生成启动指令。检索接口从决策信息库中扫描决策信息库，根据事件的描述信息生成检索条件，并根据检索条件从新闻素材库中检索出相应的素材上传至播控工作站，并通知总控视频准备就绪。语音合成设备从决策信息库中扫描当前态势事件并生成新闻稿，同时通知总控音频准备就绪。而后，总控向播出服务器与语音合成设备发出播放指令和时钟同步指令。播出服务器按照新闻事件的顺序，根据制作工作站读取的视频播出模版实时地将对应的视频与字幕进行合成，并根据时钟同步控制启动播放，每播完一个事件，向总控返回一条消息，并等待下一条指令。与此同时，语音合成设备按照新闻事件的顺序合成新闻稿音频，并根据时钟同步控制进行播放，每播完一个事件，向总控返回一条消息，并等待下一条指令。总控检测到一个新闻事件的视频与音频均播放完毕后，向播出服务器发出播放下一事件的播出指令和时钟同步指令，直至全部新闻播放完毕。

此外，卫星电视收录工作站收录的电视信号还可以通过播出服务器的控制延时或者实时地播出，从而实现对真实新闻的转播。播控工作站还可以对节目播出的序列与过程进行人工干预调整控制，插播、垫播指定的视频内容。

接下来，参考图2，对虚拟新闻总控流程进行详细地描述，具体过程如下：

(1)虚拟新闻控制系统启动后，首先初始化与总控系统(整个演习的总控系统)、视频播出服务器以及音频服务器的连接；

(2)当虚拟新闻总控发出“开始生成虚拟新闻指令”后，从决策信息库中检索需要生成虚拟新闻的决策方案，并记录检索的条数(n)；

(3)对每条需要应用模版的新闻，新闻播报模版模块完成对新闻的模版应用；

(4)判断还有没有需要应用模版的新闻，如果有重复步骤(3)，否则进入步骤(5)；

(5)应用模版后新闻被分为m个新闻片断(一条新闻需要多条视频片断来表达)，同时决策方案也分成对应于视频片断的文字新闻稿；

(6)总控系统发出“开始播出虚拟新闻”命令；

(7)视频检索模块从源视频素材库中检索出对应于m条新闻片断的视频素材；

(8)视频检索结果调整模块对检索到的视频素材进行适当的调整；

(9)调整好的视频素材上传到视频播出服务器，视频片断对应的文字新闻稿发送到音频服务器中，并同时上传到视频播出服务器生成新闻字幕；

(10)最后，视频播出服务器和音频服务器分别播出视频和声音，其中利用音频控制视频与字幕的播出时间同步播出。

参考图3，对虚拟新闻总控中的新闻播报模版模块流程进行说明，具体如下：

(3-1)对需要应用模版的新闻选择对应的播报模版(必须选定模版)；

(3-2)确定模版应用；

(3-3)删除旧模版(默认的模版)；以及

(3-4)应用新模版。

参考图4，对虚拟新闻总控中的视频检索模块流程进行说明，对每个新闻片断执行以下操作：

(7-1)获得检索的关键词(人物、地点、类型)；

(7-2)判断检索条件的合法性，如合法，进入步骤(7-3)；如不合法，手工调整检索条件，直到合法为止；

(7-3)执行检索；以及

(7-4)得到检索结果。

图5给出了视频检索结果调整模块的流程，对检索到的每个视频片断作如下操作：判断新闻(视频)片断是否符合方案，如不符合，通过插入当前未列出的检索结果来寻找符合方案的视频片断，并更新检索结果，直到都符合方案为止。

从上面的描述可知，本发明的虚拟新闻生成系统具有以下主要功能：(1)视频源的采集切分与分类管理：虚拟新闻不可能整段地采用已经发生的新闻故事，其基础是历史积累的视频素材，因此系统具备自动定时收录新闻节目，切分为素材文件并将其标注信息将放在数据库中进行管理；(2)视频素材的检索匹配：由于决策方案不可能事先预知，因此需要动态地从源视频素材库中检索与决策方案相适应的视频素材文件，本系统主要采取关键字/词匹配方法；(3)虚拟新闻视频播报模版的生成与应用：由于不同种类的新闻具有不同的播报格式，例如经济新闻的报道与政治人物出访活动的新闻报道就有很大差别，因此系统还能够定制不同的新闻播报模版，以便于在生成虚拟新闻时应用；(4)虚拟新闻音频的生成：虚拟新闻的新闻稿主要来源于受训人员的决策方案，因此需要将决策方案动态地生成音频播放；(5)虚拟新闻视频与音频的合成与播放：在播放虚拟新闻的同时，需要将视频画面与新闻稿的音频实现同步播放。在音频更换的同时也必须更换视频画面，以保持同步；以及(6)虚拟新闻视频的字幕叠加：在实现视频与音频同步播放的同时，还应当将音频的内容，即新闻稿同时叠加在视频画面上，因此系统还具备音频与新闻稿的同步，以及新闻稿与视频画面同步叠加的功能。

在以前的战略层次军事训练中，演习各方针对当前态势做出的反应与处置如果涉及到军事行动，则可以通过军事态势图的形式进行表达，而对于决策者所采取的政治、经济、外交等措施，还主要是用传统的文本方式(包括书面文本与电子文书)提供给参演各方决策人员使用，虽然可行但并不理想。而利用本系统则可将参演各方的决策方案实时地以视频和音频的形式虚拟新闻，直观形象地反馈给受训人员。因此，本系统研制成功后，先后在国防大学多次战略层次的军事训练中得到应用，取得良好的效果。

本发明的重要意义在于首创了一套完全填补国外内空白的虚拟新闻的自动生成系统。该系统不仅将大大提高中高层决策训练系统的逼真度和沉浸感，为我国中高层决策训练提供技术支撑，为实现训练方法的变革提供技术支撑，而且该系统还可以广泛应用于现代战争的心理战、舆论战的训练与实战，在全军乃至及全国具有很好的应用前景和推广价值；同时，在新闻媒体界该系统也具有广泛的应用前景。

虽然参考其示意性实施例已详细示出了本发明并对其进行了描述，但是本发明并不局限于这些实施例。本领域普通技术人员应该明白的是在不脱离权利要求所定义的本发明的精神和范围的情况下可对其中的构成和细节做出各种变化。

Claims (12)

1、一种虚拟新闻生成系统，包括：

最底模块，该模块用于新闻视频的采集、切分与管理，主要是从多视频源采集视频素材，对切分之后得到视频文件进行分类标注、入库管理；

中间模块，该模块是虚拟新闻总控与接口部分，主要是与其它组成系统或模块之间进行的指令收发、数据传输等；以及

最顶模块，该模块是虚拟新闻的生成与播放，它是依据决策方案与交互指令，按照用户定义的格式生成虚拟新闻序列，并传输到视频播出服务器播放。

2、根据权利要求1的虚拟新闻生成系统，其中最底模块包括依次相连的：

解码器，对加密的卫星电视信号进行解密；

卫星电视收录工作站，用于对解码器解码后的卫星电视进行收录，其集成了电视收录功能的高性能计算机，能够按照预设的节目单进行节目自动录制；

源视频素材库，用于存储卫星电视收录工作站所录制好的节目；

新闻素材切分设备，用于识别和切分采集好的视频单元，其集成了自动切分视频素材软件的高性能计算机，能够把“源视频素材库”中的视频按照镜头、场景以及故事单元切分为视频短片；新闻素材库，用于存储所述新闻素材切分设备所切分后的视频素材；

媒资管理工作站，用于对新闻素材进行分类标注并且指定关键字和描述信息；以及

新闻素材特征库，用于存放所述新闻素材库中视频素材的分类标注信息，它通过数据关联所述新闻素材库形成映射关系，供查询、检索使用。

3、根据权利要求1的虚拟新闻生成系统，其中中间模块包括：

虚拟新闻总控，用于对整个虚拟新闻生成系统软、硬件环境进行控制，它根据需要向中间模块的新闻语音合成设备和新闻检索接口以及播出服务器发送开始生成虚拟新闻的指令，实现虚拟新闻的生成与控制；

决策信息库，用于存放高层决策训练中受训人员的决策方案；

新闻检索接口，其中检索条件来自对所述决策信息库中决策信息关键字的提取，根据检索条件以一定的算法到所述新闻素材特征库中进行检索，然后根据所述新闻素材特征库与所述新闻素材库的数据关联，将检索到的新闻视频素材发送到播控工作站中形成播出计划；

新闻语音合成设备，用于将受训人员的决策方案文本合成为指定声音文件以生成成年男性、女性的声音，包括中文和英文两种语言；以及

调音台，用来控制合成声音的音质和音量。

4、根据权利要求2的虚拟新闻生成系统，其中该虚拟新闻总控包括新闻播报模版模块、视频检索模块、以及视频检索结果调整模块。

5、根据权利要求1的虚拟新闻生成系统，其中最顶模块包括：

区域模版制作模块，用于对新闻视频的视频区域进行划定，如字幕区、视频区、台标区、滚动字幕区等等，可以预制多种模版以供使用；

播控工作站，用于将虚拟新闻播出计划发送到播出服务器中等待播出；

播出服务器，用于完成播出最后的虚拟新闻；以及

视频分配器，用于将虚拟新闻的视频信号分发到多个作业室中。

6、根据权利要求3的虚拟新闻生成系统，其中新闻播报模版模块完成对新闻的模版应用。

7、根据权利要求3的虚拟新闻生成系统，其中视频检索模块从源视频素材库中检索出对应新闻片断的视频素材。

8、根据权利要求3的虚拟新闻生成系统，其中视频检索结果调整模块对检索到的视频素材进行适当的调整。

9、一种在权利要求1的虚拟新闻生成系统中的虚拟新闻生成方法，包括步骤：

(1)虚拟新闻控制系统启动后，首先初始化与总控系统、视频播出服务器、以及音频服务器的连接；

(2)当虚拟新闻总控发出“开始生成虚拟新闻指令”后，从决策信息库中检索需要生成虚拟新闻的决策方案，并记录检索的条数n；

(3)对每条需要应用模版的新闻，新闻播报模版模块完成对新闻的模版应用；

(4)判断还有没有需要应用模版的新闻，如果有重复步骤(3)，否则进入步骤(5)；

(5)应用模版后新闻被分为m个新闻片断，同时决策方案也分成对应于视频片断的文字新闻稿；

(6)总控系统发出“开始播出虚拟新闻”命令；

(7)视频检索模块从源视频素材库中检索出对应于m条新闻片断的视频素材；

(8)视频检索结果调整模块对检索到的视频素材进行适当的调整；

(9)调整好的视频素材上传到视频播出服务器，视频片断对应的文字新闻稿发送到音频服务器中，并同时上传到视频播出服务器生成新闻字幕；以及

(10)最后，视频播出服务器和音频服务器分别播出视频和声音，其中利用音频控制视频与字幕的播出时间同步播出。

10、根据权利要求8的虚拟新闻生成方法，其中步骤(3)进一步包括：

(3-1)对需要应用模版的新闻选择对应的播报模版；

(3-2)确定模版应用；

(3-3)删除旧模版；以及

(3-4)应用新模版。

11、根据权利要求8的虚拟新闻生成方法，其中在步骤(7)中，对每个新闻片断执行以下操作：

(7-1)获得检索的关键词(人物、地点、类型)；

(7-2)判断检索条件的合法性，如合法，进入步骤(7-3)；如不合法，手工调整检索条件，直到合法为止；

(7-3)执行检索；以及

(7-4)得到检索结果。

12、根据权利要求8的虚拟新闻生成方法，其中在步骤(8)中，对检索到的每个视频片断作如下操作：判断新闻(视频)片断是否符合方案，如不符合，通过插入当前未列出的检索结果来寻找符合方案的视频片断，并更新检索结果，直到都符合方案为止。

Images