CN110781346A - 基于虚拟形象的新闻生产方法、系统、装置和存储介质 - Google Patents

基于虚拟形象的新闻生产方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN110781346A
CN110781346A CN201910842494.0A CN201910842494A CN110781346A CN 110781346 A CN110781346 A CN 110781346A CN 201910842494 A CN201910842494 A CN 201910842494A CN 110781346 A CN110781346 A CN 110781346A
Authority
CN
China
Prior art keywords
information
text
text information
video
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910842494.0A
Other languages
English (en)
Inventor
呼伦夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lajin Zhongbo Technology Co ltd
Original Assignee
Tianmai Juyuan (hangzhou) Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmai Juyuan (hangzhou) Media Technology Co Ltd filed Critical Tianmai Juyuan (hangzhou) Media Technology Co Ltd
Priority to CN201910842494.0A priority Critical patent/CN110781346A/zh
Publication of CN110781346A publication Critical patent/CN110781346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于虚拟形象的新闻生产方法、系统、装置和存储介质，其中方法包括：获取初始资讯后，从初始资讯中解析出文本信息和图片信息；根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。本发明通过从新闻源获取初始资讯，将从初始资讯中提取的文本信息和图片信息实时自动生成音频文件和视频文件，最后将生成的音频文件和视频文件发送给预置有虚拟形象的演播模块进行播报，从而降低了视频新闻制作的成本、提升了视频新闻生产效率同时满足了用户对信息的全方位感观的需求，有利于视频新闻的广泛应用。

Description

基于虚拟形象的新闻生产方法、系统、装置和存储介质
技术领域
本发明涉及新闻制作技术领域，尤其涉及基于虚拟形象的新闻生产方法、系统、装置和存储介质。
背景技术
随着移动智能设备的普及和互联网技术的广泛应用，人们已经进入的了极速发展的融媒体信息时代，新闻报道成为人们获取外界信息的主要传播形式之一，然而大部分的新闻仍然是以图文的形式呈现，在当今快节奏社会中，图文新闻不仅占据的用户的大量的时间精力去阅读，而且难以实现读者对于信息的全方位感观的需求，尽管也有以视频形式传播的新闻报道，但是传统的视频新闻生产特点如生产周期长、成本高以及无法提供更加直观的有针对性的播报，限制了视频新闻的广泛应用，如何降低视频新闻的制作成本、提高生产效率同时满足用户对信息的全方位感观的需求成为一个亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明的目的是提供一种降低视频新闻制作成本，提升生产效率同时满足用户对信息的全方位感观需求的基于虚拟形象的新闻生产方法、系统、装置和存储介质。
本发明所采用的第一技术方案是：
一种基于虚拟形象的新闻生产方法，包括以下步骤：
获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
进一步作为优选的实施方式，所述获取初始资讯，从初始资讯中解析出文本信息和图片信息这一步骤，具体包括以下步骤：
获取初始资讯后，从初始资讯中提取文本数据和图片数据；
将提取的文本数据和图片数据根据聚类相似度值解析成文本信息和图片信息；
对文本信息进行分词处理，并根据词语在文本信息中的顺序和词性确定各词语的分值后，将分值高于设定阈值的词语组成词语分词库。
进一步作为优选的实施方式，所述初始资讯包括图表信息和数字，所述根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件这一步骤，包括以下步骤：
获取待合成文本信息，对待合成文本信息进行预处理，以生成待修正语音单元序列，所述预处理包括分词、词性标注、语义分析以及韵律分析中的至少一种；
对待修正语音单元序列进行修正处理，以生成对应文本信息的音频文件，所述修正处理包括重音修正、语速修正、语调修正、语序修正以及变声修正中的至少一种；
获取待合成图片信息、图表信息及数字，对待合成图片信息、图表信息及数字进行预处理，以生成具有词语标注的图片、图表及数字，所述预处理包括图片信息文本内容识别、图表信息语境分析及数字的语境分析中的至少一种；
结合具有词语标注的图片、图表及数字或预设的图片素材库与词语分词库中的词语匹配后，将图片、图表及数字根据各词语在文本中的顺序生成视频文件。
进一步作为优选的实施方式，所述将图片、图表及数字根据各词语在文本中的顺序生成视频文件这一步骤，具体包括以下步骤：
结合与图片、图表及数字相匹配的各词语在文本信息中的顺序，对图片、图表及数字进行排序；
结合各词语的分值和设定视频时长，分别对图片、图表及数字设置时间；
结合预设的视频编码算法和图片、图表及数字的时间，对排序后的图片、图表及数字进行编码，生成视频文件。
进一步作为优选的实施方式，所述初始资讯还包括视频信息，所述根据文本信息和图片信息生成视频文件这一步骤，还包括以下步骤：
采用预设的方式获取视频信息中的字幕信息，并统计字幕信息中名词词汇出现频数；
根据出现频数获取多个关键词汇后预设的词汇数据库或词语分值库匹配后，将视频信息和文本信息输入至视频模型生成视频文件。
进一步作为优选的实施方式，所述文本信息包括标题信息，所述通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景这一步骤，具体包括以下步骤：
获取对应文本信息的标题、音频文件和视频文件；
将音频文件和视频文件输入至演播模块，以及将标题信息设置在演播模块的标题窗口；
根据文本信息的读取时序控制音频文件和视频文件的播放进度，以及渲染演播场景。
进一步作为优选的实施方式，还包括渲染虚拟形象的步骤，所述渲染虚拟形象这一步骤，具体包括以下步骤：
结合文本信息和预设的虚拟形象角色数据库获取虚拟形象角色；
根据获取的虚拟形象角色和文本信息从预设的角色配置数据库中获取多个配置数据；
将获取的配置数据动态的渲染在虚拟形象角色上，以使虚拟形象呈现不同的画面。
本发明所采用的第二技术方案是：
一种基于虚拟形象的新闻生产系统，其特征在于，包括：
解析模块，用于获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
生成模块，用于根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
演播模块，用于同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
进一步作为优选的实施方式，所述解析模块包括：
提取单元，用于获取初始资讯后，从初始资讯中提取文本数据和图片数据；
解析单元，用于将提取的文本数据和图片数据根据聚类相似度值解析成文本信息和图片信息；
分词单元，用于对文本信息进行分词处理，并根据词语在文本信息中的顺序和词性确定各词语的分值后，将分值高于设定阈值的词语组成词语分词库。
进一步作为优选的实施方式，所述生成单元包括：
语音预处理单元，用于获取待合成文本信息，对待合成文本信息进行预处理，以生成待修正语音单元序列，所述预处理包括分词、词性标注、语义分析以及韵律分析中的至少一种；
语音生成单元，用于对待修正语音单元序列进行修正处理，以生成对应文本信息的音频文件，所述修正处理包括重音修正、语速修正、语调修正、语序修正以及变声修正中的至少一种；
视频预处理单元，用于获取待合成图片信息、图表信息及数字，对待合成图片信息、图表信息及数字进行预处理，以生成具有词语标注的图片、图表及数字，所述预处理包括图片信息文本内容识别、图表信息语境分析及数字的语境分析中的至少一种；
第一视频生成单元，用于结合具有词语标注的图片、图表及数字或预设的图片素材库与词语分词库中的词语匹配后，将图片、图表及数字根据各词语在文本中的顺序生成视频文件。
进一步作为优选的实施方式，所述第一视频生成单元包括：
排序子单元，用于结合与图片、图表及数字相匹配的各词语在文本信息中的顺序，对图片、图表及数字进行排序；
时间设置子单元，用于结合各词语的分值和设定视频时长，分别对图片、图表及数字设置时间；
视频生成子单元，用于结合预设的视频编码算法和图片、图表及数字的时间，对排序后的图片、图表及数字进行编码，生成视频文件。
进一步作为优选的实施方式，所述生成模块，还包括：
统计单元，用于采用预设的方式获取视频信息中的字幕信息，并统计字幕信息中名词词汇出现频数；
第二视频生成单元，用于根据出现频数获取多个关键词汇后与预设的词汇数据库或词语分值库匹配后，将视频信息和文本信息输入至视频模型生成视频文件。
进一步作为优选的实施方式，所述演播模块包括：
获取单元，用于获取对应文本信息的标题、音频文件和视频文件；
输入单元，用于将音频文件和视频文件输入至演播模块，以及将标题信息设置在演播模块的标题窗口；
播放单元，用于根据文本信息的读取时序控制音频文件和视频文件的播放进度，以及渲染演播场景。
进一步作为优选的实施方式，还包括渲染模块，所述渲染模块包括：
角色获取单元，用于结合文本信息和预设的虚拟形象角色数据库获取虚拟形象角色；
配置获取单元，用于根据获取的虚拟形象角色和文本信息从预设的角色配置数据库中获取多个配置数据；
渲染单元，用于将获取的配置数据动态的渲染在虚拟形象角色上，以使虚拟形象呈现不同的画面。
本发明所采用的第三技术方案是：
一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上所述方法。
本发明所采用的第四技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过获取初始资讯，从初始资讯中提取出文本信息和图片信息，并将文本信息和图片信息生成对应的音频文件和视频文件，最后将生成的音频文件和视频文件发送给预置有虚拟形象的演播模块同步播放，从而降低了视频新闻的生产成本、提升了生产效率同时满足了用户对信息的全方位感观的需求，有利于视频新闻的广泛应用。
附图说明
图1是本发明基于虚拟形象的新闻生产方法步骤流程图；
图2是本发明基于虚拟形象的新闻生产系统的结构框图。
具体实施方式
如图1所示，本实施例提供了一种基于虚拟形象的新闻生产方法，包括以下步骤：
S1、获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
S2、根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
S3、通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
本实施例中，系统平台从各大新闻源获取初始资讯，并将初始资讯分成可分析结构的文本信息和图片信息等，其中新闻源可以是新华网网站、人民网网站、凤凰网网站、今日头条、自媒体等，可分析结构的文本信息和图片信息可以是标题、正文、图片等数据；然后将提取的文本信息和图片信息通过语音合成技术和视频合成技术生成对应文本信息的音频文件和视频文件，所述音频文件格式可以是Wave格式、AIFF格式、Audio格式、MPEG格式、RealAudio格式、MIDI格式，所述视频文件的格式可以是MP4格式、3GP格式、AVI格式、WMV格式、VOB格式、RMVB格式、蓝光(Blu-ray)等能够被视频播放软件播放的视频文件，在此不做叙述；最后将生成的音频文件和视频文件发送给预置有虚拟形象的演播模块同步播报，其中所述演播模块包括虚拟形象、播放窗口、标题窗口以及播放场景，所述虚拟形象可以是卡通形象、吉祥物形象、人物形象等，在此不做叙述，将传统图文资讯，通过提取其中的有价值的文本信息和图片信息等，并将文本信息和图片信息自动合成可以让用户看得见、听得到的视频形式，最后由预置有虚拟形象的演播模块进行播放，不仅给用户提供一种更加直观的获取信息的形式，而且解决了传统视频新闻生产周期长、制作成本高的难题，有助于视频新闻的广泛推广与应用。
进一步作为优选的实施方式，步骤S1具体包括步骤S11～S13：
S11、获取初始资讯后，从初始资讯中提取文本数据和图片数据；
S12、将提取的文本数据和图片数据根据聚类相似度值解析成文本信息和图片信息；
S13、对文本信息进行分词处理，并根据词语在文本信息中的顺序和词性确定各词语的分值后，将分值高于设定阈值的词语组成词语分词库。
本实施例中，从新闻源获取新闻资讯的方式优选网络爬虫的方式获取，例如通过主题网络爬虫有选择性地爬取那些与预先定义好的主题(如民众关注的热点事件、民生问题、突发事件)相关新闻资讯，也可以根据用户的喜好爬取用户感兴趣的新闻资讯如股票资讯、财经资讯等，在此不做叙述；获取的文字数据和图片数据往往包含没有价值的文字和图片，例如推销广告，与主题无关的文字和图片要进行过滤最后解析成有价值的数据形成文本信息和图片信息；根据词语在文本中的顺序和词性对解析后的文本信息进行分词处理并设置分值，将分值高于设定阈值的词语组成词语分词库便于根据词语语义匹配图片素材。
进一步作为优选的实施方式，所述初始资源包括图表信息和数字，步骤S2具体包括步骤S21～S24：
S21、获取待合成文本信息，对待合成文本信息进行预处理，以生成待修正语音单元序列，所述预处理包括分词、词性标注、语义分析以及韵律分析中的至少一种；
S22、对待修正语音单元序列进行修正处理，以生成对应文本信息的音频文件，所述修正处理包括重音修正、语速修正、语调修正、语序修正以及变声修正中的至少一种；
S23、获取待合成图片信息、图表信息及数字，对待合成图片信息、图表信息及数字进行预处理，以生成具有词语标注的图片、图表及数字，所述预处理包括图片信息文本内容识别、图表信息语境分析及数字的语境分析中的至少一种；
S24、结合具有词语标注的图片、图表及数字或预设的图片素材库与词语分词库中的词语匹配后，将图片、图表及数字根据各词语在文本中的顺序生成视频文件。
现有的语音合成技术通常是基于前期收集大量合成语音和人工测听的反馈结果，之后通过机器学习训练分类模型，通常分为合成正确数据与合成错误数据，利用分类模型找出与待合成文本多个备选合成语义中最符合人们听觉的一组合成语音作为待合成文本的语音，然而现在训练分类模型的分类不均衡导致分类模型具有倾向性，误将错误语音合成单元倾向成正确合成单元，进而最终影响合成语音的结果，为此要进行修正处理，所述修正处理具体为重音修正如“行”字有“hang”&“xing”两种读音，根据语境和词性修正为银行“银行-yinhang”&“自行车-zixingche”，以及语速、语调、语序和变声修正，本实施例中对汉字拼音技术的解析可以采用现有技术，具体可参考申请号为201510305764.6的专利。所述对待合成图片信息、图表信息及数字进行预处理以生成具有词语标注的图片、图表及数字具体为通过光学字符识别技术(Optical Character Recognition,OCR)，将图片上的文本内容智能识别为可编辑的文本或通过现有技术中神经网络算法对图片进行分类处理后，对图片信息进行词语语义标注，对于图表信息和数字可根据图表信息和数字的上下文语境关系通过自然语言处理技术识别图表信息和数字，进而对其进行标注，由于不需要人工操作，可以自动识别和标注，从而省去了以往制作视频新闻时，素材的剪辑，审核的时间成本和人力成本，提升了视频新闻的生产效率。
进一步作为优选的实施方式，步骤S24具体包括步骤S241～S243：
S241、结合与图片、图表及数字相匹配的各词语在文本信息中的顺序，对图片、图表及数字进行排序；
S242、结合各词语的分值和设定视频时长，分别对图片、图表及数字设置时间；
S243、结合预设的视频编码算法和图片、图表及数字的时间，对排序后的图片、图表及数字进行编码，生成视频文件。
具体的例如从初始资讯中解析的文本信息为“广州上下班高峰交通实况”，其中各词语分为“广州”“上下班”“高峰”“交通实况”分别对应从初始资讯中解析的图片2、图片3、图片1及图片4，根据文本信息中“广州”“上下班”“高峰”“交通实况”的顺序对图片1、图片2、图片3及图片4进行排序，排序后的结果为：图片2、图片3、图片1及图片4从而符合初始资讯中文本信息各词语的顺序，视频的时长可以自行设置或系统预设的时长，根据“广州”“上下班”“高峰”“交通实况”的顺序和词性确定“广州”“上下班”“高峰”“交通实况”的分值从大到小依次为“高峰”＞“交通实况”＞“广州”＞“上下班”，并结合时长依次设置为图片1＞图片4＞图片2＞图片3；最后根据预设的视频编码算法进行视频编码如运动图像专家组(MotionPicture Expert Group,MPEG)、WMV(Windows Media Video)系列，在此不做赘述。
进一步作为优选的实施方式，所述初始资源还包括视频信息，步骤S2具体还包括以下步骤S25～S26：
S25、采用预设的方式获取视频信息中的字幕信息，并统计字幕信息中名词词汇出现频数；
S26、根据出现频数获取多个关键词汇后与预设的词汇数据库或词语分值库匹配后，将视频信息和文本信息输入至视频模型生成视频文件。
其中，所述预设的方式获取视频中的字幕信息包括光学字符识别技术(OpticalCharacter Recognition,OCR)、下载字幕文件中的至少一种，在此不做赘述，当从初始资讯中解析的图片不足以合成对应文本信息或没有图片，可以通过查找与文本信息匹配的视频信息重新合成视频文件，所述视频模型包括文本处理功能用于匹配所述获取的视频信息中的字幕信息中的关键词汇后，根据聚类相似度值生成视频文件。
进一步作为优选的实施方式，所述文本信息包括标题信息，步骤S3具体包括步骤S31～S33：
S31、获取对应文本信息的标题、音频文件和视频文件；
S32、将音频文件和视频文件输入至演播模块，以及将标题信息设置在演播模块的标题窗口；
S33、根据文本信息的读取时序控制音频文件和视频文件的播放进度，以及渲染演播场景。
演播模块根据获取文本信息中的标题、视频文件及音频文件，由于音频文件和视频合成是根据文本信息中的各词语的词性和顺序进行合成的，因此音频文件和视频文件的播放进度受文本信息的读取时序控制，渲染生成播放场景，播放场景渲染为轻松的氛围并显示娱乐图片，当文本信息标题部分为天气预报时，播放场景渲染为正式的氛围并显示区域地图，预置的虚拟形象单元根据文本信息渲染得到对应虚拟形象画面如当报道娱乐新闻时，虚拟形象的着装休闲、表情活波、动作丰富，当报道天气预报新闻时，虚拟形象着装正式、表情轻松、动作端庄，同时对应的区域地图上显示下雨、云朵、太阳等表示天气状态的动图。
进一步作为优选的实施方式，还包括渲染虚拟形象步骤，具体包括以下步骤：
A1、结合文本信息和预设的虚拟形象角色数据库获取虚拟形象角色；
A2、根据获取的虚拟形象角色和文本信息从预设的角色配置数据库中获取多个配置数据；
A3、将获取的配置数据动态的渲染在虚拟形象角色上，以使虚拟形象呈现不同的画面。
所述配置数据具体为虚拟形象角色的服饰数据、发型数据、肤色数据，演播模块根据获取并读取文本信息各词语时，当读取到对应配置数据的文本信息如“军队”“女性”“亚洲”时，从预设的角色配置数据库获取对应的军装数据、黑色短发数据以及麦色数据，并将获取的配置数据渲染在虚拟角色上；通过实时的为虚拟角色形象配置服饰数据、发行数据以及肤色数据，能够使观众快速的融入到视频新闻中，在提高观众的观看体验的同时大大提高视频新闻的收视率。
如图2所示，本实施例还提供了一种基于虚拟形象的新闻生产系统，包括：
获取模块，用于获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
生成模块，用于根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
演播模块，用于同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
进一步作为优选的实施方式，所述获取模块包括：
提取单元，用于获取初始资讯后，从初始资讯中提取文本数据和图片数据；
解析单元，用于将提取的文本数据和图片数据根据聚类相似度值解析成文本信息和图片信息；
分词单元，用于对文本信息进行分词处理，并根据词语在文本信息中的顺序和词性确定各词语的分值后，将分值高于设定阈值的词语组成词语分词库。
进一步作为优选的实施方式，所述生成模块包括：
语音预处理单元，用于获取待合成文本信息，对待合成文本信息进行预处理，以生成待修正语音单元序列，所述预处理包括分词、词性标注、语义分析以及韵律分析中的至少一种；
语音生成单元，用于对待修正语音单元序列进行修正处理，以生成对应文本信息的音频文件，所述修正处理包括重音修正、语速修正、语调修正、语序修正以及变声修正中的至少一种；
视频预处理单元，用于获取待合成图片信息、图表信息及数字，对待合成图片信息、图表信息及数字进行预处理，以生成具有词语标注的图片、图表及数字，所述预处理包括图片信息文本内容识别、图表信息语境分析及数字的语境分析中的至少一种；
第一视频生成单元，用于结合具有词语标注的图片、图表及数字或预设的图片素材库与词语分词库中的词语匹配后，将图片、图表及数字根据各词语在文本中的顺序生成视频文件。
进一步作为优选的实施方式，所述第一视频生成单元包括：
排序子单元，用于结合与图片、图表及数字相匹配的各词语在文本信息中的顺序，对图片、图表及数字进行排序；
时间设置子单元，用于结合各词语的分值和设定视频时长，分别对图片、图表及数字设置时间；
视频生成子单元，用于结合预设的视频编码算法和图片、图表及数字的时间，对排序后的图片、图表及数字进行编码，生成视频文件。
进一步作为优选的实施方式，所述生成模块还包括：
统计单元，用于采用预设的方式获取视频信息中的字幕信息，并统计字幕信息中名词词汇出现频数；
第二视频生成单元，用于根据出现频数获取多个关键词汇后与预设的词汇数据库或词语分值库匹配后，将视频信息和文本信息输入至视频模型生成视频文件。
进一步作为优选的实施方式，所述演播模块包括：
获取单元，用于获取对应文本信息的标题、音频文件和视频文件；
输入单元，用于将音频文件和视频文件输入至演播模块，以及将标题信息设置在演播模块的标题窗口；
播放单元，用于根据文本信息的读取时序控制音频文件和视频文件的播放进度，以及渲染演播场景。
进一步作为优选的实施方式，还包括渲染模块，所述渲染模块包括：
角色获取单元，用于结合文本信息和预设的虚拟形象角色数据库获取虚拟形象角色；
配置获取单元，用于根据获取的虚拟形象角色和文本信息从预设的角色配置数据库中获取多个配置数据；
渲染单元，用于将获取的配置数据动态的渲染在虚拟形象角色上，以使虚拟形象呈现不同的画面。
本实施例的基于虚拟形象的新闻生产系统，可执行本发明方法实施例所提供的基于虚拟形象的新闻生产方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上述方法。
本实施例的一种计算机代码自动生成装置，可执行本发明方法实施例所提供的基于虚拟形象的新闻生产方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本实施例的一种存储介质，可执行本发明方法实施例所提供的基于虚拟形象的新闻生产方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于虚拟形象的新闻生产方法，其特征在于，包括以下步骤：
获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
2.根据权利要求1所述的一种基于虚拟形象的新闻生产方法，其特征在于，所述获取初始资讯后，从初始资讯中解析出文本信息和图片信息这一步骤，具体包括以下步骤：
获取初始资讯后，从初始资讯中提取文本数据和图片数据；
将提取的文本数据和图片数据根据聚类相似度值解析成文本信息和图片信息；
对文本信息进行分词处理，并根据词语在文本信息中的顺序和词性确定各词语的分值后，将分值高于设定阈值的词语组成词语分词库。
3.根据权利要求2所述的一种基于虚拟形象的新闻生产方法，其特征在于，所述初始资讯包括图表信息和数字，所述根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件这一步骤，包括以下步骤：
获取待合成文本信息，对待合成文本信息进行预处理，以生成待修正语音单元序列，所述预处理包括分词、词性标注、语义分析以及韵律分析中的至少一种；
对待修正语音单元序列进行修正处理，以生成对应文本信息的音频文件，所述修正处理包括重音修正、语速修正、语调修正、语序修正以及变声修正中的至少一种；
获取待合成图片信息、图表信息及数字，对待合成图片信息、图表信息及数字进行预处理，以生成具有词语标注的图片、图表及数字，所述预处理包括图片信息文本内容识别、图表信息语境分析及数字的语境分析中的至少一种；
结合具有词语标注的图片、图表及数字或预设的图片素材库与词语分词库中的词语匹配后，将图片、图表及数字根据各词语在文本中的顺序生成视频文件。
4.根据权利要求3所述的一种基于虚拟形象的新闻生产方法，其特征在于，所述将图片、图表及数字根据各词语在文本中的顺序生成视频文件这一步骤，具体包括以下步骤：
结合与图片、图表及数字相匹配的各词语在文本信息中的顺序，对图片、图表及数字进行排序；
结合各词语的分值和设定视频时长，分别对图片、图表及数字设置时间；
结合预设的视频编码算法和图片、图表及数字的时间，对排序后的图片、图表及数字进行编码，生成视频文件。
5.根据权利要求3所述的一种基于虚拟形象的新闻生产方法，其特征在于，所述初始资讯还包括视频信息，所述根据文本信息和图片信息生成视频文件这一步骤，还包括以下步骤：
采用预设的方式获取视频信息中的字幕信息，并统计字幕信息中名词词汇出现频数；
根据出现频数获取多个关键词汇后与预设的词汇数据库或词语分值库匹配后，将视频信息和文本信息输入至视频模型生成视频文件。
6.根据权利要求5所述的一种基于虚拟形象的新闻生产方法，其特征在于，所述文本信息包括标题信息，所述通过预置有虚拟形象的演播模块同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景这一步骤，具体包括以下步骤：
获取对应文本信息的标题、音频文件和视频文件；
将音频文件和视频文件输入至演播模块，以及将标题信息设置在演播模块的标题窗口；
根据文本信息的读取时序控制音频文件和视频文件的播放进度，以及渲染演播场景。
7.根据权利要求6所述的一种基于虚拟形象的新闻生产方法，其特征在于，还包括渲染虚拟形象的步骤，所述渲染虚拟形象具体以下步骤：
结合文本信息和预设的虚拟形象角色数据库获取虚拟形象角色；
根据获取的虚拟形象角色和文本信息从预设的角色配置数据库中获取多个配置数据；
将获取的配置数据动态的渲染在虚拟形象角色上，以使虚拟形象呈现不同的画面。
8.一种基于虚拟形象的新闻生产系统，其特征在于，包括：
解析模块，用于获取初始资讯后，从初始资讯中解析出文本信息和图片信息；
生成模块，用于根据文本信息生成音频文件，以及根据文本信息和图片信息生成视频文件；
演播模块，用于同步播放音频文件和视频文件，并根据文本信息控制播放进度和渲染演播场景。
9.一种计算机代码自动生成装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN201910842494.0A 2019-09-06 2019-09-06 基于虚拟形象的新闻生产方法、系统、装置和存储介质 Pending CN110781346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842494.0A CN110781346A (zh) 2019-09-06 2019-09-06 基于虚拟形象的新闻生产方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842494.0A CN110781346A (zh) 2019-09-06 2019-09-06 基于虚拟形象的新闻生产方法、系统、装置和存储介质

Publications (1)

Publication Number Publication Date
CN110781346A true CN110781346A (zh) 2020-02-11

Family

ID=69383356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842494.0A Pending CN110781346A (zh) 2019-09-06 2019-09-06 基于虚拟形象的新闻生产方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110781346A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698563A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 基于ai虚拟主播的内容发送方法、装置和存储介质
CN114125569A (zh) * 2022-01-27 2022-03-01 阿里巴巴（中国）有限公司 直播处理方法以及装置
CN114238689A (zh) * 2021-12-17 2022-03-25 北京百度网讯科技有限公司 视频生成方法、装置、电子设备、存储介质和程序产品
WO2023231568A1 (zh) * 2022-05-30 2023-12-07 腾讯科技（深圳）有限公司 视频编辑方法、装置、计算机设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686796A1 (en) * 2005-01-05 2006-08-02 Alcatel Electronic program guide presented by an avatar featuring a talking head speaking with a synthesized voice
CN103761284A (zh) * 2014-01-13 2014-04-30 中国农业大学 一种视频检索方法和系统
CN106297766A (zh) * 2015-06-04 2017-01-04 科大讯飞股份有限公司 语音合成方法及系统
CN106817349A (zh) * 2015-11-30 2017-06-09 厦门幻世网络科技有限公司 一种在通信过程中使通信界面产生动画效果的方法及装置
CN108227950A (zh) * 2016-12-21 2018-06-29 北京搜狗科技发展有限公司 一种输入方法和装置
CN108989705A (zh) * 2018-08-31 2018-12-11 百度在线网络技术（北京）有限公司 一种虚拟形象的视频制作方法、装置和终端
CN109344291A (zh) * 2018-09-03 2019-02-15 腾讯科技（武汉）有限公司 一种视频生成方法及装置
CN110162661A (zh) * 2019-04-11 2019-08-23 北京百度网讯科技有限公司 信息播报视频生成方法及生成装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686796A1 (en) * 2005-01-05 2006-08-02 Alcatel Electronic program guide presented by an avatar featuring a talking head speaking with a synthesized voice
CN103761284A (zh) * 2014-01-13 2014-04-30 中国农业大学 一种视频检索方法和系统
CN106297766A (zh) * 2015-06-04 2017-01-04 科大讯飞股份有限公司 语音合成方法及系统
CN106817349A (zh) * 2015-11-30 2017-06-09 厦门幻世网络科技有限公司 一种在通信过程中使通信界面产生动画效果的方法及装置
CN108227950A (zh) * 2016-12-21 2018-06-29 北京搜狗科技发展有限公司 一种输入方法和装置
CN108989705A (zh) * 2018-08-31 2018-12-11 百度在线网络技术（北京）有限公司 一种虚拟形象的视频制作方法、装置和终端
CN109344291A (zh) * 2018-09-03 2019-02-15 腾讯科技（武汉）有限公司 一种视频生成方法及装置
CN110162661A (zh) * 2019-04-11 2019-08-23 北京百度网讯科技有限公司 信息播报视频生成方法及生成装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698563A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 基于ai虚拟主播的内容发送方法、装置和存储介质
CN114238689A (zh) * 2021-12-17 2022-03-25 北京百度网讯科技有限公司 视频生成方法、装置、电子设备、存储介质和程序产品
US11929100B2 (en) 2021-12-17 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Video generation method, apparatus, electronic device, storage medium and program product
CN114125569A (zh) * 2022-01-27 2022-03-01 阿里巴巴（中国）有限公司 直播处理方法以及装置
WO2023231568A1 (zh) * 2022-05-30 2023-12-07 腾讯科技（深圳）有限公司 视频编辑方法、装置、计算机设备、存储介质及产品

Similar Documents

Publication Publication Date Title
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
CN110781346A (zh) 基于虚拟形象的新闻生产方法、系统、装置和存储介质
CN108566565B (zh) 弹幕展示方法及装置
CN110517689B (zh) 一种语音数据处理方法、装置及存储介质
CN111415399B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111930994A (zh) 视频编辑的处理方法、装置、电子设备及存储介质
CN113035199B (zh) 音频处理方法、装置、设备及可读存储介质
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
CN110784662A (zh) 一种视频背景的更换方法、系统、装置和存储介质
CN112399269B (zh) 视频分割方法、装置、设备及存储介质
CN112738557A (zh) 视频处理方法及装置
CN114143479B (zh) 视频摘要的生成方法、装置、设备以及存储介质
CN114598933A (zh) 一种视频内容处理方法、系统、终端及存储介质
CN113411674A (zh) 视频的播放控制方法、装置、电子设备及存储介质
CN113538628A (zh) 表情包生成方法、装置、电子设备及计算机可读存储介质
CN114513706B (zh) 视频生成方法和装置、计算机设备、存储介质
CN107122393B (zh) 电子相册生成方法以及装置
CN109376145B (zh) 影视对白数据库的建立方法、建立装置及存储介质
CN113038175B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN112584238A (zh) 影视资源匹配方法、装置及智能电视
CN115225962B (zh) 视频生成方法、系统、终端设备及介质
CN111160051A (zh) 数据处理方法、装置、电子设备及存储介质
CN113312516B (zh) 一种视频处理方法及相关装置
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
CN116208803A (zh) 视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221012

Address after: Room 1602, 16th Floor, Building 18, Yard 6, Wenhuayuan West Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 100176

Applicant after: Beijing Lajin Zhongbo Technology Co.,Ltd.

Address before: 310000 room 650, building 3, No. 16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Tianmai Juyuan (Hangzhou) Media Technology Co.,Ltd.