CN112449253A - 交互式视频生成 - Google Patents

交互式视频生成 Download PDF

Info

Publication number
CN112449253A
CN112449253A CN202011127542.7A CN202011127542A CN112449253A CN 112449253 A CN112449253 A CN 112449253A CN 202011127542 A CN202011127542 A CN 202011127542A CN 112449253 A CN112449253 A CN 112449253A
Authority
CN
China
Prior art keywords
video
customizable
indication
selectable objects
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011127542.7A
Other languages
English (en)
Other versions
CN112449253B (zh
Inventor
吴宗寰
穆拉特·卡兰德
肯·坎森
奥兹冈·思阿克曼
穆斯塔法·托加·埃仁
凯格拉·特卡兹
居纳·伊吉迪恩
赛泽尔·库特卢克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112449253A publication Critical patent/CN112449253A/zh
Application granted granted Critical
Publication of CN112449253B publication Critical patent/CN112449253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stored Programmes (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了不同的视频化方案。根据一示例,提供了一种视频生成方法。所述方法包括:获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;使用所述附加数据部分和对应于所述指示的一个或多个数据部分再生成所述可定制视频。

Description

交互式视频生成
技术领域
本发明涉及一种视频生成系统和方法。
背景技术
多媒体平台可以是电视(television,简称TV)、机顶盒(set top box,简称STB)、移动设备、个人计算机(personal computer,简称PC)、智能手表,智能眼镜、智能镜、车载多媒体屏等。视频化平台可提供一种框架,该框架将内容转换成在多媒体平台等多媒体环境下的个性化视频内容。视频化系统就是一种提供这类视频化平台的系统。
诸如移动应用程序、互联网应用程序等的多种应用程序提供了多种视频化系统。一些视频化系统主要从互联网获取数据资源,如在购物比较、引擎搜索操作、在线屏幕播放、虚拟个人助理和社交媒体等行为中获取。
发明内容
根据一示例,提供了一种视频生成方法。所述方法包括:获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;使用所述附加数据部分和对应于所述指示的所述一个或多个数据部分再生成所述可定制视频。
根据一示例,提供了一种视频处理设备。所述设备包括存储指令的存储器和耦合到所述存储器的处理器。所述处理器读取并执行所述指令,用以:获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;使用对应于所述指示的所述附加数据部分再生成所述可定制视频。
一种视频处理设备,包括:数据获取模块,用于获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;确定模块,用于使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;以及接收器,用于接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;所述数据获取模块还用于获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分,并使用对应于所述指示的所述附加数据部分再生成所述可定制视频。
附图说明
为了更完整地理解本发明及其优点,现在参考下文结合附图进行的描述。
图1示出了一实施例提供的可定制视频系统;
图2示出了交互式视频生成方法的一实施例;
图3示出了在云服务中工作的视频生成系统的一实施例;
图4示出了视频生成模板的生成过程的一实施例;
图5示出了根据任何实施例的可用于实现如本文所述设备和方法的计算平台。
具体实施方式
下文将详细论述当前优选实施例的结构,制作和使用。然而,应了解,本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式,而不限制本发明的范围。
视频自动生成通过视频化和人机交互手段允许用户与各种应用程序动态交互。
视频中的元素可以为动态成分,包括图像、视频片段、音频片段、文本图像、背景音乐和/或视频相关的人声或合成声音等。
媒体元素特征可包括文本特征、音频特征、视频特征、图像特征或其组合。基本特征可以为例如,文本颜色、图像大小、图形形状、视频分辨率等。更高级的特征可以为例如,音乐情感、画面语气、句子情感等。
图1示出了一实施例提供的可定制视频系统100。本实施例中所示的所述可定制视频系统100包括数据获取组件105、内容策展组件107、视频生成组件109、呈现组件111和用户界面组件101。可选地,所述可定制视频系统100可包括自然语言界面103。在一些实施例中,所述数据获取组件105至少耦合到所述用户界面组件101和所述内容策展组件107。所述内容策展组件107还可耦合到所述视频生成组件109,所述视频生成组件109可耦合到所述呈现组件111。所述自然语言界面103可耦合到视频服务系统113。
所述用户界面组件101和所述呈现组件111可包括单独组件,也可包括集成单元。在一些实施例中,所述自然语言界面103、所述数据获取组件105、所述内容策展组件107和所述视频生成组件109包括视频化引擎。
另外,所述可定制视频系统100可包括一个或多个视频生成模板。所述一个或多个视频生成模板包括可用于处理、组合和/或生成视频部分的模板。进一步地,所述视频生成模板120可用于处理、组合和/或生成数据部分以得到视频部分,包括组合和/或生成视频、文本、音频、图像或动画部分和/或任何其他合适数据。
所述可定制视频系统100生成可定制视频。用户能够使用所述可定制视频系统100生成可定制视频。所述用户能够使用所述可定制视频系统100播放并观看所述可定制视频,其中,所述可定制视频包括一个或多个可选对象。
用户能够在所述可定制视频中选择或指示可选对象,如突显所述可选对象,将光标或定点元素置于所述可选光标之上或附近,确定用户的眼动和/或凝视位置,接收来自用户的声音指示或其他合适指示等。作为响应,所述可定制视频系统100能够再生成所述可定制视频,获取附加主题并将其纳入所述可定制视频。所述附加主题可能与所述用户选择或指示的所述可选对象相关。因此,所述可定制视频系统100快速且便捷地对所述可定制视频进行修改,并呈现给所述用户。这样,用户无需手动寻找并获取所述附加主题。用户也无需手动纳入所述附加主题。
仅通过选择所述可定制视频中的一个或多个可选对象或显示对其感兴趣,用户就能修改所述可定制视频。通过连续地选择所述可定制视频中的可选对象,用户能够反复地改变或精细化所述可定制视频。所述可定制视频系统100能实时或接近实时地生成可定制视频。所述可定制视频系统100能够在向用户呈现所述可定制视频期间再生成所述可定制视频。
所述用户界面组件101耦合到所述数据获取组件105。所述用户界面组件101可与用户交互通信,例如,包括接收用户输入等。所述用户输入可包括任何合适的输入,例如,包括机械输入、音频输入、光输入、电或磁输入、或接近传感器输入等。其它输入类型也予以考虑并且在说明书和权利要求书的范围内。
所述呈现组件111向用户显示(即呈现)视频。所述呈现组件111可包括显示屏幕或屏幕。所述呈现组件111可包括扬声器或其他音频生成组件。所述呈现组件111可包括其他组件或附加组件。应理解,在一些实施例中,所述呈现组件111可包括独立组件,也可集成在所述用户界面组件101。
若所述可定制视频系统100包括所述自然语言界面,则用户可使用所述自然语言界面103与所述可定制视频系统100进行交互。例如,在一些实施例中,所述自然语言界面103进行语音分析,并响应来自用户的语音输入和语音命令。在一些实施例中,所述自然语言界面103为用户生成音频指令和/或音频反馈。
所述视频生成组件109生成可定制视频。在一些实施例中,所述视频生成组件109将一个或多个部分进行组合和/或集成,从而创建可定制视频。在一些实施例中,所述一个或多个数据部分包括视频部分。但应理解,所述一个或多个数据部分可包括其他数据,包括图像、动画、音频、文本以及其他数据部分。
作为生成可定制视频的部件,所述可定制视频系统100能够在所述可定制视频中确定可选对象。在一些实施例中,所述可定制视频系统100可使用视频生成模板xxx来确定可选对象。针对所述可定制视频中确定的每个可选对象,生成对象定义。
所述确定可选对象可包括分析所述可定制视频的部分。对可选对象的分析可包括对所述可定制视频中的语音音频进行自然语言处理。对可选对象的分析可包括对所述可定制视频进行形态分析。对可选对象的分析可包括对所述可定制视频中的语音音频和/或文本进行语义分析。对可选对象的分析可包括对所述可定制视频进行视频分析。对可选对象的分析可包括对所述可定制视频中的图像进行图像分析。所述对可选对象的分析可包括对所述可定制视频进行音频分析。所述音频分析可以指出用户(或其他观看者)可能会感兴趣的音频部分。对可选对象的分析可包括对所述可定制视频进行情感分析。所述情感分析可确定所述可定制视频中正在传达或试图传达的情感。
所述内容策展组件107策展数据部分,以在可定制视频中使用。所述内容策展组件107可存储数据部分。在一些实施例中,所述内容策展组件107能够处理数据部分,如过滤、锐化数据部分,改变数据部分的光线、颜色或对比度,或处理和/或改进所述数据部分。在一些实施例中,所述内容策展组件107组织数据部分。在一些实施例中,所述内容策展组件107维护数据部分,包括获取对数据部分的更新或改变。在一些实施例中,所述内容策展组件107对数据部分进行分级、排列、排序,其中,所述可定制视频系统100能够区别多个类似或可互换的数据部分,并从中选择所需的数据部分。
所述数据获取组件105获取数据部分,以在可定制视频中使用。在一些实施例中,所述数据获取组件105可搜索待获取的数据部分。
视频生成模板120包括一种构造,该构造能够接受合适的输入数据并过滤掉无法接受或不需要的输入数据。视频生成模板120包括一种构造,该构造能够将输入数据转换成一种或多种可用的或更好的数据格式。视频生成模板120包括一种构造,该构造能够改进或优化数据部分。视频生成模板120包括一种构造,该构造能够组合数据部分。视频生成模板120包括一种构造,该构造能够确定任一可选对象是否包括在所述数据部分中。
视频生成模板120可包括数据接收规则或功能。视频生成模板120可包括数据处理规则或功能。视频生成模板120可包括视频生成规则或功能。因此,视频生成模板120能够用于接收数据部分、处理数据部分、组合数据部分、包括和/或指出可定制视频中的可选对象。
操作中,所述可定制视频系统100接收用户输入和/或命令,以生成可定制视频。所述可定制视频系统100向用户提供一种或多种视频生成模板。所述可定制视频系统100获取一个或多个数据部分,使用一个或多个视频生成模板组合所述一个或多个视频部分,并生成所述可定制视频。此外,所述可定制视频系统100能够使用所述一个或多个视频生成模板以任何合适的方式处理数据部分。进一步地,所述可定制视频系统100能够使用所述一个或多个视频生成模板来确定所述可定制视频中的一个或多个可选对象。所述可定制视频系统100使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象。所述可定制视频系统100接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;并使用所述附加数据部分和对应于所述指示的所述一个或多个数据部分再生成所述可定制视频。
所述视频生成系统100向用户提供视频生成模板,并通过自然语言界面103与用户进行交互。视频化引擎110包括自然语言界面103、数据获取模块105、内容策展模块107、视频生成模块109和呈现模块111。在一些实施例中,所述视频化引擎110用于通过所述自然语言界面103与用户进行交互。
在一些实施例中,所述数据获取模块105可通过其他搜索引擎和/或资源采集数据,如产生图像和视频。所述内容策展模块107可选择数据、准备视频场景、生成包含对象定义的可扩展标记语言(extensible markup language,简称XML)文件。将所述XML文件和所述数据传递给所述视频生成模块。所述视频生成模块109可通过语音播报引擎生成音频文件,组合图象和音频文件,并应用动画或特效来合成视频。所述视频通过所述呈现模块呈现给用户。生成的视频与手动产生的视频不同之处在于可定制性。这一视频生成系统100可通过自然语言界面103或数据获取模块105与服务视频系统产生联系。在一些实施例中,所述数据获取模块105收集来自购物代理等服务模块的数据,所述购物代理对不同零售商的产品特征和价格进行比较。例如,这一视频生成系统100能用于购物系统中向用户呈现产品对比。根据顾客搜索的产品,可从该系统中生成视频。这一系统也能应用于视频回铃音的情况中,为客户提供视频铃音;或应用于银行视频化系统,使用视频化引擎以自动生成针对用户定制的个人财务和银行视频;或应用于即时通讯系统,用户通过视频化引擎的自然语言界面创作消息,此消息可直接传递给即时通讯服务。
图2示出了交互式视频生成方法200的一实施例。所述方法包括:获取一个或多个数据部分201,并使用所述一个或多个数据部分和一个或多个视频生成模板203生成可定制视频;使用一个或多个对象定义2053在所述可定制视频205中确定一个或多个可选对象2051;接收指示,所述指示表明对应于对象定义2053的至少一个可选对象2051的用户选择207;获取与对应于所述指示207的所述至少一个可选对象2051相关的附加数据部分;(209)使用所述附加数据部分和对应于所述指示207的所述一个或多个数据部分201再生成所述可定制视频205。
所述数据部分可包括能够纳入视频中的任何数据。数据部分的大小和长度任意。在一些实施例中,数据部分可以为从互联网或其他一些资源中能够搜索到的最小元素。例如,数字、词组、文件、关键词、图像、音频片段等。但上述例子仅仅是为了说明而非限制或穷举。
所述指示表明可选对象的用户选择。所述指示可由用户或机器给出,用于显示所述视频生成程序平台或视频生成系统“理解”的指令。
可选对象包括可定制视频中用户可选择或指示的对象。所述可选对象可以为音频片段、视频片段的一部分、图像、图形和/或文本的片段,或者可以为由于进一步的目的而选为待处理的对象的元素的组合,例如,为了指示播放器播放与所述对象相关的另一视频片段而选择的对象。可选对象也可以为整个视频或视频片段。
对象定义可以为描述对象的关联信息的定义。对象的特征可以为颜色、大小、形状等。所述对象定义可包括,例如:(1)对象的元数据,如关于对象的附加描述、作者、版本号、版权信息、价格、相关描述性信息或任何其他合适的信息;(2)关于已开启或允许互动的指令,例如,“点击”显示Web URL,“打开鼠标”显示叠加一些元数据,“按下按钮1”执行一些程序或者调用API等等。
所述确定一个或多个可选对象还可包括从所述一个或多个数据部分中提取媒体元素特征。所述确定一个或多个可选对象还可包括用所述一个或多个对象定义标记不同级别的媒体元素特征。所述确定一个或多个可选对象还可包括将所述不同级别的媒体元素特征中的媒体元素特征标记为可选对象。
所述对象定义可定义在文件中,例如,可扩展标记语言(extensible markuplanguage,简称XML)文件。因此,当用户选择或指示可选对象时,所述视频生成系统100的组件能传递或访问对应的XML文件。所述指示可包括将对象定义添加到视频描述文件中的视频描述文件。
所述方法还可包括根据用户的调度更新所述可定制视频。
所述方法还可包括再生成所述可定制视频之后,使用更多对象定义确定更多可选对象。
视频化将互联网内容和/或其他内容转换成可个性化的用户友好型视频内容,可在TV、移动设备、PC、车载计算机或其他任何合适的设备上进行观看。视频化可允许用户观看和收听互联网,而不必阅读单个网页。这样一来,用户能更好地鉴赏互联网公共资源。根据本实施例,用户可以被动地接收内容,也可控制并定制内容互联网内容可基于该内容的资源和类型进行分类。在该系统中,每一分类均可呈现为单独的频道。例如,包括多个网页的社交网络互联网网站可呈现为一个频道,该网站的帖子可呈现为分集。
图3示出了在云服务中工作的视频生成系统的一实施例;视频化云服务系统300包括视频化层310、储存库层330和应用层350。考虑到软件设计原理,所述层的设计以对象为中心。所述层通过应用程序接口(application programming interface,简称API)集成,所述应用程序接口可作为简单对象访问协议(Simple Object Access Protocol,简称SOAP)和表征状态转移(Representational State Transfer,简称REST)等互联网服务实现。本领域技术人员应理解,也可应用其他协议。
所述视频化层310包括数据获取模块311、内容策展模块313和视频生成模块315。所述数据获取模块311包括社交提取器、网页提取器、电子节目导航(electronic programguide,简称EPG)提取器、新闻提取器。在一实施例中,所述数据获取模块311包括社交提取器、网页提取器和EPG提取器。不同种类(如社交媒体、新闻和产品)和格式(如XML、超文本标记语言(Hypertext Markup Language,简称HTML)、图像和视频)的数据均可被收集和视频化。内容策展(content curation,简称CC)组件313包括形态分析、语义分析、情感分析、多情态分析、语音识别、启发式规则、算法和信息呈现。
如本申请中前文所述,所述内容策展模块313可指收集、组织、显示与特定主体相关的信息的过程。所述CC组件313可实现所述对象定义。
所述视频生成组件315包括可视化模块、转码模块和脚本模块。所述可视化模块通过所述CC组件313提供的指令生成3D视频内容。所述转码模块解码收集到的多媒体内容以供所述可视化模块使用,并将所述可视化模块的输出编码为所需格式。所述脚本模块提供动作类和导演类脚本以供所述可视化模块使用,并处理与其他模块间的脚本集成。所述脚本模块提供使用JavaScript技术的API。第三方开发者能使用所述API将自己的视听动画、动作、和导演模板添加到所述系统中。动作脚本是针对如补间、旋转、缩放和平移等常见动作动画的JavaScript指令。第三方开发者可使用提供的预定义脚本或将自己的动画添加到动作脚本数据库。导演脚本解析CC指令,并生成视频时间轴,所述时间轴描述在何时、何地以及如何根据预定义模板将从网页收集到的内容呈现出来。第三方开发者可使用预定义脚本或根据其意图添加自己的脚本。所述视频化层310使用NLP、图像处理和计算机制图技术将获取到的结构内容(如社交资料和网页)转换成视频格式。所述储存库层330包括用户资料、多媒体储存库、知识库和视频储存库。所述多媒体储存库存储有视频生成中的基本多媒体内容,所述视频储存库存储生成的视频。所述应用层350包括视频化API 353和前述多种频道351。所述应用层350包含高水平服务,包括但不限于针对数据提取的与外部网站集成以及针对频道的与用户界面集成。在一实施例中,针对图像和视频处理模块以C++实现软件,兼以Java实现软件。所述视频化云服务系统包括预定义动画的数据库和以JavaScript写成的导演脚本,使第三方开发者能将其自己的脚本添加到所述系统中。进一步地,可用的商业和开源软件发展和管理工具包括但不限于用于图像和视频处理的OpenCV,以及用于NLP的OpenNLP。
提供了另一实施例。剧本系统的可视化包括内容策展模块,用于为视频生成模块创建剧本XML数据。所述内容策展模块指导所述剧本系统的可视化,并确定如何将提取的网页内容呈现给单个TV观众。所述内容策展模块支持自然语言处理、语义网页、多情态总结和个性化研究挑战。所述内容策展模块最终输出称为视频化视频描述语言的XML文件,定义生成视频的内容。所述视频描述语言包括多个场景元素。每个场景元素可包括文本项、视觉项(图像和视频)和听觉项。以下为视频化视频描述语言文件的句法的一个实例。
Figure BDA0002734108260000121
图4示出了视频生成模板的生成过程的一实施例。可从数据获取模块中提取认为有用的关键信息401在内容策展模块中,不同模块研究不同规则或原理,如审美规则模块4031、感知原理模块4033、优化呈现模块4035或移动显示器可读性约束模块4037,均可生成视频模板405,从而后续视频可参考所述视频模板。视频生成模块可使用图像和视频处理将所述内容策展模块的输出(如XML内容)转换成视频。在转换过程中,所述视频生成模块编辑视频功能,如进行缩放、改变尺寸或过滤。例如,所有接收到的视觉、听觉和文本内容均视为演员,导演脚本通过解析并诠释所述内容策展模块生成的XML为所述演员分配角色。动作脚本则定义了各个演员的入场和出场时间,以及每个执行时间步骤中的相应动作。
提供了另一实施例。一种视频处理设备,包括:数据获取模块,用于获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;确定模块,用于使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;以及接收器,用于接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;所述数据获取模块还用于获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分,并使用对应于所述指示的所述附加数据部分再生成所述可定制视频。
通过将所述视频处理设备中的不同元素或模块与所述实施例进行匹配,所述视频处理设备可执行如上所述的方法。
图5示出了根据任何实施例的可用于实现如本文所述的设备和方法的计算平台1100。特定设备可利用所有所示的组件或所述组件的仅一子集,且设备之间的集成程度可能不同。此外,设备可以包括组件的多个实例,如多个处理单元、处理器、存储器、发射器、接收器等。实施例中的处理系统1101包括配备一个或多个输入/输出设备,例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等的处理单元(未示出)。处理单元1100可以包括连接至总线1140的中央处理器(central processing unit,简称CPU)1110、存储器1120、大容量存储器设备1130和I/O接口1160。
总线1140可以是任意类型的若干总线架构中的一个或多个,包括存储总线或存储控制器、外设总线、视频总线等等。所述CPU 1110可包括任何类型的电子数据处理器。存储器1120可包括任意类型的非瞬时性系统存储器,如静态随机存取存储器(static randomaccess memory,简称SRAM)、动态随机存取存储器(dynamic random access memory,简称DRAM)、同步DRAM(synchronous DRAM,简称SDRAM)、只读存储器(read-only memory,简称ROM)或其组合等等。在一实施例中,存储器1120可包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。
大容量存储器设备1130可包括任意类型的非瞬时性存储设备,用于存储数据、程序和其它信息,并使这些数据、程序和其它信息通过总线访问。例如,大容量存储器设备1130可包括如下所述的一种或多种:固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。
I/O接口1160将外部输入和输出设备耦合到处理单元1100。如图所示,输入和输出设备的示例包括耦合到I/O接口1160的显示器和鼠标/键盘/打印机(未示出)。其它设备可以耦合到处理器单元1100,并且可以使用额外或更少的接口设备。例如,可使用如通用串行总线(Universal Serial Bus,简称USB)(未示出)等串行接口为打印机提供接口。
处理单元还包括一个或多个网络接口1150,网络接口1150可包括以太网电缆等有线链路,和/或到接入节点或者不同网络1180的无线链路。网络接口1150允许处理单元通过网络1180与远程单元通信。例如,网络接口1150可以通过一个或多个发射器/发射天线1170以及一个或多个接收器/接收天线提供无线通信。在一实施例中,所述处理单元与局域网或者广域网耦合以进行数据处理以及与如其他处理单元、互联网、远端存储设备等远端设备进行通信。
例如,根据一示例,提供了一种视频处理设备。所述设备包括存储指令的存储器,以及耦合到所述存储器的处理器,所述处理器读取并执行所述指令,用以:获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象;接收指示,所述指示表明对应于对象定义的至少一个可选对象的用户选择;获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;使用对应于所述指示的所述附加数据部分再生成所述可定制视频。
人们可将其生成的视频上传至自己的频道,并随时随地地吸引和发展观众。
例如,用户连接到一个或多个社交媒体平台,社交媒体视频系统根据用户的需求从预定义的授权社交媒体平台采集数据。
虽然本发明中已提供若干实施例,但应理解,在不脱离本发明的精神或范围的情况下,本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的,且本发明并不限于本文本所给出的细节。例如,各种元件或部件可以在另一系统中组合或合并,或者某些特征可以省略或不实施。
此外,在不脱离本发明的范围的情况下,各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (12)

1.一种视频生成方法,其特征在于,包括:
获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;
确定一个或多个可选对象;
接收指示,所述指示表明对所述一个或多个可选对象中至少一个可选对象的用户选择;
获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分;
使用所述附加数据部分再生成所述可定制视频;
其中,所述确定一个或多个可选对象包括对所述可定制视频进行分析,所述分析包括自然语言处理、形态分析、语义分析、视频分析、音频分析或情感分析的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述确定一个或多个可选对象还包括:
从所述一个或多个数据部分中提取媒体元素特征;
用一个或多个对象定义标记不同级别的媒体元素特征;
将所述不同级别的媒体元素特征中的媒体元素特征标记为可选对象。
3.根据权利要求1所述的方法,其特征在于,所述一个或多个可选对象由对象定义描述,所述对象定义由所述指示中的可扩展标记语言(extensible markup language,简称XML)文件传输。
4.根据权利要求1所述的方法,其特征在于,所述可选对象包括文本、图像、音频项或视频项中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述指示为视频描述文件,将描述所述指示的至少一个对象的对象定义编译进所述视频描述文件。
6.根据权利要求1所述的方法,其特征在于,还包括:
根据用户的调度更新所述可定制视频。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述可定制视频呈现给用户的期间再生成所述可定制视频。
8.根据权利要求1所述的方法,其特征在于,所述指示是在所述可定制视频的播放期间接收到的。
9.根据权利要求1所述的方法,其特征在于,还包括:
再生成所述可定制视频之后,确定更多可选对象。
10.根据权利要求1所述的方法,其特征在于,还包括:
通过所述一个或多个视频生成模板在所述可定制视频中确定所述一个或多个可选对象。
11.一种计算机设备,其特征在于,包括:
存储器,用于存储指令;
耦合到所述存储器的处理器,所述处理器读取并执行所述指令,用以实现如权利要求1-10任意一项所述的方法。
12.一种视频处理装置,其特征在于,包括:
数据获取模块,用于获取一个或多个数据部分,并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频;
确定模块,用于在所述可定制视频中确定一个或多个可选对象;以及
接收器,用于接收指示,所述指示表明对所述一个或多个可选对象中至少一个可选对象的用户选择;
所述数据获取模块还用于获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分,并使用所述附加数据部分再生成所述可定制视频;
其中,所述确定一个或多个可选对象包括对所述可定制视频进行分析,所述分析包括自然语言处理、形态分析、语义分析、视频分析、音频分析或情感分析的至少一种。
CN202011127542.7A 2014-10-22 2015-10-22 交互式视频生成 Active CN112449253B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462067327P 2014-10-22 2014-10-22
US62/067,327 2014-10-22
PCT/CN2015/092578 WO2016062264A1 (en) 2014-10-22 2015-10-22 Interactive video generation
CN201580037209.8A CN106662920B (zh) 2014-10-22 2015-10-22 交互式视频生成

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580037209.8A Division CN106662920B (zh) 2014-10-22 2015-10-22 交互式视频生成

Publications (2)

Publication Number Publication Date
CN112449253A true CN112449253A (zh) 2021-03-05
CN112449253B CN112449253B (zh) 2022-12-13

Family

ID=55760313

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011127542.7A Active CN112449253B (zh) 2014-10-22 2015-10-22 交互式视频生成
CN201580037209.8A Active CN106662920B (zh) 2014-10-22 2015-10-22 交互式视频生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580037209.8A Active CN106662920B (zh) 2014-10-22 2015-10-22 交互式视频生成

Country Status (7)

Country Link
US (1) US9972358B2 (zh)
EP (2) EP3790284A1 (zh)
JP (2) JP6517929B2 (zh)
KR (2) KR101975511B1 (zh)
CN (2) CN112449253B (zh)
BR (1) BR112017008008B1 (zh)
WO (1) WO2016062264A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171843B2 (en) 2017-01-19 2019-01-01 International Business Machines Corporation Video segment manager
CN110709855A (zh) * 2017-06-29 2020-01-17 英特尔公司 用于密集视频描述的技术
CN108334540B (zh) * 2017-12-15 2020-11-10 深圳市腾讯计算机系统有限公司 媒体信息的展示方法和装置、存储介质、电子装置
CN108337531A (zh) * 2017-12-27 2018-07-27 北京酷云互动科技有限公司 视频特征信息的可视化方法、装置、服务器及系统
CN110309351A (zh) * 2018-02-14 2019-10-08 阿里巴巴集团控股有限公司 数据对象的视频影像生成、装置及计算机系统
US20190373322A1 (en) * 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
KR102026994B1 (ko) * 2018-06-29 2019-09-30 주식회사 위피엔피 비디오 모션객체를 정의하는 마크업 언어 시스템
CN113096633B (zh) * 2019-12-19 2024-02-13 宏正自动科技股份有限公司 信息影片产生方法与装置
TWI713363B (zh) * 2019-12-19 2020-12-11 宏正自動科技股份有限公司 資訊影片產生方法與裝置
CN111711856B (zh) * 2020-08-19 2020-12-01 深圳电通信息技术有限公司 交互视频的制作方法、装置、终端、存储介质及播放器
EP4131936A1 (en) * 2021-08-03 2023-02-08 Idomoo Ltd A system and method for programing video
CN117041426A (zh) * 2023-09-19 2023-11-10 天翼爱音乐文化科技有限公司 一种视频彩铃优化制作方法、系统、设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275459A (ja) * 1998-03-24 1999-10-08 Nec Corp 映像編集システム
EP1241673A2 (en) * 2001-03-16 2002-09-18 Gateway, Inc. Automated video editing system and method
US20030007397A1 (en) * 2001-05-10 2003-01-09 Kenichiro Kobayashi Document processing apparatus, document processing method, document processing program and recording medium
CN1402852A (zh) * 1999-10-22 2003-03-12 动感天空公司 面向目标的视频系统
CN101194505A (zh) * 2005-03-30 2008-06-04 联合视频制品公司 用于富视频导航的系统和方法
US20080193099A1 (en) * 2004-06-29 2008-08-14 Kentaro Nakai Video Edition Device and Method
US20090022405A1 (en) * 2007-07-16 2009-01-22 Hugh Griffin System and method for video object identification
US20090210790A1 (en) * 2008-02-15 2009-08-20 Qgia, Llc Interactive video
US20100050082A1 (en) * 2008-08-22 2010-02-25 Pvi Virtual Media Services, Llc Interactive Video Insertions, And Applications Thereof
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
US20120284625A1 (en) * 2011-05-03 2012-11-08 Danny Kalish System and Method For Generating Videos
CN103108248A (zh) * 2013-01-06 2013-05-15 王汝迟 一种互动式视频的实现方法和系统
US20130272679A1 (en) * 2012-04-12 2013-10-17 Mario Luis Gomes Cavalcanti Video Generator System
JP2014044655A (ja) * 2012-08-28 2014-03-13 Premium Agency Inc 拡張現実システム、映像合成装置、映像合成方法及びプログラム
US20140161354A1 (en) * 2012-12-06 2014-06-12 Nokia Corporation Method and apparatus for semantic extraction and video remix creation
WO2014100936A1 (zh) * 2012-12-24 2014-07-03 华为技术有限公司 视频的关联信息库制作和视频播放的方法、平台及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US7120924B1 (en) * 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
JP2002335518A (ja) * 2001-05-09 2002-11-22 Fujitsu Ltd 表示装置を制御する制御装置、サーバ、およびプログラム
GB2378371A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Virtual "Big Brother" broadcasting
JP4003940B2 (ja) * 2002-06-07 2007-11-07 日本放送協会 映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラム
US10003781B2 (en) * 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
CN100547964C (zh) 2006-12-15 2009-10-07 腾讯科技(深圳)有限公司 基于网络电视的即时通信方法及网络电视系统
US9609260B2 (en) * 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
CN101246491B (zh) 2008-03-11 2014-11-05 孟智平 一种在网页中使用描述文件的方法和系统
US8473996B2 (en) 2009-03-17 2013-06-25 Activevideo Networks, Inc. Apparatus and methods for syndication of on-demand video
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US20110179012A1 (en) * 2010-01-15 2011-07-21 Factery.net, Inc. Network-oriented information search system and method
JP5522789B2 (ja) * 2010-06-09 2014-06-18 日本放送協会 リンク機能付動画再生装置およびリンク機能付動画再生プログラム
JP5857450B2 (ja) * 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN103902966B (zh) * 2012-12-28 2018-01-05 北京大学 基于序列时空立方体特征的视频交互事件分析方法及装置
US20140226955A1 (en) * 2013-02-12 2014-08-14 Takes Llc Generating a sequence of video clips based on meta data
CN103997687B (zh) * 2013-02-20 2017-07-28 英特尔公司 用于向视频增加交互特征的方法及装置
CN104053055A (zh) * 2013-03-14 2014-09-17 梦蝶股份有限公司 制播个人化视频方法、非瞬时计算机可读存储媒介及系统
CN103400386B (zh) * 2013-07-30 2016-08-31 清华大学深圳研究生院 一种用于视频中的交互式图像处理方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275459A (ja) * 1998-03-24 1999-10-08 Nec Corp 映像編集システム
CN1402852A (zh) * 1999-10-22 2003-03-12 动感天空公司 面向目标的视频系统
EP1241673A2 (en) * 2001-03-16 2002-09-18 Gateway, Inc. Automated video editing system and method
US20030007397A1 (en) * 2001-05-10 2003-01-09 Kenichiro Kobayashi Document processing apparatus, document processing method, document processing program and recording medium
US20080193099A1 (en) * 2004-06-29 2008-08-14 Kentaro Nakai Video Edition Device and Method
CN101194505A (zh) * 2005-03-30 2008-06-04 联合视频制品公司 用于富视频导航的系统和方法
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
US20090022405A1 (en) * 2007-07-16 2009-01-22 Hugh Griffin System and method for video object identification
US20090210790A1 (en) * 2008-02-15 2009-08-20 Qgia, Llc Interactive video
US20100050082A1 (en) * 2008-08-22 2010-02-25 Pvi Virtual Media Services, Llc Interactive Video Insertions, And Applications Thereof
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
WO2012092240A2 (en) * 2010-12-28 2012-07-05 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
US20120284625A1 (en) * 2011-05-03 2012-11-08 Danny Kalish System and Method For Generating Videos
US20130272679A1 (en) * 2012-04-12 2013-10-17 Mario Luis Gomes Cavalcanti Video Generator System
JP2014044655A (ja) * 2012-08-28 2014-03-13 Premium Agency Inc 拡張現実システム、映像合成装置、映像合成方法及びプログラム
US20140161354A1 (en) * 2012-12-06 2014-06-12 Nokia Corporation Method and apparatus for semantic extraction and video remix creation
WO2014100936A1 (zh) * 2012-12-24 2014-07-03 华为技术有限公司 视频的关联信息库制作和视频播放的方法、平台及系统
CN103108248A (zh) * 2013-01-06 2013-05-15 王汝迟 一种互动式视频的实现方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STEFAN WILK; STEPHAN KOPF; WOLFGANG EFFELSBERG: "《Robust tracking for interactive social video》", 《 2012 IEEE WORKSHOP ON THE APPLICATIONS OF COMPUTER VISION》 *
余宏生等: "数字图像拼接方法研究进展", 《红外技术》 *
潘瑞芳 等: "《手机游戏的设计开发》", 31 March 2012 *

Also Published As

Publication number Publication date
CN106662920B (zh) 2020-11-06
WO2016062264A1 (en) 2016-04-28
KR20190047144A (ko) 2019-05-07
KR101975511B1 (ko) 2019-05-07
JP2019154045A (ja) 2019-09-12
JP2018503279A (ja) 2018-02-01
CN112449253B (zh) 2022-12-13
JP6517929B2 (ja) 2019-05-22
EP3790284A1 (en) 2021-03-10
US20160118083A1 (en) 2016-04-28
KR102117433B1 (ko) 2020-06-02
BR112017008008B1 (pt) 2023-01-31
KR20170070220A (ko) 2017-06-21
CN106662920A (zh) 2017-05-10
EP3198381A1 (en) 2017-08-02
JP6898965B2 (ja) 2021-07-07
US9972358B2 (en) 2018-05-15
EP3198381A4 (en) 2017-10-11
BR112017008008A2 (pt) 2018-06-19
EP3198381B1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN112449253B (zh) 交互式视频生成
KR20210054491A (ko) 검색, 추천, 및 발견을 촉진하기 위해 머신-학습 추출물들 및 시맨틱 그래프들을 이용하여 구조화된 데이터를 생성하는 방법들 및 시스템들
CN111372109B (zh) 一种智能电视以及信息交互方法
CN103686344B (zh) 增强视频系统及方法
CN109478189A (zh) 自然语言查询的近似模板匹配
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
JP2023539820A (ja) インタラクティブ情報処理方法、装置、機器、及び媒体
CN111930994A (zh) 视频编辑的处理方法、装置、电子设备及存储介质
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN111866568B (zh) 一种显示设备、服务器及基于语音的视频集锦获取方法
CN111625716A (zh) 媒资推荐方法、服务器及显示设备
Epelde et al. Providing universally accessible interactive services through TV sets: implementation and validation with elderly users
CN112135170A (zh) 一种显示设备、服务器及视频推荐方法
WO2019245033A1 (ja) 動画編集サーバおよびプログラム
CN113438532B (zh) 视频处理、视频播放方法、装置、电子设备及存储介质
JP2010230948A (ja) コンテンツ配信システムおよびテキスト表示方法
JP6900334B2 (ja) 映像出力装置、映像出力方法および映像出力プログラム
CN118132772A (zh) 一种服务器、显示设备及推荐媒资生成方法
CN118093903A (zh) 一种服务器、显示设备及推荐语生成方法
KR20240077796A (ko) 맞춤형 영상 콘텐츠 제작 시스템
CN116980718A (zh) 一种视频的剧情改编方法、装置、电子设备和存储介质
JP2011244177A (ja) コンテンツ変換システム
CN116052709A (zh) 手语的生成方法、装置、电子设备和存储介质
Fricke et al. Work Package 5: LinkedTV platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant