CN101647270A - 用于增强数字视频效果（dve）的方法和装置 - Google Patents

用于增强数字视频效果（dve）的方法和装置 Download PDF

Info

Publication number
CN101647270A
CN101647270A CN200780052535A CN200780052535A CN101647270A CN 101647270 A CN101647270 A CN 101647270A CN 200780052535 A CN200780052535 A CN 200780052535A CN 200780052535 A CN200780052535 A CN 200780052535A CN 101647270 A CN101647270 A CN 101647270A
Authority
CN
China
Prior art keywords
dve
user
video
scene
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780052535A
Other languages
English (en)
Inventor
拉尔夫·安德鲁·西尔伯斯坦
唐纳德·约翰逊·奇尔德斯
大卫·萨于克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GVBB Cmi Holdings Ltd
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101647270A publication Critical patent/CN101647270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供了一种用于增强数字视频效果(DVE)的方法和装置，操作用于将DVE功能嵌入图形建模系统内，并向用户提供被配置为向用户呈现模型元素作为可控制参数的界面。为了嵌入DVE功能，引入动态数据结构作为场景，以允许添加用户定义的模型元素。用户界面实现了对新引入的模型元素的识别和访问。

Description

用于增强数字视频效果(DVE)的方法和装置
相关申请的交叉引用
本申请基于35U.S.C.119(e)要求于2007年4月11日提交的美国临时专利申请No.60/922,849的优先权，其教导合并于此。
技术领域
本发明原理涉及数字视频效果(DVE)系统。更具体地，本发明原理涉及用于提供用户可增强DVE的方法和装置。
背景技术
一般而言，视频效果用于产生静止或运动画面或者渲染的视觉对象的变换。视频效果的典型示例包括但不限于：视频图像3-空间变换，如缩放、定位、旋转等；基于像素的视频图像处理，如离焦、色度转移等；以及变换的其他操控或组合，如将视频图像表面弯曲、切割或卷绕成不同形式。
视频效果制作分为两种不同的类别：现场(Live)和预构建(Pre-built)。
现场广播视频效果允许技术人员在遇到视频广播实时要求时对现场视频进行变换。制作现场广播视频效果的产品具有各种名称和商标名称，并在这里将由常用的(登记了NEC商标的)首字母缩写DVE(代表数字视频效果)指代。当前在DVE产品中，通过控制DVE系统内的一组参数来创建现场广播视频效果。这些参数中的大多数对所摄取的视频图像起作用。效果创建现场广播技术人员能够操控这组工厂创建的参数，这组参数是预定的并受产品设计的限制。
预制视频效果允许图形美工师制作非实时效果，并将所产生的单独图像帧记录成适于实时回放的视频片段。预制视频效果利用由图形美工师和相关技术人员创建的图像。对于许多3D或计算机辅助设计(CAD)建模系统来说典型的是，这些图像通常是通过创建和渲染3D虚拟对象而产生的。虚拟对象和相关元素是通过制造3D模型或通过其他构造手段来创建，然后通过改变该模型的构造参数来操控的。通过将渲染的图像每次一帧地记录成2D视频格式来制造预制视频效果。
发明内容
根据本发明的一个方面，提供了一种用于提供通过将视频映射到具有至少二维的图形模型上而开始出现的数字视频效果的方法。图形模型的元素被分配为用户可控制参数。响应于用户对可控制参数的调整，产生视频输出信号和键值(key)中的至少一个。
根据另一方面，本发明原理提供了一种用于提供数字视频效果的方法，所述方法包括以下步骤：将DVE功能嵌入图形建模系统内；提供被配置为向用户呈现模型元素作为可控制参数的用户界面；以及响应于用户输入，输出视频和/或键值。
嵌入方面可以包括：引入动态数据结构作为场景，以允许添加用户定义的模型元素；以及提供用户界面，以使用键入的信息来识别和访问新引入的模型元素。
引入方面还可以包括：在图形建模系统中创建专门的定制对象(节点)集合，所述定制对象包括DVE对象作为场景的新部分。在引入方面过程中，在时间线中将参数的值设置为关键帧。
根据另一实施方式，通过描述语言来定义动态数据结构。将描述语言定义为可以转换成3D创作工具且可以从3D创作工具转换而来。
通过结合附图考虑的以下详细描述，本发明原理的其他方面和特征将变得显而易见。然而，应当理解，仅出于示意的目的来设计附图，并不作为对本发明原理范围的限定，对于本发明原理范围的限定，应当参考所附权利要求。还应当理解，附图不必按比例绘制，并且附图仅意在在构思上示意这里描述的结构和过程，除非另有指示。
附图说明
贯穿附图，类似的参考标记表示类似的组件，在附图中：
图1是应用于示出了位置改变的简单3关键帧效果的若干插值算法的示例；
图2是应用于调整了大小、旋转了的图像的分割的示例；
图3a是被光栅化为2D缓冲区(通常称作图像)然后组合为3D缓冲区的3D对象的图示；
图3b是首先被组合然后光栅化为相同3D缓冲区的3D对象的图示；
图4是根据现有技术DVE系统的旋转之后2.5D翻页结果的图示；
图5是根据本发明原理实施方式的UA-DVE的框图；
图6a是示出了图4的2.5D翻页结果的图示；
图6b是根据本发明原理UA-DVE实施方式的3D翻页结果的图示；
图7是根据本发明原理实施方式的UE-DVE帧单元的示意图；
图8a是根据本发明原理实施方式的方法的流程图；
图8b是根据本发明原理实施方式的一个方法步骤的详图；
图8c是根据本发明原理实施方式的另一方法步骤的详图；以及
图8d是根据本发明原理实施方式的另一方法步骤的详图。
具体实施方式
早期DVE产品被设计为通过在背景上对调整图像大小并定位图像来帮助混合视频信道。为了提供平滑过渡，创建了“视频效果”，利用关键帧成帧和插值的构思来产生受控制的改变。捕获期望的位置或状态作为基于时间的关键帧，或用于插值的控制点。在逐关键帧地随时间进行移动的同时，通过对中间值进行插值来产生结果效果，通常意在在图像中产生平滑或连续的改变，或一些其他可期望的特性。那些“传统的”DVE直接对视频像素进行处理。
广播领域中的传统数字视频效果(DVE)系统允许现场广播技术人员为了创建视频效果的目的而控制固定的参数集。用户可增强DVE(UE-DVE)是更高级类型的DVE，其允许现场广播技术人员将新元素引入效果构建域中并控制那些元素以产生实时广播质量视频效果，该实时广播质量视频效果具有运动范围、超乎由物理产品最初提供的视频表示和形式之外的视频表示和形式。
图1示出了应用于示出了位置改变的简单3关键帧效果(KF1、KF2、KF3)的若干插值算法的示例。所示的算法是“保持”、“线性”、“S-线性”和“曲线”。
由于DVE已演进了多年，因而也已增加了诸如平面卷绕、照明、离焦等更复杂的特征，使得典型的DVE可以具有多种多样的特征。然而，存在可用于现场广播制作的DVE所必需的特定关键特征。除了能够实时产生至少全10比特分辨率视频输入和输出以外，可用的DVE必须具有短流水线延迟(小于特定视频帧进入和退出DVE的时刻之间的3个帧或0.05秒等待时间)，能够既输出视频又输出键值，支持关键帧的插入和编辑，并支持针对效果的关键帧成帧/插值运行控制。主要视频效果构建功能必须包括对变换3-D空间中图像的能力(包括在3维中定位、调整大小和旋转，以及图像倾斜、剪切和纵横比改变)的支持。为了使DVE适于中间范围至高端制作质量，通常需要一些附加特征，例如插值路径控制、阴影、分割、镜像、切割、离焦、照明、以及诸如翻页、波纹或位置调整等各种卷绕。图2示出了当将分割应用于调整大小和旋转后图像时看上去的样子。
然而，对于现场广播DVE，当前系统继续使用以下以图像处理为中心的范例：使用3-D变换数学来对来自输入图像的像素进行处理，并将结果投影回2D，作为单一视频或者视频和键值图像(这种类型的系统有时称作“2.5D”)而输出。然后，可以将来自不同DVE(例如，其他源)的多个图像编写或“键入”到最终结果的背景上。
由于存在平面图像，因而将这些图像建模为3D场景的能力通常限于对所产生的、所键入的2D图像进行分层或组合。有时使用的一种增强是在DVE之后使用组合器。一些DVE可以产生深度键值，该深度键值可以用于正确地对多于一个DVE输出进行组合，以使得可以将其正确地示出为被组合成相交的3D平面。然而，即使在这种情况下，该结果也不限于对平面图像进行组合。例如，参照图3a和3b，如果两个DVE对3D字母“A”和“H”的未卷绕视频图像依大小排列并进行定位，以使得图像相交，则组合器将示出这两个视频图像平面的直线相交，而非由3D建模系统产生的3D虚拟对象相交。
尽管存在由当前DVE提供的许多感兴趣的特征，但是这些特征限于应用于视频的、可由固定参数集控制的内置功能。确实，可以利用该技术来实现相当复杂的效果，但是必须对结果进行仔细管理以保持全3D幻像。这一点的示例是“翻页”效果(见例如图4)，其中，通过模拟页面的滚降(roll-off)来将视频图像从屏幕移除。然而，如果随后将翻页图像旋转到竖直位置，则明显的是，其为使用3D“已翻转页面”的2D投影的“2.5D”系统。
现代的DVE不提供用于构造新模型的手段。例如，如果用户想要通过将视频图像卷绕到锥体表面上来创建效果，那么这将是不可能的(除非产品设计者已实现了该特定特征并已提供用于控制该特征的参数)。因此，为了实现该结果，用户将需要依赖于图形美工师或非实时内容创作者解决方案，其中已对适当的模型(锥体)进行渲染。然而，由于将对图像进行预先记录，因而将现场视频映射到该表面上是不可能的。(注意：预先渲染的反向地址(PRA)-DVE设备允许对现场图像进行映射，但此外需要专门准备。见以下关于PRA-DVE的讨论)。
已存在将DVE集成到视频广播切换器(也称作视频制作中心、视频混合器)中的趋势。最近的切换器(如，Grass Valley的Kalypso)具有内部DVE，也称作“变换引擎”。利用这些内部DVE，可以在本地对视频源进行处理，而无需向外部独立系统发送信号，这在集成控制、效果和减小流水线延迟方面提供了益处。内部的或集成的DVE的功能几乎与独立DVE相同。
传统DVE以如下方式进行操作。工作缓冲区定义了包括其在3D空间中的位置以及其卷绕控制在内的、系统的当前状态。将变换组合到最终结果变换矩阵和卷绕控制中。将最终结果矩阵转换为反向地址矩阵。将这些结果传递至硬件反向地址产生器(RAG)变换寄存器和卷绕控制寄存器的集合。反向地址产生器具有包括反向地址矩阵和卷绕控制在内的固定的寄存器集合。输出控制时钟从输出缓冲区中第一行第一个像素开始步进到下一个像素来步进输出像素。该时钟还触发RAG，以使用软件放置到固定寄存器(反变换矩阵和卷绕控制)中的值，来计算用于创建下一个输出像素的源像素的地址。重复步骤4和5，直到完成全部输出图像为止。
该设计依赖于针对现场广播技术人员的固定的控制集合：针对RAG控制的固定寄存器；以及RAG硬件中的固定公式。该设计的优点在于，DVE的操作者可以改变任何工厂定义的、DVE自身上效果的可成关键帧的参数，并立即回放可对现场视频进行定位、卷绕和处理的该效果。缺点在于，DVE仅可以执行由DVE制造者设计为该效果的卷绕和效果的有限集合，而DVE不能创建真实3D模型的事实限制了可执行的效果的类型。
实现DVE的另一途径是预先渲染的反向地址DVE(PRA-DVE)。定制的3D软件封装用于创建所期望的效果。这包括效果的所有方面，包括持续时间、3D空间中的位置以及卷绕。定制的3D封装然后非实时地执行反向地址产生(RAG)计算。然后，将这些地址保存至用于稍后回放的存储介质。该处理可能花费若干分钟。当操作者想要回放效果时，输出控制时钟从第一行第一个像素开始步进输出图像来步进输出像素。在传统DVE使用RAG硬件来忙碌地计算反向地址的情况下，PRA-DVE从存储介质读取回反向地址，并使用这些地址来获取适当的源图像像素，以用于创建输出图像。
尽管该途径允许多种多样的效果，但是传统DVE操作者无法访问DVE自身上的任何可成关键帧的参数。为了对效果作出任何改变，操作者必须回到专门软件、改变效果、重新计算反向地址、将地址传送至存储介质、将反向地址从存储介质加载到DVE中、然后回放该效果。为了对包括效果持续时间、对象位置、照明等的效果进行最小的改变，必须遵照该过程，并且该过程可能花费大量时间。
另一缺点在于，使用3D动画封装所需的技能和成为现场广播技术人员所需的技能是不同的，并且通常需要两种不同的人。
PRA-DVE完全依赖于定制的离线动画软件，以执行反向地址发生。PRA-DVE的优点在于，用户可以利用现场视频来创建具有几乎任何形状的效果。PRA-DVE的缺点在于，创建和改变效果是非常耗时的。
出于所有实际目的，不能以正常DVE效果编辑速度来改变3D效果，并且3D效果除了需要现场广播技术人员以外还将需要图形美工师。这极大地限制了现场制作情况下PRA-DVE架构的实用性。
本发明原理的用户可增强(UE)-DVE是新类型的DVE，其是利用2D和/或3D图形建模系统来创建并嵌入该系统内的。已创建了具体图形对象的集合(即，模型)，该集合使用图形建模系统元素来复制传统DVE系统功能的主要部分，同时仍实现满足视频广播需求所需的实时性能。通过将DVE功能嵌入图形建模系统内，而不是将2D视频记录摄取到视频混合域中，可以在图形环境内交互地创建具有现场视频的效果。对于传统DVE效果的复制，在模型内将现场视频映射到虚拟表面上，以产生与传统视频呈现和行为等价的结果。然而，去除了工厂创建的参数的约束。用户可以引入新图形模型元素以创建新特征。
为了实现该能力，本发明原理利用了动态数据结构，而不是静态数据结构(根据现有技术所知)。这不但允许对支持传统DVE特征的对象和参数进行定义，而且通过提供针对UE-DVE平台的新效果的内容创作者，或者通过平台操作者，来实现新对象和参数的创建。根据本发明原理，该动态数据结构被称作场景(见图7中的元素712)。在一个实施方式中，该场景是通过场景图的形式来呈现的。该数据结构提供应用编程接口(API)，以使用键入信息(例如，浮动颜色(floatingcolor)或百分比值)连同较高级语义来识别和访问新对象和参数。
因此，通过该API，可以识别出元素并将该元素绑定至效果创建系统，允许读取和写入访问，从而实现效果创建功能。例如，用户可以导入特定的新模型、识别其元素(字段)、读取所选字段中的当前值、然后将那些值保存到关键帧中、将那些值或所插的值写回到其相应字段中：即，构建和运行效果。
该动态结构还提供可编程组件，以便通过使用可被动态编译或解释为渲染器(见图7中的元素718)的脚本语言和/或公共图形着色器代码来添加新的用户定义的DVE和图像处理(视频像素操控)。
一般而言，本发明原理通过允许引入借以构建效果的新特征来向用户提供扩展的创造性机会。动态数据结构是通过描述语言来定义的，该描述语言优选地是来自3D创作工具的一个(1)或多个支持语法；或者动态数据结构是通过使用转换器来定义的，该转换器用于将描述语言转换为3D创作工具并从3D创作工具转换出描述语言。本领域技术人员将认识到，在不脱离本发明原理的范围的前提下，可以使用不同的描述语言和3D创作工具。能够使用的描述语言的一些示例是VRML、X3D、COLLADA等，而3D创作工具的一些示例可以是Autodesk Maya、Autodesk 3D Studio、Blender、Softimage等。
用户然后可以简单地遵照给定的语法来创建新对象和/或参数，或者通过使用第三方创作工具在外部创建这些新对象和/或参数。为了帮助导入新的外部定义的对象和参数，如图5中的元素508所示，可以连同UA-DVE一起提供一组用户界面。这些用户界面将以对用户友好的方式来控制UA-DVE，以便执行导入和必需的转换；这些用户界面中的一些还可以使用UA-DVE场景API(或其他用户界面)来直接在UA-DVE平台内动态创建对象和参数。这些特征包括：用3D建模环境下任何图形对象的所有固有容量来完全在3D建模环境内表现现场视频元素的能力，包括但不限于再现真实图形对象的外观。这些特征是通过以下操作来实现的：将模型或模型元素引入到图形建模系统中，或者改变模型元素，然后基于向用户呈现模型元素作为可控制参数的事实，通过在时间线中将这些参数的值设置为关键帧，以形成可回调并运行的现场广播视频效果。
本发明原理还保证了降低与传统图形美工师内容创建工作流相关联的制作成本。例如，当现场广播技术人员想要利用传统图形门类效果时，仅可以由必须将效果重新渲染到视频片段中的图形美工师进行修改。然而，利用本发明原理的UE-DVE，可以向现场广播技术人员提供直接修改一些或全部对象参数的能力，以在工作室中进行修改，并立即现场实时地渲染效果。这可以容易地针对任何对象的参数(导入的或非导入的)来执行，这是由于动态数据语法供给了针对场景中任何对象的所键入的参数信息；这些是可以通过时间线来控制的，正如通常在传统DVE中通过针对关键帧的用户定义数和插值类型定义其值而执行的那样。
本发明原理的UE-DVE系统再现DVE的行为，更多地通过在虚拟3D对象场景内实现DVE的全功能图形模型来实现这种再现。
参照图5，示出了根据本发明原理的UE-DVE系统500的示例实施方式。图形建模系统504向系统提供图形对象的同步的或同步锁相的现场视频输入，同时从其他媒体源502提供静止画面和其他数据。从UE-DVE帧单元506输出计算得到的图像作为现场视频。针对该DVE模型的控制参数是可通过UE-DVE用户界面(UI)508访问到的。还可以经由各种协议(例如，通过以太网或串行连接(例如，Sony BVW-75、PBus2等))来支持附加常用控制方法。
UE-DVE系统500的关键功能包含于UE-DVE帧单元506内，UE-DVE帧单元506容纳了UE-DVE软件应用、渲染系统、输入图像处理系统和输出图像处理系统(见图7)。软件执行DVE活动并支持视频输入和输出信道，以及各种针对通信和备选介质或数据传输(例如，网络或硬驱动器存取)的各种连接。UE-DVE帧单元506被设计为与其他视频制作单元(例如，现场制作切换器510)协调一致地工作，如图5所示。视频输入和输出的物理连接附接至单元506，并且，还向该单元提供网络连接和各种串行设备连接。
本发明原理的UE-DVE提供了支持大多数传统DVE特征的缺省模型。例如，可以通过选择正确的卷绕模式并设置翻页偏移、半径和定向，来创建翻页效果。可以通过控制位置和旋转参数，来设置视频图像的总体位置。如以下图6所示，一个显著的区别在于，在传统DVE系统内，在真正3D建模系统(即“2.5D”)中不产生翻页，因此当视频图像旋转时会显得不正确(见图4)，而图6a和6b所示的UE-DVE翻页从任何角度看起来都是正确的，这是由于其确实被渲染为3D场景内的3D对象。
类似于传统DVE，UE-DVE提供了用于构建现场视频效果的功能。可以以传统的方式通过将系统设置成期望状态然后将该状态保存为效果内的关键帧，来构建捕获期望场景中一个或多个关键帧的效果。
由于可以将图形对象编写到相同的帧缓冲区中，因此这些图形对象可以彼此相交(注意，本发明原理的UE-DVE还通过添加复合层来提供有意避免这些相交的可能性，复合层提供分离的帧缓冲区并可以被一起组合为输出时的重叠)。
最重要的是，本发明原理的UE-DVE具有添加新DVE特征的能力。这些是可以通过将改变或添加引入到缺省模型来创建的。例如，改变或添加可以是作为可控制参数而呈现给用户的模型元素。在内部提供容易添加的一些有用元素，如，照明、摄像机、层和变换节点。可以使用诸如VRML、X3D或COLLADA之类的常用描述语言来将其他模型或模型元素作为文件而导入。
例如，可以将人的头部的全3D模型导入UE-DVE中，然后可以利用现场视频图像来动态地对人的头部模型的皮肤进行卷绕。
在所有情况下，场景内正确识别的元素都可以自动绑定至提供控制这些元素的手段的UE-DVE参数系统。
UE-DVE是将图形建模系统的创造性能力引入DVE中的系统，使得诸如图形美工师之类的用户可以在满足现场广播环境的严格要求的同时，引入提供新DVE特征的新模型元素。
UE-DVE用户可以控制所引入的元素。因此，现场广播技术人员可以在需要时对场景作出快速改变，而不必返回到离线动画系统，并且，实时现场广播视频效果是可以利用该能力进行构建的。这将节省制作时间。
本发明原理的UE-DVE优于预先渲染的反向地址(PRA)DVE的能力，并且还提供了编辑传统DVE效果的速度和便捷性。对于使用UE-DVE的现场广播技术人员而言，新层次的创新将是可能的。
图7示出了本发明原理的UE-DVE帧单元506的示例实施方式。传输702是向用户界面508和其他设备(例如，用于传输控制信号的HDD)的物理连接，并可以是类似于网络的连接，例如，以太网、无线、IEEE1394、串行、并行等。中央处理单元CPU 704执行帧软件通信706，并控制应用708与传输702之间的数据，在需要时执行适当的转换。
在应用708处，对一般系统功能进行管理，该一般系统功能包括但不限于：配置、对来自用户界面的命令的处理、加载、管理、视频效果的编辑和运行、建立和保持对场景内元素的访问、场景状态的更新、以及实时渲染处理的高级控制。
视频效果存储器710保持(存储)关键帧形式的视频效果的值以及其他效果数据。
场景712包含图像产生系统的状态，该图像产生系统在渲染和相关处理时产生结果输出视频图像。场景块712可以使用动态结构的场景图和其他表示。
更新和渲染流水线控制714对系统的实时需求进行管理。对通过应用708运行效果(即，插值)进行同步，以使得在正确的时刻更新场景712，并且在正确的时刻完成渲染，以与视频同步锁相同步。
输入图像处理716接收串行数字接口(SDI)形式的输入图像/视频源722和/或其他视频和静止画面输入，并将输入图像处理为内部表示。该处理可以包括：去交织、键值的应用、格式转换、滤波、及其他图像处理活动。输入图像/视频源722提供物理连接，如高清晰度显示(HDD)或同轴电缆传输图像(例如，使用SDI格式和/或其他视频格式进入系统的视频和/或键值信号以及同步锁相信号)。
渲染器718使用由场景712定义的构造来对图像进行渲染，以输出为可由渲染流水线控制714利用输入视频或其他源或装置722控制。该渲染器可以是软件或硬件组件或这二者的混合。其主要目的是能够例如在视频场速率约束内实时执行光栅化。光栅化过程包括：通过映射装置将任何视频或静止图像映射到对象上。在一个实施方式中，渲染器构成通过OpenGL接口而使用的图形处理单元(GPU)。其他实施例可以支持实现加速射线跟踪算法的软件或硬件。
输出图像处理720对视频图像的内部表示进行处理，并输出为SDI和/或其他视频格式。该处理可以包括但不限于：交织、滤波、混频、剪切和格式转换。输出图像/视频724提供物理连接，如HDD或同轴电缆传输图像(例如，从系统出来的视频和/或键值信号以及同步锁相信号)。
图像流726将画面数据从输入图像处理716传送至渲染器718。图像流输出装置728将画面数据从渲染器718传送至输出图像处理720。图像旁路730使图像能够直接从输入图像处理716直接发送至输出图像处理720。
图8a示出了根据本发明原理的方法800的基本流程图。首先，将DVE功能嵌入图形建模系统内(802)。该嵌入包括：利用动态数据结构将模型元素引入(例如，映射)到建模系统中。本领域技术人员将认识到，该动态数据结构可以以场景的形式存在。一旦被嵌入，就提供被配置为向用户呈现模型元素作为可控制参数的用户界面(804)。响应于用户输入，输出视频和键值(806)。
图8b示出了根据本发明原理实施方式的嵌入步骤802。嵌入802可以包括：引入动态数据结构(810)作为场景，以允许添加用户定义的元素。一旦完成，就向用户提供(812)接口，以使用所键入的信息来识别和访问新引入的模型元素。如图所示，通过描述语言来完成对动态数据结构的定义(814)。
图8c示出了根据本发明原理实施方式的引入步骤(810)。引入步骤(810)是可以通过在图形建模系统中创建(816)专门的定制对象(节点)集合来执行的。定制对象构成DVE对象作为场景的新部分。然后可以在时间线中将参数值设置(818)为关键帧。
图8d示出了根据本发明原理实施方式的定义步骤(814)。相应地，通过定义描述语言来执行动态数据结构的定义(814)，使得可以将描述语言转换成3D创作工具或从3D创作工具转换出描述语言(820)。
所描述的实施方式的特征和方面可以应用于各个应用。应用包括：例如，如上所述，使用其家中的主机设备的个人与使用电缆上以太网通信架构的互联网进行通信。然而，这里描述的特征和方面可以适于其他应用范围，并且相应地，其他应用是可能的并且是可设想的。例如，用户可以位于其家之外，例如，在公共场所或在工作处。此外，除以太网和电缆以外，还可以使用协议和通信介质。例如，可以通过光缆、通用串行总线(USB)电缆、小型计算机接口(SCSI)电缆、电话线、数字订户线/环(DSL)线路、卫星连接、视线连接、和蜂窝连接(并使用与它们相关联的协议)来发送和接收数据。
这里描述的实施方式可以在例如方法或过程、装置、或软件程序中实现。即使仅在单一形式实施方式的上下文中进行讨论(例如，仅作为方法进行讨论)，所讨论的特征的实施方式也可以以其他形式(例如，装置或程序)实现。装置可以以例如适当的硬件、软件和固件来实现。方法例如可以在诸如处理器之类的、指代一般处理设备的装置中实现，该处理设备包括：例如计算机、微处理器、集成电路或可编程逻辑器件。处理设备还包括通信设备，例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间信息通信的其他设备。
这里描述的各种过程和特征的实施方式可以体现在多种不同设备或应用中，特别是例如与数据发送和接收相关联的设备和应用。设备的示例包括视频编码器、视频解码器、视频编解码器、万维网服务器、机顶盒、膝上型电脑、个人计算机和其他通信设备。很清楚，设备可以是移动的，甚至可以安装在移动车辆中。
此外，可以通过由处理器执行的指令来实现方法，并且可以将这些指令存储在处理器可读介质中，该处理器可读介质例如是集成电路、软件载体或者其他存储设备(例如，硬盘、光盘、随机存取存储器(“RAM”)或只读存储器(“ROM”))。指令可以形成在处理器可读介质上有形体现的应用程序。很清楚，处理器可以包括具有例如用于执行处理的指令的处理器可读介质。
对于本领域技术人员来说显而易见，实施方式还可以产生被格式化为承载例如可存储或发送的信息的信号。该信息可以包括：例如，用于执行方法的指令或者由所描述的实施方式之一产生的数据。例如，这样的信号可以被格式化为电磁波(例如，使用频谱中的射频部分)或基带信号。格式化可以包括：例如，对数据流进行编码、对已编码的流进行分组化、以及利用已分组化的流来对载波进行调制。信号承载的信号例如可以是模拟或数字信息。如已知的那样，可以通过多种不同的有线或无线链路来发送信号。
已描述了多个实施方式。然而，应理解的是，可以进行各种修改。例如，可以对不同实施方式的元件进行组合、补充、修改或移除，以产生其他实施方式。此外，本领域技术人员应理解，其他结构和过程可以替代所公开的那些结构和过程，并且所产生的实施方式将以至少实质上相同的方式执行至少实质上相同的功能，以实现至少实质上与所公开的实施方式相同的结果。相应地，这些和其他实施方式落在权利要求的范围内。

Claims (22)

1、一种用于提供数字视频效果的方法，包括以下步骤：
将DVE功能嵌入(802)图形建模系统内；
提供(804)被配置为向用户呈现模型元素作为可控制参数的用户界面；以及
响应于用户输入，输出(806)视频和/或键值。
2、根据权利要求1所述的方法，其中，所述嵌入包括：
引入(810)动态数据结构作为场景，以允许添加用户定义的模型元素；以及
提供(812)用户界面，以使用所键入的信息来识别和访问新引入的模型元素。
3、根据权利要求2所述的方法，其中，所述引入还包括：在图形建模系统中创建(816)专门的定制对象(节点)集合，所述定制对象包括DVE对象作为场景的新部分。
4、根据权利要求2所述的方法，其中，所述引入还包括：在时间线中将参数的值设置(818)为关键帧。
5、根据权利要求2所述的方法，还包括：通过描述语言来定义(814)动态数据结构。
6、根据权利要求5所述的方法，其中，所述定义还包括：将描述语言定义(820)为能够转换成3D创作工具且能够从3D创作工具转换而来。
7、一种其上有形体现应用程序的程序存储设备，所述应用程序包括用于执行至少以下操作的指令：
将DVE功能嵌入图形建模系统内；
提供被配置为向用户呈现模型元素作为可控制参数的用户界面；以及
响应于用户输入，输出视频和键值中的至少一个。
8、根据权利要求7所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令：
引入动态数据结构作为场景，以允许添加用户定义的模型元素；以及
提供用户界面，以使用所键入的信息来识别和访问新引入的模型元素。
9、根据权利要求8所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令：
在图形建模系统中创建专门的定制对象(节点)集合，所述定制对象包括DVE对象作为场景的新部分。
10、根据权利要求8所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令：
在时间线中将参数的值设置为关键帧。
11、根据权利要求8所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令：
通过描述语言来定义动态数据结构。
12、根据权利要求11所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令：
将描述语言定义为能够转换成3D创作工具且能够从3D创作工具转换而来。
13、一种用于提供数字视频效果的装置，包括以下步骤：
用于将DVE功能嵌入图形建模系统内的装置；
用于提供被配置为向用户呈现模型元素作为可控制参数的用户界面的装置；以及
响应于用户输入而输出视频和/或键值的装置。
14、根据权利要求13所述的装置，其中，所述嵌入装置还包括：
用于引入动态数据结构作为场景以允许添加用户定义的模型元素的装置；以及
用于提供用户界面以使用所键入的信息来识别和访问新引入的模型元素的装置。
15、根据权利要求14所述的装置，其中，所述引入装置还包括：用于在图形建模系统中创建专门的定制对象(节点)集合的装置，所述定制对象包括DVE对象作为场景的新部分。
16、根据权利要求14所述的装置，其中，所述引入装置还包括：用于在时间线中将参数的值设置为关键帧的装置。
17、根据权利要求14所述的装置，还包括：用于通过描述语言来定义动态数据结构的装置。
18、根据权利要求17所述的装置，其中，所述定义装置还包括：用于将描述语言定义为能够转换成3D创作工具且能够从3D创作工具转换而来的装置。
19、一种用于提供数字视频效果的方法，包括以下步骤：
将视频至少映射到具有至少二维的图形模型上；
分配图形模型的元素作为用户可控制参数；
响应于用户对可控制参数的调整，产生视频输出信号和键值中的至少一个。
20、根据权利要求19所述的方法，其中，所述图形模型包括场景。
21、根据权利要求21所述的方法，还包括以下步骤：在所述图形模型中创建专门的对象集合。
22、根据权利要求21所述的方法，其中，专门的元素集合包括至少一个数字视频编辑元素。
CN200780052535A 2007-04-11 2007-11-08 用于增强数字视频效果（dve）的方法和装置 Pending CN101647270A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US92284907P 2007-04-11 2007-04-11
US60/922,849 2007-04-11

Publications (1)

Publication Number Publication Date
CN101647270A true CN101647270A (zh) 2010-02-10

Family

ID=39276142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780052535A Pending CN101647270A (zh) 2007-04-11 2007-11-08 用于增强数字视频效果（dve）的方法和装置

Country Status (6)

Country Link
US (3) US8914725B2 (zh)
EP (1) EP2145468B1 (zh)
JP (1) JP5180288B2 (zh)
CN (1) CN101647270A (zh)
CA (1) CA2682935C (zh)
WO (1) WO2008127308A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917556A (zh) * 2010-07-16 2010-12-15 吴鹏飞 基于智能终端的智能指导式视频制作及播放方法
CN102752523A (zh) * 2011-08-26 2012-10-24 新奥特（北京）视频技术有限公司 一种对dve进行实时控制的方法及装置
CN108012090A (zh) * 2017-10-25 2018-05-08 北京川上科技有限公司 一种视频处理方法、装置、移动终端及存储介质
CN108900903A (zh) * 2018-07-27 2018-11-27 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
US20120256906A1 (en) * 2010-09-30 2012-10-11 Trident Microsystems (Far East) Ltd. System and method to render 3d images from a 2d source
KR101883354B1 (ko) * 2011-05-30 2018-07-30 삼성전자주식회사 터치 스크린을 구비한 기기에서 전자 지도의 브라우징을 위한 장치 및 방법
US20150373230A9 (en) * 2012-07-23 2015-12-24 Timecode Systems Ltd Networked programmable timecode and metadata transfer system
US9576397B2 (en) 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
US9436358B2 (en) 2013-03-07 2016-09-06 Cyberlink Corp. Systems and methods for editing three-dimensional video
US9473801B1 (en) * 2013-03-14 2016-10-18 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-removal DVE
US9049386B1 (en) 2013-03-14 2015-06-02 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE
US20150237415A1 (en) 2014-02-18 2015-08-20 Tribune Broadcasting Company, Llc Using a digital video effect to generate a video stream
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9929824B2 (en) 2015-01-26 2018-03-27 Timecode Systems Limited Networked programmable master clock base stations
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US20170094323A1 (en) * 2015-09-24 2017-03-30 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US10455257B1 (en) 2015-09-24 2019-10-22 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US9883212B2 (en) 2015-09-24 2018-01-30 Tribune Broadcasting Company, Llc Video-broadcast system with DVE-related alert feature
EP3157241B1 (en) 2015-10-12 2020-02-12 Timecode Systems Limited Synchronizing data between personal and timecode devices
US9866732B2 (en) 2015-10-12 2018-01-09 Timecode Systems Limited Synchronizing data between personal and timecode devices
US10063637B2 (en) 2015-10-12 2018-08-28 Timecode Systems Limited Synchronizing data between personal and timecode devices
US10742733B2 (en) 2015-10-12 2020-08-11 Timecode Systems Limited Synchronizing data between media devices
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10304225B2 (en) * 2016-12-30 2019-05-28 Microsoft Technology Licensing, Llc Chart-type agnostic scene graph for defining a chart
US10395412B2 (en) 2016-12-30 2019-08-27 Microsoft Technology Licensing, Llc Morphing chart animations in a browser
US11086498B2 (en) 2016-12-30 2021-08-10 Microsoft Technology Licensing, Llc. Server-side chart layout for interactive web application charts
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
US11849244B2 (en) * 2021-07-22 2023-12-19 Grass Valley Canada System and method for temporal keying in a camera

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2181929B (en) * 1985-10-21 1989-09-20 Sony Corp Methods of and apparatus for video signal processing
US4970666A (en) * 1988-03-30 1990-11-13 Land Development Laboratory, Inc. Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
US5053760A (en) * 1989-07-17 1991-10-01 The Grass Valley Group, Inc. Graphics path prediction display
US5412401A (en) * 1991-04-12 1995-05-02 Abekas Video Systems, Inc. Digital video effects generator
GB2256567B (en) * 1991-06-05 1995-01-11 Sony Broadcast & Communication Modelling system for imaging three-dimensional models
EP0574111B1 (en) * 1992-04-24 1997-10-01 Sony United Kingdom Limited Lighting effects for digital video effects system
GB2277847B (en) * 1993-05-03 1997-08-20 Grass Valley Group Method of creating video effects by use of keyframes
DE69620580T2 (de) * 1995-11-14 2002-11-28 Sony Corp., Tokio/Tokyo Vorrichtung und verfahren zur bildverarbeitung
GB2312119B (en) * 1996-04-12 2000-04-05 Lightworks Editing Systems Ltd Digital video effects apparatus and method therefor
GB2323991B (en) * 1997-04-04 1999-05-12 Questech Ltd Improvements in and relating to the processing of digital video images
US6069668A (en) * 1997-04-07 2000-05-30 Pinnacle Systems, Inc. System and method for producing video effects on live-action video
GB2340363B (en) * 1998-07-31 2002-09-11 Sony Uk Ltd Image processing and rendering
US7549128B2 (en) * 2000-08-08 2009-06-16 Thomson Licensing Building macro elements for production automation control
US6583793B1 (en) * 1999-01-08 2003-06-24 Ati International Srl Method and apparatus for mapping live video on to three dimensional objects
US20050030432A1 (en) * 1999-01-28 2005-02-10 David Ross Video production switcher with integrated digital video processing
DE19908898A1 (de) 1999-03-02 2000-09-07 Voith Sulzer Papiertech Patent Verfahren zur Zudosierung eines fluiden Mediums in einen Suspensionsstrom eines Stoffauflaufes und Stoffauflauf
US6369835B1 (en) * 1999-05-18 2002-04-09 Microsoft Corporation Method and system for generating a movie file from a slide show presentation
US6452598B1 (en) * 2000-01-18 2002-09-17 Sony Corporation System and method for authoring and testing three-dimensional (3-D) content based on broadcast triggers using a standard VRML authoring tool
US20020036639A1 (en) * 2000-01-31 2002-03-28 Mikael Bourges-Sevenier Textual format for animation in multimedia systems
US7756391B1 (en) * 2000-09-01 2010-07-13 Matrox Electronic Systems Ltd. Real-time video editing architecture
FR2820269A1 (fr) * 2001-01-30 2002-08-02 Koninkl Philips Electronics Nv Procede de traitement d'images en 2d appliquees sur des objets en 3d
JP4035978B2 (ja) * 2001-10-05 2008-01-23 コニカミノルタホールディングス株式会社 ３次元形状モデルの評価方法および生成方法並びに装置
US6919891B2 (en) * 2001-10-18 2005-07-19 Microsoft Corporation Generic parameterization for a scene graph
EP1579391A4 (en) * 2002-11-01 2009-01-21 Sony Electronics Inc UNIFORM SURFACE MODEL FOR PICTORIAL AND GEOMETRIC SCENE COMPOSITION
US7669129B2 (en) * 2003-04-04 2010-02-23 Avid Technology, Inc. Graphical user interface for providing editing of transform hierarchies within an effects tree
FR2855758B1 (fr) 2003-06-05 2005-07-22 Biomerieux Sa Composition comprenant la polyproteine ns3/ns4 et le polypeptide ns5b du vhc, vecteurs d'expression incluant les sequences nucleiques correspondantes et leur utilisation en therapeutique
US20050088458A1 (en) * 2003-07-31 2005-04-28 Marrin Christopher F. Unified surface model for image based and geometric scene composition
US20050231643A1 (en) * 2004-03-26 2005-10-20 Ross Video Limited Method, system and device for real-time non-linear video transformations
US7450124B2 (en) 2005-03-18 2008-11-11 Microsoft Corporation Generating 2D transitions using a 3D model
US20070132757A1 (en) * 2005-05-16 2007-06-14 Tal Hassner Constrained model composition
US7854865B2 (en) 2005-06-08 2010-12-21 Essilor International Method of injection molding thin thermoplastic lenses
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP4462132B2 (ja) * 2005-07-04 2010-05-12 ソニー株式会社 画像特殊効果装置，グラフィックスプロセッサ，プログラム
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
DE602007001796D1 (de) * 2006-03-10 2009-09-10 Hoffmann Marlit Sequenz von videoeinzelbildern, vorrichtung und verfahren zur bereitstellung eines szenenmodells, szenenmodell, vorrichtung und verfahren zum erzeugen einer menüstruktur und computerprogramm
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917556A (zh) * 2010-07-16 2010-12-15 吴鹏飞 基于智能终端的智能指导式视频制作及播放方法
CN102752523A (zh) * 2011-08-26 2012-10-24 新奥特（北京）视频技术有限公司 一种对dve进行实时控制的方法及装置
CN102752523B (zh) * 2011-08-26 2017-09-19 新奥特（北京）视频技术有限公司 一种对dve进行实时控制的方法及装置
CN108012090A (zh) * 2017-10-25 2018-05-08 北京川上科技有限公司 一种视频处理方法、装置、移动终端及存储介质
CN108900903A (zh) * 2018-07-27 2018-11-27 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN108900903B (zh) * 2018-07-27 2021-04-27 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20100122168A1 (en) 2010-05-13
CA2682935C (en) 2020-01-28
US11079912B2 (en) 2021-08-03
EP2145468A1 (en) 2010-01-20
JP2010524393A (ja) 2010-07-15
EP2145468B1 (en) 2012-09-12
CA2682935A1 (en) 2008-10-23
US20150074535A1 (en) 2015-03-12
US10088988B2 (en) 2018-10-02
WO2008127308A1 (en) 2008-10-23
JP5180288B2 (ja) 2013-04-10
US8914725B2 (en) 2014-12-16
US20190034062A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
CN101647270A (zh) 用于增强数字视频效果（dve）的方法和装置
EP3697083B1 (en) System for adaptively streaming audio objects
US8576228B2 (en) Composite transition nodes for use in 3D data generation
EP2174299B1 (en) Method and system for producing a sequence of views
US8170239B2 (en) Virtual recording studio
JP2018527655A (ja) ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置
CN101563669A (zh) 交互式视觉特效合成的系统和方法
CN114450966A (zh) 用于异构沉浸式媒体的表示和流式传输的数据模型
CN112738361B (zh) 一种视频直播虚拟演播厅的实现方法
CN102215346A (zh) 图像处理装置、图像处理方法以及程序
US9620167B2 (en) Broadcast-quality graphics creation and playout
CN114630145A (zh) 一种多媒体数据合成方法、设备及存储介质
JP2006221489A (ja) Ｃｇアニメーション製作システム
CN116761009A (zh) 元宇宙全景直播场景下的视频播放方法、装置及直播系统
KR100403942B1 (ko) 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템
US20120256946A1 (en) Image processing apparatus, image processing method and program
Van Tonder et al. Acoustic atlas–auralisation in the browser
KR20000050196A (ko) 3차원 가상공간 화면상에서 관람자의 관람방향을 표시하고이와 연동하여 목적물의 3차원 형태가 변화하는 3차원가상공간 시스템 및 이를 구현하는 방법
JP4387543B2 (ja) 動画像作成装置及びその制御方法及び記憶媒体
KR20070098361A (ko) 2차원 배경 이미지를 3차원 공간에 합성시키는 영상 합성장치 및 방법
Whittington Contemporary Film Technology
KR20070098364A (ko) 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법
CN117095099A (zh) 一种提供在线智能三维场景设计与渲染的系统
KR20240044091A (ko) 3차원 가상공간에서 데이터 시각화를 구현하는 시스템
CN113379926A (zh) 一种数字资产制作方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GVBB HOLDING CO., LTD.

Free format text: FORMER OWNER: THOMSON LICENSING TRADE CO.

Effective date: 20120618

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120618

Address after: Luxemburg Luxemburg

Applicant after: GVBB Cmi Holdings Ltd

Address before: French Boulogne - Bilang Kurt

Applicant before: Thomson Licensing Trade Co.

AD01 Patent right deemed abandoned

Effective date of abandoning: 20100210

C20 Patent right or utility model deemed to be abandoned or is abandoned