CN103714558A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN103714558A
CN103714558A CN201310452892.4A CN201310452892A CN103714558A CN 103714558 A CN103714558 A CN 103714558A CN 201310452892 A CN201310452892 A CN 201310452892A CN 103714558 A CN103714558 A CN 103714558A
Authority
CN
China
Prior art keywords
image
state
conversion
data
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310452892.4A
Other languages
English (en)
Inventor
中村泉三郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103714558A publication Critical patent/CN103714558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

提供了一种图像处理装置,包括:图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像,视频输出单元,将所生成的图像作为视频信号输出,以及控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及一种图像处理装置、图像处理方法和程序,更具体地,涉及改变计算机图形(CG)所生成的图像并根据情况获得高附加值的移动图像的图像处理装置。
背景技术
日本专利特开(JP-A)第2007-183737号中已经描述了在状态转换时处理时间轴执行计划的方法,其中,启用对状态转换图的编辑和对时间轴的编辑。
发明内容
根据日本专利特开(JP-A)第2007-183737号中描述的技术,必须将信息设置为时间轴。同时,尚未实现根据操作意图使用动作改变生成的CG图像的方法。
理想地,使得能够根据操作意图使用动作改变生成的CG图像。
根据本技术的实施例,提供了一种图像处理装置,包括:图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;视频输出单元,将所生成的图像作为视频信号输出;以及控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
在本公开中,由图像生成单元通过计算机图形(CG)执行图像合成来生成图像。在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上生成所述图像。视频输出单元将所生成的图像作为视频信号输出。例如,所述复合数据可以具有通过虚拟空间的划分参数获得的每个组的多个状态。
控制单元控制图像生成单元。控制单元控制图像生成单元使得执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。基于复合数据中从第一静态状态转换到第二静态状态的指令执行所述控制。例如,转换指令可以基于来自外部的控制信号。
例如,控制单元可以对于从外部提供的每个同步信号,根据进度率,改变形成虚拟空间的状态的参数的值。所述控制单元可以根据从转换指令开始经过的时间改变进度率。所述控制单元可以根据来自衰减器的衰减值改变进度率。
因此,在本公开中,在具有虚拟空间的多个静态状态的复合数据中从第一静态状态转换到第二静态状态的指令的基础上,由CG执行图像合成,同时根据进度率从第一静态状态转换到第二静态状态。出于这个原因,可以根据操作意图使用动作改变生成的CG图像。
根据本技术的实施例,在作为计算机图形的虚拟空间的描述数据并具有图形结构的复合数据基础上,图像生成单元可通过由计算机图形(CG)执行图像合成来生成图像,在所述图形结构中,在图形结构的节点上布置虚拟空间的多个静态状态并且通过该图形结构的边线连接各节点,并且控制单元可以基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态,所述第一静态状态和第二静态状态通过边线连接。
例如,可配置在图形结构的复合数据的边线中保留时间长度的数据结构并且在执行边线的转换时,控制单元可以使用边线的时间长度。例如,可配置在图形结构的复合数据的边线中保留时间长度的数据结构并且在执行边线的转换时,控制单元可以使用边线的时间长度。
在本公开中,图像处理装置可以进一步包括效果切换器、接收用于从多个选项中选择在效果切换器中提供总线的输入信号的操作并向效果切换器发送控制信号的选择操作单元、以及设置选择操作单元的每个选项的内容的分配单元,从视频输出单元输出的视频信号可以是效果切换器的输入信号之一,分配单元除了设置选择操作单元的每个选项的内容之外,可以向控制单元发送转换目标指令。在这种情况下,通过效果切换器的擦拭(wipe)功能来操作转换的转换触发操作单元可被用作产生用于启动图像生成单元的转换的触发的操作单元,并且转换的进度率可由衰减器推杆操作。
在本公开中,图像处理装置可以进一步包括通过由计算机图形执行图像合成来生成用于预览的图像的预览图像生成单元、以及将所生成的用于预览的图像作为视频信号输出的预览视频输出单元,效果切换器可以具有输出预定用于下一个效果切换器输出的视频信号的预览系统,根据选择操作单元的转换操作,效果切换器可以通过预览图像生成单元在转换完成时生成图像,从预览视频输出单元输出用于预览的图像的视频信号,和从效果切换器的预览系统输出该视频信号。
根据本公开的实施例,可以根据操作意图使用动作改变生成的CG图像。
附图说明
图1是示出根据本公开的第一实施例的图像生成装置的配置示例的框图;
图2是示出复合数据的概念的图;
图3是示出对应于CG复合数据及其转换示例的一组状态的图;
图4是示出控制接收转换目标指令,接收帧同步(VD同步),并执行CG动画输出的流程图;
图5(a)-(c)是示出编辑单元的GUI的图;
图6是示出编辑单元的状态集合生成功能的流程图;
图7是示出编辑单元的自动提取类型状态集合生成功能的流程图;
图8是示出组配置CG复合数据的结构和概念的图;
图9是示出相对于从中读取状态集合生成功能的相同的CG数据操作每个组的GUI的示例的图;
图10是示出编辑单元的状态集合生成功能的流程图;
图11是示出编辑单元的自动提取类型状态集合生成功能的流程图;
图12是示出使用来自外部的控制信号执行状态示目标指令和触发的图;
图13是示出根据本公开的第二实施例的图像生成装置的配置示例的框图;
图14是示出M/E工作台(M/E bank)的配置示例的图;
图15是示出根据复合数据的示例的图形结构的图;
图16(a)-(d)是示出有关状态指令的GUI的示例的图;
图17是示出切换控制台(操作界面)的外观的示例的图;
图18是示出操作者操作CG按钮以从切换控制台的Mix改变的情况下的(点亮)状态的图;
图19是示出将来自图像生成单元的信号作为键信号(key signal)的情况的图;
图20是示出由交叉点列的操作执行转换目标指令的配置的情况的显示示例的图;
图21是示出由键1(Key1)列操作和输入转换目标指令的情况下的显示示例的图;
图22是示出通过委托按钮指定操作对象列、操作交叉点按钮并选择任何一个信号的Aux控制台的图;
图23是示出设置有Util按钮的M/E工作台的控制台的图;
图24是示出设置有Util按钮的M/E工作台的控制台的图;
图25是示出根据复合数据的另一示例的配置的图;
图26(a)-(b)是示出在状态之间的转换过程中通过参数的线性内插法来进行状态改变的配置的图;
图27(a)-(b)是示出在状态之间的转换过程中指定中间变化的内容的配置的图;
图28是示出有效图形结构的复合数据的配置示例的图;
图29是示出具有时间单位的长度,不是%的时间轴的图;
图30是示出在状态之间转换时的具有编辑时间轴的功能的GUI的图;
图31是示出相对于存储的时间轴的整体情况作为状态转换图显示在GUI上的功能的图;
图32是示出当CG时间轴/动画文件存储在目录中时的图;
图33是示出配置有预览系统的电路块的系统配置的图;
图34是示出配置有预览系统的电路块的系统配置的图;
图35是示出组指定操作单元的图;
图36是示出在不使用交叉点连接效果切换器的M/E工作台和图像生成单元的情况下的图像处理装置的配置示例的框图;以及
图37是示出可以并行操作组的控制台的配置示例的图。
具体实施方式
下文中,将参考附图来详细描述本公开的优选实施例。注意,在本说明书和附图中,用相同的标号表示具有基本相同的功能和结构的结构元件,并且省略对这些结构元件的重复解释。
将按照下面描述的顺序进行之后的描述。
1、第一实施例
2、第二实施例
3、变型
<第一实施例>
[图像处理装置的配置]
图1示出根据本公开的第一实施例的图像处理装置100的配置示例。所述的图像处理装置100包括控制单元110、编辑单元120、数据保留单元130、图像生成单元140、视频输出单元150、进度率控制单元160、转换目标指示单元170和接口单元180。
编辑单元120生成复合数据,所述复合数据是计算机图形(CG)的虚拟空间的描述数据,并且具有该虚拟空间的多个静态信息。数据保留单元130保留由编辑单元120编辑的复合数据。图像生成单元140基于在数据保留单元130上保留的复合数据,通过由CG执行图像合成来生成图像。
视频输出单元150将图像生成单元140生成的图像作为视频信号,例如,SDI信号输出。图像生成单元140和视频输出单元150与外部同步信号同步地操作。视频输出单元150与外部同步信号同步地输出视频信号。
控制单元110控制图像处理装置100的每个单元的处理。控制单元110控制图像生成单元140使得图像生成单元140与同步信号同步地生成以帧为单位(以场为单位)的图像。此外,控制单元110导致图像生成单元140执行图像合成,并且基于复合数据中从第一静态状态到第二静态状态的转换指令,根据进度率从第一静态状态转换到第二静态状态。
进度率控制单元160、转换目标指示单元170和接口单元(I/F单元)180连接到控制单元110。进度率控制单元160向控制单元110提供转换的进度率(从开始0%到完成100%)。转换目标指示单元170指定转换目标。也就是说,当作为当前状态的第一静态状态被变换到第二静态状态时,转换目标指示单元170从复合数据的多个静态状态中选择第二静态状态并指定该第二静态状态作为转换目标。I/F单元180从外部向控制单元110提供控制信号。
图2示出复合数据的概念。复合数据包括对于所有虚拟空间状态通用的共有数据和具有每一个虚拟空间状态的不同值的差异数据。图2中,示出了作为虚拟空间状态的五种状态“A”到“E”。
图3示出对应于CG复合数据及其转换示例的一组状态。在这种情况下,状态是指在其中CG数据的虚拟空间的所有参数的值是确定的并且相对于所述状态所生成的图像的内容也是确定的的状态。在虚拟空间中计算作为虚拟相机拍摄虚拟空间得到的图像的图像。但是,由于虚拟相机的参数包括在这种情况下所描述的“状态”中,所述图像被唯一地确定。然而,唯一确定的图像不限于静止图像。根据操作或在一部分中包括重复动画的状态进行物理模拟的状态也包括在这种情况下所描述的状态中。
例如,Collada(注册商标)作为一般CG数据的格式是已知的。Collada是在XML(可扩展标记语言)上实现3D CG数据交换的描述定义。Collada格式的文件可以描述场景图并且可以描述和保留与时间轴/动画或物理模拟有关的信息。
复合数据中的一个状态是使用一个Collada格式的文件描述的虚拟空间的静态状态。为了简化解释,动画被排除在外。文件格式可以是无论转换方法地在其中信息是相同的任何格式。复合数据是可以定义虚拟空间的多个静态状态的数据。
如果简单地合成每个状态的CG数据,就实现了目的。然而,数据量可能过度地增加,有必要执行处理以识别每个状态的不同部分(参数)。因此,如图2所示,在复合数据中,对于一个元件只保留一个在其中所有状态的值不改变的共有数据(非改变部分数据),仅将各个状态的值改变的部分单独保留作为差异数据。由此,数据量可以减少,并且可以减轻转换时的处理负荷。
[数据示例:Collada]
Collada:XML格式
(XML格式本质上是树结构的表。)
(1)材料(Material)内容的Collada格式的描述示例
Figure BDA0000387708080000071
Figure BDA0000387708080000081
在状态A中,当材料定义之间的周围环境的RGBA的R值不同时,它们的描述种类和参数的值的差异数据可以被描述如下。
Figure BDA0000387708080000082
Figure BDA0000387708080000091
(2)通过坐标值定义多边形的Collada格式的描述示例
Figure BDA0000387708080000092
Figure BDA0000387708080000101
(3)虚拟空间中虚拟对象的布置的Collada格式的描述示例
在状态A中,当材料定义之间的周围环境的值不同并且多边形的一部分和布置的一部分不同时,差异数据的描述示例如下。
Figure BDA0000387708080000103
Figure BDA0000387708080000111
图像生成单元140执行呈现。图像生成单元140使用与同步信号同步的帧/场时刻的虚拟空间的参数值,例如几何信息(例如坐标)、表面材料(材料信息,例如颜色),或光(虚拟光源)来为每个帧/场生成位图图像。视频输出单元150将图像生成单元140生成的以帧为单位(或以场为单位)的图像作为SDI信号的视频信号与外部同步信号同步地输出到外部。外部同步信号从外部提供,并且通常也被除该装置以外的设施中的视频设备使用。作为另一个示例,可在该装置中设置振荡器作为标准,可以设置产生同步信号并将所述同步信号提供给外部的终端,并且所述同步信号可被提供给相关联的视频设备。
控制单元110由微型计算机和安装在该微型计算机上的软件来实现,并且控制单独的单元。在控制图像生成单元140时,控制单元110处理控制以与同步信号同步地改变帧单位(或场单位)中的参数。在这种情况下,控制单元110被配置以在微型计算机中接收所述同步信号的中断。控制单元110通过与所述同步信号同步的处理从进度率控制单元160取得进度率。由此,可为每个帧(或为每个场)和虚拟空间的状态的转换更新参数,即,可以推进参数值。
进度率控制单元160向控制单元110提供转换的进度率(从开始0%到完成100%)。转换是一种处理,其中,描述虚拟空间的参数(组)的值从某一个值转换到不同的值并且所生成的图像改变。例如,在虚拟空间中的车辆被包括在图像中的情况下,虚拟空间中该车辆的位置坐标从点P1的状态转换到点P2的状态。在转换的中间,由线性内插法确定位置坐标。当进度率是F%时,在内部将连接点P1和P2的线按照F:(100-F)划分的点成为进度率是F%时的车辆的位置坐标。同样地,根据进度率通过执行内部划分确定除位置坐标以外的参数。
图4是示出控制以接收接收目标指令、接收帧同步(VD同步),并执行CG动画输出的流程图。在步骤ST1中,在当前状态S下,控制单元110从转换目标指示单元170接收表示转换到T的转换目标指令。接着,在步骤ST2中,控制单元110接收帧同步信号。
接着,在步骤ST3中,控制单元110从进度率控制单元160获得新的进度率F%。接着,在步骤ST4中,控制单元110通过线性内插法使得从S改变到T的参数P的值成为F%的值。在步骤ST5中,控制单元110指示图像生成单元140生成帧图像并输出该帧图像。
接着,在步骤ST6中,控制单元110确定F是否是100。当F不是100时,控制单元110返回到步骤ST2并准备接收下一个帧同步信号。同时,当F是100时,转换结束并且对控制单元110的转换的控制结束。此时,当前状态为T。
上述流程图中,示出了使用线性内插法的情况的示例。然而,可以额外地提供指定不同的内插方法的操作单元,并可以使用该不同的内插方法执行处理。例如,考虑下面的通过正弦函数相对于进度率F周期性地改变的函数。
f(F)=(1/2)sin(2πF/100)
使用该函数,通过将f(F)添加到F而得到的值可能替换F并且可以进行内插。在这种情况下,当F是25%时,f(F)变为0.5,而替换值变为0.75。当F为100%时,f(F)变为0,而替换值变为1。与线性内插法不同,这种内插在振荡时成为参数推进的变化。可以使用多种不同的内插方法。
[转换目标指示单元]
将进一步描述状态之间的转换。控制单元110接收转换目标指令以选择不同于当前状态的状态。作为一种接收方法,可以在转换目标指示单元170的GUI(图形用户界面)上显示选择以允许操作者通过操作输入转换目标指令。可替换地,可以使用允许操作者从转换目标指示单元170的按钮的布置中选择一个按钮的方法。在显示选择时,可以显示分配给状态的名称以帮助操作。例如,当有五个从状态A到状态E的状态并且当前状态是状态C时,其它四种状态成为选择。因此,显示状态A、状态B、状态D和状态E的四个按钮。
如果操作者选择任何按钮,则控制单元110从进度率控制单元160获得进度率、内插不同参数的值,并生成和输出对每一帧改变的图像。如果操作者选择任何按钮,则控制单元10可准备进展到选定的状态,等待由单独设置的触发操作单元的触发,并且当接收到触发时,开始进程。
[进度率控制单元]
作为示例,进度率控制单元160通过预先设置的转换率确定每帧(或每场)的进度率。在这种情况下,进度率控制单元160具有嵌入其中的转换率存储单元(存储器)。例如,存储使用帧号表示转换300帧(在30帧/秒,10秒的情况下)的值作为转换率的值。
在这种情况下,在从转换开始的第I帧中,由((I/300)×100)%计算进度率并将其提供给控制单元110。如果转换完成被设置为100,每个输出帧的转换率成为100/(转换时间的帧号)。可以设置通过GUI输入转化率的值的单元,即,将该值写入到存储单元的单元。
作为另一个示例,进度率控制单元160通过衰减器推杆手动地操作进度率。衰减器推杆是一种以模拟方式从一端到一端输入0至100%的机制。在使用衰减器推杆控制的情况下,如果操作者选择任何选项,控制单元110为进入所选状态做准备。如果操作衰减器推杆并且进度率从0%变化,控制单元110使用进度率改变所生成和输出的图像。如果最终衰减器推杆将进度率变为100%,则完成转换。
[编辑单元]
图5是示出编辑单元120的GUI的图。编辑单元120读取由其他装置生成的具有Collada格式的文件。在该文件中,通过多边形描述虚拟对象,并且包括有关虚拟对象的表面的材料信息。即使不由编辑单元120执行处理,也包含足以生成静止图像的一个CG图像的足够信息。
图5(b)示出一种状态,其中,读出“飞机”的CG数据并且显示其呈现结果或多边形。图5(a)示出GUI的每个显示区域的功能。一旦读取了数据,则只存在虚拟空间的一个状态。操作者操作GUI,改变虚拟空间的参数,并注册一个新的状态,从而使新的状态被添加到复合数据中。
例如,作为参数的改变,存在诸如虚拟对象(对象)的移动、扩大和缩小、旋转、分组和处理、添加、以及删除的处理。如果更改操作并按下“注册”按钮,则显示为状态分配名称的输入功能。如果输入了名称,则添加并存储一个状态。回想按钮是显示以前注册的状态的功能。图5(c)示出已从图5(b)执行了移动和缩小(缩放)的(简单的)示例。
图6是示出编辑单元120的状态集合生成功能的流程图。在步骤ST11中,编辑单元120读取CG(场景图)并显示CG。接着,在步骤ST12中,编辑单元120接收CG内容的改变(参数的改变)。在步骤ST13中,编辑单元120接收对状态的注册操作。在步骤ST14中,编辑单元120接收对注册名称的输入。
接着,在步骤ST15中,编辑单元120将标识符和更改的参数的值与已注册的名称相关联并存储关联结果。在步骤ST16,编辑单元120确定关联和存储是否完成。当尚未完成关联和存储时,编辑单元120返回到步骤ST12并重复与上述处理相同的处理。
同时,当完成关联和存储时,在步骤ST17中,编辑单元120将在所有状态中没有改变的参数存储作为非改变部分数据(共有数据)。在步骤ST18中,编辑单元120将每个注册的状态的每个参数存储为各状态的一组标识符和值(标签数据)。由此,编辑单元120结束状态集合生成。
当添加或删除虚拟对象时,在状态之间的转换期间,虚拟对象的处理方法不是仅由内插确定。在这种情况下,在不存在虚拟对象的情况下,假设在与虚拟对象存在的情况下的相同位置处存在零尺寸的虚拟对象,内插一个尺寸,则启用与其他情况相同的转换。可替换地,作为另一种方法的示例,在不存在虚拟对象的情况下,虚拟对象的全部表面材料(表面材料)可被设置为透明材料(α为0)并且可在转换时内插α,使得转换可以逐渐出现在图像中。
[编辑单元(自动提取类型)]
将描述编辑单元120的另一个示例。在上述示例中,编辑单元120读取静止图像的CG数据并处理该CG数据。在这个示例中,编辑单元120读取具有时间轴/动画的CG数据(具有Collada格式的文件)。在时间轴/动画中,在时间轴上存在多个关键帧点(key frame point)。相对于时间轴对象的参数,为每个关键帧点写入一个值。在这个示例中,关键帧点被作为静态状态提取并且每个关键帧点被存储为复合数据中定义了所有参数的一个状态。可以自动分配每个状态的名称。在这种情况下,分配例如顺序号码或A、B、和C的名称。
图7是示出编辑单元120的自动提取类型状态集合生成功能的流程图。在步骤ST21,编辑单元120读取具有时间轴/动画的CG数据。在步骤ST22,编辑单元120设置第一关键帧点作为处理对象关键帧点。
接着,在步骤ST23,编辑单元120为处理对象关键帧点自动分配一个名称。在步骤ST24,编辑单元120将时间轴对象的参数的标识符和处理对象关键帧点的值与注册的名称相关联并存储关联结果。
接着,在步骤ST25,编辑单元120确定是否完成关联和存储。当尚未完成关联和存储时,编辑单元120前进到步骤ST29,设置处理对象关键帧点作为下一个关键帧点,返回步骤ST23,并重复与上述处理相同的处理。同时,当完成关联和存储时,在步骤ST26,编辑单元120将未成为时间轴对象的参数存储为非改变部分数据(共有数据)。在步骤ST27,编辑单元120将每个注册的状态的成为时间轴对象的每个参数存储为各状态的一组标识符和值(标签数据)。由此,编辑单元120结束状态集合生成。
[层级/组]
在上述示例中,相对于虚拟空间的所有参数相同地处理状态转换。同时,通过将虚拟空间的参数划分为组,并相对于多个组中的每一个分别地处理状态转换,使得更高附加值的视频操作成为可能。
图8示出组配置CG复合数据的结构和概念。虚拟空间的参数被划分为三个组1、2和3。组2未设置为操作对象。在组1中,在复合数据中存储每五个状态的值。在组3中,在复合数据中存储每三个状态的值。
作为向控制单元110输入转换目标指令的转换目标指示单元170,相对于组1设置操作和输入除当前状态外的四个选择的GUI,并且相对于组3设置操作和输入除当前状态外的两个选择的GUI。由此,组1和3的参数组可被独立和立即地转换到任何状态。
例如,如果相对于虚拟空间中的某个虚拟对象将位置设置在组1中并且将旋转角度设置在组3中,则关于位置和旋转角度能够平行和独立地操作。可替换地,如果将位置和旋转角度设置在组1中并且将表面颜色设置在组3中,则操作位置和旋转角度时可以独立地改变颜色。
已经存在通过旋钮来操作CG虚拟空间的参数的技术。然而,在像位置和旋转角度的多个参数的组的情况下,即使通过旋钮操作构成向量值的多个标量值,立即良好的操作也是困难的。同时,在本公开中,为了预先注册每个参数的状态和将状态转换到注册的状态,即使改变了多个标量值,也可通过一个操作将状态转换到所希望的状态。可以通过将参数划分为组来进该操作。
在在一个状态空间中操作位置和颜色的情况下,当注册了五种位置和三种颜色时,生成总共15种状态。同时,如图8所示,如果在不同的状态空间中操作位置和颜色,选择是8(5+3),并且可以容易地操作具有多种变化的图像的移动。
作为参数的组划分,例如,在一个人进入车辆的虚拟空间中,可将车辆的位置设置为一个组,将进入车辆的人的移动(姿势)设置为一个组。如果进入车辆的人成为车辆位置之后的场景图配置(组配置;与本文描述的组不同的组的配置),可以分别操作车辆的位置和车辆中的人的方面。成为状态转换对象的组并不限于两个。
编辑单元120相对于读出的同样的CG数据为每个组操作状态集合生成函数。首先,编辑单元120显示图9示出的GUI,对于一个组选择新的生成(新建New)(促使输入一个名称)以形成状态组,并显示编辑(编辑组状态集合Edit Group Status Set)按钮。如果“编辑”按钮被点击,编辑单元120显示与图5相同的GUI并接收参数的改变和状态的注册。然而,对于已成为不同组中的改变对象的参数,编辑单元120不接收改变操作。
图10是示出编辑单元120的状态集合生成功能的流程图。图10中,添加了拒绝改变操作的步骤。在步骤ST31,编辑单元120读取CG(场景图)并显示该CG。接着,在步骤ST32,编辑单元120接收CG内容的改变(参数的改变)。
接着,在步骤ST33,编辑单元120确定改变操作是否是相对于在其他组中改变的参数的改变操作。当改变操作是相对于在其他组中改变的参数的改变操作时,在步骤ST34,编辑单元120在不接收改变的情况下取消改变并显示表示该改变已被取消的信息。编辑单元120返回到步骤ST32。同时,当改变操作不是相对于在其他组中改变的参数的改变操作时,在步骤ST35,编辑单元120接收状态的注册。在步骤ST36,编辑单元120接收已注册名称的输入。
接着,在步骤ST37,编辑单元120将改变的参数的标识符和值与已注册的名称相关联并存储关联结果。在步骤ST38,编辑单元120确定是否已完成关联和存储。当尚未完成关联和存储时,编辑单元120返回到步骤ST32并重复与上述处理相同的处理。
同时,在已完成关联和存储时,在步骤ST39,编辑单元120将在所有状态中没有改变的参数存储作为非改变部分数据(共有数据)。在步骤ST40,编辑单元120将每个注册的状态的每个参数存储为各状态的一组标识符和值(标签数据)。由此,编辑单元120结束状态集合生成。
首先,编辑单元120可以执行参数的组定义。接着,编辑单元120可以接收图5所示的编辑操作或对于每个参数使用数值输入的编辑操作。在组定义中,通过树来显示CG虚拟空间的参数,选择该树的一部分(在参数不是独立参数的情况下是父节点),并且该部分被定义为一个组并被存储。然后,编辑单元120选择所定义的组,接收编辑操作,并在复合数据中存储该组的状态组。图5所示的CG显示的GUI或通过数值直接输入组中的参数并注册一个结果作为状态的单元可以接收编辑操作。
在上述示例中,编辑单元120读取静止图像的CG数据并处理该CG数据。在下一示例中。编辑单元120读取具有时间轴/动画的CG数据(具有Collada格式的文件)。在具有时间轴的CG数据中,存在具有多个时间轴的CG数据。具体地,时间轴被划分为一些部分,不是改变对象的所有参数集合的收集,并且关键帧点的位置是不同的。如果将关键帧点的所有位置都相同的时间轴的参数收集作为相对于CG数据的一个组,则可以自动生成上述组(参数的组划分)。然后,该状态被注册为每个组的每个关键帧点的状态。
图11是示出编辑单元120的自动提取类型状态集合生成功能的流程图。在步骤ST51,编辑单元120读取具有时间轴/动画的CG数据。在步骤ST52,编辑单元120检查该时间轴并为所有关键帧点的位置(时间)是相同的每个时间轴执行数据组。
接着,在步骤ST53,编辑单元120对于每个组的时间轴执行以下的处理。在步骤ST54,编辑单元120将第一关键帧点设置为处理对象关键帧点。在步骤ST55,编辑单元120为处理对象关键帧点自动分配一个名称。
接着,在步骤ST56,编辑单元120将时间轴对象的参数的标识符和处理对象关键帧点的值与已注册的名称相关联并存储关联结果。在步骤ST57,编辑单元120确定是否已完成一个组的关联和存储。当尚未完成一个组的关联和存储时,编辑单元120前进到步骤ST61,设置处理对象关键帧点作为下一个关键帧点,并返回到步骤ST55。当完成一个组的关联和存储时,编辑单元120前进到步骤ST58的处理。
在步骤ST58,编辑单元120确定是否已完成所有组的关联和存储。当尚未完成所有组的关联和存储时,编辑单元120返回到步骤ST53。同时,当已完成所有组的关联和存储时,编辑单元120前进到步骤ST59的处理。在步骤ST59,编辑单元120将未成为时间轴对象的参数存储作为非改变部分数据(共有数据)。在步骤ST60,编辑单元120将每个注册的状态的成为时间轴对象的每个参数存储为各状态的一组标识符和值(标签数据)。由此,编辑单元120结束状态集合生成。
[链接转换]
将描述例如温度下降时在虚拟空间中形成降雪和冰的情况的链接转换。I/F单元180从外部向控制单元110提供控制信号。在上述示例中,转换目标指令是来自GUI的手动操作输入。但是,该控制可以被配置为通过来自外部的控制信号执行转换目标指令和触发。
例如,使用温度数据作为控制的基础数据,并且可以根据温度将温度数据与状态A至E相关联。状态A的温度数据可以被设置为0度或更小,状态B的温度数据可以被设置为0到10度,状态C的温度数据可以被设置为10到20度,状态D的温度数据可以被设置为20到30度,并且状态D的温度数据可以被设置为30度或更高。配置控制使得温度改变时在同一时间执行转换(触发)。图12示出通过控制所生成的CG图像的示例。如上所述,对于相同的虚拟对象,在进行转换时内插参数。出于这个原因,当尺寸改变时,虚拟对象表现为尺寸逐渐改变。作为附加控制功能,在温度改变后,在预定秒的范围内执行触发的配置(延迟时间的设置)被启用。
[根据条件的转换限制]
考虑根据情况(外部因素)向转换施加限制的配置。例如,向转换施加如下的限制。即,(1)当输入图像之一(在根据本公开的装置从外部接收图像信号的配置的情况下的来自外部的一个或多个图像信号)是在NG图像中时,施加限制使得NG图像不被包含在输出图像中,和(2)在向输出图像添加市场的股票价格曲线图的配置的情况下,施加限制使得实时股票价格曲线图不被包括在输出图像中,直到市场开盘。
通过来自外部的控制信号,转换目标指令或转换执行状态中的选择可能受到限制。例如,可以根据时间从6:00到18:00和一天中的其他时间改变转换状态。例如,可以使用根据输入图像被纹理映射到虚拟对象的表面时使用或不使用输入图像的内容,来允许或禁止转换到虚拟对象被包含在输出图像帧中的状态并且将结果包含在输出图像中的配置。
如上所述,在图1所示的图像处理装置100中,在具有虚拟空间的多个静态状态的复合数据中从第一静态状态转换到第二静态状态的指令的基础上,由CG执行图像合成,同时根据进度率从第一静态状态转换到第二静态状态。出于这个原因,可以根据操作者的操作意图使用动作改变生成的CG图像。
<2.第二实施例>
[图像处理装置的配置]
图13示出了根据本公开的第二实施例的图像处理装置100A的配置示例。在图13中,使用相同的标号表示对应于图1的部分并省略其解释。图像处理装置100A包括控制单元110、计算机图形(CG)制作单元200、编辑单元120、数据保留单元130、网络210、图像生成单元140和图像映射单元220。图像处理装置100A还包括矩阵开关230、切换器控制台240和M/E工作台250。控制单元110、编辑单元120、数据保留单元130、图像生成单元140和CG制作单元200连接到网络210。
使用具有CG制作软件的个人计算机(PC)来配置CG制作单元200。CG制作单元200输出具有预定格式的描述数据。例如,Collada(注册商标)作为CG描述数据的格式是已知的。Collada是在可扩展标记语言(XML)上实现3D CG数据交换的描述定义。例如,在CG描述数据中,描述了下面的信息。
(a)材料的定义(表面外观)
材料的定义是CG对象的表面的材料(可见性)。在材料的定义中包括例如颜色、反射方式、点亮和不均匀度的信息。在材料的定义中也可包括纹理映射的信息。纹理映射是一种将图像附加在上述CG对象上的方法,并能在相对地减轻处理系统的负荷的同时表示复杂图案。
(b)几何信息的定义
在几何信息的定义中包括例如关于多边形网格的位置坐标和顶点坐标的信息。
(c)相机的定义
在相机的定义中包括相机的参数。
(d)动画的定义
在动画的定义中包括动画的每个关键帧中的各种信息。在动画的定义中包括动画的每个关键帧的时间信息。所述各种信息是例如相应的对象(节点)的关键帧点的时间、位置和顶点的坐标值、尺寸、切线向量、内插方法,以及动画中每个信息的改变的信息。
(e)位置、方向和场景中节点(对象)的尺寸的定义、相应的几何信息定义和相应的材料定义
上述信息不是分散的,并且按照如下方式关联。
·节点···几何信息
·节点···材料(多个)
·几何信息···多边形集合(多个)
·多边形集合···材料(对应于节点的材料之一)
·动画···节点
构成一个屏幕的描述被称为场景。每个定义被称为库并从场景中引用。例如,当存在两个长方体对象时,每个对象被描述为一个节点并且任何一个材料定义与每个节点相关联。因此,材料定义与每个长方体对象相关联并且使用具有根据每个材料定义的反射特性的颜色绘制每个长方体对象。
可替换地,使用多个多边形集合描述长方体对象。当材料定义与多边形集合相关联时,使用对于每个多边形集合不同的材料定义绘制长方体对象。例如,长方体的表面是6。然而,可以使用三个多边形集合描述长方体对象,其中,在三个表面上使用一个多边形集合,在一个表面上使用一个多边形集合,在两个表面上使用一个多边形集合。由于不同的材料定义可以与每个多边形集合相关联,可以使用对每个表面不同的颜色来绘制该对象。
当对于材料定义指定纹理映射时,基于图像数据的图像被纹理映射到相关联的对象表面。
例如,进行设置以将图像纹理映射到材料定义。出于这个原因,相同的图像可以被纹理映射到长方体对象的所有表面并且对于每个表面不同的图像可以被纹理映射。
编辑单元120基于由CG制作单元200生成的CG描述数据生成具有虚拟空间的多个静态信息的复合数据。数据保留单元130保留由编辑单元120编辑后的复合数据。图像生成单元140基于数据保留单元130中保留的复合数据,通过由CG执行图像合成来生成图像,并输出图像数据Vout至输出端140a。
矩阵开关230有选择地从多个输入图像(输入图像数据)中提取预定的图像(图像数据)。矩阵开关230有多个输入线311,多个输出总线线路312和多个交叉点开关组313。矩阵开关230构成效果切换器的一部分。矩阵开关230向对应于外部装置的图像映射单元220提供图像数据和向内部的M/E工作台250提供图像数据。
每个交叉点开关组在每个交叉点处执行每一个连接,在所述交叉点处,多条输入线和多条输出总线交叉。基于用户的图像选择操作,在每个交叉点开关组控制连接,并且输入到多条输入线的任何一个图像数据被有选择地输出到每条输出总线。
在本实施例中有10条输入线,从VTR和摄像机将图像数据输入到多条输入线中的输入线“1”到“9”,将从图像生成单元140输出的CG图像数据输入到输入线“10”。多条输出总线中的部分输出总线是用于向图像映射单元220提供用于纹理映射(映射输入)T1到T4的图像数据的总线。多条输出总线中的部分输出总线构成用于外部输出的图像数据OUT1到OUT7的输出线。
图14示出M/E工作台250的配置示例。M/E工作台250包括输入选择单元15、键处理器(键处理电路)51和52、混合器(图像合成单元)53和视频处理单元61至63。输入选择单元15将每条输入线16连接到键源总线11a和12a、键填充总线11b和12b、背景A总线13a、背景B总线13b和初级输入总线14。
在每条输入线16和键源总线11a和12a之间设置键源选择开关1a和2a以从输入线16的多个图像信号中选择键源信号。在每条输入线16和键填充总线11b和12b之间设置键填充选择开关1b和2b以从输入线16的多个图像信号中选择选择键填充信号。
由键源选择开关1a和2a选择并且在键源总线11a和12a中被提取的键源信号被发送到键处理器51和52。由键填充选择开关1b和2b选择并且在键填充总线11b和12b中被提取的键填充信号被发送到键处理器51和52。键填充信号是作为前景视图来叠加背景图像的图像信号,键源信号是指定键填充信号的叠加区域、背景图像的切割形状和相对于背景图像的键填充信号的密度的信号。
在每条输入线16和背景A总线13a之间设置背景A选择开关3a以从输入线16的多个图像信号中选择背景A信号。在每条输入线16和背景B总线13b之间设置背景B选择开关3b以从输入线16的多个图像信号中选择背景B信号。在每条输入线16和初级输入总线14之间设置初级输入选择开关4以从输入线16的多个图像信号中选择初级输入信号。
由背景A选择开关3a选择并且在背景A总线13a中被提取的背景A信号通过视频处理单元61被发送到混合器53。由背景B选择开关3b选择并且在背景B总线13b中被提取的背景B信号通过视频处理单元62被发送到混合器53。由初级输入选择开关4选择并且在初级输入总线14中被提取的初级输入信号通过视频处理单元63被发送到混合器53。
键处理器51和52是基于作为执行键控的各种参数的键调整值来调整和处理键填充信号和键源信号以适应键控的电路。键调整值是下列值。即,键调整值是相对于背景图像来调整键填充信号的密度的值,是调整被确定为键源信号的图像的信号电平的阈值的值,是调整键源信号的位置的值,是调整键填充信号的减小率的值,以及是有关背景图像的边界线的调整值。
由键处理器51和52调整和处理的键填充信号和键源信号被发送到混合器53。该混合器53是使用来自键处理器51和52的键填充信号和键源信号,通过键控将前景视图图像叠加在背景图像上的电路。此外,混合器53具有如下功能:将通过视频处理单元61发送的背景A信号和通过视频处理单元62发送的背景B信号相结合,生成背景图像,并基于在合成中使用的擦拭(wipe)执行背景图像的切换转换。程序输出端是从混合器53经由程序输出线251到外部的输出端。预览输出端是从混合器53经由预览输出线252到外部的输出端。
控制单元110控制图像处理装置100A的每个单元的处理。控制单元110控制图像生成单元140使得图像生成单元140与同步信号(外部同步信号)同步地以帧为单位(以场为单位)生成图像。此外,控制单元基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
切换器控制台240接收矩阵开关230的操作输入指令。虽然未在图14中示出,切换器控制台240包括操作矩阵开关230的每个交叉点开关组的开启/关闭开关的按钮列。切换器控制台240还具有接收关于控制单元110的各种操作输入的功能。即,切换器控制台240具有进度率控制单元160和转换目标指示单元170。
进度率控制单元160向控制单元110提供转换的进度率(从开始0%到完成100%)。转换目标指示单元170指定转换目标。也就是说,当将作为当前状态的第一静态状态转换到第二静态状态时,转换目标指示单元170指定第二转换目标作为转换目标。
[图形结构]
图15示出根据复合数据的示例的图形结构。一个参数组中的每个状态通过图形的边线连接以形成图形结构。显示通过边线连接到当前状态的状态(节点)作为转换目标指令的选项。例如,在当前状态是状态A时,只存在一个选项C。在当前状态是状态D时,存在三个选项B、C和E。操作者从所显示的选项中选择一个选项,执行触发,并将当前状态转换到所选状态,这样操作者可以改变输出图像。在这种情况下,配置在图形结构的复合数据的边线中保留时间长度的数据结构。当控制单元110执行边线的转换时,控制单元110使用该边线的时间长度。
例如,在虚拟空间中布置有机器人的情况下,将机器人在睡眠的状态设置为A,将机器人起身的状态设置为C,将机器人站立的状态设置为D,将机器人向前迈进了一步的状态设置为B,已经将机器人举手的状态设置为E,如果不经中间状态C地从机器人睡眠的状态切换到机器人站立的状态,即使内插例如每个单元的坐标值的几何信息,也不能得到自然的移动。出于这个原因,使用各状态作为节点,只通过图形结构经由边线连接具有适当的转换的状态,使得在即时操作处理中只输出自然的CG图像。
图16示出有关转换指令的GUT的示例。图16(a)示出输入转换目标指令前的GUI显示。在该情况下,图16(a)示出图15的组1的示例。如果按下(点击)选择按钮,显示变为图16(b)的GUI显示。该GUI是输入转换目标指令的GUI。在“接续”(Next)列表框中显示从当前状态的转换可被启用的状态列表。不显示在其中禁用转换的状态。
如果选择状态列表中的一个并按下“确定”按钮,则完成了转换目标指令的输入。图16(c)示出已经确定了转换目标(下一个)的状态的显示。如果按下“转换执行”按钮,则转换开始。在执行转换过程中,显示图16(d)所示的进度条。上面描述了使用GUI的示例。然而,可由控制台的显示器/按钮实现相同的UI。
图17示出切换器控制台240的外观(操作界面)的示例。在图17的右端的一侧示出了操作图像合成/切换的转换(即,转换)的块(操作器的组)的示例。转换目标选择按钮(下一转换选择)25确定由所述块控制的转换函数。也就是说,转换目标选择按钮25指定下一执行的转换是切换(替换)背景总线的A总线和B总线的操作还是切换任何键控器的开启/关闭的操作。
在切换器控制台240中,存在具有两个系统键1(Key1)和键2(Key2)的键控器。键控器的系统的数量可以大于2或小于2。交叉点按钮列23和24用于选择键1系统和键2系统的输入图像。交叉点按钮列21和22用于选择背景总线的A总线和B总线的输入图像。交叉点按钮列具有操作控制以向相应总线提供对应于按下的按钮的输入信号(视频)的功能。
当可以选择转换的进展方法中的正常和反向以及进展方法时,方向指定按钮26接收指定操作。“正常-反向”(正常-反向Normal-Rev)按钮27接收指定操作以交替切换正常和反向并操作进展方法。衰减器推杆102是手动控制转换的进度的操作器。
“自动转换”(自动转换AutoTrans)按钮28指示以自动执行转换的进行(与时间成正比地进展以在预定的时间进展到100%)。转换类型选择按钮31是选择转换类型的按钮。在这种情况下,除了混合(按参数的比例叠加和合成整个屏幕)和擦拭(屏幕被擦拭图案波形划分和合并),可以选择和操作任何CG(CG图像的叠加和合成)。十键输入单元32是可以输入数值的按钮组,并且可以输入如擦拭图案的序号等的数字。
每个按钮都可以被配置以在界面上具有字符显示器,使得能够设置功能,并能够按显示器动态分配显示该功能。显示器33显示擦拭号或通过操作指示的转换目标。源名称显示器栏30显示与矩阵开关的索引号相关联的字符信息,所述矩阵开关的索引号对应于布置在下方的按钮的按钮数。字符信息存储在没有在附图中示出的切换器控制台240中的存储器中,用户可以设置该字符信息。
接着,将描述用于通过切换器控制台240操作和输入转换指令的序列和根据该序列的显示(响应)。在图17的示例中,转换类型选择按钮31选择“混合”并且在M/E工作台250的混合器53中处理基于淡入(fade-in)和淡出(fade-out)的图像交换。
因为选择键1作为转换目标,如果通过按压“自动转换”按钮或操作衰减器推杆来执行转换,这成为通过淡入来出现键1的图像叠加的处理。接着,如果执行转换,则执行淡出。通过经由交叉点按钮的键1列选择(按下)图像可以操作出现的图像。
如果操作者按下CG按钮以从“混合”改变,状态变为图18所示的(点亮)状态。在这种状态下,在键1的输入总线中,交叉点选择来自图像生成单元的输入信号。此外,进行控制使得由键图像处理单元和混合器执行叠加作为前景视图的键1的图像的图像信号处理。
通过由键信号确定像素集合作为前景视图来执行叠加。如图19所示,当将来自图像生成单元140的信号作为键信号时,使用色度键或亮度通过键处理来确定叠加的像素(密度/α)。作为另一示例,可由图像生成单元140与CG图像生成同时地生成键信号的内容,可以进一步设置一条输出线,并经由交叉点向键图像处理单元提供键信号的内容。在这两种情况下,键信号处理和叠加处理都是在CG数据的基础上执行的。
在图18的状态中,图像生成单元140的图像已经叠加了M/E工作台250的输出图像。然而,如果图像生成单元140的输出图像处于屏幕上没有东西的状态下,即,处于没有虚拟对象的虚拟光或反射光的黑暗状态下,输出的图像不叠加。
在图18的状态中,交叉点按钮的键1列进入这样一种状态,在该状态中,没有按钮成为所选的显示(点亮)。这表明,选择了正常输入信号以外的信号。当用于从图像生成单元140选择输入信号的按钮被分配(指派)给交叉点按钮时,可由交叉点按钮的键1列点亮该按钮。也就是说,这对应于以下情况,其中,对应于图13的第十条输入线图的按钮被分配给交叉点按钮。将图13的输入信号的编号表示为10以简化图示。但是,输入信号的数量不限于10。
为了选择图18的情形中的转换目标的状态,通过十键输入单元32上的数字指定该状态。预先向每个状态(按顺序)分配数字。可替换地,通过与图18中不同地设置的GUI来从图16(B)所示的屏幕上选择转换目标的状态。所选转换目标的状态将作为转换目标指令显示在显示器上。例如,在图18中,显示“002状态B”。
如果通过按下“自动转换”(自动转换Auto Trans)按钮28或操作衰减器推杆102来执行转换,通过参数内插将键1列的图像的状态从图像生成单元140的初始状态转换到所指示的状态。如果转换结束(Auto Trans完成/衰减器抖动),可以选择不同的状态作为转换目标,并可执行到该不同的状态的转换。
在自动转换按钮28的处理中,控制衰减器的值使得通过进度率控制单元160将在一段转换时间内的转换进度作为转换率或持续时间预先存储在存储器中(时段存储单元)。可以通过数值输入单元(十键或GUI)改变(向时段存储单元写入)转换率。
通过衰减器推杆102进行转换时,进度率成为根据手动操作的从0%到100%的值,并由根据进度率内插的参数产生CG图像。由于执行了推杆操作,可能执行向上和向下的操作。从切换器控制台240向控制单元110发送进度率的控制信号。
图20示出作为另一实施例的通过操作交叉点列来执行转换目标指令的配置的情况的显示示例。在图18中,交叉点按钮的键1列熄灭。然而,在图20中,如果操作者按下CG按钮,交叉点按钮的键1列起到对应于图像生成单元140的虚拟空间的状态的按钮列的作用。
如果按下键1按钮,在按下键1按钮的过程中在源名称显示器30上显示分配内容。图20中示出此显示并且按钮从左侧起对应于状态A、状态B……。在图20中,状态D的按钮被点亮,这示出了当前的状态。
为了操作和输入从当前状态开始的转换的转换目标指令,在键1列按下对应于不同状态的按钮。例如,如图21所示,如果按下第三个按钮“状态C”,使用不同的颜色(例如,明亮的颜色或闪烁)点亮该按钮。此外,如果按下对应于可能不会选择的状态的按钮,则不响应。
如果通过按下“自动转换”按钮或操作衰减器推杆102来执行转换,通过参数内插将键1列的图像的状态从图像生成单元240的初始状态(状态B)转换到所指示的状态(状态C)。如果转换结束(Auto Trans完成/衰减器抖动),可以通过交叉点按钮的键1列选择可选的不同状态作为转换目标。
在图20和21的源名称显示器30的最右边显示了“Titl”。“Titl”表示在将转换类型(转换类型TransType)切换到CG之前由键1列选择的交叉点并依然作为键1列交叉点按钮的选项。如果通过键1列交叉点按钮按下“Titl”,转换类型从CG返回到初始的混合,键1列交叉点按钮的功能返回到初始的功能,并且状态返回到“Titl”被选中的状态。在这种情况下,示出了键1列交叉点按钮的功能只剩余一个选项的情况的示例。然而,为了使多个选项留下,可以对于交叉点按钮列设置功能分配。
[纹理映射]
在图13中,从交叉点向图像生成单元140提供四个图像信号(T1、……和T4)。这些图像信号成为可用于CG图像生成时的纹理映射的图像信号。在图像生成单元140中,通过设置初始CG数据或按照操作的指令,输入图像信号被纹理映射到虚拟对象的表面并生成输出图像。由交叉点从输入图像信号中选择所述四个图像信号。然而,所述操作是通过在切换器控制台240中设置Aux控制台(辅助控制台)来执行的。
通过图22所示的Aux控制台中的委托(Delegation)按钮来指定操作对象列,操作交叉点按钮(Xpt),则选择任一信号。可替换地,作为另一示例,通过M/E工作台的控制台进行四个图像信号的选择。也就是说,作为不同于图19和20的例子的示例,使得交叉点按钮的键1列起到纹理映射的四个图像信号的选择功能的作用。
如图23所示,在M/E工作台的控制台中设置Util按钮。如果操作者按下CG按钮,键1列交叉点按钮成为操作Aux1(T1)的交叉点的按钮列。如图23所示,当点亮第一按钮时,这意味着选择了分配给第一按钮的输入图像信号的交叉点。
在点亮CG按钮的状态下,可通过进行显示/操作并同时按下Util按钮来执行Aux2、Aux3和Aux4总线的交叉点的操作。也就是说,在持续按下Util按钮的状态下,A列成为执行Aux2的操作的按钮列,B列成为执行Aux3的操作的按钮列,键2列成为执行Aux4的操作的按钮列。在持续按下Util按钮的状态下,在图24的点亮的情况下,Aux1中的交叉点选择VTR1信号,Aux2和Aux3中的交叉点选择VTR2信号,Aux4中的交叉点选择CAM2信号,并且提供这些信号用于纹理映射。
由下列表来存储对交叉点按钮的输入信号的分配。将特别定义的、不同于终端号码的数字分配给内部信号,并且由该数字识别电路块的信号。例如,选择附图中未示出的图像存储器的输出。
Figure BDA0000387708080000281
Figure BDA0000387708080000291
[定义了通道的时间轴的情况]
图25示出复合数据的又一示例的配置。在上述图15的复合数据的示例中,边线中不存在有关转换处理的信息。在图25的复合数据的示例中,边线中包括时间轴的信息。在图15的示例中,在状态之间的转换过程中,通过线性内插两个状态的两个点之间的参数来推进CG的改变。例如,如图26(a)所示,包括了状态A和状态C的信息。如图26(b),在从状态A转换到状态C时,状态A被设为0%,状态C被设为100%,根据从0%到100%的进度率的变化来线性内插参数的值。
同时,在图25的示例中,可以指定中间的变化的内容,而不是内插两个状态。作为示例,在图27(a)中示出的信息被存储在时间轴1中。时间轴1具有这样的信息,其中,状态A被设为0%,状态C被设为100%,通过%指定在中间过程中成为关键帧的点,并且指定在该时间点的组1的参数的值。
在这种情况下,在从状态A转换到状态C的过程中,执行与图15的示例的情况相同的操作(功能)。然而,如图27(b)所示,在转换过程中图像输出的变化变得不同。当状态A进展到状态C或状态C进展到状态A时,即使时间轴1是相同的,进展方向也变成相反的。因此,启用了复杂转换并且提高了输出图像的附加值。
[无向图和有向图]
在上述示例中,图形是无向图,如果启用从任何状态P到任意状态Q的转换,也启用了从状态Q到状态P的转换。同时,可以使用这样的配置,其中复合数据具有有向图的配置并且禁用反向转换。图28示出具有有效的图形结构的复合数据的配置示例。
在此配置示例中,已启用从状态D到状态B的转换。但是,禁用了从状态B到状态D的转换。作为上述配置在其中显示效果的图像的内容,当将对象的下降方面设置在时间轴中时,优选不按照反方向推进时间轴,因为会产生不自然的图像。当包含这个变化时,对有向图的利用增加了输出图像的附加值。图28示出一种在有向图的边线中包括时间轴信息的配置。不同于图25的示例,图28的每个时间轴不反向推进。
[持续时间(定义了长度的时间轴的情况)]
图27所示的时间轴不包括时间长度信息并且通过时间轴上的进度率%描述关键帧的位置。如图29所示,图25和26所示的时间轴可以被配置为具有时间单位的长度而不是%的时间轴。在这种情况下,当执行转换时,在控制进度率时,存在以下选项(1)至(3)。
在(1)和(2)中,分配给时间轴的时间信息被忽略,并且仅被参照作为相对于整个部分的比例。在这种情况下,设置一种不同的自动转换(自动转换AutoTrans)按钮作为区分(1)和(3)的操作单元。
(1)单独使用转换率集合的自动转换(自动转换AutoTrans)
(2)任何衰减器推杆的任何手动操作
(3)按照时间轴的时间单位长度的自动转换
[为持续时间分配系数]
在上述(3)中,可以操作与时间轴的长度相乘的一个值。例如,可以通过旋转旋钮操作系数,并可以指定在短时间内或长时间内转换状态。可在转换的中间过程中操作旋转旋钮并且转换可以被加速或减速。也就是说,可以执行控制使得在任何时候读取旋钮的值并增加或减少进度率。作为衰减器/曲线函数,系数可被用作时间单元或进度率的函数。与依照相关技术的图像效果相类似,衰减器/曲线函数可应用于(1)至(3)中的任何一个。
[编辑装置(更广泛的概念)]
图30示出在状态之间转换时编辑时间轴的功能的GUI。图30的GUI除了图5所示的状态的注册功能之外,还执行在转换前选择一个状态和在转换后选择一个状态并编辑时间轴以生成边线的时间轴的功能。
在图30中,向右的箭头表示对于状态从左边状态向右边状态转换的情况下的编辑屏幕。这适合于有向图的复合数据。然而,在无向图的复合数据的情况下,沿两个方向设置箭头方向成为直观的显示。在图30的下端,显示了时间轴。在时间轴的最左侧是作为转换前的状态的状态D,在时间轴的最右侧是作为转换后的状态的状态B。相对于时间轴上的进展中的数据指定时间轴上的位置(向下三角形),由CG显示单元和参数操作功能编辑CG的状态,并且该状态被“关键帧设置”(KeyFrame Set)按钮注册为时间轴上的关键帧。如果状态被注册,则使用钻石类型显示该状态。
如果对时间轴的编辑结束,按下“存储时间轴”(Store Timeline)按钮,则该时间轴被作为从状态D转换到状态B的时间轴存储在复合数据中。如图31所示,相对于存储的时间轴的整体情况,提供了显示在GUI上的作为类似图25和26的状态转换图的功能以便于理解该情况。如果点击图31的每个时间轴的矩形,该屏幕可以改变到图30的编辑屏幕。
作为另一示例,可以取代单一的文件使用通用文件系统的目录结构来保留复合数据的结构。通过使用这种方法,可由一般的CG编辑软件容易地进行编辑,并能容易地取得结果。
一般的CG时间轴/动画的一个文件保留一个时间轴。在根据本公开的复合数据的情况下,所述状态从一个状态进展到多个时间轴。出于这个原因,一种收集具有相同的时间轴起点的状态的多个文件的方法是必要的。可以使用文件系统中的文件的任何属性。例如,采用一种将文件存储在同一目录下或按部分文件名来显示文件的方法。这也适用于终点。
将描述一种按目录显示(标识)起点和按部分文件名显示终点的方法的示例。以状态A开始的时间轴的CG时间轴/动画文件存储在目录状态A。相对于其他状态B、C、D和E,同样地,提供了状态B、状态C、状态D和状态E的目录。在状态B结束的时间轴的CG时间轴/动画的文件名称被设为XXX_To_StatusB.dae。然而,XXX的一部分是任意字符串。相对于其他状态B、C、D和E,进行同样的命名。在无向图的复合数据的情况下,可采取仅在一个方向的文件配置。
总结如下。通过目录显示起点标识符。也就是说,具有相同的起点标识符的文件存储在同一目录中。对于终点标识符,使用目录以外的部分名称的属性为每个文件标记该标识符。
图31的无向图的时间轴的结构变成相当于图32的目录和文件名称的配置。配置每个时间轴的文件使得起点和终点不改变。可由通常的CG编辑软件编辑该文件,该文件具有通用性并易于编辑。在有向图的复合数据的情况下,为每个方向建立CG时间轴/动画的文件。
[交叉点和预览系统]
图33和34示出了设置有预览系统的电路块的系统配置。在图33中,除了图像生成单元140,还设置有预览图像生成单元140P。如果控制单元110接收到转换目标指令,预览图像生成单元140P执行转换目标状态的图像生成并输出图像。
该输出作为预览CG图像信号被输入到效果切换器的交叉点。在这种情况下,在交叉点输入端设置接收预览系统的输入端。图34示出了在M/E工作台250中设置用于预览的键图像处理单元51的情况。图34的混合器53具有将来自键图像处理单元51的用于预览的图像信号改变为来自键1的图像信号并输出叠加的图像作为预览图的功能。
如果指示CG为转换类型(TransType),键1列的输入总线的交叉点选择来自图像生成单元140的图像信号。与此同时,对于用于预览的键图像处理单元,输入总线的交叉点选择来自预览图像生成单元140P的图像信号。混合器53将图像信号改变为来自键1的图像信号并将用于预览的键系统的图像的叠加图像输出到预览输出线252。
因此,在由监控器确认在转换后改变图像后,可以进行处理操作。当执行纹理映射时,可以对于相机拍摄的实时图像进行纹理映射。出于这个原因,很难预先掌握系统的输出中的CG图像的内容的实际方面。因此,这样的配置是有效的。
[在不可能的情况下,使用混合器的淡出/淡入(混合)]
在使用图16的说明中,只有通过图形连接的由转换启用的状态可以被选择作为转换目标指示单元170的选项以操作和输入转换目标指令。在图16(b)的“接续”(Next)列表框中,显示了一个状态列表,其中从当前状态开始的转换可以被启用。不显示转换被禁用的状态。同时,作为本公开的变型,在图像生成单元140中转换被禁用的状态,即,没有通过图形边线连接的状态可以在选项中显示并且可以进行选择操作。
当选择转换被禁用的状态并指示转换执行时,所述状态通过效果切换器的混合器单元(Mixer unit)的作用从键1的键图像处理单元输出的图像信号转换为由用于预览的键图像处理单元输出的图像信号。转换成为通过混合(Mix)来交替图像的转换,也就是淡入和淡出。可替换地,可通过混合器单元而不是混合的擦拭功能,按照与使用效果切换器的正常擦拭的图像切换相同的方式来实现转换。
如果转换结束,进行切换使得图像生成单元140在转换后生成虚拟空间的状态的图像。然后,在所述混和器单元中,图像处理单元被改变为用于预览的键系统的键图像处理单元,并且键1的键图像处理单元的图像信号再次叠加。此时,切换可以是即时的,并且不影响输出图像。优选地,在显示选项时,可以相对于被禁用转换的状态稍微改变显示方面(例如,增加颜色或增加点亮的灯)以预先通知操作者通过效果切换器的功能所执行的转换。
[等待(tarry)]
在效果切换器中,具有检查最终输出图像中包含的输入信号(合成的输入图像信号)和将其信息(所包含的输入信号的标示符:数字)作为等待信息提供给外部的功能。此外,具有生成有关当前输出(程序输出)的等待信息之外的有关预览输出的等待信息的功能。在图33和34中,对于程序输出,确定提供用于相对于图像生成单元140的纹理映射的图像中的任何图像是否包含在图像生成单元140的输出中以及是否生成了等待信息。
在如图33和34所示的相对于图像生成单元140具有预览系统的配置中,从控制单元110的控制状态中(图像生成状态)确定用于相对于预览图像生成单元140P的纹理映射的图像信号T1、……和T4中的任何图像信号是否包含在输出图像中(预览输出),所述状态与效果切换器的状态合成,并且生成包含在预览输出中的输入图像信号的信息(等待信息)。因此,在使用转换类型是CG的图像生成单元140的处理中,可以正确生成预览输出的等待信息并且可以在显示器(灯或GUI)上显示该等待信息,并且提高了可操作性。
[层级/组]
在上述描述中,已经描述了效果切换器只处理图25的组1的功能。如图35所示,可以设置“分层选择”(Layer Select)作为按钮列,并且可以在向CG发送转换类型(TransType)之后选择操作图像转换的参数组。
如果对组的选择改变,根据改变后的组切换选项及其显示。例如,选项状态A、状态B、状态C、状态D和状态E被切换到选项状态R、状态S和状态T。可以指定成为操作对象的虚拟空间中的参数组。可以在任何时候操作使用按钮列选择参数组,而不管当前操作的参数组的状态。[链接转换]
作为一种应用功能,可以进行链接设置使得当通过相对于组选择所选择的组的操作进行状态转换时,相对于其他组进行状态转换。因此,所述组的状态可以与其他组(CG中其他参数的值)的状态相链接。例如,当设置从图25的组1到组2的链接时,存储下列表格。
当根据所述表格对于组1进行转换目标指令的操作并且执行转换时,对于组2同时执行该转换。因为禁用通过像图25的图形结构的边线连接的状态之间的转换,因此当在表格中设有这种链接时,有必要考虑(使用设置单元检查)以防止组2的边线(链接的从属边线)接收原本不会被链接处理选择的转换目标指令。可替换地,作为另一实施例,当将转换目标指令被禁用的状态指定给从属边线时,如上所述,从属边线可以通过效果切换器的混合器单元的功能进展到不同的状态。
[根据操作,执行与转换相关联的处理]
优选地,可以在像图17的控制台中附加地设置输入与转换相关联的处理指令的单元。所述相关联的处理是转换进展时(当进度率在0%和100%之间时)的处理,并且在本公开中对应于通过图像生成单元140对虚拟空间的参数的改变。
通过相关联的处理改变的参数是通过转换正常改变的参数(相应组的参数)以外的参数,并被预设为相关联的参数(修改量)。作为相关联的处理的示例,考虑只在转换过程中改变某一参数的值的情况。例如,获得某一部分的颜色只在转换过程中变成不同的颜色的图像效果。通过由独立地设置的操作输入单元来关联地处理图像效果,可以根据操作者的意图在转换时执行选择。
可替换地,作为相关联的操作的另一示例,可以执行对象参数的时间轴处理。时间轴与转换不相关并且是独立的。例如,时间轴具有以下特性。也就是说,对象参数在起点和终点具有相同的值,并且时间轴根据转换的衰减器值(进度率)进展(与作为本公开的实施例的主要处理的转换同步地进展)。作为一种变型,时间轴可以是在进度率从0%到100%时多次重复相同处理的时间轴。
作为使用上述配置的图像效果的示例,将PinP(画面中画面)的从属屏幕的位置布置为一个状态,得到通过转换移动从属屏幕的图像,将从属屏幕的帧改变的时间轴布置为相关联的处理,并且可以根据操作者在操作时的意图将从属屏幕的移动与所述帧的变化相关联。因此,根据相关联的处理是否存在,可以向观看者提供所生成的图像中的相同从属屏幕的移动的不同的感受。
[由于条件的转换限制]
优选地,可以限制转换使得所述状态不会通过从I/F单元180接收的外部信号或效果切换器的状态转换到局部状态。相应的状态不被显示或不被作为转换目标指令的选项所选择。
[操作的缩略图]
作为转换目标指令的选项的显示(GUI或按钮列附近的显示器),可以缩小和显示转换后的效果切换器的输出图像的改变图像。因此,提高了可操作性。在这种情况下,可以显示先前呈现的静止图像,可以设置图像生成单元并且可在任何时间显示呈现的图像,或者一个图像生成单元可用于按照每个帧的时间划分呈现不同的状态并且可以显示不时地更新的图像。
在上述示例中,通过由交叉点选择转换类型(TransType)的操作来选择图像生成单元140的输出。然而,作为另一示例,可以采用一种在交叉点按钮列的操作中选择图像生成单元140的输出的方法。如果在交叉点按钮列中选择了图像生成单元的输出,可以改变分配,并且可在交叉点按钮中选择和指示转换目标。
当从效果切换器使用多个图像生成单元(例如CG单元)时,可以配置效果切换器的控制台使得可以相对于通过转换类型(TransType)或交叉点按钮列选择的多个图像生成单元中的一个执行转换目标指令操作。
<3.变型>
图36示出在一种情况下的图像处理装置100B的配置示例,其中,在不使用交叉点的情况下连接效果切换器的M/E工作台250和图像生成单元140。在图36中,与图13相对应的部分用相同的标号来表示。在此配置的情况下,没有必要将图像生成单元140和M/E工作台250之间的图像信号设为SDI信号。例如,启用一种使用基板间的总线的配置。可以配置被提供用于纹理映射的图像信号T1、……和T4以使其被向M/E工作台250提供信号的总线的交叉点选择。
图37示出可以并行操作组的控制台的配置示例。本地衰减器模块进行相对于CG的一个参数组的衰减器操作或相对于一个键控器的衰减器操作。设置多个本地衰减器模块并且可以并行操作它们。在图37中,示出了四个本地衰减器模块。可通过GUI实现本地衰减器模块的功能。
图37的键1和键2按钮是选择以将任何键控器设为操作对象的双选按钮。在“CG组选择”(CG Group Select)按钮中,每当按下“CG组选择”按钮时,切换在该“CG组选择”按钮下面的对显示器的参数组的显示。“CG组选择”按钮可以选择在多个参数组集合中选择一个或零个作为模块的操作对象(无论图像生成单元140地操作键1或键2)。选择参数组后,通过接收图像生成单元140的输出来操作由键1按钮和键2按钮中的任何一个所选择的键控器。选择按钮是选择转换目标的状态(状态C)的单元(转换目标指令操作单元)。每当按下“选择”(Select)按钮时,切换对于成为所述组的转换目标的状态的选择,并且切换所述显示。
可替换地,可以通过“按下”来在GUI单元上显示转换目标的选项。在图37的“4”中,选择键2,并且这成为无论CG地控制效果切换器的键2的状态。在图37的“3”中,没有向键1和键2分配操作对象。因此,即使执行操作,这也变为无效。
[链接到效果切换器的其他处理]
可以安装链接功能以根据转换到某一状态的处理或从某一状态开始的转换处理来处理效果切换器的预先设置的功能。相对于目的状态,在GUI中提供了进行选择设置的功能。作为设置功能,可以执行将类似图13的输出端1(out1)的总线的交叉点切换到设置的输入端的功能或切换设置键控器的开启/关闭的功能。可替换地,如果虚拟空间中某个参数的值在某一范围内,可以处理效果切换器的预先设置的功能。
[根据虚拟空间中参数的值控制装置]
可以根据通过转换改变的虚拟空间中的参数的值控制外部装置。因为虚拟空间中参数的改变是由于各种因素(例如除了作为本公开的特性的转换的动画或手动操作),可以通过改变的参数值控制外部装置,从而可以不依赖于改变因子地执行链接。
作为示例,使用输出图像的一帧中的特定结构的比例作为控制源,控制预先设置的音频混合器的某条线路的电平。作为另一示例,使用某一材料的颜色的值作为控制源,控制预先设置的音频混合器的某条线路的电平。因此,颜色或亮度可以和音量链接。作为另一示例,通过虚拟对象的位置坐标控制预先设置的音频混合器的某条线路的电平。因此,可以通过CG的衰减器推杆控制实际音量。
作为另一示例,使用虚拟相机的方向作为控制源,控制机器人相机(由电动机驱动的相机平台)。可替换地,使用虚拟空间中旋钮的移动作为控制源,控制机器人相机。作为另一示例,可以通过虚拟对象的位置坐标控制外部视频服务器的播放时间代码。如果视频服务器的输出被纹理映射到虚拟空间中,可以改变根据在虚拟空间中的变化被纹理映射的视频图像。作为另一示例,在向公众显示输出图像的地方可以控制照明的亮度。
同样地,通过即时操作导致各种改变并且可以得到具有高附加值的视频/音频输出。
[图形结构的数据XML样本]
在下文中,将描述使用简单模式作为实现方法所描述的图形结构的数据的示例。
对应于“图15的无向图”的示例:
Figure BDA0000387708080000381
对应于“图26的有向图和时间轴”的示例:
Figure BDA0000387708080000383
Figure BDA0000387708080000391
对于描述时间轴的数据的方法的详细信息,可以使用Collada的规范中的内容。
本领域技术人员应当理解,根据设计要求和其它因素,可能会出现各种变型、组合、子组合和变更,只要它们在所附权利要求或其等同物的范围内。
此外,本技术也可以被配置如下。
(1)一种图像处理装置,包括:
图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
视频输出单元,将所生成的图像作为视频信号输出;以及
控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
(2)根据(1)的图像处理装置,
其中,在复合数据基础上由图像生成单元通过计算机图形执行图像合成来生成图像。所述复合数据是计算机图形的虚拟空间的描述数据并具有一种图形结构,在该图形结构中,将虚拟空间的多个静态状态布置在图形结构的节点上并且通过图形结构的边线连接各节点,并且
所述控制单元可以基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态,所述第一静态状态和第二静态状态通过边线连接。
(3)根据(2)的图像处理装置,
其中,配置在图形结构的复合数据的边线中保留时间长度的数据结构,并且
其中,在执行边线的转换时,控制单元使用边线的时间长度。
(4)根据(2)的图像处理装置,
其中,配置一种数据结构,其中节点之间的状态的数据和边线转换过程中相对时期或绝对时期的数据被保留在图形结构的复合数据的边线中,并且
其中,在执行边线转换时,所述控制单元根据相应状态转换过程中的时期,内插保留在边线中的各状态。
(5)根据(1)至(4)任一项的图像处理装置
其中,所述控制单元对于从外部提供的每个同步信号,根据进度率,改变形成虚拟空间的状态的参数的值。
(6)根据(1)的图像处理装置,
其中,所述控制单元根据从转换指令开始经过的时间改变进度率。
(7)根据(1)的图像处理装置,
其中,所述控制单元根据来自衰减器的衰减值改变进度率。
(8)根据(1)至(7)任一项的图像处理装置,
其中,转换指令是基于来自外部的控制信号。
(9)根据(1)至(8)任一项的图像处理装置,
其中,所述控制单元通过条件来限制基于转换指令的转换。
(10)根据(1)至(9)任一项的图像处理装置,
其中,所述复合数据具有通过划分虚拟空间的参数获得的每个组的多个状态。
(11)根据(1)至(10)任一项的图像处理装置,还包括:
效果切换器;
选择操作单元,接收用于从多个选项中选择在效果切换器中提供总线的输入信号的操作并向效果切换器发送控制信号;以及
分配单元,设置选择操作单元的每个选项的内容,
其中,从视频输出单元输出的视频信号是效果切换器的输入信号之一,以及
其中,分配单元除了设置选择操作单元的每个选项的内容之外,向控制单元发送转换目标指令。
(12)根据(11)的图像处理装置
其中,通过效果切换器的擦拭功能来操作转换的转换触发操作单元可被用作用于启动图像生成单元的转换的触发的操作单元,以及
其中,转换的进度率可由衰减器推杆操作。
(13)根据(11)或(12)的图像处理装置,还包括:
预览图像生成单元,通过由计算机图形执行图像合成来生成用于预览的图像;以及
预览视频输出单元,将所生成的用于预览的图像作为视频信号输出,
其中,效果切换器具有输出预定用于下一个效果切换器输出的视频信号的预览系统,以及
根据选择操作单元的转换操作,效果切换器导致预览图像生成单元在转换完成时生成图像,导致预览视频输出单元输出用于预览的图像的视频信号,和导致效果切换器的预览系统输出该视频信号。
(14)一种图像处理方法,包括:
在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
将所生成的图像作为视频信号输出;以及
基于复合数据中从第一静态状态转换到第二静态状态的指令,执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态的。
(15)一种程序,用于使计算机充当:
图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
视频输出单元,将所生成的图像作为视频信号输出;以及
控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
本公开包含与在2012年10月3日向日本专利局提交的日本优先权专利申请JP2012-221740中所公开的主题有关的主题,所述日本申请的内容通过引用据此合并到本申请中。

Claims (15)

1.一种图像处理装置,包括:
图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
视频输出单元,将所生成的图像作为视频信号输出;以及
控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
2.根据权利要求1的图像处理装置,
其中,在复合数据基础上由图像生成单元通过计算机图形执行图像合成来生成图像,所述复合数据是计算机图形的虚拟空间的描述数据并具有一种图形结构,在该图形结构中,将虚拟空间的多个静态状态布置在图形结构的节点上并且通过图形结构的边线连接各节点,以及
所述控制单元可以基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态,所述第一静态状态和第二静态状态通过边线连接。
3.根据权利要求2的图像处理装置,
其中,配置在图形结构的复合数据的边线中保留时间长度的数据结构,以及
其中,在执行边线的转换时,控制单元使用边线的时间长度。
4.根据权利要求2的图像处理装置
其中,配置一种数据结构,其中节点之间的状态的数据和边线转换过程中相对时期或绝对时期的数据被保留在图形结构的复合数据的边线中,以及
其中,在执行边线转换时,所述控制单元根据相应状态转换过程中的时期,内插保留在边线中的各状态。
5.根据权利要求1的图像处理装置,
其中,所述控制单元对于从外部提供的每个同步信号,根据进度率,改变形成虚拟空间的状态的参数的值。
6.根据权利要求1的图像处理装置,
其中,所述控制单元根据从转换指令开始经过的时间改变进度率。
7.根据权利要求1的图像处理装置,
其中,所述控制单元根据来自衰减器的衰减值改变进度率。
8.根据权利要求1的图像处理装置,
其中,转换指令是基于来自外部的控制信号。
9.根据权利要求1的图像处理装置,
其中,所述控制单元通过条件来限制基于转换指令的转换。
10.根据权利要求1的图像处理装置,
其中,所述复合数据具有通过划分虚拟空间的参数获得的每个组的多个状态。
11.根据权利要求1的图像处理装置,还包括:
效果切换器;
选择操作单元,接收用于从多个选项中选择在效果切换器中提供给总线的输入信号的操作并向效果切换器发送控制信号;以及
分配单元,设置选择操作单元的每个选项的内容,
其中,从视频输出单元输出的视频信号是效果切换器的输入信号之一,以及
其中,分配单元除了设置选择操作单元的每个选项的内容之外,向控制单元发送转换目标指令。
12.根据权利要求11的图像处理装置,
其中,通过效果切换器的擦拭功能来操作转换的转换触发操作单元可被用作产生用于启动图像生成单元的转换的触发的操作单元,以及
其中,转换的进度率可由衰减器推杆操作。
13.根据权利要求11的图像处理装置,还包括:
预览图像生成单元,通过由计算机图形执行图像合成来生成用于预览的图像;以及
预览视频输出单元,将所生成的用于预览的图像作为视频信号输出,
其中,效果切换器具有输出预定用于下一个效果切换器输出的视频信号的预览系统,以及
根据选择操作单元的转换操作,效果切换器导致预览图像生成单元生成转换完成时的图像,导致预览视频输出单元输出用于预览的图像的视频信号,和导致效果切换器的预览系统输出该视频信号。
14.一种图像处理方法,包括:
在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
将所生成的图像作为视频信号输出;以及
基于复合数据中从第一静态状态转换到第二静态状态的指令,执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
15.一种程序,用于使计算机充当:
图像生成单元,其在作为计算机图形的虚拟空间的描述数据并具有该虚拟空间的多个静态状态的复合数据基础上,通过由计算机图形执行图像合成来生成图像;
视频输出单元,将所生成的图像作为视频信号输出;以及
控制单元,其基于复合数据中从第一静态状态转换到第二静态状态的指令,导致图像生成单元执行图像合成并同时根据进度率从第一静态状态转换到第二静态状态。
CN201310452892.4A 2012-10-03 2013-09-26 图像处理装置、图像处理方法和程序 Pending CN103714558A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-221740 2012-10-03
JP2012221740A JP2014075680A (ja) 2012-10-03 2012-10-03 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN103714558A true CN103714558A (zh) 2014-04-09

Family

ID=50384732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310452892.4A Pending CN103714558A (zh) 2012-10-03 2013-09-26 图像处理装置、图像处理方法和程序

Country Status (3)

Country Link
US (1) US20140092128A1 (zh)
JP (1) JP2014075680A (zh)
CN (1) CN103714558A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248948A1 (zh) * 2019-06-11 2020-12-17 腾讯科技(深圳)有限公司 动画文件处理方法、装置、计算机可读存储介质和计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519985B2 (en) * 2013-08-20 2016-12-13 TreSensa Inc. Generating mobile-friendly animations
WO2017110659A1 (ja) * 2015-12-24 2017-06-29 ソニー株式会社 エフェクト・スイッチャおよびスイッチャシステム
US11601604B2 (en) * 2016-07-27 2023-03-07 Sony Corporation Studio equipment control system and method of controlling studio equipment control system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144292B2 (ja) * 2002-08-20 2008-09-03 ソニー株式会社 画像処理装置と画像処理システム及び画像処理方法
GB2400290A (en) * 2003-04-04 2004-10-06 Autodesk Canada Inc Multidimensional image data processing in a hierarchical dat structure
JP4200957B2 (ja) * 2004-09-09 2008-12-24 ソニー株式会社 画像切り換え装置及び画像切り換え方法、並びにプログラム記録媒体
US20060274070A1 (en) * 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
JP4826333B2 (ja) * 2006-05-11 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20100166053A1 (en) * 2007-01-31 2010-07-01 Sony Corporation Information processing device and method
JP2010118739A (ja) * 2008-11-11 2010-05-27 Sony Corp スイッチャ制御装置、スイッチャ制御方法および画像合成装置
JP2011223218A (ja) * 2010-04-07 2011-11-04 Sony Corp 画像処理装置、画像処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248948A1 (zh) * 2019-06-11 2020-12-17 腾讯科技(深圳)有限公司 动画文件处理方法、装置、计算机可读存储介质和计算机设备
US11972514B2 (en) 2019-06-11 2024-04-30 Tencent Technology (Shenzhen) Company Limited Animation file processing method and apparatus, computer-readable storage medium, and computer device

Also Published As

Publication number Publication date
JP2014075680A (ja) 2014-04-24
US20140092128A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
US10546612B2 (en) Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution
US7903903B1 (en) Integrated live video production system
US5307456A (en) Integrated multi-media production and authoring system
US8456571B1 (en) Integrated live video production system
TWI413017B (zh) 用於混合式物件屬性關鍵製格模組之方法與電腦系統
US8028317B1 (en) Integrated live video production system
KR101669897B1 (ko) 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
JP2014529387A (ja) メディアブロードキャストのための自動及び動的レイアウトデザインのためのシステム及び方法
JP2007018198A (ja) リンク情報付きインデックス情報生成装置、タグ情報付き画像データ生成装置、リンク情報付きインデックス情報生成方法、タグ情報付き画像データ生成方法及びプログラム
JP2011023902A (ja) 画像処理装置および画像処理方法
TW200832370A (en) Reproducing device and method, information generation device and method, data storage medium, data structure, program storage medium, and program
WO2005013618A1 (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
KR101881295B1 (ko) 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템
CN103714558A (zh) 图像处理装置、图像处理方法和程序
CN105122788A (zh) 合成广播控制的方法和系统
US6924821B2 (en) Processing pipeline responsive to input and output frame rates
JPH10261102A (ja) アニメーション生成装置およびアニメーション生成方法
CN102215346A (zh) 图像处理装置、图像处理方法以及程序
JP4434094B2 (ja) タグ情報生成装置、タグ情報生成方法及びプログラム
KR102081067B1 (ko) 스튜디오 환경에서의 비디오 믹싱 플랫폼
US20120256946A1 (en) Image processing apparatus, image processing method and program
JP2001285749A (ja) 画像合成装置、記録媒体及びプログラム
CN103150746A (zh) 时间线操作控制装置和方法、程序和图像处理器
JP2011022726A (ja) 画像処理装置および画像処理方法
JP5520890B2 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140409