CN1311685C - 处理含有多个视频轨道的视频数据的装置和方法 - Google Patents

处理含有多个视频轨道的视频数据的装置和方法 Download PDF

Info

Publication number
CN1311685C
CN1311685C CNB2004100626774A CN200410062677A CN1311685C CN 1311685 C CN1311685 C CN 1311685C CN B2004100626774 A CNB2004100626774 A CN B2004100626774A CN 200410062677 A CN200410062677 A CN 200410062677A CN 1311685 C CN1311685 C CN 1311685C
Authority
CN
China
Prior art keywords
mentioned
data
video
track
playlist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100626774A
Other languages
English (en)
Other versions
CN1581956A (zh
Inventor
石井芳季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1581956A publication Critical patent/CN1581956A/zh
Application granted granted Critical
Publication of CN1311685C publication Critical patent/CN1311685C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/85—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only the recorded brightness signal occupying a frequency band totally overlapping the frequency band of the recorded chrominance signal, e.g. frequency interleaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及一种处理包含多个视频轨道的视频数据的装置和方法。根据本发明的一个方面，通过加工上述多个视频轨道的一部分，新生成加工数据。此后，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现所生成的上述加工数据。

Description

处理含有多个视频轨道的视频数据的装置和方法
技术领域
本发明涉及处理视频数据的装置和方法，特别涉及视频信号的再现顺序的控制。
背景技术
近年来，诸如数字VTR、DVD播放器等的用于处理数字动图像信号的设备被普及，另外，由于AV设备、计算机设备的进步，动图像的编辑并不仅仅局限于工作室，而且也可以在家中进行。还开发了这样的系统，即：在动图像的编辑中，生成被称为播放列表的再现记述数据并进行多个动图像之间的转换，或者，在再现时实时地进行视频效果处理，从而大幅度地削减了用于动图像编辑的时间。作为这样的电影格式，已知Apple公司的QuickTime格式等。QuickTime能够处理多个视频、音频轨道(track)，也可在轨道间设定视频的转场效果(transition effect)。
图15是表示在对上述多轨道的播放列表，将划变(wipe)的转场效果设定为再现时的实时效果时的轨道映象(track image)的图。在视频轨道-1中，在0～4秒设定有MovieA.mpg，在视频轨道-2中，在3～7秒设定有MovieB.mpg。视频轨道-2的再现指定时间比视频轨道-1的结束时间提前1秒。这是因为用于在这1秒的时间内在视频轨道-1和视频轨道-2之间实现基于划变效果的转场效果的图像重叠(overlap)缘故。
效果轨道是用于控制对于上述两个轨道的效果的应用的数据。在该例中，效果轨道分成三块，在0～3秒，直接再现视频轨道-1，在3～4秒，在视频轨道-1和视频轨道-2之间应用转场效果，在4～7秒，直接再现视频轨道-2。
图16A和图16B表示了上述播放列表的数据树结构。
在图16A中，300表示播放列表文件整体，100表示其中的管理信息。在管理信息中，轨道由110、120、140来表示，分别具有由111、121、141表示的轨道ID、由113、123’、143’表示的播放列表数据。轨道内的内容(content)由115、125、145表示，分别具有作为对实际的电影记录文件(movie take file)的参照信息的参照表116、126或对效果描述文件的参照信息146、表示内容(content)的内容的内容数据信息117、127、147。内容数据信息由下述构成：由内容的详细信息构成的内容管理数据118、128、148”、管理内容内的数据块的再现时间的块管理数据119、129、149’。
在图16B中，200是效果描述文件，由处理描述块201、202、203构成。
图17A～图17D表示播放列表的实际的数据结构的例子。
图17A是在图16A中的参照表116、126、146的一例。在视频轨道-1的参照表116中记述有MovieA.mpg，在视频轨道-2的参照表126中记述有MovieB.mpg，在效果轨道的参照表146中记述有效果描述文件Effect.dcr。
图17B是在图16A中的播放列表数据113、123’、143’的一例。在视频轨道-1中，设定为从起始处再现4秒时间。在视频轨道-2中，设定为在3秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始出再现7秒时间。由此，进行在图15说明的共7秒的播放列表再现。
图17C是在图16A中的内容管理数据118、128、148”的一例，在视频轨道-1的内容管理数据118中，将内容ID设定为A-1，将内容的内容设定为Mpeg2动图像。在视频轨道-2的内容管理数据128中，将内容ID设定为B-1，将内容的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，将内容ID设定为E-1、E-2。
E-1表示与在图15中说明的0～3秒、4～7秒的无效果的部分对应的效果轨道内容，Effect_Off被设定为用于效果控制的标志。E-2表示与图15的3～4秒对应的效果轨道内容，设定有用于进行实时效果处理的Effect_On。
图17D是在图16A中的块管理数据119、129、149的一例。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容，设定有数据块1～8的再现时间表。关于效果轨道，对ID为E-1的内容，设定有数据块1、3的再现时间表，对ID为E-2的内容，设定有数据块2的再现时间表。这表示：在图15中，MovieA.mpg和MovieB.mpg分别由每0.5秒的八个数据块构成，另外，RndC.mpg由每0.5秒的两个数据块构成，依次再现这些数据块。
图18表示效果描述数据200的例子。关于效果轨道的1～3的数据块，块1的效果类型为无效，信源(Source)为视频轨道-1，块2的效果类型为划变，信源为视频轨道-2、视频轨道-2，指定了实时效果的种类。块3的效果类型为无效，信源为视频轨道-2。
上述再现时的视频效果要求较高的再现性能，特别地，难以象转场效果那样地一边再现多个视频轨道一边进行效果处理。对此，在日本专利申请公开特开2002-218385号中提出了这样的描述方法，即，在用诸如SMIL那样的再现描述语言的再现中，插入预先仅描绘了效果部分的动图像文件。由此，即使在能力较低的再现设备中，也能进行具有良好效果的再现。
但是，由日本专利申请公开特开2002-218385号所公开的技术是根据以单一的视频轨道为主体的数据构造来实现的，其难以直接适用于诸如QuickTime那样的具有多个视频轨道的动图像格式。
发明内容
本发明目的在于，至少解决上述问题，即使是能力较低的装置也可再现含有实施了高级的加工处理的多个视频轨道的图像数据。
通过本发明的处理含有多个视频轨道的视频数据的设备和方法来实现上述目的。
本发明提供一种处理包含多个视频轨道的视频数据的设备，包括：加工数据生成装置，通过进行上述多个视频轨道的一部分的加工处理，新生成加工数据；以及播放列表处理装置，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
另外，本发明提供一种处理含有多个视频轨道的视频数据的方法，包括：通过加工上述多个视频轨道的一部分，新生成加工数据的步骤；以及生成用于控制上述视频数据的再现顺序的播放列表数据的步骤，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
本发明的其他特征和优点通过以下参照了附图的说明而得以明确。在附图中，对相同的结构附加相同的标号。
附图说明
附图包含在说明书中并构成其一部分，用于阐述本发明的实施方式，并与其描述一起说明本发明的原理。
图1是表示本发明实施例中的图像处理装置的结构例的图。
图2是表示本发明实施例中的节目播放顺序表(story board)编辑画面的一例的图。
图3是说明本发明实施例中的播放列表再现的图。
图4是表示本发明实施例中的播放列表数据的树结构的图。
图5A～图5D是表示本发明实施例中的播放列表数据的一例的图。
图6是表示本发明实施例中的附加效果的节目播放顺序表编辑画面的一例的图。
图7是说明本发明实施例中的附加效果的播放列表再现的图。
图8A和图8B是表示本发明实施例中的播放列表数据的树结构的图。
图9A～图9D是表示本发明实施例中的播放列表数据的一例的图。
图10是表示本发明实施例中的效果描述数据的一例的图。
图11是说明本发明实施例中的再现装置的图。
图12是表示本发明实施例中的播放列表再现处理的流程图。
图13是说明本发明实施例中的调整了数据块边界的附加效果的播放列表再现的图。
图14A～图14D是表示本发明实施例中的调整了数据块边界的附加效果的播放列表数据的一例的图。
图15是说明以往的根据实时效果的播放列表再现的图。
图16A和图16B是表示以往的播放列表数据的树结构的图。
图17A～图17D是表示以往的播放列表数据的一例的图。
图18是表示以往的效果描述数据的一例的图。
具体实施方式
根据附图，详细说明本发明的优选实施方式。
下面，参照附图详细说明本发明的实施例。另外，在以下的实施例中，主要说明动图像信号的处理，但是，也可对音频信号进行同样的处理。
图1是表示本发明实施例中的图像处理装置的结构的图。
在图1中，驱动控制器109，根据系统控制器108的请求而将信号输入到驱动伺服电路110，控制盘接口(I/F)101的光头和电机，来控制来自盘D的数据读出。
对于由盘I/F101从盘D读取的数据，由纠错处理电路102对介质的缺陷或记录再现时的错误进行纠错。文件管理电路103，从纠错后的数据串检测出各种数据，将图像数据输出到视频解码电路104，并将管理数据等输出到系统控制器108。又，将播放列表数据输出到播放列表处理电路111。
系统控制器108，通过控制来自盘D的数据读出，得到目标记录数据。
112是编辑操作输入电路，利用被显示在监视器107的动图像数据的缩略图(thumbnail)等，操作用于编辑的操作画面。系统控制器108，基于所输入的编辑指示，控制播放列表处理电路111，生成含有作为编辑结果的播放列表的播放列表数据。在编辑现有的播放列表文件时，由文件管理电路103将解码后的播放列表数据输出到播放列表处理电路111。在由系统控制器108施加了基于编辑操作的更改后，生成播放列表数据。文件管理电路103将该播放列表数据转换成文件形式并输出到纠错处理电路102，通过盘I/F101记录到盘D。
102是纠错处理电路，附加用于进行数字数据的纠错的奇偶校验数据。驱动控制器109，根据来自系统控制器108的请求，将信号输出到驱动伺服电路110，由此控制盘I/F101的光头和电机。
视频解码电路104对从电影记录文件读出的编码视频数据进行解码并提供给视频效果电路105和监视器107，其中，该电影记录文件由动图像数据的实体构成。视频效果电路105，对来自单一或多个视频轨道的动图像数据实施视频效果处理(加工处理)，输出到视频编码电路106。视频编码电路106，将来自效果电路105的图像数据编码，输出到文件管理电路103。文件管理电路103，将从该视频编码电路106输出的已实施了效果处理的编码数据，作为由视频效果部分的动图像数据构成的电影记录文件、即渲染剪辑(rendering clip)文件输出到纠错处理电路102，通过盘I/F101记录在盘D。
下面，使用播放列表文件和渲染剪辑的例子来说明本实施例的处理。
图2是由两个动图像构成的单一播放列表的编辑画面的例子。
201是节目播放顺序表，按照再现的顺序，显示动图像文件的缩略图。202和203分别是第一动图像文件MovieA.mpg和第二动图像文件MovieB.mpg的缩略图。204和205是用于设定动图像之间的转场效果的输入方块，该例表示未设定转场效果的状态。
图3表示了该播放列表的轨道映象(track image)。在视频轨道-1中，在0～4秒设定有MovieA.mpg。在视频轨道-2中，在4～8秒设定有MovieB.mpg。当对该数据进行播放列表的再现时，在0秒～4秒再现MovieA.mpg，在4秒～8秒再现MovieB.mpg。
图4表示了该播放列表的数据树结构。300表示播放列表文件整体，100表示其中的管理信息。在管理信息中，轨道由110和120表示，分别具有由111和121表示的轨道ID、由113和123表示的播放列表数据。轨道内的内容由115和125表示，分别具有作为对实际的电影记录文件的参照信息的参照表116和126、表示内容的内容的内容数据信息117和127。内容数据信息由以下构成：由内容的详细信息构成的内容管理数据118和128、管理内容内的数据块的再现时间的块管理数据119和129。
图5A～图5D表示播放列表的实际的数据结构的例子。
图5A为图4的参照表116和126。在视频轨道-1的参照表116中设定有MovieA.mpg，在视频轨道-2的参照表126中设定有MovieB.mpg。图5B为图4的播放列表数据113和123。在视频轨道-1的播放列表数据113中，设定为从起始处再现4秒时间。在视频轨道-2的播放列表数据123中，设定为在4秒时间的空白后，从起始处再现4秒时间。由此，进行在图3中说明了的共计8秒的播放列表再现。
图5C为图4的内容管理数据118和128。在视频轨道-1的内容管理数据118中，内容ID设定为A-1，内容内容设定为Mpeg2动图像。在视频轨道-2的内容管理数据128中，内容ID设定为B-1，内容内容设定为Mpeg2动图像。
图5D为图4的块管理数据119和129。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容设定有数据块1～8的再现时间表。这表示：在图3中，MovieA.mpg和MovieB.mpg分别由每0.5秒的八个数据块构成，依次再现这些数据块。
图6是表示对图3的单一的播放列表设定了划变的转场效果的图。601为节目播放顺序表，按照再现顺序显示动图像文件的缩略图。602和603分别为第一动图像文件MovieA.mpg和第二动图像文件MovieB.mpg的缩略图。604和605为用于设定动图像之间的转场效果的输入方块。在604中，作为转场效果设定有划变效果。
图7表示了该播放列表的轨道映象。
在视频轨道-1中，在0～4秒设定有MovieA.mpg。在视频轨道-2中，在3秒～7秒设定有MovieB.mpg。视频轨道-2的再现指定时间相对于图3提前1秒。这是因为用于在这1秒的时间内在视频轨道-1和视频轨道-2之间实现基于划变效果的转场效果的图像重叠(overlap)的缘故。在图7中，由于后续的动图像仅仅是视频轨道-2，所以只错开MovieB.mpg。如果还有后续的动图像，则对以后的播放列表部分也进行同样的错开。
该后续数据的错开对于诸如动图像之间的转场效果等的要求时间重叠的特定的视频效果来说是必要的。但是，对于诸如对单一动图像的淡入、淡出或彩色效果等的不发生重叠的效果来说，则并无必要。
渲染剪辑轨道，是用于指定作为根据效果的追加而重新生成的抽出了效果应用部分的电影记录文件的渲染剪辑的轨道。在该轨道中，设定有1秒时间的电影记录文件RndC.mpg，其是从以MovieA.mpg的最后1秒和MovieB.mpg的开始1秒作为信源并实施了划变效果的动图像生成的。效果轨道是控制对由这三个轨道构成的三个块的效果应用的数据，保持关于作为本实施例的特征的渲染剪辑的信息。
Shft是作为由转场效果的追加产生的重叠量而保持将后续动图像的MovieB.mpg向前错开1秒的履历的数据，被记录在效果轨道的内容管理数据中。
如上述那样，如果是不需要重叠的效果，则不发生后续动图像数据的错开，因此，取Shft＝0。
In和Out分别表示在渲染剪辑内的实际的转场效果的开始位置和结束位置，被记录在效果轨道的内容管理数据中。另外，控制渲染剪辑的再现的再现标志也被同样地记录，当Sw＝On时，在再现时，在渲染剪辑期间里，优先于原始的视频轨道、即视频轨道-1和视频轨道-2地再现渲染剪辑轨道。在该例中，从播放列表再现开始，前3秒再现MovieA.mpg，在3秒～4秒的期间根据渲染剪辑的再现标志而再现RndC.mpg，在4秒～7秒再现MovieB.mpg。
用于使效果轨道的内容和渲染剪辑轨道的数据块相关联的信息作为Blk信息，被记录在效果轨道的内容管理数据中。在此，记录为渲染剪辑轨道的块1～2是效果轨道的内容。
在将多处渲染剪辑分配给渲染剪辑轨道时，上述信息被用于使播放列表上的效果块与渲染剪辑相关联。
表示渲染剪辑的效果内容的信息被记录在Effect描述数据中，在此，对效果类型为划变效果这一内容进行记录。该效果内容信息，例如，在作为节目播放顺序表编辑画面的例子的图6的604中，被用于表示转场效果为划变这一内容。
用于进行以上的渲染剪辑的处理的标志，也作为Re_On被记录在效果轨道的内容管理信息中。如果不存在渲染剪辑，则设定Re_Off，略过上述处理。
图8A和图8B表示了上述播放列表的数据树结构。
对于图4，追加、变更被强调显示的部分的数据结构。关于和图3相同的数据结构，省略说明。在图8A中，渲染剪辑轨道和效果轨道由130和140表示，分别具有由131和141表示的轨道ID。效果轨道具有由143表示的播放列表数据。轨道内的内容由135和145表示，分别具有作为对实际的电影记录文件和效果描述文件的参照信息的参照表136和146、表示内容(content)的内容的内容数据信息137和147。内容数据信息由以下构成：由内容的详细信息构成的内容管理数据138和148、管理内容内的数据块的再现时间的块管理数据139和149。在图8B中，200为效果描述文件，由处理描述块201、202、203构成。
在图9A～图9D中，表示播放列表的实际的数据结构的例子。
图9A为图8A的参照表136和146。在渲染剪辑轨道的参照表136中追加RndC.mpg。在效果轨道的参照表146中追加效果描述文件Effect.dcr。图9B为播放列表数据。在视频轨道-1中设定为从起始处再现4秒时间。在视频轨道-2中，设定为在3秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始处再现7秒时间。图9C为内容管理数据。在渲染剪辑轨道的内容管理数据138中，内容ID设定为R-1，内容(content)的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，内容ID设定为E-1和E-2，并设定效果及渲染剪辑的控制参数。
E-1表示与在图7中说明的0～3秒、4～7秒的无效果的部分对应的效果轨道内容，作为用于效果控制的标志，Effect_Off被设定，作为表示有无渲染剪辑的标志，Rc_Off被设定。E-2表示与图7的3～4秒对应的效果轨道内容，由于具有渲染剪辑，所以Rc_On被设定。
在图7中说明的渲染剪辑的各参数被作为上述内容而记录。设定Sw＝On，In＝3，Out＝4，Shft＝1，Blk＝1-2，另外，作为参照轨道ID而设定渲染剪辑轨道。关于各参数的含义，由于和图7的说明重复，所以省略之。
图9D为图8的块管理数据119、129、139及149。在视频轨道-1的块管理数据119中，关于ID为A-1的内容，设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，关于ID为B-1的内容，设定有数据块1～8的再现时间表。在渲染剪辑轨道的块管理数据139中，关于ID为R-1内容，设定有数据块1～2的再现时间表。关于效果轨道，关于ID为E-1的内容，设定有数据块1、3的再现时间表，关于ID为E-2的内容，设定有数据块2的再现时间表。
这表示：在图7中，MovieA.mpg和MovieB.mpg分别由每个0.5秒的8个数据块构成，另外，RndC.mpg由每个0.5秒的2个数据块构成，依次再现这些数据块。
图10是表示图8B的效果描述数据200的一例的图。关于效果轨道的1～3的数据轨道，块1的效果类型为没有效果、信源为视频轨道-1；块2的效果类型为划变、信源为视频轨道-1和视频轨道-2，对应于渲染剪辑。如上述那样，根据在这里所记述的效果类型，可在编辑画面上显示转场效果的种类等。块3的效果类型为没有效果、信源为视频轨道-2。
图11是表示记录包含上述那样生成的渲染剪辑的各种文件并能够根据播放列表进行再现的再现装置的概略结构的图。
驱动控制器1110，根据系统控制器1111的请求，将信号输入到驱动伺服电路1109，通过控制盘I/F1101的光拾取器(opticalpickup)和监视器，控制来自盘D的数据读出。由纠错解码电路1102对从盘D读取的数据中的错误进行纠错。文件管理电路1103从纠错后的数据串中检测出各种数据。
当通过操作单元1112指示播放列表再现时，系统控制器就控制驱动控制器1110，对盘D指示播放列表文件的再现。播放列表处理电路1106，分析从文件管理电路1103输出的播放列表文件，决定要读出的数据流并提供给系统控制器1111。这时，如果由渲染剪辑检测电路1107检测出存在渲染剪辑、即Rc_On，则进入到根据图7说明的渲染剪辑再现处理。
当由再现标志检测电路1108检测出Sw＝On，渲染剪辑的再现被设为有效时，系统控制器1111控制驱动控制器1110，以使得再现渲染剪辑轨道而替代原来的数据轨道。视频解码电路1104按照播放列表对读出的动图像流数据进行解码，经由视频输出电路1105输出。
图12是表示根据Rc_On和Sw标志的再现轨道的控制动作的流程图。
在步骤1201中判断Rc_On。如果存在渲染剪辑，则进入下一步的再现标志判断处理。如果没有渲染剪辑，则在步骤1204中进行普通的播放列表再现。在步骤1202中，判断再现标志。当Sw＝On时，进行1203的渲染剪辑轨道再现。当Sw＝Off时，进行1204的普通轨道再现。如果在步骤1205中判断为存在后续的数据块，则在步骤1206中使再现对象进入到下一个数据块，从步骤1201反复进行上述处理。
这样，根据本实施例，即使是在对由多个轨道构成的视频数据实施了各种效果处理，并对该效果处理后的影像数据执行播放列表再现的情形下，也可以生成已实施了效果处理的渲染剪辑，再现该渲染剪辑，由此实现高级的效果处理。
图13表示实际的效果的In，Out点和渲染剪辑的开始、结束点不一致时的例子。
上述状况的发生是因为，在例如MPEG2的GOP那样，仅仅能够以预定的时间单位进行再现时，为了施加任意时长的转场效果，必须生成含有效果应用区间并适合再现数据边界(data boundary)的长度的渲染剪辑。
在视频轨道-1中，在0～4秒设定为MovieA.mpg。在视频轨道-2中，在2.5秒～6.5秒设定为MovieB.mpg。视频轨道-2的再现指定时间相对于图3向前错开1.5秒。这是因为视频轨道-1、视频轨道-2之间的1秒的部分的划变的转场效果，和数据块边界(data blockboundary)的包含余白数据(margin data)的重叠。余白数据直接使用原始数据轨道的视频数据。
在渲染剪辑轨道中，设定有包括由In＝2.7、Out＝3.7表示的实际的效果应用区间且包括使前后的动图像数据与块边界对准的部分的渲染剪辑。
Shft是保持作为转场效果的追加的重叠量而将作为后续动图像的MovieB.mpg向前错开1.5秒的履历的数据，被记录在效果轨道的内容管理数据中。
In和Out分别表示在渲染剪辑内的实际的转场效果的开始位置和结束位置，被记录在效果轨道的内容管理数据中。如上述那样，由于再现块边界对准的边界部分，In和Out与渲染剪辑的开始、结束点并不一致。
控制渲染剪辑的再现的再现标志也被记录在效果轨道的内容管理数据中。当Sw＝On时，在再现时，在渲染剪辑期间里，优先于原始的视频轨道、即视频轨道-1和视频轨道-2地再现渲染剪辑轨道。在该例中，从播放列表再现开始，前2.5秒再现MovieA.mpg，在2.5秒～4秒的期间根据渲染剪辑的再现标志而再现RndC.mpg，在4秒～7秒再现MovieB.mpg。
用于使效果轨道的内容和渲染剪辑轨道的数据块相关联的信息作为Blk信息，被记录在效果轨道的内容管理数据中。在此，记录为渲染剪辑轨道的块1～3是效果轨道的内容。
表示渲染剪辑的效果内容的信息被记录在效果记述数据中，在此，记录为效果类型是划变效果。该效果内容信息，例如，在作为节目播放顺序表编辑画面的例子的图6的604中，被用于表示转场效果是划变效果。
用于进行以上的渲染剪辑的处理的标志，也作为Re_On被记录在效果轨道的内容管理信息中。如果不存在渲染剪辑，则设定Re_Off，略过上述处理。
因为该播放列表的数据树结构与图8A、图8B相同，所以省略说明。
图14A～图14D表示播放列表的实际的数据结构例。
图14A为图8A的参照表136和146。在渲染剪辑轨道的参照表136中追加RndC.mpg。在效果轨道的参照表146中追加效果描述文件Effect.dcr。图14B为播放列表数据。在视频轨道-1中设定为从起始处再现4秒时间。在视频轨道-2中，设定为在2.5秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始处再现6.5秒时间。由此进行图13说明的共计6.5秒的播放列表再现。
图14C为内容管理数据。在渲染剪辑轨道的内容管理数据138中，内容ID设定为R-1，内容(content)的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，内容ID设定为E-1和E-2，并设定效果及渲染剪辑的控制参数。
E-1表示与在图13中说明的0～2.5秒、4～6.5秒的无效果的部分对应的效果轨道内容，作为用于效果控制的标志，Effect_Off被设定，作为表示有无渲染剪辑的标志，Rc_Off被设定。E-2表示与图13的2.5～4秒对应的效果轨道内容，由于具有渲染剪辑，所以设定为Rc_On。
在图13中说明的渲染剪辑的各参数被作为上述内容而记录。设定Sw＝On，In＝2.7，Out＝3.7，Shft＝1.5，Blk＝1-3，另外，作为参照轨道ID而设定渲染剪辑轨道。关于各参数的含义，由于和图13的说明重复，所以省略之。
图14D为图8A的块管理数据119、129、139及149。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容设定数据块1～8的再现时间表。在渲染剪辑轨道的块管理数据139中，对ID为R-1内容设定数据块1～3的再现时间表。关于效果轨道，对ID为E-1的内容设定数据块1、3的再现时间表，对ID为E-2的内容设定数据块2的再现时间表。这表示：在图13中，MovieA.mpg和MovieB.mpg分别由每个0.5秒的8个数据块构成，另外，RndC.mpg由每个0.5秒的3个数据块构成，依次再现这些数据块。
这样，即使在图像数据的编码处理单位和来自记录介质的再现单位不一致时，通过将表示在渲染剪辑内进行了效果处理的区间的数据一起记录，可以实施任意时间的效果处理。
本发明不限于上述具体实施方式，在本发明的精神和范围内可作不同的改变和更改，因此，为了向公众告知本发明的范围，撰写下面的权利要求。

Claims (13)

1.一种处理包含多个视频轨道的视频数据的设备，包括：
加工数据生成装置，通过进行上述多个视频轨道的一部分的加工处理，新生成加工数据；以及
播放列表处理装置，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
2.根据权利要求1所述的设备，其特征在于，上述播放列表含有处理上述多个视频轨道和上述加工数据的多个轨道信息。
3.根据权利要求1所述的设备，其特征在于，上述播放列表处理装置生成表示对上述加工数据实施了加工处理的种类的加工类型信息。
4.根据权利要求3所述的设备，其特征在于，上述播放列表处理装置对多个上述加工数据的每一者生成上述加工类型信息。
5.根据权利要求1所述的设备，其特征在于，上述播放列表处理装置生成表示在上述加工数据中实际实施了加工处理的区间的区间信息。
6.根据权利要求5所述的设备，其特征在于，上述播放列表处理装置对多个上述加工数据的每一者生成上述加工区间信息。
7.根据权利要求5所述的设备，其特征在于，上述视频数据是编码的，上述加工数据生成装置决定对每个上述编码的单位实施上述加工处理的区间。
8.根据权利要求1所述的设备，其特征在于，上述播放列表处理装置生成表示随着上述加工数据的生成而变更了再现时间的上述多个视频轨道的再现时间变化量的时间信息。
9.根据权利要求1所述的设备，其特征在于，上述播放列表处理装置还生成表示是否要再现上述加工数据的控制标志。
10.根据权利要求1所述的设备，其特征在于，还包括：记录装置，将上述加工数据和上述播放列表数据记录在记录有上述视频数据的记录介质。
11.根据权利要求10所述的设备，其特征在于，还包括：
再现装置，从上述记录介质再现上述视频数据、上述加工数据以及上述播放列表数据；以及
控制装置，根据由上述再现装置所再现的播放列表数据，控制利用上述再现装置的上述视频数据和加工数据的再现顺序。
12.根据权利要求11所述的设备，其特征在于，上述控制装置对上述再现装置进行控制，使得在表示是否进行上述加工数据的再现的控制标志为ON时，再现上述加工数据，在上述控制标志为OFF时，禁止上述加工数据的再现。
13.一种处理含有多个视频轨道的视频数据的方法，包括：
通过加工上述多个视频轨道的一部分，新生成加工数据的步骤；以及
生成用于控制上述视频数据的再现顺序的播放列表数据的步骤，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
CNB2004100626774A 2003-08-07 2004-08-06 处理含有多个视频轨道的视频数据的装置和方法 Expired - Fee Related CN1311685C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP288867/2003 2003-08-07
JP2003288867A JP2005057657A (ja) 2003-08-07 2003-08-07 画像処理装置

Publications (2)

Publication Number Publication Date
CN1581956A CN1581956A (zh) 2005-02-16
CN1311685C true CN1311685C (zh) 2007-04-18

Family

ID=34114061

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100626774A Expired - Fee Related CN1311685C (zh) 2003-08-07 2004-08-06 处理含有多个视频轨道的视频数据的装置和方法

Country Status (3)

Country Link
US (1) US7738769B2 (zh)
JP (1) JP2005057657A (zh)
CN (1) CN1311685C (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681662B (zh) * 2007-04-13 2013-01-02 Gvbb控股股份有限公司 编辑装置和编辑方法
US8731373B2 (en) 2009-06-30 2014-05-20 Rovi Technologies Corporation Managing and editing stored media assets
US20130195427A1 (en) * 2012-01-27 2013-08-01 Nokia Corporation Method and apparatus for developing and utilizing multi-track video files
CN110691276B (zh) * 2019-11-06 2022-03-18 北京字节跳动网络技术有限公司 多媒体片段拼接的方法、装置、移动终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093919A (ja) * 1996-05-14 1998-04-10 Toshiba Corp 再生状態に応じて副映像を強制的に再現させることが可能なビデオデータが格納されている記録媒体及びその再生システム
JP2002218385A (ja) * 2001-01-19 2002-08-02 Canon Inc データ処理装置、データ処理方法及び記憶媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536164B2 (ja) * 1997-04-12 2010-09-01 ソニー株式会社 編集装置及び編集方法
US6542692B1 (en) * 1998-03-19 2003-04-01 Media 100 Inc. Nonlinear video editor
JPH11289512A (ja) * 1998-04-03 1999-10-19 Sony Corp 編集リスト作成装置
JP4131300B2 (ja) * 1998-06-26 2008-08-13 ソニー株式会社 編集リスト作成装置
JP3918332B2 (ja) * 1998-12-04 2007-05-23 ソニー株式会社 多重化装置、多重化方法及び記録媒体
US7020381B1 (en) * 1999-11-05 2006-03-28 Matsushita Electric Industrial Co., Ltd. Video editing apparatus and editing method for combining a plurality of image data to generate a series of edited motion video image data
US6856755B1 (en) * 1999-11-10 2005-02-15 Thomson Licensing S.A. Method and apparatus for editing in a forward or reverse direction on a rewriteable disc media
US20010004417A1 (en) * 1999-12-21 2001-06-21 Ageishi Narutoshi Video editing system
AU2001251454A1 (en) * 2000-04-07 2001-10-23 Louis D. Giacalone Jr. Method and system for electronically distributing, displaying and controlling advertising and other communicative media
WO2001082611A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
US7477833B2 (en) * 2000-04-21 2009-01-13 Sony Corporation Information processing apparatus and method, program, and recorded medium specifying particular picture characteristics
EP1198132A4 (en) * 2000-04-21 2010-07-28 Sony Corp CODING DEVICE AND METHOD, RECORDING MEDIUM AND PROGRAM
CA2398410C (en) * 2000-11-29 2012-01-24 Matsushita Electric Industrial Co., Ltd. Optical disk, recording apparatus, reproducing apparatus, program, computer-readable recording medium, recording method and reproducing method
US7469093B2 (en) * 2001-01-19 2008-12-23 Canon Kabushiki Kaisha Data processing apparatus for processing playback description data
JP4532786B2 (ja) * 2001-07-18 2010-08-25 キヤノン株式会社 画像処理装置及びその方法
KR100563684B1 (ko) * 2002-02-21 2006-03-28 엘지전자 주식회사 광디스크 장치에서의 재생리스트 관리방법
KR100880627B1 (ko) * 2002-04-25 2009-01-30 엘지전자 주식회사 멀티 더빙 오디오 스트림의 기록 및 재생 관리방법
KR100582953B1 (ko) * 2002-06-05 2006-05-23 엘지전자 주식회사 기록매체의 기록 스트림 관리방법
JP4066162B2 (ja) * 2002-09-27 2008-03-26 富士フイルム株式会社 画像編集装置、画像編集プログラム並びに画像編集方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093919A (ja) * 1996-05-14 1998-04-10 Toshiba Corp 再生状態に応じて副映像を強制的に再現させることが可能なビデオデータが格納されている記録媒体及びその再生システム
JP2002218385A (ja) * 2001-01-19 2002-08-02 Canon Inc データ処理装置、データ処理方法及び記憶媒体

Also Published As

Publication number Publication date
JP2005057657A (ja) 2005-03-03
CN1581956A (zh) 2005-02-16
US7738769B2 (en) 2010-06-15
US20050031304A1 (en) 2005-02-10

Similar Documents

Publication Publication Date Title
CN1154108C (zh) 记录设备和记录方法
CN1192383C (zh) 实时数字视频盘记录器同时编码、解码和暂停、追赶的缓冲器优化方法和设备
CN1096077C (zh) 信息再生装置
CN1147854C (zh) 数据记录方法和设备、数据记录介质,以及数据再生方法和设备
CN1068450C (zh) 再生装置和再生方法
CN1145966C (zh) 数据记录方法与装置及数据再现方法与装置
CN1094288C (zh) 图象信息记录设备和图象信息记录方法
CN1288232A (zh) 信息记录介质的记录和再现方法及信息记录和再现设备
CN1165904C (zh) 用于记录并重现记录媒体的系统
CN1475076A (zh) 音频/视频信息记录再现装置及方法
CN1282359C (zh) 信息处理方法和设备
CN1321317A (zh) 实时dvd视频记录中的标题次序
CN1130699C (zh) 再现装置与记录装置
CN1311685C (zh) 处理含有多个视频轨道的视频数据的装置和方法
CN1272207A (zh) 在/从盘形记录载体上记录/再现和/或编辑实时信息
CN1321392A (zh) 视频目标和单元的编号
CN1297982C (zh) 图像数据记录设备
CN1231893C (zh) 信息记录和再现设备及信息记录和再现方法
CN1867989A (zh) 存储包括模式信息的运动图像数据的存储介质及再现设备和方法
CN1114211C (zh) 记录和再现视频信号的方法和装置
CN1274144C (zh) 内容再现设备与方法
CN1692442A (zh) 光盘记录装置及其方法
CN1612606A (zh) 运动图像再现设备、再现方法、以及存储介质
CN1574049A (zh) 存储在盘形存储介质中的数据的再生设备
JP4401690B2 (ja) ビデオカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070418

Termination date: 20180806