CN1135481C - 视频数据可择一重放的多媒体流生成方法和光盘创作系统 - Google Patents

视频数据可择一重放的多媒体流生成方法和光盘创作系统 Download PDF

Info

Publication number
CN1135481C
CN1135481C CNB971913242A CN97191324A CN1135481C CN 1135481 C CN1135481 C CN 1135481C CN B971913242 A CNB971913242 A CN B971913242A CN 97191324 A CN97191324 A CN 97191324A CN 1135481 C CN1135481 C CN 1135481C
Authority
CN
China
Prior art keywords
data
vob
information
interval
vtbl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB971913242A
Other languages
English (en)
Other versions
CN1205091A (zh
Inventor
������ɽ����
山根靖彦
长谷部巧
中村和彦
福田秀树
֮
冈田智之
����һ
柏木吉一郎
森美裕
田川健二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1205091A publication Critical patent/CN1205091A/zh
Application granted granted Critical
Publication of CN1135481C publication Critical patent/CN1135481C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/04Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the shape
    • G06K19/041Constructional details
    • G06K19/042Constructional details the record carrier having a form factor of a credit card and including a small sized disc, e.g. a CD or DVD
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1254Formatting, e.g. arrangement of data block or words on the record carriers on discs for mixed data, i.e. continuous and discontinuous data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

本发明揭示一种视频数据可择一重放的多媒体流生成方法和光盘创作系统。所提供的创作系统对传输构成具有一系列相关内容的各种标题的活动图像数据、音频数据、副图像数据等信息的位流进行各种处理,生成构成具有对应于用户所要的内容的标题位流,并将其生成的位流有效地记录在规定的记录媒体上,进而从生成的位流重放对应于用户所要的标题内容。将编辑内容变换成创作编码参数,在不满足创作系统数结构等规定的条件的场合,反馈给用户,促使用户重新输入编辑信息。

Description

视频数据可择一重放的多媒体流 生成方法和光盘创作系统
技术领域
本发明涉及对构成具有一系列相关内容的各种标题的活动图像数据、音频数据、副图像数据的信息传输位流实施各种处理,生成用来构成具有用户所希望的内容的标题的位流,并将该生成的位流高效率地记录于规定的记录媒体上,并从这样生成的位流进一步重放对应于用户所希望的标题内容的创作系统。更详细地说,涉及生成由相互关连的声音信息、活动图像信息构成的多媒体流的生成方法和以多媒体流作为数字数据存储的多媒体光盘的创作系统。
背景技术
近年来,在使用模拟图像和VCD等的系统中,对活动图像、声音、副图像等多媒体数据进行数字处理,构成具有一连串相关内容的标题的创作系统正在付诸实用。作为构成这种声音信息和活动图像信息的多媒体流,有MPEG形式的数据。作为MPEG形式的数据的记录媒体有VCD,其创作系统以工作站为基础。在采用VCD的系统中,在具有约600 M字节的存储容量,本来是记录数字音频信号用的CD媒体上,借助于称为MPEG的高压缩率的活动图像压缩方法,实现了活动图像数据的记录。
在这种创作系统中,首先,借助于对活动图像信息进行基本编码、对声音信息进行基本编码,进而对这些被基本编码的数据进行系统编码,生成MPEG位流。接着,为了体现用户的要求、即对应于脚本的内容,决定作为MPEG位流的重放通路顺序的重放路径。将叠置这种脚本信息和MPEG位流的数据变换成CD媒体的盘片映象,并记录在CD媒体上,作成主盘。用模压等的适当的方法,从主盘复制生产发行用的光盘。
近年来,出现了比VCD容量大的称为DVD的光盘记录媒体。DVD能存储长时间的活动图像。作为由其产生的具有前所未有魅力的功能,能实现图像数据的择一重放功能。所谓择一重放,是指形成将多个图像数据分开成规定的区间多重排列在光盘上的区间,而且光盘重放装置一边跳过重放这种多重排列区间,一边仅对多重排入的图像数据内指定的图像数据进行重放。这种多重排列区间称为择一图像重放区间。
作为择一重放功能的应用例,有利用视听限制信息有选择地对重放图像进行重放的保护性加锁重放。具体地说,就是图像等的暴力场面的显示/非显示的选择重放。作为择一重放功能的另一应用例,有选择不同视角的图像进行重放的多视角重放。例如在棒球转播中能做到从击球者视线、投手视线、或者观众视线得到的图像那样,任意切换重放图像的摄像视角的有选择地重放。
为了跳过重放择一图像重放区间,属于该区间的视频数据必须满足编码条件和有关该组合的多路分支限制事项。但是,在以往的VCD等的创作系统的创作过程中,因原则上用相同的条件生成全部的MPEG数据,所以在原样应用这种过程时,利用不满足前述的限制事项的图像数据,作成有缺陷的择一图像重放区间。具有这种缺陷择一图像重放区间的光盘在重放时对于光盘重放装置会产生误动作等。
也就是说,在主盘完成后进行重放前,不能检测择一图像重放区域的缺陷。因此,标题创作者需要再从编码过程开始,重新创作主盘,负担很大。这种负担在MPEG2的编码的场合尤为严重。对能提供比MPEG1更高质量的图像和声音流的MPEG2编码,其编码时间至少需要2倍的重放时间。这是因为MPEG2的图像质量,受编码时指定的位速率等参数和所用滤波器支配。因此,为了检查编码的图像质量,以得到MPEG2提供的图像质量,要再次调整参数,并进行施加最终编码的2通道编码。这样,为了生成具有这样的图像重放区间的多媒体流,有必须花费很多的劳动力的问题。
MPEG2采用与MPEG1有些不同的压缩方式、数据格式。关于MPEG1与MPEG2的内容及其不同点,在ISO11172及ISO13818的MPEG规范书有详细叙述,因此省略其说明。MPEG2中也对视频编码流的结构作了规定,但是没有阐明系统位流的层次结构及低层的处理方法。
鉴于前述的问题,本发明的目的在于提供用于有效地生成具有择一图像重放区间的多媒体流的生成方法及其创作系统。
发明内容
对构成具有一系列相关内容的各种标题的活动图像数据、音频数据、副图像数据的信息传输位流实施各种处理,生成用来构成具有用户所希望的内容的标题的位流的创作系统,其特征在于,包括用编辑单元提示该源数据流的内容的装置和对该被提示的编辑单元(VOB)生成编辑指示数据的装置。
附图说明
图1是表示多媒体位流的数据结构的模式图。
图2是表示装入图38所示的编辑信息作成单元的创作编码器的结构的方框图。
图3是表示与本发明相关的DVD创作解码器的结构的方框图。
图4是表示多层标题流的一例的模式图。
图5是与本发明相关的位流的一部分,是表示VTS的数据结构的模式图。
图6是表示系统流的详细的数据结构的模式图。
图7是表示系统流的组件数据结构的模式图。
图8是表示与本发明相关的导航组NV的数据结构的模式图。
图9是表示与本发明相关的DVD系统的多场面控制的脚本例的模式图。
图10是表示多视角控制的系统流的连接模式图。
图11是表示对应于多场面控制的VOB的例的模式图。
图12是表示与本发明相关的DVD创作编码器的结构的方框图。
图13是表示与本发明相关的VOB集数据串的结构的模式图。
图14是表示与本发明相关的VOB数据串的结构的模式图。
图15是表示与本发明相关的编码器参数的结构的模式图。
图16是表示与本发明相关的DVD多场景控制程序链结构例的模式图。
图17是表示与本发明相关的DVD多场景控制VOB结构例的模式图。
图18是表示与本发明相关的导航组NV的搜索信息数据结构例的模式图。
图19是表示多视角控制概念的模式图。
图20是表示与本发明相关的编码器控制方法的前半部分的流程图。
图21是表示图20所示的与本发明相关的编码器控制方法的后半部分的流程图。
图22是表示多视角控制时的非无断层切换流的编码参数生成操作流程图。
图23是表示图22所示的VOB数据共用设定子程序的详细操作流程图。
图24是表示多视角控制时的无断层切换流的编码参数生成操作的流程图。
图25是表示保护性加锁控制时的编码参数生成操作流程图。
图26是表示单场面的编码器参数生成操作流程图。
图27是表示图12所示的与本发明相关的DVD编码器的格式编排动作的流程图。
图28是表示图12所示的与本发明相关的格式编排器非无断层切换多视角控制时的操作流程图。
图29是表示图12所示的与本发明相关的格式编排器无断层切换多视角控制时的操作流程图。
图30是表示图12所示的与本发明相关的格式编排器保护性加锁控制时的操作流程图。
图31是表示图12所示的与本发明相关的格式编排器的单场面的格式编排操作流程图。
图32是表示与本发明相关的解码系统表的结构的模式图。
图33是表示与本发明相关的解码表的结构的模式图。
图34是表示系统位流数据的结构例的模式图。
图35是表示连续块内的数据结构的模式图。
图36是表示交错块内的数据结构的模式图。
图37是表示图12所示的与本发明相关的编辑信息生成部的第一实施形态的结构的方框图。
图38是表示图12所示的与本发明相关的编辑信息生成部的第二实施形态的结构的方框图。
图39是表示图37和图38所示的编辑信息生成部的操作流程图。
图40是表示图3所示的与本发明相关的脚本选择部的结构的方框图。
图41是一例重放记录由与本发明相关的多媒体光盘创作系统生成的多媒体位流的DVD光盘的重放装置的说明图。
图42是表示基于本发明光盘的视频数据及其重放顺序的说明图。
图43是表示视频表VTBL的结构的说明图。
图44是表示音频表ATBL的结构的说明图。
图45是表示图12所示的与本发明相关的编辑信息生成部的第三实施形态的结构的方框图。
图46是表示择一性重放图像区间为多视角区间或者保护性加锁区间的验证操作流程图。
具体实施方式
<1.1>创作系统的数据结构
<1.2>创作编码器EC
<1.3>脚本St17的生成
<1.4>创作解码器DCD
<1.5>脚本选择数据St51的生成
<2.1>保护性加锁控制和多视角控制
<2.2>保护性加锁控制用择一重放区间的划分
<2.3>保护性加锁控制用择一重放区间限制值例
<2.4>视角用择一重放区间的划分
<2.5>多场面
<3.1>DVD系统的数据结构
<3.2>DVD编码器
<3.3>DVD解码器
<3.3.1>多场面
<3.3.2>无断层
<3.3.3>无断层的详述
<3.4.1>交错
<3.4.2>交错的定义
<3.4.3>交错块、单元结构
<3.5.1>多场面
<3.5.2>保护性加锁
<3.5.3>多视角
<3.6.1>流程图:编码器
<3.6.2>格式编码器流程
<3.7>解码器的流程图
<3.7.1>从光盘到位流缓存器的传送流程
<3.8>DVD机
<1.1> 创作系统的数据结构
首先参照图1对本发明的记录装置、记录媒体、重放装置,以及在包含这些功能的创作系统中被当作处理对象的多媒体数据的位流的逻辑结构加以说明。以用户能够认识、理解或欣赏内容的图像及声音信息作为1个标题。这个“标题”,在电影上说,最大相当于表示一部电影的全部内容的信息量,而最小则相当于表示各场面的内容的信息量。
由包含规定数目的标题的信息的位流构成视像标题集VTS。下面为了简单,简称视像标题集为VTS。VTS包含表示上述各标题的内容本身的图像、声音等的重放数据,以及对其进行控制的控制数据。
由规定数目的VTS形成创作系统中作为一视像数据单元的视像区VZ。下面为了简化,将视像区简称为VZ。在一个VZ上成直线连续排列VTS#0~VTS#K(K为包括0的正整数),共K+1个。然后,将其中的一个,最好是前头的VTS#0,用作表示各VTS所含标题的内容信息的视像管理文件。由这样构成的、规定数目的VZ形成创作系统中作为多媒体数据位流最大管理单元的多媒体位流MBS。
<1.2> 创作编码器EC
图2表示基于本发明,按照适合用户要求的任意脚本,将原多媒体位流编码,生成新多媒体位流MBS的创作编码器EC的一实施形态。而且,原多媒体位流由运送图像信息的视频流St1、运送解说词等辅助图像信息的子图像流St3,以及运送声音信息的音频流St5构成。视频流及音频流是包含规定时间内从对象得到的图像信息及声音信息的位流。另一方面,子图像流是包含一个画面的、也就是瞬间的图像信息的位流。必要时可以在视像存储器等上截获一个画面份额的子画面,连续显示该截获的子图像画面。
这些多媒体源数据St1、St3、及St5在实况转播的情况下由电视摄像机等装置提供实况图像及声音信号。或者是提供由录像磁带等记录媒体重放的非实况图像及声音信号。还有,在图2中,为了简单起见,采用三种多媒体源流,当然也可以输入3种以上,分别表示不同标题内容的源数据。具有这样的多个标题的声音、图像、辅助图像信息的多媒体源数据被称为多标题流。
创作编码器EC由编辑信息生成部100、编码系统控制部200、视频编码器300、视频流缓存器400、子图像编码器500、子图像流缓存器600、音频编辑器700、音频流缓存器800、系统编码器900、视像区格式编排器1300、记录部1200,以及记录媒体M构成。
在图2中,本发明的编码器编码的位流作为一个例子记录于光盘媒体上。
创作编码器EC具备编辑信息生成部100,该生成部能将根据用户有关原多媒体标题中图像、子图像和声音的要求,编辑多媒体位流MBS的相当部分的指示作为脚本数据输出。编辑信息生成部100最好是以显示部、扬声器部、键盘、CPU,以及源数据位流缓存器等构成。编辑信息生成部100连接于上述外部多媒体位流源上,接受提供的多媒体源数据St1、St3及St5。
用户将多媒体源数据用显示部及扬声器重放出图像和声音,可以识别标题的内容。而且用户一边确认重放的内容,一边用键盘输入符合所要求脚本的内容编辑指示。编辑指示内容是指对包含多个标题内容的各源数据的全部或各个,每一规定时间选择一个以上的各源数据的内容,并将这些选择的内容以规定的方法连接重放这样的信息。
CPU根据键盘输入,生成将多媒体源数据中St1、St3及St5各数据流的编辑对象部分的位置、长度,以及各编辑部分之间在时间上的相互关系等信息代码化的脚本数据St7。下面,参照图37、图38、图39和图40,对脚本数据St7的生成,连带编辑信息生成部100的结构和操作,进行详细说明。
源数据位流缓存器具有规定的容量,将多媒体源数据的St1、St3、及St5延迟规定时间Td后输出。其原因在于,在与用户生成脚本数据St7的同时进行编码的情况下,也就是逐次进行编码处理的情况下,如下文所述根据脚本数据St7决定多媒体源数据的编辑处理内容需要若干时间Td,所以在实际进行编辑时需要使多媒体源数据延迟该时间Td,以便与编辑编码同步。
在这样逐次进行编辑处理的情况下,延迟时间Td根据调整系统内各要素之间同步所需要的程度决定,因此通常源数据位流缓存器由半导体存储器等高速记录媒体构成。
但是,在通过全部标题,完成脚本数据St7之后,对一批多媒体源数据进行编码的所谓成批编辑时,延迟时间Td需要有相当于一个标题或更长的时间。在这样的情况下,源数据位流缓存器可以利用录像磁带、磁盘、光盘等低速大容量记录媒体构成。也就是说,源数据位流缓存器根据延迟时间Td及制造成本,采用合适的记录媒体构成即可。
编码系统控制部200连接于编辑信息生成部100,从编辑信息生成部100接受脚本数据St7。创作系统控制部200根据脚本数据St7所包含的关于编辑对象部分的时间上的位置及长度的信息,分别生成对多媒体源数据的编辑对象部分进行编辑用的编码参数及编码开始/结束定时信号St9、St11和St13。此外,编码系统控制部200接受脚本数据St7的输入,编码成创作编码器EC中有效位流的最小编辑单元水平上的编辑控制指示数据St7’,并反馈到编辑信息生成部100中。关于编辑控制指示数据St7’的生成,参照图37在后面进行说明。
如上所述各多媒体源数据St1、St3及St5由源数据位流缓存器延迟时间Td后输出,因此与各定时St9、St11和St13同步。
即,信号St9是为从视频流St1提取编码对象部分,生成视频编码单元,而指示对视频流St1进行编码的定时的视频编码信号。同样,信号St11是为生成子图像编码单元,而指示对子图像流St3进行编码的定时的子图像流编码信号。信号St13是为生成音频编码单元,而指示对音频流St5进行编码的定时的音频编码信号。
编码系统控制部200又根据脚本数据St7所包含多媒体源数据中St1、St3及St5各数据流的编码对象部分之间在时间上的相互关系等信息,生成用于将编码的多媒体编码流按规定的相互关系排列的定时信号St21、St23及St25。
编码系统控制部200就一个视像区VZ份额的各标题的标题编辑单元(VOB),生成表示该标题编辑单元(VOB)的重放时间的重放时间信息IT及表示用于使视频、音频、子图像的多媒体编码流复接的系统编码的编码参数的流编码数据St33。
编码系统控制部200由相互处于规定的时间关系下的各数据流的标题编辑单元(VOB),生成规定多媒体位流MBS的各标题的标题编辑单元(VOB)的连接,或规定将用于生成把各标题编辑单元加以重迭的交错标题编辑单元(VOBs)的各标题编辑单元(VOB)作为多媒体位流MBS进行格式化的格式化参数的排列指示信号St39。
视频编码器300连接于编辑信息生成部100的源数据位流缓存器及编码系统控制部200,分别输入视频流St1和视频编码用的编码参数数据及编码开始/结束定时信号St9,例如编码开始/结束定时、位速率、编码开始/结束时的编码条件、编辑素材的种类是NTSC信号或PAL信号,还是电视电影等参数。视频编码器300根据视频编码信号St9对视频流St1的规定部分进行编码,生成视频编码流St15。
同样,子图像编码器500连接于编码信息生成部100的源数据缓存器及编码系统控制部200,分别输入子图像流St3和子图像流编码信号St11。子图像编码器500根据子图像流编码用的参数信号St11对子图像流St3的规定部分进行编码,生成子图像编码流St17。
音频编码器700连接于编辑信息生成部100的源数据缓存器及编码系统控制部200,分别输入音频流St5及音频编码信号St13。音频编码器700根据用于音频编码的参数数据及编码开始/结束定时信号St13,对音频流St5的规定部分进行编码,生成音频编码流St19。
视频流缓存器400连接于视频编码器300,存储从视频编码器300输出的视频编码流St15。视频流缓存器400还连接于编码系统控制部200,根据定时信号St21的输入,将存储着的视频编码流St15作为定时视频编码流St27输出。
同样,子图像流缓存器600连接于子图像编码器500,存储从子图像编码器500输出的子图像编码流St19。子图像流缓存器600还连接于编码系统控制部200,根据定时信号St23的输入,将存储的子图像编码流St17作为定时子图像编码流St29输出。
又,音频流缓存器800连接于音频编码器700,存储从音频编码器700输出的音频流St19。音频流缓存器800还连接于编码系统控制部200,根据定时信号St25的输入,将存储的音频编码流St19作为定时音频编码流St31输出。
系统编码器900连接于视频流缓存器400、子图像流缓存器600及音频流缓存器800,输入定时视频编码流St27、定时子图像编码流St29,及定时音频编码流St31。系统编码器900又连接于编码系统控制部200,输入流编码数据St33。
系统编码器900根据系统编码的编码参数数据及编码开始/结束定时的信号St33,对各定时流St27、St29及St31进行复接处理,生成标题编辑单元(VOB)St35。
视像区格式编排器1300连接于系统编码器900,输入标题编辑单元St35。视像区格式编排器1300还连接于编码系统控制部200,输入用于对多媒体位流MBS进行格式化的格式化参数及格式化开始/结束定时信号St39。视像区格式编排器1300根据标题编辑单元St39,将1视像区(VZ)份额的标题编辑单元St35,按照符合用户所要求脚本的顺序改换排列,生成编辑好的多媒体位流St43。
该编辑成用户所要求脚本的内容的多媒体位流St43被传送到记录部1200。记录部1200将编辑多媒体位流MBS加工成与记录媒体M相适应的形式的数据St43,记录在记录媒体M上。在这种情况下,多媒体位流MBS中预先包含由视像区格式编排1300生成的、表示媒体上的物理地址的卷文件结构VFS。
又可以将编码过的多媒体位流St35直接输出到下文将说明的那样的解码器,重放编辑过的标题内容。在这种情况下,多媒体位流MBS中当然不包含卷文件结构VFS。
<1.3> 脚本数据St17的生成
接着,关于前述的脚本数据St7的生成方法,参照表示编辑信息作成单元100的结构的图37进行说明。编辑信息生成部100包括编辑信息输入部102、编辑信息变换部104、创作编辑参数判定器110、编辑信息显示部106和位流输入缓存器109,并分别相互地连接成如图37所示。在位流输入缓存器109中,与编辑定时同步地暂时保持作为编辑对象的视频、子图像、和音频的源数据位流St1、St2和St3。编辑信息输入部102是将反映用户要求的编辑指示输入到创作编码器EC中的装置,与前述的键盘相当。编辑信息变换部104是变换用户由编辑信息输入部102输入的编辑指示信号,并生成脚本数据St7的装置。
创作编辑参数判定器110输出与对位流缓存器109中源数据流的编辑定时同步的同步信号St300。
创作编辑参数判定器110进一步判断被编码的用户编辑指示内容是否满足创作系统所用多媒体位流的数据结构、创作编码器EC和后述创作解码器DC的结构和功能上的规定,即是否满足创作编辑参数的条件。创作编辑参数判定器110与编辑信息变换部104一起,相当于前述的CPU。这样,创作编辑参数判定器110具有用最小可编辑单元向用户提示源数据流的功能。
创作编辑参数判定器110,在用户编辑控制指示数据St7R满足创作编辑参数条件的场合,以这种编辑控制指示数据St7R作为图2所示的脚本数据St7,输出到编码系统控制部200中。编码系统控制部200基于这种编辑控制指示数据,生成创作编码参数。创作编码器EC基于这种创作编码参数,对源数据流St1、St3和St5进行编码,生成创作标题位流。
此外,创作编辑参数判定器110,能利用编辑信息显示部106,将包含在用户编辑控制指示数据St7R中的创作编辑参数条件的判定结果,即分别表示其创作编辑参数和编辑条件值的编辑参数数据,作为编辑信息数据St302进行输出。编辑信息显示部106与前述的显示器相当,用户基于确认在其显示器上显示的编辑参数和编辑条件值,利用编辑信息输入部102能重新输入正确的编辑指示。
接着,参照图2和图38对用与前述图37所示的不同的结构,做成编辑信息生成部100的场合的参照编码器EC进行说明。图38所示的编辑信息生成部100将图37所示的编辑信息生成部100的创作编辑参数判定器110变换成编辑信息变换部111。编辑信息变换部104将脚本数据St7同时输出到这种编辑信息变换部111和编码系统控制部200中。编码系统控制部200根据脚本数据St7,与创作编辑参数判定器110(图37)相同,生成编辑控制指示数据St7,同时,进一步判断被编码的用户编辑指示内容是否满足创作编辑参数条件。于是,如图2所示,编码系统控制部200将表示其判定结果的数据填入编辑控制指示数据St7’中,并输出到编辑信息生成部100内部的编辑信息变换部111中。
编辑信息变换部111与创作编辑参数判定器110(图37)相同,输出编辑信息数据St302作为脚本数据St7。此外,编辑信息变换部111将包含于从编码系统控制部200输入的编辑控制指示数据St7’中的判定结果,编入到编辑信息数据St302中并进行输出。
接着,参照图39的流程图,首先对图37所示的编辑信息生成部100的动作进行说明。
在步骤#201,用户对在编辑信息显示部106中显示的源数据流St1、St3和St5的内容,利用编辑信息输入部100输入所要的标题编辑指示。
在步骤#202,编辑信息变换部104生成脚本数据St7,创作编辑参数判定器110生成编辑参数数据St302,编辑信息显示部106向用户提示编辑指示内容。
在步骤#203,创作编辑参数判定器110根据脚本数据St7,生成编辑指示数据St7R。
在步骤#204,判定编辑指示数据St7R是否满足创作编辑参数条件。在判定满足条件的场合,以这种编辑指示数据St7R作为脚本数据St7(图2),并输出到编码系统控制部200中。
反之,在步骤#204,判定不满足创作编辑参数条件时,将前述的创作编辑信息数据St302输出到编辑信息显示部106中,并将控制返回到步骤#201。重复步骤#201、#202、#203和#204的循环,直到用户输入的编辑控制指示满足创作编辑参数条件为止。
在步骤#205,编码系统控制部200根据这种编辑控制指示数据,生成创作编码参数。创作编码器EC根据这种创作编码参数,对源位流St1、St3和St5的内容进行编码,生成创作标题位流。
图38所示的编辑信息生成部100的操作虽然也基本上与图3所示的流程图相同,但在步骤#203和#204,不是创作编辑参数判定器110(图37),而是编码系统控制部200(图2)根据脚本数据St7,生成编辑控制指示数据St7’,并判定是否满足创作编辑参数条件。
接着,对一例创作编码参数进行简单说明。为了说明简单起见,假设创作编码参数包括表示与场面相当的素材的开始/结束时刻的S_TIME,表示素材的种类的SRS_KIND,表示场面的种类的SN_KIND,和表示场面的重放信息的SN_PBI的4种参数群。与场面相当的素材的开始/结束时刻(S_TIME)是用于对各场面进行编码的输入源的开始时刻/结束时刻的信息,例如数字VTR的磁带内的编码开始时刻/结束时刻。素材的种类(SRS_KIND)是表示对素材是否进行电影电视变换等的信息。场面的种类(SN_KIND)是表示是否为多视角场面、是否为保护性加锁场面的信息。场面的重放信息(SN_PBI)是表示使用场面的标题信息及在该标题内的重放顺序的信息。如果场面的重放信息SN_PBI是在多个标题中使用的场面,则存在与该标题数相当的场面。当然,根据编辑的内容,也可设定多于这4种的参数。
<1.4> 创作解码器DCD
下面参照图3,表示将与本发明相关的多媒体位流创作系统用于上述DVD系统的场合的创作解码器DC的一实施形态。用于DVD系统的创作编码器DCD(下面,称为DVD解码器),借助于本发明的创作解码器ECD,将编辑过的多媒体位流MBS解码,按照用户所要求的脚本将各标题的内容展开。而且,在本实施形态中,将DVD编码器EC编码的多媒体位流St45记录于记录媒体M中。
创作解码器DCD由多媒体位流重放部2000、脚本选择部2100、解码系统控制部2300、位流缓存器2400、系统解码器2500、视频缓存器2600、子图像缓存器2700、音频缓存器2800、同步控制部2900、子图像解码器3100、音频解码器3200、重排序缓存器3300、切换器3400、合成部3500、视频数据输出端子3600、音频数据输出端子3700,以及视频解码器3801构成。
此外,切换器3400与同步控制部2900连接,接受切换指示信号St103的输入。
多媒体位流重放部2000由驱动记录媒体M的记录媒体驱动装置2004、读出记录媒体M上记录的信息,生成二值读取信号St57的读取头装置2006、对读取信号St57进行各种处理,生成重放位流St61的信号处理部2008,以及机构控制部2002构成。机构控制部2002连接于解码系统控制部2300,接收多媒体位流重放指示信号St53,生成分别对记录媒体驱动单元(电动机)2004及信号处理部2008进行控制的重放控制信号St55及St59。
解码器DCD具备脚本选择部2100,该选择部能将按照选择相应脚本重放的要求,给予创作解码器DC的指示作为脚本数据输出,使涉及创作编码器EC编辑的多媒体标题的图像、子图像及声音的用户所想要的部分得以重放。
脚本选择部2100最好是用键盘及CPU等构成。用户根据用创作编码器EC输入的脚本的内容操作键盘输入所想要的脚本。CPU根据键盘输入生成指示所选择的脚本的脚本选择数据St51。脚本选择部2100借助于例如红外线通信装置等连接于解码系统控制部2300。
解码系统控制部2300,根据用解码系统控制部2300生成的脚本选择数据St51,生成控制多媒体位流重放部2000的操作的重放指示信号St53。解码系统控制部2300,进一步从脚本数据St53提取用户的重放指示信息,生成解码控制必要的解码信息表。关于解码信息表,后面参照图32、图33详细地说明。此外,解码系统控制部2300,从流重放数据St63中的场数据区域FDS信息,提取视频管理文件VMG、VTS信息VTSI、PGC信息C_PBI#j、访问单元重放时间(C_PBTM)等记录于光盘M中的标题信息,生成标题信息St200。
<1.5> 脚本选择数据St51的生成
下面,参照图40对脚本选择部2100详细地进行说明。脚本选择部2100由脚本选择信息输入部2102,脚本选择信息变换部2104和标题信息显示部2106构成。脚本选择信息输入部2102,可以由人能操作的遥控器等输入脚本选择数据,也可以输入包含脚本选择信息的计算机文件等电子输入数据作为脚本选择数据。脚本选择信息变换部2104将来自脚本选择信息输入部2105的信息变换成能用解码系统控制部2300处理的编码信息St51。标题信息显示部2106是显示被重放的标题信息St200(图3)的标题信息显示部分。例如,在光盘内存在多个标题的场合,由遥控器等显示用于选择该标题的画面信息。这种标题信息显示部2106也不必一定在脚本选择部2100中,也可以在与视频数据输出端子3600连接的CRT等显示装置中,显示用于前述标题选择的画面信息。
回到图3,位流缓存器2400具有规定的缓存器容量,暂时存储从多媒体位流重放部2000输入的重放信号位流St61,同时提取各流的地址信息及同步初始值数据,生成流控制数据St63。位流缓存器2400连接于解码系统控制部2300,将生成的流控制数据St63提供给解码系统控制部2300。
同步控制部2900连接于解码系统控制部2300,接收同步控制数据St81所包含的同步初始值数据(SCR),将内部的系统时钟(STC)置位,并将复位的系统时钟St79提供给解码系统控制部2300。
解码系统控制部2300根据系统时钟St79,以规定的时间间隔生成位流读出信号St65,输入位流缓存器2400。
这种场合的读出单位是数据组。在解码系统控制部2300中,对从位流缓存器2400提取的位流控制数据中的SCR和来自同步控制部2900的系统时钟St79进行比较,在系统时钟St79比St63中的SCR大的时刻,生成读出请求信号St65。按数据组为单位进行这种控制,以此控制数据组传送。
位流缓存器2400根据读出信号St65,以规定的时间间隔输出重放位流St61。
解码系统控制部2300又根据脚本选择数据St51,生成表示所选择的脚本对应的视频流、子图像流、音频流各自的ID的解码流指示信号St69,向系统解码器2500输出。
系统解码器2500根据解码指示信号St69的指示,将从位流缓存器2400输入的视频、子图像及音频的数据流分别作为视频编码流St71向视频缓存器2600输出,作为子图像编码流St73向子图像缓存器2700输出,作为音频编码流St75向音频缓存器2800输出。
在标题中存在例如日语、英语、法语等不同语言的声音等多个音频数据,和日语字幕、英语字幕、法语字幕等不同语言的字幕等多个子图像的场合,分别地赋予ID。参照图7进行说明,也就是说,在视频数据和MPEG音频数据中,赋予流ID,在子图像数据、AC3方式的声音数据、线性PCM和导航组NV信息中,赋予子流ID。用户虽然没有意识到ID,但能用选择部2100选择哪种语言的声音或者字幕。如果选择英语声音,则作为脚本选择数据St51,将对应于英语声音的ID传送到解码系统控制部2300中。此外,解码系统控制部2300将该ID在St69上传送到系统解码器2500中。
系统解码器2500根据解码指示信号St69的指示,将从位流缓存器2400输入的视频、子图像及音频的数据流分别作为视频编码流St71向视频缓存器2600输出,作为子图像编码流St73向子图像缓存器2700输出,作为音频编码流St75向音频缓存器2800输出。也就是说,系统解码器2500在脚本选择部2100输入的流ID和从位流缓存器2400传送来的数据组ID一致的场合,将该数据组传送到各自的缓存器(视频缓存器2600、子图像缓存器2700、音频缓存器2800)中。
系统解码器2500检测出各流St67在各最小控制单元的重放开始时间(PTS)及解码开始时间(DTS),生成时间信息信号St77。该时间信息信号St77经过解码系统控制部2300,作为同步控制数据St81输入同步控制部2900。
作为对同步控制数据St81的响应,同步控制部2900对各流决定使各流在解码后形成预定的顺序的解码开始时间。同步控制部2900根据该解码时间生成视频流解码开始信号St89,输入视频解码器3800。同样,同步控制部2900生成子图像解码开始信号St91及音频解码开始信号St93,分别输入子图像解码器3100及音频解码器3200。
视频解码器3801根据视频流解码开始信号St89生成视频输出请求信号St84,对视频缓存器2600输出。视频缓存器2600接收视频输出请求信号St84,向视频解码器3800输出视频流St83。视频解码器3801检测出视频流St83所包含的重放时间信息,在接收了长度相当于重放时间的视频流St83的输入后,立即使视频输出请求信号St84无效。这样做,使相当于规定的重放时间的视频流在视频解码器3801得到解码,重放的视频信号St95被输出到再排序缓存器3300和切换器3400中。
因视频编码流是利用帧间相关进行编码的,所以用帧单元观察时,显示顺序与编码流顺序不一致。因此,不能用解码顺序显示。于是,将解码结束后的帧暂时存储在再排序缓存器3300中。在同步控制部2900中,控制St103的输出,切换视频解码器3801的输出St59和再排序缓存器St97的输出,并输出到合成部3500中,以便成为显示顺序。
同样,子图像解码器3100根据子图像解码开始时间St91生成子图像输出请求信号St86,提供给子图像缓存器2700。子图像缓存器2700接收子图像输出请求信号St86,向子图像解码器3100输出子图像流St85。子图像解码器3100根据子图像流St85所包含的重放时间信息,将长度相当于规定的重放时间的子图像流St85解码,重放子图像信号St99,并向合成部3500输出。
合成部3500使选择器3400的输出和子图像信号St99重迭,生成图像信号St105,向视频输出端子3600输出。
音频解码器3200根据音频解码开始信号St93,生成音频输出请求信号St88,提供给音频缓存器2800。音频缓存器2800接收音频输出请求信号St88,向音频解码器3200输出音频流St87。音频解码器3200根据音频流St87所包含的重放时间信息,将长度相当于规定的重放时间的音频流St87解码后向音频输出端子3700输出。
这样做,可以响应用户的脚本选择,实时地重放用户所想要的多媒体位流MBS。也就是说,每当用户选择不同的脚本,创作解码器DC可以重放与该选择的脚本对应的多媒体位流MBS,以重放用户所想要的标题内容。
此外,解码系统控制部2300也可以经过前述的红外线通信装置将标题信息信号St200提供给脚本选择部2100。脚本选择部2100从标题信息信号St200所包含的流重放数据St63中的文件数据区域FDS信息内提取记录在光盘M中的标题信息,在内装显示器上进行显示,因而能进行基于用户的交互式的脚本选择。
在前述的例中,因位流缓存器2400、视频缓存器2600、子图像缓存器2700、音频缓存器2800和再排序缓存器3300功能不同,所以分别表示为不同的缓存器。但是,借助于时间分割使用具有在这些缓存器中要求的写入和读出速度的几倍的操作速度的缓存器,能使1个缓存器同时起这些分立缓存器的作用。
如上所述,在本发明的创作系统中,为了对基本的标题内容,将表示各内容的最小编辑单元可能有多分支的子流按规定的时间上的相互关系排列,对多媒体源数据进行实时编码或成批编码,可以按照多个任意脚本生成多媒体位流。
又可以按照多个脚本内的任意脚本重放这样编码的多媒体位流。于是,即使是在重放中,还选择与选择过的脚本不同的脚本(切换),也能够重放与该新选择的脚本动态对应的多媒体位流。而且,在按照任意脚本重放标题内容时,还能够在多个场面中动态选择任意场面进行重放。
这样,在本发明的创作系统中,不仅能够进行编码并实时地重放多媒体位流MBS,而且能够反复重放。再详细描述前述与本发明相关的创作系统如何用于DVD系统,特别是用于无断层接续创作系统的情况。
<2.1> 保护性加锁控制和多视角控制
下面,对本发明的保护性加锁控制和多视角控制进行说明。保护性加锁控制中,具有按视听级别截割图像的区间的视频数据,其时间比其它的视频数据短。因此,与保护性加锁相关的择一重放的各视频数据的长度各不相同。
另一方面,在多视角控制中,因平行于同一时间轴地重放各视角区间的图像和声音,所以各视角区间的视频数据的重放时间相等。应该指出,这里所谓的重放时间是广义的,等于从光盘取出数据,变换成图像和声音的输出信号,并进行图像输出、声音输出的时间。不是作狭义解释,其含义不是仅从光盘取出的时间和取出数据的解码结束时间。各视角区间因即使其重放时间相等各图像内容也不同,所以用MPEG2方式压缩的数据量可变,当然,被变换的各重放区间的数据量不同。
作为保护性加锁控制和多视角控制的背景技术之一,都是视频数据的择一重放。实现择一重放方面上的课题,是重放各视频数据,而不中途切断其前后视频数据中的任何一个。但是,在光盘的连续区域上分别配置各视频数据的场合,因能配置在邻接前后视频数据的区域上的视频数据是1个,所以对不邻接的视频数据,发生查找光盘,相当于图像的连续重放中途切断。
某种程度的查找虽然能利用一边光盘重放装置缓存连接重放数据一边重放,抵消其等待时间,但如果择一重放区间长的话,则光盘重放装置中要求的缓存耗量变大,不能适应。通常,称其为缓存器溢出。因此,为了缩短各次查找的等待时间,使用称为交错记录的技术。
也就是说,将各视频数据划分成规定的区间(称为交错单元),形成将其交互地配置在光盘的连续区域上的择一重放区间。由此,能将查找距离抑制为所划区间的长度,即使在择一重放区间经历时间长的场合,缓存器也能不溢出地进行重放。下面,对保护性加锁控制和多视角控制,说明无缓存器溢出的重放方法。
<2.2> 保护性加锁控制用择一重放区间的划分
在形成保护性加锁控制用的择一重放区间时,一发生前述的缓存器溢出,就必须形成这种区间使得光盘重放装置不发生与其相反的缓冲器内无应重放图像数据的缓存器下溢。为了形成择一重放区间,使得不发生缓存器溢出,必须考虑光盘重放装置的缓存器规模和查找速度等性能。
也就是说,假设无缓存器规模和查找性能导致的图像中途切断的光盘重放装置最大转移时间为JMT,则为了形成择一重放区间,划分成交错单元的各视像数据的划分单元数M的最小值Mmin可用下式表示
Mmin≥VOBMaxTime/JMT(式1)
VOBMaxTime是择一重放区间所属视像数据的最长时间。式1中,将形成择一重放区间的视频数据划分成交错单元的数目,必须是M以上的值,这种场合,在交错单元的重放中会发生缓存器溢出的问题,而且,假设进行转移,也因缓存器中不能存储充分的数据,其结果,有缓存器下溢的问题。
为了不发生前述的缓存器下溢,可以直到完成转移前缓冲器所存1交错单元图像数据的图像解码,才结束转移,而且转移后完成在缓存器中再现下一解码用的交错单元的图像数据。
也就是说,假设
JT:转移所需时间(例如0.4sec)
BitRate:对重放装置的跟踪缓存器输入数据的传送速率(例如10Mbps:固定值)
ILUM:交错单元的数据量
则,缓存器中的图像数据允许的重放时间(ILUMT),必须超过发生转移时到下一图像数据解码准备结束为止的最长时间,要满足下式:
ILUMT>JT+(ILUM/BitRate)(式2)
由此,择一重放区间的划分单元数(M)可由下式求得
M=VOBTime/ILUMT(式3)
VOBTime是构成择一重放区间的各视频数据的重放时间。
假设构成择一重放区间的视频数据的最小值为VOBminTime,
则,交错单元划分数目M的最大值Mmax可用下式表示:
Mmax≤VOBMinTime/(JT+(ILUM/BitRate))(式4)
也就是说,如果在最大划分单元数Mmax以下,则在光盘重放装置中会发生缓存下溢的问题。
如前所述,在形成择一重放区间时,需要用满足(式1)、(式4)的M值(Mmin、Mmax)进行划分。
<2.3> 保护性加锁控制用择一重放区间限制值例
下面,示出了保护性加锁控制用择一重放区间的限制值的具体例。
假设
    VOB的最大位速率:8Mbps
    VOBminTime:4.0sec
    VOBTime:120sec以上
则,由式2,ILUMT>0.4+8*2/10=2.0(sec)
由式1,JMT=250Mbit/8=31.25(sec)
由式4,Mmax≤VOBminTime/ILUMT=4.0/2.0=2
由式3,M=VOBTime/JMT=120/31.25=3.84
这种场合,从式3和式4得到的值,相互不满足,因而作为错误。
<2.4> 视角用择一重放区间的划分
形成多视角控制用的择一重放区间时,在考虑上述缓存器溢出、决定区间的划分单元数目的同时,必须考虑视频数据的结构在各视频数据是均等的。这和保护性加锁不同,因为在重放时必须根据使用者的指定动态地切换图像。因此,如果长度不同,则不能与切换后的图像取得同步,会发生声音等中途中断等问题。
为了使切换前和切换后的视频数据的结构相同,构成包含于视频数据的图像数据的GOP结构必须相等。这里说的所谓“GOP结构相等”意味着包含于对应的交错单元的GOP数目及图像的数目相等。也就是说,在基本编码时构成角度区间的视频数据所包含的图像信息要在这种条件下进行基本编码。
发生上述问题的典型例子是素材为电影(24帧/秒)的情况,而且是正在进行电视电影变换的情况。所谓电视电影变换是,由于电影为每秒24帧,在变换为通常的电视信号时实施场插补变换为每秒30帧的处理。将经过电视电影变换的素材变换为MPEG数据时,由于插补时插入的场冗长,为了提高压缩效率,实施逆电视电影变换,变回到每秒24帧之后被压缩为MPEG数据。
但是,虽然该逆电视电影变换总体上是将30帧变换为24帧,但是局部电视数据并不是一律按照这一比率变换的,在局部上以分散于24~30帧之间的各种比率变换。因此对于属于视角区间的各种视频数据,一旦实施该逆电视电影变换,图像数目不是一定的,各VOB的GOP结构不同。
下面将对所述GOP结构相等的条件之一的图像数目进行详细叙述。这里所谓图像数目,正确地说意思是包含于GOP的重放的图像数目。因此,GOP中的编码对象帧和重放的图像数目不一定一致。在逆电视电影变换中,从每秒30帧变换为每秒24帧编码的情况下图像数目明显减少。在这种情况下利用变换从中将哪一部分场去除掉,还有什么时候重放合适等信息作为RFF标志和TFF标志记述于编码后的流中(RFF:Repeat First Field,TFF:Top Field First)。因而,即使编码对象帧是具有相同结构的GOP,如果显示着上述标志(RFF)的图像数目不同,重放时间将变得不相同。
而且,视频数据中包含的声音数据的通道数目及副图像数据的通道数目必须相等。这时因为如果通道数目不同,在视频数据切换之前选择的通道在视频数据切换之后可能部存在。也就是说,必须只对在基本编码时属于视角区间的视频数据所包含的声音数据或副图像数据中与该通道数目相等的份额进行基本编码。
下面参照图5、图6、图7及图8对本发明的DVD系统的数据结构加以说明。
<2.5> 多场面
为了满足上述保护性加锁重放及多视角重放的要求,如果分别准备好各要求的内容的标题,必须准备所要求数目的有很少一部分不同场面数据而内容大致相同的标题,记录于记录媒体上。这相当于在记录媒体的大部分区域反复记录相同的数据,所以记录媒体的存储容量的利用效率显然不高。而且即使具有DVD那样的大容量记录媒体,记录适应全部要求相对应的标题也是不可能的。这样的问题,可以说只要增加记录媒体的容量基本上就能够解决,但是从有效利用系统资源的观点出发是非常不希望这样做的。
在DVD系统中,能够利用下面说明其梗概的多场面控制,以最低限度需要的数据构成具有多种变化的标题,有效利用记录媒体等的系统资源。总之,以各标题间的共用的数据构成的基本场面区间和适应各种要求的不同场面群构成的多场面区间组成具有各种变化的标题。于是,形成重放时用户能够随时自由地选择各多场面区间的特定场面。关于包含保护性加锁重放及多视角重放的多场面控制将在后面参照图9加以说明。
<3.1> DVD系统的数据结构
图5表示图1所示的视像标题集VTS的内部结构。视像标题集VTS分为表示整个光盘的管理信息的VTS信息(VTSI)和作为多媒体位流的系统流的VTS标题用VOBS(VTSTT_VOBS)。首先,在下面对VTS信息进行说明之后,将对VTS标题用VOBS加以说明。
VTS信息主要包含VTSI管理表(VTSI_MAT)及VTSPGC信息表(VTS_PGCIT)。
VTSI管理表记述视像标题集VTS的内部结构及视像标题集VTS中所包含的可选择的音频流的数目、子图像数目及视像标题集VTS的收容地址等。
VTSPGC信息管理表是记录表示控制重放顺序的程序链(PGC)的i个(i为自然数)PGC信息VTS_PGCI#1~VTS_PGCI#I的表。各输入的PGC信息VTS_PGCI#I是表示程序链的信息,由j个(j为自然数)访问单元重放信息C_PBI#1~C_PBI#j构成。各访问单元重放信息C_PBI#j包含关于访问单元的重放顺序和重放的控制信息。
又,所谓程序链PGC是记述标题流的概念,记述访问单元(下述)的重放顺序以形成标题。上述VTS信息,在关于例如菜单信息的情况下,在重放开始时收容于重放装置内的缓存器内,在重放的中途按下遥控器的“菜单”键的时刻由重放装置参照该VTS信息,将例如#1的最上部菜单加以显示。在分级菜单的情况下,其结构为例如程序链信息VTS_PGCI#1是“菜单”键按下后显示的主菜单,#2~#9是对应于遥控器的数字键的数字的子菜单,#10以后是更下层的子菜单。其结构还可为例如#1为按下数字键显示的最上部菜单,#2以下为相应于数字键数字的重放指导声。
菜单本身由该表指定的多个程序链表示,因此可构成任意形态的菜单,例如分级菜单或是包含指导声的菜单。
又例如在电影的情况下,重放装置参照重放开始时收容于重放装置内的缓存器,并在PGC中记述的访问单元重放顺序,重放系统流。
这里说的访问单元是系统流的全部或一部分,作为重放时的访问点使用。例如在电影的情况下,可以作为在中途将标题分段的章节使用。
还有,输入的PGC信息C_PBI#j分别包含访问单元重放处理信息及访问单元信息表。重放处理信息由重放时间、重复次数等访问单元重放所需要的处理信息构成。C_PBI#j由访问单元块模式(CBM)、访问单元块类型(CBT)、无断层重放标志(SPF)、交错数据块配置标志(IAF)、STC再设定标志(STCDF)、访问单元重放时间(C_PBTM)、无断层视角切换标志(SACF)、访问单元前头VOBU开始地址(C_FVOBU_SA),及访问单元末尾VOBU开始地址(C_LVOBU_SA)构成。
这里说的所谓无断层重放,就是在DVD系统中,不中断各数据及信息地重放图像、声音、副图像等多媒体数据。详细情况将在下面参照图10及图11加以说明。
访问单元块模式CBM表示多个访问单元是否构成一个功能块,构成功能块的各访问单元的访问单元重放信息连续配置在PGC信息内,配置在其前头的访问单元重放信息的CBM示出表示“块的前头访问单元”的值,配置在其最后的访问单元重放信息的CBM示出表示“块的最后访问单元”的值,配置在中间的访问单元重放信息的CBM示出表示“块内的访问单元”的值。
访问单元块类型CBT表示访问单元块模式CBM所示访问单元块的种类。例如在对多视角功能进行设定的情况下,将与各视角的重放对应的访问单元信息作为前面所述那样的功能块设定,作为该功能的种类,还在各访问单元的访问单元重放信息的CBT上设定表示“视角”的值。
系统重放标志SPF是表示该访问单元是否与前面重放的访问单元或访问单元块无断层连接重放的标志,在与前面重放的访问单元或前面的访问单元块无断层连接重放的情况下,在该访问单元的访问单元重放信息的SPF设定标志值1。在非无断层的情况下,则设定标志值0。
交错配置标志IAF是表示该访问单元是否配置于交错区域的标志,在配置于交错区域的情况下,在该访问单元的交错分配标志IAF设定标志值1。反之,设定标志值0。
STC再设定标志STCDF为是否有必要在访问单元重放时重新设定取同步时使用的STC的信息,在有必要重新设定的情况下设定标志值1。反之,设定标志值0。
无断层视角变换标志SACF在该访问单元属于视角区间,并且无断层地切换的情况下,在该访问单元的无断层视角变换标志SACF设定标志值1。反之,设定标志值0。
访问单元重放时间(C_PBTM)在视像帧数精度范围内表示访问单元的重放时间。
C_LVOBU_SA表示访问单元末尾VOBU开始地址,其值以扇区数目表示与VTS标题用的VOBS(VTSTT_VOBS)的开头访问单元的逻辑扇区的距离。C_FVOBU_SA表示访问单元开头VOBU的开始地址,以扇区数目表示与VTS标题用VOBS(VTSTT_VOBS)的开头访问单元的逻辑扇区的距离。
下面对VTS标题用的VOBS,即1多媒体系统流数据VTSTT_VOBS加以说明。系统流数据VTSTT_VOBS由称为视频重放对象(VOB)的i个(i为自然数)系统流SS构成。各视频重放对象VOB#1~VOB#i以至少一个视频数据构成,有的情况下可构成与最多8个音频数据,最多32个副图像数据交错。
各视频重放对象VOB由q个(q为自然数)访问单元C#1~C#q构成。各访问单元C由r个(r个自然数)视频重放对象单元VOBU#1~VOBU#r组成。
各VOBU由多个视频编码的更新周期(GOP)及时间与该周期相当的音频数据和子图像构成。又,各VOBU的前头包含作为该VOBU的管理信息的导航组NV。关于导航组NV的结构将参照图7在下面加以叙述。
图6表示将参照图12在下面加以叙述的编码器EC编码的系统流St35(图12)、也就是视像区VZ的内部结构。在该图中,视频编码流St15是由视频编码器300编码的、压缩过的一维视频数据串。音频编码流St19也一样是由音频编码器700编码的立体声的左右声道各数据经压缩及综合的一维音频数据串。又,作为音频数据也可以是环绕声等多声道的数据。但是音频编码流St19不是一个,而是St19 A、St19B及St19C三串音频数据串,它们作为源输入。这合计6串的压缩数据串在一个系统流St35中交错。
作为副图像数据串的子图像编码流St17也有St17A及St17B两串数据作为源数据输入。这合计6串的压缩数据串在一个系统流St35中交错。
系统流St35具有与有2048字节容量的逻辑扇区LS#n相当的字节数的数据组(Pack)一维排列的结构。系统流St35的前头、即VOBU的前头配置着称为导航组NV的、记录系统流内的数据排列等管理信息的流管理数据组。
视频编码流St15及音频编码流St19A、St19B及St19C与子图像编码流St17(St17A及St17B)共6串压缩数据分别被按照与系统流的数据组对应的字节数分为数据包(packet)。这些数据包在图中表达为V1、V2、V3、V4、…、Aa1、Aa2、…Ab1、Ab2、…Ac1、Ac2、…、Spa1、Spa2、…及Spb1、Spb2、…。这些数据包考虑到视频、音频各数据扩展用的解码器的处理时间及解码器的缓存器容量,以合适的顺序,作为图中的系统流St35进行交错,形成数据包阵列。例如,在本例中,排列成V1、V2、Aa1、Ab1、Ac1、Spa1、Spb1的顺序。
这样,在DVD系统中,录放容量被大幅度扩大,实现了高速录放,信息处理用的LSI的性能得到提高,因而能够使一套活动图像数据与多个音频数据和作为多个图形数据的副图像数据交错,作为一个MPEG系统流,并以这样的形态进行记录,而重放时则多个音频数据和多个副图像数据可以有选择地进行重放。
视频数据以MPEG制式编码,所谓GOP单元成了压缩的单元,GOP单元的标准,在NTSC的情况下以15帧构成1GOP,但该帧数可变。表示具有已交错数据的相互关系等信息的管理用数据的流管理数据组也以把视频数据作为基准的GOP为单元的间隔进行交错,如果构成GOP的帧数改变,该间隔也发生变动。在DVD的情况下,该间隔以重放时间长度衡量,在0.4秒至1.0秒的范围内,该界限取为GOP单元。如果连续的多个GOP的重放时间在1秒以下,对于该多个GOP的视频数据,可将管理用数据组在一个流中交错。
在DVD的情况下,将这样的管理用数据组称为导航组,把从该导航组NV到下一导航组NV之前的数据组称为视频重放对象单元(下称VOBU),将通常可以定义为一个场面的一个连续的重放单元称为视频重放对象(下称VOB),由一个以上的VOBU构成。又将多个VOB集合而成的数据集合称为VOB集(下称VOBS)。这些是在DVD初次采用的数据格式。
在这样对多个数据串进行交错的情况下,对体现表达已交错数据相互间关系的管理用数据的导航组NV也有必要以称为规定的数据组数单元的单元进行交错。GOP是汇集通常相当于12~15帧的重放时间的约0.5秒的视频数据的单元,可以认为,在这一时间的重放所需要的数据包数目中有一个流管理数据包交错进来。
图7是表示构成系统流的交错视频数据、音频数据、副图像数据等数据组中包含的流管理信息的说明图。像该图那样,系统流中的各数据以依据MPEG2的数据包化及数据组化的形式记录。视频、音频及副图像数据,其数据包结构都基本相同。在DVD系统中,1个数据组具有如上所述的2048字节的容量,包含称为PES数据包的1个数据包,由数据组首标PKH、数据包首标PTH及数据区域构成。
在数据组首标PKH中,记录着表示该数据组应该从图3中的位流缓存器2400向系统解码器2500传送的时间、即AV同步重放用的基准时间信息SCR(SystemClock Reference)。在MPEG中,设想将该SCR作为解码器整体的基准时钟,但在DVD等光盘媒体的情况下,为了能在各录放装置进行封闭式时间管理,另行设置了作为解码器整体的时间基准的时钟。又,在数据包首标PTH中,记录着表示该数据包所包含的视频数据或音频数据经过解码后作为重放输出应该被输出的时间PTS和表示视频流应该被解码的时间DTS等的PTS及DTS在数据包内有作为解码单元的接用单元的开头部分时设置,PTS表示访问单元的展现开始时间,DTS表示访问单元的解码开始时间。又,在PTS与DTS为相同时间的情况下,DTS被省略。
还有,在数据包首标PTH中,包含作为表示是视频数据串的视频数据包,还是专用数据包,还是MPEG音频数据包的8位长字段的流ID。
这里所谓专用数据包是可以在MPEG2的标准上将其内容自由定义的数据,在本实施形态中,使用专用数据包1传输音频数据(MPEG音频数据以外)及副图像数据,使用专用数据包2传输PCI数据包及DSI数据包。
专用数据包1和专用数据包2由数据包首标、专用数据区域及数据区域组成。在专用数据区域包含表示记录着的数据是音频数据还是副图像数据的、具有8位长字段的子流ID。用专用数据包2定义的音频数据可分别就线性PCM方式、AC-3方式设定从#0到#7的最多8个种类。而副图像数据可设定从#0到#31的最多32个种类。
数据区域是一种记录区域,在视频数据的情况下记录MPEG2格式的压缩数据,在音频数据的情况下记录线性PCM制式、AC-3制式或MPEG制式的数据,在副图像数据的情况下记录游程长度编码所压缩的图形数据等。
又,MPEG2视频数据作为其压缩方法,存在着固定位速率方式(下面也记作“CBR”)和可变位速率方式(下面也记作“VBR”)。所谓固定位速率方式是视频流以一定的速率连续输入视频缓存器的方式。与此相反,所谓可变位速率方式,是视频流断续输入视频缓存器的方式,借助于此可以抑制不需要的编码的发生。在DVD中,固定位速率方式和可变位速率方式都可以使用。在MPEG中,活动图像数据以可变长度编码化方式压缩,因此GOP的数据量不一定。而且活动图像与声音的解码时间不同,从光盘读出的活动图像数据和音频数据的时间关系与从解码器输出的活动图像数据和音频数据的时间关系不一致。因此,将在稍后对使活动图像与声音在时间上取同步的方法加以详述,而为了简便,首先以固定位速率方式为依据加以说明。
图8表示导航组NV的结构。导航组NV由PCI数据包和DSI数据包构成,在前头设置数据组首标PKH。在PKH如前所述记录着该组应该从图3的位流缓存器2400传送到系统解码器2500的时间,也就是表示AV同步重放用的基准时间信息的SCR。
PCI数据包具有PCI信息(PCI_GI)和非无断层多视角信息(NSML_AGLI)。在PCI信息(PCI_GI)中以系统时钟精度(90KHz)记述包含于该VOBU中的视频数据的开头视像帧显示时间(VOBU_S_PTM)及末尾视像帧的显示时间(VOBU_E_PTM)。
在非无断层多视角信息(NSML_AGLI)中,把切换数据时的读出开始地址作为距离VOB开头的扇区数记述。在这种情况下,由于视角数目在9以下,所以有9个视角大小的地址记述区域(NSML_AGL_C1_DSTA~NSML_AGL_C9_DSTA)。
在DSI数据包中有DSI信息(DSI-GI)、无断层重放信息(SML_PBI)及无断层多视角重放信息(SML_AGLI)。作为DSI信息(DSI_GI),将该VOBU内的末尾数据组地址(VOBU_EA)作为距离VOBU开头的扇区数记述。
关于无断层重放将在后面叙述,但是为了将分开或接合的标题无断层地重放,有必要以ILVU(Interleaved Unit)为连续读出单元,在系统流一级进行交错(复接)。把以ILVU为最小单元对多个系统流进行交错处理的区间定义为交错数据块。
为了将这样以ILVU为最小单元交错的系统流无断层地重放,记述无断层重放信息(SML_PBI)。在无断层重放信息(SML_PBI)中,记述表示该VOBU是否交错数据块的交错单元标志(ILVU flag)。该标志表示VOBU是否存在于交错区域(后文将述)。存在于交错区域时,设标志值“1”。反之,设标志值“0”。
又,在VOBU存在于交错区域时,记述表示该VOBU是否ILVU的末尾VOBU的单元末尾标志(UNIT END Flag)。ILVU是连续读出单元,因此现在正在读出的VOBU如果是ILVU的末尾VOBU,就设定所述标志的值为“1”。反之,则设定标志值“0”。
在该VOBU存在于交错区域时,记述表示该VOBU所属的ILVU的末尾数据组的地址的ILVU末尾数据组地址(ILVU-EA)。这里地址用距离该VOBU的NV的扇区数记述。又,在该VOBU存在于交错区域的情况下,记述下一ILVU的开始地址(NT_ILVU_SA)。这里地址用距离该VOBU的NV的扇区数记述。
又,在将两个系统流无断层连接时,特别是在连接前和连接后的音频信号不连续的情况下(音频信号不同的情况等),为了对连接后的视频信号和音频信号取同步,有必要使音频信号暂时停止。例如在NTSC的情况下,视频信号的帧周期约为33.33毫秒,音频信号AC3的帧周期为32毫秒。
为此,记述表示停止音频信号的时间及时间长度信息的音频信号重放停止时间1(VOBU_A_STP_PTM1)、音频信号重放停止时间2(VOBU_A_STP_PTM2)、音频信号重放停止时间长度1(VOB_A_GAP_LEN1)、音频信号重放停止时间长度2(VOB_A_GAP_LEN2)。该时间信息用系统时钟精度(90KHz)记述。
又,记述切换视角时的读出开始地址作为无断层多视角重放信息(SML_AGLI)。此区域在无断层多视角的情况下是有效的区域。该地址用距离该VOBU的NV的扇区数记述。由于视角数目小于9,所以有9个视角的地址记述区域:(SML_AGL_C1_DSTA~SML_AGL_C9_DSTA)。
<3.2> DVD编码器
图12表示将本发明涉及的多媒体位流创作系统用于上述DVD系统时,创作编码器ECD的一实施形态。使用于DVD系统的创作编码器ECD(下称称为DVD编码器)具有与图2所示的创作编码器EC非常类似的结构。
DVD创作编码器ECD具有将创作编码器EC的视像区格式编排器1300变为VOB缓存器1000和格式编排器1100的基本结构。当然,用本发明的编码器编码的位流记录于DVD媒体M。下面将DVD创作编码器ECD的操作与创作编码器EC的比较并加以说明。还有,在图12所示的创作编码器ECD中,与图2所示的创作编码器EC不同,编辑控制指示数据St7’没有被编码系统控制部200反馈到编辑信息生成部100,但是没有本质性的问题,所以省略其说明。
在DVD创作编码器ECD中,也与创作编码器EC相同,根据表示从编辑信息生成部100输入的用户编辑指示内容的脚本数据St7,编码系统控制部200生成各控制信号St9、St11、St13、St21、St23、St25、St33及St39,控制视频编码器300、子图像编码器500及音频编码器700。而DVD系统中的编辑指示内容,与上述创作系统的编辑指示内容相同,也包含对于含有多个标题内容的各源数据的全部或各个,每一规定的时问从各源数据的内容选择一个以上,并将所选择的这些内容用规定的方法连接重放这样的信息,同时还包含如下信息。即还包含是否从分割为每一规定的时间单元的编辑单元所包含的流数、各流内的音频信号数和子图像数及其显示时间长度等数据、加锁或多视角等多种流中选择多标题源数据流,以及所设定多视角区间的场面间切换连接方法等信息。
还有,在DVD系统中,脚本数据St7中包含对媒体源数据流编码所需的VOB单元控制内容,即是否多视角,是否生成使加锁控制成为可能的多规格标题,考虑下文所述多视角控制和加锁控制的情况下的交错和光盘容量的各流编码时的位速率、各控制的开始时间和终止时间、与前后的流是否无断层连接等内容。编码系统控制部200从脚本数据St7提取信息,生成编码控制所需要的编码信息表及编码参数。关于编码信息表及编码参数在下面将参照图13、图14及图15进行详述。还有,这编码信息表及编码参数是在DVD无断层编辑中生成编辑编码参数时的例子。
在系统流编码参数数据及系统编码开始/结束定时信号St33中包含将上述信息用于DVD系统以生成VOB的信息。VOB生成信息有前后连接条件、音频信号数目、音频信号的编码信息、音频信号ID、子图像数、子图像ID、开始图像显示的时间信息(VPTS)、开始声音重放的时间信息(APTS)等。还有,多媒体位流MBS的格式参数数据及格式化开始/结束定时信号St39包含重放控制信息及交错信息。
视频编码器300根据作为视频编码用的编码参数信号及编码开始/结束定时的信号St9将视频流St1的规定部分加以编码,生成以ISO13818规定的MPEG2视频标准为标准的基本流。然后将该基本流作为视频编码流St15向视频流缓存器400输出。
这里在视频编码器300生成遵照ISO13818规定的MPEG2视频标准的基本流,而根据包含视频编码参数数据的信号St9,作为编码参数输入编码开始/结束定时、位速率、编码开始/结束时的编码条件、素材的种类是NTSC信号或PAL信号或是否电视电影等参数,开放式GOP或封闭式GOP的编码模式的设定也作为编码参数分别输入。
MPEG2的编码方式基本上是利用帧之间的相互关系进行编码的。亦即参照作为编码对象的帧的前后帧进行编码。但是,传送差错及流的中途接入性方面插入不参照其他帧的帧(内帧)。至少有1帧这种内帧的编码处理单元称为GOP。
在这种GOP中,编码完全封闭在该GOP内进行的GOP是封闭式GOP。GOP内存在参照前一GOP内的帧的帧时,该GOP称为开放式GOP。
因而,在重放封闭式GOP时,仅用该GOP就能重放,而在重放开放式GOP时,通常需要前一个GOP。
又,GOP单元往往作为接用单元使用。例如在从标题的中途开始重放的情况下的重放开始点、视像的切换点或在快放等特殊的重放时,仅在GOP单元重放作为GOP中帧内编码帧的帧,以此实现高速重放。
子图像编码器500根据子图像流编码信号St11,将子图像流St3的规定的部分加以编码,生成位映像数据的可变长度编码数据。然后将该可变长度编码数据作为子图像编码流St17向子图像流缓存器600输出。
音频编码器700根据音频编码信号St13,将音频流St5的规定部分加以编码,生成音频编码数据。该音频编码数据,有以ISO11172规定的MPEG1音频标准及ISO13818规定的MPEG2音频标准为依据的数据、或AC-3音频数据及PCM(LPCM)数据等。对这些音频数据进行编码的方法及装置是公知的。
视频流缓存器400连接于视频编码器300,存储从视频编码器300输出的视频编码流St15。视频流缓存器400还连接于编码系统控制部200,根据定时信号St21的输入,将保存着的视频编码流St15作为定时视频编码流St27输出。
同样,子图像流缓存器600连接于子图像编码器500,存储从子图像编码器500输出的子图像编码流St17。子图像流缓存器600还连接于编码系统控制部200,根据定时信号St23的输入,将保存着的子图像编码流St17作为定时子图像编码流St29输出。
又,音频流缓存器800连接于音频编码器700,保存从音频编码器700输出的音频编码流St19。音频流缓存器800还连接于编码系统控制部200,根据定时信号St25的输入,将保存着的音频编码流St19作为定时音频编码流St31输出。
系统编码器900连接于视频流缓存器400、子图像流缓存器600及音频流缓存器800,输入定时视频编码流St27、定时子图像编码流St29及定时音频编码流St31。系统编码器900又连接于编码系统控制部200,输入包含系统编码用的编码参数数据的St33。
系统编码器900根据编码参数数据及编码开始/结束定时信号St33,对各定时流St27、St29及St31实施多路复接处理,生成最小标题编辑单元(VOBs)St35。
VOB缓存器1000是暂时存储系统编码器900中生成的VOB的缓冲存储区域,格式编排器1100则按照St39从VOB缓存器1000读出定时所需要的VOB,生成1视像区VZ。又在该格式编排器1100添加文件系统(VFS),生成St43。
将此编辑为用户所要求脚本的内容的流St43传输到记录部1200。记录部1200将编辑多媒体位流MBS加工成适应记录媒体M的形式的数据St43,并记录于记录媒体M。
<3.3> DVD解码器
<3.3.1> 多场面
下面用图9对本发明的多场面控制的概念加以说明。像上面已经说明过的那样,此控制由各标题间共用的数据形成的基本场面区间与由适应各种要求的一些场面形成的多场面区间构成。在该图中,场面1、场面5、及场面8为共用场面。共用场面1和场面5之间的角度场面及场面5和场面8之间的加锁场面为多场面区间。在多视角区间,可以在重放时动态地选择从不同的角度、即角度1、角度2和角度3拍摄的场面中的某一个场面重放。在加锁区间,可以预先静态地选择与不同内容的数据对应的场面6和场面7中的某一个重放。
选择这样的多场面区间的哪一个场面重放的脚本内容被用户输入脚本选择部2100,作为脚本选择数据St51生成。图中表示,脚本1自由选择任意角度的场面,在加锁区间重放预先选择的场面6。同样,还表示脚本2在角度区间可以自由选择场面,在加锁区间预先选择场面7。
下面参照图16和图17,就使用DVD的数据结构的情况下的PGC信息VTS_PGCI对图9所示的多场面进行说明。
图16是用表示图5的DVD数据结构中视像标题集内部结构的VTSI数据结构记述图9所示的用户指示的脚本的情况。在图中,图9的脚本1、脚本2作为图5的VTSI中的程序链信息VTS_PGCIT内的两个程序链VTS_PGCI#1与VTS_PGCI#2记述。即记述脚本1的VTS_PGCI#1由相当于场面1的访问单元重放信息C_PBI#1、相当于多视角场面的多视角访问单元块内的访问单元重放信息C_PBI#2、访问单元重放信息C_PBI#3、访问单元重放信息C_PBI#4、相当于场面5的访问单元重放信息C_PBI#5、相当于场面6的访问单元重放信息C_PBI#6、相当于场面8的访问单元重放信息C_PBI#7构成。
又,记述脚本2的VTS_PGCI#2由相当于场面1的访问单元重放信息C_PBI#1、相当于多视角场面的多视角访问单元块内的访问单元重放信息C_PBI#2、访问单元重放信息C_PBI#3、访问单元重放信息C_PBI#4、相当于场面5的访问单元重放信息C_PBI#5、相当于场面7的访问单元重放信息C_PBI#6、相当于场面8的访问单元重放信息C_PBI#7构成。DVD数据结构将脚本的一个重放控制单元(即一个场面)置换为称为访问单元的DVD数据结构上的单位记述,在DVD上实现用户指示的脚本。
图17表示以作为图5的DVD数据结构内的视像标题集用的多媒体位流的VOB数据结构VTSTT_VOBS记述图9所示的用户指示的脚本的情况。
在图中,图9的脚本1和脚本2两个脚本共同使用一个标题用的VOB数据。在各脚本共用的单独场面方面,将相当于场面1的VOB#1、相当于场面5的VOB#5和相当于场面8的VOB#8作为单独的VOB,配置于非交错数据块部分,即配置于连续数据块。
在脚本1和脚本2共用的多视角场面方面,视角1由VOB#2构成,视角2由VOB#3构成,视角3由VOB#4构成,即以1VOB构成一个视角,并且为了在各视角之间的切换和各视角的无断层重放,取为交错数据块。
又,在脚本1和脚本2作为固有的场面的场面6和场面7,当然都要无断层重放,而且还要与前后的共用场面无断层连接重放,因而取为交错数据块。
如上所述,图9所示的用户指示的脚本在DVD数据结构中可以用图16所示的视像标题集的重放控制信息和图17所示标题重放用VOB数据结构实现。
<3.3.2> 无断层重放
下面对上述联系DVD系统的数据结构叙述的无断层重放进行说明。所谓无断层重放是在共用场面区间之间、共用场面区间与多场面区间之间,以及多场面区间之间,连接图像、声音、副图像等的多媒体数据进行重放时,不使各数据和信息中断地进行重放。各数据和信息重放中断的主要原因中,涉及硬件的是,在解码器输入源数据的速度和对输入的源数据解码的速度失去平衡,即所谓解码器下溢。
再者,作为涉及重放数据的特性的主要原因,有重放数据像声音那样,为了使用户理解其内容或信息,要求进行等于或长于固定时间单元的连续重放,而对这样的数据重放,在所要求的连续重放时间不能确保的情况下,会失去信息的连续性。这样确保信息连续性地进行重放称为连续信息重放,又称为无断层信息重放。又把不能确保信息的连续性的重放称为非连续信息重放,又称为非无断层信息重放。当然,连续信息重放与非连续信息重放分别就是无断层和非无断层重放。
如上所述,对无断层重放定义了借助于缓存器下溢等在物理上防止数据重放时发生空白或中断的无断层数据重放,和防止发生数据本身没有中断而用户在根据重放数据识别信息时觉得信息中断的无断层信息重放。
<3.3.3> 无断层重放的详述
关于能够这样使无断层重放成为可能的具体方法将参照图10和图11在下面详述。
<3.4.1> 交错
对上述DVD数据的系统流,使用创作编码器EC,在DVD媒体上记录电影之类的标题。但是,为了以在不同的文化圈或国家也能够利用的形态供应同一部,当然要以各国的语言记录台词,而且必须根据各文化圈的伦理要求对内容进行编辑记录。在这样的情况下,为了将根据原来的标题编辑的多个标题记录在一张媒体上,即使是在DVD这样的大容量系统,也必须降低位速率,不能满足高图像质量的要求。因此采取多个标题共用相同的部分,对各标题只记录不同的部分的方法。这样做可以不降低位速率,在一张光盘可以记录国别或文化圈不同的多个标题。
一张光盘上记录的标题,如图9所示,为了能够进行加锁控制和多视角控制,具有包括共用部分(场面)和非共用部分(场面)的多场面区间。
在加锁控制的情况下,一个标题中包含有性场面、暴力场面等对小孩不合适的所谓只适合成人的场面时,该标题由共用场面、只适合成人的场面,和适合未成年人的场面构成。配置将只适合成人的场面和适合未成年人的场面作为在共用场面之间设置的多场面区间,得以实现这样的标题流。
而在通常的单一角度标题内实现多视角控制的情况下,其实现的方法是将分别以规定的摄像机角度对对象进行摄影得到的多个多媒体场面作为多场面区间配置于共用场面之间。这里,各场面以不同的角度拍摄的场面为例,也可以是角度相同,但在不同时间拍摄的场面,还可以是计算机图形等数据。
多个标题共用数据时,为了使光束从数据的共用部分移动到数据的非共用部分,必然要使光拾取头在光盘(RC1)的不同位置上移动。由于该移动需要时间,要使声音和图像在重放的中途不发生中断,即实现无断层重放是困难的。要解决这样的问题,从理论上说,只要具备缓存时间与最长访问时间相当的跟踪缓存器(位流缓存器2400)即可。通常光盘上记录的数据由光拾取头读取,在进行规定的信号处理后,作为数据暂时存储于跟踪缓存器。所存储的数据此后经过解码,作为视频数据或音频数据重放。
<3.4.2> 交错的定义
为了使如前所述的删剪某一场面和从多个场面中选择成为可能,在记录媒体的光道上以属于各场面的数据单元相互连续的布局进行记录。因此必然发生共用场面的数据与选择场面的数据之间有非选择的场面插入记录的情况。在这样的情况下,按照记录顺序读出数据,则在对所选择场面的数据进行访问、解码之前,不得不对非选择场面的数据进行访问,因此对场面难于进行无断层连接。但是,在DVD系统中,利用对该记录媒体的优异的随机访问性能,在这样的多个场面之间进行无断层连接是可能的。
也就是说,是将属于各场面的数据分割成具有规定的数据量的多个单元,并将这些属于不同场面的多个分割数据单元相互间以规定的顺序配置于转移性能范围,从而按每一分割单元,断续访问各个选择场面所属的数据并进行解码,以此可以不发生数据中断地将该选择的场面加以重放。亦即保证无断层数据的重放。
<3.4.3> 交错数据块、交错单元的结构
下面参照图11及图18对使无断层数据重放成为可能的交错方式加以说明。图11表示从一个VOB(VOB-A)分叉为多个VOB(VOB-B、VOB-D、VOB-C)重放,然后结合为一个VOB(VOB-E)的情况。图18表示将这些数据实际配置于光盘上的光道TR的情况。
在图18中的VOB-A和VOB-E是重放的开始点和结束点单独的视频重放对象,原则上配置于连续区域。又如图11所示,对VOB-B、VOB-C、VOB-D,使重放的开始点、结束点一致后,进行交错处理。然后将该交错处理过的区域作为交错区域在光盘上的连续区域配置。再把上述连续区域和交错区域按重放的顺序,也就是在光道路径Dr的方向上配置。将多个VOB、即VOBS配置于光道TR上的情况示于图18。
图18以数据连续配置的数据区域为数据块,此数据块有将上述开始点和结束点单独完结的VOB连续配置的连续数据块和使开始点和结束点一致,对该多个数据块进行交错的交错数据块两种。这些数据块具有按重放顺序,如图34所示配置为数据块1、数据块2、数据块3、……数据块7的结构。
在图34中,VTSTT_VOBS由数据块1、2、3、4、5、6和7构成。在数据块1,VOB1单独配置,同样,在数据块2、3、5及7,分别单独配置VOB2、3、6和10。也就是说,这些数据块2、3、5和7是连续数据块。
另一方面,在数据块4,对VOB4与VOB5进行交错配置。同样,在数据块6,对VOB7、VOB8及VOB9三个VOB进行交错配置。亦即此二数据块4和6是交错数据块。
图35表示连续数据块内的数据结构。在该图中,VOB-i、VOB-j作为连续数据块配置于VOBS。连续数据块内的VOB-i和VOB-j如参照图5所作的说明那样,再分割成作为逻辑上的重放单元的访问单元。图中表示VOB-i及VOB-j分别由三个访问单元CELL#1、CELL#2、CELL#3组成。访问单元由1个以上的VOBU构成,以VOBU定义其界限。如图5所示,访问单元在DVD的重放控制信息的程序链(下称PGC)上,记述其位置信息。也就是说,记述访问单元开头的VOBU和末尾的VOBU的地址。如图35所画明那样,连续数据块为了连续重放,VOB和其中所定义的访问单元都记录于连续区域。因此,连续数据块的重放没有问题。
接着,图36表示出交错数据块内的数据结构。在交错数据块,各VOB被分割成交错单元ILVU,各VOB所属交错单元交错配置。然后,该交错单元独立定义访问单元界限。在该图中,VOB-k被分割成四个交错单元ILVUk-1、ILVUk-2、ILVUk-3及ILVUk-4,同时也定义两个访问单元CELL#1k及CELL#2k。同样,VOB-m被分割成ILVUm-1、ILVUm2。ILVUm3及ILVUm4,同时也定义两个访问单元CELL#1m及CELL#2m。亦即,在交错单元ILVU中包含视频数据和音频数据。
在图36的例子中,两个不同的VOB-k与VOB-m的各交错单元ILVUk1、ILVUk2、ILVUk3及ILVUk4与ILVUm1,ILVUm2、ILVUm3及ILVUm4在交错数据块内交错配置。将两个VOB的各交错单元ILVU在这样的阵列进行交错,可以实现从单独的场面分叉到多个场面之一,再从这些场面之一到单独的场面的无断层重放。这样进行交错,可以进行在多个场面情况下有分叉、结合的场面的可无断层重放连接。
<3.5.1> 多场面
这里说明以本发明为基础的多场面控制的概念,同时对多场面区间加以说明。
下面举在不同的角度拍摄的场面构成的例子。不过,多场面的各场面是同一角度的,但是也可以是在不同的时间拍摄的场面,又可以是电脑图形等的数据。换句话说,多视角场面区间是多场面区间。
<3.5.2> 保护性加锁
下面参照图4对保护性加锁及总监剪裁等多标题的概念进行说明。
图4表示以加锁为基础的多规格标题流的一个例子。在一个标题中包含性场面、暴力场面等对少年儿童不宜的所谓只适合成人的场面的情况下,该标题由共用系统流SSa、SSb及SSe、包含只适合成人的场面的面向成人的系统流SSc,以及只包含面向未成年人的场面的面向未成年人的系统流SSd构成。这样的标题流将适合成人的系统流SSc和适合非成人的系统流SSd作为多场面系统流配置于设置在共用系统流SSb与SSe之间的多场面区间。
下面说明如上所述构成的标题流的程序链PGC中记述的系统流与各标题的关系。在适合成人的标题的程序链PGC1上,依序记述共用系统流SSa、SSb、适合成人的系统流SSc及共用系统流SSe。在适合未成年人的标题的程序链PGC2上,依序记述共用系统流SSa、SSb、适合未成年人的系统流SSd及共用系统流SSe。
这样,借助于将适合成人的系统流SSc与适合未成年人的系统流SSd作为多场面排列,根据各PGC的记述,在用上述解码方式重放共用的系统流SSa及SSb之后,在多场面区间重放适合成人的SSc,再重放共同的系统流SSe,从而可以重放具有适合成人的内容的标题。另一方面,在多场面区间选择适合未成年人的系统流SSd重放,可以重放不包含只适合成人的场面的、适合未成年人的标题。这样,在标题流中预先准备由多种替代场面组成的多场面区间,事前在该多场面区问的场面中选择重放的场面,按照该选择的内容,从基本上相同标题的场面生成具有不同的场面的多个标题的方法被称为保护性加锁。
还有,这种加锁以从保护未成年人的观点出发的要求为基础,被称为保护性加锁,但是按照系统流处理的观点,如上所述,这是用户预先选择在多场面区间的特定的场面,生成静态上不同的标题的技术。反之,多视角则是在标题重放时用户随时自由选择多场面区间的场面,以此使同一标题的内容动态变化的技术。
又,使用保护性加锁技术,也可以进行称为总监剪裁的标题流编辑。所谓总监剪裁,是在飞机上提供电影等重放时间长的标题时,与剧场中重放不同,由于飞行时间的关系,不能把标题重放到最后的情况下。为了避免这种情况发生,预先由标题的制作负责人,亦即总监判断,确定为了缩短标题的重放时间,删剪掉也无妨的场面,将包含这样的删剪场面的系统流和场面未删剪的系统流配置于多场面区间。借助于此,可以按照制作者的意思进行场面的删剪、编辑。这样的保护性加锁控制中,对于从一个系统流到另一系统流的交接处,必须没有矛盾且平滑地连接重放图像,亦即需要进行视频、音频等缓存器没有下溢的无断层数据重放与重放声像在听觉和视觉上没有不自然的感觉,并且没有中断地重放的无断层信息重放。
<3.5.3> 多视角
下面参照图19对本发明的多视角控制的概念加以说明。通常是在对象物体经历时间T的同时进行录音和摄像(以下简单称为摄像)后得到多媒体标题。#SC1、#SM1、#SM2、#SM3及#SC3各方块代表分别以规定的摄像机角度将对象物体摄像得到的、在拍摄单位时间T1、T2及T3得到的多媒体场面。#SM1、#SM2及#SM3是在拍摄单位时间T2以各不相同的(第一、第二和第三)摄像机角度拍摄的场面,下面称为第一、第二及第三多视角场面。
这里多视角场面举以不同的角度拍摄的场面构成的例子。然而,多场面中的各个场面也可以是角度相同,但在不同时间拍摄的场面,或电脑图形等的数据。换句话说,多视角场面区间是多场面区间,该区间的数据不限于实际上不同的拍摄像机角度得到的场面数据,而是能够有选择地重放显示时间处于同一段时间的多个场面的数据组成的区间。
#SC1和#SC3是分别在拍摄单位时间T1及T3、即多视角场面的前后,以同一基本的摄像机角度拍摄的场面,以下称为基本角度场面。通常多个角度中的一个角度与基本摄像机角度相同。
为了易于了解这些角度场面的关系,下面以棒球的中继转播为例加以说明。基本角度场面#SC1及#SC3是以从中心方面看到的投手、捕手、击球者为中心的基本摄像机角度拍摄的。第一多视角场面#SM1是以从网后一侧看到的投手、捕手、击球者为中心的第一多摄像机角度拍摄的。第二多视角场面#SM2是以从中心方面看到的投手、捕手、击球者为中心的第二多摄像机角度,亦即基本摄像机角度拍摄的。
其意思是,第二多视角场面#SM2是在拍摄单位时间T2里的基本角度场面#SC2。第三多视角场面#SM3是以从网后一侧看到的内场为中心的第三多摄像机多视角拍摄的。
多视角场面#SM1、#SM2及#SM3就拍摄单位时间T2,其展现(presentation)时间重复出现,这段时间称为多视角区间。观众借助于在多视角区间自由选择该多视角场面区间#SM1。#SM2及#SM3,可以象在切换摄像机那样在基本角度场面中欣赏所喜欢角度场面的图像。还有,在图中可以看到基本角度场面#SC1及#SC3与各多视角场面#SM1、#SM2及#SM3之间存在时间间隙,但这是因为用箭头表示,以便易于理解选择哪一个多视角场面重放的场面的路径是怎样的,实际上当然不存在时间上的间隙。
图10从数据连接的观点说明以本发明为基础的系统流的多视角控制。以与基本角度场面#SC对应的多媒体数据作为基本角度数据BA,以拍摄单位时间T1及T3中的基本角度数据BA分别作为BA1及BA3。把与多视角场面#SM1、#SM2及#SM#对应的多视角数据分别作为第一、第二及第三多视角数据MA1、MA2及MA3。首先参照图19,如前所述,选择多视角场面数据MA1、MA2及MA3中的某一个,可以切换着欣赏喜欢的角度场面的图像。同样,基本角度场面数据BA1及BA3和各多视角场面数据MA1、M2及M3之间在时间上不存在间隙。
但是,在MPEG系统流的情况下,各多视角数据MA1、MA2及MA3内的任意数据与先行基本数据BA1来的连接,和/或向后续基本角度数据BA3的连接时,因所连接的角度数据的内容的不同,有时发生重放数据之间重放信息不连续,不能作为一个标题自然地重放。亦即,在这种情况下,虽然是无断层数据重放,但却并非无断层信息重放。
下面再参照图10说明作为对DVD系统中的多场面区间内的多个场面加以选择重放,并连接于前后场面的无断层信息重放的多视角切换。
角度场面图像的切换,即选择多视角场面数据MA1、MA2及MA3中的一个,必须在先行的基本角度数据BA1的重放结束之前完成。例如,正在重放角度场面数据BA1时,要切换到别的多视角场面数据MA2是非常困难的。这是由于多媒体数据具有可变长度编码方式的MPEG的数据结构,在切换目标的数据的中途要找到数据的中断处是困难的,而且由于在进行编码处理时利用帧之间的相关性,所以在进行角度切换时图像有可能发生混乱。在MPEG中,GOP被定义为至少具有1更新帧的处理单元。在这个称为GOP的处理单元中,可以进行不参照属于别GOP的帧的封闭式处理。
换句话说,如果在重放到达多视角区间之前,最晚在先行基本角度数据BA1的重放结束的时刻,选择任意多视角数据,例如MA3,则该被选择的多视角数据可以无断层地进行重放。但是,在多视角数据重放的中途对别的多视角场面数据进行无断层重放是非常困难的。因此,在多视角周期内,很难得到切换摄像机那样自由的视点。
<3.6.1> 流程图:编码器
下面参照图13,根据上述的脚本数据St7对编码系统控制部200生成的编码信息表进行说明。编码信息表由对应于将场面的分叉点、结合点作为分隔界线的场面区间,包含多个VOB的VOB集数据串和各场面的VOB数据串组成。图13所示的VOB集数据串将在下面叙述。
在图20的步骤#100,为了根据用户指示的标题内容生成DVD的多媒体流而在编码系统控制部200内作成编码信息表。用户指示的脚本具有从共用场面通向多个场面的分叉点,或通向共同的场面的结合点。把与将该分叉点、结合点作为分隔界限的场面区间相当的VwOB作为VOB集,把为了将VOB集编码而作成的数据作为VOB集数据串。而VOB集数据串中,把包含多场面区间的情况下所呈现的标题数表示为VOB集数据串的标题数(TITLE_NO)。
图13的VOB集数据结构示出用于对VOB集数据串的一个VOB集进行编码的数据的内容。VOB集数据结构由VOB集编号(VOBS_NO)、VOB集的VOB编号(VOB_NO)、先行VOB无断层连接标志(VOB_Fsb)、后续VOB无断层连接标志(VOB_Fsf)、多场面标志(VOB_Fp)、交错标志(VOB_Fi)、多视角标志(VOB_Fm)、多视角无断层切换标志(VOB_FsV)、交错VOB的最大位速率(ILV_BR)、交错VOB的分割数(ILV_DIV)、最小交错单元重放时间(ILV_MT)构成。
VOB集编号VOBS_NO是识别例如着眼于标题脚本重放顺序的VOB集用的编号。
VOB集内的VOB编号VOB_NO是例如着眼于标题脚本重放顺序,对全部标题脚本识别VOB用的编号。
先行VOB无断层连接标志VOB_Fsb是表示脚本重放时与先行VOB是否无断层连接的标志。
后续VOB无断层连接标志VOB_Fsf是表示脚本重放时与后续VOB是否无断层连接的标志。
多场面标志VOB_Fp是表示VOB集是否用多个VOB构成的标志。
交错标志VOB_Fi是表示VOB集内的VOB是否进行交错配置的标志。
多视角标志VOB_Fm是表示VOB集是否多视角的标志。
多视角无断层切换标志VOB_FsV是表示多视角内的切换是否无断层的标志。
交错VOB最大速率ILV_BR表示进行交错的VOB的最大位速率的值。
交错VOB分割数ILV_DIV表示进行交错的VOB的交错单元数。
最小交错单元重放时间ILVU_MT表示交错数据块重放时在跟踪缓存器不下溢的最小交错单元中,该VOB的位速率在ILV_BR的时候能够重放的时间。
下面参照图14根据上述脚本数据St7,对与编码系统控制部200生成的每一个VOB对应的编码信息表进行说明。根据该编码信息表,生成与下述各VOB对应的编码参数数据,提供给视频编码器300、子图像编码器500、音频编码器700、系统编码器900。图14所示的VOB数据串是为了在图20的步骤#100根据用户指示的标题内容生成DVD的多媒体流而在编码系统控制内作成的每一VOB的编码信息表。以1个编码单元作为VOB,将为了对该VOB编码而作成的数据作为VOB数据串。例如以3个角度的场面构成的VOB集合即由3个VOB构成。图14的VOB数据结构示出对VOB数据串的一个VOB进行编码用的数据的内容。
VOB数据结构包括图像素材开始时间(VOB_VST)、图像素材结束时间(VOB_VEND)、图像素材种类(VOB_V_KIND)、视频编码位速率(V_BR)、声音素材开始时间(VOB_AST)、声音素材结束时间(VOB_AEND)、音频编码方式(VOB_A_KIND)、音频位速率(A_BR)。
图像素材的开始时刻VOB_VST是与图像素材时间对应的视频编码开始时间。
图像素材结束时间VOB_VEND是与图像素材时间对应的视频编码的结束时间。
图像素材种类VOB_V_KIND表示编码素材是NTSC制式还是PAL制式,或表示图像素材是否经电视电影变换处理过的素材。
视频位速率V_BR是视频信号的编码位速率。
声音素材开始时间VOB_AST是与声音素材时间对应的音频编码开始时间。
声音素材结束时间VOB_AEND是与声音素材时间对应的音频编码结束时间。
音频编码方式VOB_A_KIND表示音频信号的编码方式。编码方式中有AC-3、MPEG、线性PCM等制式。
音频位速率A_BR是音频信号的编码位速率。
图15表示输往对VOB进行编码用的视频、音频、系统各编码器300、500及900的编码参数。编码参数包括VOB编号(VOB_NO)、视频编码开始时间(V_STTM)、视频编码结束时间(V_ENDTM)、视频编码模式(V_ENCMD)、视频编码位速率(V_RATE)、视频编码最大位速率(V_MRATE)、GOP结构固定标志(GOP_FXflag)、视频编码GOP结构(GOPST)、视频编码初始数据(V_INIST)、视频编码结束数据(V_ENDST)、音频编码开始时间(A_STTM)、音频编码结束时间(A_ENDTM)、音频编码位速率(A_RATE)、音频编码方式(A_ENCMD)、声音开始时的间隙(A_STGAP)、声音结束时的间隙(A_ENDGAP)、先行VOB编号(B_VOB_NO)、后续VOB编号(F_VOB_NO)。
VOB编号VOB_NO是识别例如着眼标题脚本重放顺序,对全部标题脚本进行编号的VOB用的编号。
视频编码开始时间V_STTM是图像素材方面的视频编码开始时间。
视频编码结束时间V_STTM是图像素材方面的视频编码结束时间。
视频编码模式V_ENCMD是用于在图像素材是经过电视电影变换的素材的情况下,设定是否在视频编码时进行反向电视电影变换处理,以便能够高效率地进行编码的编码模式。
视频编码位速率V_RATE是视频编码时的平均位速率。
视频编码最大位速率V_MRATE是视频编码时的最大位速率。
GOP结构固定标志GOP_FXflag表示在视频解码是否不中途改变GOP的结构进行编码。是在多视角场面中可进行无断层切换时有效的参数。视频编码器GOP结构GOPST是编码时的GOP结构数据。
视频编码初始数据V_INST是设定视频编码开始时的VBV缓存器(解码缓存器)的初始值等的、在与先行的视频解码流无断层地重放时有效的参数。
视频编码结束数据V_ENDST是设定视频编码结束时的VBV缓存器(解码缓存器)的结束值等的、在与后续的视频解码流无断层地重放时有效的参数。
音频编码开始时间A_STTM是声音素材方面的音频编码开始时间。
音频编码结束时间A_ENDTM是声音素材方面的音频编码结束时间。
音频编码位速率A_RATE是音频编码时的位速率。
音频编码方式A_ENCMD是音频信号的编码方式,有AC-3、MPEG、线性PCM等制式。
声音开始时的间隙A_STGAP是VOB开始时的图像与声音始端错开的时间。是在与先行的系统编码流无断层地重放时有效的参数。
声音结束时的间隙A_ENDGAP是VOB结束时的图像与声音末端错开的时间。是在与后续的系统编码流无断层地重放时有效的参数。
先行VOB编号B_VOB_NO在无断层连接的先行VOB存在的情况下表示该VOB编号。
后续VOB编号F_VOB_NO在无断层连接的后续VOB存在的情况下表示该VOB编号。
下面参照图20及图21所示的流程图对本发明的DVD编码器ECD的运作加以说明。在该图中用双重线框表示的方块分别表示子程序。本实施形态对DVD系统作了说明。不言而喻,对于创作编码器EC也可采用相同的结构。
在步骤#100,用户在编辑信息生成部100一边确认多媒体源数据St1、St2及St3的内容,一边输入添加到所希望脚本的内容的编辑指示。
在步骤#200编辑信息生成部100根据用户的编辑指示生成包含上述编辑指示信息的脚本数据St7。
在步骤#200生成脚本数据St7时,用户的编辑指示内容中,在对设想进行交错的多视角、加锁控制多场面区间进行交错时的编辑指示,按照如下条件输入。
首先,决定在图像质量上能够获得足够好的图像质量的VOB最大位速率,再决定设想当作DVD编码数据再现装置的DVD解码器DCD的跟踪缓存器容量、转移性能、转移时间和转移距离的数值。以上述数值为基础,从式3、式4得到最小交错单元的重放时间。
接着,以包含于多场面区间的各场面的重放时间为基础,检验(式5)和(式6)是否得到满足。如果没有得到满足,用户就变更输入指示,进行将后续场面的一部分场面连接多场面区间各场面等处理,以满足(式5)及(式6)。
在多视角编辑指示的情况下进行无断层切换时,在满足(式7)的同时,还输入在多视角的各场面重放时间使音频信号相同的编辑指示。进行非无断层切换时,按照满足(式8)的要求,输入用户的编辑指示。
在步骤#300,编码系统控制部200根据脚本数据St7,首先判断作为对象的场面是否与先行场面无断层连接。所谓无断层连接,是在先行场面区间为多个场面组成的多场面区间的情况下,将该先行多场面区间所包含的全部场面中的任意一个场面与作为当时的连接对象的共用场面无断层地连接。同样,在当时的连接对象是多场面区间的情况下,无断层连接意味着能够连接多场面区间的任意一个场面。在步骤#300判断为“否”,即判断为非无断层连接的情况下,进入步骤#400。
在步骤#400,编码系统控制部200将表示作为对象的场面与先行场面无断层连接的先行场面无断层连接标志VOB_Fsb复位后,进入步骤#600。
而在步骤#300判断为“是”,即判断为先行场面无断层连接时,进入步骤#500。
在步骤#500,将先行场面无断层连接标志VOB_Fsb置位后,进入步骤#600。
在步骤#600,编码系统控制部200根据脚本数据St7判断对象场面与后续场面是否无断层连接。在步骤#600判断为“否”,即判断为非无断层连接的情况下,进入步骤#700。
在步骤#700,编码系统控制部200将表示场面与后续场面无断层连接的后续场面无断层连接标志VOB_Fsf复位后,进入步骤#900。
而在步骤#600判断为“是”,即判断为与后续场面无断层连接时,进入步骤#800。
在步骤#800,编码系统控制部200将后续场面无断层连接标志VOB_Fsf置位后,进入步骤#900。
在步骤#900,编码系统控制部200根据脚本数据St7判断作为连接对象的场面是否一个以上,即判断是否多场面。在多场面的情况下,存在着在可以用多场面构成的多条重放路径中只通过一条重放路径加以重放的加锁控制和重放路径可在多场面区间之间切换的多视角控制。
在脚本步骤#900判断为“否”,即判断为非多场面连接时,进入步骤#1000。
在步骤#1000,将表示是多场面连接的多场面标志VOB_Fp复位后,进入编码参数生成步骤#1800。关于步骤#1800的操作将在下面进行叙述。
反之,在步骤#900判断为“是”,即判断为多场面连接时,进入步骤#1100。在步骤#1100,将多场面标志VOB_Fp置位后,进入判断是否多视角连接的步骤#1200。
在步骤#1200,判断是否在多场面区间中的多个场面之间进行切换,即判断是否多视角区间。在步骤#1200判断为“否”,即判断为不在多场面区间的中途进行切换,只经过一条重放路径重放的加锁控制时,进入步骤#1300。
在步骤#1300,将表示作为连接对象的场面是多视角的多视角标志VOB_Fm复位后,进入步骤#1302。
在步骤#1302,判断先行场面无断层连接标志VOB_Fsb及后续场面无断层连接标志VOB_Fsf二者中的某一个是否被置位。在步骤#1300判断为“是”,即判断为作为连接对象的场面与先行和后续的场面中的某一个,或者两个无断层连接时,进入步骤#1304。
步骤#1304将表示对作为对象场面的编码数据的VOB进行交错的交错标志VOB_Fi置位,进入步骤#1800。
反之,在步骤#1302判断为“否”,即对象场面与先行场面及后续场面中的任何一个都不是无断层连接的情况下,进入步骤#1306。
在步骤#1306,将交错标志VOB_Fi复位后,进入步骤#1800。
而在步骤#1200判断为“是”,即判断为多视角的情况下,进入步骤#1400。
步骤#1400在将多视角标志VOB_Fm及交错标志VOB_Fi置位后,进入步骤#1500。
在步骤#1500,编码系统控制部200根据脚本数据St7判断是否在多视角场面区间、即以比VOB小的重放单元,进行图像和声音没有中断的所谓无断层切换。在步骤#1500判断为“否”,即判断为非无断层切换时,进入步骤#1600。
在步骤#1600,将表示对象场面是无断层切换的无断层切换标志VOB_FsV复位后,进入步骤#1800。
反之,步骤#1500判断为“是”,即判断为无断层切换时,进入步骤#1700。
在步骤#1700,将无断层切换标志VOB_FsV置位后,进入步骤#1800。这样,本发明在根据反映编辑思想的脚本数据St7,将编辑信息作为上述各标志的置位状态检测出后,进入步骤#1800。
在步骤#1800,根据作为如上所述各标志置位状态检测出的用户的编辑思想,作成用于源数据流的编码的、分别示于图13和图14的各VOB集单元及VOB单元的编码信息表附加信息和示于图15的VOB数据单元中的编码参数。接着,进入步骤#1900。后文将参照图22、图23、图24、图25对这个作成编码参数的步骤进行详细说明。
在步骤#1900,根据在步骤#1800作成的编码参数进行对视频数据和音频数据的编码后进入步骤#2000。还有,子图像数据本来就是为了根据需要在图像重放时随时插入使用的,因此原本就不需要有与前后场面等连接的连续性。而且子图像是大约一个画面份额的图像信息,因此与时间轴上延续存在的视频数据及音频数据不同,显示上多为静止的场合,不是经常连续重放的。因此,在关于无断层及非无断层的连续重放的本实施形态中,为了简化将省略关于子图像数据编码的说明。
在步骤#2000,环绕由步骤#300到步骤#1900的各步骤构成的环路,反复进行处理,处理的次数等于VOB集的数目,对图5中自身数据结构内具有标题的各VOB的重放顺序等重放信息的程序链(VTS_PGC#I)信息进行格式化,作成对多场面区间的VOB进行交错的配置,然后完成系统编码所需要的VOB集数据串及VOB数据串。接着,进入步骤#2100。
在步骤#2100,得到了作为判断到步骤#2000为止的环路的处理结果能够得到的VOB集总数VOBS_NUM,追加于VOB集数据串,再对脚本数据St7设定取脚本重放路径的数目为标题数的情况下的标题数TITLE_NO,完成作为编码信息表的VOB集数据串,而后进入步骤#2200。
在步骤#2200,根据在步骤#1900编码过的视频编码流、音频编码流、图15的编码参数,进行以作成图5的VTSTT_VOBS内的VOB(VOB#i)数据为目的的系统编码。接着,进入步骤#2300。
在步骤#2300进行格式化处理,其中包括作成图5的VTS信息、VTSI中所包含的VTSI管理表(VTSI_MAT)、VTSPGC信息表(VTSPGCIT)和控制VOB数据重放顺序的程序链信息(VTS_PGCI#I),并对多场面区间所包含的VOB进行交错配置等。
关于该格式化步骤的详细情况将参照图27、图28、图29、图30、图31在后文加以说明。
下面参照图22、图23及图24,对图21所示的流程图的步骤#1800的编码参数生成子程序中多视角控制时的编码参数生成操作加以说明。
首先,参照图22,对在图21的步骤#1500判断为“否”时,也就是各标志分别为,VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=1、FsV=0的情况下的操作,亦即多视角控制时的非无断层切换流编码参数生成操作加以说明。以下述操作作成图13、图14所示的编码信息表、图15所示的编码参数。
步骤#1812提取脚本数据St7中所包含的脚本重放顺序,设定VOB集合编号VOBS_NO,再对VOB集内的一个以上的VOB设定VOB编号VOB_NO。
步骤#1814从脚本数据St7提取交错VOB的最大位速率ILV_BR,在交错标志VOB_Fi=1的基础上,设定编码参数的视频编码最大位速率V_MRATE。
步骤#1816从脚本数据St7提取最小交错单元重放时间ILVU_MT。
步骤#1818在多视角标志VOB_Fp=1的基础上,设定视频编码GOP结构GOPST的N=15、M=3的值和GOP结构固定标志GOPFXflag=“1”。
步骤#1820是设定VOB数据的共用子程序。图23表示出步骤#1820的VOB数据共用设定子程序。以如下的操作流程作成图13、图14所示的编码信息表和图15编码参数。
步骤#1822从脚本数据St7提取各VOB的图像素材的开始时间VOB_VST、结束时间VOB_VEND,将视频编码开始时间V_STTM与编码结束时间V_ENDTM作为视频编码的参数。
步骤#1824从脚本数据St7提取各VOB的声音素材开始时间VOB_AST,将音频编码开始时间A_STTM作为音频编码参数。
步骤#1826从脚本数据St7提取各VOB的声音素材结束时间VOB_AEND,将在不超过VOB_AEND的时间以音频编码方式决定的音频接用单元(下面记作AAU)的时间作为音频编码的参数(编码结束时间A_ENDTM)。
步骤#1828从视频编码开始时间V_STTM与音频编码开始时间A_STTM的差得到声音开始时的间隙A_STGAP作为系统编码的参数。
步骤#1830从视频编码结束时间V_ENDTM与音频编码结束时间A_ENDTM的差得到声音结束时的间隙A_ENDGAP作为系统编码的参数。
步骤#1832从脚本数据St7提取视频位速率V_BR作为视频编码的平均位速率,将视频编码位速率V_RATE作为视频编码的参数。
步骤#1834从脚本数据St7提取音频位速率A_BR,将音频编码位速率A_RATE作为音频编码的参数。
步骤#1836从脚本数据St7提取图像素材种类VOB_V_KIND,如果是电影素材,也就是电视电影变换过的素材,则将反向电视电影变换设定为视频编码模式V_ENCMD,作为视频编码的参数。
步骤#1838从脚本数据提取音频编码方式VOB_A_KIND,在音频编码模式A_ENCMD中设定音频编码方式,作为音频编码的参数。
步骤#1840设定得使视频编码初始数据V_INST的VBV缓存器初始值成为小于视频编码结束数据V_ENDST的VBV缓存器结束值,并作为视频编码的参数。
步骤#1842在先行VOB无断层连接标志VOB_Fsb=1的基础上,将先行连接的VOB编号VOB_NO设定到先行连接VOB编号B_VOB_NO,作为系统编码的参数。
步骤#1844在后续VOB无断层连接标志VOB_Fsf=1的基础上,将后续连接的VOB编号VOB_NO设定到后续连接VOB编号F_VOB_NO,作为系统编码的参数。
如上所述,能够以多视角VOB集生成非无断层多视角切换控制的情况下的编码信息表及编码参数。
下面参照图24,对在图21中步骤#1500判断为“是”的情况下,也就是各标志分别为VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=1、VOB_FsV=1的情况下,多视角控制时无断层切换位流的编码参数生成操作加以说明。
用下述操作作成图13、图14中所示的编码信息表及图15中所示的编码参数。
步骤#1850提取包含于数据St7的脚本重放顺序,设定VOB集编号VOBS_NO,再对VOB集内的一个以上的VOB设定VOB编号VOB_NO。
步骤#1852从脚本数据St7提取交错VOB的最大位速率ILV_BR,在交错标志VOB_Fi=1的基础上,设定视频编码最大位速率V_RATE。
步骤#1854从脚本数据St7提取最小交错单元重放时间ILVU_MT。
步骤#1856在多视角标志VOB_Fp=1的基础上,设定视频编码GOP结构GOPST的N=15、M=3的值和GOP结构固定标志GOPFXflag=1。
步骤#1858在无断层切换标志VOB_FsV=1的基础上,在视频编码GOP结构GOPST设定封闭式GOP,作为视频编码的参数。
步骤#1860是设定VOB数据的共用子程序。该共用子程序是示于图22的子程序,已经作了说明,故加以省略。
如上所述,能够以多视角的VOB集生成无断层切换控制情况下的编码参数。
下面参照图25,对图20中步骤#1200判断为“否”,步骤#1304判断为“是”时,亦即各标志分别为VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=0的情况下,加锁控制时的编码参数生成操作加以说明。用下述操作作成示于图13、图14的编码信息表及示于图15的编码参数。
步骤#1870提取包含于脚本数据St7中的脚本重放顺序,设定VOB集编号VOBS_NO,再对VOB集内的一个以上的VOB设定VOB编号VOB_NO。
步骤#1872从脚本数据St7提取交错VOB的最大位速率ILV_BR,在交错标志VOB_Fi=1的基础上,设定视频编码最大位速率V_RATE。
步骤#1874从脚本数据St7提取VOB交错单元分割数ILV_DIV。
步骤#1876为设定VOB数据的共用子程序,该共用子程序即示于图22的子程序,已经说明过,所以加以省略。
如上所述,能够以多场面的VOB集生成加锁控制情况下的编码参数。
下面参照图26对在图20中步骤#900判断为“否”,亦即各标志分别为VOB_Fp=0的情况下,也就是单一脚本的编码参数生成操作加以说明。用下述操作作成示于图13、图14的编码信息表及示于图15的编码参数。
步骤#1880提取包含于脚本数据St7中的脚本重放顺序,设定VOB集编号VOBS_NO,再对VOB集内的一个以上的VOB设定VOB编号VOB_NO。
步骤#1882从脚本数据St7提取交错VOB的最大位速率ILV_BR,在交错标志VOB_Fi=1的基础上,设定视频编码最大位速率V_MRATE。
步骤#1884是设定VOB数据的共用子程序。该共用子程序就是示于图22的子程序,已经作过说明,故加以省略。
借助于上面所述的作成编码信息表、编码参数的流程,可以生成DVD的视频、音频、系统编码和DVD的格式编排器用的编码参数。
<3.6.2> 格式编排器流程(formatter flows)
在图27、图28、图29、图30及图31,对图21所示步骤#2300生成DVD多媒体流的格式化子程序中的操作加以说明。
下面参照图27所不的流程图,说明本发明DVD编码器ECD的格式编排器1100的操作。还有,在该图中双重线围成的方框分别表示子程序。
步骤#2310根据VOB集数据串的标题数TITLE_NUM,在VTSI内的视像标题集管理表VTSI_MAT中设定数量与TITLE_NUM相同的VTSI_PGCI。
步骤#2312根据VOB集数据内的多场面标志VOB_Fp判断是否多场面。在步骤#2312,判断为“否”,即不是多场面的情况下,进入步骤#2314。
步骤#2314表示单一VOB时图12中创作编码器的格式编排器1100操作子程序。关于该子程序将在下面叙述。
在步骤#2312中判断为“是”,即是多场面的情况下,进入步骤#2316。
步骤#2316根据VOB集数据内的交错标志VOB_Fi判断是否进行交错。在步骤#2316判断为“否”,即判断为不进行交错的情况下,进入步骤#2314。
步骤#2318根据VOB集数据内的多视角标志VOB_Fm判断是否多视角。在步骤#2318判断为“否”,即不是多视角的情况下,进入作为加锁控制子程序的步骤#2320。
步骤#2320表示在加锁控制VOB集的格式编排器操作子程序。该子程序示于图30,将在下面详细加以说明。
在步骤#2318中判断为“是”,即是多视角的情况下,进入步骤#2322。
步骤#2322根据多视角无断层切换标志VOB_FsV判断是否无断层切换。在步骤#2322判断为“否”,即多视角为非无断层切换控制的情况下,进入步骤#2326。
步骤#2326表示非无断层切换控制的多视角情况下的、图12中创作编码器的格式编排器1100的操作子程序。下面将用图28作详细叙述。
在步骤#2322判断为“是”,即是无断层切换控制的多视角的情况下,进入步骤#2324。
步骤#2324表示无断层切换控制多视角时格式编排器1100的操作子程序。下面将用图29进行详细说明。
步骤#2328将在前面的流程设定的访问单元重放信息CPBI作为VTSI的CPBI信息记录。
步骤#2330判断格式编排器流程以VOB集数据串的VOB集数VOBS_NUM表示的份额的VOB集的处理是否结束。如果在步骤#2330判断为“否”,即全部VOB集的处理尚未结束,则进入步骤#2312。如果在步骤#2330判断为“是”,即全部VOB集的处理已经结束,则终止处理。
下面用图28对在图27的步骤#2322判断为“否”,即多视角为非无断层切换控制的情况下的子程序步骤#2326的子程序加以说明。借助于下面所示的操作流程,将多媒体流的交错配置、图5所示的访问单元重放信息(C_PBI#i)的内容以及图8所示的导航组NV内的信息记录于所生成的DVD多媒体流中。
步骤#2340根据表示多场面区间进行多视角控制的VOB_Fm=1的信息,在记述各场面所对应VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块模式(图5的CBM)记录例如图10所示MA1的访问单元的CBM=“访问单元块开头=01b”、MA2的访问单元的CBM=“访问单元块中部=10b”、MA3的访问单元的CBM=“访问单元块的末尾=11b”。
步骤#2342根据表示多场面区间进行多视角控制的VOB_Fm=1的信息,在记述各场面所对应VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块类型(图5中的CBT)记录表示“角度”的值=“01b”。
步骤#2344根据表示进行无断层连接的VOB_Fsb=1的信息,在记述场面所对应VOB的控制信息的访问单元(图5的C_PBI#i)的无断层重放标志(图5中的SPF)记录“1”。
步骤#2346根据表示进行无断层连接的VOB_Fsb=1的信息,在记述场面所对应VOB控制信息的访问单元(图5的C_PBI#i)的STC再设定标志(图5的STCDF)记录“1”。
步骤#2348根据表示要进行交错的VOB_Fi=1的信息,在记述场面所对应VOB控制信息的访问单元(图5的C_PBI#i)的交错数据块配置标志(图5中的IAF)记录“1”。
步骤#2350从由图12的系统编码器900得到的标题编辑单元(以下记为VOB)检测出导航组NV的位置信息(距离VOB的开头的相对扇区数),根据在图21的步骤#1816得到的作为格式编排器参数的最小交错单元的重放时间ILVU_MT的数据,检测出导航组件NV,得到VOBU的位置信息(距离VOB的开头的扇区数等),分割成AU单元。例如在前述的中例子中,最小交错单元重放时间为2秒,1个VOBU的重放时间为0.5秒,因此将每4个VOBU作为一个交错单元。该分割处理对相当于各多场面的VOB进行。
在步骤#2352,按照步骤#2340中作为已记录各场面所对应的VOB控制信息记述的访问单元块模式(图5中的CBM)记述顺序(“访问单元块开头”、“访问单元块中部”、“访问单元块的末尾”的记述顺序),例如图10所示的MA1的访问单元、MA2的访问单元、MA3的访问单元的顺序,配置在步骤#2350得到的各VOB的交错单元,形成图18或图34所示的那样的交错数据块,增加到VTSTT_VOBS数据中。
步骤#2354依据步骤#2350得到的VOBU的位置信息,在各VOBU导航组NV的VOBU末尾数据组地址(图8的VOBU_EA)记录距离VOBU开头的相对扇区数。
步骤#2356依据步骤#2352得到的VTTT_VOBS数据,作为各访问单元的开头VOBU的导航组NV地址、末尾VOBU的导航组地址,以距离VTSTT_VOBS开头的扇区数分别记录访问单元开头VOBU地址C_FVOBU_SA和访问单元末尾VOBU地址C_LVOBU_SA。
步骤#2358中,在各VOBU的导航组NV的非无断层角度信息(图8的NSM_AGLI)内作为接近该VOBU的重放开始时刻的、所有多视角场面的VOBU所包含的导航组NV的位置信息,将在步骤#2352形成的交错数据块的数据内的相对扇区数记录于角度#iVOBU开始地址(图8的NSML_AGL_C1_DSTA~NSML_AGL_C9_DSTA)。
在步骤#2360,如果在步骤#2350得到的VOBU是多场面区间的各场面的末尾VOBU,则在该VOBU的导航组NV的非无断层角度信息(图8的NSM_AGLI)的角度#iVOBU开始地址(图8的NSML_AGL_C1_DSTA~NAML_AGL_C9_DSTA)记录“7FFFFFFFh”。
借助于上述步骤,将相当于多场面区间的非无断层切换多视角控制交错数据块和与该多场面相当的重放控制信息(即访问单元内的控制信息)格式化。
下面用图29对在图27的步骤#2322判断为是,即判断为多视角控制是无断层切换控制的情况下的子程序步骤#2324加以说明。借助于下面所示的操作流程,将多媒体流的交错配置、示于图5的访问单元重放信息(C_PBI#i)的内容及图8中所示的导航组NV内的信息记录于生成的DVD的多媒体流上。
步骤#2370根据表示多场面区间进行多视角控制的VOB_Fm=1的信息,在记述对应于各场面的VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块模式(图5中的CBM)上记录例如图10所示MA1的访问单元的CBM=“访问单元块开头=01b、MA2的访问单元的CBM=“访问单元块中部=10b、MA3的访问单元的CBM=“访问单元块的末尾=11b。
步骤#2372根据表示多场面区间进行多视角控制的VOB_Fm=1的信息,在记述与各场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块类型(图5中的CBT)上记录表示“角度”的值=“01b”。
步骤#2374根据表示进行无断层连接的VOB_Fsb=1的信息,在记述与场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的无断层重放标志(图5中的SPF)上记录“1”。
步骤#2376根据表示进行无断层连接的VOB_Fsb=1的信息,在记述与场面对应的VOB控制信息的访问单元(图5有C_PBI#i)的STC再设定标志(图5中的STCDE)上记录1。
步骤#2378根据表示要进行交错的VOB_Fi=1的信息,在记述与场面对应的VOB的控制信息的访问单元(图5的C_PBI#i)的交错数据块配置标志(图5中的IAF)上记录“1”。
步骤#2380借助于从图12的系统编码器900得到的标题编辑单元(下面记为VOB),检测出导航组NV的位置信息(距离VOB的开头的相对扇区数),根据图24中步骤#1854得到的作为格式编排器参数的最小交错单元的重放时间ILVU_MT的数据,检测出导航组NV,得到VOBU的位置信息(距离VOB的开头的扇区数等),分割成VOBU。例如在前述例子中,最小交错单元重放时间为2秒,1个VOBU的重放时间为0.5秒,因此每4个VOBU划分成1个交错单元。该分割处理对相当于各场面的VOB进行。
在步骤#2382,按照作为与步骤#2360所记各场面对应的VOB控制信息记录的访问单元块模式(图5中的CBM)记述顺序(“访问单元块开头”、“访问单元块中部”、“访问单元块末尾”的记述顺序),例如按照图10所示的MA1的访问单元、MA2的访问单元、MA3的访问单元的顺序,配置在步骤#2380得到的各VOB的交错单元,形成图18或图34所示的那样的交错数据块,增加于VTSTT_VOBS数据。
步骤#2384依据步骤#2360得到的VOBU位置信息,在各VOBU的导航组NV的VOBU末尾数据组地址(图8的VOBU_EA)记录距离VOBU开头的相对扇区数。
步骤#2386根据步骤#2382得到的VTSTT_VOBS数据,作为各访问单元的开头VOBU导航组NV地址、末尾VOBU导航组NV地址,以距离VTSTT_VOBS开头的扇区数分别记录访问单元开头VOBU地址C_FVOBU_SA与访问单元末尾VOBU地址C_LVOBU_SA。
步骤#2388根据在步骤#2370得到的交错单元的数据,在构成该交错单元的各VOBU的导航组NV的交错单元末尾数据组地址(ILVU末尾数据组地址)(图8的ILVU_EA)记录距离交错访问单元末尾数据组的相对扇区数。
步骤#2390中,在各VOBU的导航组NV的无断层角度信息(图8的SML_AGLI)内,作为具有该VOBU重放结束时间后续开始时间的所有多视角场面VOBU包含的导航组NV的位置信息,将在步骤#2382形成的交错数据块的数据内的相对扇区数记录于角度#iVOBU开始地址(图8的SML_AGL_C1_DSTA~SML_AGL_C9_DSTA)。
在步骤#2392,如果在步骤#2382配置的交错单元是多场面区间各场面的末尾交错单元,则在该交错单元所包含VOBU的导航组NV的无断层角度信息(图8的SML_AGLI)的角度#iVOBU开始地址(图8的SML_AGL_C1_DSTA~SML_AGL_C9_DSTA)记录“FFFFFFFFh”。
借助于上述步骤,将相当于多场面区间的无断层切换多视角控制的交错数据块和与该多场面相当的重放信息(即访问单元内的控制信息)格式化。
下面用图30对在图27的步骤#2318判断为“否”,即判断为不是多视角控制,而是加锁控制的情况下的子程序步骤#2320加以说明。
借助于下面所示的流程,将多媒体流的交错配置、示于图5的访问单元重放信息(C_PBI#i)的内容及图8所示的导航组NV内的信息记录于生成的DVD多媒体流上。
步骤#2402根据表示多场面区间没有进行多视角控制的VOB_Fm=0的信息,在记述对应于各场面的VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块模式(图5中的CBM)上记录“00b”。
步骤#2404根据表示进行无断层连接的VOB_Fsb=1的信息,在记述对应于场面的VOB控制信息的访问单元(图5的C_PBI#i)的无断层重放标志(图5中的SPF)上记录“1”。
步骤#2406根据表示进行无断层连接的VOB_Fsb=1的信息,在记述对应于场面的VOB控制信息的访问单元(图5的C_PBI#i)的STC再设定标志(图5中的STCDF)上记录“1”。
步骤#2408根据表示要进行交错的VOB_Fi=1的信息,在记述与场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的交错数据块配置标志(图5中的IAF)上记录“1”。
步骤#2410从由图12的系统编码器900得到的标题编辑单元(下面记作VOB)检测出导航组NV的位置信息(距离VOB的开头的相对扇区数),根据在图25的步骤#1874得到的作为格式编排器的参数的VOB交错分割数ILV_DIV的数据,检测出导航组件NV,得到VOBU的位置信息(距离VOB的前头的扇区数等),以VOBU将VOB分割为设定的分割数目的交错单元。
步骤#2412将在步骤#2410得到的交错单元交错配置。例如按VOB编号增加顺序配置,形成图18或图34所示的交错数据块,添加于VTSTT_VOBS。
步骤#2414根据在步骤#2386得到的VOBU的位置信息,在各VOBU的导航组NV的VOBU末尾数据组地址(图8的VOBU_EA)记录距离VOBU的开头的相对扇区数。
步骤#2416依据在步骤#2412得到的VTSTT_VOBS数据,作为各访问单元开头的VOBU导航组NV地址、末尾VOBU导航组NV地址,以距离VTSTT_VOBS开头的扇区数分别记录访问单元开头VOBU地址C_FVOBU_SA与访问单元末尾VOBU地址C_LVOBU_SA。
步骤#2418根据在步骤#2412得到的已配置交错单元的数据,在构成交错单元的各VOBU的导航组NV的交错单元末尾数据组地址(ILVU末尾数据组地址)(图8的ILVU_EA)记录距离交错单元末尾数据组的相对扇区数。
步骤#2420中,在包含于交错单元ILVU的VOBU导航组NV内,作为下一ILVU的位置信息,将在步骤#2412形成的交错数据块的数据内的相对扇区数记录于下一交错单元开头地址NT_ILVU_SA。
步骤#2422在包含于交错单元ILVU的VOBU导航组NV记录ILVU标志ILVUflag=1。
步骤#2424在交错单元ILVU内的末尾VOBU导航组NV的单元结束标志UnitENDflag记录“1”。
步骤#2426在各VOB的末尾交错单元ILVU内的VOBU导航组NV的下一交错单元开头地址NT_ULVU_SA记录“FFFFFFFFh”。
借助于上述步骤,将相当于多场面区间的加锁控制交错数据块和相当于该多场面的访问单元重放控制信息(即访问单元内的控制信息)格式化。
下面使用图31对在图27的步骤#2312及步骤#2316判断为“否”,即判断为不是多场面,而是单一场面的情况下的子程序步骤#2314加以说明。借助于下面所示的操作流程,将多媒体流的交错配置、图5所示访问单元重放信息(C_PBI#i)的内容及图8所示的导航组NV内的信息记录于生成的DVD多媒体流。
步骤#2430根据表示不是多场面区间,而是单一场面区间的VOB_Fp=0的信息,在记述对应于各场面的VOB控制信息的访问单元(图5的C_PBI#i)的访问单元块模式(图5中的CBM)上记录表示是非访问单元块的“00b”。
步骤#2432根据表示不要交错的VOB_Fi=0的信息,在记述与场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的交错数据块配置标志(图5中的IAF)上记录“0”。
步骤#2434从由图12系统编码器900得到的标题编辑单元(下称VOB)检测出导航组NV的位置信息(距离VOB的开头的相对扇区数),配置于VOBU,并添加到多媒体流中视频等的流数据中(VTSTT_VOBS)。
步骤#2436以步骤#2434得到的VOBU的位置信息为依据,在各VOBU导航组NV的VOBU末尾数据组地址(图8的VOBU_EA)记录距离VOBU的开头的相对扇区数。
步骤#2438根据在步骤#2434得到的VTSTT_VOBS数据,提取各访问单元的开头VOBU导航组NV地址及末尾VOBU导航组NV地址。而且将距离VTSTT_VOBS开头的扇区数作为访问单元开头VOBU地址C_FVOBU_SA,将距离VTSTT_VOBS末尾的扇区数作为访问单元末尾VOBU地址C_LVOBU_SA记录。
步骤#2440判断表示图20的步骤#300或步骤#600判断的状态,即判断表示与前后的场面无断层连接的VOB_Fsb=1是否成立。在判断为“是”的情况下,进入步骤#2242。
步骤#2242根据表示进行无断层连接的VOB_Fsb=1的信息,在记述与场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的无断层重放标志(图5中的SPF)上记录“1”。
步骤#2444根据表示进行无断层连接的VOB_Fsb=1的信息,在记述与场面对应的VOB控制信息的访问单元(图5的C_PBI#i)的STC再设定标志(图5中的STCDF)上记录“1”。
在步骤#2440判断为“否”的情况下,即与前面的场面没有进行无断层连接的情况下,进入步骤#2446。
步骤#2446根据表示进行无断层连接的VOB_Fsb=0,在记述与场面对应的VOB控制信息的访问单元(图5中的C_PBI#i)的无断层重放标志(图5中的SPF)上记录“0”。
步骤#2448根据表示进行无断层连接的VOB_Fsb=0的信息,在记述与场面对应的VOB控制信息的访问单元(图5中的C_PBI#i)的STC再设定标志(图5中的STCDF)上记录“0”。
借助于以上所示操作流程,将相当于单一场面区间的多媒体流配置、图5中所示访问单元重放信息(C_PBI#i)的内容及示于图8的导航组NV内的信息记录于生成的DVD多媒体流上。
下面就使上述加锁控制及多视角控制中的择一重放成为可能的创作编码对创作编码器EC进行更加详细的说明。使择一重放成为可能的创作编码可以分为下述6个过程。
过程1:生成基本编码参数(EEParam)
    ·输入各素材(图像信息、声音信息、副图像信息)的参数
    ·指定这为构成视角区间的素材
    ·指定这为构成加锁控制区间的素材
过程2:EEParam检查及反馈
“角度区间的验证”
    ·检查角度区间的素材的均等性
          检验图像的长度是否相等。
          检验声音、副图像的通道数目是否相等。
          如果均等性不能保证,就显示“出错”。
“加锁控制区间的验证”
    ·检验有否满足上述第1式及上述第4式的M值。
        如果没有M值,就显示“出错”。
过程3:基本编码
    ·以EEParam为基础对各素材进行编码。
过程4:系统编码
过程5:格式编排
过程6:生成盘片
过程4、5及6参照图20及图21详述,与步骤#1800~#2300基本相同,因此省略其说明。
这里首先参照图45,对生成编辑控制指示数据St7的编辑信息生成部100R进行说明。本例的编辑信息生成部100R与图37及图38所示的编辑信息作成部100有类似的结构,由电脑及其控制软件、录像带驱动装置和磁带驱动装置构成。在图45中,102R是编辑信息输入部,104R是出错信息提示部,108R是编辑信息出错检测部,110R是基本编码用参数生成部,还有112R是基本流输入缓存器。
编辑信息输入部102R最好是用软件构成的文本编辑程序,它接受用户用电脑的键盘等输入装置输入的信息,存储于电脑的内部存储器(未图示)中。存储的数据分别为图43所示的视频数据表VTBL(VTBL:Video Table)和图44所示的音频数据表ATBL(ATBL:Audio Table)。
编辑信息出错检测部108R最好是用软件构成,它对所生成的VTBL和ATBL的内容进行验证,如果有不合适的设定,就将出错值输出到出错信息提示部104R,如果没有不合适的设定,就将VTBL和ATBL输出到基本编码用参数生成部110R。对于编辑信息生成部100R的操作将在后面参照图46的流程图进行详细说明。
出错信息提示部104R最好是用软件构成,它对编辑信息出错检测部108R输出的出错值进行解析,在视觉上反馈给用户。具体地说,根据包含于出错值的信息判断VTBL和ATBL的哪一个参数不确切,将示意该参数不确切的告警信息显示于电脑的显示装置上。
基本流输入缓存器112R从外部接受图像素材、声音素材。典型的情况下,是受理图像素材用的录象带驱动装置和受理声音素材、副图像素材用的磁带驱动装置。
基本编码用参数生成部110R最好是用软件构成,它对VTBL和ATBL进行解析,将参数输出到基本流输入缓存器112R、外部的视频编码器、音频编码器。
例如,如果是图43所示的VTBL,则向基本流输入缓存器112R输出时间代码St6,向编码系统控制部200输出其他的作为编辑控制指示数据St7R。
而如果是图44所示的ATBL,则向基本流输入缓存器112R输出时间代码St6,向编码系统控制部200输出其他的作为编辑控制指示数据St7R。
下面参照图42、图43、图44、图45及图46用具体例子对各过程加以说明。
图42是表示所制作盘片的视频数据及其重放顺序的一个例子。
在图42中,区间B是由视频数据v02、v02cut构成的加锁控制区间。v02cut表示为了限制视听而从v02切除一部分图像的视频数据。区间D是由视频数据v04en、v04fr、v04es和v04pt构成的角度区间。v04en、v04fr、v04es和v04pt是从4个不同视角拍摄的视频数据。下面对各过程详细说明其动作。
首先,在第1过程,生成基本编码用的参数EEParm。编辑信息输入部102R接收用户的输入,生成作为视频编码用的参数的视频数据表VTBL和作为音频编码用的参数的音频数据表ATBL。
图43表示图42所示的视频编码用的输入数据的视频数据表VTBL的一个例子。如该图所示,视频数据表VTBL中从左边开始依序有VOB、Audio、SP、ATTR、START TC、END TC、BR及I32共8个区域,其意义分别如下。
·VOB     :作为交错对象的MPEG位流名
·Audio   :MPEG位流的声音流数
·SP      :MPEG位流的副图像流数
·ATTR    :属性信息;角度区间为“AG”,保护性加锁区间为“DC”,通常区间为“SL”
·START_TC:编码用的素材磁带的开始代码
·END_TC  :编码用的素材磁带的终止代码
·BR      :位速率
·I32     :逆电视电影变换的指定标志
图44表示音频编码用的输入数据的音频数据表ATBL。在该图中,音频数据表ATBL也从左边开始依序有VOB、STR_NO、MODE、START_TC、END_TC、ATTR、BR及FQ共8个区域,其意义分别如下。
·VOB     :作为交错对象的MPEG位流名
·STR_NO  :位流编号
·MODE    :编码模式、AC3或LPCM
·START_TC:编码用的素材磁带的开始代码
·END_TC  :编码用的素材磁带的终止代码
·ATTR    :属性信息;角度区间为“AG”,保护性加锁区间为“DC”,通常区间为“SL”
·BR    :位速率
·FQ    :取样频率
而且,各区域的列举顺序与重放顺序一致。又,角度区间与保护性加锁区间是连续列举的格式。角度区间的列举顺序也是视角编号的顺序。
接着,在第2过程进行基本参数EEParam的检查及反馈。出错信息提示部104R及编辑信息出错检测部108R对多视角区间与保护性加锁区间进行验证。下面参照图46所示的流程图对多视角区间及保护性加锁区间的验证进行说明。
首先,在步骤S1进行位速率的判定。在位速率的判定中最初判定各VOB(MPEG系统)的位速率是否在规定值以下。亦即根据
·VOB图象信息分配的位速率:VTBL的“BR”
·VOB声音信息分配的位速率:ATBL的“BR”
·VOB副图像信息分配的位速率:固定值
·VOB声音流数:VTBL的“Audio”
·VOB副图像流数:VTBL的“SP”
求VOB的总位速率,确认位速率比向视频缓存器传输的速率低。如果位速率不是合适的数值,则进入步骤S9,进行将告警信息显示于监视装置等出错处理。
在步骤S3,对区间进行判断。首先,依序检查视频数据表VTBL的各项,查出角度区间与保护性加锁区间。具体地说,属性信息的值为“AG”的项判断为角度,然后,属性信息作为“AG”连续的项,其集合判定为形成角度区间的视频数据项。保护性加锁也同样判定其保护性加锁区间。在保护性加锁区间的情况下,进入步骤S5,如果是多视角区间则进入步骤S7。
步骤S5验证保护性加锁区间。对作为保护性加锁区间保持的各VOB项进行验证,判定是否有满足上述式(1)、式(4)的M值。如果数值不合适,就进行出错处理(在监视装置显示告警信息)。
步骤S7验证角度区间。判定是否角度区间完全满足上述条件,属于角度区间的各VOB的均等性能够保证。如果数值不合适,就进行出错处理(在监视装置显示告警信息)。
在步骤S9,从编辑信息生成部100R向基本编码用参数生成部110R输出视频数据表VTBL及音频数据表ATBL后,进入下一过程3。
在第3过程,实施基本编码。利用基本编码用参数生成部110R、基本流输入缓存器112R和编码器盘等(未图示)根据基本编码参数(EEParam)对各素材进行编码。基本编码用参数生成部110R按照视频数据表VTBL及音频数据表ATBL对基本流输入缓存器112R(磁带装置等)进行控制,使作为素材的数据输出到外部编码器,同时向外部的编码器输出编码用的参数。还有,也可以不用基本编码用参数生成部110R,而代之以编码系统控制部200对基本流输入缓存器112R进行控制。
过程4、5及6如前所述,与参照图20及图21说明的步骤#1800~#2300基本相同,故省略其说明。
又省略对第4过程、第5过程及第6过程的说明。
<3.7> 解码器流程图
<3.7.1> 从光盘到位流缓存器的传送流程
下面参照图32及图33,根据脚本选择数据St51对解码系统控制部2300生成的解码信息表加以说明。解码信息表由图32所示的解码系统表和图33所示的解码表构成。
如图32所示,解码系统表由脚本信息寄存器部与访问单元信息寄存器部构成。脚本信息寄存器部提取包含于脚本选择数据St51的、用户所选择的标题编号等重放信息加以记录。访问单元信息寄存器部根据脚本信息寄存器部提取的、用户选择的脚本信息,提取重放构成程序链的各访问单元信息所需要的信息加以记录。
脚本信息寄存器部包含角度编号寄存器ANGLE_NO_reg、VTS编号寄存器VTS_NO_reg、PGC编号寄存器VTS_PGCI_NO_reg、声音ID寄存器AUDIO_ID_reg、副图像ID寄存器SP_ID_reg,以及SCR用缓存器SCR_buffer。
角度编号寄存器ANGLE_NO_reg在重放的PGC中存在多视角的情况下记录关于重放哪一个的信息。VTS编号寄存器VTS_NO_reg记录光盘上存在的多个VTS中下一个重放的VTS的编号。PGC编号寄存器VTS_PGCI_NO_reg记录指示VTS中为加锁控制等用途而存在的多个PGC中重放哪一个PGC的信息。
声音ID寄存器AUD10_ID_reg记录指示VTS中存在的多个音频流中重放哪一个的信息。副图像ID寄存器SP_ID_reg在VTS中存在多个副图像流的情况下记录指示重放哪一个副图像流的信息。SCR用缓存器SCR_buffer是如图7所示暂时存储数据组首标记述的SCR的缓存器。该暂时存储的SCR如参照图3进行的说明所述,被作为流重放数据St63输出到解码系统控制部2300。
访问单元信息寄存器部包含访问单元块模式寄存器CBM_reg、访问单元块类型寄存器CBT_reg、无断层重放标志寄存器SPB_reg、交错配置标志寄存器IAF_reg、STC再设定标志寄存器STCDF_reg、无断层角度切换标志寄存器SACF_reg、访问单元开头VOBU开始地址寄存器C_FVOBU_SA_reg、访问单元末尾VOBU开始地址寄存器C_LVOBU_SA_reg。
访问单元块模式寄存器CBM_reg表示是否多个访问单元构成一个功能块,在未构成的情况下,其值记录为“N_BLOCK”。而在访问单元构成一个功能块的情况下,作为相应的值,该功能块的开头单元记录“F_CELL”,末尾单元记录“L_CELL”,中间单元记录“BLOCK”。
访问单元块类型寄存器CBT_reg是记录以访问单元块模式寄存器CBM_reg表示的单元块种类的寄存器,在多视角的情况下记录“A_BLOCK”,在不是多视角的情况下记录“N_BLOCK”。
无断层重放标志寄存器SPF_reg记录表示该访问单元是否与前面重放的访问单元或单元块无断层地连接重放的信息。在与前一单元或前一单元块无断层连接重放的情况下,其值记录为“SML”,在不是无断层连接的情况下,其值记录为“NAML”。
交错配置标志寄存器IAF_reg记录该访问单元是否配置于交错区域的信息。在配置于交错区域的情况下,其值记录为“ILVB”,在没有配置在交错区域的情况下,记录为“N_ILVB”。
STC再设定标志寄存器STCDF_reg记录关于是否有必要在访问单元重放时重新设定取同步时使用的STC的信息。在有必要重新设定的情况下,其值记录为“STC_RESET”,在不必要重新设定的情况下,其值记录为“STC_NRESET”。
无断层角度切换标志寄存器SACF_reg记录表示是否该访问单元属于角度区间而且进行无断层切换的信息。在是属于角度区间而且进行无断层切换的情况下,其值记录为“SML”,在并非如此的情况下记录为“NSML”。
访问单元开头VOBU开始地址寄存器C_FVOBU_SA_reg记录访问单元开头VOBU的开始地址。其值以扇区数表示对VTS标题用VOBS(VTSTT_VOBS)的开头访问单元的逻辑扇区的距离,记录该扇区数。
访问单元末尾VOBU开始地址寄存器C_LCOBU_SA_reg记录访问单元末尾VOBU的开始地址。其值以扇区数表示对VTS标题用VOBS(VTSTT_VOBS)的开头访问单元逻辑扇区的距离,记录该扇区数。
下面对图33的解码表加以说明,如该图所示,解码表由非无断层多视角信息寄存器部、无断层多视角信息寄存器部、VOBU信息寄存器部、无断层重放寄存器部构成。
非无断层多视角信息寄存器部包含NSML_AGL_C1_DSTA_reg~NSML_AGL_C9_DSTA_reg。在NSML_AGL_C1_DSTA_reg~NSML_AGL_C9_DSTA_reg记录图8所示的PCI数据包中的NSML_AGL_C1_DSTA~NSML_AGL_C9_DSTA。
无断层多视角信息寄存器部包含SML_AGL_C1_DSTA_reg~SML_AGL_C9_DSTA_reg。
在SML_AGL_C1_DSTA_reg~SML_AGL_C9_DSTA_reg记录图8所示的DSI数据包中的SML_AGL_C1_DSTA~SML_AGL_C9_DSTA。
VOBU信息寄存器部包含VOBU末尾地址寄存器VOBU_EA_reg。
在VOBU信息寄存器VOBU_EA_reg记录图8所示的DSI数据包中的VOBU_EA。
无断层重放寄存器部包含交错单元标志寄存器ILVU_flag_reg、单元末尾标志寄存器UNIT_END_flag_reg、ILVU末尾数据组地址寄存器ILVU_EA_reg、下一交错单元开始地址NT_ILVU_SA_reg、VOB内开头图像帧显示开始时间寄存器VOB_V_SPTM_reg,VOB内末尾图像帧显示结束时间寄存器VOB_V_EPTM_reg、声音重放停止时间1寄存器VOB_A_GAP_PTM1_reg、声音重放停止时间2寄存器VOB_A_GAP_PTM2_reg、声音重放停止时长1寄存器VOB_A_GAP_LEN1、声音重放停止时长2寄存器VOB_A_GAP_LEN2。
交错单元标志寄存器ILVU_flag_reg表示VOBU是否在交错区域,是在交错区域的情况下记录“ILVU”,不是在交错区域时记录“N_ILVU”。单元末尾标志寄存器UNIT_END_flag_reg在VOBU是在交错区域的情况下记录表示该VOBU是否ILVU的末尾VOBU的信息。ILVU是连续读出单元,因此如果现在正在读出的VOBU是ILVU的末尾VOBU就记录“END”,如果不是末尾VOBU就记录“N_END”。
ILVU末尾数据组地址寄存器ILVU_EA_reg在VOBU存在于交错区域的情况下记录该VOBU所属ILVU的末尾数据组的地址。这里地址是距离该VOBU的NV的扇区数。
下一ILVU开始地址寄存器NT_ILVU_SA_reg在VOBU存在于交错区域的情况下记录下一ILVU的开始地址。这里地址是距离该VOBU的NV的扇区数。
VOB内开头图像帧显示开始时间寄存器VOB_V_SPTM_reg记录开始显示VOB的开头图像帧的时间。
VOB内末尾的图像帧显示结束时间寄存器VOB_V_EPTM_reg记录VOB的末尾图像帧显示结束的时间。
声音重放停止时间1寄存器VOB_A_GAP_PTM1_reg记录使声音重放停止的时间,声音重放停止时长1寄存器VOB_A_GAP_LEN1_reg记录使声音重放停止的时间间隔。
声音重放停止时间2寄存器VOB_A_GAP_PTM2_reg及声音重放停止时长2寄存器VOB_A_GAP_LEN2也一样。
<3.8>DVD机
图41表示记录利用本发明多媒体光盘创作系统所生成多媒体位流的光盘DVD的重放装置的一个例子。DVD放在DVD机1的托架内使用。DVD机1连接于显示由DVD重放的图像,并发出其重放的声音的电视监视器2。还设置使用者操作DVD机1和电视监视器2用的遥控器91。DVD机1的框架正面有开口,开口的深度方向上设置放置光盘的驱动机构。在DVD机1的正面设置具有接收遥控器91发出的红外线的受光元件的遥控接收部92,使用者操作掌握的遥控器,遥控接收部92即发生表明接收键信号的接入信号。
DVD机1的背面具备视频信号输出端子和音频信号输出端子,将软线连接在这里,可以把DVD重放出的图像信号输出到民用大型电视监视器2。借助于此,使用者可以利用33、35英寸等尺寸的民用大型电视机欣赏DVD重放的映像。从上述说明可以了解到,本实施例的DVD机1不是与个人电脑等连接使用的装置,而是作为家用电器与电视监视器2一起使用的装置。
遥控器91在其框架表面设置带有弹簧的键盘,以红外线输出与被按下的按键对应的代码。键盘上配置有电源、重放、停止、暂停、快进、倒退等按键,还配置有切换视角用的视角键和调出设定保护性加锁级别用的设定菜单用的设定键等。
工业应用性
如上所述,本发明的多媒体流生成方法及多媒体光盘创作系统适合于使用在能够根据用户的希望,编辑由传送各种信息的位流构成的标题,以构成新标题的创作系统,进一步说,适用于近年来开发的数字视像光盘系统、即所谓DVD系统。

Claims (16)

1  一种创作编码器(EC),在对传输构成具有一系列相关内容的各种标题的活动图像数据(St1)、音频数据(St3)、副图像数据(St2)等信息的源数据流,生成具有将编辑单元(VOB)以规定数值(M)进行划分后连续排列的择一重放区间的位流(St35)的创作系统中,其特征在于,该创作编码器(EC)包括:
用编辑单元(VOB)提示所述源数据流(St1、St2和St3)的内容的装置(200、110和106);
对所述被提示的编辑单元(VOB),生成编辑指示数据(VTBL、ATBL)的装置(102R);
对编辑指示数据(VTBL、ATBL)进行验证,在所述编辑指示数据(VTBL、ATBL)适当的场合输出所述编辑指示数据(VTBL、ATBL),在所述编辑指示数据(VTBL、ATBL)不适当的场合生成出错信号(St302)的验证装置(108R);
基于所述被输出的编辑指示数据(VTBL、ATBL),生成对所述源数据流进行基本编码的参数(St6)的装置,
所述编辑指示数据(VTBL、ATBL)由图像管理信息(VTBL)和声音管理信息(ATBL)组成。
2  如权利要求1所述的创作编码器(EC),其特征在于,还包括
根据所述出错信号(St302),显示图像管理信息(VTBL)和声音管理信息(ATBL)中的任何一个是否有不适当的出错信息显示装置(104)。
3  如权利要求1所述的创作编码器(EC),其特征在于,还包括
根据所述图像管理信息(VTBL),判断所述择一重放区间是保护性加锁区间还是多视角区间区间判定装置(S3)。
4  如权利要求3所述的创作编码器(EC),其特征在于,
所述验证装置(108R)在所述择一重放区间为保护性加锁区间的场合,判断规定划分数值(M)比第1规定数值(Mmin)大、比第2规定数值(Mmax)小为适当,判断其它的场合为不适当,
用Mmin≥VOBMaxTime/JMT求得所述第1规定数值(Mmin),其中VOBMaxTime是属于所述择一重放区间的所述活动图像数据(St1)的最长时间,JMT是重放所述位流的装置的最大转移时间;
用Mmax≤VOBMinTime/(JT+(ILUM/BitRate))求得所述第2规定数(Mmax),其中VOBMinTime是属于所述择一重放区间的所述活动图像数据(St1)的最短时间,JT是所述重放装置的转移所用时间,ILUM是交叉单元的数据量,BitRate是对所述重放装置的跟踪缓存器的传输速率。
5  如权利要求4所述的创作编码器(EC),其特征在于,
所述验证装置(108R)在所述择一重放区间为多视角区间的场合,判断属于择一重放区间的所述活动图像数据(St1)的各自的GOP结构相同的场合为适当,判断其它的场合为不适当。
6  一种位流生成方法,对传输构成具有一系列相关内容的各种标题的活动图像数据(St1)、音频数据(St3)、副图像数据(St2)等信息的源数据流,生成具有将编辑单元(VOB)以规定数值(M)进行划分后连续排列的择一重放区间的位流(St35),其特征在于,所述位流生成方法包括:
用编辑单元(VOB)提示所述源数据流(St1、St2和St3)的内容的步骤(#100);
对所述被提示的编辑单元(VOB),生成编辑指示数据(VTBL、ATBL)的步骤(#200);
对编辑指示数据(VTBL、ATBL)进行验证,在所述编辑指示数据(VTBL、ATBL)适当的场合输出所述编辑指示数据(VTBL、ATBL),在所述编辑指示数据(VTBL、ATBL)不适当的场合生成出错信号(St302)的验证步骤(S5、S7);
根据所述被输出的编辑指示数据(VTBL、ATBL),生成对所述源数据流进行基本编码的参数(St6)的步骤(#2200),
所述编辑指示数据(VTBL、ATBL)由图像管理信息(VTBL)和声音管理信息(ATBL)组成。
7  如权利要求6所述的位流生成方法,其特征在于,还包括
根据所述出错信号(St302),显示图像管理信息(VTBL)和声音管理信息(ATBL)中的任何一个是否有不适当的出错信息显示步骤。
8  如权利要求6所述的位流生成方法,其特征在于,还包括
根据所述图像管理信息(VTBL),判断所述择一重放区间是保护性加锁区间还是多视角区间的区间判定步骤(S3)。
9  如权利要求8所述的位流生成方法,其特征在于,还包括
在所述择一重放区间为保护性加锁区间的场合,判断规定的划分数值(M)比第1规定数值(Mmin)大、比第2规定数值(Mmax)小为适当,判断其它的场合为不适当的步骤(S5),
用Mmin≥VOBMaxTime/JMT求得所述第1规定数值(Mmin),其中VOBMaxTime是属于所述择一重放区间的所述活动图像数据(St1)的最长时间,JMT是重放所述位流的装置的最大转移时间;
用Mmax≤VOBMinTime/(JT+(ILUM/BitRate))求得所述第2规定数值(Mmax),其中VOBMinTime是属于所述择一重放区间的所述活动图像数据(St1)的最短时间,JT是所述重放装置的转移所用的时间,ILUM是交叉单元的数据量,BitRate是对所述重放装置的跟踪缓存器的传输速率。
10  如权利要求8所述的位流生成方法,其特征在于,
在所述择一重放区间为多视角区间的场合,判断属于择一重放区间的所述活动图像数据(St1)的各自的GOP结构相同的场合为适当,判断其它的场合为不适当的步骤(S7)。
11  一种光盘媒体(M)的制造方法,所述光盘媒体对传输构成具有一系列相关内容的各种标题的活动图像数据(St1)、音频数据(St3)、副图像数据(St2)等信息的源数据流,记录具有将编辑单元(VOB)以规定数值划分后连续排列的择一重放区间的位流(St35),其特征在于,所述制造方法包括:
用编辑单元(VOB)提示所述源数据流(St1、St2和St3)的内容的步骤(#100);
对所述被提示的编辑单元(VOB),生成编辑指示数据(VTBL、ATBL)的步骤(#200);
对编辑指示数据(VTBL、ATBL)进行验证,在所述编辑指示数据(VTBL、ATBL)适当的场合输出所述编辑指示数据(VTBL、ATBL),在所述编辑指示数据(VTBL、ATBL)不适当的场合生成出错信号(St302)的验证步骤(S5、S7);
根据所述被输出的编辑指示数据(VTBL、ATBL),生成对所述源数据流进行基本编码的参数(St6)的步骤(#2200);
根据所述被编码的所述编辑指示数据(VTBL、ATBL),生成编码参数的步骤(#1800);
根据所述被生成的编码参数,对所述源数据进行编码的步骤(#2100);
按照所述光盘媒体(M)的记录面,对所述被编码的源数据进行格式化的步骤(#2300);
将所述被格式化并被编码后的源数据记录在所述光盘媒体(M)的记录面上的步骤,
所述编辑指示数据(VTBL、ATBL)由图像管理信息(VTBL)和声音管理信息(ATBL)组成。
12  如权利要求11所述的光盘媒体(M)的制造方法,其特征在于,还包括
根据所述图像管理信息(VTBL),判断所述择一重放区间是保护性加锁区间还是多视角区间的区间判定步骤(S3);
在所述择一重放区间为多视角区间的场合,仅在属于择一重放区间的所述活动图像数据(St1)的各自的GOP结构相同的场合,将所述被格式化并被编码后的源数据记录在所述光盘媒体(M)的记录面上的步骤。
13  一种创作系统,生成存储在盘片中的位流,所述位流具有一个以上包含图像信息和声音信息的视频重放对象(VOB),并且所述视频重放对象中的任何一个,都是从多个视频重放对象(VOB)中择一重放1个视频重放对象(VOB)的视频重放对象(VOB),其特征在于,所述创作系统包括
接收所述视频重放对象的编码条件信息和择一重放的所述视频重放对象的选择信息的接收装置;
保持所述编码条件和所述选择信息的保持装置;
参照所述选择信息和所述编码条件信息,验证择一重放的所述视频重放对象的所述编码条件信息是否适当的验证装置;
仅在择一重放的所述视频重放对象的所述编码条件信息适当的场合,按照所述编码条件信息对所述视频重放对象进行编码的编码装置。
14  如权利要求13所述的创作系统,其特征在于,还包括
在择一重放的所述视频重放对象的所述编码条件信息不适当的场合,将不适当的信息反馈到外部的反馈装置。
15  如权利要求13所述的创作系统,其特征在于,还包括
将择一重放的所述视频重放对象相互交错地排列在所述盘片上,
所述盘片的盘片重放装置具有在将从盘片读出的数据传输到进行图像显示的解码器中之前暂时存储该读出数据的跟踪缓存器,
所述验证装置在利用所述编码条件信息形成的所述交错区间重放时对所述跟踪缓存器溢出的场合或者对所述跟踪缓存器下溢的场合,验证结论为所述交错区间不适当。
16  如权利要求15所述的创作系统,其特征在于,
如果对择一重放的所述视频重放对象的交错区间的划分数(M)比第1规定数值大,则所述验证装置判定所述跟踪缓存器下溢,如果所述划分数(M)比第2规定数值小,则判定所述跟踪缓存器溢出,
用Mmin≥VOBMaxTime/JMT求得所述第1规定数值(Mmin),其中VOBMaxTime是属于所述择一重放区间的所述活动图像数据(St1)的最长时间,JMT是重放所述位流的装置的最大转移时间;
用Mmax≤VOBMinTime/(JT+(ILUM/BitRate))求得所述第2规定数(Mmax),其中VOBMinTime是属于所述择一重放区间的所述活动图像数据(St1)的最短时间,JT是所述重放装置的转移所用时间,ILUM是交叉单元的数据量,BitRate是对所述重放装置的跟踪缓存器的传输速率。
CNB971913242A 1996-09-27 1997-09-26 视频数据可择一重放的多媒体流生成方法和光盘创作系统 Expired - Fee Related CN1135481C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP277014/1996 1996-09-27
JP277014/96 1996-09-27
JP27701496 1996-09-27

Publications (2)

Publication Number Publication Date
CN1205091A CN1205091A (zh) 1999-01-13
CN1135481C true CN1135481C (zh) 2004-01-21

Family

ID=17577574

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB971913242A Expired - Fee Related CN1135481C (zh) 1996-09-27 1997-09-26 视频数据可择一重放的多媒体流生成方法和光盘创作系统

Country Status (7)

Country Link
US (1) US6393196B1 (zh)
EP (1) EP0875856B1 (zh)
JP (1) JP3908280B2 (zh)
KR (1) KR100496703B1 (zh)
CN (1) CN1135481C (zh)
DE (1) DE69721483T2 (zh)
WO (1) WO1998013769A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW361046B (en) * 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
JP3607486B2 (ja) * 1998-01-21 2005-01-05 株式会社東芝 情報記録再生装置
US7068918B1 (en) 1998-05-01 2006-06-27 Samsung Electronics Co., Ltd. Recording medium for storing real time recording/reproduction information, method and apparatus for recording and reproducing in real time, and file operating method using the same
JP3907839B2 (ja) * 1998-06-17 2007-04-18 松下電器産業株式会社 放送システム
JP3522537B2 (ja) * 1998-06-19 2004-04-26 洋太郎 村瀬 画像再生方法、画像再生装置及び画像通信システム
KR100301012B1 (ko) 1998-06-27 2001-10-27 윤종용 광 디스크 기록/재생 장치 및 그 방법 및 정보 구조
CZ2001721A3 (cs) * 1998-08-27 2002-05-15 International Business Machines Corporation Systém a způsob pro vkládání dodatečných informací do video dat
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
JP3602728B2 (ja) * 1998-10-22 2004-12-15 株式会社東芝 ディジタルビデオディスクプレーヤ及び画像表示装置
US6748421B1 (en) * 1998-12-23 2004-06-08 Canon Kabushiki Kaisha Method and system for conveying video messages
US6785338B1 (en) * 1999-01-19 2004-08-31 Sarnoff Corporation Constraining video production based on compression-related information
WO2000055854A1 (fr) * 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
KR100324746B1 (ko) * 1999-04-24 2002-02-20 구자홍 음성 청취가 가능한 디지탈 데이터 플레이어
AU6152300A (en) 1999-06-29 2001-01-31 Koninklijke Philips Electronics N.V. Data allocation in dvd recording
KR100320476B1 (ko) * 2000-01-12 2002-01-15 구자홍 비디오 디코더 및 디코딩 방법
WO2001056281A1 (fr) 2000-01-26 2001-08-02 Sony Corporation Procede et systeme informatique et support d'enregistrement de programmes
CN101867835B (zh) 2000-04-21 2013-09-11 索尼公司 编码设备和方法、以及记录方法
KR100448452B1 (ko) 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
EP1199893A1 (en) * 2000-10-20 2002-04-24 Robert Bosch Gmbh Method for structuring a bitstream for binary multimedia descriptions and method for parsing this bitstream
US7266767B2 (en) * 2000-11-27 2007-09-04 Parker Philip M Method and apparatus for automated authoring and marketing
PL374116A1 (en) * 2001-06-04 2005-10-03 Matsushita Electric Industrial Co, Ltd. Recording apparatus, recording medium, reproduction apparatus, program, and method
JP4409792B2 (ja) * 2001-06-22 2010-02-03 ソニー株式会社 データ伝送装置および方法、記録媒体並びにプログラム
JP4095271B2 (ja) * 2001-09-19 2008-06-04 アルパイン株式会社 ディスク再生装置
US6561820B2 (en) * 2001-09-27 2003-05-13 Intel Corporation Socket plane
US20030223736A1 (en) * 2002-05-29 2003-12-04 Rehan Muzaffer DVD player with enhanced connectivity
WO2003104942A2 (en) * 2002-06-07 2003-12-18 Yahoo. Inc. Method and system for controling and monitoring a web-cast
US7889968B2 (en) * 2002-06-24 2011-02-15 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
CA2459070C (en) * 2002-06-28 2013-10-22 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple playback path video data recorded thereon and recording and reproducing methods and apparatuses
RU2334286C2 (ru) 2002-06-28 2008-09-20 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления записью и воспроизведением записанных на нем данных нескольких каналов и способы и устройства записи и воспроизведения
JP4343111B2 (ja) * 2002-10-02 2009-10-14 エルジー エレクトロニクス インコーポレーテッド グラフィックデータの再生を管理するためのデータ構造を有する記録媒体、該記録媒体による記録・再生方法、およびその装置
CN100487807C (zh) * 2002-10-04 2009-05-13 Lg电子有限公司 有管理图形数据再现的数据结构的录制介质及录制与再现方法和装置
DE10393469T5 (de) * 2002-10-10 2005-08-25 Matsushita Electric Industrial Co., Ltd., Kadoma Optische Platte, Wiedergabevorrichtung, Programm, Wiedergabeverfahren und Aufzeichnungsverfahren
WO2004042723A1 (en) * 2002-11-08 2004-05-21 Lg Electronics Inc. Method and apparatus for recording a multi-component stream and a high-density recording medium having a multi-component stream recorded theron and reproducing method and apparatus of said recording medium
US7720356B2 (en) * 2002-11-12 2010-05-18 Lg Electronics Inc Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7783160B2 (en) * 2002-11-20 2010-08-24 Lg Electronics Inc. Recording medium having data structure for managing reproduction of interleaved multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
JP2004173069A (ja) * 2002-11-21 2004-06-17 Canon Inc 画像データ記録装置及び記録方法
JP4964414B2 (ja) * 2002-11-22 2012-06-27 エルジー エレクトロニクス インコーポレイティド 記録された多重再生経路ビデオデータの再生を管理するためのデータ構造を有する記録媒体とそれによる記録及び再生方法及び装置
KR100939711B1 (ko) * 2002-12-12 2010-02-01 엘지전자 주식회사 텍스트 기반의 서브타이틀 재생장치 및 방법
BRPI0405236B1 (pt) * 2003-04-24 2019-01-08 Sony Corp aparelho e método de processamento de informação, e, meio de armazenamento legível por computador
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP4611285B2 (ja) * 2003-04-29 2011-01-12 エルジー エレクトロニクス インコーポレイティド グラフィックデータ再生を管理するためのデータ構造を有する記録媒体、それによる記録及び再生方法及び装置
US7616865B2 (en) * 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
JP4332153B2 (ja) * 2003-06-18 2009-09-16 パナソニック株式会社 記録装置、再生装置、記録方法、再生方法
US20040268033A1 (en) * 2003-06-24 2004-12-30 Seagate Technology Llc Refreshing data in a data storage device
KR20050005074A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) * 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
JP3807400B2 (ja) * 2003-10-30 2006-08-09 ソニー株式会社 記録制御装置および記録制御方法
JP4251968B2 (ja) * 2003-11-26 2009-04-08 シャープ株式会社 コンテンツ作成装置、コンテンツ作成プログラム、およびコンテンツ作成プログラムを記録した記録媒体
GB2409540A (en) 2003-12-23 2005-06-29 Ibm Searching multimedia tracks to generate a multimedia stream
KR20050064150A (ko) * 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
EP1721319A2 (en) * 2004-01-06 2006-11-15 LG Electronics Inc. Recording medium and method and apparatus for reproducing and recording text subtitle streams
KR20050072255A (ko) 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 서브타이틀 구성방법 및 재생방법과기록재생장치
RU2377669C2 (ru) * 2004-02-10 2009-12-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Носитель записи, имеющий структуру данных для управления различными данными, и способ и устройство записи и воспроизведения
JP2007522596A (ja) * 2004-02-10 2007-08-09 エルジー エレクトロニクス インコーポレーテッド 記録媒体及びテキスト・サブタイトル・ストリームのデコード方法と装置
KR20070028325A (ko) * 2004-02-10 2007-03-12 엘지전자 주식회사 텍스트 서브타이틀 디코더 및 텍스트 서브타이틀 스트림디코딩 방법
EP1733392A2 (en) * 2004-02-10 2006-12-20 LG Electronics, Inc. Recording medium having a data structure for managing various data and recording and reproducing methods and apparatuses
KR20070028323A (ko) * 2004-02-10 2007-03-12 엘지전자 주식회사 상이한 언어들과 연관된 데이터 스트림을 관리하기 위한데이터 구조를 가지는 기록매체 및 기록재생 방법 및 장치
US20050196146A1 (en) * 2004-02-10 2005-09-08 Yoo Jea Y. Method for reproducing text subtitle and text subtitle decoding system
US7587405B2 (en) * 2004-02-10 2009-09-08 Lg Electronics Inc. Recording medium and method and apparatus for decoding text subtitle streams
WO2005081643A2 (en) * 2004-02-26 2005-09-09 Lg Electronics Inc. Recording medium and method and apparatus for reproducing and recording text subtitle streams
EP1728251A1 (en) * 2004-03-17 2006-12-06 LG Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
EP1738582B1 (en) * 2004-04-22 2018-06-06 Technicolor, Inc. Context dependent multi-angle navigation technique for digital versatile discs
KR20060047266A (ko) * 2004-04-26 2006-05-18 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP4724710B2 (ja) * 2004-05-03 2011-07-13 エルジー エレクトロニクス インコーポレイティド テキストサブタイトルデータを再生管理するためのデータ構造を有する記録媒体及びこれと関連する方法及び装置
WO2006018993A1 (ja) * 2004-08-17 2006-02-23 Matsushita Electric Industrial Co., Ltd. オーサリング装置、オーサリング方法並びにオーサリングプログラム及びそのプログラムを記録した記録媒体
JP2008512919A (ja) * 2004-09-09 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ関係メディアストリーム間の単純化された切り換え
KR100677566B1 (ko) * 2004-11-29 2007-02-02 삼성전자주식회사 멀티미디어 컨텐츠에 포함된 미디어 컨텐츠의 길이를 계산하는 방법 및 장치
US9167220B2 (en) * 2005-04-26 2015-10-20 Thomson Licensing Synchronized stream packing
JP2007251519A (ja) 2006-03-15 2007-09-27 Fujitsu Ltd ビデオデータ保管装置及びビデオデータ保管方法
AU2007235345A1 (en) * 2006-04-06 2007-10-18 Kenneth H. Ferguson Media content programming control method and apparatus
CN101681624A (zh) * 2007-05-21 2010-03-24 松下电器产业株式会社 声音编码以及再生装置
US8705946B2 (en) 2010-11-19 2014-04-22 Sony Corporation 3D authoring tool ensuring no buffer underrun upon jumps
ITRM20110469A1 (it) * 2011-09-08 2013-03-09 Hyper Tv S R L Sistema e metodo per la produzione da parte di un autore di contenuti multimediali complessi e per la fruizione di tali contenuti da parte di un utente
US8996543B2 (en) 2012-01-24 2015-03-31 Arrabon Management Services, LLC Method and system for identifying and accessing multimedia content
US8965908B1 (en) 2012-01-24 2015-02-24 Arrabon Management Services Llc Methods and systems for identifying and accessing multimedia content
US9098510B2 (en) 2012-01-24 2015-08-04 Arrabon Management Services, LLC Methods and systems for identifying and accessing multimedia content
US9026544B2 (en) 2012-01-24 2015-05-05 Arrabon Management Services, LLC Method and system for identifying and accessing multimedia content
US10432987B2 (en) 2017-09-15 2019-10-01 Cisco Technology, Inc. Virtualized and automated real time video production system
TWI675591B (zh) * 2017-12-07 2019-10-21 宏正自動科技股份有限公司 電視牆系統中的影像串流同步切換方法
KR102090070B1 (ko) * 2018-10-31 2020-03-17 카테노이드 주식회사 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
MX2021008348A (es) * 2019-01-09 2021-10-13 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06268954A (ja) 1993-03-12 1994-09-22 Sony Corp デジタルビデオディスクおよび装置
CN1086498C (zh) 1995-02-22 2002-06-19 株式会社东芝 信息记录方法,信息重放方法以及信息重放装置
EP0987707B1 (en) * 1995-08-21 2002-11-06 Matsushita Electric Industrial Co., Ltd. Optical disc reproduction device and reproduction method which can achieve a dynamic switching of the reproduced content
JPH0963251A (ja) 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd マルチメディア光ディスクおよび再生装置および記録方法
JPH0963252A (ja) 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd マルチメディア光ディスク及び再生装置及び記録方法
MX9801212A (es) * 1995-09-29 1998-04-30 Matsushita Electric Ind Co Ltd Metodo y dispositivo para grabar y reproducir una corriente de bits intercalada sobre y desde un medio.
WO1997013362A1 (en) * 1995-09-29 1997-04-10 Matsushita Electric Industrial Co., Ltd. Method and device for encoding seamless-connection of telecine-converted video data
DE69621053T2 (de) * 1995-10-09 2002-10-31 Matsushita Electric Ind Co Ltd Optische Platte zur Anwendung in einem Verschlüssel- oder Programmlizenzsystem
JP3752298B2 (ja) * 1996-04-01 2006-03-08 オリンパス株式会社 画像編集装置
US6154600A (en) * 1996-08-06 2000-11-28 Applied Magic, Inc. Media editor for non-linear editing system

Also Published As

Publication number Publication date
KR19990071538A (ko) 1999-09-27
EP0875856A4 (en) 1999-10-20
DE69721483T2 (de) 2004-03-18
CN1205091A (zh) 1999-01-13
EP0875856A1 (en) 1998-11-04
DE69721483D1 (de) 2003-06-05
EP0875856B1 (en) 2003-05-02
WO1998013769A1 (fr) 1998-04-02
KR100496703B1 (ko) 2005-11-24
US6393196B1 (en) 2002-05-21
JP3908280B2 (ja) 2007-04-25

Similar Documents

Publication Publication Date Title
CN1135481C (zh) 视频数据可择一重放的多媒体流生成方法和光盘创作系统
CN1164103C (zh) 具有非连续系统时间信息的位流的无断层重放方法和装置
CN1115046C (zh) 赋予位流多个检索重放路径信息的编码方法及其装置
CN1306801C (zh) 一种重放信息记录盘的重放装置
CN1113532C (zh) 位流无断层连接系统编码方法和装置
CN1164102C (zh) 位流的多视角连接编码方法及其装置
CN1164104C (zh) 位流无断层连接编码方法及其装置
CN1101038C (zh) 再生装置
CN1114212C (zh) 记录媒体的数据记录装置和方法以及数据再生装置和方法
CN1310508C (zh) 数据传输装置及方法
CN1706187A (zh) 数据处理装置
CN1771728A (zh) 信息记录介质,将信息记录到信息记录介质的装置及方法
CN1535465A (zh) 信息记录介质,将信息记录到信息记录介质的装置及方法
CN1906694A (zh) 再现装置、再现方法、程序、记录介质和数据结构
CN1154175A (zh) 采用母本控制的信息保持及信息传递媒体
CN1438645A (zh) 格式转换和信息记录的装置、方法和程序及其存储介质
CN1309253C (zh) 一种重放信息记录盘的重放装置
CN1297978C (zh) 数字通用盘音频盘播放方法和装置
CN1961576A (zh) 记录可以高速转换的流的信息记录介质,及其记录装置和记录方法
CN1150520C (zh) 副图象再生控制装置
CN1910917A (zh) 数据记录方法、数据再生装置和记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee