JP2008263601A - データ処理装置及び方法、ならびに編集システム及び方法 - Google Patents

データ処理装置及び方法、ならびに編集システム及び方法 Download PDF

Info

Publication number
JP2008263601A
JP2008263601A JP2008084013A JP2008084013A JP2008263601A JP 2008263601 A JP2008263601 A JP 2008263601A JP 2008084013 A JP2008084013 A JP 2008084013A JP 2008084013 A JP2008084013 A JP 2008084013A JP 2008263601 A JP2008263601 A JP 2008263601A
Authority
JP
Japan
Prior art keywords
data
time code
encoded stream
layer
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008084013A
Other languages
English (en)
Other versions
JP4816667B2 (ja
Inventor
Kazuyasu Imahashi
一泰 今橋
Toshihiko Kitazawa
俊彦 北澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008084013A priority Critical patent/JP4816667B2/ja
Publication of JP2008263601A publication Critical patent/JP2008263601A/ja
Application granted granted Critical
Publication of JP4816667B2 publication Critical patent/JP4816667B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Abstract

【課題】本発明は、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成するものである。
【解決手段】ビデオエンコーダ（１６）、オーディオエンコーダ（１７）およびＡＣ３エンコーダ（１８）は、それぞれ、オリジナル素材データに付随するタイムコードの情報を、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびＡＣ３ストリームの各データ構造において復号再生の単位（ピクチャ、オーディオフレーム）毎に存在可能で且つ任意のデータを記録可能な領域に記録する。
【選択図】図１

Description

本発明は、ビデオデータ及びオーディオデータ等の素材データを符号化する際に、各ピクチャ毎にタイムコードが付加された符号化ストリームを生成する符号化ストリーム生成装置及び方法、各ピクチャ毎にタイムコードが付加された符号化ストリームを伝送するデータ伝送システム及び方法、さらには、符号化ストリームに付加されたタイムコードを利用することによって素材データを編集する編集システム及び方法に関する。
近年、ビデオデータやオーディオデータを圧縮符号化するＭＰＥＧ（Moving Picture Experts Group）規格に関する技術が飛躍的に発達し、ＭＰＥＧ規格によって圧縮符号化された放送素材を受信装置側に伝送するデジタル伝送システムや、ＭＰＥＧ（Moving Picture Experts Group）規格によって圧縮符号化したビデオデータやオーディオデータを、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・ビデオ・ディスク）のような蓄積メディアを用いて記録したり、再生したりする記録再生システムが提案されている。
また、ビデオデータやオーディオデータやその他のプライベートデータ等を個別に符号化して得られる複数種類の符号化ストリーム（以下、ストリームともいう。）を、実際のアプリケーションに適用する場合には、各ストリームを統合して伝達する必要があり、このような場合に、デジタルデータ伝送システムが用いられている。具体的には、デジタルデータ伝送システムでは、複数種類のストリームを、ストリームの伝達媒体（蓄積メディアや伝送路）に適合するように時分割多重化（マルチプレックス）することによって、受信機側に伝送されるトランスポートストリームを生成する。一方、受信機側では、送信側から伝送されてきたトランスポートストリームを受信し、ビデオやオーディオ等の種類毎のストリームに分離（デマルチプレックス）し、個別に復号化するようになっている。
ところで、このような伝送システムにおいて扱われる素材データ（ビデオデータ及びオーディオデータ）には、一般に、タイムコードと呼ばれる時間情報が付随している。このタイムコードとは、ＳＭＰＴＥにおいて定義されている時間情報のことであって、“ Time And Control Data”のことである。具体的には、このタイムコードは、フレーム（FRAMES）、秒（SECONDS ）、分（MIMUTES ）、時（HOURS ）のデータから構成されている。
一方、デジタルデータ伝送システムでは、時間情報は、ＳＴＣ（System Time Clock ；基準となる時刻情報）、ＰＴＳ（Presentation Time Stamp ；再生出力の時刻管理情報）、ＤＴＳ（Decoding Time Stamp ；復号の時刻管理情報）、ＳＣＲ（System Clock Reference；時刻基準参照値）、ＰＣＲ（Program Clock Reference ；プログラム時刻基準参照値）という独自の時間概念に基づいて管理されている。つまり、ＭＰＥＧ規格に基づいて符号化された符号化ストリームは、上述したタイムコードとは全く異なる時間情報によって処理タイミングが管理されている。
つまり、ベースバンドビデオデータを取り扱い、処理するベースバンドシステムの分野では、ベースバンドビデオデータはタイムコードを使用して全ての処理タイミングが管理されている。一方、符号化ストリームを取り扱い、処理する符号化システムの分野では、符号化ストリームは前述したＳＴＣ、ＰＴＳ、ＤＴＳ及びＳＣＲ、ＰＣＲ等の独自の時間情報によって全ての処理タイミングが管理されている。
ところで、ＭＰＥＧ規格において符号化されたストリームは、シーケンスレイヤと、ＧＯＰ（Group Of Picture）レイヤと、ピクチャレイヤと、スライスレイヤと、マクロブロックレイヤと、ブロックレイヤとから構成されている。また、ＭＰＥＧ規格では、ＧＯＰレイヤのヘッダデータを記述するための group of picture header( ) という関数が定義されている。このgroup of picture header( )関数は、ＧＯＰレイヤのヘッダデータとして、３２ビットのgroup start code、２５ビットの time code、１ビットのclosed gop、及び１ビットのbroken link というデータを有している。このgroup start codeは、グループオブピクチャヘッダのスタートを示すためのデータであって、ＧＯＰの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。broken link は、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
ＭＰＥＧ規格において定義されているgroupof picture header( )関数によって、ＧＯＰレイヤのヘッダデータとして記述されるtime code は、伝送されるプログラムのシーケンスの先頭からのタイムコードを示すデータであって、オリジナル素材に付与されているオリジナルタイムコードが使用されているわけではない。例えば、オリジナル素材の先頭フレームに対して外部装置から供給されたオリジナルタイムコード「01:30:00:00 」が付与されていたとしても、そのオリジナル素材の先頭フレームが符号化されると、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるtime code は、「00:00:00:00 」となる。また、オリジナル素材の各フレームに付与されたオリジナルタイムコードが不連続なタイムコードであったとしても、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるtime code は、シーケンシャルなタイムコードとなる。つまり、オリジナル素材に付与されたオリジナルタイムコードと、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるタイムコードとは必ずしも一致しない。
また、ＭＰＥＧ規格のgroupof picture header( )関数によって記述されるtime code は、ＧＯＰレイヤのヘッダデータとして記述されるデータであるので、ＭＰＥＧ規格においては、タイムコードをＧＯＰ毎にしか記述することができない。つまり、ＭＰＥＧ規格においては、符号化ストリームのＧＯＰレイヤにタイムコードを記述することよってＧＯＰ毎にタイムコードを伝送することはできるが、各フレーム（各ピクチャ）毎にタイムコードを記述するようには定義されていないので、各ピクチャ毎にタイムコードを伝送することができない。
従って、ＭＰＥＧ規格の符号化ストリームには、タイムコード情報が各ピクチャ毎に付加されていないので、オリジナル素材をＭＰＥＧ規格に基づいて符号化して符号化ストリームとして受信装置側に伝送する場合において、オリジナル素材の各フレームに付与されていたオリジナルタイムコードを、受信装置側に伝送することができないという問題があった。
その結果、受信装置側において、オリジナル素材に対して付与されたオリジナルタイムコードを使用して編集したり、オリジナル素材とオリジナルタイムコードとが対応付けられて記録された記憶メディアと全く同じ記録メディアを作成するということが全く実現できなかった。
なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１〜４）。
特開平８−７９７０３号公報 特開平８−２０５０８２号公報 特開平９−８７６３号公報 特開平４−３３２９９１号公報
本発明はかかる問題点に鑑みてなされたもので、その目的は、オリジナル素材データに付随するタイムコードが各ピクチャ（各フレーム）に対応するように記述された符号化ストリームを生成する符号化ストリーム生成装置及び方法、ならびにタイムコードが各ピクチャ（各フレーム）に対応するように記述された符号化ストリームを伝送するデータ伝送システム及び方法を提供するものである。
また、本発明の他の目的は、オリジナル素材データに付随するタイムコードを、符号化ストリームと共に伝送することによって、受信側において、伝送されたタイムコードを使用した編集処理を可能にする編集システムおよび方法を提供するものである。
本発明の符号化ストリーム生成装置は、素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成装置において、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
本発明の符号化ストリーム生成方法は、素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成方法において、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成するものである。
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、素材データに付随するタイムコードが、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録されて、符号化ストリームが生成される。
本発明の他の符号化ストリーム生成装置は、符号化ストリームを生成する符号化ストリーム生成装置において、ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
本発明の他の符号化ストリーム生成方法は、符号化ストリームを生成する符号化ストリーム生成方法において、ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成するものである。
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成される。
本発明のさらに他の符号化ストリーム生成装置は、符号化ストリームを生成する符号化ストリーム生成装置において、ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
本発明のさらに他の符号化ストリーム生成方法は、符号化ストリームを生成する符号化ストリーム生成方法において、ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成するものである。
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームが生成される。
本発明のデータ伝送システムは、ソースビデオデータを伝送するデータ伝送システムにおいて、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体を備え、記録媒体からソースビデオデータとソースビデオデータに関連するタイムコードを出力するデータ供給手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームを伝送する伝送手段と、伝送手段を介して伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手段と、復号化手段によって復号化された復号化データと復号化手段によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ記録手段とを備えたものである。
本発明のデータ伝送方法は、ソースビデオデータを伝送するデータ伝送方法において、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、ソースビデオデータとソースビデオデータに関連するタイムコードを出力するデータ供給手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームを伝送する伝送手順と、伝送手順によって伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手順と、復号化手順によって復号化された復号化データと復号化手順によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給手順によって出力するデータが記録された記録媒体と同じデータが記録された記録媒体を得るデータ記録手順とを含むものである。
これらのデータ伝送システムまたはデータ伝送方法では、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、ソースビデオデータとソースビデオデータに関連するタイムコードが出力され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、この符号化ストリームが伝送される。また、伝送された符号化ストリームが復号化されると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードが抽出され、復号化された復号化データと抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給側において出力するデータが記録された記録媒体と同じデータが記録された記録媒体が得られる。
本発明の編集システムは、ソースビデオデータを編集する編集システムにおいて、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームを伝送する伝送手段と、伝送手段を介して伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手段と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、復号化手段によって復号化された復号化ソースビデオデータを編集する編集手段とを備えたものである。
本発明の編集方法は、ソースビデオデータを編集する編集方法において、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームを伝送する伝送手順と、伝送手順によって伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手順と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、復号化手順によって復号化された復号化ソースビデオデータを編集する編集手順とを含むものである。
これらの編集システムまたは編集方法では、ソースビデオデータに対して設定された編集点に基づいて編集リストが生成され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、この符号化ストリームが伝送される。また、伝送された符号化ストリームが復号化されると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードが抽出され、この得られたタイムコードと編集リストとに基づいて、復号化された復号化ソースビデオデータが編集される。
本発明の他の編集システムは、ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集システムにおいて、ソースビデオデータに対して設定された編集点に基づいて、編集リストが生成する手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するストリーム編集手段とを備えたものである。
本発明の他の編集方法は、ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集方法において、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するストリーム編集手順とを含むものである。
これらの編集システムまたは編集方法では、ソースビデオデータに対して設定された編集点に基づいて編集リストが生成され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成される。また、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームが編集される。
本発明のさらに他の編集システムは、符号化ストリームを編集する編集システムにおいて、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードとベースバンドシステムにおいて生成された編集リストとに基づいて、符号化ストリームをストリームレベルで編集する符号化システムとを備えたものである。
本発明のさらに他の編集方法は、符号化ストリームを編集する編集方法において、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストを生成する手順によって生成された編集リストとに基づいて、符号化ストリームをストリームレベルで編集する符号化手順とを含むものである。
これらの編集システムまたは編集方法では、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて編集リストが生成される。また、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、符号化ストリームのシンタックスを解析することによって得られたタイムコードと生成された編集リストとに基づいて、符号化ストリームがストリームレベルで編集される。
本発明の符号化ストリーム生成装置または本発明の符号化ストリーム生成方法によれば、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録するようにしたので、素材データに付随するタイムコードを、復号単位毎の符号化ストリームに対応させて確実に伝達することができるという効果を奏する。
また、本発明の他の符号化ストリーム生成装置または本発明の他の符号化ストリーム生成方法によれば、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードを記述した符号化ストリームを生成するようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成することができるという効果を奏する。
また、本発明のさらに他の符号化ストリーム生成装置または本発明のさらに他の符号化ストリーム生成方法によれば、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随するタイムコードを示すデータエレメントが記述された符号化ストリームを生成するようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成することができるという効果を奏する。
また、本発明のデータ伝送システムまたは本発明のデータ伝送方法によれば、送信側では、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、この符号化ストリームを伝送し、受信側では、伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出し、復号化された復号化データと抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給元の記録媒体と同じデータが記録された記録媒体を得るようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成して伝送でき、且つ、受信側において、オリジナル素材データと、このオリジナル素材データの各フレームに付随するタイムコードとが記録された記録媒体を得ることができるという効果を奏する。
また、本発明の編集システムまたは本発明の編集方法によれば、送信側では、ソースビデオデータに対して設定された編集点に基づいて編集リストを生成し、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、この符号化ストリームを伝送し、受信側では、伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出し、このタイムコードと編集リストとに基づいて、復号化ソースビデオデータを編集するようにしたので、ソースビデオデータの各フレームに付随しているタイムコードを使用して、送信側における編集処理と全く同じ編集処理を受信側において実現することができるという効果を奏する。
また、本発明の他の編集システムまたは本発明の他の編集方法によれば、ソースビデオデータに対して設定された編集点に基づいて編集リストを生成し、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するようにしたので、ソースビデオデータの各フレームに付随しているタイムコードを使用して、符号化ストリームの編集を実現することができるという効果を奏する。
また、本発明のさらに他の編集システムまたは本発明のさらに他の編集方法によれば、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて編集リストを生成し、ソースビデオデータを符号化することによって生成された複数のレイヤから成る階層構造の符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームをストリームレベルで編集するようにしたので、符号化ストリームをストリームレベルで編集することができ、画質の劣化を防止することができるという効果を奏する。
なお、本発明のその他の目的、特徴及び利益は、次の説明を以て十分明白になるであろう。
以下、本発明の一実施の形態に係る符号化ストリーム生成装置及び符号化ストリーム生成方法について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ伝送システムの構成を示すブロック図である。この図１に開示されたデジタルデータ伝送システムは、送信システム１と受信システム２とその間の伝走路３とから構成されている。実際にこのデジタルデータ伝送システムが運用される場合には、この送信システム１と受信システム２は様々な形態が考えられ、例えば、送信システム１が取材現場に配置された中継車である場合には、受信システム２はメインまたは地方等の放送局であることが考えられる。また、送信システム１がメイン放送局である場合には、受信システム２は地方放送局であることが考えられる。以下に、送信システム１及び受信システム２について詳細に説明する。
送信システム１は、大きく分けて、ベースバンドビデオデータ及びベースバンドオーディオデータを処理し、取扱うためのベースバンドシステム１Ａと、符号化された符号化ストリームを取扱う符号化システム１Ｂとから構成される。尚、ここで説明したベースバンドビデオデータ及びベースバンドオーディオデータとは、圧縮符号化されていないデータのことである。
送信システム１のベースバンドシステム１Ａは、取材現場においてビデオカメラ等によって撮影されたオリジナルソース素材が記録されたテープを受取り、そのテープからオリジナルソース素材を再生したり、テープに情報を記録したりするためのＶＴＲ１２と、ランダムアクセス可能な記録媒体を有し、このランダムアクセス可能な記録媒体からオリジナルソース素材を再生したり、記録媒体に情報を記録したりするためのＡ／Ｖサーバ１３と、ＶＴＲ１２におけるテープ及びＡ／Ｖサーバ１３における記録媒体に記録されたオリジナルソース素材を使用して編集リストＥＤＬ（エディットディシジョンリスト）を生成する編集機１４と、ＶＴＲ１２から再生されたビデオデータＤV 及びオーディオデータＤA 、Ａ／Ｖサーバ１３から再生されたビデオデータＤV 及びオーディオデータＤA をルーティングして、所定のブロックに出力するためルータ１５とを備えている。
送信システム１の符号化システム１Ｂは、オリジナルソース素材として供給されたビデオデータＤV をＭＰＥＧビデオ規格に従ってエンコード（符号化）して、ビデオエレメンタリストリーム（ビデオＥＳ）を出力するビデオエンコーダ１６と、オリジナルソース素材として供給されたオーディオデータＤA をＭＰＥＧオーディオ規格に従ってエンコードして、オーディオエレメンタリストリーム（オーディオＥＳ）を出力するオーディオエンコーダ１７と、オリジナルソース素材として供給されたオーディオデータＤA をＡＣ３規格に従ってエンコードして、プライベートエレメンタリストリーム（プライベートＥＳ）を出力するＡＣ３エンコーダ１８と、ビデオエンコーダ１６、オーディオエンコーダ１７及びＡＣ３エンコーダから出力されたエレメンタリストリームをそれぞれパケット化し、パケッタイズドエレメンタリストリーム（ＰＥＳ）をそれぞれ出力するパケッタイザ１９、２０、２１と、このパケッタイザ１９、２０、２１からそれぞれ出力されたパケッタイズドエレメンタリストリームを多重化することによって、トランスポートストリーム（ＴＳ）を生成するトランスポートストリームマルチプレクサ（ＴＳＭＵＸ）１７とから構成される。
図１に示したデジタルデータ伝送システムは、更に、これらのベースバンドシステム１Ａ及び符号化システム１Ｂの各ブロックを制御及び管理するためのＣＰＵ１１を備えている。このＣＰＵ１１は、ＶＴＲ１２又はＡ／Ｖサーバ１３から再生されたビデオデータ及びオーディオデータの各フレームに対応付けられているタイムコードＴＣを受取り、このタイムコードＴＣを所定のフォーマットに変換して、ビデオエンコーダ１６、オーディオエンコーダ１７及びＡＣ３エンコーダに供給する。
また、図１に示した受信システム３は、符号化ストリームを処理し、取り扱う復号化システム３Ａと、復号化されたベースバンドビデオデータやベースバンドオーディオデータを処理し、取り扱うベースバンドシステム３Ｂとを備えている。
受信システム３の復号化システム３Ａは、伝送メディア２を介して送信システム１から伝送されたトランスポートストリームを受取り、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）とオーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）とプライベートパケッタイズドエレメンタリストリーム（プライベートＰＥＳ）とにデマルチプレクサするトランスポートストリームデマルチプレクサ（ＴＳＤＥＭＵＸ）３２と、このトランスポートストリームデマルチプレクサ３２より出力されるビデオパケッタイズドエレメンタリストリーム、オーディオパケッタイズドエレメンタリストリーム及びプライベートパケッタイズドエレメンタリストリームをそれぞれデパケット化し、ビデオエレメンタリストリーム（ビデオＥＳ）、オーディオエレメンタリストリーム（オーディオＥＳ）及びプライベートエレメンタリストリーム（プライベートＥＳ）を出力するデパケッタイザ３６、３７及び３８と、このデパケッタイザ３６より出力されたビデオエレメンタリストリームをデコード（復号化）してベースバンドのビデオデータＤV を出力するビデオデコーダ３６と、デパケッタイザ３４から出力されるオーディオエレメンタリストリームをデコードしてベースバンドのオーディオデータＤA を出力するオーディオデコーダ３７と、デパケッタイザ３５から出力されるプライベートエレメンタリストリームをデコードしてベースバンドのオーディオデータＤA を出力するＡＣ３デコーダ３８とを備えている。
また、受信システム３のベースバンドシステム３Ｂは、ビデオデコーダ３６から出力されたビデオデータＤV と、オーディオデコーダ３７から出力されたオーディオデータＤA と、ＡＣ３デコーダ３８から出力されたオーディオデータＤA とを受取り、所定の処理装置にルーティングするためのルータ３９と、ルータ３９から出力されたビデオデータＤV 及びオーディオデータＤA を受取り、テープ状の記録媒体に記録するＶＴＲ４０と、ルータ３９から出力されたビデオデータＤV 及びオーディオデータＤA を受取り、ランダムアクセス可能な記録媒体に記録するＡ／Ｖサーバ４１と、ＶＴＲ４０及びＡ／Ｖサーバ４１に格納されたビデオデータＤV 及びオーディオデータＤA を編集するための編集機４２とを備えている。また、ビデオデコータ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８は、それぞれ、エレメンタリストリームのシンタックスを解析することによって、エレメンタリストリーム中に記述されているタイムコード情報を抽出する機能を有している。
さらに、受信システム３は、復号化システム３Ａ及びベースバンドシステム３Ｂ内の全てのブロックを制御及び管理するためのＣＰＵ４２を備えている。このＣＰＵ４２は、ビデオデコータ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から出力されたタイムコードデータＴＣを受取り、そのタイムコードＴＣを編集機４２に供給する。
次に、送信システム１と受信システム２の各回路について詳細に説明する。
ＶＴＲ１２及びＡ／Ｖサーバ１３には、オリジナルソース素材としてのベースバンドのビデオデータ及びオーディオデータが記録されている。さらに、そのＶＴＲ１２及びＡ／Ｖサーバ１３に記録されたビデオデータ及びオーディオデータは、各フレーム毎にオリジナルタイムコードと関連付けられている。つまり、ビデオデータ及びオーディオデータの各フレームには、それぞれタイムコードが付与されているということである。
タイムコードには、ＬＴＣ (Longitudinal Time Code / Linear Time Code ) とＶＩＴＣ (Vertical Interval Time Code)の２種類がある。ＬＴＣは、テープの長手方向に設けられたタイムコードトラックに記録されたタイムコードであって、ＶＩＴＣは、映像信号の垂直ブランキング期間に挿入されたタイムコードである。ＬＴＣにおいては、シャトル再生等のように再生ヘッドがテープに対して高速アクセスしている場合には、このＬＴＣからタイムコードを読み取ることができるが、スローやスチール再生等のように再生ヘッドがテープに対して超低速にアクセスしている場合には、このＬＴＣからタイムコードを読み取ることができなくなる。これに対して、ＶＩＴＣにおいては、再生ヘッドがテープに対して超低速にアクセスしている場合には、このＶＩＴＣからタイムコードを読み取ることができるが、再生ヘッドがテープに対して高速アクセスしている場合には、ＶＩＴＣからタイムコードを読み取ることができない。つまり、ＬＴＣ及びＶＩＴＣ共に一長一短があるため、通常は、全く同じタイムコードをＬＴＣ及びＶＩＴＣとしてテープ上に記録し、テープを再生する際にはＬＴＣ又はＶＩＴＣのいずれかによってタイムコードを読み取るようにしている。
本発明の実施例においては、ＶＴＲ１２及びＡ／Ｖサーバ１３では、共にＬＴＣとＶＩＴＣの２種類のタイムコードが所定のフォーマットで記録されており、ＶＴＲ１２及びＡ／Ｖサーバ１３からオリジナルビデオデータ及びオリジナルオーディオデータが再生される場合には、そのオリジナルビデオデータ及びオリジナルオーディオデータに対応したタイムコードＴＣが出力される。
編集機１４は、ＶＴＲ１２及びＡ／Ｖサーバ１３に記録されたオリジナルビデオデータ及びオリジナルオーディオデータにアクセスし、イン点やアウト点等の編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定する。このイン点は編集開始点を示すタイムコードからなり、アウト点は編集終了点を示すタイムコードからなる。編集オペレータが必要と思われる所望のシーンのみを選択するように、この編集機１４を操作して複数の編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定すると、その設定された編集点に従って編集リスト（ＥＤＬ）が生成される。この編集リストは、設定されたイン点のタイムコード及びアウト点のタイムコードに基づく単なるタイムコードのリストである。尚、Ａ／Ｖサーバ１３から出力されるビデオデータＤV 及びオーディオデータＤA は、この編集リストに従って編集されたビデオデータ及びオーディオデータでは無く、編集されていないオリジナルのビデオデータ及びオーディオデータである。本発明の実施例においては、この編集機１４によって生成された編集リストに従って、オリジナルビデオデータ及びオリジナルオーディオデータを編集し、編集されたビデオデータ及び編集されたオーディオデータを作成する編集処理は、受信システム３の編集機４２によって行われる。
ルータ１５は、ＶＴＲ１２及びＡ／Ｖサーバ１３から再生されたオリジナルビデオデータＤV 及びオリジナルオーディオデータＤA をルーティングして、所定のプロセッサに供給するための回路である。例えば、オリジナルビデオデータＤV は、ビデオエンコーダ１６に供給されるようにルーティングされ、オリジナルオーディオデータＤA は、オーディオエンコーダ１７又はＡＣ３エンコーダ１８に供給されるようにルーティングされる。
ビデオエンコーダ１６は、供給されたオリジナルビデオデータＤV をＭＰＥＧ規格に従って圧縮符号化することによって符号化ストリーム（又はビデオエレメンタリストリームとも言う）を生成する回路である。また、ビデオエンコーダ１６は、ＣＰＵ１１から、オリジナルビデオデータＤV に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリームにおけるピクチャレイヤのユーザデータエリアに記述する。符号化ストリームのどの場所にこのタイムコードＴＣを記述するかについては詳しくは後述する。
オーディオエンコーダ１７は、供給されたオリジナルオーディオデータＤA をＭＰＥＧ規格に従って圧縮符号化することによって符号化オーディオストリーム（オーディオエレメンタリストリームとも言う）を生成する回路である。また、オーディオエンコーダ１７は、ＣＰＵ１１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
ＡＣ３エンコーダ１８は、供給されたオリジナルオーディオデータＤA をＡＣ３規格に従って圧縮符号化することによって符号化プライベートストリーム（プライベートエレメンタリストリームとも言う）を生成する回路である。また、ＡＣ３エンコーダ１８は、ＣＰＵ１１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
パケッタイザ１９、２０及び２１は、ビデオエンコーダ１６から出力されたビデオエレメンタリストリーム、オーディオエンコーダ１７から出力されたオーディオエレメンタリストリーム、及びＡＣ３エンコーダ１７から出力されたプライベートエレメンタリストリームをそれぞれ受取り、ＤＶＢ（デジタルビデオブロードキャスティング）において規格化されているパケッタイズドエレメンタリストリームの形態になるようにそれぞれパケット化する。パケッタイザ１９は、パケット化したビデオエレメンタリストリームを、ビデオパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力し、パケッタイザ２０は、パケット化したオーディオエレメンタリストリームを、オーディオパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力し、パケッタイザ２１は、パケット化したプライベートエレメンタリストリームを、プライベートパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力する。
トランスポートストリームマルチプレクサ２２は、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとプライベートパケッタイズドエレメンタリストリームをそれぞれトランスポートストリームパケットの単位に分解し、そのトランスポートストリームパケット単位に分解されたパケットをそれぞれ多重化することによってトランスポートストリームを生成する。
トランスポートストリームデマルチプレクサ３２は、伝送メディア２を介して伝送されたトランスポートストリームを、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとプライベートパケッタイズドエレメンタリストリームとに分離（デマルチプレクス）し、ビデオパケッタイズドエレメンタリストリームをデパケッタイザ３３に出力し、オーディオパケッタイズドエレメンタリストリームをオーディオデコーダ３７に出力し、プライベートパケッタイズドエレメンタリストリームをＡＣ３デコーダに出力する。
デパケッタイザ３３は、ビデオパケッタイズドエレメンタリストリームをデパケット化して、ビデオエレメンタリストリームをビデオデコーダ３６に出力し、デパケッタイザ３４は、オーディオパケッタイズドエレメンタリストリームをデパケット化して、オーディオエレメンタリストリームをオーディオデコーダ３７に出力し、デパケッタイザ２６は、プライベートパケッタイズドエレメンタリストリームをデパケット化して、プライベートエレメンタリストリームをＡＣ３デコーダ３８に出力する。
ビデオデコーダ３６は、まず、供給されたビデオエレメンタリストリームを復号化する前に、ビデオエレメンタリストリームのシンタックスを解析する。符号化ストリームのシンタックスを解析することによって、ストリームのピクチャレイヤやマクロブロックレイヤをデータエレメントとしてストリーム中に記述されたピクチャタイプ、予測モード、動きベクトル、量子化ステップ、及びＤＣＴモード等の符号化パラメータを、符号化ストリーム中から抽出する。このように符号化ストリームのシンタックスを解析する理由は、エンコーダにおける符号化処理に対応した復号化処理を行なう必要があるからである。本発明の実施例においては、このように符号化ストリームのシンタックスを解析する際に、ピクチャレイヤのユーザデータエリアにピクチャ毎に記述されているタイムコードを抽出する。ビデオデコーダ３６は、ストリームから抽出された各種の符号化パラメータに従って、符号化ストリームを復号化し、復号化されたビデオデータＤV をルータ３９に供給する。さらに、ビデオデコーダ３６は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
オーディオデコーダ３７は、まず、供給されたオーディオエレメンタリストリームを復号化する前に、オーディオエレメンタリストリームのシンタックスを解析する。このように、符号化ストリームのシンタックスを解析することによって、ストリーム中に記述された符号化パラメータをストリーム中から抽出する。本発明の実施例においては、この符号化ストリームのシンタックスを解析する際に、符号化ストリーム中に記述されているタイムコード情報をフレーム毎に抽出する。オーディオデコーダ３６は、ストリームから抽出された符号化パラメータに従って、符号化オーディオストリームを復号化し、復号化されたオーディオデータＤA をルータ３９に供給する。さらに、オーディオデコーダ３７は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
ＡＣ３デコーダ３８は、まず、供給されたプライベートエレメンタリストリームを復号化する前に、プライベートエレメンタリストリームのシンタックスを解析する。このように、符号化ストリームのシンタックスを解析することによって、ストリーム中に記述された符号化パラメータをストリーム中から抽出する。本発明の実施例においては、この符号化ストリームのシンタックスを解析する際に、符号化ストリーム中に記述されているタイムコード情報を抽出する。プライベートデコーダ３６は、ストリームから抽出された符号化パラメータに従って、符号化プライベートストリームを復号化し、復号化されたオーディオデータＤA をルータ３９に供給する。さらに、ＡＣ３デコーダ３８は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
ビデオデコーダ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から出力されたベースバンドのビデオデータＤV 又はベースバンドのオーディオデータＤA は、ルータ３９を介してＶＴＲ４０又はＡ／Ｖサーバ４１に供給される。
ＣＰＵ３１は、ビデオデコーダ３６から出力されるビデオデータＤV の各フレームに対応したタイムコードＴＣを、ビデオデコーダ３６から受取り、オーディオデコーダ３７から出力されるオーディオデータＤA の各フレームに対応したタイムコードＴＣを、オーディオデコーダ３７から受取り、また、ＡＣ３デコーダ３８から出力されるオーディオデータＤA の各フレームに対応したタイムコードＴＣを、ＡＣ３デコーダ３８から受取る。さらに、ＣＰＵ３１は、ビデオデコーダ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から受取ったタイムコードＴＣに基づいて、ＶＴＲ４０又はＡ／Ｖサーバ４１に供給されるベースバンドのビデオデータＤV 及びベースバンドのオーディオデータＤA に対応したタイムコードＴＣを、ＶＴＲ４０及びＡ／Ｖサーバ４１に供給する。
ＶＴＲ４０又はＡ／Ｖサーバ４１は、ルータ３９から供給されたベースバンドのビデオデータＤV 及びベースバンドのオーディオデータＤA を記録媒体上に記録する際に、ＣＰＵ３１から供給されたタイムコードＴＣとビデオデータＤV 及びオーディオデータＤA の各フレームとを関連付けて記録する。例えば、ＶＴＲ４０において、ビデオデータＤV とオーディオデータＤA を、テープ上に記録する場合には、ＣＰＵ３１から供給されたタイムコードＴＣに含まれるＶＩＴＣを、ビデオデータＤV のブランキング区間に挿入して、それをテープ上の傾斜トラックに記録すると共に、ＣＰＵ３１から供給されたタイムコードＴＣに含まれるＬＴＣを、テープ上の長手トラックに記録する。
従って、ＶＴＲ４０及びＡ／Ｖサーバ４１の記録媒体には、送信システム１のＶＴＲ１２の記録媒体及びＡ／Ｖサ−バの記録媒体に記録されていたオリジナルビデオデータ、オリジナルオーディオ及びオリジナルタイムコードと、全く同じビデオデータ、オーディオ及びタイムコードが記録されることになる。
編集機４２は、送信システム１の編集機１４から電話回線等によって伝送された編集リストを受取り、その編集リストに従って、ＶＴＲ４０及びＡ／Ｖサーバ４２に記録されたビデオデータＤV 及びオーディオデータＤA を編集する。もちろん、送信システム１の編集機１４から供給される編集リストがなかったとしても、ＶＴＲ４０及びＡ／Ｖサーバ４１の記録媒体には、送信システム１のＶＴＲ１２の記録媒体及びＡ／Ｖサ−バの記録媒体に記録されていたオリジナルビデオデータ、オリジナルオーディオ及びオリジナルタイムコードと、全く同じビデオデータ、オーディオ及びタイムコードが記録されているので、そのタイムコードを使用して送信システム１の編集機１４における編集処理と同じ編集処理を行なうことができる。
以上のように、従来のＭＰＥＧを用いた伝送システムでは、伝送された符号化ストリームには各フレーム毎にタイムコードが重畳されていなかったので、符号化ストリームと共に受信側に各フレーム毎のタイムコードを伝送することはできなかったが、図１に示されたデジタルデータ伝送システムによれば、送信側においてオリジナル素材に付与されたオリジナルタイムコードを符号化ストリームにおいて各フレーム毎に重畳するようにしたので、受信側においてもオリジナル素材に付与されていたオリジナルタイムコードを再現できる。その結果、送信側においてオリジナル素材とそのオリジナル素材の各フレームに関連付けられたオリジナルタイムコードが記録された記録媒体と全く同じタイムコードが記録された記録媒体を受信側において作成することができる。
従って、受信側の記録媒体に記録されたオリジナルタイムコードを使用すれば、送信側の編集処理と全く同じ編集処理を受信側においても実現することができる。また、送信側の記録媒体と受信側の記録媒体とは全く同じ記録媒体であるので、送信側にいてオリジナル素材に対して生成された編集リストを使用すれば、受信側においては自動的に編集処理を実行することができる。
図２は、本発明の他の実施の形態に係るデジタルデータ処理システムの構成を示すブロック図である。図１において説明したデジタルデータ伝送システムと図２に開示されたデジタルデータ処理システムと異なる点は、図１のデジタル伝送システムでは、受信システム３側において、伝送された符号化ストリームをデコードした後、ベースバンドのビデオデータ及びベースバンドのオーディオデータを編集するようにしているのに対して、この図２に開示されたデジタルデータ処理システムでは、復号化されたベースバンドのビデオデータ及びオーディオデータを編集するのでは無く、符号化ストリームの状態で編集するようにしている点が異なる。
図２に示されたデジタルデータ処理システムは、ベースバンドビデオデータ及びベースバンドオーディオデータを処理し、取り扱うためのベースバンドシステム５０Ａと、符号化された符号化ストリームを取り扱う符号化システム５０Ｂとから構成される。
図２に示されたデジタルデータ処理システムにおけるベースバンドシステム５０Ａは、ランダムアクセス可能な記録媒体からベースバンドのオリジナル素材を再生するためのＡ／Ｖサーバ５２と、Ａ／Ｖサーバ５２の記録媒体に記録されたオリジナル素材を使用して編集リストＥＤＬを生成する編集機５３とを備えている。
また、図２に示されたデジタルデータ処理システムにおける符号化システム５０Ｂは、Ａ／Ｖサーバ５２から再生されたベースバンドのビデオデータＤV をＭＰＥＧ規格に基づいて符号化し、ビデオエレメンタリストリームを出力するビデオエンコーダ５４と、Ａ／Ｖサーバ５２から再生されたベースバンドのオーディオデータＤA をＭＰＥＧ規格に基づいて符号化し、オーディオエレメンタリストリームを出力するオーディオエンコーダ５５と、Ａ／Ｖサーバ５２から再生されたベースバンドのオーディオデータＤA をＡＣ３規格に基づいて符号化し、オーディオエレメンタリストリームを出力するＡＣ３エンコーダ５６と、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６から出力されたエレメンタリストリームのシンタックスをそれぞれ解析し、エレメンタリストリーム中に記述されたタイムコード情報を抽出するストリーム解析部５７と、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６から出力されたエレメンタリストリームを、それぞれランダムアクセス可能な記録媒体に記録するストリームサーバ５９とを有している。
さらに、図２に示されたデジタルデータ処理システムは、これらのベースバンドシステム５０Ａ及び符号化システム５０Ｂの各ブロックを制御及び管理するためのＣＰＵ５１を備えている。このＣＰＵ５１は、Ａ／Ｖサーバ５２から再生されたビデオデータ及びオーディオデータの各フレームに対応付けられているタイムコードＴＣを受取り、このタイムコードＴＣを所定のフォーマットに変換して、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６に供給する。
Ａ／Ｖサーバ５２には、Ａ／Ｖサーバ１３と同じように、オリジナルソース素材としてのベースバンドのビデオデータ及びオーディオデータが記録されており、さらに、ビデオデータ及びオーディオデータは、各フレーム毎にオリジナルタイムコードと関連付けられて記録媒体に記録されている。また、Ａ／Ｖサーバ５２には、共にＬＴＣとＶＩＴＣの２種類のタイムコードが所定のフォーマットで記録されており、Ａ／Ｖサーバ５２からオリジナルビデオデータ及びオリジナルオーディオデータが再生される場合には、そのオリジナルビデオデータ及びオリジナルオーディオデータの各フレームに対応したオリジナルタイムコードＴＣが出力される。
編集機５３は、Ａ／Ｖサーバ５２に記録されたオリジナルビデオデータ及びオリジナルオーディオデータにアクセスし、イン点やアウト点から構成される編集点を、オリジナルビデオデータ及びオリジナルオーディオデータに対して設定する。編集オペレータがこの編集機１４を操作することによって、オリジナルビデオデータ及びオリジナルオーディオデータに対して、編集オペレータが必要と思われる所望のシーンのみを選択するように、複数のイン点及びアウト点によって定義される編集区間を設定すると、その設定したイン点及びアウト点に従って編集リスト（ＥＤＬ）が生成される。尚、Ａ／Ｖサーバ５２から出力されるビデオデータＤV 及びオーディオデータＤA は、この編集リストに従って編集されたビデオデータ及びオーディオデータでは無く、編集されていないオリジナルのビデオデータ及びオーディオデータである。本発明の実施例においては、この編集機５２によって生成された編集リストに従ってオリジナルビデオデータ及びオリジナルオーディオデータを実際に編集し、編集されたビデオデータ及び編集されたオーディオを生成する編集処理は、編集機５８によって行われる。
ビデオエンコーダ５４は、供給されたオリジナルビデオデータＤV をＭＰＥＧ規格に従って圧縮符号化することによって符号化ストリーム（ビデオエレメンタリストリームとも言う）を生成する回路である。また、ビデオエンコーダ５４は、ＣＰＵ５１から、オリジナルビデオデータＤV に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリームのピクチャレイヤのデータエレメントとして記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
オーディオエンコーダ５５は、供給されたオリジナルオーディオデータＤA をＭＰＥＧ規格に従って圧縮符号化することによって符号化オーディオストリーム（オーディオエレメンタリストリームとも言う）を生成する回路である。また、オーディオエンコーダ５５は、ＣＰＵ５１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。
ＡＣ３エンコーダ５６は、供給されたオリジナルオーディオデータＤA をＡＣ３規格に従って圧縮符号化することによって符号化プライベートストリーム（プライベートエレメンタリストリームとも言う）を生成する回路である。また、ＡＣ３エンコーダ５６は、ＣＰＵ５１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に各フレーム毎に記述する。
ストリーム解析部５７は、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６からそれぞれ供給されたエレメンタリストリームのシンタックスを解析する。ストリーム解析部５７は、それぞれ供給されたエレメンタリストリームのシンタックスを解析することによって、ピクチャレイヤのユーザデータエリアに記述されているタイムコード情報をフレーム毎（ピクチャ毎）に抽出する。ストリーム解析部５７は、ストリームサーバ５９に供給されるエレメンタリストリームの各フレーム（ピクチャ）に対応するタイムコードＴＣを編集機５８に供給する。
編集機５８は、ストリームサーバ５９の記録再生タイミング及び記録媒体上におけるデータの記録アドレスを管理するための機能を有している。編集機５８は、ストリーム解析部５８によってエレメンタリストリームから抽出されたタイムコードＴＣを受取り、このタイムコードＴＣに対応した書込みアドレスを生成し、その書込みアドレスをストリームサーバ５９に供給する。すなわち、この編集機５８は、ストリームサーバ５９の記録媒体に記録された符号化ストリームと、そのフレームに付与されているタイムコードとを関連付けるためのテーブル状のメモリを有している。従って、このテーブルを参照することによって、所望のタイムコードに対応する符号化ストリームがストリームサーバ５９における記録媒体のどのアドレスに記憶されているのかを判断することができる。また、編集機５８は、ベースバンドシステム内の編集機５３から編集リストを受取り、上述したメモリ内の記録アドレスとこの編集リストに基づいて、ストリームサーバ５９の再生を制御する。具体的には、編集リストによって指定されたイン点とアウト点の区間のストリームをストリームサーバ５９から再生するようにストリームサーバの記録再生を制御する。従って、ストリームサーバ５９から出力された編集ストリームは、編集機５３において生成された編集リストに対応したストリームとなる。
以上のように、図２に示されたデジタルデータ処理システムによれば、ベースバンドシステム５０Ａにおいて生成した編集リストに従って、符号化ストリームをストリームの状態のまま編集することができる。例えば、図１に示されたデジタルデータ伝送システムのＡ／Ｖサーバ４１から出力された編集されたビデオデータ及び編集されたオーディオデータを含んだ編集プログラムはベースバンドデータであるので、この編集プログラムを他の伝送路に伝送する場合には、再びこの編集プログラムを符号化する必要がある。しかしながら、図２に示されたデジタルデータ処理システムによれば、ストリームサーバ５９から出力された編集ストリームは符号化ストリームの状態のままであるので、再度符号化処理すること無く、伝送媒体に伝送することができる。よって、図２に示されたデジタルデータ処理システムによれば、再符号化処理による画質劣化を防止することができるという効果を有している。
図３は、ビデオエンコーダ１６、５６の構成の一例を示すブロック図である。このビデオエンコーダ１６、５６は、ビデオエンコーダ内の全てのブロックを制御及び管理するためのエンコードコントローラ６０と、ベースバンドのビデオデータＤV を受取り、符号化する順番に従ってピクチャ（Ｉピクチャ（intra coded picture ），Ｐピクチャ（predictive coded picture），Ｂピクチャ（bidirectionally predictive coded picture））の順番を並べ替える画像並べ替え回路６１と、この画像並べ替え回路６１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換及び１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路６２と、この走査変換・マクロブロック化回路６２の出力データに基づいて、動きベクトルを検出して、動きベクトルデータを出力する動き検出回路６３と、走査変換・マクロブロック化回路６２の出力データと予測画像データとの差分をとる減算回路６４と、この減算回路６４の出力データに対して、ＤＣＴ（離散コサイン変換）ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路６５と、このＤＣＴ回路６５の出力データを量子化する量子化回路６６と、この量子化回路６６の出力データを可変長符号化する可変長符号化回路６７と、この可変長符号化回路６７の出力データを一旦保持し、ビデオエレメンタリストリーム（ＥＳ）として出力するバッファメモリ６８とを備えている。
ビデオエンコーダ１６、５４は、さらに、量子化回路６６の出力データを逆量子化する逆量子化回路６９と、この逆量子化回路６９の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路７０と、この逆ＤＣＴ回路７０の出力データと予測画像データとを加算して出力する加算回路７１と、この加算回路７１の出力データを保持し、動きベクトルに基づいて動き補償を行って予測画像データを減算回路６４及び加算回路７１に出力する動き補償回路７２と、可変長符号化回路６７からの発生ビット量データに基づいて、量子化回路６６における量子化特性を制御することによって目標符号量を制御するビットレートコントロール部４３とを備えている。
画像並べ替え回路６１は、ベースバンドのビデオデータＤV を受取り、エンコーダコントローラ６０の制御に従って、符号化する順番に従ってピクチャの順番の並べ替えを行なう。ピクチャの順番が並べ替えられたデータは、走査変換・マクロブロック化回路６２に供給される。走査変換・マクロブロック化回路６２は、供給されたデータの予測モードに基づいてフレーム／フィールド等の走査変換及びマクロブロック化が行われる。動き検出回路６３は、走査変換・マクロブロック化回路６２の出力データから動きベクトルを検出し、その検出した動きベクトルデータを出力する。
供給されたビデオデータをＩピクチャとして符号化する場合には、減算回路６４において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路６２の出力データをそのままＤＣＴ回路６５に入力してＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、可変長符号化回路６７に供給する。
供給されたビデオデータをＰピクチャとして符号化する場合には、動き補償回路７２によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路６３からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路６４及び加算回路７１に出力する。また、減算回路６４によって、走査変換・マクロブロック化回路６２の出力データと動き補償回路７２からの予測画像データとの差分をとり、ＤＣＴ回路６５によってＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、その量子化されたデータを可変長符号化回路６７に供給する。
供給されたビデオデータをＢピクチャとして符号化する場合には、動き補償回路７２によって、保持している過去及び未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路６３からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路６４及び加算回路７１に出力する。また、減算回路６４によって、走査変換・マクロブロック化回路６２の出力データと動き補償回路７２からの予測画像データとの差分をとり、ＤＣＴ回路６５によってＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、量子化されたデータを可変長符号化回路６７に供給する。
エンコードコントローラ６０は、ピクチャタイプ、予測モード、動きベクトル、量子化ステップ、及びＤＣＴモード等のＭＰＥＧ規格において定義されている各種の符号化パラメータを可変長符号化回路６７に供給すると共に、ＣＰＵ１１から供給されたタイムコードＴＣを可変長符号化回路６７に供給する。この符号化パラメータとは、シーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ、及びブロックレイヤとして記述すべきデータエレメントのことである。
可変長符号化回路６７は、量子化回路６６において量子化されたデータを可変長符号化すると共に、その可変長符号化された符号化データとエンコードコントローラ６０から供給された各種の符号化パラメータとに従って、シーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、マクロブロックレイヤに適切なデータ及びデータエレメントを記述することによって、符号化ストリームを生成する。この符号化ストリームを生成する際に、可変長符号化回路６７は、エンコードコントローラ６０から供給されるタイムコードＴＣを、ピクチャレイヤのユーザデータエリアに記述することによって、各ピクチャ毎にタイムコード情報が付加（重畳）された符号化ストリームを生成する。
以上のようにして、オリジナルビデオデータに付随するオリジナルタイムコードが各フレーム毎に付加された符号化ビデオエレメンタリストリームが生成される。
図４は、図１及び図２に示したオーディオエンコーダ１７、５５の構成の一例を示すブロック図である。このオーディオエンコーダ１７、５５は、ベースバンドのオーディオデータＤA を入力し、３２帯域のサブバンド信号に分割して出力するサブバンド分析フィルタバンク８１と、このサブバンド分析フィルタバンク８１の各出力信号を量子化する線形量子化器８２と、この線形量子化器８２の各出力信号に基づいて、符号化されたオーディオデータを生成すると共に、この符号化されたオーディオデータに、ＣＲＣ（巡回冗長チェック）のためのエラーチェックや、後述する符号化されたサイド情報や、ＣＰＵ１１からのタイムコードデータＴＣ等を付加して、所定のデータ構造のビットストリームを形成し、オーディオエレメンタリストリーム（ＥＳ）として出力するビットストリーム形成部８３とを備えている。
オーディオエンコーダ１７、５５は、更に、入力されるオーディオデータＤA を高速フーリエ変換（ＦＦＴ）するＦＦＴ部８４と、サブバンド分析フィルタバンク８１の各出力信号よりスケールファクタを抽出するスケールファクタ抽出部８５と、ＦＦＴ部８４の出力信号とスケールファクタ抽出部８５によって抽出されたスケールファクタとを用いて、心理聴覚分析のための心理聴覚モデルを形成する心理聴覚モデル形成部８６と、この心理聴覚モデル形成部８６によって形成された心理聴覚モデルに基づいて、動的にビット割り当てを行い、ビット割り当て情報を線形量子化器８２に与えて、線形量子化器８２における量子化特性を制御する動的ビット割当部８７と、スケールファクタ抽出部８５によって抽出されたスケールファクタ及び動的ビット割当部８７からのビット割り当て情報を、サイド情報として符号化し、符号化されたサイド情報をビットストリーム形成部８３に与えるサイド情報符号化部８８とを備えている。
サブバンド分析フィルタバンク８１は、供給されたベースバンドのオーディオデータＤA を受取り、このオーディオデータＤA を３２帯域のサブバンド信号に分割し、このサブバンド信号を、線形量子化器８２に出力する。また、ＦＦＴ部８４は、供給されたベースバンドのオーディオデータＤA を受取り、オーディオデータＤA を高速フーリエ変換し、そのフーリエ変換された信号を心理聴覚モデル形成部８６に供給する。
スケールファクタ抽出部８５は、サブバンド分析フィルタバンク８１の各出力信号からスケールファクタを抽出し、その抽出したスケースファクタ情報を心理聴覚モデル形成部８６に供給する。心理聴覚モデル形成部８６は、ＦＦＴ部８４からの出力信号とスケールファクタ抽出部８５によって抽出されたスケールファクタ情報とを用いて、心理聴覚分析のための心理聴覚モデルを形成する。
動的ビット割当部８７は、この心理聴覚モデル形成部８６によって生成された心理聴覚モデルに基づいて、動的にビット割り当てが行われ、線形量子化器８２における量子化特性を制御するための制御信号を生成する。線形量子化器８２は、動的ビット割当部８７からの量子化特性制御信号によって量子化特性が制御される。この線形量子化器８２の出力信号は、ビットストリーム形成部８３に供給される。
サイド情報符号化部８８は、スケールファクタ抽出部８５によって抽出されたスケールファクタ及び動的ビット割当部８７からのビット割り当て情報を、サイド情報として符号化し、ビットストリーム形成部８３に供給する。
ビットストリーム形成部８３は、線形量子化器８２の各出力信号を使用して、符号化されたオーディオデータが生成されると共に、この符号化されたオーディオデータに、エラーチェックや、サイド情報符号化部８８によって符号化されたサイド情報を付加する。さらに、このビットストリーム形成部８３は、この符号化されたオーディオデータに、ＣＰＵ１１からのタイムコードデータＴＣ等を付加し、所定のデータ構造のビットストリームを形成する。このようにして、タイムコードが付加されたオーディオエレメンタリストリームが生成される。
図５は、図１及び図２に示したＡＣ３エンコーダ１８、５９の構成の一例を示すブロック図である。このＡＣ３エンコーダ１８、５９は、ベースバンドのオーディオデータＤA を受取り、周波数領域に変換して、指数部と仮数部からなる周波数係数を出力する周波数領域変換部９１を備えている。周波数係数の指数部は、オーディオデータのスペクトラルエンベロープ（Spectralenvelope ）を示している。ＡＣ３エンコーダ１８、５９は、更に、周波数領域変換部９１より出力される周波数係数の指数部を符号化するスペクトラルエンベロープ符号化部９２と、周波数領域変換部９１より出力される周波数係数の仮数部を量子化する量子化部９３と、スペクトラルエンベロープ符号化部９２の出力データに基づいてビット割り当てを行い、ビット割り当て情報を量子化部９３に与えて、量子化部９３における量子化特性を制御するビット割当部９４と、スペクトラルエンベロープ符号化部９２の出力データ及び量子化部９３の出力データに、ＣＰＵ１１からのタイムコードデータＤTC等を付加して、これらによって、所定のデータ構造のビットストリームを形成し、プライベートエレメンタリストリーム（ＥＳ）として出力するビットストリーム形成部９５とを備えている。
周波数領域変換部９１は、供給されたベースバンドのオーディオデータＤA を、周波数領域に変換すると共に、その周波数領域に変換されたデータを指数部と仮数部からなる周波数係数に分解し、周波数係数の仮数部を量子化部９３に出力し、周波数係数の指数部をスペクトラルエンベロープ符号化部９２に出力する。
スペクトラルエンベロープ符号化部９２は、周波数領域変換部９１から供給された周波数係数の指数部を符号化し、その符号化されたデータを、ビット割当部９４とビットストリーム形成部９５とに出力する。
量子化部９３は、周波数領域変換部９１から供給された周波数係数の仮数部を量子化し、その量子化したデータを、ビットストリーム形成部９５に出力する。
ビット割当部９４は、スペクトラルエンベロープ符号化部９２の出力データに基づいてビット割り当てを行い、ビット割り当て情報を量子化部９３に与える。このビット割当部９４からのビット割り当て情報に基づいて量子化部９３における量子化特性が制御される。
ビットストリーム形成部９５は、ＣＰＵ１１からタイムコードデータＴＣを受取り、スペクトラルエンベロープ符号化部９２の出力データ及び量子化部９３の出力データに、そのタイムコードデータＴＣを付加する。
これらによって、所定のデータ構造のビットストリームが形成され、プライベートエレメンタリストリーム（ＥＳ）として出力される。このようにして、タイムコードが付加されたプライベートエレメンタリストリームが生成される。
次に、ＭＰＥＧ規格に基づいて符号化された符号化ストリームに対してタイムコードを付加したときの符号化ストリームの構造について説明する。
図６は、ＭＰＥＧのビデオストリームのシンタックスを表わした図である。ビデオエンコーダ１６、５４は、この図に示されたシンタックスに従った符号化ストリームを生成すると共に、ビデオデコーダ３６は、この図に示されたシンタックスに従って符号化ストリームを解析することによって、符号化ビットストリームから意味のある複数のデータ項目（データエレメント）を抽出する。図では、以下に説明するシンタックスのうち、関数や条件文は細活字で表わされ、データエレメントは、太活字で表されている。データ項目は、その名称、ビット長及びそのタイプ・伝送順序を示すニーモニック（Mnemonic）で記述されている。
まず、この図６に示されているシンタックスにおいて使用されている関数について説明する。実際には、この図６に示されているシンタックスは、ビデオデコーダ側において伝送された符号化ストリームから所定の意味のあるデータを抽出するために使用されるシンタックスである。ビデオエンコーダ側において使用されるシンタックスは、図６に示されたシンタックスからif文やwhile文等の条件文を省略したシンタックスである。
video sequesce()において最初に記述されているnext start code() 関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。この図６に示されたシンタックスに従って生成された符号化ストリームには、まず最初に、sequence header() 関数とsequence extension()関数によって定義されたデータエレメントが記述されている。このsequence header() 関数は、ＭＰＥＧビットストリームのシーケンスレイヤのヘッダデータを定義するための関数であって、sequence extension()関数は、ＭＰＥＧビットストリームのシーケンスレイヤの拡張データを定義するための関数である。
sequence extension()関数の次に配置されている do ｛｝while 構文は、while 文によって定義されている条件が真である間、do文の｛｝内の関数に基づいて記述されたデータエレメントが符号化データストリーム中に記述されていることを示す構文である。このwhile 文に使用されているnextbits()関数は、ビットストリーム中に記述されているビット又はビット列と、参照されるデータエレメントとを比較するための関数である。この図６に示されたシンタックスの例では、nextbits()関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示すsequence end code とを比較し、ビットストリーム中のビット列とsequence end code とが一致しないときに、このwhile 文の条件が真となる。従って、sequence extension()関数の次に配置されている do ｛｝while 構文は、ビットストリーム中に、ビデオシーケンスの終わりを示すsequence end code が現れない間、do文中の関数によって定義されたデータエレメントが符号化ビットストリーム中に記述されていることを示している。
符号化ビットストリームにおいて、sequence extension()関数によって定義された各データエレメントの次には、extension and user data(0)関数によって定義されたデータエレメントが記述されている。このextension and user data(0)関数は、ＭＰＥＧビットストリームのシーケンスレイヤにおける拡張データとユーザデータを定義するための関数である。
このextension and user data(0)関数の次に配置されている do ｛｝while 構文は、while 文によって定義されている条件が真である間、do文の｛｝内の関数に基づいて記述されたデータエレメントが、ビットストリームに記述されていることを示す関数である。このwhile 文において使用されているnextbits()関数は、ビットストリーム中に現れるビット又はビット列と、picture start code又はgroup start codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット又はビット列と、picture start code又はgroup start codeとが一致する場合には、while 文によって定義された条件が真となる。よって、このdo｛｝while 構文は、符号化ビットストリーム中において、picture start code又はgroup start codeが現れた場合には、そのスタートコードの次に、do文中の関数によって定義されたデータエレメントのコードが記述されていることを示している。
このdo文の最初に記述されているif文は、符号化ビットストリーム中にgroup start code が現れた場合、という条件を示している。このif文による条件は真である場合には、符号化ビットストリーム中には、このgroup start codeの次にgroup of picture header() 関数及びextension and user data(1)関数によって定義されているデータエレメントが順に記述されている。
このgroup of picture header() 関数は、ＭＰＥＧ符号化ビットストリームのＧＯＰレイヤのヘッダデータを定義するための関数であって、extension and user data(1)関数は、ＭＰＥＧ符号化ビットストリームのＧＯＰレイヤの拡張データ及びユーザデータを定義するための関数である。
さらに、この符号化ビットストリームにおいて、groupof picture header() 関数及びextension and user data(1)関数によって定義されているデータエレメントの次には、picture header()関数とpicture coding extension()関数によって定義されたデータエレメントが記述されている。もちろん、先に説明したif文の条件が真とならない場合には、 group of picture header()関数及びextension and user data(1)関数によって定義されているデータエレメントは記述されていないので、 extension and user data(0) 関数によって定義されているデータエレメントの次に、pictureheader()関数、picture coding extension()関数及びextension and user data(2)関数によって定義されたデータエレメントが記述されている。
このpicture header()関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤのヘッダデータを定義するための関数であって、picture coding extension()関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤの第１の拡張データを定義するための関数である。extension and user data(2)関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤの拡張データ及びユーザデータを定義するための関数である。このextension and user data(2)関数によって定義されるユーザデータは、ピクチャレイヤに記述されているデータであって、各ピクチャ毎に記述することのできるデータであるので、本発明においては、このextension and user data(2)関数によって定義されるユーザデータとして、タイムコード情報を記述するようにしている。
符号化ビットストリームにおいて、ピクチャレイヤのユーザデータの次には、picturedata()関数によって定義されるデータエレメントが記述されている。このpicture data()関数は、スライスレイヤ及びマクロブロックレイヤに関するデータエレメントを記述するための関数である。
このpicture data()関数の次に記述されているwhile 文は、このwhile 文によって定義されている条件が真である間、次のif文の条件判断を行うための関数である。このwhile 文において使用されているnextbits()関数は、符号化ビットストリーム中に、picture start code又はgroup start codeが記述されているか否かを判断するための関数であって、ビットストリーム中にpicture start code又はgroup start codeが記述されている場合には、このwhile 文によって定義された条件が真となる。
次のif文は、符号化ビットストリーム中にsequence end code が記述されているか否かを判断するための条件文であって、sequence end code が記述されていないのであれば、sequence header() 関数とsequence extension()関数とによって定義されたデータエレメントが記述されていることを示している。sequence end code は符号化ビデオストリームのシーケンスの終わりを示すコードであるので、符号化ストリームが終了しない限り、符号化ストリーム中にはsequence header() 関数とsequence extension()関数とによって定義されたデータエレメントが記述されている。
このsequence header() 関数とsequence extension()関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述されたsequence header() 関数とsequence extension()関数によって記述されたデータエレメントと全く同じである。このように同じデータをストリーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャレイヤに対応するビットストリーム部分）から受信が開始された場合に、シーケンスレイヤのデータを受信できなくなり、ストリームをデコードできなくなることを防止するためである。
この最後のsequence header() 関数とsequence extension()関数とによって定義されたデータエレメントの次、つまり、データストリームの最後には、シーケンスの終わりを示す３２ビットのsequence end code が記述されている。
以下、sequence header() 関数、sequence extension()関数、extension and user data(0) 関数、group of picture header() 関数及びextension and user data(1)関数について詳細に説明する。
sequence header() 関数によって定義されたデータエレメントは、sequence header code、sequence header present flag、horizontal size value 、vertical size value 、aspect ratio information、frame rate code 、bit rate value、marker bit、VBV buffer size value 、constrained parameter flag、load intra quantizer matrix 、intra quantizer matrix、load non intra quantizer matrix 、及びnon intra quantizer matrix等である。
sequence header codeは、シーケンスレイヤのスタート同期コードを表すデータである。sequence header present flagは、sequence header 内のデータが有効か無効かを示すデータである。 horizontal size valueは、画像の水平方向の画素数の下位12ビットから成るデータである。vertical size value は、画像の縦のライン数の下位12ビットからなるデータである。aspect ratio informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame rate code は、画像の表示周期を表すデータである。bit rate valueは、発生ビット量に対する制限のためのビット・レートの下位18ビット(400bsp 単位で切り上げる) データである。markerbitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。VBV buffer size value は、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained parameter flagは、各パラメータが制限以内であることを示すデータである。load intra quantizer matrix は、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。intraquantizer matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。load non intra quantizer matrix は、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。non intra quantizer matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
sequence extension()関数によって定義されたデータエレメントとは、extension start code、extension start code identifier 、sequence extension present flag 、profile and level indication、progressive sequence、chroma format 、horizontal size extension 、vertical size extension 、bit rate extension、vbv buffer size extension 、low delay 、frame rate extension n、及び frame rate extension d 等のデータエレメントである。
extension start codeは、エクステンションデータのスタート同期コードを表すデータである。extension start code identifier は、どの拡張データが送られるかを示すデータである。sequence extension present flag は、シーケンスエクステンション内のデータが有効であるか無効であるかを示すスデータである。profileand level indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive sequenceは、ビデオデータが順次走査であることを示すデータである。chroma format は、ビデオデータの色差フォーマットを指定するためのデータである。horizontal size extension は、シーケンスヘッダのhorizntal size valueに加える上位２ビットのデータである。vertical size extension は、シーケンスヘッダのvertical size value に加える上位２ビットのデータである。bit rate extensionは、シーケンスヘッダのbit rate valueに加える上位１２ビットのデータである。vbv buffer size extension は、シーケンスヘッダのvbv buffer size value に加える上位８ビットのデータである。low delay は、Ｂピクチャを含まないことを示すデータである。frame rate extension n は、シーケンスヘッダのframe rate code と組み合わせてフレームレートを得るためのデータである。frame rate extension dは、シーケンスヘッダのframe rate code と組み合わせてフレームレートを得るためのデータである。
extension and user data(i)関数は、「ｉ」が2 以外のときは、extension data()関数によって定義されるデータエレメントは記述せずに、user data() 関数によって定義されるデータエレメントのみを記述する。よって、extension and user data(0)関数は、user data() 関数によって定義されるデータエレメントのみを記述する。
group of picture header() 関数によって定義されたデータエレメントは、groupstart code、group of picture header present flag、time code 、closedgop、及びbroken link から構成される。
group start codeは、ＧＯＰレイヤの開始同期コードを示すデータである。group of picture header present flagは、group of picture header 内のデータエレメントが有効であるか無効であるかを示すデータである。time code は、ＧＯＰの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closedgopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。broken link は、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
extension and user data(1)関数は、extension and user data(0)関数と同じように、user data() 関数によって定義されるデータエレメントのみを記述するための関数である。
次に、符号化ストリームのピクチャレイヤに関するデータエレメントを記述するためのpictureheader()関数、picture coding extension()関数、extensions and user data(2) 及びpicture data()について説明する。
picture header()関数によって定義されたデータエレメントは、picture start code、temporal reference、picture coding type 、vbv delay 、full pel forward vector 、forwardf code、full pel backward vector、backward f code 、extra bit picture 、及びextra information picture である。
具体的には、picturestart codeは、ピクチャレイヤの開始同期コードを表すデータである。temporal referenceは、ピクチャの表示順を示す番号でＧＯＰの先頭でリセットされるデータである。picture coding type は、ピクチャタイプを示すデータである。vbv delay は、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full pel forward vector は、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forwardf codeは、順方向動きベクトル探索範囲を表すデータである。full pel backward vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward f code は、逆方向動きベクトル探索範囲を表すデータである。extra bit picture は、後続する追加情報の存在を示すフラグである。このextra bit picture が「１」の場合には、次にextra information picture が存在し、extrabit picture が「０」の場合には、これに続くデータが無いことを示している。extrainformation picture は、規格において予約された情報である。
このpicture coding extension()関数によって定義されたデータエレメントとは、extension start code、extension start code identifier 、f code[0][0]、f code[0][1]、f code[1][0]、f code[1][1]、intradc precision、picture structure 、top field first 、frame predictive frame dct、concealment motion vectors、q scale type、intra vlc format、alternatescan、repeat first field、chroma 420 type 、progressive frame 、composite display flag、v axis、field sequence、sub carrier 、burstamplitude 、及びsub carrier phase から構成される。
extension start codeは、ピクチャレイヤのエクステンションデータのスタートを示す開始コードである。extension start code identifier は、どの拡張データが送られるかを示すコードである。f code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。intra dc precisionは、ＤＣ係数の精度を表すデータである。picture structure は、フレームストラクチャかフィールドストラクチャかを示すデータである。フィールドストラクチャの場合は、上位フィールドか下位フィールドかも併せて示すデータである。top field first は、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。framepredictive frame dctは、フレーム・ストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。concealment motion vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。q scale typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra vlc formatは、イントラマクロブロックに、別の２次元ＶＬＣを使うかどうかを示すデータである。alternate scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat first fieldは、２：３プルダウンの際に使われるデータである。chroma 420 type は、信号フォーマットが４：２：０の場合には、次のprogressive frame と同じ値であり、そうでない場合は０を表すデータである。progressive frame は、このピクチャが、順次走査でできているかどうかを示すデータである。composite display flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。v axisは、ソース信号が、ＰＡＬの場合に使われるデータである。field sequenceは、ソース信号が、ＰＡＬの場合に使われるデータである。sub carrier は、ソース信号が、ＰＡＬの場合に使われるデータである。burst amplitude は、ソース信号が、ＰＡＬの場合に使われるデータである。sub carrier phase は、ソース信号が、ＰＡＬの場合に使われるデータである。
extension and user data(2)関数は、図７に示したように、符号化ビットストリーム中にエクステンションスタートコードextension start codeが存在する場合には、extension data()関数によって定義されるデータエレメントが記述されている。但し、ビットストリーム中にエクステンションスタートコードが存在しない場合には extension data() 関数によって定義されるデータエレメントはビットストリーム中には記述されていない。このextension data()関数によって定義されているデータエレメントの次には、ビットストリーム中にユーザデータスタートコードuser data start codeが存在する場合には、user data() 関数によって定義されるデータエレメントが記述されている。
user data() 関数は、図８に示されたように、user data start code、time code() 関数、user data 等のデータエレメントを記述するための関数である。
user data start codeは、ＭＰＥＧビットストリームのピクチャレイヤのユーザデータエリアの開始を示すためのスタートコードである。このuser data start codeの次に記述されているwhile 構文は、符号化ビットストリーム中に、２３個の‘０’とそれに続く‘１’から構成される２４ビットのデータが現れない限り真となる。この２３個の‘０’とそれに続く‘１’から構成される２４ビットのデータは、全てのスタートコードの先頭に付与されるデータであって、全てのスタートコードは、この２４ビットの後ろに設けられることによって、符号化ビットストリーム中において各スタートコードの位置を見つけることができる。
time code() 関数は、タイムコードを記述するための関数である。具体的には、図９に示されるように、time code() 関数によって記述されるデータエレメントは、ピクチャレイヤのユーザデータエリアにおいてタイムコードが記述されている位置を認識するためのスタートコードを示すtime code start codeと、そのスタートコードに続くデータの識別コードを示すdata IDと、そのデータ識別コードに対応するタイムコードデータ等である。
本発明の特徴であるtime code() 関数においては、図１１（Ａ）及び図１１（Ｂ）に示されるように、このデータ識別コードdata ID がＶＩＴＣを示す識別コードであれば、その次には７２ビットのＶＩＴＣが記述され、また、このデータ識別コードdata ID がＶＩＴＣを示す識別コードであれば、その次には７２ビットのＬＴＣが記述されるようになっている。尚、このtime code() 関数によって記述されるデータエレメントについては、詳しくは後述する。
picture data()関数によって定義されるデータエレメントは、slice() 関数によって定義されるデータエレメントである。但し、ビットストリーム中に、slice() 関数のスタートコードを示すslice start codeが存在しない場合には、このslice() 関数によって定義されるデータエレメントはビットストリーム中に記述されていない。
slice() 関数は、スライスレイヤに関するデータエレメントを記述するための関数であって、具体的には、slice start code、slice quantiser scale code、intra slice flag、intra slice 、reserved bits 、extra bit slice 、extra information slice、及びextra bit slice 等のデータエレメントと、macroblock()関数によって定義されるデータエレメントを記述するための関数である。
slice start codeは、slice() 関数によって定義されるデータエレメントのスタートを示すスタートコードである。slice quantiser scale codeは、このスライスレイヤに存在するマクロブロックに対して設定された量子化ステップサイズを示すデータである。しかし、各マクロブロック毎に、quantiser scale codeが設定されている場合には、各マクロブロックに対して設定されたmacroblock quantiser scale code のデータが優先して使用される。intraslice flagは、ビットストリーム中にintra slice 及びreserved bits が存在するか否かを示すフラグである。intraslice は、スライスレイヤ中にノンイントラマクロブロックが存在するか否かを示すデータである。スライスレイヤにおけるマクロブロックのいずれかがノンイントラマクロブロックである場合には、intraslice は「０」となり、スライスレイヤにおけるマクロブロックの全てがノンイントラマクロブロックである場合には、intra slice は「１」となる。reserved bits は、７ビットのデータであって「０」の値を取る。extrabit slice は、符号化ストリームとして追加の情報が存在することを示すフラグであって、次にextrainformation slice が存在する場合には「１」に設定される。追加の情報が存在しない場合には「０」に設定される。
macroblock()関数は、マクロブロックレイヤに関するデータエレメントを記述するための関数であって、具体的には、macroblock escape 、macroblock address increment、及びmacroblock quantiser scale code 等のデータエレメントと、macroblock modes()関数、及び macroblock vectors(s)関数によって定義されたデータエレメントを記述するための関数である。
macroblock escape は、参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上の場合には、macroblock address incrementの値に３３をプラスする。macroblock address incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデータである。もし、このmacroblock address incrementの前にmacroblock escape が１つ存在するのであれば、このmacroblock address incrementの値に３３をプラスした値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。macroblock quantiser scale code は、各マクロブロック毎に設定された量子化ステップサイズである。各スライスレイヤには、スライスレイヤの量子化ステップサイズを示すslicequantiser scale codeが設定されているが、参照マクロブロックに対してmacroblock quantiser scale code が設定されている場合には、この量子化ステップサイズを選択する。
次に、図６から図９によって説明したシンタックスによって生成されるストリームの構造を、図１０を参照してよりわかりやすく説明する。
図１０は、ＭＰＥＧ符号化ストリームのデータ構造を示す説明図である。この図に示したように、ビデオエレメンタリストリームのデータ構造は、少なくともシーケンスレイヤ、ＧＯＰレイヤ及びピクチャレイヤを含んでいる。
シーケンスレイヤは、next start code() 関数１０１、sequence header() 関数１０２、extention start code１０３、sequence extention()関数１０４、extention and user data(0)関数１０５によって定義されるデータエレメントから構成されている。ＧＯＰレイヤは、group start code１０６、group of pictures header()関数１０７、extention and user data(1)関数１０８によって定義されるデータエレメントから構成されている。ピクチャレイヤは、picture header()関数１０９、picture coding extention()関数１１０、extention and user data(2)関数１１１、picture data()関数１１２によって定義されるデータエレメントを含んでいる。ビデオシーケンスの最後には、sequence end code １１３が記述されている。
extention and user data(2)関数１１１は、既に図７において説明したシンタックスからも理解できるように、user data start code１１４、user data() 関数１１５、next start code １１６によって定義されるデータエレメントを含んでいる。
user data() 関数１１５は、既に図８において説明したシンタックスからも理解できるように、time code() 関数１１７とuser data １１８によって定義されるデータエレメントを含んでいる。
次に、図１１（Ａ）、図１１（Ｂ）を参照して、time code() 関数によって記述されるデータエレメントについて詳細に説明する。
図１１（Ａ）は、time code() 関数によって、ピクチャレイヤのユーザエリアにＶＩＴＣ、ＬＴＣ及びアンシラリデータが記述されている例を示している図である。図１１（Ｂ）は、この７２ビットのＶＩＴＣ又はＬＴＣの詳細なデータ構造を示している図である。
図１１（Ａ）に示されるように、３２ビットのtime code start codeの次には、このユーザデータエリアに記録されるデータの識別コードdata ID が記述されている。この識別コードdata ID は、図１２のように予め設定されており、例えば、data ID が‘03’を示すデータであれば、その次の７２ビットにはＶＩＴＣが記述され、data ID が‘04’を示すデータであれば、その次の７２ビットにはＬＴＣが記述されるようになっている。
図１１（Ｂ）において、第１ビット目の‘ＣＦ’は、カラーフレームを表わし、次の第２ビット目の‘ＤＦ’はドロップフレームを表わしている。次の３ビット目から８ビット目までの６ビットは、タイムコードの‘フレーム’の部分を表わし、９ビット目は、フェイズコレクションを表わし、１０ビット目から１６ビット目までの７ビットは、タイムコードの‘秒’の部分を表わしている。１７ビット目、３４ビット目、５１ビット目及び６８ビット目の‘１’は、前述したように０が２３個連続しないようにするためのマーカービットであって、このように所定間隔でマーカービットを挿入することによって、スタートコードエミュレーションを防止することができる。
１８ビット目、２６ビット目及び２７ビット目の‘ＢＧ’は、バイナリグループを表わし、１９ビット目から２５ビット目の７ビットは、タイムコードの‘分’の部分を表わし、２８ビット目から３３ビット目の６ビットは、タイムコードの‘時’の部分を表わしている。
３５ビット目から５０ビット目の１６ビット及び、５２ビット目から６７ビット目までの１６日とは、ユーザの任意のユーザデータを記述することはできるようにリザーブされている。尚、最後の４ビットは、バイト整列（Byte Array）するためのスタッフビットである。
次に、ＭＰＥＧ規格に基づいて符号化された符号化ストリームに対してタイムコードを付加する方法について説明する。
ビデオエレメンタリストリームでは、符号化の都合上、ピクチャが並べ替えられている。そのため、ビデオエレメンタリストリームに対するタイムコードの付加の方法には、次の２通りが考えられる。なお、以下の説明では、ＩピクチャまたはＰピクチャの現れる周期（Ｍ）を３とする。
図１３は、ビデオエレメンタリストリームに対するタイムコードの付加の第１の方法を説明するための説明図である。図１３において、（ａ）は、ビデオエンコーダ１６の入力ビデオデータにおけるピクチャタイプを表している。符号ＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表し、付随する数字は各ピクチャタイプ毎のピクチャの順番を表している。また、（ｂ）は、各ピクチャに付随するタイムコードを簡略化して表したものである。第１の方法は、ビデオエレメンタリストリームに対するタイムコードの付加の際には、ピクチャの並べ替えを考慮せずにタイムコードを付加し、再生時にタイムコードを付け替える方法である。より具体的に説明すると、図１におけるＣＰＵ１１は、タイムコードを取得したら、ユーザデータ１１５へのタイムコードの記録までのディレイを考慮して、そのままタイムコードを記録する。この第１の方法によってタイムコードを付加した場合におけるビデオデコーダ３６の入力時のピクチャタイプとタイムコードとを図１３（ｃ），（ｄ）に示す。第１の方法によってタイムコードを付加した場合には、ビデオデコーダ３６では、ＩピクチャまたはＰピクチャが来たら、それに付随して入力されたタイムコードを、次の最初のＢピクチャに付け、そのＢピクチャに付随して入力されたタイムコードを、更に次の２番目のＢピクチャに付ける。そして、２番目のＢピクチャに付随して入力されたタイムコードを、ＩピクチャまたはＰピクチャに付ける。この場合のビデオデコーダ２３の出力ビデオデータにおけるピクチャタイプとタイムコードとを図１３（ｅ），（ｆ）に示す。
図１４は、ビデオエレメンタリストリームに対するタイムコードの付加の第２の方法を説明するための説明図である。図１４において、（ａ）は、ビデオエンコーダ１６の入力ビデオデータにおけるピクチャタイプを表し、（ｂ）は、各ピクチャに付随するタイムコードを簡略化して表したものである。第２の方法は、ビデオエレメンタリストリームに対するタイムコードの付加の際に、ピクチャの並べ替えを考慮してタイムコードを付加し、再生時にはタイムコードの付け替えを行わない方法である。より具体的に説明すると、図１におけるＣＰＵ１１は、タイムコードを取得したら、ユーザデータ１１５へのタイムコードの記録までのディレイを考慮して、ピクチャの並べ替え前後においてピクチャとタイムコードとの対応関係が一致するように、ピクチャの並べ替えに合わせてタイムコードを並べ替えて記録する。この第２の方法によってタイムコードを付加した場合におけるビデオデコーダ２３の入力時のピクチャタイプとタイムコードとを図１４（ｃ），（ｄ）に示す。第２の方法によってタイムコードを付加した場合には、ビデオデコーダ３６では、ピクチャの並べ替えと同様にタイムコードを並べ替えて、各ピクチャにタイムコードを対応させる。この場合のビデオデコーダ３６の出力ビデオデータにおけるピクチャタイプとタイムコードとを図１４（ｅ），（ｆ）に示す。
次に、タイムコードをオーディオエレメンタリストリームに付加する方法について説明する。
図１５は、ＭＰＥＧオーディオ規格によるオーディオエレメンタリストリームのデータ構造を示す説明図である。この図に示したように、オーディオエレメンタリストリームは、先頭から順に、ヘッダ（header）１２１、エラーチェック（error check ）１２２、オーディオデータ（audio data）１２３、アンシラリデータ（ancillary data）１２４によって定義されるデータエレメントから構成される。
アンシラリデータ１２４の領域は、図１５に示したオーディオストリームのデータ構造において復号再生の単位としての１フレーム（オーディオフレーム）毎に存在可能で且つ任意のデータを記録可能な領域である。
オーディオ符号化ストリームでは、ビデオストリームと異なり、ビットレートによって１フレームの大きさが決まっている。１フレームのデータ量は、例えば３８４×ビットレート÷サンプリング周波数である。アンシラリデータ１２４の領域のデータ量は、１フレームのデータ量から、ヘッダ１２１、エラーチェック１２２およびオーディオデータ１２３の各領域で実際に使用されるデータ量を引いたデータ量となる。
本実施の形態では、図１５に示したオーディオエレメンタリストリームのアンシラリデータ１２４の領域に、タイムコードを記録する。アンシラリデータ１２４におけるタイムコードの記述方法は、図１１（Ａ）及び図１１（Ｂ）において説明したユーザデータエリアにおけるタイムコードの記述の仕方と同じである。オーディオ符号化ストリームのアンシラリデータ１２４の領域には、ＶＩＴＣやＬＴＣ等のタイムコードの他に、必ず１６ビットのaudiophase （オーディオ位相情報）が記述される。アンシラリデータ１２４において、time code start codeの後に、data ID がオーディオ位相情報を示す識別コードであれば、その次の２バイトにはAudio phase が記述されている。このオーディオ位相情報は、オーディオフレームがビデオストリームにおけるフレーム（以下、ビデオフレームという。）とは同期していないため、オーディオフレームとビデオフレームとの位相差を示すためのデータである。
図１６（Ａ）及び図１６（Ｂ）は、ビデオフレームとオーディオフレームとの位相差を説明するための説明図である。この図において、図１６（Ａ）は、ビデオフレームを表し（１ブロックが１ビデオフレームを表している。）、図中の数字は、各ビデオフレームに対応するタイムコードを表している。また、図１６（Ｂ）は、オーディオフレームを表し（１ブロックが１オーディオフレームを表している。）、図中の数字は、各オーディオフレームに対応して記録されるタイムコードを表している。図１６（Ａ）、図１６（Ｂ）から分かるように、オーディオフレームは、ビデオフレームとは同期していない。そこで、本実施の形態では、各オーディオフレームに記録されるタイムコードと実際のオーディオフレームの開始点との時間のずれを位相差（図１６（Ｂ）では符号Ａ〜Ｆで表している。）とし、各オーディオフレーム毎の位相差をオーディオ位相情報としてタイムコードと共に符号化ストリーム中に記述するようにしている。なお、このオーディオ位相情報は、オーディオデータのサンプル数で表される。
次に、タイムコードをプライベートエレメンタリストリームであるＡＣ３ストリームに付加する方法について説明する。図１７は、ＡＣ３規格によるＡＣ３ストリームのデータ構造を示す説明図である。この図に示したように、ＡＣ３ストリームのデータ構造は、先頭から順に、シンク情報（syncinfo）１３１、ビットストリーム情報（ＢＳＩ）１３２、オーディオブロック（audblk）１３３、補助データ（auxdata ）１３４、エラーチェック（errorcheck）１３５の各領域を有している。
補助データ１３４の領域は、図１７に示したＡＣ３ストリームのデータ構造において復号再生の単位としての１フレーム（シンクフレーム（syncframe））毎に存在可能で且つ任意のデータを記録可能な領域である。補助データ１３４の領域のデータ量は、１フレームのデータ量から、補助データ１３４の領域を除く領域で実際に使用されるデータ量を引いたデータ量となる。
本実施の形態では、図１７に示したＡＣ３ストリームのデータ構造における補助データ１３４の領域に、タイムコード（ユーザビットを含む）を記録する。補助データ１３４におけるタイムコードの記述方法は、オーディオ符号化ストリームのアンシラリデータ１２４におけるタイムコードの記述方法と全く同じである。
以上説明したように、本実施の形態では、ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域にタイムコードを記録するようにしている。具体的には、ビデオエレメンタリストリームに対しては、ユーザデータ１１５の領域にタイムコードを記録し、オーディオストリームに対しては、アンシラリデータ１２４の領域にタイムコードを記録し、ＡＣ３ストリームに対しては補助データ１３４の領域にタイムコードを記録するようにしている。これにより、本実施の形態によれば、素材データに付随するタイムコードを、復号再生の単位毎のストリームに対応させて確実に伝達することができる。
また、本実施の形態によれば、ビデオストリーム、オーディオストリームおよびＡＣ３ストリームにそれぞれタイムコードを付加するようにしたので、受信システム３側で、各ストリームを分離した後でも、いずれのストリームでもタイムコードの情報が欠落することがない。このことは、各ストリームを例えばハードディスク等に蓄積して、各ストリームを再利用する（例えば、加工して使用する）ような場合でも、時間情報が失われないので、非常に有益である。
さらに、本実施の形態によれば、ユーザビットを含むタイムコードを、ビデオストリーム、オーディオストリームおよびＡＣ３ストリームに、それぞれ記録することができるので、ユーザビットとして記録された任意の情報も、各ストリームに対応させて確実に伝達することができる。
なお、本発明は、上記実施の形態に限定されず、例えば、タイムコードの情報を、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびプライベートエレメンタリストリーム（ＡＣ３ストリーム）に付加する際のフォーマットは、実施の形態に示したフォーマットに限らず、適宜に設定可能である。
以上の説明に基づき、本発明の種々の態様や変形例を実施可能であることは明らかである。従って、上記のクレームの均等の範囲において、上記の詳細な説明における態様以外の態様で本発明を実施することが可能である。
本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ伝送システムの構成の一例を示すブロック図である。 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ処理システムの構成の一例を示すブロック図である。 図１及び図２におけるビデオエンコーダの構成の一例を示すブロック図である。 図１及び図２におけるオーディオエンコーダの構成の一例を示すブロック図である。 図１及び図２におけるＡＣ３エンコーダの構成の一例を示すブロック図である。 ＭＰＥＧ規格に基づく符号化ストリームのシンタックスを示す図である。 ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。 ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。 ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。 ＭＰＥＧ規格による符号化ビデオストリームのデータ構造をよりわかりやすく説明するための図である。 ピクチャレイヤのユーザデータエリアに記述されるタイムコード情報のデータ構造を示す図である。 ピクチャレイヤのユーザデータエリアに記述される情報のデータ識別コードを示す図である。 符号化ストリームにタイムコードを付加する第１の方法を説明するための説明図である。 符号化ストリームにタイムコードを付加する第２の方法を説明するための説明図である。 ＭＰＥＧ規格によるオーディオエレメンタリストリームのデータ構造を示す説明図である。 ビデオフレームとオーディオフレームとの位相差を説明するための説明図である。 ＡＣ３規格によるＡＣ３ストリームのデータ構造を示す説明図である。
符号の説明
１…送信システム、１Ａ…ベースバンドシステム、１Ｂ…符号化システム、１１…ＣＰＵ、２…伝送路、３…受信システム、３Ａ…復号化システム、３Ｂ…ベースバンドシステム、３１…ＣＰＵ、５０Ａ…ベースバンドシステム、５０Ｂ…符号化システム、５１…ＣＰＵ。

Claims (92)

  1. 素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成装置において、
    上記素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する符号化ストリーム生成手段を備えた
    ことを特徴とする符号化ストリーム生成装置。
  2. 上記符号化ストリーム生成手段は、上記タイムコードを、ビデオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１ピクチャ毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録する
    ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
  3. 上記符号化ストリーム生成手段は、上記タイムコードを、オーディオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１フレーム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録する
    ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
  4. 上記符号化ストリーム生成手段は、上記タイムコードと任意の情報とを所定のフォーマットにして上記領域に記録する
    ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
  5. 素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成方法において、
    素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する
    ことを特徴とする符号化ストリーム生成方法。
  6. 上記タイムコードを、ビデオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１ピクチャ毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録する
    ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
  7. 上記タイムコードを、オーディオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１フレーム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録する
    ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
  8. 上記タイムコードと任意の情報とを所定のフォーマットにして上記領域に記録する
    ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
  9. 符号化ストリームを生成する符号化ストリーム生成装置において、
    ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えた
    ことを特徴とする符号化ストリーム生成装置。
  10. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
  11. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項１０に記載の符号化ストリーム生成装置。
  12. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
  13. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
  14. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項１３に記載の符号化ストリーム生成装置。
  15. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical lnterval Time Code)とを含む
    ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
  16. 符号化ストリームを生成する符号化ストリーム生成方法において、
    ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する
    ことを特徴とする符号化ストリーム生成方法。
  17. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
  18. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項１７に記載の符号化ストリーム生成方法。
  19. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
  20. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
  21. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項２０に記載の符号化ストリーム生成方法。
  22. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
  23. 符号化ストリームを生成する符号化ストリーム生成装置において、
    ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、上記符号化ストリームのピクチャレイヤのユーザデータエリアに、上記ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えた
    ことを特徴とする符号化ストリーム生成装置。
  24. 上記符号化ストリームは、複数のレイヤから成る階層構造をなし、上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
  25. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項２４に記載の符号化ストリーム生成装置。
  26. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
  27. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
  28. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項２７に記載の符号化ストリーム生成装置。
  29. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear TimeCode）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
  30. 符号化ストリームを生成する符号化ストリーム生成方法において、
    ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、上記符号化ストリームのピクチャレイヤのユーザデータエリアに、上記ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する
    ことを特徴とする符号化ストリーム生成方法。
  31. 上記符号化ストリームは、複数のレイヤから成る階層構造をなし、上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
  32. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項３１に記載の符号化ストリーム生成方法。
  33. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
  34. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
  35. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項３４に記載の符号化ストリーム生成方法。
  36. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear TimeCode）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
  37. ソースビデオデータを伝送するデータ伝送システムにおいて、
    上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体を備え、上記記録媒体から上記ソースビデオデータと上記ソースビデオデータに関連する上記タイムコードを出力するデータ供給手段と、
    ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
    上記符号化ストリームを伝送する伝送手段と、
    上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手段と、
    上記復号化手段によって復号化された復号化データと上記復号化手段によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、上記データ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ記録手段と
    を備えたことを特徴とするデータ伝送システム。
  38. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項３７に記載のデータ伝送システム。
  39. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項３８に記載のデータ伝送システム。
  40. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項３７に記載のデータ伝送システム。
  41. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項３７に記載のデータ伝送システム。
  42. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項４１に記載のデータ伝送システム。
  43. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項３７に記載のデータ伝送システム。
  44. ソースビデオデータを伝送するデータ伝送方法において、
    上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、上記ソースビデオデータと上記ソースビデオデータに関連する上記タイムコードを出力するデータ供給手順と、
    ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
    上記符号化ストリームを伝送する伝送手順と、
    上記伝送手順によって伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手順と、
    上記復号化手順によって復号化された復号化データと上記復号化手順によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、上記データ供給手順によって出力するデータが記録された記録媒体と同じデータが記録された記録媒体を得るデータ記録手順と
    を含むことを特徴とするデータ伝送方法。
  45. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項４４に記載のデータ伝送方法。
  46. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項４５に記載のデータ伝送方法。
  47. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項４４に記載のデータ伝送方法。
  48. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項４４に記載のデータ伝送方法。
  49. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項４８に記載のデータ伝送方法。
  50. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項４４に記載のデータ伝送方法。
  51. ソースビデオデータを編集する編集システムにおいて、
    上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、
    ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
    上記符号化ストリームを伝送する伝送手段と、
    上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手段と、
    上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記復号化手段によって復号化された復号化ソースビデオデータを編集する編集手段と
    を備えたことを特徴とする編集システム。
  52. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項５１に記載の編集システム。
  53. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項５２に記載の編集システム。
  54. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項５１に記載の編集システム。
  55. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項５１に記載の編集システム。
  56. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項５５に記載の編集システム。
  57. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項５１に記載の編集システム。
  58. ソースビデオデータを編集する編集方法において、
    上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、
    ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
    上記符号化ストリームを伝送する伝送手順と、
    上記伝送手順によって伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手順と、
    上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記復号化手順によって復号化された復号化ソースビデオデータを編集する編集手順と
    を含むことを特徴とする編集方法。
  59. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項５８に記載の編集方法。
  60. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項５９に記載の編集方法。
  61. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項５８に記載の編集方法。
  62. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項５８に記載の編集方法。
  63. 上記符号化オーディオストリームの補助データエリアには、
    上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項６２に記載の編集方法。
  64. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項５８に記載の編集方法。
  65. ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集システムにおいて、
    上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、
    上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
    上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記符号化ストリームを編集するストリーム編集手段と
    を備えたことを特徴とする編集システム。
  66. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項６５に記載の編集システム。
  67. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項６６に記載の編集システム。
  68. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項６５に記載の編集システム。
  69. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項６５に記載の編集システム。
  70. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項６９に記載の編集システム。
  71. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項６５に記載の編集システム。
  72. ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集方法において、
    上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、
    上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
    上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記符号化ストリームを編集するストリーム編集手順と
    を含むことを特徴とする編集方法。
  73. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成されることを特徴とする請求項７２に記載の編集方法。
  74. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項７３に記載の編集方法。
  75. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項７２に記載の編集方法。
  76. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項７２に記載の編集方法。
  77. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項７６に記載の編集方法。
  78. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項７２に記載の編集方法。
  79. 符号化ストリームを編集する編集システムにおいて、
    ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、
    上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記ベースバンドシステムにおいて生成された編集リストとに基づいて、上記符号化ストリームをストリームレベルで編集する符号化システムと
    を備えたことを特徴とする編集システム。
  80. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項７９に記載の編集システム。
  81. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項８０に記載の編集システム。
  82. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項７９に記載の編集システム。
  83. 上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
    ことを特徴とする請求項７９に記載の編集システム。
  84. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項８３に記載の編集システム。
  85. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項７９に記載の編集システム。
  86. 符号化ストリームを編集する編集方法において、
    ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、
    上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストを生成する手順によって生成された編集リストとに基づいて、上記符号化ストリームをストリームレベルで編集する符号化手順と
    を含むことを特徴とする編集方法。
  87. 上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
    ことを特徴とする請求項８６に記載の編集方法。
  88. 上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
    上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
    上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
    上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
    ことを特徴とする請求項８７に記載の編集方法。
  89. 上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
    ことを特徴とする請求項８６に記載の編集方法。
  90. さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
    ことを特徴とする請求項８６に記載の編集方法。
  91. 上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
    ことを特徴とする請求項９０に記載の編集方法。
  92. 上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
    ことを特徴とする請求項８６に記載の編集方法。
JP2008084013A 1997-09-25 2008-03-27 データ処理装置及び方法、ならびに編集システム及び方法 Expired - Fee Related JP4816667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008084013A JP4816667B2 (ja) 1997-09-25 2008-03-27 データ処理装置及び方法、ならびに編集システム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26003397 1997-09-25
JP1997260033 1997-09-25
JP2008084013A JP4816667B2 (ja) 1997-09-25 2008-03-27 データ処理装置及び方法、ならびに編集システム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP51882199A Division JP4150083B2 (ja) 1997-09-25 1998-09-25 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法

Publications (2)

Publication Number Publication Date
JP2008263601A true JP2008263601A (ja) 2008-10-30
JP4816667B2 JP4816667B2 (ja) 2011-11-16

Family

ID=17342377

Family Applications (2)

Application Number Title Priority Date Filing Date
JP51882199A Expired - Fee Related JP4150083B2 (ja) 1997-09-25 1998-09-25 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法
JP2008084013A Expired - Fee Related JP4816667B2 (ja) 1997-09-25 2008-03-27 データ処理装置及び方法、ならびに編集システム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP51882199A Expired - Fee Related JP4150083B2 (ja) 1997-09-25 1998-09-25 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法

Country Status (4)

Country Link
US (5) US6438317B1 (ja)
JP (2) JP4150083B2 (ja)
KR (1) KR100750520B1 (ja)
WO (1) WO1999016196A1 (ja)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750520B1 (ko) * 1997-09-25 2007-08-21 소니 가부시끼 가이샤 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US6754439B1 (en) * 1998-04-06 2004-06-22 Seachange International, Inc. Method and apparatus for using multiple compressed digital video and audio signals
JPH11353790A (ja) * 1998-06-08 1999-12-24 Yamaha Corp ディジタルビデオ信号送信装置及び受信装置
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
KR100523943B1 (ko) * 1998-12-23 2005-12-21 주식회사 코오롱 울팩용 포지
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
US20040161032A1 (en) * 1999-04-06 2004-08-19 Amir Morad System and method for video and audio encoding on a single chip
US7589789B2 (en) * 1999-05-08 2009-09-15 Lg Electronics Inc. Video converting device and method for digital TV
JP3550509B2 (ja) * 1999-05-26 2004-08-04 松下電器産業株式会社 画像記録再生装置と画像再生装置と不正利用防止方法
US6754276B1 (en) * 1999-09-20 2004-06-22 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
JP4389365B2 (ja) * 1999-09-29 2009-12-24 ソニー株式会社 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体
US6882793B1 (en) 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
TW540248B (en) * 2000-07-19 2003-07-01 Koninkl Philips Electronics Nv Method and device for generating a multiplexed MPEG signal
JP4506053B2 (ja) * 2000-08-10 2010-07-21 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法、ビデオデータ処理装置、ビデオデータ処理方法、ビデオデータ編集装置およびビデオデータ編集方法。
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
US6738427B2 (en) * 2000-09-15 2004-05-18 International Business Machines Corporation System and method of processing MPEG streams for timecode packet insertion
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
KR100769375B1 (ko) 2001-05-12 2007-10-22 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
KR100769371B1 (ko) * 2001-05-12 2007-10-22 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
KR100771264B1 (ko) * 2001-05-12 2007-10-29 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
US6862592B1 (en) * 2001-12-21 2005-03-01 Adobe Systems Incorporated Document processing in a cross-platform environment
US20030131362A1 (en) * 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
DE60332175D1 (de) * 2002-01-22 2010-05-27 Microsoft Corp Verfahren und System zur Verhinderung von Startkode-Emulation und Stopfdaten
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
US20040006627A1 (en) * 2002-05-13 2004-01-08 Eran Sarfaty Content delivery system
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
JP4806888B2 (ja) * 2002-07-19 2011-11-02 ソニー株式会社 復号化装置及び復号化方法
US20120203363A1 (en) * 2002-09-27 2012-08-09 Arbitron, Inc. Apparatus, system and method for activating functions in processing devices using encoded audio and audio signatures
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US20130138231A1 (en) * 2011-11-30 2013-05-30 Arbitron, Inc. Apparatus, system and method for activating functions in processing devices using encoded audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US20040067042A1 (en) * 2002-10-07 2004-04-08 Hughes Robert K. Extended time-code for multimedia presentations
JP3896949B2 (ja) * 2002-11-08 2007-03-22 日本電気株式会社 ビデオ編集装置及びビデオ編集プログラム
US7489362B2 (en) 2003-03-04 2009-02-10 Broadcom Corporation Television functionality on a chip
US7715482B2 (en) * 2003-08-14 2010-05-11 Broadcom Corporation System and method for generating pseudo MPEG information from digital video information
US20050013274A1 (en) * 2003-03-05 2005-01-20 Harri Pekonen System and method for data transmission and reception
TWI258935B (en) * 2003-03-05 2006-07-21 Nokia Corp System and method for data transmission and reception
JP3912536B2 (ja) * 2003-03-25 2007-05-09 ソニー株式会社 記録方法、記録装置、記録媒体、撮像装置および撮像方法
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
WO2004088990A2 (en) * 2003-04-04 2004-10-14 Bbc Technology Holdings Limited Media storage control
ES2347788T3 (es) * 2003-04-10 2010-11-04 Panasonic Corporation Medio de registro de datos y aparato y metodo para registrar datos usando el medio de registro de datos.
WO2004114200A2 (en) * 2003-06-20 2004-12-29 Sarnoff Corporation Method and apparatus for creating multiple unique copies of content
JP2005109829A (ja) * 2003-09-30 2005-04-21 Toshiba Corp トランスポートストリーム記録編集装置及び記録編集方法
US8427494B2 (en) * 2004-01-30 2013-04-23 Nvidia Corporation Variable-length coding data transfer interface
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
US8131134B2 (en) 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US20050259735A1 (en) * 2004-05-21 2005-11-24 Qin-Fan Zhu System and method for video error masking using standard prediction
JP4586429B2 (ja) * 2004-06-11 2010-11-24 ソニー株式会社 データ処理装置およびデータ処理方法、並びに、プログラムおよびプログラム記録媒体
US20070058723A1 (en) * 2005-09-14 2007-03-15 Chandramouly Ashwin A Adaptively adjusted slice width selection
US7589796B2 (en) * 2006-02-06 2009-09-15 Vixs Systems Inc. Video display device, video encoder, and methods for use therewith
AU2007236534B2 (en) * 2006-02-13 2012-09-06 Vividas Technologies Pty Ltd Method, system and software product for streaming content
WO2007114107A1 (ja) * 2006-03-30 2007-10-11 Pioneer Corporation コンテンツ送信システムにおけるサーバー装置およびコンテンツ送信方法
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
WO2007131342A1 (en) * 2006-05-12 2007-11-22 Gill Barjinderpal S Edit decision list for media product distribution
US20080037956A1 (en) * 2006-06-30 2008-02-14 Scientific-Atlanta, Inc. Systems and Methods of Generating Encapsulated MPEG Program Streams
WO2008146483A1 (ja) 2007-05-28 2008-12-04 Panasonic Corporation メタデータ記録装置及びメタデータ記録方法
US8725504B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Inverse quantization in audio decoding
US8726125B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Reducing interpolation error
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
EP2034485A1 (en) 2007-09-07 2009-03-11 Thomson Licensing System and method for generating linear time code data
US8356321B2 (en) 2007-09-11 2013-01-15 The Directv Group, Inc. Method and system for monitoring and controlling receiving circuit modules at a local collection facility from a remote facility
US9300412B2 (en) * 2007-09-11 2016-03-29 The Directv Group, Inc. Method and system for operating a receiving circuit for multiple types of input channel signals
US20090070829A1 (en) * 2007-09-11 2009-03-12 The Directv Group, Inc. Receiving circuit module for receiving and encoding channel signals and method for operating the same
US8472871B2 (en) * 2007-09-11 2013-06-25 The Directv Group, Inc. Method and system for monitoring and switching between a primary and diverse site in a satellite communication system
US9756290B2 (en) 2007-09-11 2017-09-05 The Directv Group, Inc. Method and system for communicating between a local collection facility and a remote facility
US9473751B2 (en) * 2007-09-11 2016-10-18 The Directv Group, Inc. Method and system for operating a monitoring system for a satellite communication system
US8804499B2 (en) * 2007-09-11 2014-08-12 The Directv Group, Inc. Method and system for monitoring and switching between a first uplink signal processing circuit and a secondary uplink signal processing circuit
US8165060B2 (en) 2007-09-11 2012-04-24 The Directv Group, Inc. Method and system for monitoring and switching between primary and back-up uplink signal processing circuits in a satellite communication system
US8973058B2 (en) * 2007-09-11 2015-03-03 The Directv Group, Inc. Method and system for monitoring and simultaneously displaying a plurality of signal channels in a communication system
US9313457B2 (en) * 2007-09-11 2016-04-12 The Directv Group, Inc. Method and system for monitoring a receiving circuit module and controlling switching to a back-up receiving circuit module at a local collection facility from a remote facility
US8424044B2 (en) * 2007-09-11 2013-04-16 The Directv Group, Inc. Method and system for monitoring and switching between a primary encoder and a back-up encoder in a communication system
US8792336B2 (en) * 2007-09-11 2014-07-29 The Directv Group, Inc. Method and system for monitoring and switching between primary and back-up receiver decoder circuits in a communication system
US8479234B2 (en) 2007-09-12 2013-07-02 The Directv Group, Inc. Method and system for monitoring and controlling a local collection facility from a remote facility using an asynchronous transfer mode (ATM) network
US8849051B2 (en) * 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
US9049037B2 (en) * 2007-10-31 2015-06-02 The Directv Group, Inc. Method and system for monitoring and encoding signals in a local facility and communicating the signals between a local collection facility and a remote facility using an IP network
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US9876599B2 (en) * 2007-12-17 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. System(s), method(s), and apparatus for accurate detection of the end of stream
TWI357263B (en) * 2008-02-22 2012-01-21 Novatek Microelectronics Corp Method and related device for converting transport
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
EP2338278B1 (en) 2008-09-16 2015-02-25 Intel Corporation Method for presenting an interactive video/multimedia application using content-aware metadata
US9762973B2 (en) * 2008-11-04 2017-09-12 The Directv Group, Inc. Method and system for operating a receiving circuit module to encode a channel signal into multiple encoding formats
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
US9307267B2 (en) 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
US8542749B2 (en) 2008-12-17 2013-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for measuring audiovisual synchronisation
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
US8879895B1 (en) 2009-03-28 2014-11-04 Matrox Electronic Systems Ltd. System and method for processing ancillary data associated with a video stream
US8665949B1 (en) * 2009-09-09 2014-03-04 Marvell International Ltd. Methods and apparatus for transmission of data at different modulation and/or coding rates
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
US8782803B2 (en) 2010-04-14 2014-07-15 Legitmix, Inc. System and method of encrypting a derivative work using a cipher created from its source
US8925102B2 (en) * 2010-10-14 2014-12-30 Legitmix, Inc. System and method of generating encryption/decryption keys and encrypting/decrypting a derivative work
US9831971B1 (en) 2011-04-05 2017-11-28 The Directv Group, Inc. Method and system for operating a communication system encoded into multiple independently communicated encoding formats
JP5306415B2 (ja) * 2011-05-30 2013-10-02 株式会社東芝 ビデオサーバ、ｍｘｆファイル再生方法
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
JPWO2015107925A1 (ja) * 2014-01-16 2017-03-23 ソニー株式会社 データ処理装置、及び、データ処理方法
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279922A (ja) * 1995-04-05 1996-10-22 Sony Corp ニュース素材を伝送する方法及び装置
JPH0923403A (ja) * 1995-07-04 1997-01-21 Pioneer Electron Corp 情報記録装置及び情報再生装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8416495D0 (en) * 1984-06-28 1984-08-01 King R A Encoding method
US5164839A (en) * 1988-12-27 1992-11-17 Explore Technology, Inc. Method for handling audio/video source information
JP2965320B2 (ja) 1990-05-28 1999-10-18 日本電信電話株式会社 映像編集方法
JP2927913B2 (ja) * 1990-08-28 1999-07-28 日本電気ホームエレクトロニクス株式会社 画像圧縮装置
JPH05101609A (ja) * 1990-09-28 1993-04-23 Digital Fx Inc ビデオテープエデイテイングシステムとビデオテープデータエデイテイング方法
JPH04332991A (ja) * 1991-05-02 1992-11-19 Matsushita Electric Ind Co Ltd タイムコード自動判別切り換え装置
US5493339A (en) * 1993-01-21 1996-02-20 Scientific-Atlanta, Inc. System and method for transmitting a plurality of digital services including compressed imaging services and associated ancillary data services
JPH06295566A (ja) 1993-04-09 1994-10-21 Matsushita Electric Ind Co Ltd 動画像編集装置
US5701153A (en) * 1994-01-14 1997-12-23 Legal Video Services, Inc. Method and system using time information in textual representations of speech for correlation to a second representation of that speech
JPH0879703A (ja) 1994-07-05 1996-03-22 Sony Corp 画像情報処理方法及び装置
TW377935U (en) * 1994-08-10 1999-12-21 Gen Instrument Corp Dram mapping for a digital video decompression processor
JP3248380B2 (ja) * 1994-12-15 2002-01-21 ソニー株式会社 データ復号化装置およびデータ復号化方法
JPH08205170A (ja) * 1995-01-23 1996-08-09 Matsushita Electric Ind Co Ltd 動画像復号化装置及び動画像符号化装置
JPH08205082A (ja) 1995-01-25 1996-08-09 Sony Corp データ処理装置
US5721952A (en) * 1995-02-17 1998-02-24 Acer Incorporated Method and apparatus for automatic detection of disk type in a computer system
JPH098763A (ja) * 1995-06-16 1997-01-10 Hitachi Denshi Ltd データ伝送システム
US5699124A (en) * 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
US5598415A (en) * 1995-08-04 1997-01-28 General Instrument Corporation Of Delaware Transmission of high rate isochronous data in MPEG-2 data streams
US5703859A (en) * 1995-09-01 1997-12-30 Sony Corporation Digital video copy protection system
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US5844594A (en) * 1995-10-05 1998-12-01 Microsoft Corporation Method and apparatus for MPEG encoding
JPH09116860A (ja) 1995-10-19 1997-05-02 Matsushita Electric Ind Co Ltd 動画範囲選択方法及びビデオ編集装置
JP3711603B2 (ja) * 1995-12-12 2005-11-02 ソニー株式会社 符号化装置及びその方法、並びに記録装置及びその方法
JP3763153B2 (ja) * 1995-12-13 2006-04-05 ソニー株式会社 データ処理装置及びデータ処理方法
US5822547A (en) * 1996-05-31 1998-10-13 Texas Instruments Incorporated Method and apparatus for providing a portable computer with hot pluggable modular bays
US5920709A (en) * 1996-06-04 1999-07-06 Exabyte Corporation Bus interface for IDE device
JPH1098677A (ja) * 1996-09-25 1998-04-14 Matsushita Electric Ind Co Ltd 映像情報編集装置
US5844615A (en) * 1997-01-16 1998-12-01 General Instrument Corporation Communication of VBI data in digital television data streams
KR100750520B1 (ko) * 1997-09-25 2007-08-21 소니 가부시끼 가이샤 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US6182162B1 (en) * 1998-03-02 2001-01-30 Lexar Media, Inc. Externally coupled compact flash memory card that configures itself one of a plurality of appropriate operating protocol modes of a host computer
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
DE20006458U1 (de) * 2000-04-07 2000-06-15 Key Technology Corp RAID-Vorrichtung mit anpassungsfähiger Befehlsverarbeitung und Datenübertragung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279922A (ja) * 1995-04-05 1996-10-22 Sony Corp ニュース素材を伝送する方法及び装置
JPH0923403A (ja) * 1995-07-04 1997-01-21 Pioneer Electron Corp 情報記録装置及び情報再生装置

Also Published As

Publication number Publication date
US6438317B1 (en) 2002-08-20
JP4150083B2 (ja) 2008-09-17
US6453112B2 (en) 2002-09-17
US20010048803A1 (en) 2001-12-06
US20030215215A1 (en) 2003-11-20
US6594439B2 (en) 2003-07-15
JP4816667B2 (ja) 2011-11-16
KR20000069135A (ko) 2000-11-25
US20070076798A1 (en) 2007-04-05
WO1999016196A1 (en) 1999-04-01
KR100750520B1 (ko) 2007-08-21
US20010001023A1 (en) 2001-05-10
US8891937B2 (en) 2014-11-18
US7209636B2 (en) 2007-04-24

Similar Documents

Publication Publication Date Title
JP4816667B2 (ja) データ処理装置及び方法、ならびに編集システム及び方法
US8897376B2 (en) Data recording device, method, and program, data reproduction device, method, and program, recording medium, and data structure
US8107505B2 (en) Method and apparatus for generating information signal to be recorded
US8244108B2 (en) After-recording apparatus
US7835618B2 (en) Recording apparatus, recording method, program of recording method, and recording medium having program of recording method recorded thereon
JP2005198350A (ja) アフレコ信号再生方法
JP2005245006A (ja) アフレコ信号再生装置
JP2005260979A (ja) アフレコ信号伝送方法
JP2005253093A (ja) アフレコ信号伝送装置
JP2005260978A (ja) アフレコ信号生成用プログラム
JP2005237021A (ja) アフレコ信号再生用プログラム
JP2005198351A (ja) アフレコ信号再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees