JP3407287B2 - 符号化復号システム - Google Patents
符号化復号システムInfo
- Publication number
- JP3407287B2 JP3407287B2 JP36479497A JP36479497A JP3407287B2 JP 3407287 B2 JP3407287 B2 JP 3407287B2 JP 36479497 A JP36479497 A JP 36479497A JP 36479497 A JP36479497 A JP 36479497A JP 3407287 B2 JP3407287 B2 JP 3407287B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- scene
- compressed
- decoding
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims description 207
- 230000002194 synthesizing effect Effects 0.000 claims description 119
- 230000015572 biosynthetic process Effects 0.000 claims description 102
- 238000003786 synthesis reaction Methods 0.000 claims description 102
- 238000012545 processing Methods 0.000 claims description 88
- 239000002131 composite material Substances 0.000 claims description 84
- 239000000203 mixture Substances 0.000 claims description 70
- 238000000926 separation method Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims 5
- 235000018936 Vitellaria paradoxa Nutrition 0.000 claims 1
- 239000000872 buffer Substances 0.000 description 111
- 238000010586 diagram Methods 0.000 description 66
- 238000006243 chemical reaction Methods 0.000 description 38
- 230000001360 synchronised effect Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000010355 oscillation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、符号化復号方式に
関し、特に、自然画像や音声とコンピュータグラフィク
スの同期合成し、再生するシステムに関する。
関し、特に、自然画像や音声とコンピュータグラフィク
スの同期合成し、再生するシステムに関する。
【０００２】
【従来の技術】オーディオ信号（もしくは音声信号）、
ビデオ信号、さらにはコンピュータグラフィクス等の人
工シーンデータを圧縮、多重化し、それを伝送、もしく
は蓄積し、それを分離、伸長して元の信号を得るための
符号化標準の国際規格として、アイ・エス・オー（ＩＳ
Ｏ：International Organization for Standardizatio
n）とアイ・イー・シー（ＩＥＣ：International Elect
rotechnical Commission）のデータ処理分野における共
通事項を扱うジェイ・ティー・シー・ワン（ＪＴＣ１：
Joint Technical Committee 1）の傘下にあるＳＣ２９
内のワーキンググループ（ＷＧ）１１が定めた規格、エ
ムペグ（ＭＰＥＧ： Motion Picture Coding Expert G
roup）が知られている。このＭＰＥＧでは、さらに多重
化データから各メディアを同期再生するためのメカニズ
ムが説明されている。
ビデオ信号、さらにはコンピュータグラフィクス等の人
工シーンデータを圧縮、多重化し、それを伝送、もしく
は蓄積し、それを分離、伸長して元の信号を得るための
符号化標準の国際規格として、アイ・エス・オー（ＩＳ
Ｏ：International Organization for Standardizatio
n）とアイ・イー・シー（ＩＥＣ：International Elect
rotechnical Commission）のデータ処理分野における共
通事項を扱うジェイ・ティー・シー・ワン（ＪＴＣ１：
Joint Technical Committee 1）の傘下にあるＳＣ２９
内のワーキンググループ（ＷＧ）１１が定めた規格、エ
ムペグ（ＭＰＥＧ： Motion Picture Coding Expert G
roup）が知られている。このＭＰＥＧでは、さらに多重
化データから各メディアを同期再生するためのメカニズ
ムが説明されている。
【０００３】まず、ＩＳＯ／ＩＥＣ １３８１８−１：
“Information Technology GenericCoding of Moving P
ictures and Associated Audio Systems”（通称ＭＰＥ
Ｇ−２ Systems）には、多重化データからオーディオ信
号とビデオ信号を同期再生するためのメカニズムが説明
されている。図５３は、その説明に用いられる一定遅延
モデルの構成を示している。これは、オーディオ信号と
ビデオ信号の圧縮にＭＰＥＧ−２を適用した場合のシス
テム構成を抽象化したものである。
“Information Technology GenericCoding of Moving P
ictures and Associated Audio Systems”（通称ＭＰＥ
Ｇ−２ Systems）には、多重化データからオーディオ信
号とビデオ信号を同期再生するためのメカニズムが説明
されている。図５３は、その説明に用いられる一定遅延
モデルの構成を示している。これは、オーディオ信号と
ビデオ信号の圧縮にＭＰＥＧ−２を適用した場合のシス
テム構成を抽象化したものである。
【０００４】図５３において、符号化器７１はオーディ
オ信号を圧縮し、符号化器７２はビデオ信号を圧縮符号
化する。バッファ７３は符号化器７１によって圧縮され
たオーディオデータをバッファリングし、バッファ７４
は符号化器７２によって圧縮されたビデオデータをバッ
ファリングする。多重化回路７５は、バッファ７３に蓄
積された圧縮オーディオデータとバッファ７４に蓄積さ
れた圧縮ビデオデータを多重化する。その際に、同期再
生に必要となる参照クロック、及びタイムスタンプが付
加情報として多重化データ中に埋め込まれる。
オ信号を圧縮し、符号化器７２はビデオ信号を圧縮符号
化する。バッファ７３は符号化器７１によって圧縮され
たオーディオデータをバッファリングし、バッファ７４
は符号化器７２によって圧縮されたビデオデータをバッ
ファリングする。多重化回路７５は、バッファ７３に蓄
積された圧縮オーディオデータとバッファ７４に蓄積さ
れた圧縮ビデオデータを多重化する。その際に、同期再
生に必要となる参照クロック、及びタイムスタンプが付
加情報として多重化データ中に埋め込まれる。
【０００５】具体的なタイムスタンプとしては、復号タ
イミングを示す復号タイムスタンプと表示タイミングを
示す表示タイムスタンプの二つが用意されている。復号
タイムスタンプは、一般的に内挿予測を行う場合のみ用
いられる。これは、内挿予測を行う場合、復号タイミン
グと表示タイミングが異なる場合があるからである。そ
れ以外の場合は、復号タイムスタンプは不要である。
イミングを示す復号タイムスタンプと表示タイミングを
示す表示タイムスタンプの二つが用意されている。復号
タイムスタンプは、一般的に内挿予測を行う場合のみ用
いられる。これは、内挿予測を行う場合、復号タイミン
グと表示タイミングが異なる場合があるからである。そ
れ以外の場合は、復号タイムスタンプは不要である。
【０００６】蓄積・伝送装置７６は、多重化回路７５に
よって作成された多重化データを蓄積、もしくは伝送す
る。分離回路７７は、蓄積・伝送装置７６から与えられ
る多重化データから、圧縮オーディオデータ、圧縮ビデ
オデータ、及び同期再生に使用される参照クロック、タ
イムスタンプを分離する。バッファ７８は分離回路７７
から与えられる圧縮オーディオデータをバッファリング
し、バッファ７９は分離回路７７から与えられる圧縮ビ
デオデータをバッファリングする。復号器８０はバッフ
ァ７８に蓄積された圧縮オーディオデータを復号再生
し、復号器８１はバッファ７９に蓄積された圧縮ビデオ
データを復号表示する。
よって作成された多重化データを蓄積、もしくは伝送す
る。分離回路７７は、蓄積・伝送装置７６から与えられ
る多重化データから、圧縮オーディオデータ、圧縮ビデ
オデータ、及び同期再生に使用される参照クロック、タ
イムスタンプを分離する。バッファ７８は分離回路７７
から与えられる圧縮オーディオデータをバッファリング
し、バッファ７９は分離回路７７から与えられる圧縮ビ
デオデータをバッファリングする。復号器８０はバッフ
ァ７８に蓄積された圧縮オーディオデータを復号再生
し、復号器８１はバッファ７９に蓄積された圧縮ビデオ
データを復号表示する。
【０００７】図５３におけるオーディオ信号とビデオ信
号の同期再生は、以下のようにして実現される。前記多
重化データ中に埋め込まれた参照クロックは、復号器８
０及び復号器８１を駆動するクロック発生回路の発振周
波数の制御に用いられ、一般的にはＰＬＬ（Phased Loc
ked Loop）が用いられる。これによって、符号化器側と
復号器側の同期が確立される。また、前記多重化データ
中に埋め込まれたタイムスタンプは、復号器８０及び復
号器８１の復号タイミング、もしくは復号結果の再生、
表示タイミングを伝えるのに用いられる。前記参照クロ
ックによって符号化器側と復号器側の時間軸は一定遅延
の基に同期しており、符号化器側で意図した時間に復号
が開始され、再生、表示が行われる。
号の同期再生は、以下のようにして実現される。前記多
重化データ中に埋め込まれた参照クロックは、復号器８
０及び復号器８１を駆動するクロック発生回路の発振周
波数の制御に用いられ、一般的にはＰＬＬ（Phased Loc
ked Loop）が用いられる。これによって、符号化器側と
復号器側の同期が確立される。また、前記多重化データ
中に埋め込まれたタイムスタンプは、復号器８０及び復
号器８１の復号タイミング、もしくは復号結果の再生、
表示タイミングを伝えるのに用いられる。前記参照クロ
ックによって符号化器側と復号器側の時間軸は一定遅延
の基に同期しており、符号化器側で意図した時間に復号
が開始され、再生、表示が行われる。
【０００８】これによって、符号化器側で適切なタイム
スタンプが設定されている限り、オーディオ信号とビデ
オ信号の同期再生が実現される。あるいは、符号化器側
と復号器側の同期が必要とされないアプリケーションで
は、前記参照クロックを用いずに、復号器自身のクロッ
クで同期再生を行う。
スタンプが設定されている限り、オーディオ信号とビデ
オ信号の同期再生が実現される。あるいは、符号化器側
と復号器側の同期が必要とされないアプリケーションで
は、前記参照クロックを用いずに、復号器自身のクロッ
クで同期再生を行う。
【０００９】次に、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２
９／ＷＧ１１ Ｎ１８２５：“Working Draft 5.0 of I
SO/IEC 14996-1”（通称ＭＰＥＧ−４ Systems）には、
多重化データからオーディオ信号、ビデオ信号、さらに
はコンピュータグラフィクスなどの人工シーンデータを
同期再生するためのメカニズムが説明されている。
９／ＷＧ１１ Ｎ１８２５：“Working Draft 5.0 of I
SO/IEC 14996-1”（通称ＭＰＥＧ−４ Systems）には、
多重化データからオーディオ信号、ビデオ信号、さらに
はコンピュータグラフィクスなどの人工シーンデータを
同期再生するためのメカニズムが説明されている。
【００１０】図５４は、その説明に用いられるシステム
復号器モデル（ＳＤＭ： System Decoder Model）であ
る。これは、オーディオ信号、ビデオ信号、コンピュー
タグラフィクスなどの人工シーンデータの圧縮にＭＰＥ
Ｇ−４を適用した場合のシステムの復号器構成を抽象化
したものである。この文献には、符号化器のモデル、具
体的な構成等は記載されていないが、前記ＭＰＥＧ−２
Systemsと同様に、参照クロック、及びタイムスタンプ
が付加情報として多重化データ中に埋め込まれること
が、シンタクスとして記載されている。具体的なタイム
スタンプとしては、復号タイミングを示す復号タイムス
タンプと、合成回路に復号データが供給可能なタイミン
グを示す合成タイムスタンプの二つが用意されている。
復号器モデル（ＳＤＭ： System Decoder Model）であ
る。これは、オーディオ信号、ビデオ信号、コンピュー
タグラフィクスなどの人工シーンデータの圧縮にＭＰＥ
Ｇ−４を適用した場合のシステムの復号器構成を抽象化
したものである。この文献には、符号化器のモデル、具
体的な構成等は記載されていないが、前記ＭＰＥＧ−２
Systemsと同様に、参照クロック、及びタイムスタンプ
が付加情報として多重化データ中に埋め込まれること
が、シンタクスとして記載されている。具体的なタイム
スタンプとしては、復号タイミングを示す復号タイムス
タンプと、合成回路に復号データが供給可能なタイミン
グを示す合成タイムスタンプの二つが用意されている。
【００１１】図５４において、分離回路９１は、その多
重化データから、圧縮オーディオデータ、圧縮ビデオデ
ータ、圧縮シーンデータ、及び同期再生に使用される参
照クロック、タイムスタンプを分離する。バッファ９２
は、分離回路９１から与えられる圧縮オーディオデータ
をバッファリングし、バッファ９３は、分離回路９１か
ら与えられる圧縮ビデオデータをバッファリングし、バ
ッファ９４は、分離回路９１から与えられる圧縮人工シ
ーンデータをバッファリングする。復号器９５は、バッ
ファ９２に蓄積された圧縮オーディオデータを復号し、
復号器９６は、バッファ９３に蓄積された圧縮ビデオデ
ータを復号し、復号器９７は、バッファ９４に蓄積され
た圧縮人工シーンデータを復号する。
重化データから、圧縮オーディオデータ、圧縮ビデオデ
ータ、圧縮シーンデータ、及び同期再生に使用される参
照クロック、タイムスタンプを分離する。バッファ９２
は、分離回路９１から与えられる圧縮オーディオデータ
をバッファリングし、バッファ９３は、分離回路９１か
ら与えられる圧縮ビデオデータをバッファリングし、バ
ッファ９４は、分離回路９１から与えられる圧縮人工シ
ーンデータをバッファリングする。復号器９５は、バッ
ファ９２に蓄積された圧縮オーディオデータを復号し、
復号器９６は、バッファ９３に蓄積された圧縮ビデオデ
ータを復号し、復号器９７は、バッファ９４に蓄積され
た圧縮人工シーンデータを復号する。
【００１２】バッファ９８は、復号器９５によって復号
されたオーディオ信号をバッファリングし、バッファ９
９は、復号器９６によって復号されたビデオ信号をバッ
ファリングし、バッファ１００は、復号器９７によって
復号された人工シーンデータをバッファリングする。合
成回路１０１は、バッファ９８に蓄積されたオーディオ
信号、バッファ９９に蓄積されたビデオ信号、及びバッ
ファ１００に蓄積された人工シーンデータからシーンを
合成する。その際、前記人工シーンデータ中には合成さ
れるシーン情報が記述されており、それに従ってオーデ
ィオ信号が変調されたり、ビデオ信号が変形されて、シ
ーン中のオブジェクトにマッピングされたりする。表示
回路１０２は、合成回路１０１から与えられるシーンを
再生、表示する。
されたオーディオ信号をバッファリングし、バッファ９
９は、復号器９６によって復号されたビデオ信号をバッ
ファリングし、バッファ１００は、復号器９７によって
復号された人工シーンデータをバッファリングする。合
成回路１０１は、バッファ９８に蓄積されたオーディオ
信号、バッファ９９に蓄積されたビデオ信号、及びバッ
ファ１００に蓄積された人工シーンデータからシーンを
合成する。その際、前記人工シーンデータ中には合成さ
れるシーン情報が記述されており、それに従ってオーデ
ィオ信号が変調されたり、ビデオ信号が変形されて、シ
ーン中のオブジェクトにマッピングされたりする。表示
回路１０２は、合成回路１０１から与えられるシーンを
再生、表示する。
【００１３】図５４における、オーディオ信号、ビデオ
信号、及び人工シーンデータの合成再生は以下のように
して実現される。参照クロックは各復号器毎に与えるこ
とが可能であり、多重化データから取り出された後に、
復号器毎に用意されたクロック発生回路に入力され、そ
の発振周波数を制御する。これによって、復号器毎に符
号化器側と復号器側の同期が確立される。タイムスタン
プもまた各復号器毎に与えることが可能であり、多重化
データから取り出された後に、復号器の復号タイミン
グ、もしくは復号結果が合成回路１０１に供給可能な時
刻を伝えるのに用いられる。前記参照クロックによって
符号化器側と復号器側の時間軸は一定遅延の基に同期し
ており、符号化器側で意図した時間に復号が開始され、
バッファへの書き込みが行われる。
信号、及び人工シーンデータの合成再生は以下のように
して実現される。参照クロックは各復号器毎に与えるこ
とが可能であり、多重化データから取り出された後に、
復号器毎に用意されたクロック発生回路に入力され、そ
の発振周波数を制御する。これによって、復号器毎に符
号化器側と復号器側の同期が確立される。タイムスタン
プもまた各復号器毎に与えることが可能であり、多重化
データから取り出された後に、復号器の復号タイミン
グ、もしくは復号結果が合成回路１０１に供給可能な時
刻を伝えるのに用いられる。前記参照クロックによって
符号化器側と復号器側の時間軸は一定遅延の基に同期し
ており、符号化器側で意図した時間に復号が開始され、
バッファへの書き込みが行われる。
【００１４】次に、合成回路１０１が各バッファ中に保
持されたオーディオ信号、ビデオ信号、及び人工シーン
データを取り出してシーン合成を行う。合成回路１０１
によってオーディオ信号、ビデオ信号、及びシーンデー
タが得られる時刻は、それぞれに付加された合成タイム
スタンプによって与えられる。ただし、シーンを合成す
るタイミングは不明確であり、シーンデータ内に記述さ
れた離散的な時間イベントに従い、合成回路１０１自身
がイベント処理を開始する、とされている。最後に、表
示回路１０２が合成回路１０１から与えられるシーンを
再生して表示する。
持されたオーディオ信号、ビデオ信号、及び人工シーン
データを取り出してシーン合成を行う。合成回路１０１
によってオーディオ信号、ビデオ信号、及びシーンデー
タが得られる時刻は、それぞれに付加された合成タイム
スタンプによって与えられる。ただし、シーンを合成す
るタイミングは不明確であり、シーンデータ内に記述さ
れた離散的な時間イベントに従い、合成回路１０１自身
がイベント処理を開始する、とされている。最後に、表
示回路１０２が合成回路１０１から与えられるシーンを
再生して表示する。
【００１５】また、人工シーンデータの代表例として、
コンピュータグラフィクスを記述し、それを伝送、もし
くは蓄積し、それから仮想的な三次元空間を構築、共有
するための記述フォーマットとして、アイ・エス・オー
（ＩＳＯ： InternationalOrganization for Standard
ization）とアイ・イー・シー（ＩＥＣ： Internation
al Electrotechnical Commission）のデータ処理分野に
おける共通事項を扱うジェイ・ティー・シー・ワン（Ｊ
ＴＣ１： Joint Technical Committee 1）の傘下にあ
るＳＣ２４と、関連企業の参加するＶＲＭＬコンソーシ
アムが共同で定めた国際標準規格、ブイ・アール・エム
・エル（ＶＲＭＬ： Virtual Reality Modeling Langu
age）が知られている。このＶＲＭＬでは、さらにオー
ディオ信号、ビデオ信号をシーン中に取り込むための記
述方法が説明されている。
コンピュータグラフィクスを記述し、それを伝送、もし
くは蓄積し、それから仮想的な三次元空間を構築、共有
するための記述フォーマットとして、アイ・エス・オー
（ＩＳＯ： InternationalOrganization for Standard
ization）とアイ・イー・シー（ＩＥＣ： Internation
al Electrotechnical Commission）のデータ処理分野に
おける共通事項を扱うジェイ・ティー・シー・ワン（Ｊ
ＴＣ１： Joint Technical Committee 1）の傘下にあ
るＳＣ２４と、関連企業の参加するＶＲＭＬコンソーシ
アムが共同で定めた国際標準規格、ブイ・アール・エム
・エル（ＶＲＭＬ： Virtual Reality Modeling Langu
age）が知られている。このＶＲＭＬでは、さらにオー
ディオ信号、ビデオ信号をシーン中に取り込むための記
述方法が説明されている。
【００１６】ＩＳＯ／ＩＥＣ ＤＩＳ １４７７２−
１：“The Virtual Reality ModelingLanguage”（通称
ＶＲＭＬ９７）には、その詳細が記載されている。この
中には、コンピュータグラフィクスだけではなく、前記
ＭＰＥＧ規格の一つであるＩＳＯ／ＩＥＣ １１１７２
（通称ＭＰＥＧ−１）がサポート対象として含まれてい
る。このＭＰＥＧ−１は、オーディオ信号とビデオ信号
の符号化国際標準の一つであり、具体的には、ＶＲＭＬ
によって構築される三次元シーンの中で、オーディオ信
号は音源として、ビデオ信号は三次元オブジェクトに対
する動画テクスチャとして、それぞれマッピングされ
る。さらに、ＶＲＭＬでは時間イベントの記述がサポー
トされており、ＶＲＭＬフォーマットの中に記述された
タイムスタンプに従って時間イベントが発生する。
１：“The Virtual Reality ModelingLanguage”（通称
ＶＲＭＬ９７）には、その詳細が記載されている。この
中には、コンピュータグラフィクスだけではなく、前記
ＭＰＥＧ規格の一つであるＩＳＯ／ＩＥＣ １１１７２
（通称ＭＰＥＧ−１）がサポート対象として含まれてい
る。このＭＰＥＧ−１は、オーディオ信号とビデオ信号
の符号化国際標準の一つであり、具体的には、ＶＲＭＬ
によって構築される三次元シーンの中で、オーディオ信
号は音源として、ビデオ信号は三次元オブジェクトに対
する動画テクスチャとして、それぞれマッピングされ
る。さらに、ＶＲＭＬでは時間イベントの記述がサポー
トされており、ＶＲＭＬフォーマットの中に記述された
タイムスタンプに従って時間イベントが発生する。
【００１７】この時間イベントは、さらに連続的時間イ
ベントと、離散的時間イベントの二種類に分類される。
まず、連続的時間イベントは、アニメーションなど動作
が時間的に連続したイベントである。また、離散的時間
イベントは、ある時間の経過後、シーン中のオブジェク
トが開始するイベントなどである。
ベントと、離散的時間イベントの二種類に分類される。
まず、連続的時間イベントは、アニメーションなど動作
が時間的に連続したイベントである。また、離散的時間
イベントは、ある時間の経過後、シーン中のオブジェク
トが開始するイベントなどである。
【００１８】図５５は、以上のＶＲＭＬフォーマットを
受け取り、三次元シーンを構築する復号処理系（ＶＲＭ
Ｌの場合、ブラウザと呼ばれる）の構成例を示してい
る。バッファ１１１は、インタネットを介してＭＰＥＧ
−１で圧縮された多重化データを受信し、バッファリン
グする。一方、バッファ１１２は、インタネットを介し
てＶＲＭＬフォーマット、もしくは圧縮されたＶＲＭＬ
フォーマットを受信し、バッファリングする。その際、
ＶＲＭＬフォーマットの在処は、前述のＭＰＥＧ−１デ
ータとは異なっていても構わない。
受け取り、三次元シーンを構築する復号処理系（ＶＲＭ
Ｌの場合、ブラウザと呼ばれる）の構成例を示してい
る。バッファ１１１は、インタネットを介してＭＰＥＧ
−１で圧縮された多重化データを受信し、バッファリン
グする。一方、バッファ１１２は、インタネットを介し
てＶＲＭＬフォーマット、もしくは圧縮されたＶＲＭＬ
フォーマットを受信し、バッファリングする。その際、
ＶＲＭＬフォーマットの在処は、前述のＭＰＥＧ−１デ
ータとは異なっていても構わない。
【００１９】分離回路１１３は、バッファ１１１から与
えられるＭＰＥＧ−１多重化データから、圧縮オーディ
オデータと圧縮ビデオデータを分離する。復号器１１４
は、分離回路１１３から与えられる圧縮オーディオデー
タを復号し、復号器１１５は、分離回路１１４から与え
られる圧縮ビデオデータを復号する。復号器１１６は、
バッファ１１２に蓄積された圧縮ＶＲＭＬフォーマット
を復号する。ＶＲＭＬフォーマットが圧縮されていない
場合は、何も行わない。メモリ１１７は、復号器１１４
によって復号されたオーディオ信号を蓄積し、メモリ１
１８は、復号器１１５によって復号されたビデオ信号を
蓄積する。メモリ１１９は、復号器１１６によって復号
されたＶＲＭＬフォーマットを蓄積する。
えられるＭＰＥＧ−１多重化データから、圧縮オーディ
オデータと圧縮ビデオデータを分離する。復号器１１４
は、分離回路１１３から与えられる圧縮オーディオデー
タを復号し、復号器１１５は、分離回路１１４から与え
られる圧縮ビデオデータを復号する。復号器１１６は、
バッファ１１２に蓄積された圧縮ＶＲＭＬフォーマット
を復号する。ＶＲＭＬフォーマットが圧縮されていない
場合は、何も行わない。メモリ１１７は、復号器１１４
によって復号されたオーディオ信号を蓄積し、メモリ１
１８は、復号器１１５によって復号されたビデオ信号を
蓄積する。メモリ１１９は、復号器１１６によって復号
されたＶＲＭＬフォーマットを蓄積する。
【００２０】合成回路１２０は、メモリ１１７に蓄積さ
れたオーディオ信号、メモリ１１８に蓄積されたビデオ
信号、及びメモリ１１９に蓄積された人工シーンデータ
からシーンを合成する。その際、前記人工シーンデータ
中には合成されるシーン情報が記述されており、それに
従ってオーディオ信号が変調されたり、ビデオ信号が変
形されてシーン中のオブジェクトにマッピングされたり
する。表示回路１２１は、合成回路１２０から与えられ
るシーンを再生、表示する。
れたオーディオ信号、メモリ１１８に蓄積されたビデオ
信号、及びメモリ１１９に蓄積された人工シーンデータ
からシーンを合成する。その際、前記人工シーンデータ
中には合成されるシーン情報が記述されており、それに
従ってオーディオ信号が変調されたり、ビデオ信号が変
形されてシーン中のオブジェクトにマッピングされたり
する。表示回路１２１は、合成回路１２０から与えられ
るシーンを再生、表示する。
【００２１】図５５における、オーディオ信号、ビデオ
信号、及びＶＲＭＬフォーマットの合成再生は、以下の
ようにして実現される。バッファ１１１に対する外部か
らのＭＰＥＧ−１多重化データの取り込み終了後、復号
器１１４は圧縮オーディオデータを、復号器１１５は圧
縮ビデオデータをそれぞれ復号し、その結果として得ら
れるオーディオ信号、ビデオ信号をそれぞれメモリ１１
７、メモリ１１８に書き込む。また、バッファ１１２に
対する外部からのＶＲＭＬフォーマットの取り込み終了
後、復号器１１６は、ＶＲＭＬフォーマットが圧縮され
ている場合は復号し、圧縮されていない場合は何も行わ
ず、得られるＶＲＭＬフォーマットをメモリ１１９に書
き込む。以上の処理の終了後、すなわち１２２に示す点
線で囲まれた部分の処理の終了後、合成回路１２０、表
示回路１２１は動作を開始し、合成、再生、表示を行
う。
信号、及びＶＲＭＬフォーマットの合成再生は、以下の
ようにして実現される。バッファ１１１に対する外部か
らのＭＰＥＧ−１多重化データの取り込み終了後、復号
器１１４は圧縮オーディオデータを、復号器１１５は圧
縮ビデオデータをそれぞれ復号し、その結果として得ら
れるオーディオ信号、ビデオ信号をそれぞれメモリ１１
７、メモリ１１８に書き込む。また、バッファ１１２に
対する外部からのＶＲＭＬフォーマットの取り込み終了
後、復号器１１６は、ＶＲＭＬフォーマットが圧縮され
ている場合は復号し、圧縮されていない場合は何も行わ
ず、得られるＶＲＭＬフォーマットをメモリ１１９に書
き込む。以上の処理の終了後、すなわち１２２に示す点
線で囲まれた部分の処理の終了後、合成回路１２０、表
示回路１２１は動作を開始し、合成、再生、表示を行
う。
【００２２】一方、ビデオ信号とコンピュータグラフィ
クスを合成するためだけの目的であれば、既に現行放送
の天気予報などで用いられているクロマキー方式が知ら
れている。これは、青色等のあらかじめ規定された一色
の背景の前に人物や物体を配置して撮像を行い、その背
景色の部分を削除することで、前面の人物、物体のみを
切り出す技術である。
クスを合成するためだけの目的であれば、既に現行放送
の天気予報などで用いられているクロマキー方式が知ら
れている。これは、青色等のあらかじめ規定された一色
の背景の前に人物や物体を配置して撮像を行い、その背
景色の部分を削除することで、前面の人物、物体のみを
切り出す技術である。
【００２３】図５６は、上記クロマキー方式を用いてビ
デオ信号とコンピュータグラフィクスの合成映像を作成
し、その合成映像とオーディオ信号を圧縮、多重化する
符号化処理系の構成を示している。クロマキー処理回路
１３１は、入力されたビデオ信号から背景色に一致する
部分を削除する。合成回路１３２は、与えられた人工シ
ーンデータからコンピュータグラフィクス画像を生成す
る。メモリ１３３は、クロマキー処理回路１３１から与
えられる切り抜き映像を蓄積する。この場合、映像デー
タはそのまま蓄積し、後続する重畳回路１３５に背景色
に相当するＲＧＢ値を削除するように伝えるだけでもよ
い。メモリ１３４は、合成回路１３２によって生成され
たコンピュータグラフィクス画像を蓄積する。重畳回路
１３５は、メモリ１３４から得られるコンピュータグラ
フィクス画像の上に、メモリ１３３から得られる切り抜
き映像を上書きする。前述のように、背景色に相当する
ＲＧＢ値を検出し、ある規定された範囲内に一致した画
素のみコンピュータグラフィクス画像で置換する処理で
も構わない。
デオ信号とコンピュータグラフィクスの合成映像を作成
し、その合成映像とオーディオ信号を圧縮、多重化する
符号化処理系の構成を示している。クロマキー処理回路
１３１は、入力されたビデオ信号から背景色に一致する
部分を削除する。合成回路１３２は、与えられた人工シ
ーンデータからコンピュータグラフィクス画像を生成す
る。メモリ１３３は、クロマキー処理回路１３１から与
えられる切り抜き映像を蓄積する。この場合、映像デー
タはそのまま蓄積し、後続する重畳回路１３５に背景色
に相当するＲＧＢ値を削除するように伝えるだけでもよ
い。メモリ１３４は、合成回路１３２によって生成され
たコンピュータグラフィクス画像を蓄積する。重畳回路
１３５は、メモリ１３４から得られるコンピュータグラ
フィクス画像の上に、メモリ１３３から得られる切り抜
き映像を上書きする。前述のように、背景色に相当する
ＲＧＢ値を検出し、ある規定された範囲内に一致した画
素のみコンピュータグラフィクス画像で置換する処理で
も構わない。
【００２４】符号化器１３６は、オーディオ信号を圧縮
符号化する。符号化器１３７は、重畳回路１３５から得
られる合成映像を圧縮符号化する。バッファ１３８は、
符号化器１３６によって圧縮されたオーディオデータを
バッファリングし、バッファ１３９は、符号化器１３７
によって圧縮された合成映像データをバッファリングす
る。多重化回路１４０は、バッファ１３８に蓄積された
圧縮オーディオデータとバッファ１３９に蓄積された圧
縮合成映像データを多重化する。その際に、同期再生に
必要となる参照クロック、及びタイムスタンプが付加情
報として多重化データ中に埋め込まれる。
符号化する。符号化器１３７は、重畳回路１３５から得
られる合成映像を圧縮符号化する。バッファ１３８は、
符号化器１３６によって圧縮されたオーディオデータを
バッファリングし、バッファ１３９は、符号化器１３７
によって圧縮された合成映像データをバッファリングす
る。多重化回路１４０は、バッファ１３８に蓄積された
圧縮オーディオデータとバッファ１３９に蓄積された圧
縮合成映像データを多重化する。その際に、同期再生に
必要となる参照クロック、及びタイムスタンプが付加情
報として多重化データ中に埋め込まれる。
【００２５】ビデオ信号とコンピュータグラフィクスの
合成映像の作成は、１４１で囲んだ点線の部分で実行さ
れる。それ以外の部分は、図５３に示した符号化復号方
式の符号化部分に相当する。すなわち、まずビデオ信号
とコンピュータグラフィクスの合成を行い、その合成映
像とオーディオ信号に対して圧縮、多重化が施される。
復号側の構成は図５３とまったく同じである。
合成映像の作成は、１４１で囲んだ点線の部分で実行さ
れる。それ以外の部分は、図５３に示した符号化復号方
式の符号化部分に相当する。すなわち、まずビデオ信号
とコンピュータグラフィクスの合成を行い、その合成映
像とオーディオ信号に対して圧縮、多重化が施される。
復号側の構成は図５３とまったく同じである。
【００２６】
【発明が解決しようとする課題】図５３に示した、オー
ディオ信号、ビデオ信号の符号化復号同期再生方式は、
オーディオ信号とビデオ信号を符号化、多重化し、分離
復号するものであって、コンピュータグラフィクスなど
の人工シーンデータの扱いに関しては言及されていな
い。
ディオ信号、ビデオ信号の符号化復号同期再生方式は、
オーディオ信号とビデオ信号を符号化、多重化し、分離
復号するものであって、コンピュータグラフィクスなど
の人工シーンデータの扱いに関しては言及されていな
い。
【００２７】また、図５４に示したオーディオ信号、ビ
デオ信号、人工シーンデータの復号同期再生方式では、
復号タイミング、合成回路に各データが供給可能となる
タイミングは与えられるものの、すべてのデータを合成
するタイミング、合成映像を表示するタイミングについ
ては規定されていない。言い換えれば、合成回路自身が
自由に合成を開始してよいことになっている。また、人
工シーンデータ中に記載された離散的な時間イベントに
従って合成を開始することが示唆されている。
デオ信号、人工シーンデータの復号同期再生方式では、
復号タイミング、合成回路に各データが供給可能となる
タイミングは与えられるものの、すべてのデータを合成
するタイミング、合成映像を表示するタイミングについ
ては規定されていない。言い換えれば、合成回路自身が
自由に合成を開始してよいことになっている。また、人
工シーンデータ中に記載された離散的な時間イベントに
従って合成を開始することが示唆されている。
【００２８】しかしながら、人工シーンデータが復号時
にバッファ遅延を受けるために、合成回路１０１に渡さ
れる時点では所望の時刻を過ぎている可能性がある。こ
のため、人工シーンデータ自体を、合成の正確なタイミ
ングを与えるのに用いることはできない。また、人工シ
ーンデータの中に連続的な時間イベントが記述されてい
る場合、符号化側と復号側の合成開始時間が異なる場合
があるため、正確に一致した連続時間イベントの発生を
保証することができない。特に、動きを連続的に表現す
るアニメーションなどにおいて、動いているオブジェク
トの位置が符号化側と復号側でずれることになる。以上
の問題のため、符号化側が所望する合成画像を、復号側
で正確に一致させて合成することができないという問題
がある。
にバッファ遅延を受けるために、合成回路１０１に渡さ
れる時点では所望の時刻を過ぎている可能性がある。こ
のため、人工シーンデータ自体を、合成の正確なタイミ
ングを与えるのに用いることはできない。また、人工シ
ーンデータの中に連続的な時間イベントが記述されてい
る場合、符号化側と復号側の合成開始時間が異なる場合
があるため、正確に一致した連続時間イベントの発生を
保証することができない。特に、動きを連続的に表現す
るアニメーションなどにおいて、動いているオブジェク
トの位置が符号化側と復号側でずれることになる。以上
の問題のため、符号化側が所望する合成画像を、復号側
で正確に一致させて合成することができないという問題
がある。
【００２９】また、図５５に示したオーディオ信号、ビ
デオ信号、人工シーンデータの復号再生方式は、時間的
に連続して転送されるストリームデータには対応してい
ない。すなわち、図中、点線で囲んだ１２２の部分の処
理は再生開始前にすべて終了していなければならない。
デオ信号、人工シーンデータの復号再生方式は、時間的
に連続して転送されるストリームデータには対応してい
ない。すなわち、図中、点線で囲んだ１２２の部分の処
理は再生開始前にすべて終了していなければならない。
【００３０】また、図５６に示したオーディオ信号、ビ
デオ信号、人工シーンデータの符号化復号同期再生方式
では、符号化側で合成映像が単なる二次元画像に縮退さ
れてしまうために、人工シーンデータを利用することで
得られるインタラクション機能がまったく失われる。す
なわち、三次元空間中の視点移動、ナビゲーション等の
付加的な機能を実現することができないという問題があ
る。
デオ信号、人工シーンデータの符号化復号同期再生方式
では、符号化側で合成映像が単なる二次元画像に縮退さ
れてしまうために、人工シーンデータを利用することで
得られるインタラクション機能がまったく失われる。す
なわち、三次元空間中の視点移動、ナビゲーション等の
付加的な機能を実現することができないという問題があ
る。
【００３１】本発明の目的は、以上のような従来方式の
欠点を排除し、符号化側の所望する合成映像の生成を保
証し、時間的に連続して転送されるストリームデータへ
の対応を可能とし、復号側におけるインタラクション機
能をサポートしつつ、オーディオ信号とビデオ信号と人
工シーンデータの符号化復号同期再生を実現する手段を
提供することにある。
欠点を排除し、符号化側の所望する合成映像の生成を保
証し、時間的に連続して転送されるストリームデータへ
の対応を可能とし、復号側におけるインタラクション機
能をサポートしつつ、オーディオ信号とビデオ信号と人
工シーンデータの符号化復号同期再生を実現する手段を
提供することにある。
【００３２】
【課題を解決するための手段】本発明の第１の符号化装
置は、オーディオ信号を符号化する手段と、ビデオ信号
を符号化する手段と、合成シーンに関する記述、変更等
を受け付けるインタフェース手段と、前記インタフェー
ス手段から与えられるシーンデータを符号化する手段
と、前記オーディオ信号符号化手段から与えられるオー
ディオ信号と、前記ビデオ信号符号化手段から与えられ
るビデオ信号と、前記シーンデータ符号化手段から与え
られる合成シーンデータからシーンを合成する手段と、
前記合成手段から与えられる合成映像信号とオーディオ
信号を再生表示する手段と、前記オーディオ信号符号化
手段と前記ビデオ信号符号化手段と前記シーンデータ符
号化手段と前記合成手段にクロックを提供する手段と、
前記オーディオ信号符号化手段から与えられる時刻情報
と圧縮オーディオデータと、前記ビデオ信号符号化手段
から与えられる時刻情報と圧縮ビデオデータと、前記シ
ーンデータ符号化手段から与えられる時刻情報と圧縮シ
ーンデータと、前記合成手段から与えられる時刻情報
と、前記クロック提供手段から与えられるクロック値か
らビットストリームを作成する多重化手段を備えること
を特徴とする。
置は、オーディオ信号を符号化する手段と、ビデオ信号
を符号化する手段と、合成シーンに関する記述、変更等
を受け付けるインタフェース手段と、前記インタフェー
ス手段から与えられるシーンデータを符号化する手段
と、前記オーディオ信号符号化手段から与えられるオー
ディオ信号と、前記ビデオ信号符号化手段から与えられ
るビデオ信号と、前記シーンデータ符号化手段から与え
られる合成シーンデータからシーンを合成する手段と、
前記合成手段から与えられる合成映像信号とオーディオ
信号を再生表示する手段と、前記オーディオ信号符号化
手段と前記ビデオ信号符号化手段と前記シーンデータ符
号化手段と前記合成手段にクロックを提供する手段と、
前記オーディオ信号符号化手段から与えられる時刻情報
と圧縮オーディオデータと、前記ビデオ信号符号化手段
から与えられる時刻情報と圧縮ビデオデータと、前記シ
ーンデータ符号化手段から与えられる時刻情報と圧縮シ
ーンデータと、前記合成手段から与えられる時刻情報
と、前記クロック提供手段から与えられるクロック値か
らビットストリームを作成する多重化手段を備えること
を特徴とする。
【００３３】本発明の第２の符号化装置は、本発明の第
１の符号化装置において、さらに前記合成手段の状態を
検出し、前記ビデオ信号の符号化手段の動作を制御する
手段を備えたことを特徴とする。
１の符号化装置において、さらに前記合成手段の状態を
検出し、前記ビデオ信号の符号化手段の動作を制御する
手段を備えたことを特徴とする。
【００３４】本発明の第３の符号化装置は、本発明の第
１の符号化装置において、さらに前記オーディオ信号の
符号化手段の状態と、前記ビデオ信号の符号化手段の状
態と、前記シーンデータの符号化手段の状態とを検出
し、前記合成手段の動作を制御する手段を備えたことを
特徴とする。
１の符号化装置において、さらに前記オーディオ信号の
符号化手段の状態と、前記ビデオ信号の符号化手段の状
態と、前記シーンデータの符号化手段の状態とを検出
し、前記合成手段の動作を制御する手段を備えたことを
特徴とする。
【００３５】本発明の第４の符号化装置は、本発明の第
１の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
１の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００３６】本発明の第５の符号化装置は、本発明の第
２の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
２の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００３７】本発明の第６の符号化装置は、本発明の第
３の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
３の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段にクロックを提供する手段と、シーンデータの符
号化手段と合成手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００３８】本発明の第７の符号化装置は、本発明の第
１の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
１の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００３９】本発明の第８の符号化装置は、本発明の第
２の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
２の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００４０】本発明の第９の符号化装置は、本発明の第
３の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
３の符号化装置において、さらにオーディオ信号の符号
化手段にクロックを提供する手段と、ビデオ信号の符号
化手段と合成手段にクロックを提供する手段と、シーン
データの符号化手段にクロックを提供する手段とがそれ
ぞれ独立して存在し、多重化手段は前記クロック値をそ
れぞれ独立して多重化することを特徴とする。
【００４１】本発明の第１の復号装置は、ビットストリ
ームからオーディオ信号の圧縮データと時刻情報と、ビ
デオ信号の圧縮データと時刻情報と、シーンデータの圧
縮データと時刻情報と、シーン合成の時刻情報と、クロ
ック情報とを分離する手段と、前記オーディオ信号の圧
縮データと時刻情報からオーディオ信号を復号する手段
と、前記ビデオ信号の圧縮データと時刻情報からビデオ
信号を復号する手段と、前記シーンデータの圧縮データ
と時刻情報からシーンデータを復号する手段と、前記分
離手段から与えられるシーン合成の時刻情報と、前記オ
ーディオ信号の復号手段から与えられるオーディオ信号
と、前記ビデオ信号の復号手段から与えられるビデオ信
号と、前記シーンデータの復号手段から与えられるシー
ンデータからシーンを合成する手段と、前記分離手段か
ら与えられるクロック値に従ってクロックを発生し、前
記オーディオ信号の復号手段と、前記ビデオ信号の復号
手段と、前記シーンデータの復号手段と、前記合成手段
にクロックを提供する手段と、前記合成手段から与えら
れる合成映像信号とオーディオ信号を再生表示する手段
と、前記合成映像に対する観察者からのインタラクショ
ンを受け付けるインタフェース手段とを備えることを特
徴とする。
ームからオーディオ信号の圧縮データと時刻情報と、ビ
デオ信号の圧縮データと時刻情報と、シーンデータの圧
縮データと時刻情報と、シーン合成の時刻情報と、クロ
ック情報とを分離する手段と、前記オーディオ信号の圧
縮データと時刻情報からオーディオ信号を復号する手段
と、前記ビデオ信号の圧縮データと時刻情報からビデオ
信号を復号する手段と、前記シーンデータの圧縮データ
と時刻情報からシーンデータを復号する手段と、前記分
離手段から与えられるシーン合成の時刻情報と、前記オ
ーディオ信号の復号手段から与えられるオーディオ信号
と、前記ビデオ信号の復号手段から与えられるビデオ信
号と、前記シーンデータの復号手段から与えられるシー
ンデータからシーンを合成する手段と、前記分離手段か
ら与えられるクロック値に従ってクロックを発生し、前
記オーディオ信号の復号手段と、前記ビデオ信号の復号
手段と、前記シーンデータの復号手段と、前記合成手段
にクロックを提供する手段と、前記合成手段から与えら
れる合成映像信号とオーディオ信号を再生表示する手段
と、前記合成映像に対する観察者からのインタラクショ
ンを受け付けるインタフェース手段とを備えることを特
徴とする。
【００４２】本発明の第２の復号装置は、本発明の第１
の復号装置において、さらに分離手段が複数の独立した
クロック値を分離し、それぞれが独立に存在するオーデ
ィオ信号の復号手段にクロックを提供する手段と、ビデ
オ信号の復号手段にクロックを提供する手段と、シーン
データの復号手段と合成手段にクロックを提供する手段
への入力となることを特徴とする。
の復号装置において、さらに分離手段が複数の独立した
クロック値を分離し、それぞれが独立に存在するオーデ
ィオ信号の復号手段にクロックを提供する手段と、ビデ
オ信号の復号手段にクロックを提供する手段と、シーン
データの復号手段と合成手段にクロックを提供する手段
への入力となることを特徴とする。
【００４３】本発明の第３の復号装置は、本発明の第１
の復号装置において、さらに分離手段が複数の独立した
クロック値を分離し、それぞれが独立に存在するオーデ
ィオ信号の復号手段にクロックを提供する手段と、ビデ
オ信号の復号手段と合成手段にクロックを提供する手段
と、シーンデータの復号手段にクロックを提供する手段
への入力となることを特徴とする。
の復号装置において、さらに分離手段が複数の独立した
クロック値を分離し、それぞれが独立に存在するオーデ
ィオ信号の復号手段にクロックを提供する手段と、ビデ
オ信号の復号手段と合成手段にクロックを提供する手段
と、シーンデータの復号手段にクロックを提供する手段
への入力となることを特徴とする。
【００４４】本発明の第１の符号化復号システムは、本
発明の第１の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
発明の第１の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
【００４５】本発明の第２の符号化復号システムは、本
発明の第２の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
発明の第２の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
【００４６】本発明の第３の符号化復号システムは、本
発明の第３の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
発明の第３の符号化装置と本発明の第１の復号装置から
構成されることを特徴とする。
【００４７】本発明の第４の符号化復号システムは、本
発明の第４の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
発明の第４の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
【００４８】本発明の第５の符号化復号システムは、本
発明の第５の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
発明の第５の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
【００４９】本発明の第６の符号化復号システムは、本
発明の第６の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
発明の第６の符号化装置と本発明の第２の復号装置から
構成されることを特徴とする。
【００５０】本発明の第７の符号化復号システムは、本
発明の第７の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
発明の第７の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
【００５１】本発明の第８の符号化復号システムは、本
発明の第８の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
発明の第８の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
【００５２】本発明の第９の符号化復号システムは、本
発明の第９の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
発明の第９の符号化装置と本発明の第３の復号装置から
構成されることを特徴とする。
【００５３】また、復号のタイミングを示す時刻情報が
合成のタイミングを示す時刻情報を兼ねるか否かを示す
フラグを付加し、前記フラグを前記復号のタイミングを
示す時刻情報に付加し、オーディオ信号とビデオ信号と
シーンデータの多重化ビットストリームを生成すること
も本発明の特徴である。
合成のタイミングを示す時刻情報を兼ねるか否かを示す
フラグを付加し、前記フラグを前記復号のタイミングを
示す時刻情報に付加し、オーディオ信号とビデオ信号と
シーンデータの多重化ビットストリームを生成すること
も本発明の特徴である。
【００５４】本発明の第１０の符号化装置は、前記多重
化ビットストリームを生成することを特徴とする。
化ビットストリームを生成することを特徴とする。
【００５５】本発明の第４の復号装置は、前記多重化ビ
ットストリームを復号することを特徴とする。
ットストリームを復号することを特徴とする。
【００５６】本発明の第１０の符号化復号システムは、
本発明の第１０の符号化装置と本発明の第４の復号装置
から構成される符号化復号システムであることを特徴と
する。
本発明の第１０の符号化装置と本発明の第４の復号装置
から構成される符号化復号システムであることを特徴と
する。
【００５７】
【発明の実施の形態】図１は、本発明の符号化装置の第
１の実施の形態を示すブロック図である。図１の符号化
装置は、オーディオ信号の符号化回路１と、ビデオ信号
の符号化回路２と、シーンデータの入力に関するインタ
フェース回路３と、シーンデータの符号化回路４と、合
成回路５と、多重化回路６と、表示回路７と、クロック
発生回路８とから構成される。
１の実施の形態を示すブロック図である。図１の符号化
装置は、オーディオ信号の符号化回路１と、ビデオ信号
の符号化回路２と、シーンデータの入力に関するインタ
フェース回路３と、シーンデータの符号化回路４と、合
成回路５と、多重化回路６と、表示回路７と、クロック
発生回路８とから構成される。
【００５８】オーディオ信号の符号化回路１は、入力さ
れたオーディオ信号を圧縮し、その圧縮データと、復号
タイミングを示すタイムスタンプと、局所復号を行った
オーディオデータとを出力とする。ビデオ信号の符号化
回路２は、入力されたビデオ信号を圧縮し、その圧縮デ
ータと、復号タイミングを示すタイムスタンプと、局所
復号を行ったビデオデータとを出力とする。ビデオ信号
の代わりに、テキストデータ、グラフィクスデータなど
が符号化される場合もある。
れたオーディオ信号を圧縮し、その圧縮データと、復号
タイミングを示すタイムスタンプと、局所復号を行った
オーディオデータとを出力とする。ビデオ信号の符号化
回路２は、入力されたビデオ信号を圧縮し、その圧縮デ
ータと、復号タイミングを示すタイムスタンプと、局所
復号を行ったビデオデータとを出力とする。ビデオ信号
の代わりに、テキストデータ、グラフィクスデータなど
が符号化される場合もある。
【００５９】シーンデータの入力に関するインタフェー
ス回路３は、送信者による合成シーンに関する記述、更
新等を受け付け、シーンデータとして出力する。インタ
フェースとしては、キーボード入力、マウス入力等があ
る。シーンデータの符号化回路４は、インタフェース回
路３から与えられるシーンデータを入力とし、その圧縮
データと、復号タイミングを示すタイムスタンプと、局
所復号を行ったシーンデータとを出力とする。それぞれ
の符号化回路の発生するタイムスタンプは、従来の技術
に述べたＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１
１ Ｎ１８２５と同じものでもよく、復号タイムスタン
プと合成タイムスタンプが用いられる。
ス回路３は、送信者による合成シーンに関する記述、更
新等を受け付け、シーンデータとして出力する。インタ
フェースとしては、キーボード入力、マウス入力等があ
る。シーンデータの符号化回路４は、インタフェース回
路３から与えられるシーンデータを入力とし、その圧縮
データと、復号タイミングを示すタイムスタンプと、局
所復号を行ったシーンデータとを出力とする。それぞれ
の符号化回路の発生するタイムスタンプは、従来の技術
に述べたＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１
１ Ｎ１８２５と同じものでもよく、復号タイムスタン
プと合成タイムスタンプが用いられる。
【００６０】復号タイムスタンプは内挿予測画像に対し
てのみ用いられ、その他の予測モードのビデオ、および
オーディオ、シーンデータに対しては、合成タイムスタ
ンプのみが出力される。すなわち、復号タイミングと、
復号データが合成回路５によって利用可能なタイミング
は等しい、とする。ただし、符号化装置、もしくは蓄積
媒体と復号装置の間が一定遅延になっていることが重要
であり、復号装置における復号は、上記タイムスタンプ
によって示される時刻に対して一定時刻後に終了する構
成でも構わない。
てのみ用いられ、その他の予測モードのビデオ、および
オーディオ、シーンデータに対しては、合成タイムスタ
ンプのみが出力される。すなわち、復号タイミングと、
復号データが合成回路５によって利用可能なタイミング
は等しい、とする。ただし、符号化装置、もしくは蓄積
媒体と復号装置の間が一定遅延になっていることが重要
であり、復号装置における復号は、上記タイムスタンプ
によって示される時刻に対して一定時刻後に終了する構
成でも構わない。
【００６１】合成回路５は、オーディオ信号の符号化回
路１から与えられるオーディオ信号と、ビデオ信号の符
号化回路２から与えられるビデオ信号と、シーンデータ
の符号化回路４から与えられるシーンデータを入力と
し、シーンデータ中に記載されたシーン記述に従って合
成を行い、合成映像とオーディオ信号、および合成タイ
ミングを示すタイムスタンプを出力する。このタイムス
タンプはＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１
Ｎ１８２５には示されていないものであり、本発明で
は以下、表示タイムスタンプ、と呼ぶ。すなわち、合成
タイミングと表示タイミングは等しい、とする。ただ
し、符号化装置、もしくは蓄積媒体と復号装置の間が一
定遅延になっていることが重要であり、復号装置におけ
る合成は、上記タイムスタンプによって示される時刻に
対して一定時刻後に終了する構成でも構わない。
路１から与えられるオーディオ信号と、ビデオ信号の符
号化回路２から与えられるビデオ信号と、シーンデータ
の符号化回路４から与えられるシーンデータを入力と
し、シーンデータ中に記載されたシーン記述に従って合
成を行い、合成映像とオーディオ信号、および合成タイ
ミングを示すタイムスタンプを出力する。このタイムス
タンプはＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１
Ｎ１８２５には示されていないものであり、本発明で
は以下、表示タイムスタンプ、と呼ぶ。すなわち、合成
タイミングと表示タイミングは等しい、とする。ただ
し、符号化装置、もしくは蓄積媒体と復号装置の間が一
定遅延になっていることが重要であり、復号装置におけ
る合成は、上記タイムスタンプによって示される時刻に
対して一定時刻後に終了する構成でも構わない。
【００６２】多重化回路６は、オーディオ信号の符号化
回路１から与えられる圧縮データと復号タイミングを示
すタイムスタンプと、ビデオ信号の符号化回路２から与
えられる圧縮データと復号タイミングを示すタイムスタ
ンプと、シーンデータの符号化回路４から与えられる圧
縮データと復号タイミングを示すタイムスタンプと、合
成回路５から与えられる合成タイミングを示すタイムス
タンプと、後述するクロック発生回路８から与えられる
クロックを入力とし、ビットストリームを生成して出力
する。
回路１から与えられる圧縮データと復号タイミングを示
すタイムスタンプと、ビデオ信号の符号化回路２から与
えられる圧縮データと復号タイミングを示すタイムスタ
ンプと、シーンデータの符号化回路４から与えられる圧
縮データと復号タイミングを示すタイムスタンプと、合
成回路５から与えられる合成タイミングを示すタイムス
タンプと、後述するクロック発生回路８から与えられる
クロックを入力とし、ビットストリームを生成して出力
する。
【００６３】表示回路７は、合成回路５から与えられる
合成映像信号とオーディオ信号を入力とし、映像に関し
てはディスプレイ、オーディオに関してはスピーカー等
のデバイスを介して表示、再生を行う。クロック発生回
路８はクロックを生成し、オーディオ信号の符号化回路
１、ビデオ信号の符号化回路２、シーンデータの符号化
回路４、合成回路５へのクロック入力とする。また、多
重化回路６に対してもクロックを出力する。
合成映像信号とオーディオ信号を入力とし、映像に関し
てはディスプレイ、オーディオに関してはスピーカー等
のデバイスを介して表示、再生を行う。クロック発生回
路８はクロックを生成し、オーディオ信号の符号化回路
１、ビデオ信号の符号化回路２、シーンデータの符号化
回路４、合成回路５へのクロック入力とする。また、多
重化回路６に対してもクロックを出力する。
【００６４】図２は、図１のオーディオ信号の符号化回
路１、ビデオ信号の符号化回路２、シーンデータの符号
化回路４の詳細を示したものである。入力信号はまった
く異なるが、それぞれの符号化回路の構成は、機能的に
は共通して符号化器１１、復号器１２、メモリ１３、バ
ッファ１４、バッファ１５から構成される。符号化器１
１は、入力信号と後述するメモリ１３から与えられる局
所復号データを入力として、圧縮データを生成する。ま
た、復号タイミングを示すタイムスタンプを出力する。
例えば、符号化終了時の時刻を出力する。復号器１２
は、符号化器１１から与えられる圧縮データと、メモリ
１３から与えられる局所復号データを入力として、新た
な局所復号データを作成する。メモリ１３は、復号器１
２から与えられる局所復号データを蓄積し、これを符号
化器１１、および合成回路５への出力とする。バッファ
１４は符号化器１１から与えられる復号タイミングを示
すタイムスタンプをバッファリングし、多重化回路６へ
の出力とする。バッファ１５は、符号化器１１から与え
られる圧縮データをバッファリングし、多重化回路６へ
の出力とする。さらに、クロック発生回路８からクロッ
クが与えられ、これは符号化器１１、復号器１２のクロ
ック入力となる。
路１、ビデオ信号の符号化回路２、シーンデータの符号
化回路４の詳細を示したものである。入力信号はまった
く異なるが、それぞれの符号化回路の構成は、機能的に
は共通して符号化器１１、復号器１２、メモリ１３、バ
ッファ１４、バッファ１５から構成される。符号化器１
１は、入力信号と後述するメモリ１３から与えられる局
所復号データを入力として、圧縮データを生成する。ま
た、復号タイミングを示すタイムスタンプを出力する。
例えば、符号化終了時の時刻を出力する。復号器１２
は、符号化器１１から与えられる圧縮データと、メモリ
１３から与えられる局所復号データを入力として、新た
な局所復号データを作成する。メモリ１３は、復号器１
２から与えられる局所復号データを蓄積し、これを符号
化器１１、および合成回路５への出力とする。バッファ
１４は符号化器１１から与えられる復号タイミングを示
すタイムスタンプをバッファリングし、多重化回路６へ
の出力とする。バッファ１５は、符号化器１１から与え
られる圧縮データをバッファリングし、多重化回路６へ
の出力とする。さらに、クロック発生回路８からクロッ
クが与えられ、これは符号化器１１、復号器１２のクロ
ック入力となる。
【００６５】この図ではメモリ１３に蓄積された局所復
号データを符号化器１１、復号器１２への入力として後
続する符号化に用いているが、静止画像の符号化のよう
に、後続する符号化に用いない場合もある。
号データを符号化器１１、復号器１２への入力として後
続する符号化に用いているが、静止画像の符号化のよう
に、後続する符号化に用いない場合もある。
【００６６】図３は、図１の合成回路５の詳細を示した
ものであり、合成回路５はシーン生成回路２０１、バッ
ファ２０２、変換処理回路２０３、テクスチャ生成回路
２０４、ラスター化回路２０５、遅延回路２０６、フレ
ームバッファ２０７から構成される。
ものであり、合成回路５はシーン生成回路２０１、バッ
ファ２０２、変換処理回路２０３、テクスチャ生成回路
２０４、ラスター化回路２０５、遅延回路２０６、フレ
ームバッファ２０７から構成される。
【００６７】シーン生成回路２０１は、符号化回路４か
ら与えられるシーンデータを入力とし、シーングラフを
生成し、シーンの描画命令と中間データを出力すると共
に、合成タイミングを示すタイムスタンプを出力する。
二次元の場合、シーン中のオブジェクト毎に、座標デー
タ、グラフィクスデータ、テキストデータなどが生成さ
れる。また、それぞれのオブジェクトの前後関係などが
付加される。三次元の場合、さらにカメラの設定、視野
角の設定、光源の設定、視野の外にあるオブジェクトの
削除、などが行われる。バッファ２０２は、シーン生成
回路２０１から与えられる合成タイミングを示すタイム
スタンプをバッファリングする。
ら与えられるシーンデータを入力とし、シーングラフを
生成し、シーンの描画命令と中間データを出力すると共
に、合成タイミングを示すタイムスタンプを出力する。
二次元の場合、シーン中のオブジェクト毎に、座標デー
タ、グラフィクスデータ、テキストデータなどが生成さ
れる。また、それぞれのオブジェクトの前後関係などが
付加される。三次元の場合、さらにカメラの設定、視野
角の設定、光源の設定、視野の外にあるオブジェクトの
削除、などが行われる。バッファ２０２は、シーン生成
回路２０１から与えられる合成タイミングを示すタイム
スタンプをバッファリングする。
【００６８】変換処理回路２０３は、シーン生成回路２
０１から与えられるシーンの描画命令と中間データを入
力とし、座標変換、光源計算、クリッピングなどの変換
処理を実行し、新たな中間データを出力する。また、後
述するテクスチャ生成回路２０４からテクスチャを受け
取り、シーン中のオブジェクトにマッピングを行う。二
次元の場合、オブジェクトの移動、回転、拡大、縮小な
どの処理が実行される。三次元の場合、さらに光源の効
果、奥行き方向の隠面処理などが実行される。これによ
り、現在の視点から見えるシーン中のオブジェクト毎の
位置情報、色情報が決定され、出力される。
０１から与えられるシーンの描画命令と中間データを入
力とし、座標変換、光源計算、クリッピングなどの変換
処理を実行し、新たな中間データを出力する。また、後
述するテクスチャ生成回路２０４からテクスチャを受け
取り、シーン中のオブジェクトにマッピングを行う。二
次元の場合、オブジェクトの移動、回転、拡大、縮小な
どの処理が実行される。三次元の場合、さらに光源の効
果、奥行き方向の隠面処理などが実行される。これによ
り、現在の視点から見えるシーン中のオブジェクト毎の
位置情報、色情報が決定され、出力される。
【００６９】テクスチャ生成回路２０４は、符号化回路
２から与えられるビデオデータとシーン生成回路２０１
から与えられる描画命令と変換処理回路２０３から与え
られる座標情報を入力とし、シーン中のオブジェクトに
マッピングされるビデオデータをテクスチャに変形して
出力する。ただし、本発明では合成はフレーム単位に繰
り返される場合を前提としており、ビデオデータは一枚
の画像である場合が一般的である。
２から与えられるビデオデータとシーン生成回路２０１
から与えられる描画命令と変換処理回路２０３から与え
られる座標情報を入力とし、シーン中のオブジェクトに
マッピングされるビデオデータをテクスチャに変形して
出力する。ただし、本発明では合成はフレーム単位に繰
り返される場合を前提としており、ビデオデータは一枚
の画像である場合が一般的である。
【００７０】ラスター化回路２０５は、変換処理回路２
０３から中間データを受け取り、ピクセル単位のラスタ
ーデータに変換を行う。遅延回路２０６は、符号化回路
１から与えられるオーディオデータを入力とし、シーン
生成回路２０１からラスター化回路２０５に至る処理時
間を考慮して遅延を与え、表示回路７への出力とする。
フレームバッファ２０７は、ラスター化回路２０５から
与えられるラスターデータを蓄積し、表示回路７への出
力とする。シーン生成回路２０１、変換処理回路２０
３、テクスチャ生成回路２０４、ラスター化回路２０５
は、それぞれクロック発生回路８からクロックを与えら
れる。
０３から中間データを受け取り、ピクセル単位のラスタ
ーデータに変換を行う。遅延回路２０６は、符号化回路
１から与えられるオーディオデータを入力とし、シーン
生成回路２０１からラスター化回路２０５に至る処理時
間を考慮して遅延を与え、表示回路７への出力とする。
フレームバッファ２０７は、ラスター化回路２０５から
与えられるラスターデータを蓄積し、表示回路７への出
力とする。シーン生成回路２０１、変換処理回路２０
３、テクスチャ生成回路２０４、ラスター化回路２０５
は、それぞれクロック発生回路８からクロックを与えら
れる。
【００７１】図４５は、図１における合成回路５の他の
実施の形態を示したものであり、合成回路５は、インタ
フェース回路２１、集中演算回路（ＣＰＵ）２２、変換
処理回路２３、ラスター化回路２４、テクスチャ生成回
路２５、フレームバッファ２６、遅延回路２７、カウン
タ２８、メモリ２９によって構成することができる。そ
れぞれの回路はバスで結合されている。
実施の形態を示したものであり、合成回路５は、インタ
フェース回路２１、集中演算回路（ＣＰＵ）２２、変換
処理回路２３、ラスター化回路２４、テクスチャ生成回
路２５、フレームバッファ２６、遅延回路２７、カウン
タ２８、メモリ２９によって構成することができる。そ
れぞれの回路はバスで結合されている。
【００７２】インタフェース回路２１は、符号化回路１
から与えられるオーディオデータ、符号化回路２から与
えられるビデオデータ、符号化回路４から与えられるシ
ーンデータを入力とし、また多重化回路６に対して後述
する合成タイミングを示すタイムスタンプを出力とし、
バスに繋がれた各回路と外部とのインタフェースとして
機能する。
から与えられるオーディオデータ、符号化回路２から与
えられるビデオデータ、符号化回路４から与えられるシ
ーンデータを入力とし、また多重化回路６に対して後述
する合成タイミングを示すタイムスタンプを出力とし、
バスに繋がれた各回路と外部とのインタフェースとして
機能する。
【００７３】ＣＰＵ２２は、シーン合成に必要な初期段
階の処理、符号化回路４から与えられるシーンデータか
らのシーングラフの生成、前記シーングラフの解析によ
る各回路への動作割り当て、より一般的な各回路資源の
スケジュール管理、などのソフトウェア処理を行う。ま
た、合成タイミングを示すタイムスタンプをインタフェ
ース回路２１に出力すると共に、後述するカウンタ２８
から与えられるクロック計数値を用いて動作周波数制御
のエミュレーションを行う。
階の処理、符号化回路４から与えられるシーンデータか
らのシーングラフの生成、前記シーングラフの解析によ
る各回路への動作割り当て、より一般的な各回路資源の
スケジュール管理、などのソフトウェア処理を行う。ま
た、合成タイミングを示すタイムスタンプをインタフェ
ース回路２１に出力すると共に、後述するカウンタ２８
から与えられるクロック計数値を用いて動作周波数制御
のエミュレーションを行う。
【００７４】変換処理回路２３は、ＣＰＵ２２からの描
画命令に従い、図３の変換処理回路２０３と同様の処理
を行う。ラスター化処理回路２４は、ＣＰＵ２２からの
描画命令に従い、図３のラスター化回路２０５と同様の
処理を行う。結果のラスターデータは、後述するフレー
ムバッファ２６に書き込まれる。テクスチャ生成回路２
５は、ＣＰＵ２２からの描画命令に従い、図３のテクス
チャ生成回路２０４と同様の処理を行う。フレームバッ
ファ２６は、ラスター化回路２４から得られるラスター
データを蓄積し、表示回路７への出力とする。遅延回路
２７は、一連の合成処理に係る演算時間を考慮し、符号
化回路１から得られるオーディオ信号に遅延を与え、表
示回路７への出力とする。カウンタ２８は、クロック発
生回路８から与えられるクロック数のカウントを行い、
必要に応じてそのカウンタ値をＣＰＵ２２への出力とす
る。
画命令に従い、図３の変換処理回路２０３と同様の処理
を行う。ラスター化処理回路２４は、ＣＰＵ２２からの
描画命令に従い、図３のラスター化回路２０５と同様の
処理を行う。結果のラスターデータは、後述するフレー
ムバッファ２６に書き込まれる。テクスチャ生成回路２
５は、ＣＰＵ２２からの描画命令に従い、図３のテクス
チャ生成回路２０４と同様の処理を行う。フレームバッ
ファ２６は、ラスター化回路２４から得られるラスター
データを蓄積し、表示回路７への出力とする。遅延回路
２７は、一連の合成処理に係る演算時間を考慮し、符号
化回路１から得られるオーディオ信号に遅延を与え、表
示回路７への出力とする。カウンタ２８は、クロック発
生回路８から与えられるクロック数のカウントを行い、
必要に応じてそのカウンタ値をＣＰＵ２２への出力とす
る。
【００７５】この場合、ＣＰＵ２２、変換処理回路２
３、ラスター化回路２４、テクスチャ回路２５の動作周
波数は、別のクロック発生回路から与えられる。ただ
し、クロック発生回路８から与えられるクロックを用い
る場合も考えられる。メモリ２９は、ＣＰＵ２２、変換
処理回路２３、ラスター化回路２４、テクスチャ生成回
路２５、それぞれの演算に必要な制御データ、中間デー
タの蓄積のために用いられる。
３、ラスター化回路２４、テクスチャ回路２５の動作周
波数は、別のクロック発生回路から与えられる。ただ
し、クロック発生回路８から与えられるクロックを用い
る場合も考えられる。メモリ２９は、ＣＰＵ２２、変換
処理回路２３、ラスター化回路２４、テクスチャ生成回
路２５、それぞれの演算に必要な制御データ、中間デー
タの蓄積のために用いられる。
【００７６】図４は、図１の多重化回路６の詳細を示す
ものであり、マルチプレクサ３１、カウンタ３２、付加
情報保持回路３３、バッファ３４から構成される。マル
チプレクサ３１は、符号化回路１から与えられるオーデ
ィオ信号の圧縮データと復号タイミングを示すタイムス
タンプ、符号化回路２から与えられるビデオ信号の圧縮
データと復号タイミングを示すタイムスタンプ、符号化
回路４から与えられるシーンデータの圧縮データと復号
タイミングを示すタイムスタンプ、合成回路５から与え
られる合成タイミングを示すタイムスタンプ、後述する
カウンタ３２から与えられるクロック計数値、後述する
付加情報保持回路３３から与えられる付加情報、を多重
化し、ビットストリームを生成し、出力する。
ものであり、マルチプレクサ３１、カウンタ３２、付加
情報保持回路３３、バッファ３４から構成される。マル
チプレクサ３１は、符号化回路１から与えられるオーデ
ィオ信号の圧縮データと復号タイミングを示すタイムス
タンプ、符号化回路２から与えられるビデオ信号の圧縮
データと復号タイミングを示すタイムスタンプ、符号化
回路４から与えられるシーンデータの圧縮データと復号
タイミングを示すタイムスタンプ、合成回路５から与え
られる合成タイミングを示すタイムスタンプ、後述する
カウンタ３２から与えられるクロック計数値、後述する
付加情報保持回路３３から与えられる付加情報、を多重
化し、ビットストリームを生成し、出力する。
【００７７】カウンタ３２は、クロック発生回路８から
与えられるクロックをカウントし、そのカウント数を出
力とする。付加情報保持回路３３は、ビットストリーム
の作成に付加される予め設定されたオーバーヘッド情報
を保持し、そのオーバーヘッド情報を出力とする。バッ
ファ３４は、マルチプレクサ３１から与えられるビット
ストリームをバッファリングし、そのビットストリーム
を出力とする。これは伝送系への応用には必要である
が、蓄積系への応用の場合は必ずしも必要ではない。
与えられるクロックをカウントし、そのカウント数を出
力とする。付加情報保持回路３３は、ビットストリーム
の作成に付加される予め設定されたオーバーヘッド情報
を保持し、そのオーバーヘッド情報を出力とする。バッ
ファ３４は、マルチプレクサ３１から与えられるビット
ストリームをバッファリングし、そのビットストリーム
を出力とする。これは伝送系への応用には必要である
が、蓄積系への応用の場合は必ずしも必要ではない。
【００７８】次に、本発明の符号化装置の動作につい
て、図１乃至図４及び図４５を参照しながら説明する。
オーディオ信号の符号化回路１、ビデオ信号の符号化回
路２、シーンデータの符号化回路４は、それぞれの入力
信号の圧縮、符号化を実行するとともに、復号タイミン
グを示すタイムスタンプをそれぞれ出力する。図２に示
すように、まず符号化器１１が入力信号とメモリ１３か
ら与えられる局所復号データを用いて圧縮を行い、圧縮
データをバッファ１５に書き出す。符号化器１１は、同
時に復号タイミングを示すタイムスタンプを出力し、そ
れをバッファ１４に書き込む。次に、復号器１２は、符
号化器１１から与えられる圧縮データを復号し、メモリ
１３から与えられる局所復号データに加算することで、
新たな局所復号データを作成する。この局所復号データ
は、新たにメモリ１３に書き込まれる。
て、図１乃至図４及び図４５を参照しながら説明する。
オーディオ信号の符号化回路１、ビデオ信号の符号化回
路２、シーンデータの符号化回路４は、それぞれの入力
信号の圧縮、符号化を実行するとともに、復号タイミン
グを示すタイムスタンプをそれぞれ出力する。図２に示
すように、まず符号化器１１が入力信号とメモリ１３か
ら与えられる局所復号データを用いて圧縮を行い、圧縮
データをバッファ１５に書き出す。符号化器１１は、同
時に復号タイミングを示すタイムスタンプを出力し、そ
れをバッファ１４に書き込む。次に、復号器１２は、符
号化器１１から与えられる圧縮データを復号し、メモリ
１３から与えられる局所復号データに加算することで、
新たな局所復号データを作成する。この局所復号データ
は、新たにメモリ１３に書き込まれる。
【００７９】シーンデータに対するインタフェース回路
３は、キーボード入力、マウス入力など多様なシーン設
計、シーン更新の入力形態に対応し、一貫したシーンデ
ータに変換して符号化回路４への出力とする。具体的な
シーンデータに関しては、ビデオのフレーム内符号化、
フレーム間符号化の概念と同様に、データ置換とデータ
差分の利用が考えられる。この切り替えは、インタフェ
ース回路３からの指示に従い、シーンデータの符号化回
路４が担当する。また、ＶＲＭＬはもともとテキストデ
ータであることから、圧縮を行わず、シーンデータをそ
のまま転送するモードも考えられる。
３は、キーボード入力、マウス入力など多様なシーン設
計、シーン更新の入力形態に対応し、一貫したシーンデ
ータに変換して符号化回路４への出力とする。具体的な
シーンデータに関しては、ビデオのフレーム内符号化、
フレーム間符号化の概念と同様に、データ置換とデータ
差分の利用が考えられる。この切り替えは、インタフェ
ース回路３からの指示に従い、シーンデータの符号化回
路４が担当する。また、ＶＲＭＬはもともとテキストデ
ータであることから、圧縮を行わず、シーンデータをそ
のまま転送するモードも考えられる。
【００８０】合成回路５は、オーディオ信号の符号化回
路１から得られるオーディオデータと、ビデオ信号の符
号化回路２から得られるビデオデータと、シーンデータ
の符号化回路４から得られるシーンデータを用いて、合
成を実行する。同時に、合成タイミングを示すタイムス
タンプを出力する。この場合、それぞれのデータには、
符号化回路内のメモリに蓄積された局所復号データをそ
のまま用いることができる。より詳細には、図３に示す
ように、まずシーン生成回路２０１が、符号化回路４か
ら与えられるシーンデータを基にシーングラフを作成
し、シーンの描画命令と中間データを出力する。その
際、合成タイミングを示すタイムスタンプを同時に出力
し、バッファ２０２に書き込む。次に、変換処理回路２
０３が、シーン生成回路２０１から与えられる描画命令
に基づき、前述の変換処理を実行し、オブジェクトの座
標情報、色情報を出力する。
路１から得られるオーディオデータと、ビデオ信号の符
号化回路２から得られるビデオデータと、シーンデータ
の符号化回路４から得られるシーンデータを用いて、合
成を実行する。同時に、合成タイミングを示すタイムス
タンプを出力する。この場合、それぞれのデータには、
符号化回路内のメモリに蓄積された局所復号データをそ
のまま用いることができる。より詳細には、図３に示す
ように、まずシーン生成回路２０１が、符号化回路４か
ら与えられるシーンデータを基にシーングラフを作成
し、シーンの描画命令と中間データを出力する。その
際、合成タイミングを示すタイムスタンプを同時に出力
し、バッファ２０２に書き込む。次に、変換処理回路２
０３が、シーン生成回路２０１から与えられる描画命令
に基づき、前述の変換処理を実行し、オブジェクトの座
標情報、色情報を出力する。
【００８１】また、テクスチャ生成回路２０４から与え
られるテクスチャデータを、シーン中のオブジェクトに
マッピングする。これと並行して、テクスチャ生成回路
２０４は、シーン生成回路２０１から与えられる描画命
令、および変換処理回路２０３から与えられる座標情報
に基づき、符号化回路２から得られるビデオデータを変
形する。変換処理回路２０３とテクスチャ生成回路２０
４は、互いにデータをやり取りしながらそれぞれの処理
を実行する。
られるテクスチャデータを、シーン中のオブジェクトに
マッピングする。これと並行して、テクスチャ生成回路
２０４は、シーン生成回路２０１から与えられる描画命
令、および変換処理回路２０３から与えられる座標情報
に基づき、符号化回路２から得られるビデオデータを変
形する。変換処理回路２０３とテクスチャ生成回路２０
４は、互いにデータをやり取りしながらそれぞれの処理
を実行する。
【００８２】次に、ラスター化回路２０５が、変換処理
回路２０３から与えられるオブジェクトの座標情報、色
情報を基にピクセル単位のラスターデータに変換し、フ
レームバッファ２０７に結果を書き込む。符号化回路１
から与えられるオーディオ信号は、遅延回路２０６によ
って遅延を加えられて出力される。図４５の構成におい
てもその動作は同様である。この場合、オーディオ信号
に遅延を加えるだけでなく、ＣＰＵ２２によって特殊効
果を与える、等の効果の実現が容易になる。
回路２０３から与えられるオブジェクトの座標情報、色
情報を基にピクセル単位のラスターデータに変換し、フ
レームバッファ２０７に結果を書き込む。符号化回路１
から与えられるオーディオ信号は、遅延回路２０６によ
って遅延を加えられて出力される。図４５の構成におい
てもその動作は同様である。この場合、オーディオ信号
に遅延を加えるだけでなく、ＣＰＵ２２によって特殊効
果を与える、等の効果の実現が容易になる。
【００８３】シーンデータ中には、時間に依存するイベ
ントが記述されている場合がある。このイベントは、時
間的に変化する連続イベントと、時間的に単発の離散イ
ベントに分類される。それぞれのイベントの扱いは、例
えば、連続イベントに関しては、合成タイミングを示す
タイムスタンプで発生したイベントとして処理を行い、
離散イベントに関しては、合成タイミングを示すタイム
スタンプがその離散イベントの生成時間を通過した時点
で発生したイベントとして処理を行う。これにより、受
信側で合成タイミングを示すタイムスタンプに従って同
様のイベント処理を行った場合、送信側と受信側でまっ
たく同じ合成結果の実現が保証される。
ントが記述されている場合がある。このイベントは、時
間的に変化する連続イベントと、時間的に単発の離散イ
ベントに分類される。それぞれのイベントの扱いは、例
えば、連続イベントに関しては、合成タイミングを示す
タイムスタンプで発生したイベントとして処理を行い、
離散イベントに関しては、合成タイミングを示すタイム
スタンプがその離散イベントの生成時間を通過した時点
で発生したイベントとして処理を行う。これにより、受
信側で合成タイミングを示すタイムスタンプに従って同
様のイベント処理を行った場合、送信側と受信側でまっ
たく同じ合成結果の実現が保証される。
【００８４】具体的な処理は、図３のシーン生成回路２
０１、もしくは図４５のＣＰＵ２２によって行われる。
このために、シーン生成回路２０２、もしくはＣＰＵ２
２は、内部、もしくは外部に時刻管理のためのカウンタ
などを有している。これはセッション開始時にゼロにセ
ットされ、シーン生成回路２０２の場合はクロック発生
回路８から与えられるクロック、ＣＰＵ２２の場合はク
ロック発生回路８とは独立して存在するクロックによっ
て駆動される。
０１、もしくは図４５のＣＰＵ２２によって行われる。
このために、シーン生成回路２０２、もしくはＣＰＵ２
２は、内部、もしくは外部に時刻管理のためのカウンタ
などを有している。これはセッション開始時にゼロにセ
ットされ、シーン生成回路２０２の場合はクロック発生
回路８から与えられるクロック、ＣＰＵ２２の場合はク
ロック発生回路８とは独立して存在するクロックによっ
て駆動される。
【００８５】多重化回路６は圧縮データとタイムスタン
プと参照クロック値の多重化を実行し、ビットストリー
ムを生成する。より詳細には、図４に示すように、マル
チプレクサ３１があらかじめ設定されたタイミングに従
って、符号化回路１から与えられる圧縮データとタイム
スタンプ、符号化回路２から与えられる圧縮データとタ
イムスタンプ、符号化回路４から与えられる圧縮データ
とタイムスタンプ、合成回路５から与えられるタイムス
タンプ、カウンタ３２から与えられるクロックのカウン
タ値、付加情報保持回路３３から与えられるシステム情
報を表すオーバーヘッドの多重化を実行する。
プと参照クロック値の多重化を実行し、ビットストリー
ムを生成する。より詳細には、図４に示すように、マル
チプレクサ３１があらかじめ設定されたタイミングに従
って、符号化回路１から与えられる圧縮データとタイム
スタンプ、符号化回路２から与えられる圧縮データとタ
イムスタンプ、符号化回路４から与えられる圧縮データ
とタイムスタンプ、合成回路５から与えられるタイムス
タンプ、カウンタ３２から与えられるクロックのカウン
タ値、付加情報保持回路３３から与えられるシステム情
報を表すオーバーヘッドの多重化を実行する。
【００８６】カウンタ３２はクロック発生回路８から与
えられるクロックをカウントし、そのカウンタ値を出力
する。付加情報保持回路３３は、システム情報を表すオ
ーバーヘッドを保持するだけではなく、多重化される各
データ、タイムスタンプのビット長などの多重化管理情
報を保持し、マルチプレクサ３１に対してその制御情報
として提供する。付加情報保持回路の具体的な形態とし
ては、予めデータの固定されたＲＯＭ、ＲＯＭカード、
キーボード等を通じて初期化時にデータがロードされる
ＲＡＭ、それぞれが考えられる。
えられるクロックをカウントし、そのカウンタ値を出力
する。付加情報保持回路３３は、システム情報を表すオ
ーバーヘッドを保持するだけではなく、多重化される各
データ、タイムスタンプのビット長などの多重化管理情
報を保持し、マルチプレクサ３１に対してその制御情報
として提供する。付加情報保持回路の具体的な形態とし
ては、予めデータの固定されたＲＯＭ、ＲＯＭカード、
キーボード等を通じて初期化時にデータがロードされる
ＲＡＭ、それぞれが考えられる。
【００８７】最終的なビットストリームは図２６に示す
ようになる。すなわち、ビットストリームは、参照クロ
ック値と、オーディオ、ビデオ、シーンデータそれぞれ
に対するタイムスタンプと圧縮データとから構成され
る。復号タイミングを示すタイムスタンプは、それぞれ
が対応する圧縮データに添付され、合成タイミングを示
すタイムスタンプは、圧縮ビデオデータに添付する場
合、圧縮シーンデータに添付する場合、および参照クロ
ックと同様に、圧縮データの外部に添付する場合が考え
られる。
ようになる。すなわち、ビットストリームは、参照クロ
ック値と、オーディオ、ビデオ、シーンデータそれぞれ
に対するタイムスタンプと圧縮データとから構成され
る。復号タイミングを示すタイムスタンプは、それぞれ
が対応する圧縮データに添付され、合成タイミングを示
すタイムスタンプは、圧縮ビデオデータに添付する場
合、圧縮シーンデータに添付する場合、および参照クロ
ックと同様に、圧縮データの外部に添付する場合が考え
られる。
【００８８】表示回路７は、合成回路５から与えられる
合成映像信号とオーディオ信号の表示、再生を行う。こ
れにより、送信者は、自己が合成しようとしている映
像、オーディオ信号をその場で観察することができる。
また、インタフェース回路３を介して、適宜シーンを更
新することが可能である。クロック発生回路８は、一貫
してクロックを生成し続け、それをオーディオ信号の符
号化回路１、ビデオ信号の符号化回路２、シーンデータ
の符号化回路４、合成回路５、多重化回路６に提供す
る。
合成映像信号とオーディオ信号の表示、再生を行う。こ
れにより、送信者は、自己が合成しようとしている映
像、オーディオ信号をその場で観察することができる。
また、インタフェース回路３を介して、適宜シーンを更
新することが可能である。クロック発生回路８は、一貫
してクロックを生成し続け、それをオーディオ信号の符
号化回路１、ビデオ信号の符号化回路２、シーンデータ
の符号化回路４、合成回路５、多重化回路６に提供す
る。
【００８９】本発明の第１の実施の形態の符号化装置に
おいては、合成に要する遅延は考慮されていない。すな
わち、すべての処理が一定のフレームレート内に収まっ
て行われている場合には、符号化装置側における符号
化、復号、合成の処理の流れを示すタイムチャートは図
２８のようになる。ここで、符号化は、符号化回路にお
ける符号化器の処理に対応し、復号は、符号化回路にお
ける復号器の処理すなわち、局所復号データの作成に対
応する。合成は、合成回路の処理に対応する。ある符号
化の開始時間から、次の符号化開始時間までが、入力ビ
デオ信号のフレームレートに相当する。また、ある合成
の開始時間から、次の合成の開始時間までが、合成映像
のフレームレートに相当する。この図２８では、符号
化、復号、合成を逐次的な処理のように表現している
が、符号化、復号を複数のスレッドに分けて考えること
で、複数の信号に対する並列処理にも対応している。復
号タイムスタンプ、合成タイムスタンプの発生タイミン
グは、一例として図に示すようになる。ただし、符号化
装置側と復号装置側の一定遅延を保つ目的において、発
生タイミングは復号、合成終了時、ほか任意の時間でも
構わない。この場合、符号化、復号は必ず一フレーム期
間内に終了するものと仮定している。
おいては、合成に要する遅延は考慮されていない。すな
わち、すべての処理が一定のフレームレート内に収まっ
て行われている場合には、符号化装置側における符号
化、復号、合成の処理の流れを示すタイムチャートは図
２８のようになる。ここで、符号化は、符号化回路にお
ける符号化器の処理に対応し、復号は、符号化回路にお
ける復号器の処理すなわち、局所復号データの作成に対
応する。合成は、合成回路の処理に対応する。ある符号
化の開始時間から、次の符号化開始時間までが、入力ビ
デオ信号のフレームレートに相当する。また、ある合成
の開始時間から、次の合成の開始時間までが、合成映像
のフレームレートに相当する。この図２８では、符号
化、復号、合成を逐次的な処理のように表現している
が、符号化、復号を複数のスレッドに分けて考えること
で、複数の信号に対する並列処理にも対応している。復
号タイムスタンプ、合成タイムスタンプの発生タイミン
グは、一例として図に示すようになる。ただし、符号化
装置側と復号装置側の一定遅延を保つ目的において、発
生タイミングは復号、合成終了時、ほか任意の時間でも
構わない。この場合、符号化、復号は必ず一フレーム期
間内に終了するものと仮定している。
【００９０】これに対して、合成時間が長く必要とされ
る場合には、図２９に示すように、次の合成フレームの
時間まで合成の継続が要求されることがある。符号化、
復号と合成の並列処理がサポートされていない場合、ま
たは、局所復号データを蓄積するメモリへのアクセスの
競合の問題で符号化、復号と合成が並列して実行できな
い場合には、もはや合成、もしくは符号化、復号を継続
することが不可能になる。
る場合には、図２９に示すように、次の合成フレームの
時間まで合成の継続が要求されることがある。符号化、
復号と合成の並列処理がサポートされていない場合、ま
たは、局所復号データを蓄積するメモリへのアクセスの
競合の問題で符号化、復号と合成が並列して実行できな
い場合には、もはや合成、もしくは符号化、復号を継続
することが不可能になる。
【００９１】この場合の解決策としては、図３０に示す
タイムチャートで符号化、復号、合成を処理することに
より符号化、復号を継続することが可能である。すなわ
ち、符号化装置側で設定した時刻までに合成の処理が終
了しない場合、その時点のビデオフレームの符号化、復
号の処理を休止し、その空いた時間を合成に割り当てる
ようにする。休止したフレームのビデオデータに関して
は、タイムスタンプを含めて何も送らない、もしくは前
フレームと何も変化が無かったものとして符号化を行
う、などの制御を行う。当該フレームの合成の終了後
は、合成映像のフレームレートに対応して次の合成を開
始する。この時点まで当該する合成が継続している場合
には、合成回路自身が次の合成を休止する。ただし、オ
ーディオ信号は符号化を休止すると欠落区間が生じて音
質の著しい低下を招くため、符号化の休止は行わないも
のとする。
タイムチャートで符号化、復号、合成を処理することに
より符号化、復号を継続することが可能である。すなわ
ち、符号化装置側で設定した時刻までに合成の処理が終
了しない場合、その時点のビデオフレームの符号化、復
号の処理を休止し、その空いた時間を合成に割り当てる
ようにする。休止したフレームのビデオデータに関して
は、タイムスタンプを含めて何も送らない、もしくは前
フレームと何も変化が無かったものとして符号化を行
う、などの制御を行う。当該フレームの合成の終了後
は、合成映像のフレームレートに対応して次の合成を開
始する。この時点まで当該する合成が継続している場合
には、合成回路自身が次の合成を休止する。ただし、オ
ーディオ信号は符号化を休止すると欠落区間が生じて音
質の著しい低下を招くため、符号化の休止は行わないも
のとする。
【００９２】図３１は、複数の入力信号の符号化、復号
を行う場合の、符号化、復号、合成のタイムチャートを
示したものである。二つの入力信号に対して逐次的に符
号化、復号を行い、合成を行う。復号タイムスタンプ、
合成タイムスタンプは、一例として、それぞれ図中のよ
うに発生される。
を行う場合の、符号化、復号、合成のタイムチャートを
示したものである。二つの入力信号に対して逐次的に符
号化、復号を行い、合成を行う。復号タイムスタンプ、
合成タイムスタンプは、一例として、それぞれ図中のよ
うに発生される。
【００９３】図３２は、合成が次フレームの第一の入力
信号まで継続する場合のタイムチャートを示す。この場
合、図３３に示すように、第一の入力信号の符号化、復
号の処理を休止し、休止したフレームのビデオデータに
関しては、タイムスタンプを含めて何も送らない、もし
くは前フレームと何も変化が無かったものとして符号化
を行い、第２の入力信号については符号化、復号を行
い、合成を行う、などの制御を行う。
信号まで継続する場合のタイムチャートを示す。この場
合、図３３に示すように、第一の入力信号の符号化、復
号の処理を休止し、休止したフレームのビデオデータに
関しては、タイムスタンプを含めて何も送らない、もし
くは前フレームと何も変化が無かったものとして符号化
を行い、第２の入力信号については符号化、復号を行
い、合成を行う、などの制御を行う。
【００９４】同様に、図３４は、合成が次フレームの第
二の入力信号まで継続する場合のタイムチャートを示
す。この場合には、図３５に示すように、第一の入力信
号の符号化、復号、および第二の入力信号の符号化、復
号の処理を休止し、休止したフレームのビデオデータに
関しては、タイムスタンプを含めて何も送らない、もし
くは前フレームと何も変化が無かったものとして符号化
を行う、などの制御を行う。
二の入力信号まで継続する場合のタイムチャートを示
す。この場合には、図３５に示すように、第一の入力信
号の符号化、復号、および第二の入力信号の符号化、復
号の処理を休止し、休止したフレームのビデオデータに
関しては、タイムスタンプを含めて何も送らない、もし
くは前フレームと何も変化が無かったものとして符号化
を行う、などの制御を行う。
【００９５】当該する合成が次の合成を行う時刻まで終
了しない場合は、合成回路自身が次の合成を休止する。
復号装置では、ビットストリーム中のタイムスタンプに
従って復号、合成の動作を行うので、復号タイムスタン
プが存在しない場合には自動的に復号処理がスキップさ
れる。このため、一時的にビデオ信号のフレームレート
が低下するだけで、合成は安定して実行される。
了しない場合は、合成回路自身が次の合成を休止する。
復号装置では、ビットストリーム中のタイムスタンプに
従って復号、合成の動作を行うので、復号タイムスタン
プが存在しない場合には自動的に復号処理がスキップさ
れる。このため、一時的にビデオ信号のフレームレート
が低下するだけで、合成は安定して実行される。
【００９６】図５は、次の合成フレームの時間まで合成
の継続が要求されることがある場合においても符号化、
復号を継続することが可能となるように構成した、本発
明の符号化装置の第２の実施の形態を示すブロック図で
ある。この実施の形態においては、第１の実施の形態の
符号化装置に、新たにスケジューリング回路１５３を付
加したものである。すなわち、ビデオ信号の符号化回路
１５１は、図１の符号化回路２の構成に加えて、スケジ
ューリング回路１５３からの制御線が加えられている。
合成回路１５２は、図１の合成回路５の構成に加えて、
合成の状態、すなわち合成が終了しているか否かを示す
信号がスケジューリング回路１５３に出力する。スケジ
ューリング回路１５３は、合成回路１５２からの状態入
力を受け、符号化回路１５１の動作を制御する。
の継続が要求されることがある場合においても符号化、
復号を継続することが可能となるように構成した、本発
明の符号化装置の第２の実施の形態を示すブロック図で
ある。この実施の形態においては、第１の実施の形態の
符号化装置に、新たにスケジューリング回路１５３を付
加したものである。すなわち、ビデオ信号の符号化回路
１５１は、図１の符号化回路２の構成に加えて、スケジ
ューリング回路１５３からの制御線が加えられている。
合成回路１５２は、図１の合成回路５の構成に加えて、
合成の状態、すなわち合成が終了しているか否かを示す
信号がスケジューリング回路１５３に出力する。スケジ
ューリング回路１５３は、合成回路１５２からの状態入
力を受け、符号化回路１５１の動作を制御する。
【００９７】図６は、図５の符号化回路１５１の詳細を
示しており、図２の符号化器１１と復号器１２が、それ
ぞれ符号化器１５４、復号器１５５で置き換えられてい
る。符号化器１５４、復号器１５５共に、スケジューリ
ング回路１５３からの入力によって、符号化、復号の動
作が制御される。
示しており、図２の符号化器１１と復号器１２が、それ
ぞれ符号化器１５４、復号器１５５で置き換えられてい
る。符号化器１５４、復号器１５５共に、スケジューリ
ング回路１５３からの入力によって、符号化、復号の動
作が制御される。
【００９８】図７は、図５の合成回路１５２の第１実施
の形態を示しており、図３のシーン生成回路２０１、変
換処理回路２０２、テクスチャ生成回路２０３、ラスタ
ー化回路２０４がそれぞれシーン生成回路２１１、変換
処理回路２１２、テクスチャ生成回路２１３、ラスター
化回路２１４で置き換えられ、さらにＯＲ回路２１５が
加えられている。シーン生成回路２１１、変換処理回路
２１２、テクスチャ生成回路２１３、ラスター化回路２
１４は、それぞれ図３のシーン生成回路２０１、変換処
理回路２０２、テクスチャ生成回路２０３、ラスター化
回路２０４の構成に加えて、その処理が終了しているか
否かを示す出力を備えている。
の形態を示しており、図３のシーン生成回路２０１、変
換処理回路２０２、テクスチャ生成回路２０３、ラスタ
ー化回路２０４がそれぞれシーン生成回路２１１、変換
処理回路２１２、テクスチャ生成回路２１３、ラスター
化回路２１４で置き換えられ、さらにＯＲ回路２１５が
加えられている。シーン生成回路２１１、変換処理回路
２１２、テクスチャ生成回路２１３、ラスター化回路２
１４は、それぞれ図３のシーン生成回路２０１、変換処
理回路２０２、テクスチャ生成回路２０３、ラスター化
回路２０４の構成に加えて、その処理が終了しているか
否かを示す出力を備えている。
【００９９】ＯＲ回路２１５はシーン生成回路２１１、
変換処理回路２１２、テクスチャ生成回路２１３、ラス
ター化回路２１４からの状態入力を受け、そのＯＲを取
って出力する。ここでは、処理中が１、処理終了時が
０、と仮定している。
変換処理回路２１２、テクスチャ生成回路２１３、ラス
ター化回路２１４からの状態入力を受け、そのＯＲを取
って出力する。ここでは、処理中が１、処理終了時が
０、と仮定している。
【０１００】図４６は、図５の合成回路１５２の第２の
実施の形態を示しており、図４５のインタフェース回路
２１を、インタフェース回路１５６で置き換えた構成に
なっている。インタフェース回路１５６は、インタフェ
ース回路２１の構成に加えて、さらにスケジューリング
回路１５３に、合成回路１５２の合成の状態を伝える出
力を備えている。
実施の形態を示しており、図４５のインタフェース回路
２１を、インタフェース回路１５６で置き換えた構成に
なっている。インタフェース回路１５６は、インタフェ
ース回路２１の構成に加えて、さらにスケジューリング
回路１５３に、合成回路１５２の合成の状態を伝える出
力を備えている。
【０１０１】次に、本発明の符号化装置の第２の実施の
形態の動作について、図５乃至図７及び図４６を参照し
て説明する。符号化の基本的な動作は、図１の回路と同
様である。ただし、合成回路１５２からは、合成の状態
を示す信号がスケジューリング回路１５３に送られる。
合成の状態を示す信号は、図７に示すように、シーン生
成回路２１１、変換処理回路２１２、テクスチャ生成回
路２１３、ラスター化回路２１４のいずれかが動作中の
場合は１が出力され、すべて停止中の場合は０が出力さ
れる。
形態の動作について、図５乃至図７及び図４６を参照し
て説明する。符号化の基本的な動作は、図１の回路と同
様である。ただし、合成回路１５２からは、合成の状態
を示す信号がスケジューリング回路１５３に送られる。
合成の状態を示す信号は、図７に示すように、シーン生
成回路２１１、変換処理回路２１２、テクスチャ生成回
路２１３、ラスター化回路２１４のいずれかが動作中の
場合は１が出力され、すべて停止中の場合は０が出力さ
れる。
【０１０２】図４６の構成の場合は、ＣＰＵ２２が、イ
ンタフェース回路１５６を介して、同様の信号をスケジ
ューリング回路１５３に送出する。これを受けて、スケ
ジューリング回路１５３は、入力信号が１の場合は１
を、入力信号が０の場合は０を出力する。符号化回路１
５１は、図６に示すように、符号化器１５４、復号器１
５５がこの信号を受け、入力信号が１の場合は、予め設
定されたタイミング時にも符号化、復号を開始せず、０
の場合は符号化、復号を開始する。
ンタフェース回路１５６を介して、同様の信号をスケジ
ューリング回路１５３に送出する。これを受けて、スケ
ジューリング回路１５３は、入力信号が１の場合は１
を、入力信号が０の場合は０を出力する。符号化回路１
５１は、図６に示すように、符号化器１５４、復号器１
５５がこの信号を受け、入力信号が１の場合は、予め設
定されたタイミング時にも符号化、復号を開始せず、０
の場合は符号化、復号を開始する。
【０１０３】図２８では符号化、復号が逐次的に行われ
るように記してあり、入力信号が符号化開始時に１、復
号開始時に０となる場合の復号データの存在の問題が生
じるが、これは符号化開始時に入力信号が１であった場
合は復号も行わない、とすることで問題を回避できる。
るように記してあり、入力信号が符号化開始時に１、復
号開始時に０となる場合の復号データの存在の問題が生
じるが、これは符号化開始時に入力信号が１であった場
合は復号も行わない、とすることで問題を回避できる。
【０１０４】図２９に示す合成の処理時間の問題は、図
３６に示すような符号化、復号、合成のスケジューリン
グを行うことによっても回避することができる。この場
合、符号化装置が定めた次のフレームの符号化開始タイ
ミングまでに合成が終了していない場合、符号化、復号
を休止するのではなく、合成を休止し、符号化、復号終
了時に合成を再開する。当該する合成が、再び次の符号
化開始タイミングまでに終了していない場合には、再び
合成を休止して、符号化、復号が終了するのを待つ。
３６に示すような符号化、復号、合成のスケジューリン
グを行うことによっても回避することができる。この場
合、符号化装置が定めた次のフレームの符号化開始タイ
ミングまでに合成が終了していない場合、符号化、復号
を休止するのではなく、合成を休止し、符号化、復号終
了時に合成を再開する。当該する合成が、再び次の符号
化開始タイミングまでに終了していない場合には、再び
合成を休止して、符号化、復号が終了するのを待つ。
【０１０５】復号装置では、ビットストリーム中のタイ
ムスタンプに従って復号、合成を行うので、復号タイム
スタンプに従って復号が開始すると共に合成は休止し、
復号終了時に再開すると取り決める。これにより、一時
的に合成映像のフレームレートは低下するが、一定のフ
レームレートによるビデオ信号の復号が期待される。こ
れは、そのビデオ信号の圧縮データのみを後に編集など
で再利用する場合に有効である。
ムスタンプに従って復号、合成を行うので、復号タイム
スタンプに従って復号が開始すると共に合成は休止し、
復号終了時に再開すると取り決める。これにより、一時
的に合成映像のフレームレートは低下するが、一定のフ
レームレートによるビデオ信号の復号が期待される。こ
れは、そのビデオ信号の圧縮データのみを後に編集など
で再利用する場合に有効である。
【０１０６】図３７は、図３２、図３４に示した複数の
入力信号の場合の、符号化、復号、合成のスケジューリ
ングによる回避策である。基本的に、図３６に示した回
避策と同じ対策を取る。
入力信号の場合の、符号化、復号、合成のスケジューリ
ングによる回避策である。基本的に、図３６に示した回
避策と同じ対策を取る。
【０１０７】図８は、次の合成フレームの時間まで合成
の継続が要求されることがある場合に、合成を休止する
ことにより符号化、復号を継続するように構成した、本
発明の符号化装置の第３の実施の形態を示すブロック図
である。この実施の形態においては、第１の実施の形態
の符号化装置に、新たにスケジューリング回路１６５を
付加したものである。オーディオ信号の符号化回路１６
１、ビデオ信号の符号化回路１６２、シーンデータの符
号化回路１６３は、それぞれ図１の符号化回路１、符号
化回路２、符号化回路４の構成に加えて、符号化の状
態、すなわち符号化が行われているか否かを示す信号を
スケジューリング回路１６５へ出力する。
の継続が要求されることがある場合に、合成を休止する
ことにより符号化、復号を継続するように構成した、本
発明の符号化装置の第３の実施の形態を示すブロック図
である。この実施の形態においては、第１の実施の形態
の符号化装置に、新たにスケジューリング回路１６５を
付加したものである。オーディオ信号の符号化回路１６
１、ビデオ信号の符号化回路１６２、シーンデータの符
号化回路１６３は、それぞれ図１の符号化回路１、符号
化回路２、符号化回路４の構成に加えて、符号化の状
態、すなわち符号化が行われているか否かを示す信号を
スケジューリング回路１６５へ出力する。
【０１０８】合成回路１６４は、図１の合成回路５の構
成に加えて、スケジューリング回路１６５からの制御線
が加えられている。スケジューリング回路１６５は、符
号化回路１６１、符号化回路１６２は、符号化回路１６
３からの状態入力を受け、合成回路１６４の動作を制御
する。
成に加えて、スケジューリング回路１６５からの制御線
が加えられている。スケジューリング回路１６５は、符
号化回路１６１、符号化回路１６２は、符号化回路１６
３からの状態入力を受け、合成回路１６４の動作を制御
する。
【０１０９】図９は、図８の符号化回路１６１、１６
２、１６３の詳細を示しており、図２の符号化器１１と
復号器１２が、それぞれ符号化器１６６、復号器１６７
で置き換えられている。また、新たにＯＲ回路１６８が
加えられている。符号化器１６６、復号器１６７は、そ
れぞれ図２の符号化器１１、復号器１２の構成に加え
て、その処理が終了しているか否かを示す信号をＯＲ回
路１６８に出力する構成を備えている。ＯＲ回路１６８
は、符号化器１６６、復号器１６７からの状態入力を受
け、そのＯＲ出力をスケジューリング回路１６５へ出力
する。ここでは、処理中が１、処理終了時が０、と仮定
している。
２、１６３の詳細を示しており、図２の符号化器１１と
復号器１２が、それぞれ符号化器１６６、復号器１６７
で置き換えられている。また、新たにＯＲ回路１６８が
加えられている。符号化器１６６、復号器１６７は、そ
れぞれ図２の符号化器１１、復号器１２の構成に加え
て、その処理が終了しているか否かを示す信号をＯＲ回
路１６８に出力する構成を備えている。ＯＲ回路１６８
は、符号化器１６６、復号器１６７からの状態入力を受
け、そのＯＲ出力をスケジューリング回路１６５へ出力
する。ここでは、処理中が１、処理終了時が０、と仮定
している。
【０１１０】図１０は、図８の合成回路１６４の第１実
施の形態を示しており、図３のシーン生成回路２０１、
変換処理回路２０２、テクスチャ生成回路２０３、ラス
ター化回路２０４がそれぞれシーン生成回路２２１、変
換処理回路２２２、テクスチャ生成回路２２３、ラスタ
ー化回路２２４で置き換えられ、さらに制御回路２２５
が加えられている。シーン生成回路２２１、変換処理回
路２２２、テクスチャ生成回路２２３、ラスター化回路
２２４は、それぞれ図３のシーン生成回路２０１、変換
処理回路２０２、テクスチャ生成回路２０３、ラスター
化回路２０４の構成に加えて、制御回路２２５からの入
力線を備えている。制御回路２２５はスケジューリング
回路１６５からの入力を受け、シーン生成回路２２１、
変換処理回路２２２、テクスチャ生成回路２２３、ラス
ター化回路２２４に出力し、それぞれの回路の動作を制
御する。
施の形態を示しており、図３のシーン生成回路２０１、
変換処理回路２０２、テクスチャ生成回路２０３、ラス
ター化回路２０４がそれぞれシーン生成回路２２１、変
換処理回路２２２、テクスチャ生成回路２２３、ラスタ
ー化回路２２４で置き換えられ、さらに制御回路２２５
が加えられている。シーン生成回路２２１、変換処理回
路２２２、テクスチャ生成回路２２３、ラスター化回路
２２４は、それぞれ図３のシーン生成回路２０１、変換
処理回路２０２、テクスチャ生成回路２０３、ラスター
化回路２０４の構成に加えて、制御回路２２５からの入
力線を備えている。制御回路２２５はスケジューリング
回路１６５からの入力を受け、シーン生成回路２２１、
変換処理回路２２２、テクスチャ生成回路２２３、ラス
ター化回路２２４に出力し、それぞれの回路の動作を制
御する。
【０１１１】図４７は、合成回路１６４の第２の実施の
形態を示しており、図４５のインタフェース回路２１
を、インタフェース回路１６８で置き換えた構成になっ
ている。インタフェース回路１６８は、インタフェース
回路２１の構成に加えて、さらにスケジューリング回路
１６５からの入力を受ける構成になっている。
形態を示しており、図４５のインタフェース回路２１
を、インタフェース回路１６８で置き換えた構成になっ
ている。インタフェース回路１６８は、インタフェース
回路２１の構成に加えて、さらにスケジューリング回路
１６５からの入力を受ける構成になっている。
【０１１２】次に、本発明の符号化装置の第３の実施の
形態の動作について、図８乃至図１０及び図４７を参照
して説明する。符号化の基本的な動作は、図１の回路と
同様である。ただし、オーディオ信号の符号化回路１６
１、ビデオ信号の符号化回路１６２、シーンデータの符
号化回路１６３は、符号化の状態をスケジューリング回
路１６５に送る。符号化回路１６１、符号化回路１６
２、符号化回路１６３は、図９に示すように、符号化器
１６６、復号器１６７が、それぞれの符号化、復号の状
態をＯＲ回路１６８に出力する。この出力信号は、動作
中の場合は１、停止中の場合は０とする。故に、ＯＲ回
路１６８の出力は、いずれかが動作中の場合は１、両方
停止中の場合は０、となる。
形態の動作について、図８乃至図１０及び図４７を参照
して説明する。符号化の基本的な動作は、図１の回路と
同様である。ただし、オーディオ信号の符号化回路１６
１、ビデオ信号の符号化回路１６２、シーンデータの符
号化回路１６３は、符号化の状態をスケジューリング回
路１６５に送る。符号化回路１６１、符号化回路１６
２、符号化回路１６３は、図９に示すように、符号化器
１６６、復号器１６７が、それぞれの符号化、復号の状
態をＯＲ回路１６８に出力する。この出力信号は、動作
中の場合は１、停止中の場合は０とする。故に、ＯＲ回
路１６８の出力は、いずれかが動作中の場合は１、両方
停止中の場合は０、となる。
【０１１３】スケジューリング回路１６５は、符号化回
路１６１乃至１６３それぞれからの入力を受け、それら
のＯＲを取って出力する。合成回路１６４は、図１０に
示すように、制御回路２２５がスケジューリング回路１
６５からの入力を受け、シーン生成回路２２１、変換処
理回路２２２、テクスチャ生成回路２２３、ラスター化
回路２２４に出力する。シーン生成回路２２１、変換処
理回路２２２、テクスチャ生成回路２２３、ラスター化
回路２２４は、それぞれ制御回路２２５からの入力値が
０から１に変化した時点で、中間データを保存の上、処
理を中断する。そして、同入力値が１から０に変化した
時点で、中間データを回復し、処理を再開する。入力値
が常に１の場合は、常に休止している。入力値が常に０
の場合は、合成タイミングに合わせて処理を開始する。
路１６１乃至１６３それぞれからの入力を受け、それら
のＯＲを取って出力する。合成回路１６４は、図１０に
示すように、制御回路２２５がスケジューリング回路１
６５からの入力を受け、シーン生成回路２２１、変換処
理回路２２２、テクスチャ生成回路２２３、ラスター化
回路２２４に出力する。シーン生成回路２２１、変換処
理回路２２２、テクスチャ生成回路２２３、ラスター化
回路２２４は、それぞれ制御回路２２５からの入力値が
０から１に変化した時点で、中間データを保存の上、処
理を中断する。そして、同入力値が１から０に変化した
時点で、中間データを回復し、処理を再開する。入力値
が常に１の場合は、常に休止している。入力値が常に０
の場合は、合成タイミングに合わせて処理を開始する。
【０１１４】上記本発明の符号化装置の第１乃至第３の
実施の形態においては、オーディオ、ビデオ、シーンデ
ータに対して同一のクロック発生回路から同一のクロッ
クを与えているが、前記従来の技術において述べたＩＳ
Ｏ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１８２
５に示されている方式では、オーディオ、ビデオ、シー
ンデータ毎に異なるクロックを与えてよいとされてい
る。従って、本発明の符号化装置においてもオーディ
オ、ビデオ、シーンデータ毎に異なるクロックを与える
ことができる。
実施の形態においては、オーディオ、ビデオ、シーンデ
ータに対して同一のクロック発生回路から同一のクロッ
クを与えているが、前記従来の技術において述べたＩＳ
Ｏ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１８２
５に示されている方式では、オーディオ、ビデオ、シー
ンデータ毎に異なるクロックを与えてよいとされてい
る。従って、本発明の符号化装置においてもオーディ
オ、ビデオ、シーンデータ毎に異なるクロックを与える
ことができる。
【０１１５】図１１は、本発明の符号化装置の第４の実
施の形態を示しており、第１の実施の形態において、ク
ロック発生回路がオーディオ信号の符号化回路１、ビデ
オ信号の符号化回路２、シーンデータの符号化回路４と
合成回路５毎にそれぞれ別に用意された構成になってい
る。すなわち、図１のクロック発生回路８の代わりに、
３個のクロック発生回路１７１、１７２、１７３が用意
されている。オーディオ信号の符号化回路１は、クロッ
ク発生回路１７１からクロック供給を受け、ビデオ信号
の符号化回路２は、クロック発生回路１７２からクロッ
ク供給を受け、シーンデータの符号化回路４と合成回路
５は、クロック発生回路１７３からクロック供給を受け
る。
施の形態を示しており、第１の実施の形態において、ク
ロック発生回路がオーディオ信号の符号化回路１、ビデ
オ信号の符号化回路２、シーンデータの符号化回路４と
合成回路５毎にそれぞれ別に用意された構成になってい
る。すなわち、図１のクロック発生回路８の代わりに、
３個のクロック発生回路１７１、１７２、１７３が用意
されている。オーディオ信号の符号化回路１は、クロッ
ク発生回路１７１からクロック供給を受け、ビデオ信号
の符号化回路２は、クロック発生回路１７２からクロッ
ク供給を受け、シーンデータの符号化回路４と合成回路
５は、クロック発生回路１７３からクロック供給を受け
る。
【０１１６】多重化回路１７４は、図１の多重化回路６
の構成に加えて、さらに３個のクロック発生回路１７
１、１７２、１７３からのクロック入力を受け付ける構
成になっている。
の構成に加えて、さらに３個のクロック発生回路１７
１、１７２、１７３からのクロック入力を受け付ける構
成になっている。
【０１１７】図１２は、図１１の多重化回路１７４の詳
細を示している。多重化回路１７４は、図４の多重化回
路６の詳細な構成に加えて、３個のクロック発生回路１
７１、１７２、１７３に対応して３個のカウンタ３２が
用意されている。マルチプレクサ１７５は、図４のマル
チプレクサ３１の構成に加えて、３個のカウンタ３２か
らの入力を受け付け、多重化を行う構成になっている。
細を示している。多重化回路１７４は、図４の多重化回
路６の詳細な構成に加えて、３個のクロック発生回路１
７１、１７２、１７３に対応して３個のカウンタ３２が
用意されている。マルチプレクサ１７５は、図４のマル
チプレクサ３１の構成に加えて、３個のカウンタ３２か
らの入力を受け付け、多重化を行う構成になっている。
【０１１８】次に、本発明の符号化装置の第４の実施の
形態の動作について、図１１乃至図１３を参照して説明
する。符号化の基本的な動作は、図１の回路の動作と同
様である。相違点は、オーディオ信号の符号化回路１、
ビデオ信号の符号化回路２、シーンデータの符号化回路
４と合成回路５それぞれが、３個の異なるクロック発生
回路１７１、１７２、１７３から供給されるクロックで
動作している点、および多重化回路１７４が、３個の異
なるクロック発生回路１７１、１７２、１７３から供給
されるクロックの多重化を行う点の２点である。
形態の動作について、図１１乃至図１３を参照して説明
する。符号化の基本的な動作は、図１の回路の動作と同
様である。相違点は、オーディオ信号の符号化回路１、
ビデオ信号の符号化回路２、シーンデータの符号化回路
４と合成回路５それぞれが、３個の異なるクロック発生
回路１７１、１７２、１７３から供給されるクロックで
動作している点、および多重化回路１７４が、３個の異
なるクロック発生回路１７１、１７２、１７３から供給
されるクロックの多重化を行う点の２点である。
【０１１９】最終的なビットストリームは図２７（１）
に示すようになる。すなわち、ビットストリームは、オ
ーディオ、ビデオ、シーンデータそれぞれに対する参照
クロック値とタイムスタンプと圧縮データとから構成さ
れる。復号タイミングを示すタイムスタンプは、それぞ
れが対応する圧縮データに添付され、合成タイミングを
示すタイムスタンプは、合成回路５と同じクロックで動
作するシーンデータの符号化回路４の出力である圧縮シ
ーンデータに添付される。
に示すようになる。すなわち、ビットストリームは、オ
ーディオ、ビデオ、シーンデータそれぞれに対する参照
クロック値とタイムスタンプと圧縮データとから構成さ
れる。復号タイミングを示すタイムスタンプは、それぞ
れが対応する圧縮データに添付され、合成タイミングを
示すタイムスタンプは、合成回路５と同じクロックで動
作するシーンデータの符号化回路４の出力である圧縮シ
ーンデータに添付される。
【０１２０】図１３は、本発明の符号化装置の第５の実
施の形態を示しており、本発明の第２の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路１５１、シーンデータの符号化回路４と合成回
路１５２毎にことならくろっくはっせいかいろ１７１、
１７２、１７３が用意された構成になっている。多重化
回路１７４は、第４の実施の形態に示したものと同様の
構成である。
施の形態を示しており、本発明の第２の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路１５１、シーンデータの符号化回路４と合成回
路１５２毎にことならくろっくはっせいかいろ１７１、
１７２、１７３が用意された構成になっている。多重化
回路１７４は、第４の実施の形態に示したものと同様の
構成である。
【０１２１】図１４は、本発明の符号化装置の第６の実
施の形態を示しており、本発明の第３の実施の形態にお
いて、オーディオ信号の符号化回路１６１、ビデオ信号
の符号化回路１６２、シーンデータの符号化回路１６３
と合成回路１６４毎に異なるクロック発生回路１７１、
１７２、１７３が用意された構成になっている。多重化
回路１７４は、第４の実施の形態に示したものと同様の
構成である。
施の形態を示しており、本発明の第３の実施の形態にお
いて、オーディオ信号の符号化回路１６１、ビデオ信号
の符号化回路１６２、シーンデータの符号化回路１６３
と合成回路１６４毎に異なるクロック発生回路１７１、
１７２、１７３が用意された構成になっている。多重化
回路１７４は、第４の実施の形態に示したものと同様の
構成である。
【０１２２】図１５は、本発明の符号化装置の第７の実
施の形態を示しており、本発明の第１の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。符号
化の基本的な動作は、図１の回路の動作と同様である。
相違点は、オーディオ信号の符号化回路１、ビデオ信号
の符号化回路２とごうせいかいろ５、シーンデータの符
号化回路４が、３個のそれぞれ異なるクロック発生回路
１７１、１７２、１７３から供給されるクロックで動作
している点、および多重化回路１７４が、３個の異なる
クロック発生回路１７１、１７２、１７３から供給され
るクロックの多重化を行う点の２点である。
施の形態を示しており、本発明の第１の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。符号
化の基本的な動作は、図１の回路の動作と同様である。
相違点は、オーディオ信号の符号化回路１、ビデオ信号
の符号化回路２とごうせいかいろ５、シーンデータの符
号化回路４が、３個のそれぞれ異なるクロック発生回路
１７１、１７２、１７３から供給されるクロックで動作
している点、および多重化回路１７４が、３個の異なる
クロック発生回路１７１、１７２、１７３から供給され
るクロックの多重化を行う点の２点である。
【０１２３】最終的なビットストリームは図２７（２）
に示すようになる。すなわち、ビットストリームは、オ
ーディオ、ビデオ、シーンデータそれぞれに対する参照
クロック値とタイムスタンプと圧縮データとから構成さ
れる。復号タイミングを示すタイムスタンプは、それぞ
れが対応する圧縮データに添付され、合成タイミングを
示すタイムスタンプは、合成回路５と同じクロックで動
作するビデオ信号の符号化回路２の出力である圧縮ビデ
オデータに添付される。
に示すようになる。すなわち、ビットストリームは、オ
ーディオ、ビデオ、シーンデータそれぞれに対する参照
クロック値とタイムスタンプと圧縮データとから構成さ
れる。復号タイミングを示すタイムスタンプは、それぞ
れが対応する圧縮データに添付され、合成タイミングを
示すタイムスタンプは、合成回路５と同じクロックで動
作するビデオ信号の符号化回路２の出力である圧縮ビデ
オデータに添付される。
【０１２４】図１６は、本発明の符号化装置の第８の実
施の形態を示しており、本発明の第２の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。
施の形態を示しており、本発明の第２の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。
【０１２５】図１７は、本発明の符号化装置の第９の実
施の形態を示しており、本発明の第３の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。
施の形態を示しており、本発明の第３の実施の形態にお
いて、オーディオ信号の符号化回路１、ビデオ信号の符
号化回路２と合成回路５、シーンデータの符号化回路４
毎に異なるクロック発生回路１７１、１７２、１７３が
用意された構成になっている。多重化回路１７４は、第
４の実施の形態に示したものと同様の構成である。
【０１２６】図１８は、本発明の復号装置の第１の実施
の形態を示すブロック図である。本発明の復号装置は、
分離回路４１と、オーディオ信号の復号回路４２と、ビ
デオ信号の復号回路４３と、シーンデータの復号回路４
４と、合成回路４５と、表示回路４６と、クロック発生
回路４７と、インタラクション回路４８から構成され
る。
の形態を示すブロック図である。本発明の復号装置は、
分離回路４１と、オーディオ信号の復号回路４２と、ビ
デオ信号の復号回路４３と、シーンデータの復号回路４
４と、合成回路４５と、表示回路４６と、クロック発生
回路４７と、インタラクション回路４８から構成され
る。
【０１２７】分離回路４１は、入力されたビットストリ
ームから、オーディオ信号の圧縮データと復号タイミン
グを示すタイムスタンプと、ビデオ信号の圧縮データと
復号タイミングを示すタイムスタンプと、シーンデータ
の圧縮データと復号タイミングを示すタイムスタンプ
と、合成タイミングを示すタイムスタンプと、後述する
クロック発生回路４７に与える参照クロック値を出力す
る。
ームから、オーディオ信号の圧縮データと復号タイミン
グを示すタイムスタンプと、ビデオ信号の圧縮データと
復号タイミングを示すタイムスタンプと、シーンデータ
の圧縮データと復号タイミングを示すタイムスタンプ
と、合成タイミングを示すタイムスタンプと、後述する
クロック発生回路４７に与える参照クロック値を出力す
る。
【０１２８】オーディオ信号の復号回路４２は、分離回
路４１から入力された復号タイミングを示すタイムスタ
ンプの示す時刻に、分離回路４１から入力された圧縮デ
ータを復号する。ビデオ信号の復号回路４３は、分離回
路４１から入力された復号タイミングを示すタイムスタ
ンプの示す時刻に、分離回路４１から入力された圧縮デ
ータを復号する。シーンデータの復号回路４４は、分離
回路４１から入力された復号タイミングを示すタイムス
タンプの示す時刻に、分離回路４１から入力された圧縮
データを復号する。
路４１から入力された復号タイミングを示すタイムスタ
ンプの示す時刻に、分離回路４１から入力された圧縮デ
ータを復号する。ビデオ信号の復号回路４３は、分離回
路４１から入力された復号タイミングを示すタイムスタ
ンプの示す時刻に、分離回路４１から入力された圧縮デ
ータを復号する。シーンデータの復号回路４４は、分離
回路４１から入力された復号タイミングを示すタイムス
タンプの示す時刻に、分離回路４１から入力された圧縮
データを復号する。
【０１２９】合成回路４５は、分離回路４１から入力さ
れた合成タイミングを示すタイムスタンプの示す時刻
に、オーディオ信号の復号回路４２から与えられるオー
ディオ信号と、ビデオ信号の復号回路４３から与えられ
るビデオ信号と、シーンデータの復号回路４４から与え
られるシーンデータを入力とし、シーンデータ中に記載
されたシーン記述に従って合成を行い、合成映像とオー
ディオ信号を出力とする。また、後述するインタラクシ
ョン回路４８からの入力データを受け付け、視点移動な
どのユーザインタラクションを実現する。
れた合成タイミングを示すタイムスタンプの示す時刻
に、オーディオ信号の復号回路４２から与えられるオー
ディオ信号と、ビデオ信号の復号回路４３から与えられ
るビデオ信号と、シーンデータの復号回路４４から与え
られるシーンデータを入力とし、シーンデータ中に記載
されたシーン記述に従って合成を行い、合成映像とオー
ディオ信号を出力とする。また、後述するインタラクシ
ョン回路４８からの入力データを受け付け、視点移動な
どのユーザインタラクションを実現する。
【０１３０】表示回路４６は、合成回路４５から与えら
れる合成映像信号とオーディオ信号を入力とし、映像に
関してはディスプレイ、オーディオに関してはスピーカ
ー等のデバイスを介して表示、再生を行う。クロック発
生回路４７は、分離回路４１から与えられる参照クロッ
ク値に従ってクロックを生成し、オーディオ信号の復号
回路４２、ビデオ信号の復号回路４３、シーンデータの
復号回路４４、合成回路４５へクロックを入力する。前
記クロック発生回路４７は一般的にＰＬＬ（Phased Loc
ked Loop）として構成され、前記参照クロック値は、ク
ロックの発振周波数を制御するのに用いられる。
れる合成映像信号とオーディオ信号を入力とし、映像に
関してはディスプレイ、オーディオに関してはスピーカ
ー等のデバイスを介して表示、再生を行う。クロック発
生回路４７は、分離回路４１から与えられる参照クロッ
ク値に従ってクロックを生成し、オーディオ信号の復号
回路４２、ビデオ信号の復号回路４３、シーンデータの
復号回路４４、合成回路４５へクロックを入力する。前
記クロック発生回路４７は一般的にＰＬＬ（Phased Loc
ked Loop）として構成され、前記参照クロック値は、ク
ロックの発振周波数を制御するのに用いられる。
【０１３１】インタラクション回路４８は、観察者から
のキーボード入力、マウス入力などのインタラクション
を入力して、視点移動などを表すデータに変換し、合成
回路４５へ出力する。
のキーボード入力、マウス入力などのインタラクション
を入力して、視点移動などを表すデータに変換し、合成
回路４５へ出力する。
【０１３２】図１９は、図１８の分離回路４１の詳細を
示しており、バッファ５１、デマルチプレクサ５２、付
加情報保持回路５３から構成される。バッファ５１は、
ネットワークを介して伝送されてきた、もしくはディス
クなどの蓄積媒体から読み出されてきたビットストリー
ムをバッファリングする。デマルチプレクサ５２は、付
加情報保持回路５３に保持されたビット長などの管理情
報を基に、バッファ５１から入力されるビットストリー
ムを、オーディオ情報の圧縮データと復号タイミングを
示すタイムスタンプ、ビデオ情報の圧縮データと復号タ
イミングを示すタイムスタンプ、シーンデータの圧縮デ
ータと復号タイミングを示すタイムスタンプ、合成タイ
ミングを示すタイムスタンプ、参照クロック値、システ
ム情報としてのオーバーヘッド、に分離する。
示しており、バッファ５１、デマルチプレクサ５２、付
加情報保持回路５３から構成される。バッファ５１は、
ネットワークを介して伝送されてきた、もしくはディス
クなどの蓄積媒体から読み出されてきたビットストリー
ムをバッファリングする。デマルチプレクサ５２は、付
加情報保持回路５３に保持されたビット長などの管理情
報を基に、バッファ５１から入力されるビットストリー
ムを、オーディオ情報の圧縮データと復号タイミングを
示すタイムスタンプ、ビデオ情報の圧縮データと復号タ
イミングを示すタイムスタンプ、シーンデータの圧縮デ
ータと復号タイミングを示すタイムスタンプ、合成タイ
ミングを示すタイムスタンプ、参照クロック値、システ
ム情報としてのオーバーヘッド、に分離する。
【０１３３】付加情報保持回路５３は、システム情報を
表すオーバーヘッドを保持するだけではなく、多重化さ
れる各データ、タイムスタンプのビット長などの多重化
管理情報を保持し、デマルチプレクサ５２に対してその
制御情報として提供する。付加情報保持回路５３の具体
的な形態としては、予めデータの固定されたＲＯＭ、Ｒ
ＯＭカード、キーボード等を通じて初期化時にデータが
ロードされるＲＡＭ、ビットストリーム中のシステム情
報としてのオーバーヘッドに含まれるビットストリーム
情報を蓄積するＲＡＭ等が考えられる。
表すオーバーヘッドを保持するだけではなく、多重化さ
れる各データ、タイムスタンプのビット長などの多重化
管理情報を保持し、デマルチプレクサ５２に対してその
制御情報として提供する。付加情報保持回路５３の具体
的な形態としては、予めデータの固定されたＲＯＭ、Ｒ
ＯＭカード、キーボード等を通じて初期化時にデータが
ロードされるＲＡＭ、ビットストリーム中のシステム情
報としてのオーバーヘッドに含まれるビットストリーム
情報を蓄積するＲＡＭ等が考えられる。
【０１３４】図２０は、図１８の復号回路４２、４３、
４４の詳細を示しており、バッファ６１、バッファ６
２、復号器６３、メモリ６４から構成される。バッファ
６１は、分離回路４１から与えられる復号タイミングを
示すタイムスタンプをバッファリングする。バッファ６
２は、分離回路４１から与えられる圧縮データをバッフ
ァリングする。復号器６３は、バッファ６１から与えら
れる復号タイミングを示すタイムスタンプの時刻に、バ
ッファ６２から与えられる圧縮データと後述するメモリ
６４から与えられる復号データを入力として、復号を実
行する。復号器６３には、さらにクロック発生回路４７
からのクロックが入力される。
４４の詳細を示しており、バッファ６１、バッファ６
２、復号器６３、メモリ６４から構成される。バッファ
６１は、分離回路４１から与えられる復号タイミングを
示すタイムスタンプをバッファリングする。バッファ６
２は、分離回路４１から与えられる圧縮データをバッフ
ァリングする。復号器６３は、バッファ６１から与えら
れる復号タイミングを示すタイムスタンプの時刻に、バ
ッファ６２から与えられる圧縮データと後述するメモリ
６４から与えられる復号データを入力として、復号を実
行する。復号器６３には、さらにクロック発生回路４７
からのクロックが入力される。
【０１３５】メモリ６４は、復号器６３から与えられる
復号データを蓄積する。この構成では、復号器６３の復
号にメモリ６４に蓄積された復号データの利用を前提と
しているが、ビデオのフレーム内符号化のように、利用
しない場合も考えられる。また、シーンデータの場合
は、圧縮されていないテキストデータの場合も考えられ
る。この場合は、何もせずにメモリ６４に書き込むだけ
である。
復号データを蓄積する。この構成では、復号器６３の復
号にメモリ６４に蓄積された復号データの利用を前提と
しているが、ビデオのフレーム内符号化のように、利用
しない場合も考えられる。また、シーンデータの場合
は、圧縮されていないテキストデータの場合も考えられ
る。この場合は、何もせずにメモリ６４に書き込むだけ
である。
【０１３６】図２１は、図１８の合成回路４５の第１の
実施の形態を示しており、図３の構成において、シーン
生成回路２０１をシーン生成回路２３１で、バッファ２
０２をバッファ２３２で置き換え、さらにバッファ２３
３を追加した構成になっている。シーン生成回路２３１
は、図３におけるシーン生成回路２０１から合成タイミ
ングを示すタイムスタンプの出力線を取り除き、代わり
にバッファ２３２、バッファ２３３からの入力線を加え
た構成となっている。バッファ２３２は、分離回路４１
からの合成タイミングを示すタイムスタンプをバッファ
リングする。バッファ２３３は、インタラクション回路
４８からのインタラクションデータをバッファリングす
る。クロック発生回路４７からのクロックは、それぞれ
シーン生成回路２３１、変換処理回路２０３、テクスチ
ャ生成回路２０４、ラスター化回路２０７に供給され
る。
実施の形態を示しており、図３の構成において、シーン
生成回路２０１をシーン生成回路２３１で、バッファ２
０２をバッファ２３２で置き換え、さらにバッファ２３
３を追加した構成になっている。シーン生成回路２３１
は、図３におけるシーン生成回路２０１から合成タイミ
ングを示すタイムスタンプの出力線を取り除き、代わり
にバッファ２３２、バッファ２３３からの入力線を加え
た構成となっている。バッファ２３２は、分離回路４１
からの合成タイミングを示すタイムスタンプをバッファ
リングする。バッファ２３３は、インタラクション回路
４８からのインタラクションデータをバッファリングす
る。クロック発生回路４７からのクロックは、それぞれ
シーン生成回路２３１、変換処理回路２０３、テクスチ
ャ生成回路２０４、ラスター化回路２０７に供給され
る。
【０１３７】図４８は、図１８の合成回路４５の第２の
実施の形態を示しており、図４５の構成において、イン
タフェース回路２１をインタフェース回路４９で置き換
えた構成になっている。インタフェース回路４９は、図
４５のインタフェース回路２１から多重化回路６への出
力線を取り除き、代わりに分離回路４１からの合成タイ
ミングを示すタイムスタンプの入力線とインタラクショ
ン回路４８からのインタラクションデータの入力線を加
えた構成になっている。
実施の形態を示しており、図４５の構成において、イン
タフェース回路２１をインタフェース回路４９で置き換
えた構成になっている。インタフェース回路４９は、図
４５のインタフェース回路２１から多重化回路６への出
力線を取り除き、代わりに分離回路４１からの合成タイ
ミングを示すタイムスタンプの入力線とインタラクショ
ン回路４８からのインタラクションデータの入力線を加
えた構成になっている。
【０１３８】次に、本発明の復号装置の動作について、
図１８乃至２１及び図４８を参照して説明する。分離回
路４１は、入力されたビットストリームから、オーディ
オ信号の圧縮データと復号タイミングを示すタイムスタ
ンプと、ビデオ信号の圧縮データと復号タイミングを示
すタイムスタンプと、シーンデータの圧縮データと復号
タイミングを示すタイムスタンプと、合成タイミングを
示すタイムスタンプと、後述するクロック発生回路４７
に与える参照クロック値を分離する。
図１８乃至２１及び図４８を参照して説明する。分離回
路４１は、入力されたビットストリームから、オーディ
オ信号の圧縮データと復号タイミングを示すタイムスタ
ンプと、ビデオ信号の圧縮データと復号タイミングを示
すタイムスタンプと、シーンデータの圧縮データと復号
タイミングを示すタイムスタンプと、合成タイミングを
示すタイムスタンプと、後述するクロック発生回路４７
に与える参照クロック値を分離する。
【０１３９】図１９に示すように、分離回路４１は、ま
ずバッファ５１が、入力されるビットストリームをバッ
ファリングする。次に、デマルチプレクサ５２が、初期
設定値、もしくはビットストリームのシステムヘッダ部
に含まれるビットストリーム情報を保持する付加情報保
持回路５３から与えられる制御情報に基づき、バッファ
５１から与えられるビットストリームを、オーディオ信
号の圧縮データと復号タイミングを示すタイムスタンプ
と、ビデオ信号の圧縮データと復号タイミングを示すタ
イムスタンプと、シーンデータの圧縮データと復号タイ
ミングを示すタイムスタンプと、合成タイミングを示す
タイムスタンプと、後述するクロック発生回路４７に与
える参照クロック値と、システムヘッダ部のオーバーヘ
ッド情報とに分離する。付加情報回路５３は、必要に応
じてデマルチプレクサ５２から与えられるシステムヘッ
ダ部のオーバーヘッド情報を保存する。
ずバッファ５１が、入力されるビットストリームをバッ
ファリングする。次に、デマルチプレクサ５２が、初期
設定値、もしくはビットストリームのシステムヘッダ部
に含まれるビットストリーム情報を保持する付加情報保
持回路５３から与えられる制御情報に基づき、バッファ
５１から与えられるビットストリームを、オーディオ信
号の圧縮データと復号タイミングを示すタイムスタンプ
と、ビデオ信号の圧縮データと復号タイミングを示すタ
イムスタンプと、シーンデータの圧縮データと復号タイ
ミングを示すタイムスタンプと、合成タイミングを示す
タイムスタンプと、後述するクロック発生回路４７に与
える参照クロック値と、システムヘッダ部のオーバーヘ
ッド情報とに分離する。付加情報回路５３は、必要に応
じてデマルチプレクサ５２から与えられるシステムヘッ
ダ部のオーバーヘッド情報を保存する。
【０１４０】次に、クロック発生回路４７は、分離回路
４１から与えられる参照クロック値を入力とし、それに
従って発振周波数を制御することで、クロックを生成
し、出力する。ただし、ビットストリームが復号装置に
付けられた蓄積媒体内にある場合など、復号装置が周期
的、かつ能動的にビットストリームを取りに行くアプリ
ケーションの場合には、クロック発生回路４７は、分離
回路４１から与えられる参照クロック値は無視し、クロ
ック発生回路８と同様に、それ自身の発振周波数でクロ
ックを生成しても構わない。
４１から与えられる参照クロック値を入力とし、それに
従って発振周波数を制御することで、クロックを生成
し、出力する。ただし、ビットストリームが復号装置に
付けられた蓄積媒体内にある場合など、復号装置が周期
的、かつ能動的にビットストリームを取りに行くアプリ
ケーションの場合には、クロック発生回路４７は、分離
回路４１から与えられる参照クロック値は無視し、クロ
ック発生回路８と同様に、それ自身の発振周波数でクロ
ックを生成しても構わない。
【０１４１】次に、オーディオ信号の復号回路４２、ビ
デオ信号の復号回路４３、シーンデータの復号回路４４
は、それぞれの復号タイミングを示すタイムスタンプの
与える時刻に、圧縮データの復号を実行する。図２０に
示すように、まず復号器６３が、バッファ６２から与え
られる圧縮データとメモリ６４から与えられる復号デー
タを用いて復号を行い、作成された復号データを新たに
メモリ６４に書き込む。その際、オーディオ信号の復号
回路４２、ビデオ信号の復号回路４３、シーンデータの
復号回路４４、それぞれに対して、クロック発生回路４
７からクロックが供給されている。
デオ信号の復号回路４３、シーンデータの復号回路４４
は、それぞれの復号タイミングを示すタイムスタンプの
与える時刻に、圧縮データの復号を実行する。図２０に
示すように、まず復号器６３が、バッファ６２から与え
られる圧縮データとメモリ６４から与えられる復号デー
タを用いて復号を行い、作成された復号データを新たに
メモリ６４に書き込む。その際、オーディオ信号の復号
回路４２、ビデオ信号の復号回路４３、シーンデータの
復号回路４４、それぞれに対して、クロック発生回路４
７からクロックが供給されている。
【０１４２】次に、合成回路４５が、分離回路４１から
与えられる合成タイミングを示すタイムスタンプの時刻
に、オーディオ信号の復号回路４２から得られるオーデ
ィオデータと、ビデオ信号の復号回路４３から得られる
ビデオデータと、シーンデータの復号回路４３から得ら
れるシーンデータを用いて、合成を実行する。この場
合、それぞれのデータには、復号回路内のメモリに蓄積
された復号データをそのまま用いることができる。ま
た、インタラクション回路４８から与えられるインタラ
クションデータに従って、合成映像、オーディオに対す
る視点移動などのインタラクションを反映する。
与えられる合成タイミングを示すタイムスタンプの時刻
に、オーディオ信号の復号回路４２から得られるオーデ
ィオデータと、ビデオ信号の復号回路４３から得られる
ビデオデータと、シーンデータの復号回路４３から得ら
れるシーンデータを用いて、合成を実行する。この場
合、それぞれのデータには、復号回路内のメモリに蓄積
された復号データをそのまま用いることができる。ま
た、インタラクション回路４８から与えられるインタラ
クションデータに従って、合成映像、オーディオに対す
る視点移動などのインタラクションを反映する。
【０１４３】合成回路４５の第１の実施の形態を示す図
２１の動作は、基本的に図３の回路と同様である。ただ
し、シーン生成回路２３１は、バッファ２３２から与え
られる合成タイミングを示すタイムスタンプの時刻に合
成を開始し、復号回路４４から与えられるシーンデー
タ、およびバッファ２３３から与えられるインタラクシ
ョンデータを用いて、シーン生成回路２０１と同様に、
シーングラフを作成し、シーンの描画命令と中間データ
を出力する。他の回路の動作開始は、別に制御線を設け
るか、もしくは描画命令送出時を処理開始とすることで
解決できる。
２１の動作は、基本的に図３の回路と同様である。ただ
し、シーン生成回路２３１は、バッファ２３２から与え
られる合成タイミングを示すタイムスタンプの時刻に合
成を開始し、復号回路４４から与えられるシーンデー
タ、およびバッファ２３３から与えられるインタラクシ
ョンデータを用いて、シーン生成回路２０１と同様に、
シーングラフを作成し、シーンの描画命令と中間データ
を出力する。他の回路の動作開始は、別に制御線を設け
るか、もしくは描画命令送出時を処理開始とすることで
解決できる。
【０１４４】合成回路４５の第２の実施の形態を示す図
４８の動作は、基本的に図４５の回路と同様である。た
だし、ＣＰＵ２２は、インタフェース回路４９を介して
分離回路４１から与えられる合成タイミングを示すタイ
ムスタンプの時刻に合成を開始する。
４８の動作は、基本的に図４５の回路と同様である。た
だし、ＣＰＵ２２は、インタフェース回路４９を介して
分離回路４１から与えられる合成タイミングを示すタイ
ムスタンプの時刻に合成を開始する。
【０１４５】表示回路４６の動作は、図１に示す表示回
路７と同様である。結果として表示された合成映像信
号、オーディオ信号に、観察者がキーボード、マウス等
を用いてインタラクションを働きかけ、その結果がイン
タラクション回路４８に入力される。
路７と同様である。結果として表示された合成映像信
号、オーディオ信号に、観察者がキーボード、マウス等
を用いてインタラクションを働きかけ、その結果がイン
タラクション回路４８に入力される。
【０１４６】図３８は、図１８の復号装置における復号
回路内のバッファのデータと、その復号処理と、復号回
路内のメモリのデータと、その合成処理と、最終的な合
成映像の関係をタイムチャートとして示したものであ
る。入力圧縮データとして、第１の圧縮ビデオデータ
と、第２の圧縮ビデオデータと、シーンデータが仮定さ
れている。復号は、それぞれのデータに対して復号タイ
ミングを示すタイムスタンプの時刻に開始され、バッフ
ァから読み出されて復号が実行され、結果の復号データ
はメモリに書き込まれる。次に、合成が、合成タイミン
グを示すタイムスタンプの時刻に開始され、それぞれの
復号データが同時にメモリから読み出されて合成が実行
され、結果の合成映像が表示される。図３９は、その復
号、合成の処理の流れを示すタイムチャートである。
回路内のバッファのデータと、その復号処理と、復号回
路内のメモリのデータと、その合成処理と、最終的な合
成映像の関係をタイムチャートとして示したものであ
る。入力圧縮データとして、第１の圧縮ビデオデータ
と、第２の圧縮ビデオデータと、シーンデータが仮定さ
れている。復号は、それぞれのデータに対して復号タイ
ミングを示すタイムスタンプの時刻に開始され、バッフ
ァから読み出されて復号が実行され、結果の復号データ
はメモリに書き込まれる。次に、合成が、合成タイミン
グを示すタイムスタンプの時刻に開始され、それぞれの
復号データが同時にメモリから読み出されて合成が実行
され、結果の合成映像が表示される。図３９は、その復
号、合成の処理の流れを示すタイムチャートである。
【０１４７】図３９は、復号装置の処理速度が十分に速
く、合成が符号化装置の想定時間内に終了する場合の例
であるが、復号装置の処理速度が十分でない場合、合成
が符号化装置の想定した時間よりも長くかかってしまう
場合がありうる。図４０は、復号装置における合成処理
に想定以上の時間がかかってしまった場合のタイムチャ
ートの例を示している。
く、合成が符号化装置の想定時間内に終了する場合の例
であるが、復号装置の処理速度が十分でない場合、合成
が符号化装置の想定した時間よりも長くかかってしまう
場合がありうる。図４０は、復号装置における合成処理
に想定以上の時間がかかってしまった場合のタイムチャ
ートの例を示している。
【０１４８】この場合の解決策として、図４１に示すタ
イムチャートのような、復号、合成の処理を行うことが
可能である。すなわち、符号化装置側で設定した時刻ま
でに合成の処理が終了しない場合、その時点で合成を休
止し、すなわち、合成タイミングを示すタイムスタンプ
を無視し、復号終了時に合成を再開する。当該する合成
が、再び次の復号開始タイミングまでに終了していない
場合には、再び合成を休止して、復号が終了するのを待
つ。
イムチャートのような、復号、合成の処理を行うことが
可能である。すなわち、符号化装置側で設定した時刻ま
でに合成の処理が終了しない場合、その時点で合成を休
止し、すなわち、合成タイミングを示すタイムスタンプ
を無視し、復号終了時に合成を再開する。当該する合成
が、再び次の復号開始タイミングまでに終了していない
場合には、再び合成を休止して、復号が終了するのを待
つ。
【０１４９】オーディオ信号やビデオ信号は直前の復号
データを次の復号に用いるため、復号処理のスキップは
品質の大きな低下を招く。そこで、このように合成を休
止することで、合成のフレームレートは低下するもの
の、オーディオ信号とビデオ信号の品質の低下を招かな
い合成を実現することができる。ただし、合成の休止が
オーディオ信号の再生に欠落を招いてはやはり大きな品
質劣化を招くので、合成におけるオーディオ信号の再生
は休止しないものとする。
データを次の復号に用いるため、復号処理のスキップは
品質の大きな低下を招く。そこで、このように合成を休
止することで、合成のフレームレートは低下するもの
の、オーディオ信号とビデオ信号の品質の低下を招かな
い合成を実現することができる。ただし、合成の休止が
オーディオ信号の再生に欠落を招いてはやはり大きな品
質劣化を招くので、合成におけるオーディオ信号の再生
は休止しないものとする。
【０１５０】図４２は、複数の入力データが存在する場
合の通常の復号、合成のタイムチャート、図４３は、複
数の入力データが存在する場合の図４０と同様の問題の
発生を示す復号、合成のタイムチャート、図４４は、複
数の入力データが存在する場合の図４１と同様の問題の
解決方法を示す復号、合成のタイムチャート、をそれぞ
れ表している。
合の通常の復号、合成のタイムチャート、図４３は、複
数の入力データが存在する場合の図４０と同様の問題の
発生を示す復号、合成のタイムチャート、図４４は、複
数の入力データが存在する場合の図４１と同様の問題の
解決方法を示す復号、合成のタイムチャート、をそれぞ
れ表している。
【０１５１】図２２は、本発明の復号装置の第２の実施
の形態を示すブロック図である。この実施の形態は、図
１８における分離回路４１が分離回路１８１で置き換え
られ、また、圧縮オーディオデータの復号回路４２、圧
縮ビデオデータの復号回路４３、圧縮シーンデータの復
号回路４４と合成回路４５毎にそれぞれ異なるクロック
発生回路１８２、１８３、１８４が用意された構成にな
っている。分離回路１８１は基本的に分離回路４１と同
様であり、さらに３個の参照クロック値が出力される構
成となっている。クロック発生回路１８２、１８３、１
８４の動作は、クロック発生回路４７と同様であり、そ
れぞれ分離回路１８１から与えられる参照クロック値で
発振周波数が制御される。
の形態を示すブロック図である。この実施の形態は、図
１８における分離回路４１が分離回路１８１で置き換え
られ、また、圧縮オーディオデータの復号回路４２、圧
縮ビデオデータの復号回路４３、圧縮シーンデータの復
号回路４４と合成回路４５毎にそれぞれ異なるクロック
発生回路１８２、１８３、１８４が用意された構成にな
っている。分離回路１８１は基本的に分離回路４１と同
様であり、さらに３個の参照クロック値が出力される構
成となっている。クロック発生回路１８２、１８３、１
８４の動作は、クロック発生回路４７と同様であり、そ
れぞれ分離回路１８１から与えられる参照クロック値で
発振周波数が制御される。
【０１５２】分離回路１８１の詳細は、図２３に示すよ
うに、図１９のデマルチプレクサ５２をデマルチプレク
サ１８５で置き換えた構成になっている。デマルチプレ
クサ１８５では、新たに３本の参照クロック値の出力線
を有している。
うに、図１９のデマルチプレクサ５２をデマルチプレク
サ１８５で置き換えた構成になっている。デマルチプレ
クサ１８５では、新たに３本の参照クロック値の出力線
を有している。
【０１５３】次に、図２２の回路の動作について説明す
る。基本的な動作は、図１８の回路の動作と同様であ
る。相違点は、圧縮オーディオデータの復号回路４２、
圧縮ビデオデータの復号回路４３、圧縮シーンデータの
復号回路４４と合成回路４５それぞれが、３個の異なる
クロック発生回路１８２、１８３、１８４から供給され
るクロックで動作している点、および分離回路１８１
が、３個の異なる参照クロック値を分離して出力する
点、の二点である。
る。基本的な動作は、図１８の回路の動作と同様であ
る。相違点は、圧縮オーディオデータの復号回路４２、
圧縮ビデオデータの復号回路４３、圧縮シーンデータの
復号回路４４と合成回路４５それぞれが、３個の異なる
クロック発生回路１８２、１８３、１８４から供給され
るクロックで動作している点、および分離回路１８１
が、３個の異なる参照クロック値を分離して出力する
点、の二点である。
【０１５４】図２４は、本発明の復号装置の第３の実施
の形態を示すブロック図である。この実施の形態は、図
１８における分離回路４１が分離回路１８１で置き換え
られ、また、圧縮オーディオデータの復号回路４２、圧
縮ビデオデータの復号回路４３と合成回路４５、圧縮シ
ーンデータの復号回路４４毎にそれぞれ異なるクロック
発生回路１８２、１８３、１８４が用意された構成にな
っている。分離回路１８１、クロック発生回路１８２、
１８３、１８４は、図２２の第２の実施の形態のものと
同じである。
の形態を示すブロック図である。この実施の形態は、図
１８における分離回路４１が分離回路１８１で置き換え
られ、また、圧縮オーディオデータの復号回路４２、圧
縮ビデオデータの復号回路４３と合成回路４５、圧縮シ
ーンデータの復号回路４４毎にそれぞれ異なるクロック
発生回路１８２、１８３、１８４が用意された構成にな
っている。分離回路１８１、クロック発生回路１８２、
１８３、１８４は、図２２の第２の実施の形態のものと
同じである。
【０１５５】次に、図２４の回路の動作について説明す
る。基本的な動作は、図１８の回路の動作と同様であ
る。相違点は、圧縮オーディオデータの復号回路４２、
圧縮ビデオデータの復号回路４３と合成回路４５、圧縮
シーンデータの復号回路４４それぞれが、３個の異なる
クロック発生回路１８２、１８３、１８４から供給され
るクロックで動作している点、および分離回路１８１
が、３個の異なる参照クロック値を分離して出力する
点、の二点である。
る。基本的な動作は、図１８の回路の動作と同様であ
る。相違点は、圧縮オーディオデータの復号回路４２、
圧縮ビデオデータの復号回路４３と合成回路４５、圧縮
シーンデータの復号回路４４それぞれが、３個の異なる
クロック発生回路１８２、１８３、１８４から供給され
るクロックで動作している点、および分離回路１８１
が、３個の異なる参照クロック値を分離して出力する
点、の二点である。
【０１５６】図２５は、本発明の符号化装置と復号装置
を伝送・蓄積系を介して結合して符号化復号システムと
した実施の形態を示すブロック図である。図２５におい
て、符号化復号システムは、符号化装置１９１と復号装
置１９２および伝送・蓄積系から構成される。
を伝送・蓄積系を介して結合して符号化復号システムと
した実施の形態を示すブロック図である。図２５におい
て、符号化復号システムは、符号化装置１９１と復号装
置１９２および伝送・蓄積系から構成される。
【０１５７】動作は、まず符号化装置１９１は、オーデ
ィオ信号と、ビデオ信号と、シーンデータを入力してそ
れぞれ符号化を実行し、さらに多重化してビットストリ
ームを形成し伝送・蓄積系に送出する。一方、復号装置
１９２は、伝送・蓄積系から得られるビットストリーム
を復号し、かつ観察者からのインタラクションを入力し
て合成を実行し、合成映像とオーディオ信号を出力す
る。
ィオ信号と、ビデオ信号と、シーンデータを入力してそ
れぞれ符号化を実行し、さらに多重化してビットストリ
ームを形成し伝送・蓄積系に送出する。一方、復号装置
１９２は、伝送・蓄積系から得られるビットストリーム
を復号し、かつ観察者からのインタラクションを入力し
て合成を実行し、合成映像とオーディオ信号を出力す
る。
【０１５８】以上のように、本発明においては、合成タ
イミングを示すタイムスタンプを使用することにより、
符号化装置側で所望する合成画像を、復号装置側で同期
再生することが可能になる。また、複数のビデオ信号、
もしくはシーンデータが存在し、それぞれの符号化、復
号の時間的な位相がずれている場合に、その中の一つの
ストリームに合成タイミングを示すタイムスタンプを付
加し、復号装置における合成のタイミングを管理させる
ことになる。さらに、合成の複雑さに応じて、符号化装
置側で復号装置の復号、合成動作を制御することが可能
となる。
イミングを示すタイムスタンプを使用することにより、
符号化装置側で所望する合成画像を、復号装置側で同期
再生することが可能になる。また、複数のビデオ信号、
もしくはシーンデータが存在し、それぞれの符号化、復
号の時間的な位相がずれている場合に、その中の一つの
ストリームに合成タイミングを示すタイムスタンプを付
加し、復号装置における合成のタイミングを管理させる
ことになる。さらに、合成の複雑さに応じて、符号化装
置側で復号装置の復号、合成動作を制御することが可能
となる。
【０１５９】なお、復号のタイミングを示すタイムスタ
ンプと、合成のタイミングを示すタイムスタンプは必ず
しも二つ設ける必要はなく、１ビットのフラグを用い
て、そのストリームが合成を管理するストリームか否か
を伝えることが可能である。このように、フラグを用い
ることで、合成のタイミングを示すタイムスタンプをビ
ットストリーム中に入れる必要が無くなり、ビット量の
削減を図ることができる。この場合、復号のタイミング
と合成のタイミングは一致していると仮定する。
ンプと、合成のタイミングを示すタイムスタンプは必ず
しも二つ設ける必要はなく、１ビットのフラグを用い
て、そのストリームが合成を管理するストリームか否か
を伝えることが可能である。このように、フラグを用い
ることで、合成のタイミングを示すタイムスタンプをビ
ットストリーム中に入れる必要が無くなり、ビット量の
削減を図ることができる。この場合、復号のタイミング
と合成のタイミングは一致していると仮定する。
【０１６０】図４９は、前記１ビットのフラグを採用し
た本発明のビットストリームの実施の形態を示すもので
あり、圧縮オーディオデータ、圧縮ビデオデータ、圧縮
シーンデータにそれぞれ添付される復号タイミングを示
すタイムスタンプに、１ビットのフラグを付加し、多重
化を行い、ビットストリームを生成することで実現され
る。
た本発明のビットストリームの実施の形態を示すもので
あり、圧縮オーディオデータ、圧縮ビデオデータ、圧縮
シーンデータにそれぞれ添付される復号タイミングを示
すタイムスタンプに、１ビットのフラグを付加し、多重
化を行い、ビットストリームを生成することで実現され
る。
【０１６１】フラグが０の場合は、復号タイミングを示
すタイムスタンプは、合成タイミングを示すタイムスタ
ンプを兼ねない、とする。また、フラグが１の場合は、
復号タイミングを示すタイムスタンプは、合成タイミン
グを示すタイムスタンプを兼ねる、とする。
すタイムスタンプは、合成タイミングを示すタイムスタ
ンプを兼ねない、とする。また、フラグが１の場合は、
復号タイミングを示すタイムスタンプは、合成タイミン
グを示すタイムスタンプを兼ねる、とする。
【０１６２】図５０は、参照クロック値と復号タイミン
グを示すタイムスタンプに前記１ビットのフラグを付加
した本発明のビットストリームの他の実施の形態を示す
ものであり、圧縮オーディオデータ、圧縮ビデオデー
タ、圧縮シーンデータにそれぞれ添付される参照クロッ
ク値と復号タイミングを示すタイムスタンプに、１ビッ
トのフラグを付加し、多重化を行い、ビットストリーム
を生成することで実現される。
グを示すタイムスタンプに前記１ビットのフラグを付加
した本発明のビットストリームの他の実施の形態を示す
ものであり、圧縮オーディオデータ、圧縮ビデオデー
タ、圧縮シーンデータにそれぞれ添付される参照クロッ
ク値と復号タイミングを示すタイムスタンプに、１ビッ
トのフラグを付加し、多重化を行い、ビットストリーム
を生成することで実現される。
【０１６３】フラグが０の場合は、復号タイミングを示
すタイムスタンプは、合成タイミングを示すタイムスタ
ンプを兼ねない、とする。また、フラグが１の場合は、
復号タイミングを示すタイムスタンプは、合成タイミン
グを示すタイムスタンプを兼ねる、とする。
すタイムスタンプは、合成タイミングを示すタイムスタ
ンプを兼ねない、とする。また、フラグが１の場合は、
復号タイミングを示すタイムスタンプは、合成タイミン
グを示すタイムスタンプを兼ねる、とする。
【０１６４】図５１は、本発明の符号化装置の第１０の
実施の形態を示すブロック図である。この実施の形態
は、図５の構成において、ビデオ信号の符号化回路１５
１、シーンデータの符号化回路４、合成回路１５２、多
重化回路６を、それぞれ符号化回路２４１、符号化回路
２４２、符号化回路２４３、多重化回路２４４、に置き
換えた構成になる。
実施の形態を示すブロック図である。この実施の形態
は、図５の構成において、ビデオ信号の符号化回路１５
１、シーンデータの符号化回路４、合成回路１５２、多
重化回路６を、それぞれ符号化回路２４１、符号化回路
２４２、符号化回路２４３、多重化回路２４４、に置き
換えた構成になる。
【０１６５】次に、図５１の回路の動作について、図を
参照して説明する。図５１の回路の動作は、基本的には
図５の動作と同様である。ただし、ビデオ信号の符号化
回路２４１、およびシーンデータの符号化回路２４２
は、それぞれのストリームが合成のタイミングを運ぶ場
合には、本発明のビットストリームのフラグを１にし
て、復号タイミングを示すタイムスタンプと共に時刻情
報として出力する。逆に、合成のタイミングを運ばない
場合には、本発明のビットストリームのフラグを０にし
て、復号タイミングを示すタイムスタンプと共に時刻情
報として出力する。合成回路２４３は、図５の合成回路
１５２と同様に、合成の状態を出力する。ビデオ信号の
符号化回路２４１、もしくはシーンデータの符号化回路
２４２は、合成回路２４３の合成処理が終了していない
場合には、本来はストリームが合成のタイミングを運ぶ
場合においても、本発明のビットストリームのフラグを
０にして、復号タイミングを示すタイムスタンプと共に
時刻情報として出力する。多重化回路２４４は、本発明
のビットストリームを生成し、出力する。
参照して説明する。図５１の回路の動作は、基本的には
図５の動作と同様である。ただし、ビデオ信号の符号化
回路２４１、およびシーンデータの符号化回路２４２
は、それぞれのストリームが合成のタイミングを運ぶ場
合には、本発明のビットストリームのフラグを１にし
て、復号タイミングを示すタイムスタンプと共に時刻情
報として出力する。逆に、合成のタイミングを運ばない
場合には、本発明のビットストリームのフラグを０にし
て、復号タイミングを示すタイムスタンプと共に時刻情
報として出力する。合成回路２４３は、図５の合成回路
１５２と同様に、合成の状態を出力する。ビデオ信号の
符号化回路２４１、もしくはシーンデータの符号化回路
２４２は、合成回路２４３の合成処理が終了していない
場合には、本来はストリームが合成のタイミングを運ぶ
場合においても、本発明のビットストリームのフラグを
０にして、復号タイミングを示すタイムスタンプと共に
時刻情報として出力する。多重化回路２４４は、本発明
のビットストリームを生成し、出力する。
【０１６６】図５２は、本発明の復号装置の第４の実施
の形態を示すブロック図である。この実施の形態は、図
１８の構成において、分離回路４１を分離回路２５１に
置き換えた構成となっている。分離回路２５１は、合成
のタイミングを運ぶストリームの復号のタイミングを示
すタイムスタンプをコピーして出力する。
の形態を示すブロック図である。この実施の形態は、図
１８の構成において、分離回路４１を分離回路２５１に
置き換えた構成となっている。分離回路２５１は、合成
のタイミングを運ぶストリームの復号のタイミングを示
すタイムスタンプをコピーして出力する。
【０１６７】次に、図５２の回路の動作について、図を
参照して説明する。図５２の回路の動作は、基本的には
図１８の動作と同様である。ただし、分離回路２５１
は、本発明のビットストリームのフラグに従い、合成の
タイミングを運ぶストリームの復号のタイミングを示す
タイムスタンプをコピーして出力する。合成回路４５
は、そのタイムスタンプに従って合成動作を開始する。
ただし、実際には合成のタイミングを運ぶストリームの
復号を行う復号回路の処理の終了を待ち、終了後直ちに
合成を開始する。
参照して説明する。図５２の回路の動作は、基本的には
図１８の動作と同様である。ただし、分離回路２５１
は、本発明のビットストリームのフラグに従い、合成の
タイミングを運ぶストリームの復号のタイミングを示す
タイムスタンプをコピーして出力する。合成回路４５
は、そのタイムスタンプに従って合成動作を開始する。
ただし、実際には合成のタイミングを運ぶストリームの
復号を行う復号回路の処理の終了を待ち、終了後直ちに
合成を開始する。
【０１６８】また、図５１と図５２の符号化装置と復号
装置を結合して、図２５記載のように、符号化復号シス
テムを構成することができる。
装置を結合して、図２５記載のように、符号化復号シス
テムを構成することができる。
【０１６９】
【発明の効果】本発明の符号化装置によれば、合成タイ
ミングを示すタイムスタンプをビットストリームに付加
するので、符号化側の所望する合成映像の生成を保証
し、時間的に連続して転送されるストリームデータへの
対応を可能とし、復号側におけるインタラクション機能
をサポートしつつ、オーディオ信号とビデオ信号と人工
シーンデータの符号化復号同期再生を実現することがで
きる。
ミングを示すタイムスタンプをビットストリームに付加
するので、符号化側の所望する合成映像の生成を保証
し、時間的に連続して転送されるストリームデータへの
対応を可能とし、復号側におけるインタラクション機能
をサポートしつつ、オーディオ信号とビデオ信号と人工
シーンデータの符号化復号同期再生を実現することがで
きる。
【０１７０】本発明の符号化装置の第２の実施の形態に
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御して、合成タイミングを示すタイムスタンプ
をビットストリームに付加するので、符号化側の所望す
る合成映像の生成を保証し、時間的に連続して転送され
るストリームデータへの対応を可能とし、復号側におけ
るインタラクション機能をサポートしつつ、合成フレー
ムレートを下げること無く、オーディオ信号とビデオ信
号と人工シーンデータの符号化復号同期再生を実現する
ことができる。
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御して、合成タイミングを示すタイムスタンプ
をビットストリームに付加するので、符号化側の所望す
る合成映像の生成を保証し、時間的に連続して転送され
るストリームデータへの対応を可能とし、復号側におけ
るインタラクション機能をサポートしつつ、合成フレー
ムレートを下げること無く、オーディオ信号とビデオ信
号と人工シーンデータの符号化復号同期再生を実現する
ことができる。
【０１７１】本発明の符号化装置の第３の実施の形態に
よれば、合成の負荷が高いときには合成処理を制御し
て、合成タイミングを示すタイムスタンプをビットスト
リームに付加するので、符号化側の所望する合成映像の
生成を保証し、時間的に連続して転送されるストリーム
データへの対応を可能とし、復号側におけるインタラク
ション機能をサポートしつつ、ビデオ信号のフレームレ
ートを下げること無く、オーディオ信号とビデオ信号と
人工シーンデータの符号化復号同期再生を実現すること
ができる。
よれば、合成の負荷が高いときには合成処理を制御し
て、合成タイミングを示すタイムスタンプをビットスト
リームに付加するので、符号化側の所望する合成映像の
生成を保証し、時間的に連続して転送されるストリーム
データへの対応を可能とし、復号側におけるインタラク
ション機能をサポートしつつ、ビデオ信号のフレームレ
ートを下げること無く、オーディオ信号とビデオ信号と
人工シーンデータの符号化復号同期再生を実現すること
ができる。
【０１７２】本発明の符号化装置の第４の実施の形態に
よれば、合成回路と人工シーンデータの符号化回路に同
じクロックを供給し、合成タイミングを示すタイムスタ
ンプを人工シーンデータの圧縮データに添付してビット
ストリームを作成しているので、符号化側の所望する合
成映像の生成を保証し、時間的に連続して転送されるス
トリームデータへの対応を可能とし、復号側におけるイ
ンタラクション機能をサポートしつつ、オーディオ信号
とビデオ信号と人工シーンデータ毎に異なるクロックで
符号化した場合の符号化復号同期再生を実現することが
できる。
よれば、合成回路と人工シーンデータの符号化回路に同
じクロックを供給し、合成タイミングを示すタイムスタ
ンプを人工シーンデータの圧縮データに添付してビット
ストリームを作成しているので、符号化側の所望する合
成映像の生成を保証し、時間的に連続して転送されるス
トリームデータへの対応を可能とし、復号側におけるイ
ンタラクション機能をサポートしつつ、オーディオ信号
とビデオ信号と人工シーンデータ毎に異なるクロックで
符号化した場合の符号化復号同期再生を実現することが
できる。
【０１７３】本発明の符号化装置の第５の実施の形態に
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御し、合成回路と人工シーンデータの符号化回
路に同じクロックを供給し、合成タイミングを示すタイ
ムスタンプを人工シーンデータの圧縮データに添付して
ビットストリームを作成しているので、符号化側の所望
する合成映像の生成を保証し、時間的に連続して転送さ
れるストリームデータへの対応を可能とし、復号側にお
けるインタラクション機能をサポートしつつ、合成フレ
ームレートを下げること無く、オーディオ信号とビデオ
信号と人工シーンデータ毎に異なるクロックで符号化し
た場合の符号化復号同期再生を実現することができる。
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御し、合成回路と人工シーンデータの符号化回
路に同じクロックを供給し、合成タイミングを示すタイ
ムスタンプを人工シーンデータの圧縮データに添付して
ビットストリームを作成しているので、符号化側の所望
する合成映像の生成を保証し、時間的に連続して転送さ
れるストリームデータへの対応を可能とし、復号側にお
けるインタラクション機能をサポートしつつ、合成フレ
ームレートを下げること無く、オーディオ信号とビデオ
信号と人工シーンデータ毎に異なるクロックで符号化し
た場合の符号化復号同期再生を実現することができる。
【０１７４】本発明の符号化装置の第６の実施の形態に
よれば、合成の負荷が高いときには合成処理を制御し
て、合成回路と人工シーンデータの符号化回路に同じク
ロックを供給し、合成タイミングを示すタイムスタンプ
を人工シーンデータの圧縮データに添付してビットスト
リームを作成しているので、符号化側の所望する合成映
像の生成を保証し、時間的に連続して転送されるストリ
ームデータへの対応を可能とし、復号側におけるインタ
ラクション機能をサポートしつつ、ビデオ信号のフレー
ムレートを下げること無く、オーディオ信号とビデオ信
号と人工シーンデータ毎に異なるクロックで符号化した
場合の符号化復号同期再生を実現することができる。
よれば、合成の負荷が高いときには合成処理を制御し
て、合成回路と人工シーンデータの符号化回路に同じク
ロックを供給し、合成タイミングを示すタイムスタンプ
を人工シーンデータの圧縮データに添付してビットスト
リームを作成しているので、符号化側の所望する合成映
像の生成を保証し、時間的に連続して転送されるストリ
ームデータへの対応を可能とし、復号側におけるインタ
ラクション機能をサポートしつつ、ビデオ信号のフレー
ムレートを下げること無く、オーディオ信号とビデオ信
号と人工シーンデータ毎に異なるクロックで符号化した
場合の符号化復号同期再生を実現することができる。
【０１７５】本発明の符号化装置の第７の実施の形態に
よれば、合成回路とビデオ信号の符号化回路に同じクロ
ックを供給し、合成タイミングを示すタイムスタンプを
ビデオ信号の圧縮データに添付してビットストリームを
作成しているので、符号化側の所望する合成映像の生成
を保証し、時間的に連続して転送されるストリームデー
タへの対応を可能とし、復号側におけるインタラクショ
ン機能をサポートしつつ、オーディオ信号とビデオ信号
と人工シーンデータ毎に異なるクロックで符号化した場
合の符号化復号同期再生を実現することができる。
よれば、合成回路とビデオ信号の符号化回路に同じクロ
ックを供給し、合成タイミングを示すタイムスタンプを
ビデオ信号の圧縮データに添付してビットストリームを
作成しているので、符号化側の所望する合成映像の生成
を保証し、時間的に連続して転送されるストリームデー
タへの対応を可能とし、復号側におけるインタラクショ
ン機能をサポートしつつ、オーディオ信号とビデオ信号
と人工シーンデータ毎に異なるクロックで符号化した場
合の符号化復号同期再生を実現することができる。
【０１７６】本発明の符号化装置の第８の実施の形態に
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御し、合成回路とビデオ信号の符号化回路に同
じクロックを供給し、合成タイミングを示すタイムスタ
ンプをビデオ信号の圧縮データに添付してビットストリ
ームを作成しているので、符号化側の所望する合成映像
の生成を保証し、時間的に連続して転送されるストリー
ムデータへの対応を可能とし、復号側におけるインタラ
クション機能をサポートしつつ、合成フレームレートを
下げること無く、オーディオ信号とビデオ信号と人工シ
ーンデータ毎に異なるクロックで符号化した場合の符号
化復号同期再生を実現することができる本発明の符号化
装置の第９の実施の形態によれば、合成の負荷が高いと
きには合成処理を制御して、合成回路とビデオ信号の符
号化回路に同じクロックを供給し、合成タイミングを示
すタイムスタンプをビデオ信号の圧縮データに添付して
ビットストリームを作成しているので、符号化側の所望
する合成映像の生成を保証し、時間的に連続して転送さ
れるストリームデータへの対応を可能とし、復号側にお
けるインタラクション機能をサポートしつつ、ビデオ信
号のフレームレートを下げること無く、オーディオ信号
とビデオ信号と人工シーンデータ毎に異なるクロックで
符号化した場合の符号化復号同期再生を実現することが
できる。
よれば、合成の負荷が高いときにはビデオ信号の符号化
処理を制御し、合成回路とビデオ信号の符号化回路に同
じクロックを供給し、合成タイミングを示すタイムスタ
ンプをビデオ信号の圧縮データに添付してビットストリ
ームを作成しているので、符号化側の所望する合成映像
の生成を保証し、時間的に連続して転送されるストリー
ムデータへの対応を可能とし、復号側におけるインタラ
クション機能をサポートしつつ、合成フレームレートを
下げること無く、オーディオ信号とビデオ信号と人工シ
ーンデータ毎に異なるクロックで符号化した場合の符号
化復号同期再生を実現することができる本発明の符号化
装置の第９の実施の形態によれば、合成の負荷が高いと
きには合成処理を制御して、合成回路とビデオ信号の符
号化回路に同じクロックを供給し、合成タイミングを示
すタイムスタンプをビデオ信号の圧縮データに添付して
ビットストリームを作成しているので、符号化側の所望
する合成映像の生成を保証し、時間的に連続して転送さ
れるストリームデータへの対応を可能とし、復号側にお
けるインタラクション機能をサポートしつつ、ビデオ信
号のフレームレートを下げること無く、オーディオ信号
とビデオ信号と人工シーンデータ毎に異なるクロックで
符号化した場合の符号化復号同期再生を実現することが
できる。
【０１７７】本発明の復号装置によれば、ビットストリ
ームに付加された合成タイミングを示すタイムスタンプ
を用いて合成を行っているので、符号化側の所望する合
成映像の生成を保証し、時間的に連続して転送されるス
トリームデータへの対応を可能とし、復号側におけるイ
ンタラクション機能をサポートしつつ、オーディオ信号
とビデオ信号と人工シーンデータの符号化復号同期再生
を実現することができる。
ームに付加された合成タイミングを示すタイムスタンプ
を用いて合成を行っているので、符号化側の所望する合
成映像の生成を保証し、時間的に連続して転送されるス
トリームデータへの対応を可能とし、復号側におけるイ
ンタラクション機能をサポートしつつ、オーディオ信号
とビデオ信号と人工シーンデータの符号化復号同期再生
を実現することができる。
【０１７８】本発明の復号装置の第２の実施の形態によ
れば、ビットストリームの中で人工シーンデータの圧縮
データに添付された参照クロック値を用いて生成された
クロックを用いて合成回路と圧縮人工シーンデータの復
号装置を駆動し、人工シーンデータの圧縮データに添付
された合成タイミングを示すタイムスタンプを用いて合
成を行っているので、符号化側の所望する合成映像の生
成を保証し、時間的に連続して転送されるストリームデ
ータへの対応を可能とし、復号側におけるインタラクシ
ョン機能をサポートしつつ、オーディオ信号とビデオ信
号と人工シーンデータ毎に異なるクロックで符号化した
場合の符号化復号同期再生を実現することができる。
れば、ビットストリームの中で人工シーンデータの圧縮
データに添付された参照クロック値を用いて生成された
クロックを用いて合成回路と圧縮人工シーンデータの復
号装置を駆動し、人工シーンデータの圧縮データに添付
された合成タイミングを示すタイムスタンプを用いて合
成を行っているので、符号化側の所望する合成映像の生
成を保証し、時間的に連続して転送されるストリームデ
ータへの対応を可能とし、復号側におけるインタラクシ
ョン機能をサポートしつつ、オーディオ信号とビデオ信
号と人工シーンデータ毎に異なるクロックで符号化した
場合の符号化復号同期再生を実現することができる。
【０１７９】本発明の復号装置の第３の実施の形態によ
れば、ビットストリームの中でビデオ信号の圧縮データ
に添付された参照クロック値を用いて生成されたクロッ
クを用いて合成回路とビデオ信号の圧縮データの復号装
置を駆動し、ビデオ信号の圧縮データに添付された合成
タイミングを示すタイムスタンプを用いて合成を行って
いるので、符号化側の所望する合成映像の生成を保証
し、時間的に連続して転送されるストリームデータへの
対応を可能とし、復号側におけるインタラクション機能
をサポートしつつ、オーディオ信号とビデオ信号と人工
シーンデータ毎に異なるクロックで符号化した場合の符
号化復号同期再生を実現することができる。 本発明の
符号化復号化システムによれば、前記本発明の符号化装
置と復号装置を適宜組み合わせて符号化復号システムを
構成しているので、符号化側の所望する合成映像の生成
を保証し、時間的に連続して転送されるストリームデー
タへの対応を可能とし、復号側におけるインタラクショ
ン機能をサポートしつつ、オーディオ信号とビデオ信号
と人工シーンデータの符号化復号同期再生を、その組み
合わせに伴う作用効果を伴って実現することができる。
れば、ビットストリームの中でビデオ信号の圧縮データ
に添付された参照クロック値を用いて生成されたクロッ
クを用いて合成回路とビデオ信号の圧縮データの復号装
置を駆動し、ビデオ信号の圧縮データに添付された合成
タイミングを示すタイムスタンプを用いて合成を行って
いるので、符号化側の所望する合成映像の生成を保証
し、時間的に連続して転送されるストリームデータへの
対応を可能とし、復号側におけるインタラクション機能
をサポートしつつ、オーディオ信号とビデオ信号と人工
シーンデータ毎に異なるクロックで符号化した場合の符
号化復号同期再生を実現することができる。 本発明の
符号化復号化システムによれば、前記本発明の符号化装
置と復号装置を適宜組み合わせて符号化復号システムを
構成しているので、符号化側の所望する合成映像の生成
を保証し、時間的に連続して転送されるストリームデー
タへの対応を可能とし、復号側におけるインタラクショ
ン機能をサポートしつつ、オーディオ信号とビデオ信号
と人工シーンデータの符号化復号同期再生を、その組み
合わせに伴う作用効果を伴って実現することができる。
【０１８０】本発明のビットストリームは、フラグを用
いて、復号タイミングを示すタイムスタンプと、合成タ
イミングを示すタイムスタンプを共通化することができ
るので、符号化側の所望する合成映像の生成を保証し、
時間的に連続して転送されるストリームデータへの対応
を可能とし、復号側におけるインタラクション機能をサ
ポートしつつ、オーバーヘッド情報を少なくして、オー
ディオ信号とビデオ信号と人工シーンデータ毎に異なる
クロックで符号化した場合の符号化復号同期再生を実現
することができる。
いて、復号タイミングを示すタイムスタンプと、合成タ
イミングを示すタイムスタンプを共通化することができ
るので、符号化側の所望する合成映像の生成を保証し、
時間的に連続して転送されるストリームデータへの対応
を可能とし、復号側におけるインタラクション機能をサ
ポートしつつ、オーバーヘッド情報を少なくして、オー
ディオ信号とビデオ信号と人工シーンデータ毎に異なる
クロックで符号化した場合の符号化復号同期再生を実現
することができる。
【０１８１】本発明の符号化装置の第１０の実施の形態
によれば、フラグを用いて、復号タイミングを示すタイ
ムスタンプと、合成タイミングを示すタイムスタンプを
共通化して、ビットストリームを生成するので、符号化
側の所望する合成映像の生成を保証し、時間的に連続し
て転送されるストリームデータへの対応を可能とし、復
号側におけるインタラクション機能をサポートしつつ、
オーバーヘッド情報を少なくして、オーディオ信号とビ
デオ信号と人工シーンデータ毎に異なるクロックで符号
化した場合の符号化復号同期再生を実現することができ
る。
によれば、フラグを用いて、復号タイミングを示すタイ
ムスタンプと、合成タイミングを示すタイムスタンプを
共通化して、ビットストリームを生成するので、符号化
側の所望する合成映像の生成を保証し、時間的に連続し
て転送されるストリームデータへの対応を可能とし、復
号側におけるインタラクション機能をサポートしつつ、
オーバーヘッド情報を少なくして、オーディオ信号とビ
デオ信号と人工シーンデータ毎に異なるクロックで符号
化した場合の符号化復号同期再生を実現することができ
る。
【０１８２】本発明の復号装置の第４の実施の形態によ
れば、フラグを用いて、復号タイミングを示すタイムス
タンプと、合成タイミングを示すタイムスタンプを共通
化したビットストリームを用いて、復号を行っているの
で、符号化側の所望する合成映像の生成を保証し、時間
的に連続して転送されるストリームデータへの対応を可
能とし、復号側におけるインタラクション機能をサポー
トしつつ、オーバーヘッド情報を少なくして、オーディ
オ信号とビデオ信号と人工シーンデータ毎に異なるクロ
ックで符号化した場合の符号化復号同期再生を実現する
ことができる。
れば、フラグを用いて、復号タイミングを示すタイムス
タンプと、合成タイミングを示すタイムスタンプを共通
化したビットストリームを用いて、復号を行っているの
で、符号化側の所望する合成映像の生成を保証し、時間
的に連続して転送されるストリームデータへの対応を可
能とし、復号側におけるインタラクション機能をサポー
トしつつ、オーバーヘッド情報を少なくして、オーディ
オ信号とビデオ信号と人工シーンデータ毎に異なるクロ
ックで符号化した場合の符号化復号同期再生を実現する
ことができる。
【０１８３】本発明の符号化復号システムの他の実施の
形態によれば、フラグを用いて、復号タイミングを示す
タイムスタンプと、合成タイミングを示すタイムスタン
プを共通化したビットストリームを用いた符号化装置及
び復号装置を用いているので、符号化側の所望する合成
映像の生成を保証し、時間的に連続して転送されるスト
リームデータへの対応を可能とし、復号側におけるイン
タラクション機能をサポートしつつ、オーバーヘッド情
報を少なくして、オーディオ信号とビデオ信号と人工シ
ーンデータ毎に異なるクロックで符号化した場合の符号
化復号同期再生を実現することができる。
形態によれば、フラグを用いて、復号タイミングを示す
タイムスタンプと、合成タイミングを示すタイムスタン
プを共通化したビットストリームを用いた符号化装置及
び復号装置を用いているので、符号化側の所望する合成
映像の生成を保証し、時間的に連続して転送されるスト
リームデータへの対応を可能とし、復号側におけるイン
タラクション機能をサポートしつつ、オーバーヘッド情
報を少なくして、オーディオ信号とビデオ信号と人工シ
ーンデータ毎に異なるクロックで符号化した場合の符号
化復号同期再生を実現することができる。
【０１８４】
【図１】本発明の符号化装置の第１の実施の形態を示す
ブロック図である。
ブロック図である。
【図２】図１における符号化回路の詳細を示すブロック
図である。
図である。
【図３】図１における合成回路の詳細を示す第１のブロ
ック図である。
ック図である。
【図４】図１における多重化回路の詳細を示すブロック
図である。
図である。
【図５】本発明の符号化装置の第２の実施の形態を示す
ブロック図である。
ブロック図である。
【図６】図５における符号化回路の詳細を示すブロック
図である。
図である。
【図７】図５における合成回路の詳細を示す第１のブロ
ック図である。
ック図である。
【図８】本発明の符号化装置の第３の実施の形態を示す
ブロック図である。
ブロック図である。
【図９】図８における符号化回路の詳細を示すブロック
図である。
図である。
【図１０】図８における合成回路の詳細を示す第１のブ
ロック図である。
ロック図である。
【図１１】本発明の符号化装置の第４の実施の形態を示
すブロック図である。
すブロック図である。
【図１２】図１１における多重化回路の詳細を示すブロ
ック図である。
ック図である。
【図１３】本発明の符号化装置の第５の実施の形態を示
すブロック図である。
すブロック図である。
【図１４】本発明の符号化装置の第６の実施の形態を示
すブロック図である。
すブロック図である。
【図１５】本発明の符号化装置の第７の実施の形態を示
すブロック図である。
すブロック図である。
【図１６】本発明の符号化装置の第８の実施の形態を示
すブロック図である。
すブロック図である。
【図１７】本発明の符号化装置の第９の実施の形態を示
すブロック図である。
すブロック図である。
【図１８】本発明の復号装置の第１の実施の形態を示す
ブロック図である。
ブロック図である。
【図１９】図１８における分離回路の詳細を示すブロッ
ク図である。
ク図である。
【図２０】図１８における復号回路の詳細を示すブロッ
ク図である。
ク図である。
【図２１】図１８における合成回路の詳細を示す第１の
ブロック図である。
ブロック図である。
【図２２】本発明の復号装置の第２の実施の形態を示す
ブロック図である。
ブロック図である。
【図２３】図２２における分離回路の詳細を示すブロッ
ク図である。
ク図である。
【図２４】本発明の復号装置の第３の実施の形態を示す
ブロック図である。
ブロック図である。
【図２５】本発明の符号化復号システムを示すブロック
図である。
図である。
【図２６】本発明の第１の実施の形態の符号化装置によ
って生成されるビットストリームを示す図である。
って生成されるビットストリームを示す図である。
【図２７】本発明の第４の実施の形態の符号化装置によ
って生成されるビットストリームを示す図である。
って生成されるビットストリームを示す図である。
【図２８】通常の符号化、復号、合成のタイムチャート
を示す図である。
を示す図である。
【図２９】合成に過度の時間を要した場合の、符号化、
復号、合成のタイムチャートを示す図である。
復号、合成のタイムチャートを示す図である。
【図３０】本発明の第２の実施の形態の符号化装置によ
って解決される、符号化、復号、合成のタイムチャート
を示す図である。
って解決される、符号化、復号、合成のタイムチャート
を示す図である。
【図３１】複数入力の場合の、通常の符号化、復号、合
成のタイムチャートを示す図である。
成のタイムチャートを示す図である。
【図３２】複数入力の場合に、合成に過度の時間を要し
たときの、符号化、復号、合成のタイムチャートを示す
第１の図である。
たときの、符号化、復号、合成のタイムチャートを示す
第１の図である。
【図３３】本発明の第２の実施の形態の符号化装置によ
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す第１の図である。
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す第１の図である。
【図３４】複数入力の場合に、合成に過度の時間を要し
たときの、符号化、復号、合成のタイムチャートを示す
第２の図である。
たときの、符号化、復号、合成のタイムチャートを示す
第２の図である。
【図３５】本発明の第２の実施の形態の符号化装置によ
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す第２の図である。
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す第２の図である。
【図３６】本発明の第３の実施の形態の符号化装置によ
って解決される、符号化、復号、合成のタイムチャート
を示す図である。
って解決される、符号化、復号、合成のタイムチャート
を示す図である。
【図３７】本発明の第３の実施の形態の符号化装置によ
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す図である。
って解決される、複数入力の場合の、符号化、復号、合
成のタイムチャートを示す図である。
【図３８】復号回路内のバッファと、復号回路内のメモ
リと、合成回路の間のデータの流れを示す図である。
リと、合成回路の間のデータの流れを示す図である。
【図３９】通常の復号、合成のタイムチャートを示す図
である。
である。
【図４０】合成に過度の時間を要した場合の、復号、合
成のタイムチャートを示す図である。
成のタイムチャートを示す図である。
【図４１】本発明の第１の実施の形態の復号装置によっ
て解決される、復号、合成のタイムチャートを示す図で
ある。
て解決される、復号、合成のタイムチャートを示す図で
ある。
【図４２】複数入力の場合の、通常の復号、合成のタイ
ムチャートを示す図である。
ムチャートを示す図である。
【図４３】複数入力の場合に、合成に過度の時間を要し
たときの、復号、合成のタイムチャートを示す図であ
る。
たときの、復号、合成のタイムチャートを示す図であ
る。
【図４４】本発明の第１の実施の形態の復号装置によっ
て解決される、複数入力の場合の、復号、合成のタイム
チャートを示す図である。
て解決される、複数入力の場合の、復号、合成のタイム
チャートを示す図である。
【図４５】図１における合成回路の詳細を示す第２のブ
ロック図である。
ロック図である。
【図４６】図５における合成回路の詳細を示す第２のブ
ロック図である。
ロック図である。
【図４７】図８における合成回路の詳細を示す第２のブ
ロック図である。
ロック図である。
【図４８】図１８における合成回路の詳細を示す第２の
ブロック図である。
ブロック図である。
【図４９】本発明の第１の実施の形態の符号化装置によ
って生成されるビットストリームの他の例を示す図であ
る。
って生成されるビットストリームの他の例を示す図であ
る。
【図５０】本発明の第４の実施の形態の符号化装置によ
って生成されるビットストリームの他の例を示す図であ
る。
って生成されるビットストリームの他の例を示す図であ
る。
【図５１】本発明の符号化装置の第１０の実施の形態を
示すブロック図である。
示すブロック図である。
【図５２】本発明の復号装置の第４の実施の形態を示す
ブロック図である。
ブロック図である。
【図５３】従来の、オーディオ信号、ビデオ信号の符号
化復号同期再生方式を示す図である。
化復号同期再生方式を示す図である。
【図５４】従来の、オーディオ信号、ビデオ信号、人工
シーンデータの復号同期再生方式を示す図である。
シーンデータの復号同期再生方式を示す図である。
【図５５】従来の、オーディオ信号、ビデオ信号、人工
シーンデータの復号再生方式を示す図である。
シーンデータの復号再生方式を示す図である。
【図５６】従来の、オーディオ信号、ビデオ信号、人工
シーンデータの符号化復号同期再生方式を示す図であ
る。
シーンデータの符号化復号同期再生方式を示す図であ
る。
１、２、４ 符号化回路
３ インタフェース回路
５ 合成回路
６ 多重化回路
７ 遅延回路
８ クロック発生回路
１１ 符号化器
１２ 復号器
１３ メモリ
１４、１５ バッファ
２１ インタフェース回路
２２ 中央演算回路（ＣＰＵ）
２３ 変換処理回路
２４ ラスター化回路
２５ テクスチャ生成回路
２６ フレームバッファ
２７ 遅延回路
２８ カウンタ
２９ メモリ
３１ マルチプレクサ
３２ カウンタ
３３ 付加情報保持回路
３４ バッファ
４１ 分離回路
４２、４３、４４ 復号回路
４５ 合成回路
４６ 表示回路
４７ クロック発生回路
４８ インタラクション回路
５１ バッファ
５２ デマルチプレクサ
５３ 付加情報保持回路
６１、６４ バッファ
６４ メモリ
７１、７２ 符号化器
７３、７４ バッファ
７５ 多重化回路
７６ 蓄積・伝送装置
７７ 分離回路
７８、７９ バッファ
８１ 復号器
９１ 分離回路
９２、９３、９４ バッファ
９５、９６、９７ 復号器
９８、９９、１００ バッファ
１０１ 合成回路
１０２ 表示回路
１０３ 等価復号回路
１１１、１１２ バッファ
１１３ 分離回路
１１４１１５、１１６ 復号器
１１７、１１８、１１９ メモリ
１２０ 合成回路
１２１ 表示回路
１２２ 前処理部
１３１ クロマキー処理回路
１３２ 合成回路
１３３、１３４ メモリ
１３５ 重畳回路
１３６、１３７ 符号化器
１３８、１３９ バッファ
１４０ 多重化回路
１４１ クロマキー合成部
１５１ 符号化回路
１５２ 合成回路
１５３ スケジューリング回路
１５４ 符号化器
１５５ 復号器
１５６ インタフェース回路
１６１、１６２、１６３ 符号化回路
１６４ 合成回路
１６５ スケジューリング回路
１６６ 符号化器
１６７ 復号器
１６８ ＯＲ回路
１６９ インタフェース回路
１７１、１７２、１７３ クロック発生回路
１７４ 多重化回路
１７５ マルチプレクサ
１８１ 分離回路
１８２１８３、１８４ クロック発生回路
１８５ デマルチプレクサ
１９１ 符号化装置
１９２ 復号装置
２０１ シーン生成回路
２０２ バッファ
２０３ 変換処理回路
２０４ テクスチャ生成回路
２０５ ラスター化回路
２０６ 遅延回路
２０７ フレームバッファ
２１１ シーン生成回路
２１２ 変換処理回路
２１３ テクスチャ生成回路
２１４ ラスター化回路
２１５ ＯＲ回路
２２１ シーン生成回路
２２２ 変換処理回路
２２３ テクスチャ生成回路
２２４ ラスター化回路
２２５ 制御回路
２３１ シーン生成回路
２３２、２３３ バッファ
２４１、２４２ 符号化回路
２４３ 合成回路
２４４ 多重化回路
２５１ 分離回路
フロントページの続き
(56)参考文献 特開 平９−27871（ＪＰ，Ａ)
特開 平８−168052（ＪＰ，Ａ)
特開 平９−284759（ＪＰ，Ａ)
栄藤，小特集 マルチメディアを目指
すＭＰＥＧ−４標準化動向、２．ＭＰＥ
Ｇ−４システム，映像情報メディア学会
誌，日本，1997年12月20日，Ｖｏｌ.
51，Ｎｏ．12，ｐ．1966−1973
小暮、妹尾，国際標準規格ＭＰＥＧ４
の概略決まる，日経エレクトロニクス,
日本，1997年 ９月22日，Ｎｏ．699,
ｐ．147−168
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
H04N 7/00 - 7/088
H04N 5/91 - 5/956
Claims (40)
- 【請求項１】 オーディオ信号を符号化し圧縮オーディ
オデータを出力し、この圧縮オーディオデータを局所復
号するオーディオ信号符号化手段と、 ビデオ信号を符号化し圧縮ビデオデータを出力し、この
圧縮ビデオデータを局所復号するビデオ信号符号化手段
と、 合成シーンに関する記述、変更等を受け付けるインタフ
ェース手段と、 前記インタフェース手段から与えられるシーンデータを
符号化し圧縮シーンデータを出力し、この圧縮シーンデ
ータを局所復号するシーンデータ符号化手段と、 前記局所復号されたオーディオ信号と、前記局所復号さ
れたビデオ信号と、前記局所復号されたシーンデータか
らシーンを合成するとともに合成シーンの合成のタイミ
ングを示す時刻情報を出力する合成手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、 前記圧縮オーディオデータと、前記圧縮ビデオデータ
と、前記圧縮シーンデータと、前記合成手段から与えら
れる合成シーンの合成のタイミングを示す時刻情報とか
らビットストリームを作成する多重化手段を備えること
を特徴とする符号化装置。 - 【請求項２】 オーディオ信号を符号化し圧縮オーディ
オデータを出力し、この圧縮オーディオデータを局所復
号するとともに復号のタイミングを示す時刻情報を出力
するオーディオ信号符号化手段と、 ビデオ信号を符号化し圧縮ビデオデータを出力し、この
圧縮ビデオデータを局所復号するとともに復号のタイミ
ングを示す時刻情報を出力するビデオ信号符号化手段
と、 合成シーンに関する記述、変更等を受け付けるインタフ
ェース手段と、 前記インタフェース手段から与えられるシーンデータを
符号化し圧縮シーンデータを出力し、この圧縮シーンデ
ータを局所復号するとともに復号のタイミングを示す時
刻情報を出力するシーンデータ符号化手段と、 前記局所復号されたオーディオ信号と、前記局所復号さ
れたビデオ信号と、前 記局所復号されたシーンデータか
らシーンを合成するとともに合成シーンの合成のタイミ
ングを示す時刻情報を出力する合成手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、 前記圧縮オーディオデータとこの圧縮オーディオデータ
の復号のタイミングを示す時刻情報と、前記圧縮ビデオ
データとこの圧縮ビデオデータの復号のタイミングを示
す時刻情報と、前記圧縮シーンデータとこの圧縮シーン
データの復号のタイミングを示す時刻情報と、前記合成
手段から与えられる合成シーンの合成のタイミングを示
す時刻情報とからビットストリームを作成する多重化手
段を備えることを特徴とする符号化装置。 - 【請求項３】 オーディオ信号を符号化し圧縮オーディ
オデータを出力するとともに、この圧縮オーディオデー
タを局所復号するオーディオ信号符号化手段と、 ビデオ信号を符号化し圧縮ビデオデータを出力するとと
もに、この圧縮ビデオデータを局所復号するビデオ信号
符号化手段と、 合成シーンに関する記述、変更等を受け付けるインタフ
ェース手段と、 前記インタフェース手段から与えられるシーンデータを
符号化し圧縮シーンデータを出力するとともに、この圧
縮シーンデータを局所復号するシーンデータ符号化手段
と、 前記局所復号されたオーディオ信号と、前記局所復号さ
れたビデオ信号と、前記局所復号されたシーンデータか
らシーンを合成するとともに合成シーンの合成のタイミ
ングを示す時刻情報を出力する合成手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、 前記オーディオ信号符号化手段と前記ビデオ信号符号化
手段と前記シーンデータ符号化手段と前記合成手段にク
ロックを提供するクロック提供手段と、 前記圧縮オーディオデータと、前記圧縮ビデオデータ
と、前記圧縮シーンデータと、前記合成手段から与えら
れる合成シーンの合成のタイミングを示す時刻情報と、
前記クロック提供手段から与えられるクロック値からビ
ットストリームを 作成する多重化手段を備えることを特
徴とする 符号化装置。 - 【請求項４】 オーディオ信号を符号化し圧縮オーディ
オデータを出力し、この圧縮オーディオデータを局所復
号するとともに復号のタイミングを示す時刻情報を出力
するオーディオ信号符号化手段と、 ビデオ信号を符号化し圧縮ビデオデータを出力し、この
圧縮ビデオデータを局所復号するとともに復号のタイミ
ングを示す時刻情報を出力するビデオ信号符号化手段
と、 合成シーンに関する記述、変更等を受け付けるインタフ
ェース手段と、 前記インタフェース手段から与えられるシーンデータを
符号化し圧縮シーンデータを出力し、この圧縮シーンデ
ータを局所復号するとともに復号のタイミングを示す時
刻情報を出力するシーンデータ符号化手段と、 前記局所復号されたオーディオ信号と、前記局所復号さ
れたビデオ信号と、前記局所復号されたシーンデータか
らシーンを合成するとともに合成シーンの合成のタイミ
ングを示す時刻情報を出力する合成手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、 前記オーディオ信号符号化手段と前記ビデオ信号符号化
手段と前記シーンデータ符号化手段と前記合成手段にク
ロックを提供するクロック提供手段と、 前記圧縮オーディオデータとこの圧縮データの復号のタ
イミングを示すオーディオ信号の時刻情報と、前記圧縮
ビデオデータとこの圧縮データの復号のタイミングを示
すビデオ信号の時刻情報と、前記圧縮シーンデータとこ
のシーンデータの復号のタイミングを示すシーンデータ
の時刻情報と前記合成手段から与えられる合成シーンの
合成のタイミングを示す時刻情報と、前記クロック提供
手段から与えられるクロック値からビットストリームを
作成する多重化手段を備えることを特徴とする 符号化装
置。 - 【請求項５】 オーディオ信号を入力とし、前記オーデ
ィオ信号を符号化したオーディオデータとこの符号化さ
れたオーディオデータの復号タイミングを示す時刻情報
と前記符号化したデータを局所的に復号したオーディオ
信号を出力するオーディオ信号符号化手段と、 ビデオ信号を入力とし、前記ビデオ信号を符号化したビ
デオデータとこの符号化されたビデオデータの復号タイ
ミングを示す時刻情報と前記符号化したデータを局所的
に復号したビデオ信号を出力するビデオ信号符号化手段
と、 合成シーンに関する記述、変更等を受け付けるインタフ
ェース手段と、 前記インタフェース手段から与えられるシーンデータを
入力とし、前記シーンデータを符号化したシーンデータ
と復号タイミングを示す時刻情報と前記符号化したデー
タを局所的に復号したシーンデータを出力するシーンデ
ータ符号化手段と、 前記局所的に復号したオーディオ信号と前記局所的に復
号したビデオ信号と前記局所的に復号したシーンデータ
を入力とし、前記シーンデータに従ってビデオ信号とオ
ーディオ信号の合成を行った結果と合成のタイミングを
示す時刻情報とを出力する合成手段と、 前記オーディオ信号符号化手段から与えられる時刻情報
と符号化されたオーディオデータと、前記ビデオ信号符
号化手段から与えられる時刻情報と符号化されたビデオ
データと、前記シーンデータ符号化手段から与えられる
時刻情報と符号化されたシーンデータとを少なくとも入
力とし、これらの入力を多重化してビットストリームを
生成する多重化手段とを備えることを特徴とする 符号化
装置。 - 【請求項６】 前記合成手段におけるシーン合成処理の
遅延状態を検出し、シーン合成処理に間に合わないフレ
ーム期間の符号化処理を休止するように前記ビデオ信号
の符号化手段の動作を制御する手段を備えたことを特徴
とする請求項１〜５のいずれか一項に記載の符号化装
置。 - 【請求項７】 前記オーディオ信号の符号化手段と、前
記ビデオ信号の符号化手段と、前記シーンデータの符号
化手段の各手段の符号化処理の遅延状態を検出し、シー
ン合成処理に間に合わないフレーム期間のオーディオ信
号またはビデオ信号またはシーンデータのシーン合成処
理を休止するように前記合成手段の動作を制御する手段
を備えたことを特徴とする請求項１〜５のいずれか一項
に記載の符号化装置。 - 【請求項８】 前記オーディオ信号符号化手段にクロッ
クを提供する手段と、前記ビデオ信号符号化手段にクロ
ックを提供する手段と、前記シーンデータ符号化手段と
前記合成手段にクロックを提供する手段がそれぞれ独立
して存在し、前記多重化手段は前記クロック値をそれぞ
れ独立して多重化することを特徴とする請求項１、２、
５のいずれか一項に記載の符号化装置。 - 【請求項９】 前記クロック提供手段が、前記オーディ
オ信号符号化手段にクロックを提供する手段と、前記ビ
デオ信号符号化手段にクロックを提供する手段と、前記
シーンデータ符号化手段と前記合成手段にクロックを提
供する手段がそれぞれ独立して存在し、前記多重化手段
は前記クロック値をそれぞれ独立して多重化することを
特徴とする請求項３または４に記載の符号化装置。 - 【請求項１０】 前記オーディオ信号符号化手段にクロ
ックを提供する手段と、前記ビデオ信号符号化手段と前
記合成手段にクロックを提供する手段と、前記シーンデ
ータ符号化手段にクロックを提供する手段がそれぞれ独
立して存在し、前記多重化手段は前記クロック値をそれ
ぞれ独立して多重化することを特徴とする請求項１、
２、５のいずれか一項に記載の符号化装置。 - 【請求項１１】 前記クロック提供手段が、前記オーデ
ィオ信号符号化手段にクロックを提供する手段と、前記
ビデオ信号符号化手段と前記合成手段にクロックを提供
する手段と、前記シーンデータ符号化手段にクロックを
提供する手段がそれぞれ独立して存在し、前記多重化手
段は前記クロック値をそれぞれ独立して多重化すること
を特徴とする請求項３または４に記載の符号化装置。 - 【請求項１２】 ビットストリームからオーディオ信号
の圧縮データとビデオ信号の圧縮データとシーンデータ
の圧縮データと、シーン合成の時刻情報とを分離する分
離手段と、 前記オーディオ信号の圧縮データからオーディオ信号を
復号する手段と、 前記ビデオ信号の圧縮データからビデオ信号を復号する
手段と、 前記シーンデータの圧縮データからシーンデータを復号
する手段と、 前記分離手段から与えられるシーン合成の時刻情報に基
づいて、前記オーディオ信号の復号手段から与えられる
オーディオ信号と、前記ビデオ信号の復号手段から与え
られるビデオ信号と、前記シーンデータの復号手段から
与えられるシーンデータからシーンを合成する手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、を備えることを特徴とする
復号装置。 - 【請求項１３】 ビットストリームからオーディオ信号
の圧縮データとビデオ信号の圧縮データとシーンデータ
の圧縮データと、シーン合成の時刻情報と、クロック値
とを分離する分離手段と、 前記オーディオ信号の圧縮データからオーディオ信号を
復号する手段と、 前記ビデオ信号の圧縮データからビデオ信号を復号する
手段と、 前記シーンデータの圧縮データからシーンデータを復号
する手段と、 前記分離手段から与えられるシーン合成の時刻情報に基
づいて、前記オーディオ信号の復号手段から与えられる
オーディオ信号と、前記ビデオ信号の復号手段から与え
られるビデオ信号と、前記シーンデータの復号手段から
与えられるシーンデータからシーンを合成する手段と、 前記分離手段から与えられるクロック値に従ってクロッ
クを発生し、前記オーディオ信号の復号手段と前記ビデ
オ信号の復号手段と前記シーンデータの復号手段と前記
合成手段にクロックを提供する手段と、前記合成手段か
ら与えられる映像とオーディオの合成シーンを再生表示
する手段と、を備えることを特徴とする復号装置。 - 【請求項１４】 ビットストリームからオーディオ信号
の圧縮データとこの圧縮データの復号のタイミングを示
す時刻情報と、ビデオ信号の圧縮データとこの圧縮デー
タの復号のタイミングを示す時刻情報と、シーンデータ
の圧縮データとこの圧縮データの復号のタイミングを示
す時刻情報と、シーン合成の時刻情報とを分離する手段
と、 前記オーディオ信号の圧縮データと時刻情報からオーデ
ィオ信号を復号する手段と、 前記ビデオ信号の圧縮データと時刻情報からビデオ信号
を復号する手段と、 前記シーンデータの圧縮データと時刻情報からシーンデ
ータを復号する手段と、 前記分離手段から与えられるシーン合成の時刻情報に基
づいて、前記オーディオ信号の復号手段から与えられる
オーディオ信号と、前記ビデオ信号の復号手段から与え
られるビデオ信号と、前記シーンデータの復号手段から
与えられるシーンデータからシーンを合成する手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、を備えることを特徴とする
復号装置。 - 【請求項１５】 ビットストリームからオーディオ信号
の圧縮データとこの圧縮データの復号のタイミングを示
す時刻情報と、ビデオ信号の圧縮データとこの圧縮デー
タの復号のタイミングを示す時刻情報と、シーンデータ
の圧縮データとこの圧縮データの復号のタイミングを示
す時刻情報と、シーン合成の時刻情報と、クロック値と
を分離する手段と、 前記オーディオ信号の圧縮データと時刻情報からオーデ
ィオ信号を復号する手段と、 前記ビデオ信号の圧縮データと時刻情報からビデオ信号
を復号する手段と、 前記シーンデータの圧縮データと時刻情報からシーンデ
ータを復号する手段と、 前記分離手段から与えられるシーン合成の時刻情報に基
づいて、前記オーディオ信号の復号手段から与えられる
オーディオ信号と、前記ビデオ信号の復号手段から与え
られるビデオ信号と、前記シーンデータの復号手段から
与えられるシーンデータからシーンを合成する手段と、 前記分離手段から与えられるクロック値に従ってクロッ
クを発生し、前記オーディオ信号の復号手段と前記ビデ
オ信号の復号手段と前記シーンデータの復号手段と前記
合成手段にクロックを提供する手段と、 前記合成手段から与えられる映像とオーディオの合成シ
ーンを再生表示する手段と、を備えることを特徴とする
復号装置。 - 【請求項１６】 合成映像に対する観察者からのインタ
ラクションを受け付けるインタフェース手段を備え、 前記インタラクションに従い合成シーンに関する記述、
変更等を受け付け、前記合成手段におけるシーン合成処
理および再生表示を制御することを特徴とする請求項１
２から１５のいずれか一項に記載の復号装置。 - 【請求項１７】 分離手段が複数の独立したクロック値
を分離し、それぞれが独立に存在するオーディオ信号の
復号手段にクロックを提供する手段と、ビデオ信号の復
号手段にクロックを提供する手段と、シーンデータの復
号手段と合成手段にクロックを提供する手段への入力と
なることを特徴とする請求項１２から１５のいずれか一
項に記載の復号装置。 - 【請求項１８】 分離手段が複数の独立したクロック値
を分離し、それぞれが独立に存在するオーディオ信号の
復号手段にクロックを提供する手段と、ビデオ信号の復
号手段と合成手段にクロックを提供する手段と、シーン
データの復号手段にクロックを提供する手段への入力と
なることを特徴とする請求項１２から１５のいずれか一
項に記載の復号装置。 - 【請求項１９】 請求項１に記載の符号化装置と請求項
１２に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２０】 請求項２に記載の符号化装置と請求項
１４に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２１】 請求項３に記載の符号化装置と請求項
１３に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２２】 請求項４に記載の符号化装置と請求項
１５に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２３】 請求項５に記載の符号化装置と請求項
１４に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２４】 請求項８に記載の符号化装置と請求項
１７に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２５】 請求項９に記載の符号化装置と請求項
１７に記載の復号装置から構成されていることを特徴と
する符号化復号システム。 - 【請求項２６】 請求項１０に記載の符号化装置と請求
項１８に記載の復号装置から構成されていることを特徴
とする符号化復号システム。 - 【請求項２７】 請求項１１に記載の符号化装置と請求
項１８に記載の復号装置から構成されていることを特徴
とする符号化復号システム。 - 【請求項２８】 オーディオ信号を符号化して圧縮オー
ディオデータを出力するとともにこの圧縮オーディオデ
ータを局所復号し、 ビデオ信号を符号化して圧縮ビデオデータを出力すると
ともにこの圧縮ビデオデータを局所復号し、 合成シーンに関する記述、変更等を受け付けてシーンデ
ータを生成し、前記シーンデータを符号化して圧縮シー
ンデータを出力するとともにこの圧縮シーンデータを局
所復号し、 前記局所復号されたオーディオ信号とビデオ信号とシー
ンデータから映像とオーディオの合成シーンを合成する
とともに合成シーンの合成のタイミングを示す時刻情報
を出力し、 前記合成シーンを再生表示し、 前記一連の符号化で生成した圧縮オーディオデータと圧
縮ビデオデータと圧縮シーンデータと、前記合成シーン
の合成のタイミングを示す時刻情報とを 多重化したビッ
トストリームを生成することを特徴とする映像とオーデ
ィオの合成シーンの符号化方法。 - 【請求項２９】 オーディオ信号を符号化して圧縮オー
ディオデータを出力し、この圧縮オーディオデータを局
所復号するとともに復号のタイミングを示す時刻情報を
出力し、 ビデオ信号を符号化して圧縮ビデオデータを出力し、こ
の圧縮ビデオデータを局所復号するとともに復号のタイ
ミングを示す時刻情報を出力し、 合成シーンに関する記述、変更等を受け付けてシーンデ
ータを生成し、前記シーンデータを符号化して圧縮シー
ンデータを出力し、この圧縮シーンデータを局所復号す
るとともに復号のタイミングを示す時刻情報を出力し、 前記局所復号されたオーディオ信号とビデオ信号とシー
ンデータから映像とオーディオの合成シーンを合成する
とともに合成シーンの合成のタイミングを示す時刻情報
を出力し、 前記合成シーンを再生表示し、 前記一連の符号化で生成した圧縮オーディオデータとこ
の圧縮オーディオデータの復号のタイミングを示す時刻
情報と、圧縮ビデオデータとこの圧縮ビデオデータの復
号のタイミングを示す時刻情報と、圧縮シーンデータと
この圧縮シーンデータの復号のタイミングを示す時刻情
報と、前記合成シーンの合成のタイミングを示す時刻情
報とを多重化したビットストリームを生成することを特
徴とする映像とオーディオの合成シーンの符号化方法。 - 【請求項３０】 オーディオ信号を符号化して圧縮オー
ディオデータを出力するとともにこの圧縮オーディオデ
ータを局所復号し、 ビデオ信号を符号化して圧縮ビデオデータを出力すると
ともにこの圧縮ビデオデータを局所復号し、 合成シーンに関する記述、変更等を受け付けてシーンデ
ータを生成し、前記シーンデータを符号化して圧縮シー
ンデータを出力するとともにこの圧縮シーンデータを局
所復号し、 前記局所復号されたオーディオ信号とビデオ信号とシー
ンデータから映像とオーディオの合成シーンを合成する
とともに合成シーンの合成のタイミングを示す時刻情報
を出力し、 前記合成シーンを再生表示し、 前記一連の符号化で生成した圧縮オーディオデータと圧
縮ビデオデータと圧縮シーンデータと、前記合成シーン
の合成のタイミングを示す時刻情報前記一連の符号化で
参照したクロック値を多重化したビットストリームを生
成することを特徴とする映像とオーディオの合成シーン
の符号化方法。 - 【請求項３１】 オーディオ信号を符号化して圧縮オー
ディオデータを出力し、この圧縮オーディオデータを局
所復号するとともに復号のタイミングを示す時刻情報を
出力し、 ビデオ信号を符号化して圧縮ビデオデータを出力し、こ
の圧縮ビデオデータを局所復号するとともに復号のタイ
ミングを示す時刻情報を出力し、 合成シーンに関する記述、変更等を受け付けてシーンデ
ータを生成し、前記シーンデータを符号化して圧縮シー
ンデータを出力し、この圧縮シーンデータを局所復号す
るとともに復号のタイミングを示す時刻情報を出力し、 前記局所復号されたオーディオ信号とビデオ信号とシー
ンデータから映像とオーディオの合成シーンを合成する
とともに合成シーンの合成のタイミングを示す時刻情報
を出力し、 前記合成シーンを再生表示し、 前記一連の符号化で生成した圧縮オーディオデータとこ
の圧縮オーディオデータの復号のタイミングを示す時刻
情報と、圧縮ビデオデータとこの圧縮ビデオデータの復
号のタイミングを示す時刻情報と、圧縮シーンデータと
この圧縮シーンデータの復号のタイミングを示す時刻情
報と、前記合成シーンの合成のタイミングを示す時刻情
報と、前記一連の符号化で参照したクロック値を多重化
したビットストリームを生成することを特徴とする映像
とオーディオの合成シーンの符号化方法。 - 【請求項３２】 映像とオーディオの合成シーンを符号
化多重化したビットストリームから、オーディオ信号の
圧縮データと、ビデオ信号の圧縮データと、シーンデー
タの圧縮データと、シーン合成の時刻情報とを分離し、 前記オーディオ信号の圧縮データからオーディオ信号を
復号し、 前記ビデオ信号の圧縮データからビデオ信号を復号し、 前記シーンデータの圧縮データからシーンデータを復号
し、前記シーン合成の時刻情報に基づいて、前記復号し
たオーディオ信号と、前記復号したビデオ信号と、前記
復号したシーンデータからシーンを合成し、 前記合成した映像とオーディオの合成シーンを再生表示
することを特徴とするビットストリームの復号方法。 - 【請求項３３】 映像とオーディオの合成シーンを符号
化多重化したビットストリームから、オーディオ信号の
圧縮データと、ビデオ信号の圧縮データと、シーンデー
タの圧縮データと、シーン合成の時刻情報と、クロック
値とを分離し、 前記分離したクロック値に従ってクロックを発生し、 前記発生したクロックを参照してオーディオ信号の圧縮
データからオーディオ信号を復号し、 前記発生したクロックを参照して前記ビデオ信号の圧縮
データからビデオ信号 を復号し、 前記発生したクロックを参照して前記シーンデータの圧
縮データからシーンデータを復号し、前記発生したクロ
ックを参照して前記シーン合成の時刻情報に基づいて、
前記復号したオーディオ信号と、前記復号したビデオ信
号と、前記復号したシーンデータからシーンを合成し、 前記合成した映像とオーディオの合成シーンを再生表示
することを特徴とするビットストリームの復号方法。 - 【請求項３４】 映像とオーディオの合成シーンを符号
化多重化したビットストリームから、オーディオ信号の
圧縮データとこの圧縮データの復号のタイミングを示す
時刻情報と、ビデオ信号の圧縮データとこの圧縮データ
の復号のタイミングを示す時刻情報と、シーンデータの
圧縮データとこの圧縮データの復号のタイミングを示す
時刻情報と、シーン合成の時刻情報とを分離し、 前記オーディオ信号の圧縮データと時刻情報からオーデ
ィオ信号を復号し、 前記ビデオ信号の圧縮データと時刻情報からビデオ信号
を復号し、 前記シーンデータの圧縮データと時刻情報からシーンデ
ータを復号し、前記シーン合成の時刻情報に基づいて、
前記復号したオーディオ信号と、前記復号したビデオ信
号と、前記復号したシーンデータからシーンを合成し、 前記合成した映像とオーディオの合成シーンを再生表示
することを特徴とするビットストリームの復号方法。 - 【請求項３５】 映像とオーディオの合成シーンを符号
化多重化したビットストリームから、オーディオ信号の
圧縮データとこの圧縮データの復号のタイミングを示す
時刻情報と、ビデオ信号の圧縮データとこの圧縮データ
の復号のタイミングを示す時刻情報と、シーンデータの
圧縮データとこの圧縮データの復号のタイミングを示す
時刻情報と、シーン合成の時刻情報と、クロック値とを
分離し、 前記分離したクロック値に従ってクロックを発生し、 前記発生したクロックを参照してオーディオ信号の圧縮
データと時刻情報からオーディオ信号を復号し、 前記発生したクロックを参照して前記ビデオ信号の圧縮
データと時刻情報から ビデオ信号を復号し、 前記発生したクロックを参照して前記シーンデータの圧
縮データと時刻情報からシーンデータを復号し 前記発生したクロックを参照して前記シーン合成の時刻
情報に基づいて、前記復号したオーディオ信号と、前記
復号したビデオ信号と、前記復号したシーンデータから
シーンを合成し、 前記合成した映像とオーディオの合成シーンを再生表示
することを特徴とするビットストリームの復号方法。 - 【請求項３６】 オーディオ信号を符号化して圧縮オー
ディオデータを出力し、この圧縮オーディオデータを局
所復号するとともに復号のタイミングを示す時刻情報を
出力し、ビデオ信号を符号化して圧縮ビデオデータを出
力し、この圧縮ビデオデータを局所復号するとともに復
号のタイミングを示す時刻情報を出力し、合成シーンに
関する記述、変更等を受け付けてシーンデータを生成
し、前記シーンデータを符号化して圧縮シーンデータを
出力し、この圧縮シーンデータを局所復号するとともに
復号のタイミングを示す時刻情報を出力し、前記局所復
号されたオーディオ信号とビデオ信号とシーンデータか
ら映像とオーディオの合成シーンを合成するとともに合
成シーンの合成のタイミングに関する時刻情報を出力
し、前記合成シーンを再生表示し、前記一連の符号化で
生成した圧縮オーディオデータとこの圧縮オーディオデ
ータの復号のタイミングを示す時刻情報と、圧縮ビデオ
データとこの圧縮ビデオデータの復号のタイミングを示
す時刻情報と、圧縮シーンデータとこの圧縮シーンデー
タの復号のタイミングを示す時刻情報と、前記合成シー
ンの合成のタイミングを示す時刻情報とを多重化したビ
ットストリームの生成方法であって、 前記復号のタイミングを示す時刻情報が前記合成シーン
の再生表示に関する時刻情報を兼ねるか否かを示すフラ
グを時刻情報に付加して生成されるオーディオ信号とビ
デオ信号とシーンデータからなる多重化ビットストリー
ムの生成方法。 - 【請求項３７】 オーディオ信号を符号化して圧縮オー
ディオデータを出力し、この圧縮オーディオデータを局
所復号するとともに復号のタイミングを示す時刻情報を
出力し、ビデオ信号を符号化して圧縮ビデオデータを出
力し、この圧 縮ビデオデータを局所復号するとともに復
号のタイミングを示す時刻情報を出力し、合成シーンに
関する記述、変更等を受け付けてシーンデータを生成
し、前記シーンデータを符号化して圧縮シーンデータを
出力し、この圧縮シーンデータを局所復号するとともに
復号のタイミングを示す時刻情報を出力し、前記局所復
号されたオーディオ信号とビデオ信号とシーンデータか
ら映像とオーディオの合成シーンを合成するとともに合
成シーンの合成のタイミングを示す時刻情報を出力し、
前記合成シーンを再生表示し、前記一連の符号化で生成
した圧縮オーディオデータとこの圧縮オーディオデータ
の復号のタイミングを示す時刻情報と、圧縮ビデオデー
タとこの圧縮ビデオデータの復号のタイミングを示す時
刻情報と、圧縮シーンデータとこの圧縮シーンデータの
復号のタイミングを示す時刻情報と、前記合成シーンの
合成のタイミングを示す時刻情報とを多重化したビット
ストリームの生成方法であって、 前記合成シーンの合成のタイミングに関する時刻情報が
復号のタイミングを示す時刻情報を兼ねるか否かを示す
フラグを時刻情報に付加して生成されるオーディオ信号
とビデオ信号とシーンデータからなる多重化ビットスト
リームの生成方法。 - 【請求項３８】 前記多重化手段が、前記復号のタイミ
ングを示す時刻情報が前記合成シーンの合成のタイミン
グに関する時刻情報を兼ねるか否かを示すフラグを時刻
情報に付加して生成されるオーディオ信号とビデオ信号
とシーンデータからなる多重化ビットストリームを生成
することを特徴とする請求項２、４、５のいずれか一項
に記載の符号化装置。 - 【請求項３９】 請求項３６または３７のいずれか一
つ、または両方に記載のビットストリームを復号するこ
とを特徴とする請求項１４または１５に記載の復号装
置。 - 【請求項４０】 請求項３８に記載の符号化装置と請求
項３９に記載の復号装置から構成されていることを特徴
とする符号化復号システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36479497A JP3407287B2 (ja) | 1997-12-22 | 1997-12-22 | 符号化復号システム |
| CA 2256230 CA2256230C (en) | 1997-12-22 | 1998-12-17 | Coding/decoding apparatus, coding/decoding system and multiplexed bit stream |
| EP19980124300 EP0924934B1 (en) | 1997-12-22 | 1998-12-21 | Coding/decoding apparatus, coding/decoding system and multiplexed bit stream |
| DE1998629935 DE69829935T2 (de) | 1997-12-22 | 1998-12-21 | Codier-/Decodiervorrichtung, Codier-/Decodiersystem und multiplexierter Bitstrom |
| US09/218,141 US6584125B1 (en) | 1997-12-22 | 1998-12-22 | Coding/decoding apparatus, coding/decoding system and multiplexed bit stream |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36479497A JP3407287B2 (ja) | 1997-12-22 | 1997-12-22 | 符号化復号システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11187398A JPH11187398A (ja) | 1999-07-09 |
| JP3407287B2 true JP3407287B2 (ja) | 2003-05-19 |
Family
ID=18482684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36479497A Expired - Fee Related JP3407287B2 (ja) | 1997-12-22 | 1997-12-22 | 符号化復号システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6584125B1 (ja) |
| EP (1) | EP0924934B1 (ja) |
| JP (1) | JP3407287B2 (ja) |
| CA (1) | CA2256230C (ja) |
| DE (1) | DE69829935T2 (ja) |
Families Citing this family (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7168084B1 (en) | 1992-12-09 | 2007-01-23 | Sedna Patent Services, Llc | Method and apparatus for targeting virtual objects |
| US9286294B2 (en) | 1992-12-09 | 2016-03-15 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator content suggestion engine |
| US7362775B1 (en) | 1996-07-02 | 2008-04-22 | Wistaria Trading, Inc. | Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management |
| US5613004A (en) | 1995-06-07 | 1997-03-18 | The Dice Company | Steganographic method and device |
| US6205249B1 (en) | 1998-04-02 | 2001-03-20 | Scott A. Moskowitz | Multiple transform utilization and applications for secure digital watermarking |
| US7664263B2 (en) | 1998-03-24 | 2010-02-16 | Moskowitz Scott A | Method for combining transfer functions with predetermined key creation |
| US7346472B1 (en) * | 2000-09-07 | 2008-03-18 | Blue Spike, Inc. | Method and device for monitoring and analyzing signals |
| US5889868A (en) | 1996-07-02 | 1999-03-30 | The Dice Company | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7457962B2 (en) | 1996-07-02 | 2008-11-25 | Wistaria Trading, Inc | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7177429B2 (en) | 2000-12-07 | 2007-02-13 | Blue Spike, Inc. | System and methods for permitting open access to data objects and for securing data within the data objects |
| US7159116B2 (en) | 1999-12-07 | 2007-01-02 | Blue Spike, Inc. | Systems, methods and devices for trusted transactions |
| US7095874B2 (en) | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7730317B2 (en) * | 1996-12-20 | 2010-06-01 | Wistaria Trading, Inc. | Linear predictive coding implementation of digital watermarks |
| US6754905B2 (en) | 1998-07-23 | 2004-06-22 | Diva Systems Corporation | Data structure and methods for providing an interactive program guide |
| US9924234B2 (en) | 1998-07-23 | 2018-03-20 | Comcast Ip Holdings I, Llc | Data structure and methods for providing an interactive program |
| JP4605902B2 (ja) | 1998-07-23 | 2011-01-05 | コムキャスト アイピー ホールディングス アイ， エルエルシー | 双方向ユーザインターフェイス |
| WO2000042773A1 (en) * | 1999-01-19 | 2000-07-20 | Sony Electronics Inc. | System and method for implementing interactive video |
| JP3327240B2 (ja) * | 1999-02-10 | 2002-09-24 | 日本電気株式会社 | 画像・音声符号化装置 |
| WO2000049803A1 (fr) | 1999-02-18 | 2000-08-24 | Kabushiki Kaisha Toshiba | Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes |
| US7664264B2 (en) | 1999-03-24 | 2010-02-16 | Blue Spike, Inc. | Utilizing data reduction in steganographic and cryptographic systems |
| US6904610B1 (en) | 1999-04-15 | 2005-06-07 | Sedna Patent Services, Llc | Server-centric customized interactive program guide in an interactive television environment |
| US6754271B1 (en) | 1999-04-15 | 2004-06-22 | Diva Systems Corporation | Temporal slice persistence method and apparatus for delivery of interactive program guide |
| US7096487B1 (en) * | 1999-10-27 | 2006-08-22 | Sedna Patent Services, Llc | Apparatus and method for combining realtime and non-realtime encoded content |
| GB2350980B (en) * | 1999-06-08 | 2003-08-27 | Sgs Thomson Microelectronics | Device and method for processing a stream of data |
| US7475246B1 (en) | 1999-08-04 | 2009-01-06 | Blue Spike, Inc. | Secure personal content server |
| WO2001031914A1 (en) | 1999-10-27 | 2001-05-03 | Diva Systems Corporation | Picture-in-picture and multiple video streams using slice-based encoding |
| US7564873B1 (en) * | 1999-12-10 | 2009-07-21 | Cox Communications, Inc. | Method and apparatus for providing in-band messaging within a video on demand environment |
| GB9930306D0 (en) * | 1999-12-22 | 2000-02-09 | Koninkl Philips Electronics Nv | Broadcast enhancement system and method |
| EP1139665A1 (en) * | 2000-03-29 | 2001-10-04 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for changing the output delay of audio or video data encoding |
| US6816492B1 (en) * | 2000-07-31 | 2004-11-09 | Cisco Technology, Inc. | Resequencing packets at output ports without errors using packet timestamps and timestamp floors |
| US6975363B1 (en) * | 2000-08-31 | 2005-12-13 | Microsoft Corporation | Methods and systems for independently controlling the presentation speed of digital video frames and digital audio samples |
| US20040243540A1 (en) * | 2000-09-07 | 2004-12-02 | Moskowitz Scott A. | Method and device for monitoring and analyzing signals |
| JP3578069B2 (ja) * | 2000-09-13 | 2004-10-20 | 日本電気株式会社 | 長時間用画像・音声圧縮装置及びその方法 |
| US7127615B2 (en) | 2000-09-20 | 2006-10-24 | Blue Spike, Inc. | Security based on subliminal and supraliminal channels for data objects |
| JP4454821B2 (ja) * | 2000-10-03 | 2010-04-21 | キヤノン株式会社 | 伝送装置、伝送方法、および記憶媒体 |
| US20020089602A1 (en) * | 2000-10-18 | 2002-07-11 | Sullivan Gary J. | Compressed timing indicators for media samples |
| JP2002171526A (ja) * | 2000-11-30 | 2002-06-14 | Canon Inc | データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 |
| EP2071827A3 (en) | 2000-12-15 | 2010-08-25 | BRITISH TELECOMMUNICATIONS public limited company | Transmission and reception of audio and/or video material |
| US7007106B1 (en) | 2001-05-22 | 2006-02-28 | Rockwell Automation Technologies, Inc. | Protocol and method for multi-chassis configurable time synchronization |
| US7793326B2 (en) | 2001-08-03 | 2010-09-07 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator |
| US7908628B2 (en) | 2001-08-03 | 2011-03-15 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator content coding and formatting |
| US7287275B2 (en) | 2002-04-17 | 2007-10-23 | Moskowitz Scott A | Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth |
| JPWO2003101102A1 (ja) * | 2002-05-24 | 2005-09-29 | 三菱電機株式会社 | 携帯通信装置の動画ファイル再生方法及び携帯通信装置用の動画ファイル再生装置 |
| KR100475060B1 (ko) * | 2002-08-07 | 2005-03-10 | 한국전자통신연구원 | 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 |
| US7729598B2 (en) | 2003-01-31 | 2010-06-01 | Panasonic Corporation | Recording medium, reproduction apparatus, recording method, program, and reproduction method |
| CA2515517C (en) | 2003-02-28 | 2014-12-30 | Matsushita Electric Industrial Co., Ltd. | Recording medium, reproduction apparatus, recording method, program, and reproduction method |
| EP1814327B1 (en) * | 2003-07-03 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd. | Recording medium, reproduction apparatus, recording method, integrated circuit, program, and reproduction method |
| JP4020952B2 (ja) * | 2003-07-11 | 2007-12-12 | 松下電器産業株式会社 | 再生装置、記録方法、再生方法 |
| EP1852868B1 (en) | 2003-07-11 | 2009-08-26 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| US7366405B2 (en) | 2003-07-11 | 2008-04-29 | Matsushita Electric Industrial Co., Ltd. | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| JP3802521B2 (ja) * | 2003-09-02 | 2006-07-26 | ソニー株式会社 | 符号化装置、符号化制御方法及び符号化制御プログラム |
| JP4500694B2 (ja) * | 2004-02-06 | 2010-07-14 | キヤノン株式会社 | 撮像装置 |
| KR101068055B1 (ko) * | 2004-05-13 | 2011-09-28 | 퀄컴 인코포레이티드 | 통신 채널을 통한 정보의 전달 |
| TW200845724A (en) * | 2004-06-02 | 2008-11-16 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
| CN1969335B (zh) | 2004-06-18 | 2012-06-13 | 松下电器产业株式会社 | 再现装置、再现方法 |
| US8233779B2 (en) | 2004-07-09 | 2012-07-31 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| EP1771976A4 (en) * | 2004-07-22 | 2011-03-23 | Korea Electronics Telecomm | SAF SYNCHRONIZATION LAYER PACKAGE STRUCTURE AND SERVER SYSTEM THEREFOR |
| US7706415B2 (en) * | 2004-07-29 | 2010-04-27 | Microsoft Corporation | Packet multiplexing multi-channel audio |
| CN101036389B (zh) * | 2004-09-02 | 2012-05-02 | 索尼株式会社 | 内容接收器、视频/音频输出定时控制方法和内容提供系统 |
| US7720017B2 (en) * | 2005-03-11 | 2010-05-18 | Qualcomm Incorporated | Parallel turbo decoders with multiplexed output |
| CN101204015B (zh) * | 2005-04-26 | 2010-11-03 | 迪宝克技术公司 | 一起提供运动信号和声音信号的方法和装置 |
| CN101167255A (zh) * | 2005-04-26 | 2008-04-23 | 迪宝克技术公司 | 编码运动信号与声信号的方法和设备 |
| US7764713B2 (en) * | 2005-09-28 | 2010-07-27 | Avaya Inc. | Synchronization watermarking in multimedia streams |
| US20090123086A1 (en) * | 2005-10-31 | 2009-05-14 | Sharp Kabushiki Kaisha | View environment control system |
| US7822073B2 (en) * | 2005-11-03 | 2010-10-26 | George Mason Intellectual Properties, Inc. | Packet flow side channel |
| EP1855402A1 (en) * | 2006-05-11 | 2007-11-14 | Koninklijke Philips Electronics N.V. | Transmission, reception and synchronisation of two data streams |
| EP2147405A1 (en) * | 2007-05-08 | 2010-01-27 | Thomson Licensing | Movie based forensic data for digital cinema |
| EP2561678A1 (en) * | 2010-04-20 | 2013-02-27 | Thomson Licensing | Method and device for encoding data for rendering at least one image using computer graphics and corresponding method and device for decoding |
| GB2487200A (en) * | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| US9154813B2 (en) | 2011-06-09 | 2015-10-06 | Comcast Cable Communications, Llc | Multiple video content in a composite video stream |
| CN104427261A (zh) * | 2013-08-28 | 2015-03-18 | 昆盈企业股份有限公司 | 影音后制方法及影音摄录装置 |
| US20170134698A1 (en) * | 2015-11-11 | 2017-05-11 | Vivint, Inc | Video composite techniques |
| US10785495B1 (en) * | 2017-09-25 | 2020-09-22 | Amazon Technologies, Inc. | Encoding timecode in video using colored regions of pixels |
| US11698391B1 (en) * | 2021-05-28 | 2023-07-11 | Keysight Technologies, Inc. | System and method for performing lossless compressed serial decoding |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR950012082B1 (ko) * | 1991-04-25 | 1995-10-13 | 니뽄 덴끼 가부시끼가이샤 | 표시 제어기 |
| JP3622235B2 (ja) | 1994-08-26 | 2005-02-23 | 三菱電機株式会社 | 多重化データの復号装置 |
| KR0137701B1 (ko) | 1994-12-13 | 1998-05-15 | 양승택 | 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치 |
| JPH08180585A (ja) | 1994-12-22 | 1996-07-12 | Sony Corp | オーデイオ信号符号化復号化装置 |
| JP2823806B2 (ja) | 1994-12-28 | 1998-11-11 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 画像復号装置 |
| JP3744017B2 (ja) * | 1995-02-09 | 2006-02-08 | ヤマハ株式会社 | 画像デコーダ |
| JPH0927871A (ja) | 1995-07-13 | 1997-01-28 | Sharp Corp | 端末装置 |
| EP0847199B1 (en) * | 1995-09-29 | 1999-04-28 | Matsushita Electric Industrial Co., Ltd. | Method, disc and device for encoding seamless-connection of telecine-converted video data |
| US5726989A (en) * | 1995-11-06 | 1998-03-10 | Stellar One Corporation | Method for ensuring synchronization of MPEG-1 data carried in an MPEG-2 transport stream |
| EP0886968A4 (en) * | 1996-02-14 | 1999-09-22 | Olivr Corp Ltd | METHOD AND SYSTEMS FOR ASYNCHRONOUS AND PROGRESSIVE TRANSMISSION OF MULTIMEDIA DATA |
| JP2848326B2 (ja) * | 1996-03-28 | 1999-01-20 | 日本電気株式会社 | Ｍｐｅｇ符号化画像復号装置 |
| JPH09284759A (ja) | 1996-04-11 | 1997-10-31 | Fujitsu Ltd | タイミング制御回路 |
| JP3231618B2 (ja) * | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | ３次元画像符号化復号方式 |
| EP0805601B1 (en) * | 1996-05-02 | 2005-03-30 | Sony Corporation | Encoding, storing and transmitting digital signals |
| JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 |
| WO1998046024A1 (en) * | 1997-04-07 | 1998-10-15 | At & T Corp. | System and method for generation and interfacing of bitstreams representing mpeg-coded audiovisual objects |
-
1997
- 1997-12-22 JP JP36479497A patent/JP3407287B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-17 CA CA 2256230 patent/CA2256230C/en not_active Expired - Fee Related
- 1998-12-21 DE DE1998629935 patent/DE69829935T2/de not_active Expired - Lifetime
- 1998-12-21 EP EP19980124300 patent/EP0924934B1/en not_active Expired - Lifetime
- 1998-12-22 US US09/218,141 patent/US6584125B1/en not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| 小暮、妹尾，国際標準規格ＭＰＥＧ４の概略決まる，日経エレクトロニクス，日本，１９９７年 ９月２２日，Ｎｏ．６９９，ｐ．１４７−１６８ |
| 栄藤，小特集 マルチメディアを目指すＭＰＥＧ−４標準化動向、２．ＭＰＥＧ−４システム，映像情報メディア学会誌，日本，１９９７年１２月２０日，Ｖｏｌ．５１，Ｎｏ．１２，ｐ．１９６６−１９７３ |
Also Published As
| Publication number | Publication date |
|---|---|
| US6584125B1 (en) | 2003-06-24 |
| EP0924934B1 (en) | 2005-04-27 |
| DE69829935D1 (de) | 2005-06-02 |
| DE69829935T2 (de) | 2005-09-29 |
| EP0924934A1 (en) | 1999-06-23 |
| CA2256230C (en) | 2003-08-05 |
| CA2256230A1 (en) | 1999-06-22 |
| JPH11187398A (ja) | 1999-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3407287B2 (ja) | 符号化復号システム | |
| JP2970558B2 (ja) | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| KR100905723B1 (ko) | 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 | |
| EP1124379A2 (en) | Method and apparatus for inhibiting reproduction of parts of a recording | |
| JPH10511526A (ja) | 圧縮されたビデオデータを復号化し、表示するメモリコントローラ | |
| JP2003199045A (ja) | 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム | |
| JP2007202026A (ja) | 符号化装置、復号化装置、符号化方法、復号化方法、符号化方法のプログラム、復号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び復号化方法のプログラムを記録した記録媒体 | |
| US20020080399A1 (en) | Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| JP2712099B2 (ja) | 画像情報のエンコード／デコードシステム | |
| JP2004221900A (ja) | 画像情報復号装置及び画像情報復号方法 | |
| JP2002142227A (ja) | 映像信号の階層型符号化装置および階層型復号化装置 | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
| JPH10285593A (ja) | 画像伝送用データ構造，画像伝送方法，画像復号化装置，及びデータ記録媒体 | |
| JP2002094996A (ja) | 受信装置 | |
| JPH10276408A (ja) | ビデオ情報提供制御方法およびシステム | |
| JP2000152235A (ja) | データ処理装置及びその方法、及びデータ処理システム | |
| JPH1132337A (ja) | 画像伝送用データ構造，符号化方法及び復号化方法 | |
| JPH10257454A (ja) | グラフィクス生成装置 | |
| JP2002044657A (ja) | 画像復号化方法、画像復号化装置および画像復号化プログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100314 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |