JP2009207163A - 復号装置および方法、記録媒体 - Google Patents

復号装置および方法、記録媒体 Download PDF

Info

Publication number
JP2009207163A
JP2009207163A JP2009108322A JP2009108322A JP2009207163A JP 2009207163 A JP2009207163 A JP 2009207163A JP 2009108322 A JP2009108322 A JP 2009108322A JP 2009108322 A JP2009108322 A JP 2009108322A JP 2009207163 A JP2009207163 A JP 2009207163A
Authority
JP
Japan
Prior art keywords
buffer
header
bitstream
decoding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009108322A
Other languages
English (en)
Other versions
JP2009207163A5 (ja
JP5223769B2 (ja
Inventor
Teruhiko Suzuki
輝彦 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009108322A priority Critical patent/JP5223769B2/ja
Publication of JP2009207163A publication Critical patent/JP2009207163A/ja
Publication of JP2009207163A5 publication Critical patent/JP2009207163A5/ja
Application granted granted Critical
Publication of JP5223769B2 publication Critical patent/JP5223769B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】バッファの破綻が発生しないような符号化および復号を行う。
【解決手段】ビットストリーム中のアクセス可能なポイントに含まれるランダムアクセスポイントヘッダ内に、最小ビットレート、最小バッファサイズ、最小初期遅延時間などの情報を含ませる。ビットストリーム解析部７２は、入力されたビットストリームを解析し、上述したような情報を設定し、バッファ情報付加部７３に出力する。バッファ情報付加部７３は、入力されたビットストリームに、入力した情報を付加して出力する。本発明は、ビットストリームを扱う符号化装置や復号装置に適用できる。
【選択図】図５

Description

本発明は、符号化装置および方法、復号装置および方法、編集装置および方法、記録媒体、並びにプログラムに関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いて好適な符号化装置および方法、復号装置および方法、編集装置および方法、記録媒体、並びにプログラムに関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Expert Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
特に、MPEG２（ISO/IEC 13818-2）は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD（Digital Versatile Disk）規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。
このMPEG２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるＨ.２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６Ｌは、MPEG２やMPEG４といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
また、現在、MPEG４の活動の一環として、このＨ．２６Ｌに基づいた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でＪＶＴ（Joint Video Team）として行われている。
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。図１は、従来の画像情報符号化装置の一例の構成を示す図である。
図１に示した画像情報符号化装置１０において、入力端子１１より入力されたアナログ信号からなる画像情報は、Ａ／Ｄ変換部１２により、デジタル信号に変換される。そして、画面並べ替えバッファ１３は、Ａ／Ｄ変換部１２より供給された画像情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
ここで、画面並べ替えバッファ１３は、イントラ（画像内）符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部１５に供給する。直交変換部１５は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１６に供給する。量子化部１６は、直交変換部１５から供給された変換係数に対して量子化処理を施す。
可逆符号化部１７は、量子化部１６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１９より出力される。
また、可逆符号化部１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子１９より出力される。
量子化部１６の挙動は、蓄積バッファ１８に蓄積された変換係数のデータ量に基づいて、レート制御部２０によって制御される。また、量子化部２０は、量子化後の変換係数を逆量子化部２１に供給し、逆量子化部２１は、その量子化後の変換係数を逆量子化する。逆直交変換部２２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２３に供給して蓄積させる。
また、画面並べ替えバッファ１３は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２４に供給する。動き予測・補償部２４は、同時に参照される画像情報をフレームメモリ２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２４は、生成した参照画像情報を加算器１４に供給し、加算器１４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部２４は、同時に動きベクトル情報を可逆符号化部１７に供給する。
可逆符号化部１７は、量子化部１６から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
また、可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
また、イントラ符号化と異なり、インター符号化の場合、直交変換部１５に入力される画像情報は、加算器１４より得られた差分信号である。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。
次に、上述した画像情報符号化装置１０に対応する画像情報復号装置の一例の構成を図２に示す。図２に示した画像情報復号装置４０において、入力端子４１より入力された画像圧縮情報は、蓄積バッファ４２において一時的に格納された後、可逆復号部４３に転送される。
可逆復号部４３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４４等に供給する。また同様に、可逆復号部４３は、量子化された変換係数を取得し逆量子化部４４に供給する。さらに、可逆復号部４３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部５１に供給する。
逆量子化部４４は、可逆復号部４３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４５に供給する。逆直交変換部４５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ４７に格納され、Ｄ／Ａ変換部４８におけるＤ／Ａ変換処理の後に出力端子４９から出力される。
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部５１は、可逆復号処理が施された動きベクトル情報とフレームメモリ５０に格納された画像情報とに基づいて参照画像を生成し、加算器４６に供給する。加算器４６は、この参照画像と逆直交変換部４５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
ところで、先に述べたJoint Video Teamで標準化が行われている符号化方式（以下JVT Codec）では、ＭＰＥＧ２やＭＰＥＧ４などの符号化効率を改善するため、様々な方式が検討されている。例えば、離散コサイン変換の変換方法は、４×４ブロックサイズの整数係数変換が用いられている。そして、動き補償の際のブロックサイズが可変であり、より最適な動き補償が行えるようになっている。しかしながら、基本的な方式は、図１に示した画像情報符号化装置１０において行われる符号化方式と同様に行うことが可能であるようにされている。
従って、図２に示した画像情報復号装置４０において行われる復号方式と、基本的に同じ方式により復号することが可能であるようにされている。
ところで異なる復号装置（デコーダ）間での互換性を維持し、バッファをオーバーフローまたはアンダーフローさせないために、ＭＰＥＧやＩＴＵ−Ｔでは、バッファモデルが導入されている。仮想デコーダバッファモデルを標準で定義し、符号化装置（エンコーダ）は、この仮想デコーダバッファを破綻しないように符号化することによりデコーダ側でのバッファオーバーフローまたはアンダーフローを防ぎ、互換性を維持することが可能とされている。
ＭＰＥＧにおける仮想バッファモデルについて、図３を参照して説明する。以下の説明において、デコーダバッファへの入力ビットレートをＲ、デコーダバッファのサイズをＢ、デコーダが最初のフレームをバッファから引き抜く時のバッファ占有量をＦ、その際の遅延時間をＤとする。また、時刻ｔ０，ｔ１，ｔ２，・・・における各フレームのビット量をｂ０，ｂ１，ｂ２・・・とする。
ここでフレームレートをＭとすると、
ｔi+1−ｔi＝１／Ｍが成り立つ。
Ｂiを、時刻ｔiにおけるフレームのビット量ｂiを引き抜く直前のバッファ占有量とすると以下の式（１）が成り立つ。
Ｂ0＝Ｆ
Ｂi+1＝ｍｉｎ（Ｂ，Ｂi―ｂi＋Ｒ（ｔi+1−ｔi）） ・・・（１）
ここで、ＭＰＥＧ２における固定ビットレート符号化方式の場合、エンコーダは次式（２）の条件を満たすよう符号化しなければならない。
Ｂｉ≦Ｂ
Ｂｉ−ｂｉ≧０ ・・・（２）
このような条件が満たされている間は、エンコーダは、バッファオーバーフローやアンダーフローを発生させてしまうような符号化を行うようなことがないとされている。
また、ＭＰＥＧ２における可変ビットレート符号化方式の場合、入力ビットレートＲは、プロファイル、レベルで定義される最大ビットレートであり、Ｆ＝Ｂである。従って式（１）は、次式（３）のように書き換えられる。
Ｂ0＝Ｂ
Ｂi+1＝ｍｉｎ（Ｂ，Ｂi―ｂi＋Ｒmax（ｔi+1−ｔi）） ・・・（３）
この時、エンコーダは、次式（４）に表される条件を満たすように符号化を実行しなければならない。
Ｂi―ｂi≧０ ・・・（４）
この条件が満たされるとき、エンコーダは、デコーダ側でバッファアンダーフローが起こらないような符号化を行うことになる。デコーダバッファが一杯になった時は、エンコーダバッファは空であり、符号化ビットストリームが発生していないことを意味する。従って、エンコーダは、デコーダのバッファオーバーフローを起こさないように監視する必要は無い。
ＭＰＥＧでは、各プロファイル、レベルで定義されるバッファサイズ、ビットレートに基づいて上述したようなバッファの制約を守るように符号化が行なわれる。各プロファイル、レベルに準拠したデコーダは、そのビットストリームを破綻することなく復号することができる。
しかしながら、実際にはプロファイル、レベルに規定されたバッファサイズ、ビットレートを用いない場合でも、ビットストリームを復号することが出来る場合がある。
例えば、ビットレートＲ、バッファＢ、初期遅延時間Ｆ（Ｒ，Ｂ，Ｆ）で符号化されたビットストリームは、より大きなバッファサイズＢ'（Ｂ'＞Ｂ）を持つデコーダによっても復号可能である。また、より高いビットレートＲ'（Ｒ'＞Ｒ）で復号することも可能である。
例えば、デコーダの復号ビットレートが、符号化ビットレートより低い場合においても、十分大きなバッファサイズをもったデコーダであれば復号することが可能である。
このように、所定のビットストリームが与えられた場合、各ビットレートにおいて、そのビットストリームを復号するために必要な最小バッファサイズＢminが存在する。このような関係を図４に示す。
JVT Codecでは、各プロファイル、レベルで固定のビットレート、バッファサイズで復号するだけでなく、図４に示したような条件を有するデコーダで復号できるように標準化が進められている。必ずしもエンコーダの符号化ビットレート、バッファサイズとデコーダの復号ビットレート、バッファサイズが同一でなくとも復号できることを目的としている。この目的が達成されることにより、例えば、復号ビットレートが高いデコーダでは、バッファサイズを削減することなどが可能になる。
しかしながら、このような情報は、ビットストリーム中で時間的に変動する。そのため、デコーダ互換のための制約が緩められている分、所定の条件下では復号可能であっても、別の条件下では復号不可能になる場合があるといった問題があった。例えば、このような（Ｒ，Ｂ）の特性が時間的に変動する場合、所定の時刻で復号可能であっても、別の時刻では復号不可能である可能性があるといった問題があった。
ランダムアクセスなどで、別なシーンや、別なチャンネルなどに移行した場合も、必ずしも復号可能であるとは限らなくなるといった問題があった。また、スプライシング(Splicing)などビットストリームレベルでの編集を行った際、デコード可能性を保証できなくなるといった問題があった。
本発明はこのような状況に鑑みてなされたものであり、ビットストリームの復号可能性を効率よく判断し、またスプライシングなどビットストリームの編集を簡便に行えるようにすることを目的とする。
本発明の符号化装置は、復号時に必要に応じ参照されるヘッダを生成する生成手段と、生成手段により生成されたヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、符号化手段により符号化されたヘッダと画像信号を多重化し、ビットストリームを出力する出力手段とを含み、生成手段は、ビットストリームを復号する際のバッファに関するバッファ特性情報を含むヘッダを生成することを特徴とする。
前記生成手段は、ビットストリーム中でランダムにアクセスが可能な所定区間毎に、バッファ特性情報を含む前記ヘッダを生成するようにすることができる。
前記生成手段は、ビットストリームのシーケンス全体のバッファ特性の情報を含むヘッダを生成するようにすることができる。
前記バッファ特性情報は、ビットストリームを復号する際の復号可能な最小ビットレート、最小バッファサイズ、および、最小遅延量の全てを含むようにすることができる。
本発明の符号化方法は、復号時に必要に応じ参照されるヘッダを生成する生成ステップと、生成ステップの処理で生成されたヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたヘッダと画像信号を多重化したビットストリームの出力を制御する出力制御ステップとを含み、生成ステップの処理は、ビットストリームを復号する際のバッファに関するバッファ特性情報を少なくとも含むヘッダを生成することを特徴とする。
本発明の第１の記録媒体のプログラムは、復号時に必要に応じ参照されるヘッダを生成する生成ステップと、生成ステップの処理で生成されたヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたヘッダと画像信号を多重化したビットストリームの出力を制御する出力制御ステップとを含み、生成ステップの処理は、ビットストリームを復号する際のバッファに関するバッファ特性情報を少なくとも含むヘッダを生成することを特徴とする。
本発明の第１のプログラムは、復号時に必要に応じ参照されるヘッダを生成する生成ステップと、生成ステップの処理で生成されたヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたヘッダと画像信号を多重化したビットストリームの出力を制御する出力制御ステップとを含む処理をコンピュータに実行させ、生成ステップの処理は、ビットストリームを復号する際のバッファに関するバッファ特性情報を少なくとも含むヘッダを生成することを特徴とする。
本発明の復号装置は、入力されたビットストリーム内のヘッダを検索する検索手段と、検索手段により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいてビットストリームを復号する復号手段とを含むことを特徴とする。
前記バッファ特性情報は、ビットストリームを復号する際の復号可能な最小ビットレート、最小バッファサイズ、および、最小遅延量の全てを含むようにすることができる。
本発明の復号方法は、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいてビットストリームを復号する復号ステップとを含むことを特徴とする。
本発明の第２の記録媒体のプログラムは、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいてビットストリームを復号する復号ステップとを含むことを特徴とする。
本発明の第２のプログラムは、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいてビットストリームを復号する復号ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の編集装置は、入力されたビットストリーム内のヘッダを検索する検索手段と、検索手段により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームの編集が可能であるか否かを判断する判断手段と、判断手段によりビットストリームの編集が可能であると判断された場合、ビットストリームの編集を行う編集手段とを含み、判断手段は、第１のビットストリームのヘッダに含まれる情報により作成される特性曲線が、第２のビットストリームのヘッダに含まれる情報により作成される特性曲線の常に上に位置するか、または、同一である場合、第１のビットストリームと第２のビットストリームを用いた編集は可能であると判断することを特徴とする。
本発明の編集方法は、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームの編集が可能であるか否かを判断する判断ステップと、判断ステップの処理でビットストリームの編集が可能であると判断された場合、ビットストリームの編集を行う編集ステップとを含み、判断ステップの処理は、第１のビットストリームのヘッダに含まれる情報により作成される特性曲線が、第２のビットストリームのヘッダに含まれる情報により作成される特性曲線の常に上に位置するか、または、同一である場合、第１のビットストリームと第２のビットストリームを用いた編集は可能であると判断することを特徴とする。
本発明の第３の記録媒体のプログラムは、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームの編集が可能であるか否かを判断する判断ステップと、判断ステップの処理でビットストリームの編集が可能であると判断された場合、ビットストリームの編集を行う編集ステップとを含み、判断ステップの処理は、第１のビットストリームのヘッダに含まれる情報により作成される特性曲線が、第２のビットストリームのヘッダに含まれる情報により作成される特性曲線の常に上に位置するか、または、同一である場合、第１のビットストリームと第２のビットストリームを用いた編集は可能であると判断することを特徴とする。
本発明の第３のプログラムは、入力されたビットストリーム内のヘッダを検索する検索ステップと、検索ステップの処理により検索されたヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームの編集が可能であるか否かを判断する判断ステップと、判断ステップの処理でビットストリームの編集が可能であると判断された場合、ビットストリームの編集を行う編集ステップとを含む処理をコンピュータに実行させ、判断ステップの処理は、第１のビットストリームのヘッダに含まれる情報により作成される特性曲線が、第２のビットストリームのヘッダに含まれる情報により作成される特性曲線の常に上に位置するか、または、同一である場合、第１のビットストリームと第２のビットストリームを用いた編集は可能であると判断することを特徴とする。
本発明の符号化装置および方法、並びに第１のプログラムにおいては、ビットストリームに符号化されて多重化されるヘッダに、そのビットストリームを復号する際のバッファに関するバッファ特性の情報が含まれる。
本発明の復号装置および方法、並びに第２のプログラムにおいては、入力されたビットストリームのヘッダに含まれる、復号時のバッファに関するバッファ特性の情報が読み出され、その読み出された情報に基づき復号が行われる。
本発明の編集装置および方法、並びに第３のプログラムにおいては、入力されたビットストリームに対して編集が行えるか否かの判断が、第１のビットストリームのヘッダに含まれる情報により作成される特性曲線が、第２のビットストリームのヘッダに含まれる情報により作成される特性曲線の常に上に位置するか、または、同一であるかを判断することにより行われる。
本発明によれば、復号側で、バッファが破綻してしまうようなことを防ぐことが可能となる。
従来の画像情報符号化装置の一例の構成を示す図である。 従来の画像情報復号装置の一例の構成を示す図である。 バッファ量について説明する図である。 ビットレートとバッファ量の関係について説明する図である。 本発明を適用した符号化装置の一実施の形態の構成を示す図である。 バッファ量について説明する図である。 本発明を適用した復号装置の一実施の形態の構成を示す図である。 本発明を適用した編集装置の一実施の形態の構成を示す図である。 ビットレートとバッファ量の関係について説明する図である。 媒体を説明する図である。
以下に、本発明の実施の形態について図面を参照して説明する。図５は、本発明を適用した符号化装置の一実施の形態の構成を示す図である。図５に示した符号化装置７０は、図１に示した画像情報符号化装置１０を含む構成とされている。ここでは、画像情報符号化装置１０の構成などについては、既に説明したので、その説明は適宜省略する。
画像情報符号化装置１０に入力された画像情報は、符号化され、画像圧縮情報（ＢＳ：ビットストリーム）としてバッファ７１とビットストリーム解析部７２に出力される。バッファ７１は、入力されたビットストリームを一旦記憶し、必要に応じ、バッファ情報付加部７３に出力する。ビットストリーム解析部７２は、ビットストリーム中の所定の区間、例えば、ＧＯＰやランダムアクセスポイント間でのバッファの占有状態を調べ、その情報をバッファ情報ＢＨとしてバッファ情報付加部７３に供給する。ここで、ランダムアクセスポイントとは、ＪＶＴ規格において、ビットストリーム中でランダムにアクセスが可能な所定の区間のことを言う。また、同様にＧＯＰとは、ＭＰＥＧ２／ＭＰＥＧ４規格において、ランダムにアクセスが可能な所定の区間のことを言う。
バッファ情報付加部７３は、入力されたバッファ情報ＢＨを、同じく入力されたビットストリームに付加して出力する。
ここでは、ビットストリーム解析部７２が行う解析の一例として、各ランダムアクセスポイント間でバッファ占有状態を調べ、各ランダムアクセスポイントにヘッダ情報としてバッファ占有状態の情報を符号化してビットストリームを構成する場合を例にあげて説明する。ここでは、このような説明を行うが、ＧＯＰ単位で求めるようにしても良いし、他の任意の単位で求めるようにしても良く、以下に説明する単位に、他の単位を用いた場合においても、本発明を適用できることは言うまでもない。
図６を参照して（Ｒmin、Ｂmin）の特性を決定する方法について説明する。ここで、Ｒminは、バッファへの入力ビットレートＲの最小値を示し、Ｂminは、バッファサイズＢの最小値を示すとする。
所定のビットストリームのビットレートＲが与えられた場合、そのビットストリームを復号ビットレートＲで復号する復号装置（例えば、図７に示す構成を有する）で復号可能である最低限のバッファサイズＢminは、例えば、以下のようにして決定される。
所定のアクセスポイント間のフレーム数をＮとする。各フレームの発生ビット量をｂ（ｉ）（ｉ＝１，Ｎ）、バッファから各フレームのデータを引き抜く直前のバッファ占有量をＢ（ｉ）、引き抜いた直後のバッファ占有量をＢ２（ｉ）とする。符号化装置のバッファ量をＢとすれば、
Ｂ２（ｉ）＝Ｂ（ｉ）―ｂ（ｉ）
Ｂ（ｉ＋１）＝Ｂ２（ｉ）＋Ｒ／（Frame Rate） ・・・（５）
ただし、ｉｆ（Ｂ（ｉ＋１）＞Ｂ）Ｂ（ｉ＋１）＝Ｂとし、Ｂ（ｉ）の最大値はＢである。また遅延量ＦはＦ＝Ｂとする。
このとき、Ｂminは、次式（６）で求められる。
Ｂmin＝Ｂ―ｍｉｎ（Ｂ２（ｉ）） ・・・（６）
このときのＲをＲminとすれば、上記のような方法により（Ｒmin、Ｂmin）を決定することができる。
次に、（Ｒmin、Ｂmin、Ｆmin）を決定する方法の一例を説明する。Ｂ＝Ｂmin、Ｒ＝Ｒminとする。式（５）と同様に、次式（７）が成り立つ。
Ｂ２（ｉ）＝Ｂ（ｉ）−ｂ（ｉ）
Ｂ（ｉ＋１）＝Ｂ２（ｉ）＋Ｒ／（Frame Rate） ・・・（７）
ただし、以下の条件に基づくアンダーフローに対する監視が行われる。
ｉｆ（Ｂ２（ｉ）＜０）｛
Ｆmin＝Ｆmin＋（０―Ｂ２（ｉ））；
Ｂ２（ｉ）＝０；｝
Ｆminは、各ランダムアクセスポイントの先頭で０に初期化される。また、オーバーフローに対する監視も同様に、以下の条件に基づき行われる。
ｉｆ（Ｂ（ｉ＋１）＞Ｂ）Ｂ（ｉ＋１）＝Ｂ
ランダムアクセスポイント間の全てのフレームに対して上記した検査が行われることにより、（Ｒmin、Ｂmin、Ｆmin）が決定される。
上記した（Ｒmin、Ｂmin、Ｆmin）は、予め定められた所定の個数だけ検査を行うようにしても良いし、その中で独立な組み合わせのみを定義するようにしても良い。上記のようにして求められた特性は、図４に示すようになる。各点の間は線形補間される。上記のようにして求められた、（Ｒmin、Ｂmin、Ｆmin）の値、バッファ情報ＢＨは、バッファ情報付加部７３によりビットストリーム中の所定の位置に挿入され、符号化され出力される。
ビットストリーム解析部７２は、上述したような、各ランダムアクセス間の（Ｒmin、Ｂmin、Ｆmin）と同時にビットストリーム全体に対して同様の解析を行い、ビットストリーム全体に対する特性、（Ｒmin、Ｂmin、Ｆmin）globalを決定し、この値を、バッファ情報付加部７３に、バッファ情報ＢＨとして供給する。
画像情報符号化装置１０から出力されたビットストリームＢＳは、バッファ７１において所定の時間だけ遅延された後、バッファ情報付加部７３に入力される。バッファ情報付加部７３は、ビットストリーム中の所定の位置にビットストリーム解析部７２より供給されるバッファ情報ＢＨを挿入し、最終的な出力ビットストリームＢＳを出力する。
ここで、バッファ情報ＢＨ（若しくはバッファ特性情報）は、例えば、（Ｒmin、Ｂmin、Ｆmin）や（Ｒmin、Ｂmin、Ｆmin）globalである。バッファ情報付加部７３は、ビットストリームＢＳ中の所定の位置に、上記情報を挿入する。ここでシンタクスの一例を以下に示し説明する。
RAP_header（）｛
RAP_startcode;
closed_GOP;
broken_link;
NumBufferParam;
for(i = 0; i < NumBufferParam; i++){
Rate[i];
Buffer[i];
F[i];}}
ランダムアクセスポイント間の（Ｒmin、Ｂmin、Ｆmin）は、例えば、その直前のランダムアクセスポイントヘッダに、上記したシンタクスのように記録される。RAP_startcodeは、ＲＡＰヘッダが存在し、そのヘッダの開始を示すコードである。
closed_GOPは、そのＧＯＰ内の全てのピクチャが他のＧＯＰのピクチャを参照することがなく独立であるか、または、他のＧＯＰのピクチャを参照するという依存関係があるかどうかを示すフラグである。broken_linkは、編集などにより、そのＧＯＰの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するか否かを示すフラグである。
NumBuffer_Paramは、求めた特性セット（Ｒmin、Ｂmin、Ｆmin）の数を示す。Rate[i]、Buffer[i]、F[i]は、それぞれをＲmin、Ｂmin、Ｆmin示す。ここでは、例えば、Ｒminは、小さいものから順に記録される。
ビットストリーム全体の（Ｒmin、Ｂmin、Ｆmin）globalは、例えば、そのビットストリームの先頭のシーケンスヘッダに、以下のシンタクスのようにして記録される。
Sequence_header （）{
Sequence_startcode;
:
:
NumBufferParam;
for(i = 0; i < NumBufferParam; i++) {
Rate[i];
Buffer[i];
F[i];}}
ここで、NumBuffer_Paramは、求めた特性セット（Ｒmin、Ｂmin、Ｆmin）globalの数を示す。Rate[i]、Buffer[i]、F[i]は、それぞれをＲmin、Ｂmin、Ｆminを示す。ここでは、例えば、Ｒminは、小さいものから順に記録される。
バッファ情報付加部７３において、上記のバッファ情報ＢＨが付加された後、最終的な出力ビットストリームＢＳが出力される。
なお、発明の実施の形態ではバッファ情報ＢＨとして、最小ビットレートRmin、最小バッファサイズBminおよび最小遅延量Fminの全てをビットストリームに付加するように説明した。しかし、この例に限らず、最小ビットレートRmin、最小バッファサイズBmin若しくは最小遅延量Fminのうち、少なくとも一つをビットストリームに加えるようにしてもよい。例えば、最小ビットレートRminおよび最小バッファサイズBminの組み合わせをビットストリームに付加するようにしてもよい。
図７に本発明を適用した復号装置の一実施の形態の構成を示す。図７に示した復号装置９０は、図５に示した符号化装置７０に対応するものであり、内部に、図２に示した画像情報復号装置４０を含んでいる。復号装置９０に入力されたビットストリームＢＳは、ビットストリーム解析部９１と復号可能性判定部９２に供給される。
ビットストリーム解析部９１は、ビットストリーム中のバッファ情報ＢＨを復号し、復号可能性判定部９２に出力する。ビットストリーム解析部９１は、ビットストリームをパースし、シーケンスヘッダに記録されている、（Ｒmin、Ｂmin、Ｆmin）globalを復号する。また、各ランダムアクセスポイントヘッダに記録されている、（Ｒmin、Ｂmin、Ｆmin）を復号する。これら情報が復号可能性判定部９２に出力される。
復号可能性判定部９２は、バッファ情報ＢＨおよび画像情報復号装置４０より供給されるデコーダ情報ＤＩに基づいて、入力されたビットストリームがバッファを破綻させること無く復号可能であるかどうかを判定する。デコーダ情報ＤＩは、例えば、デコーダバッファサイズおよび復号ビットレートなどである。
復号可能性判定部９２は、（Ｒmin、Ｂmin、Ｆmin）globalから、図４に示したような特性曲線を作成する。各点の間は線形補間する。この時、デコーダ（復号装置９０）のバッファおよび復号ビットレートが（Ｒmin、Ｂmin、Ｆmin）globalにより作られる特性曲線より上に位置する場合、入力されたビットストリームは、復号可能であると判断することが可能である。従ってこのようなとき、復号可能性判定部９２は、復号可能であると判定し、ビットストリームを画像情報復号装置４０に供給する。
画像情報復号装置４０は、図２に示した画像情報復号装置４０と基本的に同様な構成により、同様な処理を実行し、入力されたビットストリームを復号し、画像情報を図示されていないテレビジョン受像機などに出力する。
ビットストリーム全体を復号可能であるかどうかは上記のように、（Ｒmin、Ｂmin、Ｆmin）globalの特性曲線、デコーダバッファサイズ、復号ビットレートを調べることによって判定することが可能である。
また、ランダムアクセスなどにより、所定のランダムアクセスポイントから特定の区間のみを復号したい場合、同様にして、復号可能性判定部９２は、（Ｒmin、Ｂmin、Ｆmin）から図４に示すような特性曲線を作成する。各点の間は線形補間する。この時、デコーダのバッファおよび復号ビットレートが（Ｒmin、Ｂmin、Ｆmin）により作られる特性曲線より上に位置する場合、ビットストリームは復号可能である。従ってこのようなとき、復号可能性判定部９２は、復号可能であると判定し、ビットストリームを画像情報復号装置４０に供給する。
次にビットストリームの編集を行う際の説明を行う。図８は、本発明を適用したビットストリームの編集を行う編集装置１１０の一実施の形態の構成を示す図である。編集装置１１０が行う編集の例として、入力ビットストリーム１の一部を、別の入力ビットストリーム２に置き換えるスプライスを行う場合を例に挙げて説明する。
ここで、スプライスについて簡単に説明するに、スプライスとは、所定のビットストリームをランダムアクセスポイントにおいて別のビットストリームに置き換えて編集を行うことである。このようなスプライスは、例えば、テレビジョン放送の番組に、コマーシャルの放送を挿入する際などである。この場合、入力ビットストリーム１がテレビジョン放送の番組のビットストリームであり、入力ビットストリーム２がコマーシャルのビットストリームである。
入力ビットストリーム１は、ビットストリーム解析部１１１−１に入力され、入力ビットストリーム２は、ビットストリーム解析部１１１−２に入力される。ビットストリーム解析部１１１−１，１１１−２は、それぞれ入力されたビットストリーム１，２中に含まれているバッファ情報ＢＨ１，２を復号し、ビットストリーム編集部１１２に出力する。
ビットストリーム編集部１１２は、バッファ情報ＢＨ１，２に基づき、所定の編集ポイントで、入力ビットストリーム１に対して入力ビットストリーム２を挿入可能であるか否かを判定する。この時、編集後のビットストリームが、デコーダ（復号装置９０）のバッファを破綻させずに復号可能であるためには、ランダムアクセスポイントとその直前のバッファ占有量の値が同一であるという条件が必要である。
ＭＰＥＧ２，４方式を用いるデコーダは、特定のビットレート、バッファサイズで動作することが想定されていたが、ＪＶＴ方式を用いるデコーダにおいては、図４に示すように、その他のビットレート、バッファサイズであっても、（Ｒmin、Ｂmin、Ｆmin）の特性曲線より上にある場合、復号することが可能であるようにバッファに対する制約が緩和されている。
ビットストリームの編集により、その編集前後でデコード可能性が変化しないようにするためには、編集区間の（Ｒmin、Ｂmin、Ｆmin）が同一であれば良い。従って、ビットストリーム編集部１１２は、編集区間に位置するランダムアクセスポイントヘッダにおける（Ｒmin、Ｂmin、Ｆmin）特性を、入力ビットストリーム１，２に対して作成し、これらの値が一致する場合、その区間をビットストリーム２に置換する。一致しない場合、ビットストリーム１または２に対してパディングビットを挿入して、（Ｒmin、Ｂmin、Ｆmin）が一致するようにした後、入力ビットストリーム２に置換する。
ＪＶＴにおいては、バッファに対する規制が緩和されているが、このことを利用すれば、スプライスにおけるバッファの適合条件を緩和することが可能になる。ＪＶＴにおいては、デコーダのバッファサイズおよび復号ビットレートが（Ｒmin、Ｂmin、Ｆmin）の上に位置する場合、復号可能であることがわかる。従って、元の入力ビットストリーム１の所定の編集区間の（Ｒmin、Ｂmin、Ｆmin）に対して、挿入する入力ビットストリーム２の所定編集区間の（Ｒmin、Ｂmin、Ｆmin）が常に下にある場合、入力ビットストリーム１を復号可能なデコーダは、その区間をビットストリーム２に置換しても復号可能であることになる。
図９にその関係を図示する。曲線１は、入力ビットストリーム１の編集区間での（Ｒmin、Ｂmin、Ｆmin）特性を示す。曲線２は入力ビットストリーム２の編集区間での（Ｒmin、Ｂmin、Ｆmin）特性を示す。デコーダのバッファ、復号ビットレートが、この曲線の上に来る場合、復号可能であることから、図９に示すように曲線２が常に曲線１の下に来るとき、復号可能であることが保証される。
従って、ビットストリーム編集部１１２は、編集区間に位置するランダムアクセスポイントヘッダにおける（Ｒmin、Ｂmin、Ｆmin）特性を、ビットストリーム１，２に対して作成し、ビットストリーム２の特性曲線が、ビットストリーム１の特性曲線の下に来る場合、その区間をビットストリーム２に置換する。
逆に、一致しないような場合、ビットストリーム１または２に対してパディングビットを挿入して、ビットストリーム２の（Ｒmin、Ｂmin、Ｆmin）特性曲線が、ビットストリーム１の特性曲線の下に位置するように変更した後、入力ビットストリーム２に置換する。
このような条件を満たすようにスプライスを行った場合、ビットストリーム１を復号可能なデコーダを破綻させることはない。ビットストリーム編集部１１２はスプライスをした後、最終的なビットストリームを出力する。
このように、ビットストリーム中のランダムアクセスが行えるポイントのヘッダに、（Ｒmin、Ｂmin、Ｆmin）といった最小ビットレート、最小バッファサイズ、最小初期遅延時間などの情報を含ませることにより、復号側において、ビットストリームの復号可能性を効率良く判断することが可能となり、また、スプライシングなどのビットストリームの編集を容易に、かつ、復号側のバッファを破綻させることなく復号が常に行えるようにすることが可能となる。
図１０は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２１３には、ＣＰＵ２１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２１５は、キーボードやマウスから構成される入力部２１６が接続され、入力部２１６に入力された信号をＣＰＵ２１１に出力する。また、入出力インタフェース２１５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
さらに、入出力インタフェース２１５には、ハードディスクなどから構成される記憶部２１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２１９も接続されている。ドライブ２２０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
記録媒体は、図１０に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２１２や記憶部２１８が含まれるハードディスクなどで構成される。
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
７０ 符号化装置， ７１ バッファ， ７２ ビットストリーム解析部， ７３ バッファ情報付加部， ９０ 復号装置， ９１ ビットストリーム解析部， ９２ 復号可能性判定部， １１１ ビットストリーム解析部， １１２ ビットストリーム編集部

Claims (19)

  1. 復号時に必要に応じ参照されるヘッダを生成する生成手段と、
    前記生成手段により生成された前記ヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、
    前記符号化手段により符号化された前記ヘッダと前記画像信号を多重化し、ビットストリームを出力する出力手段と
    を含み、
    前記生成手段は、前記ビットストリームを復号する際のバッファに関するバッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とする符号化装置。
  2. 前記生成手段は、前記ビットストリーム中でランダムにアクセスが可能な所定区間毎に、前記バッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とする請求項１に記載の符号化装置。
  3. 前記生成手段は、前記ビットストリームのシーケンス全体の前記バッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とする請求項１に記載の符号化装置。
  4. 前記バッファ特性情報は、前記ビットストリームを復号する際の復号可能な最小ビットレートRmin、最小バッファサイズBmin、および、最小遅延量Fminの全てを含む
    ことを特徴とする請求１に記載の符号化装置。
  5. 前記バッファ特性情報は、前記ビットストリームを復号する際の復号可能な最小ビットレートRmin、最小バッファサイズBmin、若しくは、最小遅延量Fminのうち、少なくとも１つを含む
    ことを特徴とする請求項１に記載の符号化装置。
  6. 復号時に必要に応じ参照されるヘッダを生成する生成ステップと、
    前記生成ステップにより生成された前記ヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
    前記符号化ステップにより符号化された前記ヘッダと前記画像信号を多重化し、ビットストリームを出力する出力ステップと
    を含み、
    前記生成ステップの処理は、前記ビットストリームを復号する際のバッファに関するバッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とする符号化方法。
  7. 復号時に必要に応じ参照されるヘッダを生成する生成ステップと、
    前記生成ステップにより生成された前記ヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
    前記符号化ステップにより符号化された前記ヘッダと前記画像信号を多重化し、ビットストリームを出力する出力ステップと
    を含み、
    前記生成ステップの処理は、前記ビットストリームを復号する際のバッファに関するバッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  8. 復号時に必要に応じ参照されるヘッダを生成する生成ステップと、
    前記生成ステップにより生成された前記ヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
    前記符号化ステップにより符号化された前記ヘッダと前記画像信号を多重化し、ビットストリームを出力する出力ステップと
    を含む処理をコンピュータに実行させ、
    前記生成ステップの処理は、前記ビットストリームを復号する際のバッファに関するバッファ特性情報を含む前記ヘッダを生成する
    ことを特徴とするプログラム。
  9. 入力されたビットストリーム内のヘッダを検索する検索手段と、
    前記検索手段により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいて前記ビットストリームを復号する復号手段と
    を含むことを特徴とする復号装置。
  10. 前記バッファ特性情報は、前記ビットストリーム中でランダムにアクセスが可能な所定区間毎に、前記ヘッダに付加されている
    ことを特徴とする請求項９に記載の復号装置。
  11. 前記ビットストリームのシーケンス全体に関する前記バッファ特性情報が、前記ヘッダに付加されている
    ことを特徴とする請求項９に記載の復号装置。
  12. 前記バッファ特性情報は、前記ビットストリームを復号する際の復号可能な最小ビットレートRmin、最小バッファサイズBmin、および、最小遅延量Fminの全てを含む
    ことを特徴とする請求項９に記載の復号装置。
  13. 前記バッファ特性情報は、前記ビットストリームを復号する際の復号可能な最小ビットレートRmin、最小バッファサイズBmin、若しくは、最小遅延量Fminのうち、少なくとも１つを含む
    ことを特徴とする請求項９に記載の復号装置。
  14. 前記復号手段は、ビットストリームから読み出した前記情報よりバッファの特性曲線を作成し、該復号装置の特性曲線が前記ビットストリームの特性曲線より上に位置する場合、入力されたビットストリームは復号可能であると判定する判定手段をさらに備える
    ことを特徴とする請求項９に記載の復号装置。
  15. 入力されたビットストリーム内のヘッダを検索する検索ステップと、
    前記検索ステップの処理により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性情報に基づいて前記ビットストリームを復号する復号ステップと
    を含むことを特徴とする復号方法。
  16. 入力されたビットストリーム内のヘッダを検索する検索ステップと、
    前記検索ステップの処理により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性に基づいて前記ビットストリームを復号する復号ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  17. 入力されたビットストリーム内のヘッダを検索する検索ステップと、
    前記検索ステップの処理により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出したバッファ特性に基づいて前記ビットストリームを復号する復号ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
  18. 入力されたビットストリーム内のヘッダを検索する検索手段と、
    前記検索手段により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいて前記ビットストリームの編集が可能であるか否かを判断する判断手段と、
    前記判断手段により前記ビットストリームの編集が可能であると判断された場合、前記ビットストリームの編集を行う編集手段と
    を含み、
    前記判断手段は、第１の前記ビットストリームの前記ヘッダに含まれる前記情報により作成される特性曲線が、第２の前記ビットストリームの前記ヘッダに含まれる前記情報により作成される特性曲線の常に上に位置するか、または、同一である場合、前記第１のビットストリームと前記第２のビットストリームを用いた編集は可能であると判断する
    ことを特徴とする編集装置。
  19. 入力されたビットストリーム内のヘッダを検索する検索ステップと、
    前記検索ステップの処理により検索された前記ヘッダに含まれるバッファに関するバッファ特性情報を読み出し、その読み出した情報に基づいて前記ビットストリームの編集が可能であるか否かを判断する判断ステップと、
    前記判断ステップの処理で前記ビットストリームの編集が可能であると判断された場合、前記ビットストリームの編集を行う編集ステップと
    を含み、
    前記判断ステップの処理は、第１の前記ビットストリームの前記ヘッダに含まれる前記情報により作成される特性曲線が、第２の前記ビットストリームの前記ヘッダに含まれる前記情報により作成される特性曲線の常に上に位置するか、または、同一である場合、前記第１のビットストリームと前記第２のビットストリームを用いた編集は可能であると判断する
    ことを特徴とする編集方法。
JP2009108322A 2002-04-26 2009-04-27 復号装置および方法、プログラム、並びに記録媒体 Expired - Lifetime JP5223769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009108322A JP5223769B2 (ja) 2002-04-26 2009-04-27 復号装置および方法、プログラム、並びに記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002125298 2002-04-26
JP2002125298 2002-04-26
JP2009108322A JP5223769B2 (ja) 2002-04-26 2009-04-27 復号装置および方法、プログラム、並びに記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003107787A Division JP4875285B2 (ja) 2002-04-26 2003-04-11 編集装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012039764A Division JP5429580B2 (ja) 2002-04-26 2012-02-27 復号装置および方法、プログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2009207163A true JP2009207163A (ja) 2009-09-10
JP2009207163A5 JP2009207163A5 (ja) 2010-04-02
JP5223769B2 JP5223769B2 (ja) 2013-06-26

Family

ID=29267556

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009108322A Expired - Lifetime JP5223769B2 (ja) 2002-04-26 2009-04-27 復号装置および方法、プログラム、並びに記録媒体
JP2010028883A Expired - Lifetime JP5206706B2 (ja) 2002-04-26 2010-02-12 符号化装置および方法
JP2012039764A Expired - Fee Related JP5429580B2 (ja) 2002-04-26 2012-02-27 復号装置および方法、プログラム、並びに記録媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2010028883A Expired - Lifetime JP5206706B2 (ja) 2002-04-26 2010-02-12 符号化装置および方法
JP2012039764A Expired - Fee Related JP5429580B2 (ja) 2002-04-26 2012-02-27 復号装置および方法、プログラム、並びに記録媒体

Country Status (6)

Country Link
US (14) US8315313B2 (ja)
EP (5) EP1501309A4 (ja)
JP (3) JP5223769B2 (ja)
KR (3) KR100988006B1 (ja)
CN (3) CN1650629B (ja)
WO (1) WO2003092293A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792449B2 (en) * 2001-06-28 2004-09-14 Microsoft Corporation Startup methods and apparatuses for use in streaming content
KR100988006B1 (ko) * 2002-04-26 2010-10-18 소니 주식회사 복호 장치 및 방법, 그리고 기록 매체
US7725557B2 (en) 2002-06-24 2010-05-25 Microsoft Corporation Client-side caching of streaming media content
US20040268400A1 (en) * 2003-06-26 2004-12-30 Microsoft Corporation Quick starting video content
US7054774B2 (en) * 2003-06-27 2006-05-30 Microsoft Corporation Midstream determination of varying bandwidth availability
US7391717B2 (en) * 2003-06-30 2008-06-24 Microsoft Corporation Streaming of variable bit rate multimedia content
US7162533B2 (en) 2004-04-30 2007-01-09 Microsoft Corporation Session description message extensions
US8411569B2 (en) * 2008-01-10 2013-04-02 Alcatel Lucent Method of splicing encoded multimedia data streams
JP5568465B2 (ja) * 2008-09-18 2014-08-06 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム
EP2403248B1 (en) * 2009-02-27 2018-07-04 Fujitsu Limited Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program
TW201146007A (en) * 2010-06-01 2011-12-16 Sunplus Technology Co Ltd Multimedia playing apparatus and multimedia data converter and converting method thereof
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9313497B2 (en) * 2012-01-25 2016-04-12 Intel Corporation Systems, methods, and computer program products for transform coefficient sub-sampling
US10516898B2 (en) 2013-10-10 2019-12-24 Intel Corporation Systems, methods, and computer program products for scalable video coding based on coefficient sampling
US11025933B2 (en) * 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US11165847B2 (en) * 2018-10-23 2021-11-02 Tencent America LLC Techniques for multiple conformance points in media coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179665A (ja) * 2001-09-19 2003-06-27 Microsoft Corp 映像又はビデオ処理のための一般化されたリファレンスデコーダ

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5365552A (en) 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5566089A (en) * 1994-10-26 1996-10-15 General Instrument Corporation Of Delaware Syntax parser for a video decompression processor
JP3338426B2 (ja) 1994-11-18 2002-10-28 三洋電機株式会社 Ｍｐｅｇビデオデコーダ
JP3365109B2 (ja) * 1994-12-28 2003-01-08 ソニー株式会社 データ再生装置及びデータ再生方法
JPH08251582A (ja) 1995-03-07 1996-09-27 Toshiba Corp 符号化データ編集装置
US5774206A (en) * 1995-05-10 1998-06-30 Cagent Technologies, Inc. Process for controlling an MPEG decoder
US5877812A (en) * 1995-11-21 1999-03-02 Imedia Corporation Method and apparatus for increasing channel utilization for digital video transmission
US5801779A (en) * 1995-12-26 1998-09-01 C-Cube Microsystems, Inc. Rate control with panic mode
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US5793436A (en) * 1996-06-17 1998-08-11 Samsung Electronics Co., Ltd. Buffer occupancy control method for use in video buffering verifier
US6408030B1 (en) * 1996-08-20 2002-06-18 Hitachi, Ltd. Scene-change-point detecting method and moving-picture editing/displaying method
US6094455A (en) * 1996-09-25 2000-07-25 Matsushita Electric Industrial Co., Ltd. Image compression/encoding apparatus and system with quantization width control based on bit generation error
US6141053A (en) * 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
US20020154694A1 (en) * 1997-03-21 2002-10-24 Christopher H. Birch Bit stream splicer with variable-rate output
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
JPH10285529A (ja) 1997-04-04 1998-10-23 Sony Corp 画像編集装置および画像編集方法
GB9707037D0 (en) * 1997-04-07 1997-05-28 Nds Ltd Improvements in or relating to modifying a digital bitstream
US6219381B1 (en) 1997-05-26 2001-04-17 Kabushiki Kaisha Toshiba Image processing apparatus and method for realizing trick play
EP0927495A4 (en) * 1997-07-22 2001-05-30 Koninkl Philips Electronics Nv METHOD AND DEVICE FOR SWITCHING BETWEEN VIDEO SEQUENCES
JP3709721B2 (ja) * 1997-10-03 2005-10-26 ソニー株式会社 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6289129B1 (en) * 1998-06-19 2001-09-11 Motorola, Inc. Video rate buffer for use with push dataflow
JP2000078569A (ja) 1998-09-03 2000-03-14 Toshiba Corp 画像データ復号化装置及びその方法
FR2784845B1 (fr) * 1998-10-14 2001-02-23 France Telecom Procede de basculement de la ou des composantes video d'un premier programme audiovisuel sur la ou les composantes video d'un second programme audiovisuel numerique
GB2344031B (en) * 1998-11-19 2004-03-10 Nds Ltd Improvements in or relating to processing digital signals
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
WO2000046997A1 (en) * 1999-02-04 2000-08-10 General Instrument Corporation Video rate-buffer management scheme for mpeg transcoder
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
US6754276B1 (en) * 1999-09-20 2004-06-22 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
US6522693B1 (en) * 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
US6973130B1 (en) * 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
JP2001346163A (ja) 2000-06-02 2001-12-14 Sony Corp 記録装置および方法、再生装置および方法、ならびに、記録再生装置および方法
CN1229989C (zh) 2000-06-10 2005-11-30 三星电子株式会社 用于减少延迟时间的解码方法
JP4538908B2 (ja) * 2000-06-14 2010-09-08 ソニー株式会社 データ変換装置及び方法
US7471298B1 (en) * 2000-06-26 2008-12-30 S3 Graphics Co., Ltd. Fetching pixel data with reduced memory bandwidth requirement
US6614442B1 (en) * 2000-06-26 2003-09-02 S3 Graphics Co., Ltd. Macroblock tiling format for motion compensation
US6453115B1 (en) * 2000-08-31 2002-09-17 Keen Personal Media, Inc. Digital video recording system which generates an index data structure for displaying a video stream in trickplay mode
JP4345217B2 (ja) 2000-09-29 2009-10-14 ソニー株式会社 データ処理方法及び装置
US20030118102A1 (en) * 2000-11-10 2003-06-26 Weiping Li Encoding and decoding of truncated scalable bitstreams
US20030138045A1 (en) * 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
KR100988006B1 (ko) * 2002-04-26 2010-10-18 소니 주식회사 복호 장치 및 방법, 그리고 기록 매체
US7013116B2 (en) * 2002-06-26 2006-03-14 Lucent Technologies Inc. MIMO systems having a channel decoder matched to a MIMO detector
JP4002878B2 (ja) * 2003-01-17 2007-11-07 松下電器産業株式会社 画像符号化方法
SG140441A1 (en) * 2003-03-17 2008-03-28 St Microelectronics Asia Decoder and method of decoding using pseudo two pass decoding and one pass encoding
JP4438059B2 (ja) * 2004-08-24 2010-03-24 キヤノン株式会社 画像再生装置及びその制御方法
KR101537701B1 (ko) * 2009-02-19 2015-07-20 엘지전자 주식회사 영상표시장치 및 영상표시장치의 스트리밍 서비스 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179665A (ja) * 2001-09-19 2003-06-27 Microsoft Corp 映像又はビデオ処理のための一般化されたリファレンスデコーダ

Also Published As

Publication number Publication date
US8401088B2 (en) 2013-03-19
KR100969908B1 (ko) 2010-07-13
US20160366419A1 (en) 2016-12-15
US8537902B2 (en) 2013-09-17
US20050152400A1 (en) 2005-07-14
CN1650629A (zh) 2005-08-03
US20090175357A1 (en) 2009-07-09
JP5429580B2 (ja) 2014-02-26
US20110274159A1 (en) 2011-11-10
EP2403262A2 (en) 2012-01-04
EP1501309A4 (en) 2010-11-03
EP2403265A3 (en) 2012-02-01
CN101827262A (zh) 2010-09-08
US10595081B2 (en) 2020-03-17
EP2403264A3 (en) 2012-01-25
EP2403264A2 (en) 2012-01-04
EP2403263A3 (en) 2012-01-25
US8767837B2 (en) 2014-07-01
CN101827262B (zh) 2014-09-17
US20110274181A1 (en) 2011-11-10
US11425453B2 (en) 2022-08-23
JP5223769B2 (ja) 2013-06-26
JP2012135029A (ja) 2012-07-12
US20160373813A1 (en) 2016-12-22
EP2403263A2 (en) 2012-01-04
US10602219B2 (en) 2020-03-24
KR100988006B1 (ko) 2010-10-18
US20160373760A1 (en) 2016-12-22
US10477270B2 (en) 2019-11-12
CN101707707A (zh) 2010-05-12
US10602220B2 (en) 2020-03-24
KR20100018093A (ko) 2010-02-16
US10659839B2 (en) 2020-05-19
KR100983832B1 (ko) 2010-09-27
CN1650629B (zh) 2010-10-06
CN101707707B (zh) 2013-07-31
KR20040106403A (ko) 2004-12-17
US20110280317A1 (en) 2011-11-17
KR20100018094A (ko) 2010-02-16
US20160366418A1 (en) 2016-12-15
EP1501309A1 (en) 2005-01-26
JP2010104065A (ja) 2010-05-06
US20170019706A1 (en) 2017-01-19
US20160373812A1 (en) 2016-12-22
US10609445B2 (en) 2020-03-31
US8571115B2 (en) 2013-10-29
EP2403262A3 (en) 2012-01-25
US20160373811A1 (en) 2016-12-22
US20140269941A1 (en) 2014-09-18
US10602218B2 (en) 2020-03-24
US8315313B2 (en) 2012-11-20
US20160373759A1 (en) 2016-12-22
WO2003092293A1 (en) 2003-11-06
JP5206706B2 (ja) 2013-06-12
EP2403265A2 (en) 2012-01-04

Similar Documents

Publication Publication Date Title
JP5429580B2 (ja) 復号装置および方法、プログラム、並びに記録媒体
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JP4875285B2 (ja) 編集装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

R151 Written notification of patent or utility model registration

Ref document number: 5223769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term