JP2009522973A - 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置 - Google Patents

細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置 Download PDF

Info

Publication number
JP2009522973A
JP2009522973A JP2008549943A JP2008549943A JP2009522973A JP 2009522973 A JP2009522973 A JP 2009522973A JP 2008549943 A JP2008549943 A JP 2008549943A JP 2008549943 A JP2008549943 A JP 2008549943A JP 2009522973 A JP2009522973 A JP 2009522973A
Authority
JP
Japan
Prior art keywords
coefficient
block
module
fgs
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008549943A
Other languages
English (en)
Inventor
ワン，シャンリン
カルチェビッチュ，マルタ
リッジ，ジャスティン
アンマー，ネジブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009522973A publication Critical patent/JP2009522973A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ＦＧＳエントロピ符号化方法は，ＦＧＳ層における改善係数が基本階層と異なる予測値を有する。ＦＧＳ層において時間予測を用いるとき，該ＦＧＳ層が部分的に復号されるとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きな影響を与える。この新規なＦＧＳエントロピ符号化方法はそのようなドリフト効果を解決し，又は大幅に軽減して，したがって符号化性能を改善する。３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数位置を用いるＦＧＳエントロピ符号化と，復号器指向２ループ構造ＦＧＳエントロピ符号化と，ブロック限定符号化パスを有するＦＧＳエントロピ符号化と，である。

Description

本発明は概略映像符号化に関し，より特定すればスケーラブル映像符号化に関する。
映像符号化の柔軟性を高めるため，最近，ＭＰＥＧ−４ ＡＶＣ映像符号化標準に細粒度スケーラビリティ（ＦＧＳ）が追加された。ＦＧＳ符号化によれば，図１に示すとおり映像は基本層（ＢＬ）及び１又は複数の強化層，すなわちＦＧＳ層に符号化される。従来のスケーラブル映像符号化と類似して，基本品質映像を復号して表示するためには，基本層を完全に受信しなければならない。基本映像品質を改善するために強化層を完全に受信しなければならない従来のスケーラブル映像符号化と比べて，ＦＧＳ符号化によればＦＧＳ層ビットストリームは，送信前又は復号中，どこで割愛してもよい。換言すれば，ＦＧＳ層ビットストリームは各フレームについて任意に省略してもよい。したがってＦＧＳは，ＦＧＳ層から追加情報を復号することによって漸増的に映像信号品質を改善できるようにする。デバイスが低速度チャネルを介して映像ストリームを受信しているときは，復号映像は低品質であろう。デバイスが同じ映像ストリームをより高速なチャネルから受信しているときは，復号映像はより高い品質であろう。ＦＧＳ層を省略することによって，基本層より高い本質的に任意のビット速度での復号が可能になる。ビットストリームを省略すると，符号化効率に影響をおよぼすことがある。
映像データにおける色は，ＲＧＢ三原色の混合によって表すことができる。しかし種々の均等な色空間も可能である。多くの重要な色空間は，輝度成分（Ｙ）及び２つの色度成分（Ｕ，Ｖ）からなっている。この色空間表現に関連して省略を行うことができる。
いくつかのシナリオにおいて，符号化デジタル映像シーケンスをある最小の，すなわち「基本」の品質で送信し，より高品質の復号映像シーケンスを得るために，上記最小品質信号と組み合わせることができる「強化」信号を同時に送信することが望ましい。このような構成によって，同一のシーケンスについて２つの独立に符号化した版を送信することによる増加費用なしに，最小能力のある組合せに対応する任意のデバイスはシーケンスを（「基本」品質で）復号し，改善された能力を有するデバイスは同一のシーケンスの高品質版を復号することを同時に可能にする。
２を超える品質レベルが所望されるときは複数の「強化」信号を送信してもよく，「強化」信号はそれぞれ「基本」品質信号とすべての自分より低品質の「強化」信号とを必要とする。
スケーラブル映像符号化の分野においては，このような「基本」信号及び「強化」信号を「層」と呼ぶ。そして各強化層が改善する再生品質の程度は，「粒度」と呼ばれる。略号ＦＧＳは「細粒度スケーラビリティ」を指し，品質向上の漸増は小さいことを意味する。
ＦＧＳ強化層を生成する技法は既知であり，現行ＳＶＣ標準化においては，当初ブロックによるＦＧＳ方式が次に文書化された。２００４年１０月，Palma de Mallorca において開催されたISO/IEC JTC1/SC29/WG11(MPEG)会合における作業文書 W6716，"Scalable Video Model Version 3.0"。この符号化方式は，後に「巡回ブロック符号化」と呼ばれる改善された符号化方式によって置き換えられた。巡回ブロック符号化は，現層のＦＧＳ符号化に基本層符号化情報を効率よく利用して，符号化性能を向上させるものである。
巡回ブロック符号化方式によれば，予測誤差係数が，有意（significant）情報又は改善（refinement）情報の２種類の情報のうち１つとして符号化される。基本層について，係数の再構築値が零のときは，非有意係数と呼ばれる。それ以外のときは有意係数と呼ばれる。基本層において符号化された係数を用いて，第１ＦＧＳ層が符号化される。第１ＦＧＳ層符号化において，基本層の非有意係数が現ＦＧＳ層において有意（すなわち再構築値が非零）になっていないか，再度検査される。有意であれば，その強度及び正負符号が符号化される。それ以外のときは，依然として非有意に分類される。基本層の有意係数については，現ＦＧＳ層量子化パラメータ（ＱＰ）を用いて更に改善される。第１ＦＧＳ層が符号化されると，それを基本層として用いて第２ＦＧＳ層が符号化され，以降同様に処理する。ある層において係数が有意になると，後続の各高位ＦＧＳ層で改善される。
符号化順については，巡回ブロック符号化では一般に有意情報を最初に符号化し，改善情報が後に続く。より詳細に言えば，スライスの各ＦＧＳ層を符号化するとき，有意経路及び改善経路の２つの経路がある。有意経路においては，基本層の非有意係数だけが，現層において有意になったかどうか検査される。有意であればその強度及び正負符号を符号化する。有意経路は，基本層のすべての非有意係数が検査されると終了する。次の改善経路においては，基本層のすべての有意係数が現ＦＧＳ層ＱＰによって改善される。
巡回ブロック符号化のより詳細な手続は次の擬似コードを用いて説明される。
復号する値が残っている間
各ブロックについて
現スライスの輝度について，有意経路が完了していないとき
１つの非零輝度係数及び先行する零係数を復号
そうでなければ
次の輝度係数の改善情報を復号
現スライスの色度について，有意経路が完了していないとき
１つの非零色度係数及び先行する零係数を復号
そうでなければ
次の色度係数の改善情報を復号
このように各色成分（輝度及び色度）について，改善情報の前に有意情報が符号化される。
巡回ブロック符号化は，ＦＧＳ層を符号化する際に時間予測を用いないときはうまく動作することが分かった。図１に例を示す。この構成においては，離散（discrete）基本層は通常，動き補償を用いる非スケーラブルビットストリームに符号化される。そしてＦＧＳ層は，動き補償を用いないものの上で符号化される。図中の矢印は，予測関係を示す。各ＦＧＳ層は基本層から十分に予測されるので，現ＦＧＳ層の有意経路及び改善経路のいずれかは画像品質を改善する助けとなる追加情報を提供するだけである。
ＦＧＳ層符号化における符号化効率を更に向上させるために，ＦＧＳ層符号化においても時間予測を用いる種々の方法が最近提案された。これらの方法においては，新規の（又は改善した）動きベクトルを導入してもよく，ＦＧＳ層に関して分離した動き補償を実行してもよい。注意深く設計すれば，これらの方法は効果的にＦＧＳ層符号化効率を向上させることができる。しかしそれらはまた，現在用いられている巡回ブロック符号化に関係した新たな課題も生じさせる。
図２は，ＦＧＳ層符号化に時間予測を用いる例を示す図である。ただ１つのＦＧＳ層があるとしよう。図４において，Ｐ０及びＰ１はそれぞれ，基本層及びＦＧＳ層において動き補償によって形成された予測値である。これら２層における動きベクトルは，同一のものであってよいし，別のものであってよい。基本層において再構築した予測誤差をＤ０とすると，基本層の再構築フレームをＲ０として，Ｒ０＝Ｐ０＋Ｄ０で表すことができる。
上述のとおりＦＧＳ層符号化に時間予測を用いていないときは，Ｒ０がＦＧＳ層符号化における予測値として用いられる。この場合，巡回ブロック符号化はうまく動作することが分かった。しかしＦＧＳ層において時間予測を用いるときは，巡回ブロック符号化には問題がある。
巡回ブロック符号化においては，ＦＧＳ層は基本層上で更に符号化され，改善される。図２によれば，ＦＧＳ層において時間予測を用いるためには，フレームｎのＦＧＳ層符号化予測値はＰ１＋Ｄ０となる。次にＦＧＳ層の予測誤差Ｄ１が巡回ブロック符号化によって符号化される。符号化誤差Ｄ１の有意情報は，ＦＧＳ層における新規に発生した有意係数を示している。符号化誤差Ｄ１の改善情報は，基本層の既存有意係数を更に改善する。しかしこの場合，ＦＧＳ層における改善情報はまた，基本層の有意係数について予測値Ｐ０とＰ１との差を補償することに注意されたい。ＦＧＳ層を符号化する際にＲ０を用いるときは，このような問題は生じない。
上述の問題のため，巡回ブロック符号化における分離「経路」はもはや適当ではない。ＦＧＳ層のはじめにおいてすべての復号情報が有意情報であったときは，ＦＧＳ層ビットを復号すればするほど，Ｐ１の品質が次第によくなることが期待される。したがってＰ０とＰ１との差も大きくなる。しかしこの時点では，改善情報はまだ復号されていないことがある。ＦＧＳ層における改善情報がないと，基本層の有意係数に関してＰ０とＰ１との差を適切に補償できない。このためドリフト問題が生じて，部分ＦＧＳ層復号のとき符号化性能に重大な影響を与えることになる。
反対に改善経路が有意経路の前に符号化されたときも問題が生じる。ＦＧＳ層の復号のはじめにおいては，復号情報はすべて改善情報である。Ｐ０とＰ１との差の補償は利用できる。しかしこのような補償は，ＦＧＳ層が完全に復号されたときのためのものである。ＦＧＳ層のわずかな部分だけを復号したとき，このとき形成された時間予測Ｐ１は，画像品質に関してはＰ０に近い。したがって，復号改善情報はＰ１とＰ０との差を過補償することがある。これもまたドリフト問題を生じさせ，部分ＦＧＳ層復号のとき符号化性能に影響がある。
図２に示したケースは単に例である。一般にＦＧＳ層における改善係数（すなわち基本層において既に有意である係数）が基本層と異なるとき，エントロピ符号化が分離「経路」方式で実行されるときは，部分復号のときのドリフト問題は存在しない。
別の例は，本願と同日に出願された米国特許出願代理人事件番号944-001.177-2（以降，944-001.177-2と呼ぶ）に開示された復号器指向２ループ構造である。944-001.177-2は，２００６年１月９日出願の米国特許出願第６０／７５７，７４６号を基礎としている。図３にその構造を示す。図示した構造は，複数のＦＧＳ層を符号化する簡単で効率のよい方法を提供する。この構造によれば，第１ＦＧＳ層の予測値は，その参照フレームの第１ＦＧＳ層及び現フレームの再構築された基本層双方から形成される。
第２ＦＧＳ層について初期予測値Ｐ２’は，はじめ同一のＦＧＳ符号化方法によって計算されるが，離散基本層が「基本層」として用いられ，第２ＦＧＳ層が「強化層」として用いられる。そしてＰ２’は第１ＦＧＳ層の再構築された誤差Ｄ１（図３において中空矢印で示されている）が加算され，その和Ｐ２が実際の予測値として用いられる。
Ｐ２＝Ｐ２’ ＋ α＊Ｄ１
ここでαは０≦α≦１のパラメータである。類似して第３ＦＧＳ層について初期予測値Ｐ３’は，はじめ同一のＦＧＳ符号化方法によって計算されるが，離散基本層が「基本層」として用いられ，第３ＦＧＳ層が「強化層」として用いられる。そしてＰ３’は第１ＦＧＳ層の再構築された誤差Ｄ１と，第２ＦＧＳ層の再構築された誤差Ｄ２とが加算され，その和Ｐ３が実際の予測値として用いられる。
Ｐ３＝Ｐ３’ ＋ α＊Ｄ１ ＋ β＊Ｄ２
ここでβは０≦β≦１のパラメータである。βは，αと同一であってもよいし，異なっていてもよい。通常α及びβ双方とも１に設定してよい。
このような符号化構造によって，第２ＦＧＳ層における改善係数は（離散基本層において有意であったものを除いて），基本層の予測値とは異なる。この状況は，第３ＦＧＳ層における改善係数についても真である。このため巡回ブロック符号化は，これらのＦＧＳ層符号化には適していないことがある。
本発明は，ＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きく影響する。本発明は，このようなドリフトの影響を解決又は大きく軽減し，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数配置を用いたＦＧＳエントロピ符号化と，復号器指向２ループ構造のＦＧＳエントロピ符号化と，ブロック限定符号化経路を有するＦＧＳエントロピ符号化と，である。第１方法におけるドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。したがって上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。第２方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。第３方法によれば，有意符号化経路はブロック内に限定される。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。
このように本発明の第１態様は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するステップと，
を有する。
本発明の第２態様は，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するステップと，
を有する。
本発明によれば，符号化又は復号における選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いるか，又は上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように実行される。
本発明によれば，変換係数は離散基本層において有意であった改善係数及び誤差係数を含み，各ブロックからの上記選択ステップは，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように実行される。
本発明の第３態様は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この符号化器は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，上記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて上記変換係数サブセットを選択するか，上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように各ブロックから変換係数サブセットを選択するか，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように各ブロックから上記変換係数を選択するようになっている。
本発明の第４態様は，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この復号器は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備える。
本発明の第５態様は，スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，上記ソフトウェアアプリケーションは上述の符号化方法を実行するプログラムコードを有する。
本発明の第６態様は，スケーラブル映像符号化におけるエントロピ復号において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，上記ソフトウェアアプリケーションは上述の復号方法を実行するプログラムコードを有する。
本発明の第７態様は，移動体端末のような電子デバイスであって，上述のとおり画像データ内に含まれるデジタル映像シーケンスを符号化し，復号する際に用いる符号化器及び復号器を備える。
本発明は，ＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。
次に掲げる３つの異なるＦＧＳ方法を用いることができる。
１．空間周波数配置を用いたＦＧＳエントロピ符号化
２．復号器指向２ループ構造のＦＧＳエントロピ符号化
３．ブロック限定符号化経路を有するＦＧＳエントロピ符号化
ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きく影響する。本発明は，このようなドリフトの影響を解決又は大きく軽減し，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
＜空間周波数位置を用いたＦＧＳエントロピ符号化＞
前に説明したとおり，ドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。
本発明によれば，上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。例えば有意情報と改善情報とは，それらの空間周波数位置によって符号化することができる。これはまた，Ｈ．２６４に規定された係数走査順でもある。全フレーム（又はＨ．２６４のスライス）についてブロックは依然巡回方式で符号化することができる。したがって，第１ブロックの第１係数を符号化した後，第２ブロックの第１係数が符号化される。符号化は第３ブロック等へ移行する。現スライスにおける各ブロックの第１係数が符号化されると，第１ブロックに戻り第２係数を符号化し，第２ブロックの第２係数を符号化し，第３ブロック等へ移行する。各ブロック内のすべての係数が符号化されるまで，このような処理が続く。
現行の巡回ブロック符号化方法と比べて，本発明による方法は符号化順を変更している。どのように有意係数・非有意係数を符号化するか，又はどのように既に有意な係数を改善するかについては変更はない。現在符号化する予定の非有意係数があるとき，この係数を符号化するステップは，ブロック端（ｅｎｄ−ｏｆ−ｂｌｏｃｋ）記号又は有意係数が後に続く一連の非有意係数を符号化するステップであってもよい。どちらのときも，走査経路に沿って符号化された非有意係数及び有意係数をすべて「復号済み」と記すことによって，後で符号化する係数に既に印が付けられているときは，何も符号化しないで単に処理を次のブロックへ移行する。
図４は，ＦＧＳ層におけるブロックの例を示す図である。この図において矢印は走査順を示す。このブロックにおいて，それぞれ走査位置７及び１０の（走査インデクスは０から始まる），網掛けされた２つの係数は，前の層（すなわち基本層）において有意になったものである。これらは現ＦＧＳ層における改善係数である。位置１及び１１の係数は，現ＦＧＳ層において有意になる。ここでスライスの符号化には１６サイクルかかるものとし，各サイクルにおいて各ブロック内の対応する空間周波数位置にある係数が符号化される。したがって第１サイクルにおいて，位置０及び１の係数が符号化される。第２サイクルにおいては，位置１の係数は既に「復号済み」と記されているので，このブロックからはどの情報も符号化する必要はない。第３サイクルにおいて，位置２から１１の係数が符号化される。サイクル４，５，６，７においては，このブロックからはどの情報も符号化する必要はない。サイクル８において，位置７の係数が改善される。サイクル９，１０においては，このブロックについてどの情報も符号化されない。サイクル１１において，位置１０の係数が改善される。サイクル１２においては，どの情報も符号化されない。サイクル１３においてブロック端記号が符号化される。その後，サイクル１４，１５，１６においてはどの情報も符号化されない。
このような符号化順は，次の擬似コードによって表すことができる。
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度（ｌｕｍａ）係数が復号されていないとき
現輝度係数が改善係数でないとき
非零輝度係数及び先行する零係数を復号
そうでなければ
現輝度係数の改善情報を復号
現色度（ｃｈｒｏｍａ）係数が復号されていないとき
現色度係数が改善係数でないとき
非零色度係数及び先行する零係数を復号
そうでなければ
現色度係数の改善情報を復号
上記擬似コードにおいて，ｌｕｍａは輝度を表し，ｃｈｒｏｍａは色度を表す。色度セクションは，実際にはＣｂ，Ｃｒそれぞれの色度成分について実行される。一方，輝度走査インデクスと，色度走査インデクスとは同期していなくてもよいことに注意されたい。現行の巡回ブロック符号化に類似して，輝度の符号化は色度の符号化より数サイクル早く始めてもよい。
＜復号器指向２ループ構造のＦＧＳエントロピ符号化＞
上述のとおり，復号器指向２ループ構造は944-001.177-2に開示されている。図３に示すとおりこの構造は，複数のＦＧＳ層を符号化する簡単で効率のよい解決方法を提供する。この構造によれば，第１ＦＧＳ層の予測は，その参照フレームの第１ＦＧＳ層及び原フレームの再構築された基本層双方から形成される。
このＦＧＳ符号化方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。
図３の第２ＦＧＳ層について，この層の改善係数は２つの範ちゅうに分類される。第１範ちゅうは，離散基本層において有意になった係数を含む。第２範ちゅうは，離散基本層では有意でなかったが，第１ＦＧＳ層で有意になった係数を含む。第２ＦＧＳ層の予測値は離散基本層及び第２ＦＧＳ層から形成されるので，第１範ちゅうの改善情報はドリフトの影響をおよぼさない。しかし第２範ちゅう係数の改善情報は，ドリフトの影響をおよぼすことがある。このような状況は，第３ＦＧＳ層についても真である。この場合，第１範ちゅうは，離散基本層において有意でなかった係数を依然として含む。第２範ちゅうは，離散基本層では有意でなかったが，第１ＦＧＳ層又は第２ＦＧＳ層のいずれかで有意になった係数を含む。
このような分析に基づいて，図３に示す符号化構造を用いるとき第２ＦＧＳ層及び第３ＦＧＳ層を符号化するための特別なＦＧＳエントロピ符号化器を設計することができる。このエントロピ符号化器は画像品質を向上させることを補助するだけであり，いかなるドリフトの影響ももたらさないので，各ブロックの第１範ちゅう係数の改善情報を最初に符号化することができ，誤差係数はそれらの空間周波数位置によって符号化される。ここでも各ブロックの情報はブロック巡回方式で符号化される。
このような符号化順は次の擬似コードによって表すことができる。
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度係数が第１範ちゅう係数のとき
現輝度係数の改善情報を復号
現色度係数が第１範ちゅう係数のとき
現色度係数の改善情報を復号
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度係数が復号されていないとき
現輝度係数が改善係数でないとき
非零輝度係数及び先行する零係数を復号
そうでないとき
現輝度係数の改善情報を復号
現色度係数が復号されていないとき
現色度係数が改善係数でないとき
非零色度係数及び先行する零係数を復号
そうでないとき
現視輝度係数の改善情報を復号
ここでも上記擬似コードにおいて，色度セクションは実際には，Ｃｂ色度成分及びＣｒ色度成分それぞれについて実行される。
＜ブロック制限符号化経路を有するＦＧＳエントロピ符号化＞
ＦＧＳエントロピ符号化は，次に掲げる擬似コードによって設計することもできる。
復号する値が残っている間
各ブロックについて
このブロックの輝度について，有意経路が完了していないとき
１つの非零輝度係数及び先行する零係数を復号
そうでなければ
次の輝度係数の改善情報を復号
このブロックの色度について，有意経路が完了していないとき
１つの非零色度係数及び先行する零係数を復号
そうでなければ
次の色度係数の改善情報を復号
擬似コードから，この方法における有意符号化経路はブロック内に制限されていることが分かる。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。この方法によれば，あるブロックの改善情報を同一色成分の別のブロックの有意情報より前に符号化することができる。これと対比して巡回ブロック符号化方法においては，ある色成分の改善情報は，スライス内のすべてのブロックの有意情報が符号化されるまで符号化されない。このようにある程度まで，このようなブロック制限符号化経路を有するＦＧＳエントロピ符号化は，ＦＧＳフレーム（又はスライス）の有意情報及び改善情報のインタリーブ符号化も提供することができる。
＜ＦＧＳ符号化器の概要＞
図５及び６は本発明のＦＧＳ符号化器及び復号器のブロック図であって，基本層に依存して参照ブロックが形成される。これらのブロック図においてはただ１つのＦＧＳ層が示されている。１ＦＧＳ層の構造から複数ＦＧＳ層を有する構造へ拡張することは簡単であることを理解されたい。
ブロック図から分かるように，ＦＧＳ符号化器は追加の「参照ブロック形成モジュール」を備えた２ループ映像符号化器である。
図７は本発明の実施例による典型的移動体デバイスを描いた図である。図７に示す移動体デバイス１０は，セルラデータ音声通信が可能である。本発明は，複数の別個の実施例を代表するこの特定実施例に限定されるものではないことに注意されたい。移動体デバイス１０は，（主）マイクロプロセッサ又はマイクロコントローラ１００，及び移動体デバイスの動作を制御するマイクロプロセッサに関連するコンポーネントを含む。これらのコンポーネントは，ディスプレイモジュール１３５に接続したディスプレイコントローラ１３０と，不揮発性メモリ１４０と，ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ１５０と，マイクロホン１６１，スピーカ１６２及び／又はヘッドセット１６３に接続した音声入出力（Ｉ／Ｏ）インタフェース１６０と，キーパッド１７５又はキーボードに接続したキーパッドコントローラ１７０と，任意の補助入出力（Ｉ／Ｏ）インタフェース２００と，短距離通信インタフェース１８０と，を含む。このようなデバイスはまた，１９０に一般化して示すほかのデバイスサブシステムも通常含む。
移動体デバイス１０は音声ネットワークを介して通信してもよいし，及び／又は例えばデジタルセルラネットワーク，特にＧＳＭ（世界移動体通信システム）又はＵＭＴＳ（はん用移動体通信システム）の形態の任意の公衆地上移動体ネットワーク（ＰＬＭＮ）のようなデータネットワークを介して同様に通信してもよい。通常，音声及び／又はデータ通信は，無線インタフェース，すなわち（上記の）更なるコンポーネントと協働して，セルラネットワーク基盤設備の無線接続ネットワーク（ＲＡＮ）の一部である基地局（ＢＳ）又はノードＢ（図示していない）との通信インタフェースサブシステムを介して運用される。図７に簡略に描いたセルラ通信インタフェースは，セルラインタフェース１１０と，デジタル信号処理装置（ＤＳＰ１２０と，受信器（ＲＸ）１２１と，送信器（ＴＸ）１２２と，１又は複数の局部発振器（ＬＯ）１２３と，を備え，１又は複数の公衆地上移動体ネットワーク（ＰＬＭＮ）との通信を可能にする。デジタル信号処理装置（ＤＳＰ）１２０は，通信信号１２４を送信器（ＴＸ）１２２へ送信し，受信器（ＲＸ）１２１から通信信号１２５を受信する。通信信号の処理に加えて，デジタル信号処理装置１２０は受信器制御信号１２６及び送信器制御信号１２７も供給する。例えば，送信信号の変調及び受信信号の復調のほかに，デジタル信号処理装置（ＤＳＰ）１２０に実装した自動利得制御アルゴリズムによって，受信器（ＲＸ）１２１及び送信器（ＴＸ）１２２において通信信号に適用する利得レベルを適応的に制御することができる。送受信器１２１，１２２のより高度な制御を提供するために，デジタル信号処理装置（ＤＳＰ）１２０にほかの送受信器制御アルゴリズムも実装することができる。ＰＬＭＮを介する移動体デバイス１０の通信が単一周波数又は近接した一組の周波数で行われるときは，送信器（ＴＸ）１２２及び受信器（ＲＸ）１２１に関連して単一の局部発振器（ＬＯ）１２３を用いてもよい。あるいは，音声通信とデータ通信，又は送信と受信で異なる周波数を用いるときは，多数の対応する周波数を発生させるために多数の局部発振器を用いてもよい。図７に描いた移動体デバイス１０は，ダイバシチアンテナシステム（図示していない）である，又はそれを用いたアンテナ１２９を用いるが，移動体デバイス１０は信号受信及び信号送信に単一アンテナ構造を用いてもよい。音声情報及びデータ情報を含む情報は，データリンクを介してセルラインタフェース１１０とデジタル信号処理装置（ＤＳＰ）１２０との間を伝送される。周波数帯域，コンポーネント選択，電力レベル，などのようなセルラインタフェース１１０の詳細設計は，移動体デバイス１０を運用しようとする無線ネットワークに依存する。
セルラネットワークにおける登録に必要な加入者識別情報モジュール（ＳＩＭ）２１０が関係することがある，必要なネットワーク登録又は活性化手続が完了したあと，移動体デバイス１０は無線ネットワークを介して音声信号及びデータ信号双方を含む通信信号を送信し，受信することができる。無線ネットワークからアンテナ１２９で受信した信号は受信器１２１に配信され，受信器は信号増幅と，周波数ダウンコンバートと，ろ波と，チャネル選択と，アナログデジタル変換と，のような操作を提供する。受信信号をアナログデジタル変換することによって，例えばデジタル信号処理装置（ＤＳＰ）１２０を用いて，デジタル復調及び復号のようなより複雑な通信機能が可能になる。類似した方法で，ネットワークへ送信する信号に，例えばデジタル信号処理装置（ＤＳＰ）１２０を用いて，変調及び符号化を含む処理を行い，デジタルアナログ変換と，周波数アップコンバートと，ろ波と，増幅と，アンテナ１２９を介した無線ネットワークへの送信と，のために送信器１２２へ供給する。
マイクロプロセッサ又はマイクロコントローラ（μＣ）１１０は，デバイスプラットホームマイクロプロセッサとも呼ばれ，移動体デバイス１０の機能を管理する。マイクロプロセッサ１１０が用いるオペレーティングシステムソフトウェア１４９は，不揮発性メモリ１４０のような永続記憶装置に記憶することが好ましい。不揮発性メモリは，例えばフラッシュメモリ，バッテリ支援ＲＡＭ，任意のほかの不揮発性記憶技術，又はそれらの任意の組合せによって実現できる。移動体デバイス１０の低レベル機能及び（グラヒックの）基本ユーザインタフェース機能を制御するオペレーティングシステム１４９に加え，不揮発性メモリ１４０は音声通信ソフトウェアアプリケーション１４２，データ通信ソフトウェアアプリケーション１４１，オーガナイザモジュール（図示していない），又は任意のほかの種類のソフトウェアモジュール（図示していない）のような多数の高レベルソフトウェアアプリケーションのプログラム又はモジュールを含む。これらのモジュールはマイクロプロセッサ１００によって実行され，移動体デバイス１０のユーザと移動体デバイス１０との間の高レベルインタフェースを提供する。通常このインタフェースは，ディスプレイコントローラ１３０が制御するディスプレイ１３５を介して提供されるグラヒックコンポーネントと，キーパッドコントローラ１７０を介してマイクロプロセッサ１００に接続したキーパッド１７５を介して提供される入出力コンポーネントと，補助入出力（Ｉ／Ｏ）インタフェース２００と，及び／又は短距離（ＳＲ）通信インタフェース１８０と，を含む。補助Ｉ／Ｏインタフェース２００は，特にＵＳＢ（はん用直列バス）インタフェースと，直列インタフェースと，ＭＭＣ（マルチメディアカード）インタフェース及び関連インタフェース技術又は標準と，任意のほかの標準又は独自のデータ通信バス技術と，を備え，一方短距離通信インタフェースの無線周波（ＲＦ）低電力インタフェースは，特にＷＬＡＮ（無線構内ネットワーク）及びＢｌｕｅｔｏｏｔｈ（登録商標）通信技術，又はＩｒＤＡ（赤外線データ協会）インタフェースを含む。ここで用いるＲＦ低電力インタフェース技術とは，特に任意のＩＥＥＥ８０１．ｘｘ標準技術を含むものと理解することが望ましい。ＩＥＥＥ８０１．ｘｘ標準技術の説明は，米国電気電子学会から取得できる。更に補助Ｉ／Ｏインタフェース２００及び短距離通信インタフェース１８０はそれぞれ，１又は複数の入出力インタフェース技術に対応する１又は複数のインタフェース及び通信インタフェース技術を表す。オペレーティングシステム，特定デバイスソフトウェアアプリケーション又はモジュール，若しくはそれらの一部は，ランダムアクセスメモリ（通常高速動作のためＤＲＡＭ（ダイナミックランダムアクセスメモリ）技術によって実現される）のような揮発性記憶装置１５０に一時的にロードしてもよい。更に受信した通信信号も，不揮発性メモリ１４０又は着脱可能であることが好ましいデータ記憶のための補助Ｉ／Ｏインタフェースを介して接続された任意の大容量記憶装置に永続的に書き込む前に，一時的に揮発性メモリ１５０に記憶してもよい。上述の各コンポーネントは，ここでは携帯電話機の形態で実現された従来の移動体デバイス１０の典型的なコンポーネントを表すものであることを理解されたい。本発明は，単に例示及び完全性のために示したこれら特定のコンポーネント及びその実装に限定されるものではない。
移動体デバイス１０の例示ソフトウェアアプリケーションモジュールは，電話帳管理と，カレンダと，スケジュール管理と，その類似物と，を通常含むＰＤＡ機能を提供するパーソナル情報管理アプリケーションである。このようなパーソナル情報管理アプリケーションはマイクロプロセッサ１００によって実行され，移動体デバイス１０の各コンポーネントにアクセスでき，ほかのソフトウェアアプリケーションモジュールと対話することができる。例えば，音声通信ソフトウェアアプリケーションと対話することによって，電話呼，音声メールなどを管理することができ，またデータ通信ソフトウェアアプリケーションと対話することによって，ＳＭＳ（ショートメッセージサービス）と，ＭＭＳ（マルチメディアメッセージサービス）と，電子メール通信と，ほかのデータ送信と，を管理することができる。不揮発性メモリ１４０は，特にカレンダ項目，連絡先，などを含む移動体デバイス上のデータ項目の永続記憶を実現するために，ファイルシステムを提供することが好ましい。例えばセルラインタフェース，短距離通信インタフェース又は補助Ｉ／Ｏインタフェースを介したネットワークとのデータ通信能力によって，そのようなネットワークを介したアップロードと，ダウンロードと，同期と，が可能になる。
アプリケーションモジュール１４１〜１４９は，プロセッサ１００が実行するように構成されたデバイス機能又はソフトウェアアプリケーションを表している。ほとんどの既知の移動体デバイスにおいては，移動体デバイスの全体動作並びにすべてのデバイス機能及びソフトウェアアプリケーションを単一プロセッサが管理制御している。このような思想は，今日の移動体デバイスにも当てはまる。強化マルチメディア機能実装は，例えば映像ストリーミングアプリケーションの再生と，デジタル画像の操作と，統合された，又は着脱可能のデジタルカメラ機能によってキャプチャされた映像シーケンスと，を含む。この実装はまた，計算能力要求条件を増加させる高度なグラヒックを有するゲームアプリケーションも含む。計算能力要求条件に対処する１つの方法は過去に追求されたものであるが，強力かつはん用のプロセッサコアを実装することによって計算能力を向上させる課題を解決するというものである。計算能力を提供するもう１つの方法は，２を超える独立プロセッサコアを実装するものであり，これは当業において周知の方法である。数個の独立プロセッサコアを用いる利点は，当業者であれば直ちに理解することができる。はん用プロセッサは，予め選択した別個のタスクに特化することなく，複数の別個のタスクを実行するように設計されているが，マルチプロセッサ構成は，１又は複数のはん用プロセッサ及び所定のタスク集合を処理するようにした１又は複数の特定プロセッサを含んでもよい。それにもかかわらず，１つのデバイス，特に移動体デバイス１０のような移動体デバイス内に数個のプロセッサを実装することは，従来はコンポーネントの完全かつ高度な再設計を必要とした。
以降，追加プロセッサコアを既存の処理デバイス実装に単純に統合して，高価な完全かつ高度な再設計を不要にできる本発明の思想を示す。この発明の思想を，チップ上システム（ＳｏＣ）設計に関連して説明する。ＳｏＣは，処理デバイスの少なくとも多数の（又はすべての）コンポーネントを単一の高集積チップに集積するという思想である。このようなＳｏＣは，デジタルと，アナログと，混合信号と，そしてしばしば無線周波機能と，をすべて１チップ上に含むことができる。典型的処理デバイスは，種々のタスクを実行するいくつかの集積回路を含む。これらの集積回路は，特にマイクロプロセッサと，メモリと，はん用非同期送受信器（ＵＡＲＴ）と，直列又は並列ポートと，直接メモリアクセス（ＤＭＡ）コントローラと，その類似物と，を含んでもよい。ＵＡＲＴは並列データビットと直列データビットとを変換する。最近の半導体技術における改善によって，超大規模集積回路（ＶＬＳＩ）が複雑度の大きな発展を可能にし，システムの多くのコンポーネントを単一チップに集積できるようになった。図７を参照すれば，その１又は複数のコンポーネント，例えばコントローラ１３０及び１６０と，メモリコンポーネント１５０及び１４０と，１又は複数のインタフェース２００，１８０及び１１０とを，マイクロプロセッサ１００と共に，最終的にＳｏＣを成す単一チップに集積できる。
更に上記移動体デバイス１０は，本発明の進歩した動作による映像データスケーラブル符号化モジュール１０５及び映像データスケーラブル復号モジュール１０６を備える。ＣＰＵ１００によって，上記モジュール１０５，１０６は個々に用いてもよい。しかし上記移動体デバイス１０は，映像データ符号化及び映像データ復号をそれぞれ実行するようになっている。上記映像データは，移動体デバイスの通信モジュールによって受信してもよいし，移動体デバイス１０内の任意の考えうる記憶手段内に記憶してもよい。
まとめると，本発明はＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きな影響を与えることがある。本発明は，このようなドリフトの影響を解決し，又は大きく軽減して，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数配置を用いたＦＧＳエントロピ符号化と，復号器指向２ループ構造のＦＧＳエントロピ符号化と，ブロック限定符号化経路を有するＦＧＳエントロピ符号化と，である。第１方法におけるドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。したがって上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。第２方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。第３方法によれば，有意符号化経路はブロック内に限定される。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。
したがって本発明は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するステップと，
を有する。
本発明はまた，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するステップと，
を有する。
本発明によれば，符号化又は復号における選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いるか，又は上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように実行される。変換係数が離散基本層において有意であった改善係数及び誤差係数を含むとき，各ブロックからの上記選択ステップは，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように実行される。
本発明は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この符号化器は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，上記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて上記変換係数サブセットを選択するか，上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように各ブロックから変換係数サブセットを選択するか，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように各ブロックから上記変換係数を選択するようになっている。
本発明は更に，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この復号器は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備える。
上述の符号化方法及び復号方法は，スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品において実現することができ，上記ソフトウェアアプリケーションは上述の符号化方法又は復号方法を実行するプログラムコードを有する。
上述の符号化器及び復号器は移動体端末のように電子デバイスにおいて実現することができる。
このように本発明を１又は複数の実施例に関して説明したが，当業者であれば，形態及び詳細において，上述の及び種々のほかの変更と，省略と，修正とが本発明の範囲から逸脱することなく可能であることを理解するであろう。
ＦＧＳ層における時間予測を伴わない細粒度スケーラビリティを示す図である。 ＦＧＳ層における時間予測を伴う細粒度スケーラビリティを示す図である。 ＦＧＳ層における時間予測を伴う細粒度スケーラビリティ（部分２ループ構造）を示す図である。 ＦＧＳ層のブロックを示す図である。 基本層依存の参照ブロック選択を有するＦＧＳ符号化器を示す図である。 基本層依存の参照ブロック選択を有するＦＧＳ復号器を示す図である。 本発明によるスケーラブル符号化器及びスケーラブル復号器のうち少なくとも１つを備える電子デバイスを示す図である。

Claims (20)

  1. 画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
    前記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
    所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するステップと，
    各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
    前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するステップと，
    を特徴とする方法。
  2. 前記選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いることを特徴とする請求項１に記載の方法。
  3. 各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項１に記載の方法。
  4. 前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項１に記載の方法。
  5. 画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
    前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するステップと，
    所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するステップと，
    各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
    前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するステップと，
    を特徴とする方法。
  6. 前記選択ステップは，少なくともブロック内の各係数の空間周波数位置を用いることを特徴とする請求項５に記載の方法。
  7. 各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項５に記載の方法。
  8. 前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項５に記載の方法。
  9. 画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
    前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
    所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
    各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
    前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
    を特徴とする符号化器。
  10. 前記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて前記変換係数サブセットを選択するようになっていることを特徴とする請求項９に記載の符号化器。
  11. 前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するようになっていることを特徴とする請求項９に記載の符号化器。
  12. 前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項９に記載の符号化器。
  13. 画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
    前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
    所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
    各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
    前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
    を特徴とする復号器。
  14. 前記選択モジュールは，少なくともブロック内の各係数の空間周波数位置を用いて前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
  15. 前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
  16. 前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
  17. スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，前記ソフトウェアアプリケーションは請求項１に記載の方法を実行するプログラムコードを有するソフトウェアアプリケーション製品。
  18. スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，前記ソフトウェアアプリケーションは請求項５に記載の方法を実行するプログラムコードを有するソフトウェアアプリケーション製品。
  19. 電子デバイスであって，
    画像データ内に含まれるデジタル映像シーケンスを符号化及び復号する際に用いる符号化器及び復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
    前記符号化器は
    前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
    所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
    各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択するモジュールと，
    前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
    を備え，
    前記復号器は
    前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
    所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
    各サイクルにおいて，前記多数ブロックのそれぞれから復号する変換係数サブセットを選択するモジュールと，
    前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
    を備えることを特徴とする電子デバイス。
  20. 移動体端末を備える請求項１９に記載の電子デバイス。
JP2008549943A 2006-01-09 2007-01-09 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置 Pending JP2009522973A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US75774506P 2006-01-09 2006-01-09
US76316406P 2006-01-26 2006-01-26
PCT/IB2007/000051 WO2007080486A2 (en) 2006-01-09 2007-01-09 Method and apparatus for entropy coding in fine granularity scalable video coding

Publications (1)

Publication Number Publication Date
JP2009522973A true JP2009522973A (ja) 2009-06-11

Family

ID=38256680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549943A Pending JP2009522973A (ja) 2006-01-09 2007-01-09 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置

Country Status (6)

Country Link
US (1) US20070201550A1 (ja)
EP (1) EP1977603A2 (ja)
JP (1) JP2009522973A (ja)
KR (1) KR20080089632A (ja)
TW (1) TW200731806A (ja)
WO (1) WO2007080486A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007107855A2 (en) * 2006-03-21 2007-09-27 Nokia Corporation Fine grained scalability ordering for scalable video coding
DE602007008730D1 (de) * 2006-07-13 2010-10-07 Qualcomm Inc Videokodierung mit feinkörniger skalierbarkeit anhand von zyklisch ausgerichteten fragmenten
WO2008007929A1 (en) * 2006-07-14 2008-01-17 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
US9445093B2 (en) * 2011-06-29 2016-09-13 Qualcomm Incorporated Multiple zone scanning order for video coding
KR102447521B1 (ko) 2012-10-01 2022-09-26 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274406A (ja) * 2002-03-18 2003-09-26 Kddi Research & Development Laboratories Inc 画像符号化装置およびこれを利用した動画像符号化装置
JP2003535496A (ja) * 2000-05-08 2003-11-25 シーメンス アクチエンゲゼルシヤフト 画像シーケンスを符号化する方法または復号する方法および装置
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Ｆｇｓ／ｐｆｇｓビデオビットストリームのパケット化
JP2005079953A (ja) * 2003-09-01 2005-03-24 Nippon Telegr & Teleph Corp <Ntt> 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269192B1 (en) * 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
US6778709B1 (en) * 1999-03-12 2004-08-17 Hewlett-Packard Development Company, L.P. Embedded block coding with optimized truncation
US6567081B1 (en) * 2000-01-21 2003-05-20 Microsoft Corporation Methods and arrangements for compressing image-based rendering (IBR) data using alignment and 3D wavelet transform techniques
US7023922B1 (en) * 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
CN1266649C (zh) * 2000-09-12 2006-07-26 皇家菲利浦电子有限公司 视频编码方法
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535496A (ja) * 2000-05-08 2003-11-25 シーメンス アクチエンゲゼルシヤフト 画像シーケンスを符号化する方法または復号する方法および装置
JP2003274406A (ja) * 2002-03-18 2003-09-26 Kddi Research & Development Laboratories Inc 画像符号化装置およびこれを利用した動画像符号化装置
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Ｆｇｓ／ｐｆｇｓビデオビットストリームのパケット化
JP2005079953A (ja) * 2003-09-01 2005-03-24 Nippon Telegr & Teleph Corp <Ntt> 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2007080486A3 (en) 2007-10-18
US20070201550A1 (en) 2007-08-30
WO2007080486A2 (en) 2007-07-19
TW200731806A (en) 2007-08-16
EP1977603A2 (en) 2008-10-08
KR20080089632A (ko) 2008-10-07

Similar Documents

Publication Publication Date Title
RU2377735C2 (ru) Способ, устройство и система для эффективного кодирования и декодирования видеоданных
KR20080085199A (ko) 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치
KR20090133126A (ko) 모션 벡터 예측을 위한 방법 및 시스템
KR20080006607A (ko) 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
US20070110159A1 (en) Method and apparatus for sub-pixel interpolation for updating operation in video coding
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
US20060256863A1 (en) Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
EP1908292A1 (en) Method and apparatus for update step in video coding using motion compensated temporal filtering
KR100931871B1 (ko) 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템
JP2009522973A (ja) 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置
KR101289514B1 (ko) 인코딩 방법 및 인코더 장치
CN101390398A (zh) 用于精细粒度可伸缩视频编码中的熵编码的方法和装置
US8121422B2 (en) Image encoding method and associated image decoding method, encoding device, and decoding device
US20080199087A1 (en) Scalable Method For Encoding a Series of Original Images, and Associated Image Encoding Method, Encoding Device and Decoding Device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018