JP2003125406A - 有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステム - Google Patents
有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステムInfo
- Publication number
- JP2003125406A JP2003125406A JP2001291642A JP2001291642A JP2003125406A JP 2003125406 A JP2003125406 A JP 2003125406A JP 2001291642 A JP2001291642 A JP 2001291642A JP 2001291642 A JP2001291642 A JP 2001291642A JP 2003125406 A JP2003125406 A JP 2003125406A
- Authority
- JP
- Japan
- Prior art keywords
- trellis
- mode
- decision
- stage
- dependency graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
(57)【要約】
【課題】 ビデオ符号化のためのモード選択の最適化手
法を提供する。 【解決手段】 決定のシーケンスは、被依存ブロックを
指している依存ブロックを有する有向性非周期的な依存
グラフで表すことができる。依存グラフは、逆のトポロ
ジー順序で番号をつけられ、ステート遷移図、トレリス
は、逆トポロジー的に順序づけられた依存グラフから造
られる。トレリスを通る最小コストの経路が最適の決定
モードを規定する。トレリスは、左から右の順で依存グ
ラフにあるのと同数のステージを含む。トレリスの各ス
テージは、決定のためのモード集合のカージナル数およ
びステージがその右側での決定のために記憶しておく必
要のあるステージの左側の決定の数に対応する数のステ
ートを有する。
法を提供する。 【解決手段】 決定のシーケンスは、被依存ブロックを
指している依存ブロックを有する有向性非周期的な依存
グラフで表すことができる。依存グラフは、逆のトポロ
ジー順序で番号をつけられ、ステート遷移図、トレリス
は、逆トポロジー的に順序づけられた依存グラフから造
られる。トレリスを通る最小コストの経路が最適の決定
モードを規定する。トレリスは、左から右の順で依存グ
ラフにあるのと同数のステージを含む。トレリスの各ス
テージは、決定のためのモード集合のカージナル数およ
びステージがその右側での決定のために記憶しておく必
要のあるステージの左側の決定の数に対応する数のステ
ートを有する。
Description
【０００１】
【発明の属する技術分野】本発明はビデオ符号化の最適
化に関し、より具体的には、ビデオ符号化に対する有向
性非周期のグラフに基づくモード最適化フレームワーク
に関する。
化に関し、より具体的には、ビデオ符号化に対する有向
性非周期のグラフに基づくモード最適化フレームワーク
に関する。
【０００２】
【従来の技術】ビデオ符号化は、しばしばゆるく依存す
るある長さNの一連の選択決定Miを含む。それぞれの決
定Miは、カージナル数Ｋのモード集合m =｛m1、…、
mK｝からモードを単に選択することである。ゆるく依存
するとは、各々の選択Miに関連するコストCiがMiおよび
依存決定の小さい副集合hi =｛Mj,Mp....｝に直接依存
することを意味する。最適化問題は、次式で表すことが
できるこれらのコストCiの和を最小にする選択の最適シ
ーケンスＭ = [M1, ..., MN]を見つけることである。こ
のクラスの最適化問題を解決する一般的なフレームワー
クが、対応する最適化フレームワークである。
るある長さNの一連の選択決定Miを含む。それぞれの決
定Miは、カージナル数Ｋのモード集合m =｛m1、…、
mK｝からモードを単に選択することである。ゆるく依存
するとは、各々の選択Miに関連するコストCiがMiおよび
依存決定の小さい副集合hi =｛Mj,Mp....｝に直接依存
することを意味する。最適化問題は、次式で表すことが
できるこれらのコストCiの和を最小にする選択の最適シ
ーケンスＭ = [M1, ..., MN]を見つけることである。こ
のクラスの最適化問題を解決する一般的なフレームワー
クが、対応する最適化フレームワークである。
【０００３】
【数１】
【０００４】最初にこのフレームワークの2つの実世界
での応用を議論する。この最適化フレームワークの1つ
の応用は、マクロブロックのモード選択問題である。MP
EG 1/2/4およびH.263のような多くの人気があるビデオ
符号化標準は、分割/マルチ・モード方法を使用し、そ
こではビデオ・フレームは最初にマクロブロックと呼ば
れる多数の区画に分割され、マクロブロックは予め定め
られた順序で順番に符号化される。各々のマクロブロッ
クのための符号化方法はそのモードに依存し、このモー
ドはモード集合から選ばれる。各モードは、特定のタイ
プのシーン活動をモデル化する。
での応用を議論する。この最適化フレームワークの1つ
の応用は、マクロブロックのモード選択問題である。MP
EG 1/2/4およびH.263のような多くの人気があるビデオ
符号化標準は、分割/マルチ・モード方法を使用し、そ
こではビデオ・フレームは最初にマクロブロックと呼ば
れる多数の区画に分割され、マクロブロックは予め定め
られた順序で順番に符号化される。各々のマクロブロッ
クのための符号化方法はそのモードに依存し、このモー
ドはモード集合から選ばれる。各モードは、特定のタイ
プのシーン活動をモデル化する。
【０００５】例えば、H.263の場合、映画は一連のＩフ
レームすなわちＩピクチャまたはPフレームすなわちPピ
クチャにより表される。Ｉフレームは、いわゆるフレー
ム内符号化（Intra-Frame Coding）によって符号化さ
れ、P-フレームは、いわゆるフレーム間符号化（Inter-
Frame Coding）によって符号化される。
レームすなわちＩピクチャまたはPフレームすなわちPピ
クチャにより表される。Ｉフレームは、いわゆるフレー
ム内符号化（Intra-Frame Coding）によって符号化さ
れ、P-フレームは、いわゆるフレーム間符号化（Inter-
Frame Coding）によって符号化される。
【０００６】Ｉフレームは他のフレームとは独立に符号
化され、Ｉフレームの全てのマクロブロックは予め定め
られたシーケンスでそれぞれフレーム内符号化モードで
符号化される。フレーム内符号化モードは、マクロブロ
ックの内容が他のマクロブロックとは独立に符号化さ
れ、それゆえに他のマクロブロックへの依存性をもたな
いことを意味する。
化され、Ｉフレームの全てのマクロブロックは予め定め
られたシーケンスでそれぞれフレーム内符号化モードで
符号化される。フレーム内符号化モードは、マクロブロ
ックの内容が他のマクロブロックとは独立に符号化さ
れ、それゆえに他のマクロブロックへの依存性をもたな
いことを意味する。
【０００７】Pフレームの場合、それぞれのマクロブロ
ックは、4つのモードのうちの1つで符号化される。すな
わち、フレーム内符号化、フレーム間符号化、スキップ
（Skip）およびインター4（Inter-4）である。Ｐフレー
ムのためのフレーム内符号化モードは、Ｉフレームのた
めのフレーム内符号化モードと同じである。フレーム間
符号化モードでは、フレームtおよび場所（i,j）のマク
ロブロックXt(i,j)の内容は、先ず前のフレームt-1から
マクロブロックXt-1(s,t)の内容を使用して推定され
る。X t-1(s,t)の位置は、運動ベクトル（MV）（s-i、t
-j）によって、Xt(i,j)に関して特定される。推定値X
t-1(s,t)とマクロブロックXt(i,j)の実際の内容との間
のピクセル差は、フレーム内符号化モードと同様の符号
化技術を使用してイントラ符号化される。
ックは、4つのモードのうちの1つで符号化される。すな
わち、フレーム内符号化、フレーム間符号化、スキップ
（Skip）およびインター4（Inter-4）である。Ｐフレー
ムのためのフレーム内符号化モードは、Ｉフレームのた
めのフレーム内符号化モードと同じである。フレーム間
符号化モードでは、フレームtおよび場所（i,j）のマク
ロブロックXt(i,j)の内容は、先ず前のフレームt-1から
マクロブロックXt-1(s,t)の内容を使用して推定され
る。X t-1(s,t)の位置は、運動ベクトル（MV）（s-i、t
-j）によって、Xt(i,j)に関して特定される。推定値X
t-1(s,t)とマクロブロックXt(i,j)の実際の内容との間
のピクセル差は、フレーム内符号化モードと同様の符号
化技術を使用してイントラ符号化される。
【０００８】マクロブロックXt(i,j)の実際の符号化中
に、 Xt(i,j)をコンパクトなバイナリ形式で表すと、MV
自体は、ビット節減のために差分的にコード化される。
その際、3つの周囲のマクロブロックXt(i-1,j)、Xt(i-
1,j+1)、Xt(i,j-1)が存在すれば、そのMV（複数）を使
用し、予測運動ベクトル（PMV、Predicted Motion Vect
or）と呼ばれる推定MVが算出される。PMVとMVとの差だ
けが実際にコード化される。結果として、現在のマクロ
ブロックXt(i,j)とその周囲のマクロブロックXt(i-1,
j)、Xt(i-1,j+1), Xt(i,j-1)との間に依存性が存在す
る。
に、 Xt(i,j)をコンパクトなバイナリ形式で表すと、MV
自体は、ビット節減のために差分的にコード化される。
その際、3つの周囲のマクロブロックXt(i-1,j)、Xt(i-
1,j+1)、Xt(i,j-1)が存在すれば、そのMV（複数）を使
用し、予測運動ベクトル（PMV、Predicted Motion Vect
or）と呼ばれる推定MVが算出される。PMVとMVとの差だ
けが実際にコード化される。結果として、現在のマクロ
ブロックXt(i,j)とその周囲のマクロブロックXt(i-1,
j)、Xt(i-1,j+1), Xt(i,j-1)との間に依存性が存在す
る。
【０００９】スキップ・モードは、前のフレームt-1の
同じ場所のマクロブロックXt-1(i,j)が現在のフレームt
の現在のマクロブロックXt(i,j)を表すために用いら
れ、現在のマクロブロックの情報はコード化されないモ
ードである。インター４（Inter-4）は、現在のマクロ
ブロックXt(i,j)が更に4ブロックに分割され、それぞれ
について上述のフレーム間符号化モードと同様のインタ
ー符号化を実行するモードである。
同じ場所のマクロブロックXt-1(i,j)が現在のフレームt
の現在のマクロブロックXt(i,j)を表すために用いら
れ、現在のマクロブロックの情報はコード化されないモ
ードである。インター４（Inter-4）は、現在のマクロ
ブロックXt(i,j)が更に4ブロックに分割され、それぞれ
について上述のフレーム間符号化モードと同様のインタ
ー符号化を実行するモードである。
【００１０】このように、Pフレームの各々のマクロブ
ロックのための符号化方法はそのモードに依存し、この
モードは、フレーム間符号化、フレーム内符号化、スキ
ップおよびインター4から成るモード集合から選ばれ
る。Ｐフレームについて正しいモードの組を選ぶこと
は、個々にマクロブロックのための最も高い視覚品質を
与えるモードを選ぶ以上のことを意味する。
ロックのための符号化方法はそのモードに依存し、この
モードは、フレーム間符号化、フレーム内符号化、スキ
ップおよびインター4から成るモード集合から選ばれ
る。Ｐフレームについて正しいモードの組を選ぶこと
は、個々にマクロブロックのための最も高い視覚品質を
与えるモードを選ぶ以上のことを意味する。
【００１１】第１に、最高品質のモードはコード化にあ
まりに多くのビットを必要とすることがあり、それゆえ
に品質は少し低くてもビットを節約するモードが望まれ
ることがある。第２に、マクロブロックの符号化効率
は、マクロブロックの隣接したブロックのモード選択に
依存する。マクロブロック・モード選択問題は、Ｐフレ
ームの一組のマクロブロックのための符号化モードを選
ぶ問題となる。このとき、ビットレート制約を満たしな
がら視覚のひずみを最小にするために、Ｐフレームのシ
ーン活動および隣接したマクロブロックの相互依存が考
慮される。
まりに多くのビットを必要とすることがあり、それゆえ
に品質は少し低くてもビットを節約するモードが望まれ
ることがある。第２に、マクロブロックの符号化効率
は、マクロブロックの隣接したブロックのモード選択に
依存する。マクロブロック・モード選択問題は、Ｐフレ
ームの一組のマクロブロックのための符号化モードを選
ぶ問題となる。このとき、ビットレート制約を満たしな
がら視覚のひずみを最小にするために、Ｐフレームのシ
ーン活動および隣接したマクロブロックの相互依存が考
慮される。
【００１２】図1を参照すると、最適化フレームワーク
の他の応用は、いろいろな品質の異なるネットワーク・
サービスに対するビデオ・パケットのマッピングであ
る。ビデオ・パケットは、ビデオ・フレームの差分符号
化のためにしばしば互いに依存している。図1は、2つの
差分符号化ビデオ・フォーマットF1およびF2を示す。時
間t2で、例えば、フォーマットF1のビデオ・パケットP
は、時間t1のビデオ・パケットI に依存する。一方、フ
ォーマットF2のビデオ・パケットP2は時間t2のビデオ・
パケットP1および時間t1のビデオ・パケットI1およびI2
に依存する。
の他の応用は、いろいろな品質の異なるネットワーク・
サービスに対するビデオ・パケットのマッピングであ
る。ビデオ・パケットは、ビデオ・フレームの差分符号
化のためにしばしば互いに依存している。図1は、2つの
差分符号化ビデオ・フォーマットF1およびF2を示す。時
間t2で、例えば、フォーマットF1のビデオ・パケットP
は、時間t1のビデオ・パケットI に依存する。一方、フ
ォーマットF2のビデオ・パケットP2は時間t2のビデオ・
パケットP1および時間t1のビデオ・パケットI1およびI2
に依存する。
【００１３】この種の依存性が与えらると、特定のネッ
トワーク品質を介してビデオ・パケットxを送ること
は、依存しているビデオ・パケットに影響を及ぼす。問
題は、エンドツーエンドの視覚上のひずみを最小にする
ために、どのようにビデオ・パケットを異なるネットワ
ーク品質のサービス、すなわちモード・セット、にマッ
プするかである。
トワーク品質を介してビデオ・パケットxを送ること
は、依存しているビデオ・パケットに影響を及ぼす。問
題は、エンドツーエンドの視覚上のひずみを最小にする
ために、どのようにビデオ・パケットを異なるネットワ
ーク品質のサービス、すなわちモード・セット、にマッ
プするかである。
【００１４】具体性のために、最適化フレームワークの
最初の応用、マクロブロックのモード選択問題に焦点を
あてる。この問題のための関連した仕事を概説するため
に最初にマクロブロックのモード選択問題の詳細を議論
する。
最初の応用、マクロブロックのモード選択問題に焦点を
あてる。この問題のための関連した仕事を概説するため
に最初にマクロブロックのモード選択問題の詳細を議論
する。
【００１５】他のレート対ひずみ最適化問題と同様に、
マクロブロックのモード選択問題の目的は、レート制約
を条件としてひずみを最小にすることである。ひずみ距
離（distortion metric）が付加的であるとすると、モ
ード選択問題、すなわちN個のマクロブロックについて
最良のモードシーケンスＭ=[M1,...,MN]を選択する問題
は、次の式で表すことができる。ここで、各モードＭｉ
は、モード集合m = {m1,...,mK}から選択される。
マクロブロックのモード選択問題の目的は、レート制約
を条件としてひずみを最小にすることである。ひずみ距
離（distortion metric）が付加的であるとすると、モ
ード選択問題、すなわちN個のマクロブロックについて
最良のモードシーケンスＭ=[M1,...,MN]を選択する問題
は、次の式で表すことができる。ここで、各モードＭｉ
は、モード集合m = {m1,...,mK}から選択される。
【００１６】
【数２】
【００１７】Di(Ｍ)は、モード・シーケンスＭ が与え
られたとして、i番目のマクロブロックMBiの結果として
生じるひずみである。 Ri(Ｍ)は、モード・シーケンス
Ｍ が与えられたとして、MBiの結果として生じるレート
であり、Ｒｓは、フレームのレート制約である。
られたとして、i番目のマクロブロックMBiの結果として
生じるひずみである。 Ri(Ｍ)は、モード・シーケンス
Ｍ が与えられたとして、MBiの結果として生じるレート
であり、Ｒｓは、フレームのレート制約である。
【００１８】制約問題(1)は解くのが困難であるので、
従来はその代わりに次に示すラグランジュ関数を解い
た。
従来はその代わりに次に示すラグランジュ関数を解い
た。
【００１９】
【数３】
【００２０】与えられた乗数λについて、次の式(2)’
が満たされるならば、式(2)に対する最適の解ＭOがまた
式(1)の最適の解であることを証明することができる。
が満たされるならば、式(2)に対する最適の解ＭOがまた
式(1)の最適の解であることを証明することができる。
【００２１】
【数４】
【００２２】式(2)’が満足されない場合、式（１）の
不等式を満足しながら、Ｒｓの和を駆動するために適当
な値λが引き出さなければならない。ここで、近似限界
はこの和とＲｓとの数値差に関係する。適当なλを見つ
けための技術は、多くの文献で提案されている。その一
つは、T. Wiegandほかの"Rate-distortion optimizedmo
de selection for very low bit rate video coding an
d the emerging h.263 standard" CSVTについてのIEEE
トランザクション、1996年4月、第6巻、第２号である。
もう一つの文献は、G.SullivanおよびT. Wiegandの"Rat
e-distortion optimization for video compression"IE
EE SPマガジーン、1998年11月、である。
不等式を満足しながら、Ｒｓの和を駆動するために適当
な値λが引き出さなければならない。ここで、近似限界
はこの和とＲｓとの数値差に関係する。適当なλを見つ
けための技術は、多くの文献で提案されている。その一
つは、T. Wiegandほかの"Rate-distortion optimizedmo
de selection for very low bit rate video coding an
d the emerging h.263 standard" CSVTについてのIEEE
トランザクション、1996年4月、第6巻、第２号である。
もう一つの文献は、G.SullivanおよびT. Wiegandの"Rat
e-distortion optimization for video compression"IE
EE SPマガジーン、1998年11月、である。
【００２３】上記したように、MBiのひずみおよびレー
トは、大部分のビデオ符号化標準について全ての他のマ
クロブロックのモードに直接的には依存しない。特に、
H.263のＰフレームについては、もし存在するならばマ
クロブロックの3つの隣接したマクロブロックを使用し
て、各マクロブロックについて予測された運動ベクトル
PMVが最初に計算される。マクロブロックのための実際
の運動ベクトルは、こうして得られるPMVとこのマクロ
ブロックについて差分的にコード化されたベクトルとの
和である。このことは、MBiが3つの隣接したマクロブロ
ックのモード選択にだけ直接的に依存することを意味す
る。このことは、ITU-T推薦H.263「低いビット・レート
通信のためのビデオ符号化」1998年２月、において議論
されている。
トは、大部分のビデオ符号化標準について全ての他のマ
クロブロックのモードに直接的には依存しない。特に、
H.263のＰフレームについては、もし存在するならばマ
クロブロックの3つの隣接したマクロブロックを使用し
て、各マクロブロックについて予測された運動ベクトル
PMVが最初に計算される。マクロブロックのための実際
の運動ベクトルは、こうして得られるPMVとこのマクロ
ブロックについて差分的にコード化されたベクトルとの
和である。このことは、MBiが3つの隣接したマクロブロ
ックのモード選択にだけ直接的に依存することを意味す
る。このことは、ITU-T推薦H.263「低いビット・レート
通信のためのビデオ符号化」1998年２月、において議論
されている。
【００２４】上述のT. Wiegand他の文献、および”Comb
ined mode selection and macroblock quantization st
ep adaptation for the h.263 video encoder"、D. Muk
herjeeおよびS. Mitra、ＩＣＩＰ、1997は、この依存が
あまりに複雑であるとして、最適化を容易にするために
次のような単純化の仮定を行った。MBiのレートおよび
ひずみは多くとも1つの他のマクロブロックのモードに
だけ依存し、それは典型的には左に隣接するマクロブロ
ックである。この仮定を用い、マクロブロックは左から
右、上から下に番号をつけられるとすると、式(2)は次
のように単純化される。
ined mode selection and macroblock quantization st
ep adaptation for the h.263 video encoder"、D. Muk
herjeeおよびS. Mitra、ＩＣＩＰ、1997は、この依存が
あまりに複雑であるとして、最適化を容易にするために
次のような単純化の仮定を行った。MBiのレートおよび
ひずみは多くとも1つの他のマクロブロックのモードに
だけ依存し、それは典型的には左に隣接するマクロブロ
ックである。この仮定を用い、マクロブロックは左から
右、上から下に番号をつけられるとすると、式(2)は次
のように単純化される。
【００２５】
【数５】
【００２６】この仮定を使用する主な利点は一つの依存
関係が単に特別なステート遷移図（SD）すなわちトレリ
スにつながるということであり、そしてトレリスを通る
長さNの最小のコスト経路を見つけることによって、ビ
タビ・アルゴリズムを用いて式(3)に対する最適の解を
見つけることができることである。
関係が単に特別なステート遷移図（SD）すなわちトレリ
スにつながるということであり、そしてトレリスを通る
長さNの最小のコスト経路を見つけることによって、ビ
タビ・アルゴリズムを用いて式(3)に対する最適の解を
見つけることができることである。
【００２７】この方法が効率的であるが、依存性が単一
であるという特定のケースにだけ最適である。ビデオ符
号化においては、上記したようにマルチ依存性がマクロ
ブロックの間に存在する。
であるという特定のケースにだけ最適である。ビデオ符
号化においては、上記したようにマルチ依存性がマクロ
ブロックの間に存在する。
【００２８】もう一つの手法は、より一般的であるが、
モードの全ての組合せを検索するので計算的に高価であ
る。この方法は依存性のゆるい結合を利用することがで
きず、必要以上に高価な計算をすることになる。例え
ば、各モード選択が他の2つの選択に依存場合、二重に
依存する決定についての検索の複雑さのオーダーは、入
力のサイズにおいて指数的であり、O(KN)となる。
モードの全ての組合せを検索するので計算的に高価であ
る。この方法は依存性のゆるい結合を利用することがで
きず、必要以上に高価な計算をすることになる。例え
ば、各モード選択が他の2つの選択に依存場合、二重に
依存する決定についての検索の複雑さのオーダーは、入
力のサイズにおいて指数的であり、O(KN)となる。
【００２９】
【発明が解決しようとする課題】このように、依存が多
数のときに機能できる効率的なモード・オプティマイザ
に対する必要性がある。モード・オプティマイザは、大
変な検索と比較してかなり計算を節減するものであるこ
とが求められている。
数のときに機能できる効率的なモード・オプティマイザ
に対する必要性がある。モード・オプティマイザは、大
変な検索と比較してかなり計算を節減するものであるこ
とが求められている。
【００３０】
【課題を解決するための手段】本発明の一形態による
と、データの一連のブロックに関して一連の決定を必要
とするビデオ符号化のためのモード選択を最適化する方
法が提供される。この種の決定の各々は、モードの集合
から選ばれる。決定のシーケンスは、被依存ブロックを
指している依存ブロックを有する有向性非周期的な依存
グラフで表すことができる。依存グラフは、逆のトポロ
ジー順序で番号をつけられ、ステート遷移図（トレリ
ス）は、逆トポロジー的に順序づけられた依存グラフか
ら造られる。トレリスを通る最小コストの経路が決定さ
れ、それはそれぞれのブロックでモードの集合から選ば
れる最適の決定モードを規定する。
と、データの一連のブロックに関して一連の決定を必要
とするビデオ符号化のためのモード選択を最適化する方
法が提供される。この種の決定の各々は、モードの集合
から選ばれる。決定のシーケンスは、被依存ブロックを
指している依存ブロックを有する有向性非周期的な依存
グラフで表すことができる。依存グラフは、逆のトポロ
ジー順序で番号をつけられ、ステート遷移図（トレリ
ス）は、逆トポロジー的に順序づけられた依存グラフか
ら造られる。トレリスを通る最小コストの経路が決定さ
れ、それはそれぞれのブロックでモードの集合から選ば
れる最適の決定モードを規定する。
【００３１】トレリスは、左から右の順で依存グラフに
あるのと同数のステージを含む。トレリスの各ステージ
は、決定のためのモードの集合のカージナル数およびス
テージがその右側での決定のために記憶しておく必要の
あるステージの左側の決定の数に対応する様々な数のス
テートを有する。
あるのと同数のステージを含む。トレリスの各ステージ
は、決定のためのモードの集合のカージナル数およびス
テージがその右側での決定のために記憶しておく必要の
あるステージの左側の決定の数に対応する様々な数のス
テートを有する。
【００３２】最適のモード・シーケンスは、最も左側の
ステージ（ステージ1）における任意のステート（stat
e、状態）から最も右側のステージ（ステージN）におけ
る任意のステートまでの最短の経路を見つけることによ
って、選ばれる。本発明の一実施例では、トレリスを通
る最小コストの経路を決定するためにビタビ・アルゴリ
ズムがトレリスに適用される。データのブロック・シー
ケンスは、典型的にはH.263フレームのマクロ・ブロッ
クのシーケンスである。しかし、この発明は、より一般
的で、他のビデオ符号化（例えばMPEG-1、MPEG-2および
MPEG-4）に適用することができる。
ステージ（ステージ1）における任意のステート（stat
e、状態）から最も右側のステージ（ステージN）におけ
る任意のステートまでの最短の経路を見つけることによ
って、選ばれる。本発明の一実施例では、トレリスを通
る最小コストの経路を決定するためにビタビ・アルゴリ
ズムがトレリスに適用される。データのブロック・シー
ケンスは、典型的にはH.263フレームのマクロ・ブロッ
クのシーケンスである。しかし、この発明は、より一般
的で、他のビデオ符号化（例えばMPEG-1、MPEG-2および
MPEG-4）に適用することができる。
【００３３】
【発明の実施の形態】ビデオ符号化においては、一連の
決定が行われなければならず、各決定は、「モード」の
有限の集合から選ばれる。各決定のパフォーマンスは、
その決定のために選択されたモードに依存する。図2を
参照すると、依存性は、ブロック11で示す有向性非周期
グラフとして表わすことができる。「依存」性の決定ブ
ロックは、矢印で示すように、「被依存」性の決定ブロ
ックを指す。本発明は、一つの形態では、このゆるく依
存している選択の集合を列挙し、ブロック15で示すよう
にモードの最適シーケンスを出力するモード・オプティ
マイザ13を提供する。
決定が行われなければならず、各決定は、「モード」の
有限の集合から選ばれる。各決定のパフォーマンスは、
その決定のために選択されたモードに依存する。図2を
参照すると、依存性は、ブロック11で示す有向性非周期
グラフとして表わすことができる。「依存」性の決定ブ
ロックは、矢印で示すように、「被依存」性の決定ブロ
ックを指す。本発明は、一つの形態では、このゆるく依
存している選択の集合を列挙し、ブロック15で示すよう
にモードの最適シーケンスを出力するモード・オプティ
マイザ13を提供する。
【００３４】オプティマイザ13への入力は、決定の依存
性を特定する依存グラフ11である。各決定は、選択の有
限の集合、モード集合を有する。それは、H.263のＰフ
レームのマクロブロックの場合、｛イントラ、インタ
ー、スキップ、インター4｝である。オプティマイザ
は、その決定されたモードおよび対応する決定のモード
に基づいて決定のパフォーマンスを判断する評価機能を
有する。オプティマイザの出力は、ブロック15で示すよ
うに各決定に対する最適モードの割り当てである。たと
えば、H.263のマクロブロックの場合、ブロック15の
「１」が「イントラ（フレーム内符号化）」モードを示
し、「2」が「インター（フレーム間符号化）」モード
を示す。
性を特定する依存グラフ11である。各決定は、選択の有
限の集合、モード集合を有する。それは、H.263のＰフ
レームのマクロブロックの場合、｛イントラ、インタ
ー、スキップ、インター4｝である。オプティマイザ
は、その決定されたモードおよび対応する決定のモード
に基づいて決定のパフォーマンスを判断する評価機能を
有する。オプティマイザの出力は、ブロック15で示すよ
うに各決定に対する最適モードの割り当てである。たと
えば、H.263のマクロブロックの場合、ブロック15の
「１」が「イントラ（フレーム内符号化）」モードを示
し、「2」が「インター（フレーム間符号化）」モード
を示す。
【００３５】図3を参照すると、オプティマイザ13は、
次のように最適化アルゴリズムを実行する。最初に番号
付け法（その例を後に説明する）を使用して依存グラフ
11の全ての決定を順序づけ番号をつける。番号付けは、
逆トポロジー順でなければならず、すなわちノードxか
らノードyへの辺があるならば、xのラベルはyのラベル
より大きくなければならない。依存グラフ11が有向性非
周期グラフであるということは、この種の番号付けの存
在を保証する。図3(A)は、図2の依存グラフ11から生成
されるトポロジー順を有する依存グラフの一部を示す。
次のように最適化アルゴリズムを実行する。最初に番号
付け法（その例を後に説明する）を使用して依存グラフ
11の全ての決定を順序づけ番号をつける。番号付けは、
逆トポロジー順でなければならず、すなわちノードxか
らノードyへの辺があるならば、xのラベルはyのラベル
より大きくなければならない。依存グラフ11が有向性非
周期グラフであるということは、この種の番号付けの存
在を保証する。図3(A)は、図2の依存グラフ11から生成
されるトポロジー順を有する依存グラフの一部を示す。
【００３６】図3(B)を参照すると、モード・オプティマ
イザ13は、次いでトレリス19と呼ばれているデータ構造
を作る。トレリス19は、順序づけられた依存グラフ17に
おける決定の数と同数のステージをもち、左から右に番
号を割り当てられている。各ステージは、その決定のた
めのモード集合のカージナル数、およびこのステージの
左側の決定の数に対応する、いろいろな数のステート
（state、状態）をもつ。このステージの左側の決定の
数は、このステージの右側の決定のために、このステー
ジに記憶しておくことが必要である。隣接するステート
を接続する辺が存在し、これらの辺は、接続されたステ
ートによって規定されるモード割り当てのコストを反映
する。モード・オプティマイザ13は、最左端のステージ
の任意のステートから最右端のステージの任意のステー
トに至る最短の経路を見つける。こうして見つけられた
最短の経路が、決定のシーケンスのための最適のモード
・シーケンスに対応する。
イザ13は、次いでトレリス19と呼ばれているデータ構造
を作る。トレリス19は、順序づけられた依存グラフ17に
おける決定の数と同数のステージをもち、左から右に番
号を割り当てられている。各ステージは、その決定のた
めのモード集合のカージナル数、およびこのステージの
左側の決定の数に対応する、いろいろな数のステート
（state、状態）をもつ。このステージの左側の決定の
数は、このステージの右側の決定のために、このステー
ジに記憶しておくことが必要である。隣接するステート
を接続する辺が存在し、これらの辺は、接続されたステ
ートによって規定されるモード割り当てのコストを反映
する。モード・オプティマイザ13は、最左端のステージ
の任意のステートから最右端のステージの任意のステー
トに至る最短の経路を見つける。こうして見つけられた
最短の経路が、決定のシーケンスのための最適のモード
・シーケンスに対応する。
【００３７】さらにより具体的にモード・オプティマイ
ザの特定の応用として、マクロブロック（MB）モード選
択問題を説明する。ビデオ符号化のための最適モードの
選択は、レート制約の下で視覚ひずみを最小にする際に
重要である。この発明のモード・オプティマイザは、一
般的であり、多くの現在または将来の分割または複数モ
ードをベースとするビデオ符号化標準に適用することが
できる。
ザの特定の応用として、マクロブロック（MB）モード選
択問題を説明する。ビデオ符号化のための最適モードの
選択は、レート制約の下で視覚ひずみを最小にする際に
重要である。この発明のモード・オプティマイザは、一
般的であり、多くの現在または将来の分割または複数モ
ードをベースとするビデオ符号化標準に適用することが
できる。
【００３８】依存グラフを有向性非周期グラフ（DAG、D
irected Acyclic Graph）として観察し、DAGの特性を利
用することによって、最適化における多数の依存性は計
算的にあまりに大変なものとはならない。
irected Acyclic Graph）として観察し、DAGの特性を利
用することによって、最適化における多数の依存性は計
算的にあまりに大変なものとはならない。
【００３９】この発明の主な貢献は、多数のマクロブロ
ック依存関係をステート図、DAGに表すことができ、そ
れゆえに、最短経路の問題を解くためにビタビ・アルゴ
リズムを使用できることである。多数のMB関係を与えら
れたとき、対応するステート図を作る手順を順に説明す
る。
ック依存関係をステート図、DAGに表すことができ、そ
れゆえに、最短経路の問題を解くためにビタビ・アルゴ
リズムを使用できることである。多数のMB関係を与えら
れたとき、対応するステート図を作る手順を順に説明す
る。
【００４０】逆トポロジー・ソート
H.263のような差分符号化ブロックをベースとするシン
タックス（構文）が与えられると、各マクロブロックMB
がどのようにその隣接したMBの符号化情報に直接依存し
ているかを示す依存グラフ（DG）を作ることができる。
実施例として、図４の依存グラフにおいてMB3は、MB1お
よびMB2の符号化情報に直接依存している。一般に、DG
は部分的な順序を形成する。順序は、その組のマクロブ
ロックMBが差分符号化のために所与の MBの前に先ずコ
ード化されることを示す。
タックス（構文）が与えられると、各マクロブロックMB
がどのようにその隣接したMBの符号化情報に直接依存し
ているかを示す依存グラフ（DG）を作ることができる。
実施例として、図４の依存グラフにおいてMB3は、MB1お
よびMB2の符号化情報に直接依存している。一般に、DG
は部分的な順序を形成する。順序は、その組のマクロブ
ロックMBが差分符号化のために所与の MBの前に先ずコ
ード化されることを示す。
【００４１】DGは部分的な順序であるので、それは有向
性非周期グラフDAGでもある。周期性（サイクル）はマ
クロブロックMBの半分が他のものに先行し、またその逆
であらねばならないことを意味し、非論理的である。ノ
ードVおよび辺Eを有するDAGにおいて、次の特性がすべ
てのノードについて満足されるようにラベル1 ...NをDA
GのＮ個のノードに割り当てることができる。
性非周期グラフDAGでもある。周期性（サイクル）はマ
クロブロックMBの半分が他のものに先行し、またその逆
であらねばならないことを意味し、非論理的である。ノ
ードVおよび辺Eを有するDAGにおいて、次の特性がすべ
てのノードについて満足されるようにラベル1 ...NをDA
GのＮ個のノードに割り当てることができる。
【００４２】
【数６】
【００４３】この特性を満たす順序は、逆トポロジー順
序と呼ばれる。具体的には、ノードiからjへの有向性の
辺がある場合、ラベルiはjより大きくなければならな
い。本質的に、部分的な順序は、部分的な順序をつける
もとの規則を犯すことなく全体の順序にマップされる。
逆トポロジーソート・アルゴリズムの例は、次の通りで
ある。
序と呼ばれる。具体的には、ノードiからjへの有向性の
辺がある場合、ラベルiはjより大きくなければならな
い。本質的に、部分的な順序は、部分的な順序をつける
もとの規則を犯すことなく全体の順序にマップされる。
逆トポロジーソート・アルゴリズムの例は、次の通りで
ある。
【００４４】
【表１】
【００４５】上記のアルゴリズムによって次のことがな
される。第１に、出て行く辺をもたないグラフ上の全て
のノードを識別する。この集合の1つのノードを選ん
で、それに1のラベルをつける。このノードで終わる全
ての辺を除去する。再度、外に向かう辺をもたないグラ
フ上の全てのラベルのないノードを識別する。この集合
の1つのノードを選んで、それに2のラベルをつける。こ
のノードで終わる全ての辺を除去する。全てのノードに
ラベルをつけられるまで、この手順を繰り返す。
される。第１に、出て行く辺をもたないグラフ上の全て
のノードを識別する。この集合の1つのノードを選ん
で、それに1のラベルをつける。このノードで終わる全
ての辺を除去する。再度、外に向かう辺をもたないグラ
フ上の全てのラベルのないノードを識別する。この集合
の1つのノードを選んで、それに2のラベルをつける。こ
のノードで終わる全ての辺を除去する。全てのノードに
ラベルをつけられるまで、この手順を繰り返す。
【００４６】while ループのステップ1において、アル
ゴリズムはSにおけるノード選択の基準を特定しない。
実際、いかなる選択も、有効な逆トポロジー順序であ
る。後に最適化のため、特定の基準について述べる。ラ
ベルを割り当てた後に、マクロブロックMBは、左から右
に逆トポロジー順に書き直することができる。このグラ
フを順序づけられた依存グラフ（ODG）と呼ぶ。図4は、
実施例のODGを示す。辺がすべて右から左を指してお
り、これが有効な逆トポロジーソートの結果である。
ゴリズムはSにおけるノード選択の基準を特定しない。
実際、いかなる選択も、有効な逆トポロジー順序であ
る。後に最適化のため、特定の基準について述べる。ラ
ベルを割り当てた後に、マクロブロックMBは、左から右
に逆トポロジー順に書き直することができる。このグラ
フを順序づけられた依存グラフ（ODG）と呼ぶ。図4は、
実施例のODGを示す。辺がすべて右から左を指してお
り、これが有効な逆トポロジーソートの結果である。
【００４７】ODGからステート図
マクロブロックMBを直線に書き直して得られる順序付け
られた依存グラフODGは、1つのマクロブロック MBが左
のマクロブロックMBだけに依存する単一MB依存性を思い
出させる。その場合、最適モードの選択問題は、特別な
ステート図（SD）であるトレリスを先ず作成することに
より解決される。トレリスは、NステージがN個のマクロ
ブロック MBに対応する関連する有向性グラフDGに対応
する。トレリスの各ステージは、モードの数Kと同じ数
のステートをもち、K×Kの辺が2つの連続するステージ
間のステートを接続する。トレリスの2つのステート間
の辺（Mi-1, Mi）を通るコストは、ステージi-1のモー
ドMi-1からステージiのモードMiにいくラグランジュ関
数コストであり、すなわち上記の式（３）におけるコス
トDi(Mi-1, Mi)+λRi(Mi-1, Mi)である。次いでビタビ
・アルゴリズムを用いてトレリスにおける最短経路を見
つける。
られた依存グラフODGは、1つのマクロブロック MBが左
のマクロブロックMBだけに依存する単一MB依存性を思い
出させる。その場合、最適モードの選択問題は、特別な
ステート図（SD）であるトレリスを先ず作成することに
より解決される。トレリスは、NステージがN個のマクロ
ブロック MBに対応する関連する有向性グラフDGに対応
する。トレリスの各ステージは、モードの数Kと同じ数
のステートをもち、K×Kの辺が2つの連続するステージ
間のステートを接続する。トレリスの2つのステート間
の辺（Mi-1, Mi）を通るコストは、ステージi-1のモー
ドMi-1からステージiのモードMiにいくラグランジュ関
数コストであり、すなわち上記の式（３）におけるコス
トDi(Mi-1, Mi)+λRi(Mi-1, Mi)である。次いでビタビ
・アルゴリズムを用いてトレリスにおける最短経路を見
つける。
【００４８】ステート図SDにノードを描く
我々のケースでは多数のマクロブロック依存性のため、
同じ単純なトレリスでは可能なステート遷移を表すこと
ができない。例えば、図4において、MB3はMB1およびMB2
に依存するが、ステージ3の各ステートに入ってくるK個
の辺は、MB1およびMB2の全ての可能なモード組合せを表
すのに十分でない。この制限を克服するために、ステー
ジ２のステートの数をK2に増やし、ステージ１で使用さ
れたモードを保存できるようにする。図4のステート図S
Dは、K=2のケースを示す。（（M1,M2）,M3）の各辺は、
次式のラグランジュ関数コストを有する。
同じ単純なトレリスでは可能なステート遷移を表すこと
ができない。例えば、図4において、MB3はMB1およびMB2
に依存するが、ステージ3の各ステートに入ってくるK個
の辺は、MB1およびMB2の全ての可能なモード組合せを表
すのに十分でない。この制限を克服するために、ステー
ジ２のステートの数をK2に増やし、ステージ１で使用さ
れたモードを保存できるようにする。図4のステート図S
Dは、K=2のケースを示す。（（M1,M2）,M3）の各辺は、
次式のラグランジュ関数コストを有する。
【００４９】
【数７】
D3(M1, M2 , M3)+λR3(M1, M2 , M3) (5)
【００５０】順序づけられた依存グラフODGにおいてMB1
から出てMB3を超える辺は存在しないので、ステージ1で
使用されたモードをステージ３の後、保存する必要がな
い。より一般的には、ステート図における各ステージに
ついてのステートの数は、次のようにして見つけられ
る。
から出てMB3を超える辺は存在しないので、ステージ1で
使用されたモードをステージ３の後、保存する必要がな
い。より一般的には、ステート図における各ステージに
ついてのステートの数は、次のようにして見つけられ
る。
【００５１】各ステージiは、ステージの集合における
モード組み合わせhi={hi,1 . . . ,hi,|hi|}を変えなけ
ればならない。ここで、hiは、ステージiのメモリと呼
ばれる。メモリhiのカージナル数が|hi|である。モード
の各組合せはステートにより表され、各ステージはK
|hi|のステートをもつ。ここで、h1は｛MB1｝に初期化
される、すなわち第1のメモリhiは第1のMBに初期化され
る。i>1についてhiを見つけるため、iの増加順に以下の
規則を適用する。
モード組み合わせhi={hi,1 . . . ,hi,|hi|}を変えなけ
ればならない。ここで、hiは、ステージiのメモリと呼
ばれる。メモリhiのカージナル数が|hi|である。モード
の各組合せはステートにより表され、各ステージはK
|hi|のステートをもつ。ここで、h1は｛MB1｝に初期化
される、すなわち第1のメモリhiは第1のMBに初期化され
る。i>1についてhiを見つけるため、iの増加順に以下の
規則を適用する。
【００５２】規則0：MBi+1を加えMBiを減じて、hi+1をh
iに初期化する。
iに初期化する。
【００５３】規則1：ODGのMBiにMBi+1以外のMBから入来
する辺があれば、MBiをhi+1に加える。
する辺があれば、MBiをhi+1に加える。
【００５４】規則2：MBi+1からの出て行く辺の行き先、
MBjがMBi+1を越えてMBjに入って来る辺をもたない場
合、MBjをhi+1から減ずる。
MBjがMBi+1を越えてMBjに入って来る辺をもたない場
合、MBjをhi+1から減ずる。
【００５５】この手順を使用することによって、定めら
れたメモリhiおよび各ステージiのステートの数を見つ
けることができる。
れたメモリhiおよび各ステージiのステートの数を見つ
けることができる。
【００５６】ステート図SDに辺を描く
ステート図SDを完成するために、指定される通過したス
テージのモードが保存される形でSDにおける２つの隣接
したステージ間のステートを有向性の辺で接続すること
を必要とする。その目的のため、次のようなSD辺作成手
順を実行する。
テージのモードが保存される形でSDにおける２つの隣接
したステージ間のステートを有向性の辺で接続すること
を必要とする。その目的のため、次のようなSD辺作成手
順を実行する。
【００５７】第１に、 各ステージのステートにベース
がKで|hi|ディジットの数をトップダウンでつける。こ
の数値は、０からＫ|hi|―１まである。この数値ラベル
は、集合hiにおけるモードの特定の並びを表す。ステー
ジiの各ステートxについて、xのラベルに反映されるモ
ードの並びがyのラベルで反映される並びとマッチする
ならば、ステージi-1におけるステートyに辺を引く。
がKで|hi|ディジットの数をトップダウンでつける。こ
の数値は、０からＫ|hi|―１まである。この数値ラベル
は、集合hiにおけるモードの特定の並びを表す。ステー
ジiの各ステートxについて、xのラベルに反映されるモ
ードの並びがyのラベルで反映される並びとマッチする
ならば、ステージi-1におけるステートyに辺を引く。
【００５８】ここでマッチするとは、MBiを除いた集合h
iにおけるモードのxの並びがyの並びと同じことを意味
する。同じ過去のステージ・モードに対応するxおよびy
のラベルのそれぞれにおけるディジットが同じであるこ
とを点検する。MBiを除いた集合hiにおける各MBjは、ノ
ード作成手順によって、ステージi-1において変えられ
なければならない。
iにおけるモードのxの並びがyの並びと同じことを意味
する。同じ過去のステージ・モードに対応するxおよびy
のラベルのそれぞれにおけるディジットが同じであるこ
とを点検する。MBiを除いた集合hiにおける各MBjは、ノ
ード作成手順によって、ステージi-1において変えられ
なければならない。
【００５９】図5は、ODGから得られる２つのステート図
SDの実施例である。ODGのノードのラベルは、混乱を避
けるためにアルファベットにしてある。どちらの場合も
K =2であり、ステートの数値ラベルは、ノード内の二進
数である。図4の下部は、実施例に対応するステート図S
Dを示す。
SDの実施例である。ODGのノードのラベルは、混乱を避
けるためにアルファベットにしてある。どちらの場合も
K =2であり、ステートの数値ラベルは、ノード内の二進
数である。図4の下部は、実施例に対応するステート図S
Dを示す。
【００６０】SDが作られたあと、ビタビ・アルゴリズム
を使って、Ｎ個のマクロブロックMBについての最適のモ
ード選択を見つけるため、SDをとおる長さNの最短経路
を見つけることができる。
を使って、Ｎ個のマクロブロックMBについての最適のモ
ード選択を見つけるため、SDをとおる長さNの最短経路
を見つけることができる。
【００６１】複雑性の考慮
上記した手順を使用してSDを作った後に、ステート図SD
を通る最小コストの経路を見つけるために用いるダイナ
ミック・プログラミング・アルゴリズムの実行タイムを
計算する。SDのステージiの各ステートについて、ステ
ージi-1における最大K|hmax|個のステートからそのステ
ートへの最短の経路を見つける。ここで、hmax = arg m
axi=1 ...N |hi|である。ステージiにおけるステートの
最大数は同じで、Nのステージがある。したがって、実
行タイムはＯ(NK2|hmax|)であると結論することができ
る。
を通る最小コストの経路を見つけるために用いるダイナ
ミック・プログラミング・アルゴリズムの実行タイムを
計算する。SDのステージiの各ステートについて、ステ
ージi-1における最大K|hmax|個のステートからそのステ
ートへの最短の経路を見つける。ここで、hmax = arg m
axi=1 ...N |hi|である。ステージiにおけるステートの
最大数は同じで、Nのステージがある。したがって、実
行タイムはＯ(NK2|hmax|)であると結論することができ
る。
【００６２】NおよびKは問題インスタンスの与えられた
パラメータであるので、アルゴリズムの複雑さを減らす
ためには|hmax|を最小にすることになる。逆トポロジカ
ル・ソートの章で記述したように、逆トポロジーソート
におけるwhileループのステップ１において、外向きの
辺を持たないノード（Sにおけるノード）を、逆トポロ
ジー順序に違反することなくラベルをつける次のノード
として選ぶことができる。|hmax|を最小にするためにこ
の自由度を利用する。ステージiについて最小数のステ
ージを生むループの繰り返しiでSにおけるノードを選
ぶ。図4の実施例でi=3でMB4を選ぶと、|h3| = 3にな
り、図の例のようにMB3を選ぶと、|h3| = 2になる。
パラメータであるので、アルゴリズムの複雑さを減らす
ためには|hmax|を最小にすることになる。逆トポロジカ
ル・ソートの章で記述したように、逆トポロジーソート
におけるwhileループのステップ１において、外向きの
辺を持たないノード（Sにおけるノード）を、逆トポロ
ジー順序に違反することなくラベルをつける次のノード
として選ぶことができる。|hmax|を最小にするためにこ
の自由度を利用する。ステージiについて最小数のステ
ージを生むループの繰り返しiでSにおけるノードを選
ぶ。図4の実施例でi=3でMB4を選ぶと、|h3| = 3にな
り、図の例のようにMB3を選ぶと、|h3| = 2になる。
【００６３】トポロジーソートにおいて提案されたノー
ド選択が使われた後でさえ、アルゴリズムの複雑さがあ
まりに高い場合は、符号化パフォーマンスを犠牲にして
複雑さを減らすほかない。H.263については、一度に最
適化されるMB行の数を減らすことによって、それを達成
することができる。
ド選択が使われた後でさえ、アルゴリズムの複雑さがあ
まりに高い場合は、符号化パフォーマンスを犠牲にして
複雑さを減らすほかない。H.263については、一度に最
適化されるMB行の数を減らすことによって、それを達成
することができる。
【００６４】提案した最適化手法の効果をテストするた
め、発明者は、ODGを得るために先ず修正トポロジーソ
ート・アルゴリズムをQCIFサイズのマクロブロックMBの
有向性グラフDGに適用した。2行のマクロブロックMBを
一度に最適化した。依存パターンは、図4のDGに示され
るものと同じである。結果の順序づけられた有向性グラ
フODGを図6に示す。
め、発明者は、ODGを得るために先ず修正トポロジーソ
ート・アルゴリズムをQCIFサイズのマクロブロックMBの
有向性グラフDGに適用した。2行のマクロブロックMBを
一度に最適化した。依存パターンは、図4のDGに示され
るものと同じである。結果の順序づけられた有向性グラ
フODGを図6に示す。
【００６５】上述した論文に記載されているように、ブ
リティッシュ・コロンビア大学によるTMN10、そしてT.
Wiegandその他による結果と、この発明の実施例のアル
ゴリズムによる符号化効率とを比較した。テストは、自
動車電話シーケンスについて行った。T. Wiegandその他
によるモード選択は、最適化されるマクロブロックMBの
行数を”1”に固定すると、この発明の実施例における
最適化のベースケースと同じものである。クオンタイザ
のステップ・サイズをＩおよびＰフレームについて10、
6および4にそれぞれ固定し、38kb、76.5kbおよび126kb
でテストを実行した。フレーム・レートは、1秒につき1
0フレームに選び、各マクロブロックMBについて12フレ
ームごとに内部リフレッシュモードを周期的に選択に強
制した。ルミナンスPSNRの結果を次のテーブルに示す。
本発明による技術は、TMN10に対し0.32dBの改良を示
し、T. Wiegand他によるものに対し0.03dBの改良を示
す。
リティッシュ・コロンビア大学によるTMN10、そしてT.
Wiegandその他による結果と、この発明の実施例のアル
ゴリズムによる符号化効率とを比較した。テストは、自
動車電話シーケンスについて行った。T. Wiegandその他
によるモード選択は、最適化されるマクロブロックMBの
行数を”1”に固定すると、この発明の実施例における
最適化のベースケースと同じものである。クオンタイザ
のステップ・サイズをＩおよびＰフレームについて10、
6および4にそれぞれ固定し、38kb、76.5kbおよび126kb
でテストを実行した。フレーム・レートは、1秒につき1
0フレームに選び、各マクロブロックMBについて12フレ
ームごとに内部リフレッシュモードを周期的に選択に強
制した。ルミナンスPSNRの結果を次のテーブルに示す。
本発明による技術は、TMN10に対し0.32dBの改良を示
し、T. Wiegand他によるものに対し0.03dBの改良を示
す。
【００６６】
【表２】
【００６７】この発明の最適化手法は、基本的にはより
一般的なものであると考えられ、例えばMPEG4のマルチV
OPモードに見られるようなビデオ・オブジェクトを任意
に形成するような、より一般的な符号化に柔軟に適用さ
れることができる。
一般的なものであると考えられ、例えばMPEG4のマルチV
OPモードに見られるようなビデオ・オブジェクトを任意
に形成するような、より一般的な符号化に柔軟に適用さ
れることができる。
【００６８】この発明を特定の実施例に関して記述した
が、この発明の範囲は実施例に限定されるものではな
い。
が、この発明の範囲は実施例に限定されるものではな
い。
【図１】ビデオ・パケットの従来のマッピングの例を示
す図である。
す図である。
【図２】本発明の一実施例によるプロセスの一般的なシ
ーケンスを示す図である。
ーケンスを示す図である。
【図３】本発明の一実施例による最適化しているアルゴ
リズムを示す図である。
リズムを示す図である。
【図４】本発明の他の実施例によれば最適化しているア
ルゴリズムを示す図である。
ルゴリズムを示す図である。
【図５】異なる順序づけられた依存グラフから発生する
トレリスの構造を例示する図である。
トレリスの構造を例示する図である。
【図６】QCIFのためのトポロジー順序を例示する図であ
る。
る。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5C059 MA00 MA04 MA05 MB01 PP06
SS10
5J065 AD10 AE04 AF03 AH22
Claims (8)
- 【請求項１】 データの一連のブロックに関して一連の
決定を必要とするビデオ符号化のためのモード選択を最
適化する方法であって、それぞれの決定は 一組のモー
ドから選ばれ、 依存グラフが被依存ブロックを指す有向性非周期の依存
ブロックを用意すること、 依存グラフに逆のトポロジー順序で番号をつけること、 トポロジー的に順序づけられた依存グラフからステート
遷移図であるトレリス（格子、trellis）を作り、トレ
リスを通る最も低コストの経路を決定すること、 を含む最適化方法。 - 【請求項２】 前記トレリスは、依存グラフにおける決
定の数と同じ数のステージを含む請求項1に記載の方
法。 - 【請求項３】 前記トレリスの各ステージは、決定モー
ドの集合のカージナル数および右側の決定のためにステ
ージが記憶していなければならないステージの左側の決
定の数に対応する数のステートをもつ請求項2に記載の
方法。 - 【請求項４】トレリスを通る最小コストの経路を決定す
るために、ビタビ・アルゴリズムがトレリスに適用され
る請求項3に記載の方法。 - 【請求項５】 前記データブロックのシーケンスは、映
画の１フレームの一連のマクロブロックである請求項4
に記載の方法。 - 【請求項６】 一連のデータブロックに関して一連の決
定を必要とするビデオ符号化のためのモード選択を最適
化するシステムであって、それぞれの決定は、一組のモ
ードから選ばれ、 有向性非周期の依存グラフに逆のトポロジー順序で番号
をつける手段と、 トポロジー的に順序づけられた依存グラフからステート
遷移図（トレリス）を作る手段と、 それぞれのブロックにおけるモードの集合から選ばれる
最適の決定モードを規定する最小コストの経路を前記ト
レリスにおいて決定する手段と、 を備える最適化システム。 - 【請求項７】トレリスを通して最小コストの経路を決定
するためにトレリスにビタビ・アルゴリズムが適用され
る請求項6に記載のシステム。 - 【請求項８】 データブロックの前記シーケンスは、映
画の１フレームの一連のマクロブロックである請求項7
に記載のシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291642A JP2003125406A (ja) | 2001-09-25 | 2001-09-25 | 有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステム |
| US10/253,886 US7257157B2 (en) | 2001-09-25 | 2002-09-25 | Method of and system for optimizing mode selection for video coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291642A JP2003125406A (ja) | 2001-09-25 | 2001-09-25 | 有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003125406A true JP2003125406A (ja) | 2003-04-25 |
Family
ID=19113749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001291642A Pending JP2003125406A (ja) | 2001-09-25 | 2001-09-25 | 有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7257157B2 (ja) |
| JP (1) | JP2003125406A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009507440A (ja) * | 2005-09-05 | 2009-02-19 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | ハイブリッド符号化スキームのための符号化パラメータ決定法 |
| CN106990895A (zh) * | 2017-03-30 | 2017-07-28 | 山东中创软件商用中间件股份有限公司 | 一种基于jTopo技术实现的应用拓扑图编辑器 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2867649A1 (fr) * | 2003-12-10 | 2005-09-16 | France Telecom | Procede de codage multiple optimise |
| TWI284855B (en) * | 2005-04-29 | 2007-08-01 | Sunplus Technology Co Ltd | Image processing method and method for detecting difference between different image macro-blocks |
| WO2006123307A2 (en) * | 2005-05-20 | 2006-11-23 | Nxp B.V. | Video encoder using a refresh map |
| WO2006123310A2 (en) * | 2005-05-20 | 2006-11-23 | Koninklijke Philips Electronics N.V. | Video encoder using a dependency map |
| US7801126B2 (en) * | 2005-07-15 | 2010-09-21 | Alcatel-Lucent Usa Inc. | Method and system for encoding packet interdependency in a packet data transmission system |
| US8270819B2 (en) * | 2006-10-31 | 2012-09-18 | Tivo Inc. | Performing trick play functions in a digital video recorder with efficient use of resources |
| US20080319767A1 (en) * | 2007-06-19 | 2008-12-25 | Siemens Aktiengesellschaft | Method and apparatus for identifying dependency loops |
| US8611423B2 (en) * | 2008-02-11 | 2013-12-17 | Csr Technology Inc. | Determination of optimal frame types in video encoding |
| KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
| US8295356B2 (en) * | 2008-03-07 | 2012-10-23 | International Business Machines Corporation | Method and system for coding mode selection in video compression systems |
| US20090274211A1 (en) * | 2008-04-30 | 2009-11-05 | Omnivision Technologies, Inc. | Apparatus and method for high quality intra mode prediction in a video coder |
| US8259801B2 (en) * | 2008-10-12 | 2012-09-04 | Mediatek Inc. | Methods for coding digital media data with prediction information and prediction error information being respectively carried by different bit stream sections |
| US8290298B2 (en) * | 2009-01-20 | 2012-10-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for temporally editing videos |
| WO2013112744A2 (en) * | 2012-01-24 | 2013-08-01 | Futurewei Technologies, Inc. | Compressed domain watermarking with reduced error propagation |
| EP3467824B1 (en) * | 2017-10-03 | 2021-04-21 | Dolby Laboratories Licensing Corporation | Method and system for inter-channel coding |
| CN110798821B (zh) * | 2019-09-12 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 车辆编队的方法、装置及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4748626A (en) * | 1987-01-28 | 1988-05-31 | Racal Data Communications Inc. | Viterbi decoder with reduced number of data move operations |
| US6043844A (en) * | 1997-02-18 | 2000-03-28 | Conexant Systems, Inc. | Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding |
| US6804294B1 (en) * | 1998-08-11 | 2004-10-12 | Lucent Technologies Inc. | Method and apparatus for video frame selection for improved coding quality at low bit-rates |
| US6167162A (en) * | 1998-10-23 | 2000-12-26 | Lucent Technologies Inc. | Rate-distortion optimized coding mode selection for video coders |
-
2001
- 2001-09-25 JP JP2001291642A patent/JP2003125406A/ja active Pending
-
2002
- 2002-09-25 US US10/253,886 patent/US7257157B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009507440A (ja) * | 2005-09-05 | 2009-02-19 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | ハイブリッド符号化スキームのための符号化パラメータ決定法 |
| JP4865796B2 (ja) * | 2005-09-05 | 2012-02-01 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | ハイブリッド符号化スキームのための符号化パラメータ決定法 |
| US8462845B2 (en) | 2005-09-05 | 2013-06-11 | Franhofer-Gesellschaft zur Ferderung der angewandten Forschung e. V. | Encoding parameter determination for a hybrid encoding scheme |
| CN106990895A (zh) * | 2017-03-30 | 2017-07-28 | 山东中创软件商用中间件股份有限公司 | 一种基于jTopo技术实现的应用拓扑图编辑器 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030086495A1 (en) | 2003-05-08 |
| US7257157B2 (en) | 2007-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003125406A (ja) | 有向性非周期グラフに基づくビデオ符号化のモード選択最適化方法およびシステム | |
| TWI759389B (zh) | 用於視訊寫碼之低複雜度符號預測 | |
| JP4898467B2 (ja) | 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置 | |
| US9282340B2 (en) | Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program | |
| RU2645358C2 (ru) | Способ и устройство для кодирования или декодирования блоков пиксела | |
| JP4568887B2 (ja) | ビデオ圧縮方法 | |
| JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
| JP6091585B2 (ja) | 画像復号装置、画像符号化装置および符号化データ | |
| JP4127818B2 (ja) | 動画像符号化方法及びその装置 | |
| JP5289440B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP4928002B2 (ja) | インターレース・ビデオの進歩した双方向予測コーディング | |
| CA3098217C (en) | Low-complexity intra prediction for video coding | |
| RU2668061C2 (ru) | Способ и устройство для кодирования элементов синтаксиса в видеокодеке | |
| JP5152190B2 (ja) | 符号化装置、符号化方法、符号化プログラムおよび符号化回路 | |
| JP2007267414A (ja) | フレーム内画像符号化方法及びその装置 | |
| JP2018516491A (ja) | ディスプレイストリーム圧縮のためのレート制約フォールバックモード | |
| WO2022117089A1 (zh) | 预测方法、编码器、解码器以及存储介质 | |
| Yang et al. | Generalized rate-distortion optimization for motion-compensated video coders | |
| JP6953067B2 (ja) | 符号化単位分割決定方法及び装置、コンピューティングデバイス及び読み取り可能な記憶媒体 | |
| KR20220016266A (ko) | 글로벌 모션 벡터에 기초한 병합 후보 재정렬기 | |
| JP2023071967A (ja) | 明示的信号伝達および暗黙的信号伝達を用いた、使用不可参照フレームの適応ブロック更新 | |
| KR100794855B1 (ko) | 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치 | |
| CN113365080B (zh) | 串编码技术的编解码方法、设备及存储介质 | |
| CN112954350A (zh) | 一种基于帧分类的视频后处理优化方法及装置 | |
| KR20210076381A (ko) | Av1 부호화를 위한 고속 부호화 방법 및 장치 |