JP2017200189A - 画像符号化装置、及びその方法 - Google Patents

Abstract

【課題】１パスの符号化においてもストリームバッファの破たんを防ぎつつ、画質の劣化を抑える画像符号化装置を提供する。【解決手段】画像符号化装置１００において、符号化モード判定部１０６は、１以上の画素ブロックを含む特定の単位において、符号化対象の画素ブロックの直前に符号化された画素ブロックまでに発生した累積符号量と、符号化対象の画素ブロックを第１の符号化モードで符号化して発生した符号量と、を合計した結果が、特定の範囲の残りの画素ブロックをすべて第２の符号化モードで符号化しても予め定めた目標符号量を超過する場合に、符号化対象の画素ブロックの符号化に第２の符号化部の符号化モードを用いると判定する。【選択図】図２

Description

本発明の実施形態は、画像を符号化するために用いる画像符号化装置、及びその方法に
関する。

変換・量子化を用いた画像符号化において所望の符号量にて符号化を行うために、過去
の符号量から適応的に量子化スケールを切り替えるレート制御方式があった。従来のレー
ト制御方式は、所望の符号量へと収束させることを目的としている。そのため、必ずしも
目標の符号量以内に収束することを保証するものではなかった。

１パス符号化においては、符号化を行った結果、目標符号量を超過することが考えられ
る。ハードウェアによりエンコーダを構成する際にビットストリームのサイズを予め定義
した場合、目標符号量を超過するとビットストリームが破たんするという問題がある。

ストリームバッファの破たんを回避する符号化方式が開示されている。マクロブロック
単位で最小及び最大符号量を定め、符号化対象であるブロックにおいてもし最大符号量が
発生したら、ストリームバッファが破たんする場合には最小符号量での符号化を行う方式
について述べられている。

上記方式では、当該ブロックで最大符号量が発生してもストリームバッファが破たんし
ないか否かにより符号化条件を切り替えている。一般的に、最小符号量での符号化は画質
が大きく劣化するため選択されないことが望ましい。一方、上記方式では最大符号量分の
マージンを持っていることに等しいため最小符号量での符号化が選択されやすくなってし
まうという問題がある。

特開２００８−２７１２１３号

"ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５ （ＴＭ５）"， Ｄｏｃ． ＩＳＯ／ＩＥＣ−ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００， Ａｐｒ． １９９３． Ｃｈａｐｔｅｒ１０， "Ｒａｔｅ Ｃｏｎｔｒｏｌ ａｎｄ Ｑｕａｎｔｉｚａｔｉｏｎ"

本発明が解決しようとする課題は、１パス符号化においてもストリームバッファの破た
んを防ぎつつ、画質の劣化を抑える点にある。

本発明は上記の課題を解決するために考案されたものであり、入力画像の符号化対象の
画素ブロックに対して第１の符号化データを生成する第１の符号化部と、前記符号化対象
の画素ブロックに対して予め定められた符号量で符号化された第２の符号化データを生成
する第２の符号化部と、前記第１の符号化部と前記第２の符号化部のいずれの符号化モー
ドを用いるかを判定する判定部と、前記判定部の判定結果に従って、前記第１の符号化デ
ータと前記第２の符号化データの何れか一方を選択する選択部と、を備え、前記判定部は
、１以上の画素ブロックを含む特定の単位において、前記符号化対象の画素ブロックの直
前に符号化された画素ブロックまでに発生した累積符号量と、前記符号化対象の画素ブロ
ックを前記第１の符号化モードで符号化して発生した符号量を合計した結果、前記特定の
範囲の残りの画素ブロックをすべて前記第２の符号化モードで符号化しても、予め定めた
目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定する、
動画像符号化装置を提供する。

１パス符号化においてもストリームバッファの破たんを防ぎつつ、画質の劣化を抑える
ことができる。

符号化／復号処理単位を示す図。 画像符号化装置を示す図。 第１符号化部１０３を示す図。 ローカルデコード生成部を示す図。 画像符号化装置の動作例を示すタイミングチャート。 画像符号化装置の動作例を示すフローチャート。 ユニットにおける符号化データのシンタクスの例を示す図。 累積符号量の推移と符号化モード判定の関係を示す図。 画像符号化装置の別例を示す図。 画像符号化装置の別例の動作例を示すタイミングチャート。 画像符号化装置の別例の動作例を示すフローチャート。 ユニットにおける符号化データのシンタクスの例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 画像符号化装置の別例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 モード判定部の動作例を示すフローチャート。 画像符号化装置の別例を示す図。 画像符号化装置の別例の動作例を示すフローチャート。

以下、図面を参照しながら本実施形態の画像符号化装置について詳細に説明する。なお
、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、重
複する説明を適宜省略する。

（第１の実施形態）
尚、以下の実施形態においては、図１に示すように処理対象画像（入力画像）において
符号化処理を行う単位をユニット、符号量を保証すべき単位をセグメントと呼ぶ。図１の
例では、ユニットは画素ブロックであり、セグメントは画像の１ユニットラインである。
本実施形態の符号化装置は、各ユニットにおいて発生する符号量についての制限は行わな
いが、セグメント内で発生した総符号量については予め定めた所望の符号量以下となる様
、入力画像の符号化を行う。

図２は、本実施形態の画像符号化装置１００を示す図である。

画像符号化装置１００は、スイッチ１０１、スイッチ１０２、第１符号化部１０３、第
２符号化部１０４、エントロピー符号化部１０５、符号化モード判定部１０６、ローカル
デコード生成部１０７及び符号化制御部１０８を有する。

スイッチ１０１は、ユニットの入力画像データを受け取り、符号化モード判定部１０６
より符号化モード情報を受け取る。スイッチ１０１は、符号化モード情報が第１符号化モ
ードを示す場合には第１符号化部１０３に入力画像を送る。スイッチ１０１は、符号化モ
ード情報が、第２符号化モードを示す場合には第２符号化部１０４に入力画像を送る。

第１符号化部１０３は、受け取った符号化対象ユニットに対して、変換・量子化による
符号化処理を行い、第１の符号化データを生成する。符号化処理の詳細については後述す
る。

第２符号化部１０４は、受け取った符号化対象ユニットに対して、あらかじめ定められ
た符号量となる様な符号化処理を行い、第２の符号化データを生成する。

スイッチ１０２は、符号化モード判定部１０６より符号化モード情報を受け取る。符号
化モード情報が、第１符号化モードを示す場合には第１符号化部１０３より第１の符号化
データを受け取る。符号化モード情報が、第２符号化モードを示す場合には第２符号化部
１０４より第２の符号化データを受け取る。その後、受け取った符号化データをエントロ
ピー符号化部１０５及びローカルデコード生成部１０７へと送る。

エントロピー符号化部１０５は、受け取った符号化データに対してエントロピー符号化
処理を行って、ビットストリームを生成する。その際に発生した符号量を示す符号量情報
を符号化モード判定部１０６へと送る。

符号化モード判定部１０６は、エントロピー符号化部１０５より符号量情報を受け取る
。符号化モード判定部１０６は、符号量情報に基づいて後続のユニットに対する符号化モ
ード情報を設定してスイッチ１０１及びスイッチ１０２に送る。

ローカルデコード生成部１０７は、スイッチ１０２から符号化データを受け取り、符号
化処理に対応する復号処理を行ってローカルデコード画像を生成する。第１の符号化デー
タを受け取った場合には、第１符号化部１０３が行った符号化処理に対応する復号処理を
行う。第２の符号化データを行った場合には、第２復号化部１０４がおこなった復号処理
に対応する復号処理を行う。生成されたローカルデコード画像は第１符号化部１０３及び
第２符号化部１０４に送られる。ローカルデコード画像は、後続のユニットを符号化処理
する際の予測画像の生成に用いられる。

符号化制御部１０８は、発生符号量のフィードバック制御及び量子化制御、予測方向の
制御などを行なうことで、第１符号化部１０３及び第２符号化部１０４の制御を行なう。

第１符号化部１０３について図３を参照して詳細に説明する。

図３は、第１符号化部１０３の詳細を示す図である。第１符号化部１０３は、予測画像
生成部１０９、減算部１１０及び変換・量子化部１１１を有する。

予測画像生成部１０９は、ローカルデコード生成部１０７よりローカルデコード画像を
受け取り、所定の予測処理を行って処理対象ユニットに対応する予測画像を生成する。予
測画像生成部１０９は、減算部１１０へ予測画像を送る。予測処理として、どのような手
法を用いても良いが、本実施形態では隣接するユニットからの空間予測を用いる例につい
て説明する。例えば、Ｈ．２６４／ＡＶＣなどの既存コーデックと同様に、隣接するユニ
ットの画素を用いて空間予測を行う。その際の空間予測の予測方向は、符号化制御部１０
８が設定する。

減算部１１０は、スイッチ１０１より入力画像の処理対象ユニットを受け取り、予測画
像生成部１０９より対応する予測画像を受け取る。減算部１１０は、入力画像の画素値か
ら、予測画像の画素値を減じることで、予測誤差画像を生成する。生成された予測誤差画
像は、変換・量子化部１１１へ送られる。

変換・量子化部１１１は減算部１１０より受け取った予測誤差画像に対して変換処理を
行う。変換処理として、例えばＤＣＴ（離散コサイン変換）などを用いた直交変換を行い
、変換係数を生成する。なお、ウェーブレット変換や独立成分解析などの手法を用いて変
換係数を生成しても良い。次に、変換・量子化部１１１は、符号化制御部１０８にて設定
された量子化パラメータに基づいて、変換係数に対して量子化処理を行い、符号化データ
を生成する。

以上のように、第１符号化部１０３は予測誤差画像に対して変換・量子化を行う、一般
的な符号化方式により符号化処理を行う。

ローカルデコード生成部１０７について、図４を参照して詳細に説明する。

図４は、ローカルデコード生成部１０７の詳細を示す図である。ローカルデコード生成
部１０７は、予測誤差画像生成部１０９、逆量子化・逆変換部１１２及び加算部１１３を
有する。

逆量子化・逆変換部１１２は、スイッチ１０２から符号化データを受け取る。逆量子化
・逆変換部１１２は、符号化データに含まれる量子化後の直交変換係数に対して符号化制
御部１０８にて設定される量子化パラメータに従って逆量子化を行う。逆量子化・逆変換
部１１２は、逆量子化によって得られた変換係数に対して変換・量子化部１１１で行われ
た直交変換に対応する逆変換を行い、予測誤差画像を生成する。得られた予測誤差画像は
加算部１１３へ送られる。

加算部１１３は、予測画像生成部１０９より予測画像を受け取り、逆量子化・逆変換部
１１２より受けとった予測誤差画像と加算し、ローカルデコード画像を生成する。得られ
たローカルデコード画像は第１符号化部１０３、第２符号化部１０４に出力されると共に
ローカルデコード生成部１０７内の予測画像生成部１０９にも出力され、後続のユニット
において予測処理を行う際に用いられる。

予測画像生成部１０９は、図３に示した第１符号化部１０３の予測画像生成部１０９と
同じ処理を行う。これにより、第１符号化部１０３及びローカルデコード生成部１０７で
同一の予測画像を用いることができる。なお、ローカルでコード生成部１０７が、予測画
像生成部１０９を有さず、第１符号化部１０３または第２符号化部１０４が生成した予測
画像をそのままローカルデコード生成部１０７に送る構成であっても構わない。

次に、本実施形態の画像符号化装置１００の動作について図５及び図６を用いて説明す
る。

図５は、画像符号化装置１００の動作タイミングチャートを示す。

本実施形態の画像符号化装置１００は、入力画像を受け取り、図５に示すタイミングチ
ャートに従ってユニット毎にパイプラインで符号化処理を行う。図５の横軸は、時刻を示
す。縦軸に記したユニット＃０〜＃３の順に順次符号化処理が行われる。画像符号化装置
１００は、ユニット毎に予測方向の決定と符号化モード判定、符号化処理とローカルデコ
ード生成、及びエントロピー符号化の３つの動作をそれぞれＮサイクルにて実行する。尚
、以降の処理手順については図６のフローチャートに従って説明する。

図６は、画像符号化装置１００の処理フローの一例を表している。
まず、画像符号化装置１００が入力画像中の処理対象ユニットに含まれる画素のデータを
受け取ると、符号化制御部１０８が第１符号化モードの予測方向を決定する（Ｓ６０１）
。前述したように第１符号化部１０３は空間予測及び変換・量子化処理による一般的な符
号化を行うものとする。空間予測の予測方向については任意の方法により決定して良い。
本実施形態では、すべての予測方向の内、予測画像と入力画像との誤差が最も小さくなる
予測方向を選択する例について述べる。

次に、符号化モード判定部１０６が第１符号化モードと第２符号化モードの何れで符号
化を行うかの判定を行う（Ｓ６０２）。第１符号化モードと第２符号化モードの何れで符
号化を行うかを示す符号化モード情報は、スイッチ１０１に送られる。尚、符号化モード
判定部１０６における処理の詳細については後述する。

Ｓ６０１、Ｓ６０２を各ユニットの最初のＮサイクルにおいて実行する。

スイッチ１０１は、符号化モード情報が第１符号化モードを示す場合には（Ｓ６０３，
ｙｅｓ）、入力画像を第１符号化部１０３へ送る。

第１符号化部１０３の予測画像生成部１０９は、ローカルデコード画像に含まれる隣接
ユニットの画素値から、符号化制御部１０８が決定した予測方向に従って予測画像を生成
する（Ｓ６０４）。減算部１１０は、入力画像から予測画像を減算することで予測誤差画
像を生成する（Ｓ６０５）。変換・量子化部１１１は、予測誤差画像に対して変換及び量
子化処理を行うことで量子化後の変換係数を生成する（Ｓ６０６）。変換・量子化部１１
１は、第１符号化データを生成する（Ｓ６０７）。第１符号化データには、量子化後の変
換係数、第１符号化モードで符号化されたことを示す符号化モード情報、予測方向、量子
化パラメータなどの情報が含まれる。第１符号化データはローカルデコード生成部１０７
へ送られる。

ローカルデコード生成部１０７は、第１符号化部１０３で行われた符号化処理に対応す
る復号処理を第１符号化データに対して行うことでローカルデコード画像を生成する（Ｓ
６０８）。生成されたローカルデコード画像は第１符号化部１０３及び第２符号化部１０
４へと送られる。

一方、符号化モード情報が第２符号化モードを示す場合には（Ｓ６０３，ｎｏ）、第２
符号化部１０４は、第２符号化モードの予測画像を生成する（Ｓ６０９）。本実施形態の
第２符号化部１０４の動作について詳細に説明する。第２符号化部１０４は予め定めた符
号量で符号化を行う。第１符号化部１０３による符号化で所望の符号量を超過する可能性
がある場合には第２符号化部１０４での符号化へ切り替えることができる。第２符号化部
１０４における符号化方法としては任意の方法を用いて良いが、前述のように特定の符号
量での符号化が求められる。さらに、第１符号化部１０３で発生しうる符号量と比較して
十分小さな符号量で符号化できることが望ましい。本実施形態では、例えば量子化後の変
換係数を符号化せず、予測画像をそのままローカルデコード画像とすることで固定長での
符号化を実現する。

第２符号化部１０４は、第２符号化データを生成する（Ｓ６１０）。第２符号化データ
には、第２符号化モードで符号化されたことを示す符号化モード情報が含まれる。なお、
第２符号化部１０４における処理や第２符号化データの詳細については後述する。ローカ
ルデコード生成部１０７は、第２符号化部１０４で行われた符号化処理に対応する復号処
理を第２符号化データに対して行うことでローカルデコード画像を生成する（Ｓ６１１）
。生成されたローカルデコード画像は第１符号化部１０３及び第２符号化部１０４へと送
られる。なお、Ｓ６０８及びＳ６１１で生成されたローカルデコード画像は、参照画像と
して後続のユニットにおける予測処理で用いられる。

上記のＳ６０４〜Ｓ６０８、または、Ｓ６０９〜Ｓ６１１が、各ユニットの２番目のＮ
サイクルにおいて実行される。

符号化データはエントロピー符号化部１０５へ送られる。エントロピー符号化部１０５
は、第１の符号化データまたは第２の符号化データに対してエントロピー符号化を行って
ビットストリームを生成する（Ｓ６１２）。生成されたビットストリームを出力する（Ｓ
６１３）。処理対象のセグメントに含まれるユニットすべての符号化が終了していない場
合には（Ｓ６１４，ｎｏ）、エントロピー符号化部１０５は発生した符号量を示す符号量
情報を生成し、符号化モード判定部１０６へ出力する（Ｓ６１５）。このとき、詳細は後
述するが、符号化モード判定部１０６は受け取った符号量情報とセグメント全体に対して
設定された所望の符号量との関係から、次のユニットにおける符号化モードを判定する。
また、符号量情報は符号化制御部１０８にもフィードバックされ、量子化パラメータの設
定などを行う際に利用される。

処理対象のセグメントに含まれるユニットすべての符号化が終わった場合（Ｓ６１４，
ｙｅｓ）、セグメントの符号化処理を終了する。

上記のＳ６１２〜Ｓ６１５を最後のＮサイクルにおいて実行する。本実施形態における
ユニットの符号化処理は以上の３ステージから構成される。図５に示すように処理順番が
前後のユニットとは１ステージずつタイミングをずらして処理を行って、複数のユニット
をパイプラインで処理する。各サイクルに含まれる処理については上述した例以外の処理
であっても構わない。また、ステージ数も３以外の数であっても構わない。

図７は、ユニットの符号化データにおけるシンタクスの一例を示す。図７のシンタクス
では、符号化データの先頭でまず符号化モードを示すｃｏｄｅｃ＿ｍｏｄｅが符号化され
る。ｃｏｄｅｃ＿ｍｏｄｅは、例えば１ビットのフラグで表現することができる。

符号化モード情報が第１符号化部１０３による符号化を示す場合、つまりｃｏｄｅｃ＿
ｍｏｄｅがＭＯＤＥ＿１である場合、直前のユニットにおける量子化パラメータと対象ユ
ニットの量子化パラメータの差分であるｄｅｌｔａ＿ｑｐが符号化される。続いて空間予
測の予測方向を示すｐｒｅｄ＿ｍｏｄｅが符号化される。ｄｅｌｔａ＿ｑｐ及びｐｒｅｄ
＿ｍｏｄｅは、事前に取りうる値の範囲がわかっているため、例えば固定長での符号化を
行って良い。固定長で符号化することでビットストリームに対する復号処理が簡易になる
ほか、シンタクスの値に偏りがない場合には可変長符号化と比較して符号化効率が向上す
る。最後に、量子化後の変換係数であるｃｏｅｆｆが可変長符号化される。尚、ＮＵＭ＿
ＣＯＥＦＦは変換係数の数を示している。

一方、符号化モード情報が第２符号化部１０４による符号化を示す場合、即ちｃｏｄｅ
ｃ＿ｍｏｄｅがＭＯＤＥ＿２である場合、第１符号化部１０３による符号化と同様にｐｒ
ｅｄ＿ｍｏｄｅが符号化される。ただし、量子化後の変換係数については符号化しない。
従って量子化パラメータを示すｄｅｌｔａ＿ｑｐについても符号化する必要はない。

このようなシンタクス構成とすることで、第２符号化部１０４での符号化は大きな画質
低下を伴うが、第１符号化部１０３と比較して常に十分小さな符号量で符号化を行うこと
ができる。尚、上記のシンタクスは一例であり、一般的なコーデックと同様にシンタクス
を追加、または一部のシンタクスを削除しても良い。また、画像中のコンポーネントによ
ってシンタクスは変更されても構わない。

次に、符号化モード判定部１０６の動作について詳細に説明する。符号化モード判定部
１０６は、エントロピー符号化部１０５より発生した符号量を受け取り、セグメント内で
発生した符号量を累積して保持する。保持している累積符号量から、後続のユニットを第
１符号化モードで符号化した場合にセグメントで保証すべき符号量を超過する可能性があ
るか否かの判定を行う。超過する可能性がある場合には第２符号化モード、そうでなけれ
ば第１符号化モードを選択することで符号化モードを切り替える。

図８は符号量の推移と符号化モードの判定の関係を示す図である。図８を参照しながら
、具体的な符号化モード判定部１０６の動作例を説明する。図８の横軸はセグメント内に
おけるユニットの番号を示し、縦軸は累積符号量を示す。実線は、セグメント内の残りユ
ニットをすべて第２符号化モードで符号化することを想定した場合に、ストリームバッフ
ァが破たんしない累積符号量の上限値を示す。細い破線は、目標符号量を示す。一般的に
、ＣＢＲ（ｃｏｎｓｔａｎｔ ｂｉｔ ｒａｔｅ）での符号化を行う場合にはすべてのユニ
ットで均等に符号量が発生することを目標とし、量子化パラメータの制御を行うことで目
標符号量での符号化を図る。ただし、１パス符号化では事前に必ずしも目標の符号量を達
成できない。

そのため、図８の、太い破線や、二点鎖線に示したようにユニット毎に符号量がばらつ
く。二点鎖線は、そのセグメント内の残りユニットをすべて第１符号化モードで符号化可
能な場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を下回っ
ていれば、符号量を保証することができる。太い破線は、第２符号化モードが必要となる
場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を上回ってし
まう場合には、第２符号化モードに切り替えても符号量を保証することができなくなる。
二点鎖線で示した例では、第１符号化モードでの符号化により目標符号量を大きく上回る
符号量が発生してしまっている。残りのユニットにおいて利用可能符号量限界に達するた
め、以降のユニットについてはすべて第２符号化モードで符号化することで符号量の上限
を保証する。

上記の動作を行うため、符号化モード判定部１０６は式（１）、（２）により符号化モ
ードを判定する。

まず、式（１）について説明する。Ｂｔａｒｇｅｔはセグメントにおける目標符号量で
ある。Ｂａｖａｉｌａｂｌｅはセグメント内のこれから符号化を行うユニットのうち、符
号化モードの判定を行っているユニット（以下、対象ユニットと記載）を除く残りユニッ
トにおける利用可能符号量である。Ｂｔｏｔａｌは対象ユニットの符号化モード判定時に
フィードバックされている累積符号量を示す。Ｂｔａｒｇｅｔから、Ｂｔｏｔａｌを減じ
ることでＢａｖａｉｌａｂｌｅが算出できる。

図５に示したように、本実施形態の符号化装置１００は、パイプライン処理を行うため
、符号量のフィードバックには遅延が生じる。即ち、図５の例ではＵｎｉｔ＃３の符号化
モードの判定を行う時点ではＵｎｉｔ＃０の符号量までしかフィードバックされず、Ｕｎ
ｉｔ＃１及びＵｎｉｔ＃２の発生符号量は不明である。そこで、式（１）では、第１符号
化モードで理論的に発生しうる最大ビット数Ｂｍａｘを定義し、対象ユニットを含めて発
生符号量が不明なユニットについては最大ビット数が発生したものとして残りユニットで
利用可能な符号量を算出している。尚、図５に示す例では符号量のフィードバックにおけ
る遅延ユニット数Ｕｄｅｌａｙは２となる。遅延ユニット数は、パイプライン構成や処理
内容に応じて適宜変更される。

次に、式（２）について説明する。Ｂｍｉｎは第２符号化モードにより発生する符号量
を示す。Ｕｌｅｆｔは対象ユニット、および遅延ユニットを除く、残りユニットの数を示
している。即ち、符号量フィードバック遅延分のユニット、及び対象ユニットで仮に最大
符号量が発生したとしても利用可能符号量限界を下回る場合には第１符号化モードで符号
化を行う。そうでなければ対象ユニットからは、第２符号化モードで符号化を行うことで
符号量を保証する。以上が画像符号化装置１００に関する処理である。

本実施形態では、通常の変換・量子化を行う第１の符号化モードに加え、符号量を一意
に定めることができ、かつ第１の符号化モードと比較して小さな符号量にて符号化を行う
第２の符号化モードを用意し、前記２つの符号化モードを切り替えることで所望の符号量
を上回らないことを保証する。例えば、各符号化処理単位（ユニット）に対して通常は第
１の符号化モードで符号化を行い、符号量を保証する単位（セグメント）において、残り
のユニットをすべて第２の符号化モードで符号化しなければ符号量を保証できなくなるこ
とがわかった時点で第２の符号化モードによる符号化に切り替えることで、確実に符号量
を保証することができる。また、上記のように符号化モードを判定することで、可能な限
り通常の第１符号化モードでの符号化を行い、符号量が不足する場合にのみ第２符号化モ
ードでの符号化を行うことで符号量が不足する直前までは通常の符号化による画質を維持
しつつセグメントにおける累積符号量の上限を保証することができる。

（第２の実施形態）
第１の実施形態における画像符号化装置１００では符号量のフィードバックに遅延が生
じていたため、式（１）に示すように第１符号化モードで発生しうる最大の符号量を複数
ユニット分加算する必要があった。これは、マージンを持って制御を行っていることに等
しく、圧縮率やセグメントのサイズによってはマージンが大きなオーバーヘッドとなり、
所望の符号量を大きく下回って十分な画質が得られない可能性がある。そこで、本実施形
態では符号量のフィードバック遅延が生じない様な処理を行う点で異なる。

図９は、本実施形態の画像符号化装置２００を示す図である。画像符号化装置２００は
、第１符号化部１０３、第２符号化部１０４、エントロピー符号化部１０５Ａ、エントロ
ピー符号化部１０５Ｂ、ローカルデコード生成部１０７Ａ、ローカルデコード生成部１０
７Ｂ、符号化制御部１０８、スイッチ１１４、スイッチ１１５及び符号化モード判定部１
１６を有する。

第１符号化部１０３、第２符号化部１０４及び符号化制御部１０８は、画像符号化装置
１００と同様の動作を行うため、説明を省略する。また、エントロピー符号化部１０５Ａ
及び１０５Ｂはそれぞれエントロピー符号化部１０５と同一の動作を行い、ローカルデコ
ード生成部１０７Ａ及びローカルデコード生成部１０７Ｂはそれぞれローカルデコード生
成部１０７と同一の動作を行うため、これらについても説明を省略する。

スイッチ１１４は、ローカルデコード生成部１０７Ａとローカルデコード生成部１０７
Ｂから第１符号化モードと第２符号化モードそれぞれのローカルデコード画像を受け取り
、符号化モード判定部１１６が決定した符号化モードに従って何れかの符号化データを選
択して第１符号化部１０３及び第２符号化部１０４へと送る。送られたローカルデコード
画像は後続のユニットを符号化する際に参照画像として予測に用いられる。

スイッチ１１５は、符号化モード判定部１１６より符号化モード情報を受け取る。スイ
ッチ１１５は、符号化モード情報が第１符号化モードを示す場合には、エントロピー符号
化部１０５Ａより第１の符号化モードのビットストリームを受け取る。符号化モード情報
が、第２符号化モードを示す場合には、エントロピー符号化部１０５Ｂから第２符号化モ
ードのビットストリームを受け取る。その後、受け取ったビットストリームを出力する。

符号化モード判定部１１６は、エントロピー符号化部１０５Ａから第１符号化モードで
符号化した際に発生した符号量を受け取り、対象ユニットに対する符号化モード情報を設
定してスイッチ１１４及びスイッチ１１５に出力する。符号化モード判定部１１６は、後
続ユニットに対する符号化モードではなく現在の符号化対象ユニットに対する符号化モー
ドを設定する点が符号化モード判定部１０６と異なる。

次に、本実施形態の画像符号化装置２００の符号化処理について図９、図１０及び図１
１を用いて詳細に説明する。

図１０は、画像符号化装置２００の動作タイミングチャートである。

画像符号化装置２００は、入力画像を受け取りユニット毎にパイプラインで符号化処理
を行う。符号化処理は図１０に示すタイミングチャートに従うが、画像符号化装置１００
とは異なり、第１符号化モードと第２符号化モードでの符号化を両方実行してビットスト
リームを生成し、最後に符号化モード判定を行う。

図１１は、処理のフローチャートの一例を表す図である。

画像符号化装置２００が入力画像中の処理対象ユニットに対応する画素を受け取ると、
符号化制御部１０８が第１符号化モードの予測方向を決定する（S１１０１）。

第１符号化部１０３の予測画像生成部１０９が、S１１０１で決定した予測方向に従っ
て、ローカルデコード画像に含まれる隣接ユニットの画素値から予測画像を生成する。減
算部１１０は、入力画像から予測画像を減算することで予測誤差画像を生成する（S１１
０３）。

変換・量子化部１１１は、予測誤差画像に対して変換及び量子化処理を行うことで量子
化後の変換係数を生成する（Ｓ１１０４）。

変換・量子化部１１１は、第１符号化データを生成する（Ｓ１１０５）。第１符号化デ
ータには、量子化後の変換係数、第１符号化モードで符号化されたことを示す符号化モー
ド情報、予測方向、量子化パラメータが含まれる。

ローカルデコード生成部１０７Ａは、第１符号化データに対して、行われた符号化処理
に対応する復号処理を行うことでローカルデコード画像を生成する（Ｓ１１０６）。生成
されたローカルデコード画像はスイッチ１１４へ送られる。エントロピー符号化部１０５
Ａは、第１符号化データに対して、エントロピー符号化を行うことで、ビットストリーム
を生成する（Ｓ１１０７）。

Ｓ１１０１〜１１０７において、第１符号化モードでの符号化が行われるが、入力画像
は第２符号化部１０４にも入力され、第２符号化モードでの符号化についても行われる。
図１１では、第１の実施形態と同様に第２符号化部１０４が変換・量子化を行わない例に
ついて述べるが、第２符号化部１０４の符号化方法はこれに限られるものではない。

第２符号化部１０４は、予測画像を生成して第２符号化データを生成する（Ｓ１１０８
）。第２符号化データはローカルデコード生成部１０７Ｂへ送られる。

ローカルデコード生成部１０７Ｂは、第２符号化データに対して、行われた符号化処理
に対応する復号処理を行うことでローカルデコード画像を生成する（Ｓ１１１０）。この
例では、予測画像がそのままローカルデコード画像となるため、第２符号化部１０４から
予測画像を受け取ってそのままローカルデコード画像としても良いし、第２符号化部１０
４と同様の予測処理を行っても良い。生成されたローカルデコード画像はスイッチ１１４
へ送られる。

また、第２符号化データはエントロピー符号化部１０５Ｂへ送られる。エントロピー符
号化部１０５Ｂは、第２符号化データをエントロピー符号化することで、ビットストリー
ムを生成する（Ｓ１１１１）。

符号化モード判定部１１６はエントロピー符号化部１０５Ａより発生符号量を受け取り
、対象ユニットに対する符号化モードの判定を行う（Ｓ１１１２）。符号化モード情報は
、スイッチ１１４及びスイッチ１１５に送られる。符号化モード判定部１１６の処理の詳
細は後述する。

符号化モード情報が第１符号化モードを示す場合には（Ｓ１１１３，ｙｅｓ）、スイッ
チ１１４は、ローカルデコード生成部１０７Ａから受け取った第１符号化モードのローカ
ルデコード画像を、第１符号化部１０３、第２符号化部１０４に送る（Ｓ１１１４）。ス
イッチ１１５は、エントロピー符号化部１０５Ａから受け取った第１符号化モードのビッ
トストリームを出力する（Ｓ１１１５）。

符号化モード情報が第２符号化モードを示す場合には（Ｓ１１１３，ｎｏ）、スイッチ
１１４は、ローカルデコード生成部１０７Ｂから受け取った第２符号化モードのローカル
デコード画像を、第１符号化部１０３、第２符号化部１０４に送る（Ｓ１１１６）。スイ
ッチ１１５は、エントロピー符号化部１０５Ｂから受け取った第２符号化モードのビット
ストリームを出力する（Ｓ１１１７）。

処理対象のセグメントに含まれるユニットすべての符号化が終わっていない場合（Ｓ１
１１８，ｎｏ）、エントロピー符号化部１０５Ａ及びエントロピー符号化部１０５Ｂは、
発生符号量を、符号化モード判定部１１６に送る（Ｓ１１１９）。ただし、第２符号化モ
ードは固定符号量による符号化を行うため、必ずしもエントロピー符号化部１０５Ｂから
発生符号量を送る必要はない。

処理対象のセグメントに含まれるユニットすべての符号化が終わった場合（Ｓ１１１８
，ｙｅｓ）、セグメントの符号化処理を終了する。

符号化モード判定部１１６の動作について詳細に説明する。符号化モード判定部１１６
は、エントロピー符号化部１０５Ａより第１符号化モードで発生した符号量を受け取り、
対象ユニットにおける符号化モードの判定を行う。画像符号化装置２００は、図１０に示
すように各ユニットに対するすべての処理ステージが完了した後に符号化モードを判定す
る点が画像符号化装置１００とは異なる。そのため、パイプライン処理を行った場合であ
っても、符号量のフィードバックにおける遅延がなくなる。

符号化モード判定部１１６は、式（３）によって、残りユニットでの利用可能符号量Ｂ
ａｖａｉｌａｂｌｅの算出を行う。

ここで、Ｂｃｕｒｒｅｎｔは対象ユニットにおいて第１符号化モードで符号化した場合
に発生する符号量を示す。符号化モード判定部１１６は、エントロピー符号化部１０５Ａ
よりＢｃｕｒｒｅｎｔを受け取る。Ｂｔｏｔａｌは式（１）と同様に対象ユニット符号化
時にフィードバックされている累積符号量を示す。図１１に示すように直前のユニットで
発生した符号量が即座にフィードバックできる点が、画像符号化装置１００とは異なる。
式（３）により算出したＢａｖａｉｌａｂｌｅを用いて式（２）によって符号化モード
の判定を行う。本実施形態では、上記のように符号化モードを判定することで、数ユニッ
ト分の最大符号量に相当するマージンを持たずに符号化モードの判定ができる。そのため
、より画質劣化の少ない符号化を実現できる。 第２符号化部１０４の動作について詳細
に説明する。画像符号化装置１００と同様に、本実施形態の第２符号化部１０４は予め定
めた符号量以下で符号化を行えば任意の方法を用いて良い。しかしながら、画像符号化装
置２００は、画像符号化装置１００と比較するとローカルデコード画像の生成に関して制
約が存在する。図１０に示すタイミングで処理を行うことで、第１符号化モードと第２符
号化モードによる符号化処理は同時に実行される。パイプライン処理であるため、各ユニ
ットの２番目の処理ステージにおいてローカルデコード画像の一部が確定していなければ
ならない。例えば、Ｕｎｉｔ＃０が３番目の処理ステージを実行するときＵｎｉｔ＃１は
２番目の処理ステージで第１の符号化モードによる符号化を実行するため、Ｕｎｉｔ＃１
の予測に用いられるローカルデコード画像が決定されている必要がある。各ユニットにお
ける右端の画素については、予測で用いられるためにローカルデコード画像が第１符号化
処理と第２符号化処理で異なってはならないという制約がある。

図１２は、本実施形態におけるユニットの符号化データのシンタクスの例を示す図であ
る。図１２に示すシンタクスによって、上記の問題を解決することができる。図１２にお
いて、ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１である場合、第１の符号化モードにおけるシ
ンタクスは図７と同様である。一方、ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿２である場合、
第２の符号化モードにおけるシンタクスは図７と異なる。図７におけるシンタクスでは、
予測方向に関する情報のみを符号化するため、ローカルデコード画像は予測画像と等しく
なる。そのため、本実施形態の第１の符号化モードで生成されるローカルデコード画像と
は異なってしまう場合があった。そこで、隣接する直後のユニットの予測に用いられる画
素についてはｐｉｘｅｌ＿ｖａｌｕｅとして第１の符号化モードで生成されるローカルデ
コード画像の画素値をＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）で符号化す
れば良い。この場合のＰＣＭは、画素値をそのまま出力する処理を指す。ＮＵＭ＿ＰＣＭ
＿ＰＩＸＥＬは、ｐｉｘｅｌ＿ｖａｌｕｅによって符号化される画素数を示す。この場合
、図７と比較して第２の符号化モードにおける符号量は大きくなるが、後続ユニットの予
測に関する問題は解決できる。
図１３は、本実施形態におけるユニットの符号化データのシンタクスの別の例を示す図で
ある。図１３では、第２の符号化モードが選択された場合には追加の情報を符号化せず、
予測方向に制限を設けている。式（３）及び式（２）から、一度第２の符号化モードが選
択された場合には同一セグメントにおいて第１の符号化モードが選択されることはない。
そのため、例えば左ユニットからの予測を禁止することで、後続ユニットの予測に関する
問題を解決することができる。本実施形態では、第２の符号化モードでは常に上からの予
測のみを行う例について述べている。上からの予測は一例であり、後続ユニットの予測に
影響を与えない限りどの方向であっても構わない。 第２の符号化モードによる符号化で
は、画質が大きく劣化する。本実施形態では上記のような符号化モード判定を行うことで
、画像符号化装置１００と比較してより第２の符号化モードが選択されないように制御し
、セグメントで発生する累積符号量の上限を保証することができる。

（第３の実施形態）
画像符号化装置２００は、セグメント単位で符号量を保証するために、第１符号化部１
０３と第２符号化部１０４を適応的に切り替えていた。ただし、画像符号化装置２００は
、セグメント単位の符号量については保証できるものの、ユニット単位の符号量について
は必ずしも保証することができない。例えば、符号化パラメータによっては、第１符号化
部１０３が符号化を行うことで入力画像のデータ量よりも大きな符号量の符号化データが
生成される可能性があった。そこで、本実施形態の符号化装置３００は、第１符号化部１
０３及び第２符号化部１０４とは異なる方法で符号化を行う第３符号化部１１７を備える
。

図１４は、画像符号化装置３００を示す図である。

画像符号化装置３００は、第１符号化部１０３、第２符号化部１０４、第３符号化部１
１７、エントロピー符号化部１０５Ａ〜Ｃ、モード判定部１２０、スイッチ１１８、スイ
ッチ１１９、ローカルでコード生成部１０７Ａ〜Ｃ、符号化制御部１０８を備える。画像
符号化装置１００、２００と同様の動作を行う構成は、以下説明を省略する。 第３符号
化部１１７は、符号化対象ユニットの画素を受け取り、予め定めた符号量となるよう符号
化処理を行い、第３符号化データを生成する。

スイッチ１１８は、ローカルデコード生成部１０７Ａ、ローカルデコード生成部１０７
Ｂ及びローカルデコード生成部１０７Ｃから第１符号化モード、第２符号化モード及び第
３符号化モードそれぞれのローカルデコード画像を受け取る。スイッチ１１８は、符号化
モード判定部１２０が決定した符号化モードに従って何れかのローカルデコード画像を、
第１符号化部１０３、第２符号化部１０４、及び第３符号化部１１７へと送る。ローカル
デコード画像は後続のユニットを符号化する際に参照画像として予測に用いられる。

スイッチ１１９は、エントロピー符号化部１０５Ａ、エントロピー符号化部１０５Ｂ及
びエントロピー符号化部１０５Ｃから第１符号化モード、第２符号化モード及び第３符号
化モードそれぞれのビットストリームを受け取る。スイッチ１１９は、符号化モード判定
部１２０が決定した符号化モードに従って何れかのビットストリームを出力する。

符号化モード判定部１２０は、エントロピー符号化部１０５Ａから第１符号化モードで
符号化した際に発生した符号量を受け取り、対象ユニットに対する符号化モード情報を設
定してスイッチ１１８及びスイッチ１１９に出力する。 画像符号化装置３００の全体の
処理フローについては図示しての説明を省略する。例えば、図１１のＳ１１０１〜Ｓ１１
０７，及びＳ１１０８〜Ｓ１１１１と同時に第３符号化部１１７が符号化を行い、選択さ
れた符号化モードに従ったビットストリームを出力すればよい。以下の説明では、画像符
号化装置３００が図１０のタイミングチャートに従ってパイプライン処理を行う動作につ
いて例示する。なお、別の変形例として、第１の実施形態で示した様に、判定された符号
化モードが第３符号化モードを示す場合に、第３符号化部１１７が、第３符号化データ及
びローカルデコード画像を生成する構成であってもよい。 第３符号化部１１７の動作に
ついて詳細に説明する。

図１７は、第３符号化部１１７が符号化モードを判定する動作の詳細を示す図である。
前述のとおり、第１符号化部１０３による符号化ではユニット単位の符号量については
必ずしも保証することができなかった。一方、第２符号化部１０４では予め定めた符号量
にて符号化を行うため、ユニット単位でも符号量を保証することができる。しかしながら
、第２符号化部１０４による符号化は、セグメント単位の目標符号量を超過する場合を想
定しているため著しい画質劣化を伴う。

第３符号化部１１７は予め定めた符号量以下で符号化を行う。第３符号化部１１７の符
号量は第２符号化部１０４の符号量より十分大きいものとする。第１符号化部１０３によ
り符号化を行った場合に、第３符号化部１１７の符号量よりも大きな符号量が発生した場
合には第３符号化部１１７での符号化へ切り替えることで、ユニット単位の最大発生符号
量についても保証することが可能となる。

第３符号化部１１７における符号化方法としては任意の方法を用いて良いが、前述のよ
うに特定の符号量以下での符号化が求められる。例えば、ＰＣＭモードにより入力画像の
画素値をそのまま出力しても良い。前述のように第１符号化部１０３による符号化では入
力画像のデータ量を超過する符号化データが生成される場合がある。そこで、第３符号化
モードをＰＣＭとすることで、第１符号化部１０３で入力画像のデータ量を超過する場合
にはＰＣＭによる符号化を行うことができる。この場合のシンタクス例を図１５に示す。
ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１及びＭＯＤＥ＿２を示す場合については図１３と同
一であるが、ＭＯＤＥ＿３、即ち第３符号化モードである場合にはＮＵＭ＿ＰＩＸＥＬ＿
ＵＮＩＴで示されるユニット内の画素数分だけ画素値がｉｎｐｕｔ＿ｐｉｘｅｌ＿ｖａｌ
ｕｅとして符号化される。

ここではＰＣＭの場合について説明したが、入力画像の画素値に対して量子化を行い、
画素あたりのビット数を削減しても良い。また、第１符号化部１０３と同様の予測・変換
処理や、隣接画素間の差分をＰＣＭ符号化する一般的なＤＰＣＭ（ｄｉｆｆｅｒｅｎｔｉ
ａｌｐｕｌｓｅ−ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）による処理を行って、変換係数や誤
差画像に対して予め定めたパラメータで量子化を行っても良い。

また、ユニット内の一部またはすべての画素について、入力画像ではなくその他の符号
化モードにより生成されるローカルデコード画像を生成する必要がある場合には、差分デ
ータを付加しても良い。第２符号化モードと同様に第３符号化モードについてもローカル
デコード画像についての制約が存在する。つまり、ユニット内で右端に存在する画素につ
いては第１符号化部１０３で生成されたものと同一である必要がある。例えば、ＰＣＭに
よる符号化を行う場合には、入力画像の画素値をＰＣＭで符号化した上で、ユニットの右
端画素について第１符号化部１０３で生成されたローカルデコード画像の画素値と入力画
像の画素値との差分値を算出し、差分値を符号化する。それによって、上記の問題を回避
することができる。対応するローカルデコード生成部は、ＰＣＭで生成されたストリーム
を復号して得た入力画像の画素値と、復号した前記差分値を加算することでユニット内の
右端の画素を得ることができる。したがって、符号化装置３００は第１符号化部１０３で
生成されたローカルデコード画像の画素を参照画素として予測処理を行えば良い。このと
き第３符号化部１１７は、第１符号化部１０３で生成されたローカルデコード画像の画素
値を受け取って処理を行っても良いし、第３符号化部１１７が生成しても良い。

図１６は、シンタクス例を示す図である。図１６の例は、第１符号化部１０３で生成さ
れたローカルデコード画像の画素値と入力画像の画素値との差分値をｄｉｆｆ＿ｐｉｘｅ
ｌ＿ｖａｌｕｅとして符号化する点が図１５の例とは異なる。ＮＵＭ＿ＲＥＦ＿ＰＩＸＥ
Ｌは、参照画素として利用される画素数を示す。本実施形態では、ユニットの右端の画素
のみを対象としている。そのため、ＮＵＭ＿ＲＥＦ＿ＰＩＸＥＬは、ユニットの高さと同
値である。なお、煩雑な処理を回避するためユニットの下端の画素についても対象として
も良い。

上記の処理については一例を示したものであり、ユニット内の右端画素に関する制約を
満たすものであれば任意の方法を用いて良い。

符号化モード判定部１２０の動作について詳細に説明する。

符号化モード判定部１２０は、エントロピー符号化部１０５Ａより第１符号化モードで
発生した符号量を受け取り、対象ユニットにおける符号化モードの判定を行う。モード判
定部１２０は、は式（４）に示すように第１符号化モードの符号量ＢＭＯＤＥ＿１と、第
３符号化モードの符号量ＢＭＯＤＥ＿３のうち、小さい方の値をＢｃｕｒｒｅｎｔとする
。

符号化モード判定部１２０は、得られたＢｃｕｒｒｅｎｔを用いて、式（３）によりＢ
ａｖａｉｌａｂｌｅを算出する。式（５）により符号化モードを判定する。

図１７は、符号化モード判定部１２０の動作を示す図である。

まず、ＢＭＯＤＥ＿１がＢＭＯＤＥ＿３以上となる場合には（Ｓ１７０１，ｙｅｓ）、
ｃｏｄｅｃ＿ｔｙｐｅをＭＯＤＥ＿３とし、ＢｃｕｒｒｅｎｔをＢＭＯＤＥ＿３とする（
Ｓ１７０２）。そうでなければ（Ｓ１７０１，ｎｏ）、ｃｏｄｅｃ＿ｔｙｐｅをＭＯＤＥ
＿１とし、ＢｃｕｒｒｅｎｔをＢＭＯＤＥ＿１とする（Ｓ１７０３）。

式（３）に従いＢａｖａｉｌａｂｌｅを算出する（Ｓ１７０４）。すでに選択された第
１符号化モードまたは第３符号化モードで符号化してもセグメント内の符号量保証が可能
であるかを式（２）と同様に判定する。このとき符号量が保証されないと判断されれば（
Ｓ１７０５，ｎｏ）、第２符号化モードを選択する（Ｓ１７０６）。そうでなければ（Ｓ
１７０５，ｙｅｓ）、Ｓ１７０２またはＳ１７０３で選択された符号化モードを用いる。

以上の処理により、第３符号化モードによりユニット単位の最大符号量を保証しつつ、
セグメント単位の符号量については第２符号化モードにより保証することが可能となる。

ここではユニット単位での符号量を保証する目的で第３符号化モードを利用した。第３
符号化モードは、第２の符号化モードと比較して十分大きな符号量を想定しているため、
例えばＰＣＭを用いる場合など第１符号化モードや第２符号化モードと比較して高画質な
符号化を行うことができる。そこで、例えば式（６）のように、セグメント内の残りすべ
てのユニットを第３符号化モードで符号化しても目標符号量を超過しないことがわかった
時点で第３符号化モードでの符号化に切り替えても良い。

本実施形態の画像符号化装置３００によれば、ユニット単位での符号量を保証した符号
化処理を行うことが可能となる。

（第４の実施形態）
一般的にはレート制御により適応的に量子化スケールを設定することで所望の符号量へ
と収束させることが可能となる。そこで、本実施形態の画像符号化装置４００は、レート
制御を行う。

図１８は、画像符号化装置４００を示す図である。

画像符号化装置４００は、レート制御部１２１をさらに備える。その他の構成要素につ
いては画像符号化装置３００と同様の動作を行うため、説明を省略する。

レート制御部１２１は、エントロピー符号化部１０５Ａより第１符号化モードの符号量
を、符号化モード判定部１２０より符号化モード情報をそれぞれ受け取る。レート制御部
１２１は、符号化制御部１０８を通じて第１符号化部１０３の符号化パラメータを適応的
に設定することでレート制御を行う。レート制御については、ＭＰＥＧ−２ ＴＭ５で用
いられるような一般的な方法を用いて良い。

レート制御部１２１の動作について説明する。

図１９は、画像符号化装置４００の動作例を示す図である。

画像符号化装置４００に対して符号化すべき画像が入力されると、レート制御部１２１
は、レート制御のパラメータを設定する（Ｓ１９０１）。例えば、レート制御部１２１が
、前述されたＴＭ５のレート制御を行う場合には、レートバッファの初期値や発生符号量
に対するフィードバック強度を設定する。レート制御のパラメータについては予め定めた
固定値を用いても良い。また、入力された画像のサイズやフォーマットなどの情報に応じ
て設定しても良い。

レート制御部１２１は設定されたレート制御のパラメータに基づいて第１符号化モード
で必要となる、量子化パラメータなどの符号化パラメータを設定する（Ｓ１９０２）。第
１符号化部１０３は、Ｓ１９０２で設定された符号化パラメータに従って、入力画像のユ
ニットに対して第１符号化モードによる符号化を行う（Ｓ１９０３）。第２符号化部１０
４及び第３符号化部１１７はそれぞれ第２符号化モード及び第３符号化モードによる符号
化を行う（Ｓ１９０４、Ｓ１９０５）。これらの符号化処理については画像符号化装置３
００と同一の動作を行うため、説明を省略する。

これらの符号化結果に基づき、符号化モード判定部１２０が符号化モードを選択する（
Ｓ１９０６）。スイッチ１１８は、選択された符号化モードに対応するローカルデコード
画像を送り、スイッチ１１９は、選択された符号化モードに対応するビットストリームを
出力する（Ｓ１９０７）。セグメント内のすべてのユニットの符号化が終了していない場
合（Ｓ１９０８，ｎｏ）、エントロピー符号化部１０５Ａは第１符号化モードの符号量を
符号化モード判定部１２０及びレート制御部１２１に送り、符号化モード判定部１２０は
符号化モード情報をレート制御部１２１に送る（Ｓ１９０９）。なお、第２符号化モード
及び第３符号化モードでは予め定めた符号量で符号化を行うため、発生符号量を送らなく
ても符号化モード情報のみで符号量の判定が可能である。

セグメント内のすべてのユニットの符号化が終了し（Ｓ１９０８，ｙｅｓ）、かつ、第
２符号化モードが選択された（Ｓ１９１０，ｙｅｓ）場合、レート制御部１２１は、次の
セグメントのパラメータを変更する（Ｓ１９１１）。パラメータの変更方法としては、例
えば符号量のフィードバック強度を強くする等を行う。第２符号化モードが選択されたと
いうことは、通常のレート制御では符号量が発生しすぎたために収束できなかったことを
意味する。適応的にレート制御のパラメータを変更することで次のセグメントでは第２符
号化モードが選択されないように安定した制御を行うことができる。

本実施形態では、第２符号化モードが選択された場合の処理について説明したが、符号
量が余ったことにより第３符号化モードが選択された場合には逆に十分符号量を使えてい
ないことを示す。その様な場合には、フィードバック強度を弱めるなどのパラメータ設定
を行うことで安定した画質を得ることが可能となる。

また、ここではセグメント単位でレート制御パラメータを変更する場合について説明し
たが、複数のユニットをまとめた単位やフレーム単位であっても良い。

このように、レート制御部１２１は発生符号量をユニット単位でフィードバックし、レ
ートを制御する。例えば、目標符号量よりも大きな符号量が発生している場合には量子化
パラメータを大きくすることで発生符号量を小さく抑え、目標符号量よりも小さな符号量
が発生している場合には量子化パラメータを小さくすることで発生符号量が大きくなるよ
うに符号化を行うことで目標の符号量への収束を図ることができる。

なお、本実施形態ではわかりやすさのためレート制御部１２１を明示的に説明したが、
これらのレート制御処理は符号化制御部１０８が行っても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したも
のであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その
他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の
省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や
要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる
。

画像符号化装置１００、２００
スイッチ１０１、１０２、
第１符号化部１０３、
第２符号化部１０４、
エントロピー符号化部１０５、１０５Ａ、１０５Ｂ
符号化モード判定部１０６、１１６
ローカルデコード生成部１０７、１０７Ａ、１０７Ｂ
予測誤差画像生成部１０９、逆量子化・逆変換部１１２、加算部１１３
符号化制御部１０８
レート制御部１２１

Claims (10)

1. 入力画像が有する第１セグメントに含まれる複数の画素ブロックそれぞれを符号化可能な
   第１の符号化部と、
   前記複数の画素ブロックそれぞれを予め定められた第１符号量で符号化可能な第２の符
   号化部と、
   前記複数の画素ブロックのうちの一つである符号化対象画素ブロックに対して前記第１
   の符号化部と前記第２の符号化部のいずれを用いるかを判定する判定部と、
   を備え、
   前記判定部は、前記複数の画素ブロックのうち一番目に符号化された第１画素ブロック
   から前記符号化対象画素ブロックの直前に符号化された第２画素ブロックまでの累積符号
   量と、前記第１の符号化部により符号化された前記符号化対象画素ブロックの符号量と、
   の和が、前記第１セグメントの目標符号量と前記複数の画素ブロックのうち前記符号化対
   象画素ブロックより後に符号化される画素ブロックを前記第２の符号化部により符号化す
   ることで発生する符号量との差よりも小さい場合には、前記第１の符号化部を用いると判
   定する、画像符号化装置。
2. 前記判定部は、前記第１の符号化部が前記符号化対象画素ブロックを符号化し前記第２の
   符号化部が前記符号化対象画素ブロックを符号化した後に、前記符号化対象画素ブロック
   に対して前記第１の符号化部と前記第２の符号化部のいずれを用いるかを判定する、請求
   項１に記載の画像符号化装置。
3. 入力画像が有する第１セグメントに含まれる複数の画素ブロックそれぞれを符号化可能
   な第１の符号化部と、
   前記複数の画素ブロックそれぞれを予め定められた第１符号量で符号化可能な第２の符
   号化部と、
   前記複数の画素ブロックのうちの一つである符号化対象画素ブロックに対して前記第１
   の符号化部と前記第２の符号化部のいずれを用いるかを判定する判定部と、
   を備え、
   前記判定部は、前記複数の画素ブロックのうち一番目に符号化された第１画素ブロック
   から前記符号化対象画素ブロックの前に符号化された第３画素ブロックまでの累積符号量
   と、前記第３画素ブロックの後前記符号化対象画素ブロックまでを前記第１の符号化部で
   符号化した場合の最大符号量と、の和が、前記第１セグメントの目標符号量と前記複数の
   画素ブロックのうち前記符号化対象画素ブロックより後に符号化される画素ブロックを前
   記第２の符号化部により符号化することで発生する符号量との差よりも小さい場合には、
   前記第１の符号化部を用いると判定する、画像符号化装置。
4. 前記第２の符号化部は、前記符号化対象画素ブロックの直前に符号化される画素ブロッ
   クの画素を利用した予測を行わない、
   請求項１乃至３のいずれかに記載の画像符号化装置。
5. 前記複数の画素ブロックそれぞれを予め定められ前記第１符号量よりも大きな第２符号
   量で符号化可能な第３の符号化部を更に備え、
   前記判定部は、前記符号化対象画素ブロックに対して前記第１の符号化部と前記第２の
   符号化部と前記第３の符号化部のいずれを用いるかを判定する判定部であって、前記第１
   の符号化部による前記符号化対象画素ブロックの符号量が前記第３の符号化部による前記
   符号化対象画素ブロックの符号量を上回る場合には第３の符号化部を用いると判定する、
   請求項１乃至４のいずれかに記載の画像符号化装置。
6. 前記第２の符号化部が前記符号化対象画素ブロックを符号化する場合に、前記第１セグ
   メントに対する符号化における符号量のフィードバック強度よりも、前記入力画像が有す
   る第２セグメントに対する符号化における符号量のフィードバック強度の方が強くなるよ
   うに、前記第１の符号化部をレート制御するレート制御部を更に備える請求項１乃至５のい
   ずれかに記載の画像符号化装置。
7. 前記判定部が前記符号化対象画素ブロックに対して前記第２の符号化部を用いると判定し
   た場合、前記複数の画素ブロックのうち前記符号化対象画素ブロックの次に符号化される
   画素ブロックにおいて予測に用いられる前記符号化対象画素ブロックの一部は、前記第１
   の符号化部により生成されるローカルデコード画像の画素値と前記符号化対象画素ブロッ
   クの画素値との差分を符号化される、請求項１乃至６のいずれかに記載の画像符号化装置。
8. 前記第２の符号化部は、上方向からの予測のみを行い、変換・量子化係数を符号化しな
   い、請求項１乃至７のいずれかに記載の画像符号化装置。
9. 入力画像が有する第１セグメントに含まれる複数の画素ブロックそれぞれを符号化可能な
   第１の符号化ステップと、
   前記複数の画素ブロックそれぞれを予め定められた第１符号量で符号化可能な第２の符
   号化ステップと、
   前記複数の画素ブロックのうちの一つである符号化対象画素ブロックに対して前記第１
   の符号化ステップと前記第２の符号化ステップのいずれを用いるかを判定する判定ステッ
   プと、
   を備え、
   前記判定ステップでは、前記複数の画素ブロックのうち一番目に符号化された第１画素
   ブロックから前記符号化対象画素ブロックの直前に符号化された第２画素ブロックまでの
   累積符号量と、前記第１の符号化部により符号化された前記符号化対象画素ブロックの符
   号量と、の和が、前記第１セグメントの目標符号量と前記複数の画素ブロックのうち前記
   符号化対象画素ブロックより後に符号化される画素ブロックを前記第２の符号化部により
   符号化することで発生する符号量との差よりも小さい場合には、前記第１の符号化ステッ
   プを用いると判定する、画像符号化方法。
10. 入力画像が有する第１セグメントに含まれる複数の画素ブロックそれぞれを符号化可能
    な第１の符号化ステップと、
    前記複数の画素ブロックそれぞれを予め定められた第１符号量で符号化可能な第２の符
    号化ステップと、
    前記複数の画素ブロックのうちの一つである符号化対象画素ブロックに対して前記第１
    の符号化ステップと前記第２の符号化ステップのいずれを用いるかを判定する判定ステッ
    プと、
    を備え、
    前記判定ステップでは、前記複数の画素ブロックのうち一番目に符号化された第１画素
    ブロックから前記符号化対象画素ブロックの前に符号化された第３画素ブロックまでの累
    積符号量と、前記第３画素ブロックの後前記符号化対象画素ブロックまでを前記第１の符
    号部で符号化した場合の最大符号量と、の和が、前記第１セグメントの目標符号量と前記
    複数の画素ブロックのうち前記符号化対象画素ブロックより後に符号化される画素ブロッ
    クを前記第２の符号化部により符号化することで発生する符号量との差よりも小さい場合
    には、前記第１の符号化ステップを用いると判定する、画像符号化方法。

Images