JP2012119970A - 画像符号化装置 - Google Patents

Abstract

【課題】画像の複雑な領域の画質劣化や無駄な符号化ストリームの送出を低減することができるとともに、更なる符号化の低遅延化を実現することができるようにする。
【解決手段】既に画像データが符号化されているピクチャの各スライスにおける符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する符号量割当部２と、符号量割当部２により決定された符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定するスライス符号化順序決定部３とを設ける。
【選択図】図１

Description

この発明は、動画像の画像データを符号化して符号化ストリームを送出する画像符号化装置に関するものである。

近年、動画像を圧縮して符号化する技術が広く用いられている。
例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）と呼ばれる方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）に採用されている方式であるＨ．２６４方式などがある。

以下の特許文献１には、符号化ストリームの符号量をピクチャ単位又はスライス単位などのピクチャ以下の単位で一定量に制御する画像符号化装置が開示されている。
即ち、この画像符号化装置では、入力画像をスライス単位に分割し、それぞれのスライスで使用可能な上限符号量を一定に制御して符号化することで、スライス毎の符号量を一定にしている。
スライス毎の符号量が一定になることで、符号化ストリームの送出時間も一定になるため、結果的に符号化の低遅延化が可能になっている。

特開２００１−１６９２８１号公報（段落番号［０００８］）

従来の画像符号化装置は以上のように構成されているので、スライス毎の符号量を一定にすることで、符号化の低遅延化を実現することができる。しかし、スライス毎の符号量を一定にすることで、画像の複雑な領域も、複雑でない領域も同じ符号量で符号化することになるため、画像の複雑な領域に対して必要な符号量が確保されず、画像の複雑な領域の画質が劣化することがある。一方、複雑でない領域には必要以上の符号量が割り当てられてしまって無駄な符号化ストリームの送出が発生することがある課題があった。

この発明は上記のような課題を解決するためになされたもので、画像の複雑な領域の画質劣化や無駄な符号化ストリームの送出を低減することができるとともに、更なる符号化の低遅延化を実現することができる画像符号化装置を得ることを目的とする。

この発明に係る画像符号化装置は、既に画像データが符号化されているピクチャの各部分領域における符号化ストリームの符号量に応じて、符号化対象のピクチャの各部分領域に割り当てる符号量を決定する割当符号量決定手段と、割当符号量決定手段により決定された符号量が大きい部分領域の画像データから順番に符号化して、符号量が小さい部分領域の画像データを後に符号化を行う符号化順序を決定する符号化順序決定手段と、画像蓄積手段に蓄積されている画像データを部分領域単位に分割し、符号化順序決定手段により決定された符号化順序にしたがって各部分領域の画像データを順番に出力する画像分割手段と、画像分割手段から部分領域の画像データが出力される毎に、割当符号量決定手段により決定された当該部分領域に対する割当符号量を基準にして、その部分領域の画像データを符号化することで、その画像データの符号化ストリームを生成する符号化手段とを設け、送出手段が符号化手段により生成された符号化ストリームを送出するようにしたものである。

この発明によれば、既に画像データが符号化されているピクチャの各部分領域における符号化ストリームの符号量に応じて、符号化対象のピクチャの各部分領域に割り当てる符号量を決定する割当符号量決定手段と、割当符号量決定手段により決定された符号量が大きい部分領域の画像データから順番に符号化して、符号量が小さい部分領域の画像データを後に符号化を行う符号化順序を決定する符号化順序決定手段と、画像蓄積手段に蓄積されている画像データを部分領域単位に分割し、符号化順序決定手段により決定された符号化順序にしたがって各部分領域の画像データを順番に出力する画像分割手段と、画像分割手段から部分領域の画像データが出力される毎に、割当符号量決定手段により決定された当該部分領域に対する割当符号量を基準にして、その部分領域の画像データを符号化することで、その画像データの符号化ストリームを生成する符号化手段とを設け、送出手段が符号化手段により生成された符号化ストリームを送出するように構成したので、画像の複雑な領域の画質劣化や無駄な符号化ストリームの送出を低減することができるとともに、更なる符号化の低遅延化を実現することができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 符号量割当部２による符号量の割当例を示す説明図である。 各スライスの符号量をピクチャの全体に割り当てられている符号量の１０／８０、２０／８０、１０／８０、４０／８０となるように制御して、１スライス目から順番に４スライス目まで符号化を行った場合の符号化遅延の一例を示す説明図である。 図１の画像符号化装置が符号化を行った場合の符号化遅延の一例を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 符号量割当部１１による各スライス及び各小領域に対する符号量の割当例を示す説明図である。 図６の画像符号化装置が符号化を行った場合の符号化遅延の一例を示す説明図である。 この発明の実施の形態３による画像符号化装置を示す構成図である。 この発明の実施の形態３による画像符号化装置の処理内容を示すフローチャートである。 符号量割当部２２による符号量の割当例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、画像蓄積部１は動画像における１ピクチャ分の画像データを蓄積する例えばハードディスクやＲＡＭなどの記録媒体である。なお、画像蓄積部１は画像蓄積手段を構成している。

符号量割当部２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、既に画像データが符号化されているピクチャの各スライス（部分領域）における符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する処理を実施する。
即ち、符号量割当部２は符号化対象のピクチャの各スライスに割り当てる符号量の割合が、符号化対象のピクチャより１ピクチャ前のピクチャの各スライスにおける符号化ストリームの符号量の割合と一致するように、符号化対象のピクチャの各スライスに割り当てる符号量を決定する処理を実施する。
また、符号量割当部２は後述するスライス符号化順序決定部３により決定された符号化順序が先のスライスの画像データがスライス符号化部５により符号化されて符号化ストリームが生成されると、その符号化ストリームの符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する処理を実施する。
なお、符号量割当部２は割当符号量決定手段を構成している。

スライス符号化順序決定部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、符号量割当部２により決定された符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定する処理を実施する。なお、スライス符号化順序決定部３は符号化順序決定手段を構成している。

スライス分割部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像蓄積部１に蓄積されている画像データをスライス単位に分割し、スライス符号化順序決定部３により決定された符号化順序にしたがって各スライスの画像データを順番に出力する処理を実施する。なお、スライス分割部４は画像分割手段を構成している。

スライス符号化部５は例えばＭＰＥＧ−２やＨ．２６４方式などに準拠しているエンコーダであり、スライス分割部４からスライスの画像データが出力される毎に、符号量割当部２により決定された当該スライスに対する割当符号量を基準にして、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成し、その符号化ストリームを符号化ストリーム送出部６に出力する処理を実施する。
また、スライス符号化部５は符号化ストリームの符号量を符号量割当部２に通知する処理を実施する。
なお、スライス符号化部５は符号化手段を構成している。

符号化ストリーム送出部６は例えばインターネットやＬＡＮなどのネットワークに対するインタフェース処理を実施するネットワーク機器や無線機器、あるいは、ＤＶＤなどの記録媒体に対するインタフェース処理を実施するインタフェース機器などから構成されており、スライス符号化部５から符号化ストリームを受ける毎に、その符号化ストリームを送出する処理を実施する。なお、符号化ストリーム送出部６は送出手段を構成している。

図１の例では、画像符号化装置の構成要素である画像蓄積部１、符号量割当部２、スライス符号化順序決定部３、スライス分割部４、スライス符号化部５及び符号化ストリーム送出部６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、画像蓄積部１、符号量割当部２、スライス符号化順序決定部３、スライス分割部４、スライス符号化部５及び符号化ストリーム送出部６の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。

次に動作について説明する。
画像蓄積部１は、動画像における１ピクチャ分の画像データを入力する毎に、その画像データを蓄積する（ステップＳＴ１）。
符号量割当部２は、既に画像データが符号化されているピクチャの各スライスにおける符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する（ステップＳＴ２）。
即ち、符号量割当部２は、連続する前後のピクチャは画像の詳細が類似しており（ピクチャを分割する領域（スライス）が固定化されている場合、１ピクチャ前のピクチャと符号化対象のピクチャにおける同じ位置のスライスの画像は類似している）、既に符号化されている１ピクチャ前の各スライスの符号化ストリームの符号量と同程度の符号量を、符号化対象のピクチャの各スライスに割り当てれば、符号化対象のピクチャの各スライスの画像が複雑であっても複雑でなくても、必要な符号量を確保することができるため、符号化対象のピクチャの各スライスに割り当てる符号量の割合が、符号化対象のピクチャより１ピクチャ前のピクチャの各スライスにおける符号化ストリームの符号量の割合と一致するように、符号化対象のピクチャの各スライスに割り当てる符号量を決定する。

具体的には、下記の式（１）を演算することで、符号化対象のピクチャの各スライスに割り当てる符号量を決定する。

n・SLICEallot・code ：符号化対象のピクチャのｎスライス目に割り当てられる符号量
n・SLICEcode[before]：１ピクチャ前のｎスライス目の符号化ストリームの符号量
PICTUREcode[before]：１ピクチャ前の全体の符号化ストリームの符号量
PICTUREallot・code ：符号化対象のピクチャの全体に割り当てられる符号量

ここで、図３は符号量割当部２による符号量の割当例を示す説明図である。
図３では、ピクチャを４つのスライスに分割する場合において、１スライス目から４スライス目までの符号量（スライス符号化部５により実際に生成された符号化ストリームの符号量）が、“１０”、“２０”、“１０”、“４０”である例を示している。
この場合、符号量割当部２が上記の式（１）を演算することで、符号化対象の１スライス目から４スライス目に割り当てる符号量が、“１０”、“２０”、“１０”、“４０”になる。符号化対象の１スライス目から４スライス目に割り当てる符号量の割合は、“１０／８０”、“２０／８０”、“１０／８０”、“４０／８０”になる。
図３では、ピクチャを４つのスライスに分割している例を示しているが、これに限るものではなく、２分割や３分割など４分割以外の分割でもよい。

スライス符号化順序決定部３は、符号量割当部２が符号化対象のピクチャの各スライスに割り当てる符号量を決定すると、その符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定する（ステップＳＴ３）。
図３の例では、符号量の大きさが、４スライス目＞２スライス目＞１スライス目＝３スライス目であるため、４スライス目→２スライス目→１スライス目→３スライス目の順番に符号化を行う符号化順序を決定する。

スライス分割部４は、スライス符号化順序決定部３が符号化順序を決定すると、画像蓄積部１に蓄積されている画像データ（符号化対象のピクチャの画像データ）をスライス単位に分割し、スライス符号化順序決定部３により決定された符号化順序にしたがって各スライスの画像データを順番に出力する。
図３の例では、符号化対象のピクチャの画像データを４つのスライスに分割し、４スライス目→２スライス目→１スライス目→３スライス目の順番で出力する。

スライス符号化部５は、スライス分割部４からスライスの画像データが出力される毎に、符号量割当部２により決定された当該スライスに対する割当符号量を基準にして、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成する（ステップＳＴ４）。
即ち、スライス符号化部５は、当該スライスにおける符号化ストリームの符号量が、符号量割当部２により決定された当該スライスに対する割当符号量と一致するように、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成する。
画像データの符号化処理自体は公知の技術であるため、ここでは詳細な説明を省略するが、スライスにおける符号化ストリームの符号量は必ずしも割当符号量と一致せず、符号化ストリームの符号量が割当符号量より多くなる場合や少なくなる場合がある。
スライス符号化部５は、各スライスの符号化ストリームを生成する毎に、その符号化ストリームを符号化ストリーム送出部６に出力するとともに、その符号化ストリームの符号量を符号量割当部２に通知する。
符号化ストリーム送出部６は、スライス符号化部５から符号化ストリームを受けると、その符号化ストリームを送出する（ステップＳＴ５）。

符号量割当部２は、スライス符号化部５から符号化ストリームの符号量の通知を受けると、符号化対象のピクチャ内の全てのスライスの符号化が完了していれば、符号化対象のピクチャに対する符号化処理を終了するが、符号化対象のピクチャ内の全てのスライスの符号化が完了していなければ（ステップＳＴ６）、スライス符号化部５から通知された符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する（ステップＳＴ７）。
具体的には、下記の式（２）を演算することで、各スライスに割り当てている符号量を更新する。

ｎ・SLICErenew・code：更新後の符号量
ｎ・SLICEallot・code：符号化対象のピクチャのｎスライス目に割り当てられている符号量
remain・SLICEallot・code：残りのスライスに割り当てられている符号量
remain・PICTUEcode：ピクチャにおける残りの符号量

例えば、４スライス目の画像データが符号化されて符号化ストリームが生成された段階では、符号化対象のピクチャの全体に割り当てられている符号量が“８０”、４スライス目の符号化ストリームの符号量が“３２”であるとすると、ピクチャにおける残りの符号量remain・PICTUEcodeが４８（＝８０−３２）、残りのスライスに割り当てられている符号量が４０（＝８０−４０）となるため、２スライス目、１スライス目、３スライス目に割り当てられている符号量ｎ・SLICErenew・codeは、“２４”、“１２”、“１２”に更新される。

ここで、図４は各スライスの符号量をピクチャの全体に割り当てられている符号量の１０／８０、２０／８０、１０／８０、４０／８０となるように制御して、１スライス目から順番に４スライス目まで符号化を行った場合の符号化遅延の一例を示す説明図である。
ただし、図４では、１スライス目から４スライス目の符号化ストリームの符号量が“１３”、“２２”、“８”、“３７”であるものとしている。
この場合、１スライス目の符号量が、２スライス目の符号量と比べて小さいため、１スライス目の送出処理と２スライス目の符号化処理の時間差によって、送出時間に空きが発生している。
同様に、３スライス目の符号量が、４スライス目の符号量と比べて小さいため、３スライス目の送出処理と４スライス目の符号化処理の時間差によって、送出時間に空きが発生している。
このため、当該ピクチャの符号化開始から送出終了までの時間が大きくなってしまっている。

図５は図１の画像符号化装置が符号化を行った場合の符号化遅延の一例を示す説明図である。
この場合も、各スライスの符号量をピクチャの全体に割り当てられている符号量の１０／８０、２０／８０、１０／８０、４０／８０となるように制御するが、スライス符号化順序決定部３により決定された符号化順序（４スライス目→２スライス目→１スライス目→３スライス目）で符号化を行った場合の符号化遅延を示している。
１スライス目から４スライス目の符号化ストリームの符号量が“１３”、“２２”、“８”、“３７”であるとしても、符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行うようにすると、各スライスの間で送出時間の空きが発生しなくなり、当該ピクチャの符号化開始から送出終了までの時間を低減することができる。

以上で明らかなように、この実施の形態１によれば、既に画像データが符号化されているピクチャの各スライスにおける符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する符号量割当部２と、符号量割当部２により決定された符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定するスライス符号化順序決定部３と、画像蓄積部１に蓄積されている画像データをスライス単位に分割し、スライス符号化順序決定部３により決定された符号化順序にしたがって各スライスの画像データを順番に出力するスライス分割部４と、スライス分割部４からスライスの画像データが出力される毎に、符号量割当部２により決定された当該スライスに対する割当符号量を基準にして、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成するスライス符号化部５とを設け、符号化ストリーム送出部６がスライス符号化部５により生成された符号化ストリームを送出するように構成したので、画像の複雑な領域の画質劣化や無駄な符号化ストリームの送出を低減することができるとともに、更なる符号化の低遅延化を実現することができる効果を奏する。

また、この実施の形態１によれば、符号量割当部２が、スライス符号化順序決定部３により決定された符号化順序が先のスライスの画像データがスライス符号化部５により符号化されて符号化ストリームが生成されると、その符号化ストリームの符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新するように構成したので、実際に生成されたスライスの符号化ストリームの符号量が、当該スライスに割り当てていた符号量とずれても、これから符号化が行われるスライスの割当符号量の適正化が図られて、複雑な領域の画質劣化や無駄な符号化ストリームの送出を低減することができる効果を奏する。

なお、この実施の形態１では、符号量割当部２が、１ピクチャ前のピクチャの各スライスの符号量から符号化対象のピクチャの各スライスに割り当てる符号量を決定しているが、既に符号化が行われている複数のピクチャにおける各スライスの符号量の統計値（例えば、平均値、メディアンなど）から符号化対象のピクチャの各スライスに割り当てる符号量を決定するようにしてもよい。

実施の形態２．
上記実施の形態１では、スライス分割部４がピクチャを４つのスライスに分割するものを示したが、最も大きな符号量が割り当てられているピクチャについては、更に細かく分割するようにしてもよい。
図６はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。

符号量割当部１１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図１の符号量割当部２と同様に、既に画像データが符号化されているピクチャの各スライスにおける符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する処理を実施する。
また、符号量割当部１１は最も大きな符号量を割り当てるスライスについては、そのスライス内の各小領域（少なくとも１以上のブロック（例えば、マクロブロック）から構成されている領域）に割り当てる符号量を決定する処理を実施する。
また、符号量割当部１１はスライス符号化順序決定部１２により決定された符号化順序が先のスライスの画像データがスライス符号化部１４により符号化されて符号化ストリームが生成されると、その符号化ストリームの符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する処理を実施する。
なお、符号量割当部１１は割当符号量決定手段を構成している。

スライス符号化順序決定部１２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図１のスライス符号化順序決定部３と同様に、符号量割当部１１により決定された符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定する処理を実施する。
また、スライス符号化順序決定部１２は符号量割当部１１により割当符号量が決定されたスライス内の小領域について、符号量が大きい小領域から順番に符号化して、符号量が小さい小領域を後に符号化を行う符号化順序を決定する処理を実施する。
なお、スライス符号化順序決定部１２は符号化順序決定手段を構成している。

スライス分割部１３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像蓄積部１に蓄積されている画像データをスライス単位に分割するとともに、最も大きな符号量が割り当てられているスライスの画像データを小領域単位に分割し、スライス符号化順序決定部１２により決定された符号化順序にしたがって最も大きな符号量が割り当てられているスライス内の複数の小領域を順番に出力してから、スライス符号化順序決定部１２により決定された符号化順序にしたがって残りのスライスを順番に出力する処理を実施する。なお、スライス分割部１３は画像分割手段を構成している。

スライス符号化部１４は例えばＭＰＥＧ−２やＨ．２６４方式などに準拠しているエンコーダであり、スライス分割部１３からスライス又は小領域の画像データが出力される毎に、符号量割当部１１により決定された当該スライス又は小領域に対する割当符号量を基準にして、そのスライス又は小領域の画像データを符号化することで、その画像データの符号化ストリームを生成し、その符号化ストリームを符号化ストリーム送出部６に出力する処理を実施する。
また、スライス符号化部１４は当該スライス内の各ブロックにおける符号化ストリームの符号量を符号量割当部１１に通知する処理を実施する。
なお、スライス符号化部１４は符号化手段を構成している。

図６の例では、画像符号化装置の構成要素である画像蓄積部１、符号量割当部１１、スライス符号化順序決定部１２、スライス分割部１３、スライス符号化部１４及び符号化ストリーム送出部６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、画像蓄積部１、符号量割当部１１、スライス符号化順序決定部１２、スライス分割部１３、スライス符号化部１４及び符号化ストリーム送出部６の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
画像蓄積部１は、上記実施の形態１と同様に、動画像における１ピクチャ分の画像データを入力する毎に、その画像データを蓄積する。
符号量割当部１１は、図１の符号量割当部２と同様に、既に画像データが符号化されているピクチャの各スライスにおける符号化ストリームの符号量に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する。
また、符号量割当部１１は、最も大きな符号量を割り当てるスライスについては、そのスライス内の各小領域に割り当てる符号量を決定する。

ここで、図７は符号量割当部１１による各スライス及び各小領域に対する符号量の割当例を示す説明図である。
図７では、ピクチャを４つのスライスに分割し、最も大きな符号量を割り当てる４スライス目を２つに分割する場合において、１スライス目から４スライス目までの符号量（スライス符号化部１４により実際に生成された符号化ストリームの符号量）が、“１０”、“２０”、“１０”、“４０”である例を示している。
この場合、符号量割当部１１が上記の式（１）を演算することで、符号化対象の１スライス目から４スライス目に割り当てる符号量が、“１０”、“２０”、“１０”、“４０”になる。符号化対象の１スライス目から４スライス目に割り当てる符号量の割合は、“１０／８０”、“２０／８０”、“１０／８０”、“４０／８０”になる。
また、最も大きな符号量を割り当てる４スライス目の各小領域に割り当てる符号量については、符号量割当部１１が４スライス目を２等分することで、図中、左側の小領域（符号量が“７”、“６”、“８”の３つのブロックから構成されている領域）が“２１”、図中、右側の小領域（符号量が“１１”、“５”、“３”の３つのブロックから構成されている領域）が“１９”になる。各小領域に割り当てる符号量の割合については、左側の小領域は“２１／８０”、右側の小領域は“１９／８０”になる。

図７では、ピクチャを４つのスライスに分割している例を示しているが、これに限るものではなく、２分割や３分割など４分割以外の分割でもよい。
また、図７では、最も大きな符号量を割り当てる４スライス目を２つの小領域に分割しているが、これに限るものではなく、３分割以上の分割でもよい。
また、最も大きい符号量を割り当てる４スライス目を、同じブロック数を有する小領域に分割しているが、異なるブロック数を有する小領域に分割してもよい。
例えば、図中、左側の小領域を符号量が“７”、“６”の２つのブロックから構成し、図中、右側の小領域を符号量が“８”、“１１”、“５”、“３”の４つのブロックから構成してもよい。

スライス符号化順序決定部１２は、符号量割当部１１が符号化対象のピクチャの各スライス及び各小領域に割り当てる符号量を決定すると、図１のスライス符号化順序決定部３と同様に、その符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定する。
図７の例では、符号量の大きさが、４スライス目＞２スライス目＞１スライス目＝３スライス目であるため、４スライス目→２スライス目→１スライス目→３スライス目の順番に符号化を行う符号化順序を決定する。

また、スライス符号化順序決定部１２は、符号量割当部１１により割当符号量が決定されたスライス内の小領域について、符号量が大きい小領域から順番に符号化して、符号量が小さい小領域を後に符号化を行う符号化順序を決定する。
図７の例では、符号量の大きさが、左側の小領域＞右側の小領域であるため、左側の小領域→右側の小領域の順番に符号化を行う符号化順序を決定する。
以下、説明の便宜上、必要に応じて左側の小領域を「４スライス目」、右側の小領域を「５スライス目」と称する。
したがって、図７の例では、スライス符号化順序決定部１２により決定された最終的な符号化順序は、４スライス目→５スライス目→２スライス目→１スライス目→３スライス目になる。

スライス分割部１３は、スライス符号化順序決定部１２が符号化順序を決定し、スライス符号化順序決定部１２から符号化順序、スライス分割数及びブロック数を示す情報を受けると、その情報にしたがって画像蓄積部１に蓄積されている画像データをスライス単位に分割するとともに、最も大きな符号量が割り当てられているスライスの画像データを小領域単位に分割し、スライス符号化順序決定部１２により決定された符号化順序にしたがって最も大きな符号量が割り当てられているスライス内の複数の小領域を順番に出力してから、スライス符号化順序決定部１２により決定された符号化順序にしたがって残りのスライスを順番に出力する。
図７の例では、符号化対象のピクチャの画像データを４つのスライス（１スライス目〜４スライス目）に分割するとともに、４スライス目を２つの小領域（４スライス目〜５スライス目）に分割し、４スライス目→５スライス目→２スライス目→１スライス目→３スライス目の順番で出力する。

スライス符号化部１４は、図１のスライス符号化部５と同様に、スライス分割部１３からスライスの画像データが出力される毎に、符号量割当部１１により決定された当該スライスに対する割当符号量を基準にして、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成する。
スライス符号化部１４は、各スライスの符号化ストリームを生成する毎に、その符号化ストリームを符号化ストリーム送出部６に出力するとともに、当該スライス内の各ブロックにおける符号化ストリームの符号量を符号量割当部１１に通知する。
符号化ストリーム送出部６は、スライス符号化部１４から符号化ストリームを受けると、その符号化ストリームを送出する。

符号量割当部１１は、スライス符号化部５からスライス内の各ブロックにおける符号化ストリームの符号量の通知を受けると、符号化対象のピクチャ内の全てのスライスの符号化が完了していれば、符号化対象のピクチャに対する符号化処理を終了するが、符号化対象のピクチャ内の全てのスライスの符号化が完了していなければ、図１の符号量割当部２と同様に、スライス符号化部１４から通知された符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する。
即ち、上記の式（２）を演算することで、各スライスに割り当てている符号量を更新する。

図８は図６の画像符号化装置が符号化を行った場合の符号化遅延の一例を示す説明図である。
この場合、各スライスの符号量をピクチャの全体に割り当てられている符号量の１０／８０、２０／８０、１０／８０、２１／８０、１９／８０となるように制御するが、スライス符号化順序決定部３により決定された符号化順序（４スライス目→５スライス目→２スライス目→１スライス目→３スライス目）で符号化を行った場合の符号化遅延を示している。
最も大きな符号量が割り当てられているスライスを更に細かく分割することにより、符号化による遅延を、１スライスを更に分割した小領域の単位まで低減することができるため、更に、符号化開始から送出終了までの時間を低減することが可能になる。

以上で明らかなように、この実施の形態２によれば、最も大きな符号量を割り当てるスライスについては、そのスライス内の各小領域に割り当てる符号量を決定する符号量割当部１１と、符号量割当部１１により割当符号量が決定されたスライス内の小領域について、符号量が大きい小領域から順番に符号化して、符号量が小さい小領域を後に符号化を行う符号化順序を決定するスライス符号化順序決定部１２と、画像蓄積部１に蓄積されている画像データをスライス単位に分割するとともに、最も大きな符号量が割り当てられているスライスの画像データを小領域単位に分割し、スライス符号化順序決定部１２により決定された符号化順序にしたがって最も大きな符号量が割り当てられているスライス内の複数の小領域を順番に出力してから、スライス符号化順序決定部１２により決定された符号化順序にしたがって残りのスライスを順番に出力するスライス分割部１３とを設け、スライス符号化部１４が、スライス分割部１３からスライスの画像データが出力される毎に、符号量割当部１１により決定された当該スライス又は小領域に対する割当符号量を基準にして、そのスライス又は小領域の画像データを符号化することで、その画像データの符号化ストリームを生成するように構成したので、上記実施の形態１と同様の効果を奏するほか、１スライスを更に分割した小領域の単位まで、符号化遅延を低減することができる効果を奏する。
また、符号化遅延を低減することにより、送出開始のタイミングが早くなり、その結果として、符号化開始から送出終了までの時間を低減することが可能になる。

実施の形態３．
図９はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
複雑度算出部２１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、符号化対象のピクチャの各ブロックにおける複雑度を算出する処理を実施する。なお、複雑度算出部２１は複雑度算出手段を構成している。

符号量割当部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、複雑度算出部２１により算出された複雑度に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定する処理を実施する。
即ち、符号量割当部２２は符号化対象のピクチャの各部分領域において、複雑度算出部２１により算出された複雑度が高いブロックに対応する部分領域ほど、大きな符号量を割り当てる決定を行う。
また、符号量割当部２２はスライス符号化順序決定部３により決定された符号化順序が先のスライスの画像データがスライス符号化部５により符号化されて符号化ストリームが生成されると、その符号化ストリームの符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する処理を実施する。
なお、符号量割当部２２は割当符号量決定手段を構成している。

図９の例では、画像符号化装置の構成要素である画像蓄積部１、複雑度算出部２１、符号量割当部２２、スライス符号化順序決定部３、スライス分割部４、スライス符号化部５及び符号化ストリーム送出部６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、画像蓄積部１、複雑度算出部２１、符号量割当部２２、スライス符号化順序決定部３、スライス分割部４、スライス符号化部５及び符号化ストリーム送出部６の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１０はこの発明の実施の形態３による画像符号化装置の処理内容を示すフローチャートである。

次に動作について説明する。
画像蓄積部１は、上記実施の形態１と同様に、動画像における１ピクチャ分の画像データを入力する毎に、その画像データを蓄積する（ステップＳＴ１１）。
複雑度算出部２１は、符号化対象のピクチャの各ブロックにおける複雑度を算出する（ステップＳＴ１２）。
各ブロックの複雑度は、例えば、ブロック毎に２次元ＤＣＴを用いて算出する。これは動画像の符号化を行う際に、ＤＣＴを用いて符号化が行われることを鑑みた算出方法である。
また、ブロックに隣接する画素との差分値や、ブロック内の画素の分散値などから算出するようにしてもよい。また、１ピクチャ前の画像データとの差分値から算出するようにしてもよい。

符号量割当部２２は、複雑度算出部２１が符号化対象のピクチャの各ブロックにおける複雑度を算出すると、その複雑度に応じて、そのピクチャの各スライスに割り当てる符号量を決定する（ステップＳＴ１３）。
即ち、符号量割当部２２は、符号化対象のピクチャの各部分領域において、複雑度算出部２１により算出された複雑度が高いブロックに対応する部分領域ほど、大きな符号量を割り当てる決定を行う。

具体的には、下記の式（３）を演算することで、符号化対象のピクチャの各スライスに割り当てる符号量を決定する。

n・SLICEallot・code：符号化対象のピクチャのｎスライス目に割り当てられる符号量
n・SLICEcomp ：ｎスライス目に含まれているブロックの複雑度の総和
PICTUREcomp ：ピクチャにおける全ブロックの複雑度の総和
PICTUREallot・code：符号化対象のピクチャの全体に割り当てられる符号量

ここで、図１１は符号量割当部２２による符号量の割当例を示す説明図である。
図１１では、ピクチャを４つのスライスに分割する場合において、１スライス目から４スライス目までの複雑度が、“１０”、“２０”、“１０”、“４０”である例を示している。
例えば、１スライス目に含まれている各ブロックの複雑度は“１”、“２”、“２”、“１”、“２”、“２”であるため、１スライス目の複雑度は“１０”である。
この場合、符号量割当部２２が上記の式（３）を演算することで、符号化対象の１スライス目から４スライス目に割り当てる符号量が、“１０”、“２０”、“１０”、“４０”になる。符号化対象の１スライス目から４スライス目に割り当てる符号量の割合は、“１０／８０”、“２０／８０”、“１０／８０”、“４０／８０”になる。
図１１では、ピクチャを４つのスライスに分割している例を示しているが、これに限るものではなく、２分割や３分割など４分割以外の分割でもよい。

スライス符号化順序決定部３は、符号量割当部２２が符号化対象のピクチャの各スライスに割り当てる符号量を決定すると、上記実施の形態１と同様に、その符号量が大きいスライスの画像データから順番に符号化して、符号量が小さいスライスの画像データを後に符号化を行う符号化順序を決定する（ステップＳＴ１４）。
図１１の例では、符号量の大きさが、４スライス目＞２スライス目＞１スライス目＝３スライス目であるため、４スライス目→２スライス目→１スライス目→３スライス目の順番に符号化を行う符号化順序を決定する。

スライス分割部４は、スライス符号化順序決定部３が符号化順序を決定すると、上記実施の形態１と同様に、画像蓄積部１に蓄積されている画像データ（符号化対象のピクチャの画像データ）をスライス単位に分割し、スライス符号化順序決定部３により決定された符号化順序にしたがって各スライスの画像データを順番に出力する。
図１１の例では、符号化対象のピクチャの画像データを４つのスライスに分割し、４スライス目→２スライス目→１スライス目→３スライス目の順番で出力する。

スライス符号化部５は、スライス分割部４からスライスの画像データが出力される毎に、符号量割当部２２により決定された当該スライスに対する割当符号量を基準にして、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成する（ステップＳＴ１５）。
即ち、スライス符号化部５は、上記実施の形態１と同様に、当該スライスにおける符号化ストリームの符号量が、符号量割当部２２により決定された当該スライスに対する割当符号量と一致するように、そのスライスの画像データを符号化することで、その画像データの符号化ストリームを生成する。
スライス符号化部５は、各スライスの符号化ストリームを生成する毎に、その符号化ストリームを符号化ストリーム送出部６に出力するとともに、その符号化ストリームの符号量を符号量割当部２に通知する。
符号化ストリーム送出部６は、スライス符号化部５から符号化ストリームを受けると、その符号化ストリームを送出する（ステップＳＴ１６）。

符号量割当部２２は、スライス符号化部５から符号化ストリームの符号量の通知を受けると、図１の符号量割当部２と同様に、符号化対象のピクチャ内の全てのスライスの符号化が完了していれば、符号化対象のピクチャに対する符号化処理を終了するが、符号化対象のピクチャ内の全てのスライスの符号化が完了していなければ（ステップＳＴ１７）、スライス符号化部５から通知された符号量を考慮して、未だ画像データの符号化が行われていないスライスに割り当てている符号量を更新する（ステップＳＴ１８）。
具体的には、上記の式（２）を演算することで、各スライスに割り当てている符号量を更新する。

例えば、４スライス目の画像データが符号化されて符号化ストリームが生成された段階では、符号化対象のピクチャの全体に割り当てられている符号量が“８０”、４スライス目の符号化ストリームの符号量が“３２”であるとすると、ピクチャにおける残りの符号量remain・PICTUEcodeが４８（＝８０−３２）、残りのスライスに割り当てられている符号量が４０（＝８０−４０）となるため、２スライス目、１スライス目、３スライス目に割り当てられている符号量ｎ・SLICErenew・codeは、“２４”、“１２”、“１２”に更新される。

以上で明らかなように、この実施の形態３によれば、符号化対象のピクチャの各ブロックにおける複雑度を算出する複雑度算出部２１を設け、符号量割当部２２が、複雑度算出部２１により算出された複雑度に応じて、符号化対象のピクチャの各スライスに割り当てる符号量を決定するように構成したので、上記実施の形態１と同様の効果を奏するほかに、シーンチェンジ等で前後の画像が類似していない場合でも、符号化画質の劣化を低減することができる効果を奏する。

この実施の形態１〜３では、画像符号化装置の符号化方式として、例えば、Ｈ．２６４方式を採用することを想定しているが、Ｈ．２６４方式では、画像フレーム内のスライスを任意の順序で可変長符号化することが可能であり、Ａｒｂｉｔｒａｒｙ Ｓｌｉｃｅ Ｏｒｄｅｒ（任意スライス順序）と呼ばれている。
このため、画像復号装置がＡｒｂｉｔｒａｒｙ Ｓｌｉｃｅ Ｏｒｄｅｒに対応していれば、問題なくスライスの順序を変更して符号化処理を行うことが可能である。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 画像蓄積部（画像蓄積手段）、２，１１，２２ 符号量割当部（割当符号量決定手段）、３，１２ スライス符号化順序決定部（符号化順序決定手段）、４，１３ スライス分割部（画像分割手段）、５，１４ スライス符号化部（符号化手段）、６ 符号化ストリーム送出部（送出手段）、２１ 複雑度算出部（複雑度算出手段）。

Claims (6)

1. 動画像における１ピクチャ分の画像データを蓄積する画像蓄積手段と、既に画像データが符号化されているピクチャの各部分領域における符号化ストリームの符号量に応じて、符号化対象のピクチャの各部分領域に割り当てる符号量を決定する割当符号量決定手段と、上記割当符号量決定手段により決定された符号量が大きい部分領域の画像データから順番に符号化して、符号量が小さい部分領域の画像データを後に符号化を行う符号化順序を決定する符号化順序決定手段と、上記画像蓄積手段に蓄積されている画像データを部分領域単位に分割し、上記符号化順序決定手段により決定された符号化順序にしたがって各部分領域の画像データを順番に出力する画像分割手段と、上記画像分割手段から部分領域の画像データが出力される毎に、上記割当符号量決定手段により決定された上記部分領域に対する割当符号量を基準にして、上記部分領域の画像データを符号化することで、上記画像データの符号化ストリームを生成する符号化手段と、上記符号化手段により生成された符号化ストリームを送出する送出手段とを備えた画像符号化装置。
2. 割当符号量決定手段は、符号化対象のピクチャの各部分領域に割り当てる符号量の割合が、符号化対象のピクチャより１ピクチャ前のピクチャの各部分領域における符号化ストリームの符号量の割合と一致するように、符号化対象のピクチャの各部分領域に割り当てる符号量を決定することを特徴とする請求項１記載の画像符号化装置。
3. 割当符号量決定手段は、最も大きな符号量を割り当てる部分領域については、当該部分領域内の複数の小領域に割り当てる符号量を決定し、
   符号化順序決定手段は、上記部分領域内の複数の小領域について、符号量が大きい小領域から順番に符号化して、符号量が小さい小領域を後に符号化を行う符号化順序を決定し、
   画像分割手段は、画像蓄積手段に蓄積されている画像データを部分領域単位に分割するとともに、最も大きな符号量が割り当てられている部分領域の画像データを小領域単位に分割し、上記符号化順序決定手段により決定された符号化順序にしたがって最も大きな符号量が割り当てられている部分領域内の複数の小領域を順番に出力してから、上記符号化順序決定手段により決定された符号化順序にしたがって残りの部分領域を順番に出力する
   ことを特徴とする請求項１または請求項２記載の画像符号化装置。
4. 動画像における１ピクチャ分の画像データを蓄積する画像蓄積手段と、符号化対象のピクチャの各ブロックにおける複雑度を算出する複雑度算出手段と、上記複雑度算出手段により算出された複雑度に応じて、符号化対象のピクチャの各部分領域に割り当てる符号量を決定する割当符号量決定手段と、上記割当符号量決定手段により決定された符号量が大きい部分領域の画像データから順番に符号化して、符号量が小さい部分領域の画像データを後に符号化を行う符号化順序を決定する符号化順序決定手段と、上記画像蓄積手段に蓄積されている画像データを部分領域単位に分割し、上記符号化順序決定手段により決定された符号化順序にしたがって各部分領域の画像データを順番に出力する画像分割手段と、上記画像分割手段から部分領域の画像データが出力される毎に、上記割当符号量決定手段により決定された上記部分領域に対する割当符号量を基準にして、上記部分領域の画像データを符号化することで、上記画像データの符号化ストリームを生成する符号化手段と、上記符号化手段により生成された符号化ストリームを送出する送出手段とを備えた画像符号化装置。
5. 割当符号量決定手段は、符号化対象のピクチャの各部分領域において、複雑度算出手段により算出された複雑度が高いブロックに対応する部分領域ほど、大きな符号量を割り当てる決定を行うことを特徴とする請求項４記載の画像符号化装置。
6. 割当符号量決定手段は、符号化順序決定手段により決定された符号化順序が先の部分領域の画像データが符号化手段により符号化されて符号化ストリームが生成されると、上記符号化ストリームの符号量を考慮して、未だ画像データの符号化が行われていない部分領域に割り当てている符号量を更新することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像符号化装置。

Images