JP2007129662A - 画像符号化装置 - Google Patents

Abstract

【課題】高品質で圧縮率の高い圧縮画像データを出力する。
【解決手段】圧縮貢献度評価部８は画像符号化における要素機能の処理ブロックの圧縮貢献度を評価し、重点機能決定部９は評価された圧縮貢献度に基づき重点的に処理すべき要素機能の処理ブロックを決定し、動作制御部１０は、決定された重点的に処理すべき要素機能の処理ブロックであるか否かに応じて、各要素機能の処理ブロックの処理実行回数又は演算アルゴリズムを制御する。
【選択図】図１

Description

この発明は画像の圧縮率や画質の向上のために符号化の処理構成を動的に変更する画像符号化装置に関するものである。

特許文献１に示される従来の画像符号化装置は、２パス符号化の手法を用いてシーンの内容に応じた符号化パラメータに従って符号化を行うことで、データサイズを大きくすることなく見やすい復号画像を提供するものである。

また、特許文献２に示される従来の画像符号化装置は、論理の再構成が可能なハードウェアを用いて、入力されるデータによってハードウェアの論理を再構成し、限定されたリソースを有効に活用して処理を高速化するものである。

特開２００１−２４５３０３号公報（要約、解決手段） 特開２０００−１０２００５号公報（要約、解決手段）

上記特許文献１に示される従来の画像符号化装置は、動き補償予測、直交変換、量子化、エントロピー符号化といった符号化の各要素機能におけるパラメータを変更する手段は備えているが、処理実行回数や演算アルゴリズムを動的に変更する機能は備えておらず、また、入力映像シーンに応じてどの要素機能を重点的に実行するかといった決定も行わないため、入力映像の種類によっては符号化パラメータの最適化を実現できないという課題があった。

また、上記特許文献１に示される従来の画像符号化装置は、各要素機能の演算量を動的に制御する手段を持たないため、プロセッサタスク、メモリ、供給電力といったハードウェアリソースの使用量が低く制限された状況やそれらが変動するような状況において、安定した品質の復号画像を提供することは困難であるという課題があった。

さらに、上記特許文献２に示される画像符号化装置は、動き補償予測、直交変換、量子化、エントロピー符号化といった要素機能毎の圧縮性能評価する手段を持たないため、圧縮率や画質の向上のために符号化の処理構成を動的に変更することは困難という課題があった。

この発明は上記のような課題を解決するためになされたもので、ＭＰＥＧ−２（Moving Picture Experts Group-2）やＭＰＥＧ−４／ＡＶＣ（Moving Picture Experts Group-4/Advanced Video Coding）等の規格に準拠した画像符号化装置において、使用できるハードウェアリソースが制限されたり又は変動するような状況においても、高品質で圧縮率の高い圧縮画像データを出力できる画像符号化装置を得ることを目的とする。

この発明に係る画像符号化装置は、画像符号化における要素機能の処理ブロックの圧縮貢献度を評価する圧縮貢献度評価部と、該圧縮貢献度評価部により評価された圧縮貢献度に基づき重点的に処理すべき要素機能の処理ブロックを決定する重点機能決定部と、該重点機能決定部により決定された重点的に処理すべき要素機能の処理ブロックであるか否かに応じて、各要素機能の処理ブロックの処理実行回数又は演算アルゴリズムを制御する動作制御部とを備えたものである。

この発明によれば、使用できるハードウェアリソースが制限されたり又は変動するような状況においても、高品質で圧縮率の高い圧縮画像データを出力できるという効果が得られる。

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置の構成を示すブロック図である。この画像符号化装置は、動き補償予測部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部５、逆直交変換部６、ループ内フィルタ部７、圧縮貢献度評価部８、重点機能選択部９、動作制御部１０及びマルチパス制御部１１ａ，１１ｂ，１１ｃ，１１ｄを備えている。

動き補償予測部１は入力画像である現在の符号化対象ピクチャと過去に符号化したピクチャとの相関、又は符号化対象のピクチャ内における画素相関を算出することによって、ピクチャ間又はピクチャ内における画像変動量を測定し、該変動量よりリファレンス画像を生成し、リファレンス画像と現在の符号化ピクチャとの差分画像を出力する。直交変換部２は動き補償予測部１における出力画像に対して、ＤＣＴ（Discrete Cosine Transform）やアダマール変換等の直交変換を行い、直交変換の結果より得られる変換係数データを出力する。

量子化部３は直交変換部２より出力される変換係数データに対して、適切な量子化スケールにて量子化を行い、エントロピー符号化部４は量子化部３より出力される量子化された変換係数データを、符号化を制御するためのヘッダ情報等と共に可変長符号化して外部に出力する。

逆量子化部５は量子化部３より出力される量子化された変換係数データに対して、量子化部３と同一の量子化スケールにて逆量子化を行い、逆直交変換部６は逆量子化されたデータに対して、直交変換部２に対応した逆直交変換演算を行い、ループ内フィルタ部７は、逆直交変換されたデータに対して、ブロックノイズ除去等を目的としたフィルタ処理を行う。

なお、動き補償予測部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部５、逆直交変換部６、ループ内フィルタ部７の各ブロックにおける基本動作は、ＭＰＥＧ−２やＭＰＥＧ−４／ＡＶＣ等の規格に従う。

圧縮貢献度評価部８は、動き補償予測部１、直交変換部２、量子化部３、エントロピー符号化部４及びループ内フィルタ部７の各要素機能の処理ブロックの圧縮貢献度を評価する。重点機能決定部９は圧縮貢献度評価部８の評価結果を用いて、どの要素機能の処理ブロックが最も圧縮率の向上に寄与するかを特定又は推定することで、重点的に処理すべき要素機能の処理ブロックを決定する。

動作制御部１０は重点機能決定部９の判断に応じて各要素機能の処理ブロックの処理実行回数や演算アルゴリズムを制御する。マルチパス制御部１１ａ，１１ｂ，１１ｃ，１１ｄは、動作制御部１０からの制御情報に従って、それぞれ前段に配置された動き補償予測部１、直交変換部２、量子化部３及びループ内フィルタ部７の要素機能の処理ブロックの処理実行回数を実現する。

圧縮貢献度評価部８は、例えば次式（１）を用いて算出される圧縮貢献度指数１によって各要素機能の圧縮貢献度を評価する。
圧縮貢献度指数１＝Ｃ０×エントロピー削減量／処理負荷＋Ｃ１ （１）
ここで、Ｃ０及びＣ１は要素機能毎に設定する定数とする。処理負荷は各要素機能の処理ブロックの１回当りの処理実行に要する演算時間、プロセッサタスク等のハードウェアリソース量、供給電力量等を反映した数値とする。エントロピー削減量は、例えば各要素機能の処理ブロックにおける入力データと出力データとのエントロピーの差分値とする。

一般的にエントロピーは次の式（２）のように定義される。
エントロピー＝−ΣＰ（Ｘ）×ｌｏｇ₂Ｐ（Ｘ） （２）
ここで、Ｘはデータ中のシンボルを表し、Ｐ（Ｘ）はシンボルＸの発生確率を表し、上記式（２）により、全てのシンボルＸに対しての積和演算を行う。なお、Ｐ（Ｘ）は符号化対象となる画像データの厳密な発生確率でなくとも、過去の統計データによる予測値等で代用しても良い。また、エントロピー削減量という尺度を用いる代わりに、各要素機能の処理ブロックの前後におけるデータサイズの差や各要素機能の処理ブロックの前後におけるデータの分散値の変化量等を用いても良い。

各要素機能の処理ブロックの処理において、データ値の歪みを伴う場合は圧縮貢献度に歪みを加味することが望ましい。その場合、圧縮貢献度として次の式（３）に示す圧縮貢献度指数２の尺度を用いることができる。
圧縮貢献度指数２＝（Ｃ０×エントロピー削減量）／（処理負荷＊歪み量）＋Ｃ１
（３）
歪みは、例えば直交変換部２や量子化部３において、演算誤差や丸め誤差として発生する。それらの誤差を絶対値やべき乗値で表した値を歪み量として定義する。

なお、図１では、動き補償予測部１、直交変換部２、量子化部３、エントロピー符号化部４、ループ内フィルタ部７の５つの要素機能の処理ブロックをエントロピー情報や歪情報の入手元にしているが、必ずしもこの５種類に限定する必要はない。例えば、動き補償予測部１のみをエントロピー情報の入手元とするようなデータパス構成とし、他の要素機能の処理ブロックの圧縮貢献度は、動き補償予測部１の圧縮貢献度から相対的に決定した値としても良い。

重点機能決定部９は、圧縮貢献度評価部８により算出された圧縮貢献度を比較することで、圧縮率向上に寄与する要素機能の処理ブロックを特定し、該当するものを重点機能として定義する。ここで定義する重点機能は１つに限定する必要はない。

重点機能決定部９は重点機能の決定にあたって入力画像の画像特徴情報も利用する。利用する画像特徴情報は、画像信号の時空間周波数特性情報、フレーム間やフィールド間の画素差分値あるいは隣接画素間の差分値等である。フレーム間やフィールド間の差分値がゼロ又は微小値の場合には、高精度の動き補償予測演算を実施せずとも高い予測性能が得られると予想されるため、動き補償予測部１を重点機能に定めて多くのハードウェアリソースを割り当てるよりも、直交変換部２や量子化部３等の処理を重点的に実施したほうがリソース投入効果は高いと判断される。

また、入力画像の空間周波数が低い場合には、直交変換部２以降の量子化部３やエントロピー符号化部４で扱うデータ量は少ないことが予想されるため、これらの要素機能の処理ブロックを重点機能に定めて多くのハードウェアリソースを投入する効果は低いと判断される。このように、画像特徴情報を用いて、各要素機能の処理ブロックを重点機能としたときの効果を事前に判断することで、重点機能の選択を最適化することができる。

図２は重点機能決定部９の処理を示すフローチャートである。まず、ステップＳＴ１において、重点機能決定部９は圧縮貢献度評価部８により算出された各要素機能の処理ブロックの圧縮貢献度指数を入力する。次にステップＳＴ２において、重点機能決定部９は入力画像の画像特徴情報を用いて圧縮貢献度指数を補正する。この補正は例えば入力画像のフレーム間差分値やフィールド間差分値が小さい場合には、動き補償予測部１の圧縮貢献度指数を小さくし、入力画像の空間周波数が低い場合には、量子化部３やエントロピー符号化部４の圧縮貢献度指数を小さくするというような方針に従って実施する。

次にステップＳＴ３において、重点機能決定部９は各要素機能の処理ブロックの圧縮貢献度指数を比較し、ステップＳＴ４において、重点機能決定部９はその値が最大のものを重点機能として定める。

動作制御部１０は各要素機能の処理ブロックにおける処理実行回数や演算アルゴリズムを重点機能か否かの分類に応じて変更して、各要素機能の処理ブロックに制御情報として出力する。

図３及び図４は動作制御部１０により処理構成を動的に変換した例を示すである。図３は動き補償予測部１が重点機能として定義された場合を示し、動き補償予測の処理実行回数を３回に増やしている。また、図４は量子化部３が重点機能として定義された場合を示し、量子化の処理実行回数を３回に増やしている。各要素機能の処理ブロックでは、実行回数の増えた回数だけマルチパスエンコードによる処理を行う。ここでは各回の処理で異なる条件の符号化処理を行うことが重要である。

以下、実行回数の変更に伴う各要素機能における処理内容の変更例を示す。
動き補償予測部１における処理変更例１として、動作制御部１０からの制御情報により実行回数に応じて動き探索エリアを拡張する。例えば、１回目の実行では、狭いエリアの探索を行い、実行回数が２回目、３回目と進むにしたがって、より広範囲のエリアを探索する。

また、動き補償予測部１における処理変更例２として、動作制御部１０からの制御情報により実行回数に応じて予測モードの種類を増加していく。例えば、１回目の実行では限定した予測モードで動き補償の評価を行い、２回目、３回目と進むにしたがって予測モードの種類を増やしていく。ここで、予測モードとは、動き補償予測の実施単位となるブロックサイズの種類や、予測方向の種類（前方向予測、後方向予測、双方向予測）や、フレーム予測やフィールド予測等の予測方法の種類の分類を表す。

さらに、動き補償予測部１における処理変更例３として、動作制御部１０からの制御情報により実行回数に応じて演算精度を上昇させていく。例えば、実行回数が１回の場合は、ブロックマッチングにおいて評価する画素ポジションを大幅に削減し、実行回数が増えるにしたがって、評価する画素ポジションを増やしていく。

直交変換部２における処理変更例１として、動作制御部１０からの制御情報により実行回数に応じて出力する直交変換係数の数を変更する。例えば、実行回数が１回の場合は低周波数成分のみ出力し、実行回数が２回の場合は低周波数成分と中周波数成分を出力し、実行回数が３回の場合は全周波数成分を出力する。

また、直交変換部２における処理変更例２として、動作制御部１０からの制御情報により実行回数に応じて係数の有効性の評価の実施有無を制御する。例えば実行回数が２回以上の場合は、１回の処理で扱う変換係数を限定したうえで、電力が低い係数をゼロ係数に置換する処理を交えた直交変換を実行する。

量子化部３における処理変更例１として、動作制御部１０からの制御情報により実行回数毎に評価する量子化スケールの種類を増やしていく。例えば、実行回数が３回の場合、３パターンの量子化スケールを用いて量子化演算を実施し、その中からレート歪み特性が最適な量子化スケール値を選択する。

また、量子化部３における処理変更例２として、動作制御部１０からの制御情報により実行回数に応じて丸め最適化の実施有無を制御する。例えば、実行回数が１回の場合は量子化丸めを四捨五入等の単純な方法によって実施し、２回以上の場合は、１回の処理で扱う変換係数の数を限定したうえで、各変換係数を上位の量子化代表値に丸めた場合と下位の量子化代表値に丸めた場合の各々の符号長と歪み量を評価して、符号長と歪み量がともに小さい方向に量子化丸めを実施する。

ループ内フィルタ部７における処理変更例として、動作制御部１０からの制御情報により実行回数毎に評価するフィルタ制御パラメータの種類を増やしていく。例えば、実行回数が３回の場合、３パターンのフィルタ演算パラメータを用いてフィルタリング処理を実施し、その中から歪みが最小となるパラメータを選択する。

なお、ここまでに示した例では、各要素機能の処理ブロックの分類は重点機能か否かの２種類であったが、さらに多数のパターンに分類することで、より柔軟な処理構成をとることができる。例えば、重点機能決定部９が重点機能、通常機能、簡易化対象機能の３つを定義し、簡易化対象機能については、動作制御部１０からの制御情報により必要最小限の処理のみ実施するような構成も可能である。

例えば、入力画像のフレーム間又はフィールド間の差分値がゼロの場合には、動き補償予測部１を簡易化対象機能として定義することで、動作制御部１０からの制御情報により動き探索等の演算アルゴリズムを大幅に簡略化し、これによって節約されるハードウェアリソースや実行時間を量子化等の別機能に投入することによって圧縮率の向上を図ることができる。

以下に演算アルゴリズムを簡略化する例を示す。
動き補償予測部１における簡略化例として、動作制御部１０からの制御情報により予測モード限定し、動き探索エリアを縮小（探索評価点を削減）する。

直交変換部２における簡略化例として、動作制御部１０からの制御情報により出力する変換係数を低周波数成分の一部に限定する。

量子化部３における簡略化例として、動作制御部１０からの制御情報により、量子化スケールの算出を行わず、過去に計算した量子化スケールを使用したり、また、出力する変換係数（量子化後の係数）を低周波数の一部のものに限定する。

ループ内フィルタ部７おける簡略化例として、動作制御部１０からの制御情報によりフィルタ処理を実施しない、又はフィルタ制御パラメータは基本値のままフィルタ処理を実施する。

図５は処理構成及び演算アルゴリズムを動的に制御した例を示す図であり、ここでは、動き補償予測部１が重点機能、通常機能、簡易化対象機能のどの区分に定義されるかに応じて各要素機能の処理ブロックの処理内容を制御する例を示している。

すなわち、動き補償予測部１が簡易化対象処理の場合には、動作制御部１０からの制御情報により動き補償予測部１の動き探索を省略又は探索点を数点に限定し、動作制御部１０からの制御情報により量子化部３の実行回数を複数回として複数の量子化スケールを評価し、動作制御部１０からの制御情報によりエントロピー符号化部４は算術符号のアルゴリズムを実行し、動作制御部１０からの制御情報により、ループ内フィルタ部７はフィルタ制御パラメータの最適化アルゴリズムを実行する。

また、動き補償予測部１が通常処理の場合には、動作制御部１０からの制御情報により動き補償予測部１の実行回数を１回として中範囲のエリアを探索し、動作制御部１０からの制御情報により量子化部３は１つの量子化スケールのみを評価し、動作制御部１０からの制御情報によりエントロピー符号化部４は算術符号のアルゴリズムを実行し、動作制御部１０からの制御情報により、ループ内フィルタ部７はフィルタ制御パラメータの最適化アルゴリズムを実行する。

さらに、動き補償予測部１が重点処理の場合には、動作制御部１０からの制御情報により動き補償予測部１の実行回数を複数回として広範囲のエリアを探索し、動作制御部１０からの制御情報により量子化部３は１つの量子化スケールのみを評価し、動作制御部１０からの制御情報によりエントロピー符号化部４は固定可変長符号のアルゴリズムを実行し、動作制御部１０からの制御情報により、ループ内フィルタ部７はフィルタ制御パラメータの最適化アルゴリズムを省略する。

また、この実施の形態１では、各要素機能の処理ブロックからの過去の符号化情報や符号化前に実行する仮符号化の情報を用いることによって重点機能の決定をさらに効率良く実施することができる。例えば、圧縮貢献度評価部８が動き補償予測部１からの過去の符号化や仮符号化における動きベクトル情報を参照して入力映像の動きの複雑さを評価し、重点機能決定部９が評価された入力映像の動きの複雑さに基づき動き補償予測部１を重点機能として定義し、動作制御部１０が重点機能としての動き補償予測部１の最適な処理実行回数や演算アルゴリズムを特定する。これにより、動きが複雑であるにも関わらず、動き補償予測部１が簡易化対象機能として定義されるといった誤判断を防止することができる。

図６はこの発明の実施の形態１による画像符号化装置の他の構成を示すブロック図である。図６に示す画像符号化装置は、図１に示す画像符号化装置に歪み算出部１２を追加したものであり、その他の構成は図１に示す構成と同じである。歪み算出部１２は入力画像と逆直交変換部６からの復号画像との画素の差分をとって符号化の総歪み量を算出する。

圧縮貢献度評価部８は、歪み算出部１２により算出された符号化の総歪み量に基づき符号化装置全体又は一部の要素機能の処理ブロックの圧縮貢献度を評価し、重点機能決定部９は評価された圧縮貢献度に基づいて重点機能として定義する要素機能の処理ブロックを増減させ、動作制御部１０は、圧縮貢献度が高く総歪み量が小さい場合には、各要素機能の処理ブロックの処理を単純化させ、圧縮貢献度が低く総歪み量が大きい場合には、各要素機能の処理ブロックの処理を複雑化させる。

このように、過去の符号化や仮符号化の結果より、符号化処理全体で発生する総歪み量を推定することで、符号化装置全体又は一部の要素機能の処理ブロックの圧縮性能を把握することが可能となり、高い圧縮性能を見込めない画像に対しては重点機能を増やして、圧縮性能を回復するといったことも可能となる。

また、この実施の形態１では、動作制御部１０が、予め画像符号化装置を適用するアプリケーションの種類や用途を把握しておき、そのアプリケーションの種類や用途に応じて各要素機能の動作方針を決定することもできる。例えば、テレビ会議システムや固定監視システムといった動きの少ない映像を扱うことが多いアプリケーションの場合には、動作制御部１０の制御情報により動き補償予測部１に対して、過多のハードウェアリソースを投入することは適切ではない。従って、動作制御部１０がハードウェアリソースの割り当てが極端にならないよう、アプリケーションに応じた動作方針を設定することも重要となる。

動作制御部１０が各要素機能の処理ブロックの処理実行回数や演算アルゴリズムを動的に変更する際には、予め保持しているハードウェアリソース量や実行時間の制約を考慮することが重要となる。複数の処理を並列実行する装置構成の場合、プロセッサエレメントの数や同時供給できる電力等によって各処理の処理実行回数や使用可能な演算アルゴリズムが制限され、また、入力した映像をリアルタイムに圧縮する符号化装置の場合は要素機能の処理ブロック毎の実行時間や装置全体の総実行時間に制約が課せられる。従って、動作制御部１０には、ハードウェアリソース量や実行時間の制約を管理する機構を装備し、制約違反のないような動作制御を各要素機能に対して行う。また、万一違反する場合に備え、それを回避する目的で各要素機能の処理ブロックの処理実行回数や演算アルゴリズムを調整する手段を装備する。

以上のように、この実施の形態１によれば、圧縮貢献度評価部８が各要素機能の処理ブロックの圧縮貢献度を評価し、重点機能決定部９が圧縮貢献度評価部８の評価結果に基づき重点的に処理すべき要素機能の処理ブロックを決定し、動作制御部１０が重点機能決定部９の判断に応じて各要素機能の処理ブロックの処理実行回数や演算アルゴリズム制御することにより、使用できるハードウェアリソースが制限されたり又は変動するような状況においても、高品質で圧縮率の高い圧縮画像データを出力できるという効果が得られる。

実施の形態２．
図７はこの発明の実施の形態２による画像処理装置の構成を示すブロック図である。図７に示す画像処理装置は、上記実施の形態１の図１に示す画像処理装置のマルチパス制御部１１ａ，１１ｂ，１１ｃ，１１ｄを、それぞれ汎用エレメント部２０ａ，２０ｂ，２０ｃ，２０ｄに置き換えたものであり、その他の構成は図１に示す構成と同じである。

上記実施の形態１では、重点機能決定部９による重点機能か否かの決定に応じて、動作制御部１０からの制御情報により、各要素機能の処理ブロックの処理実行回数や演算アルゴリズムを動的に制御しているが、この実施の形態２では、重点機能決定部９による重点機能か否かの区別に応じて、動作制御部１０からの制御情報により、各要素機能の処理ブロックの実行ユニット数や演算性能を動的に制御する。そこで、この実施の形態２では、上記実施の形態１のマルチパス制御部１１の代わりに汎用エレメント部２０（汎用プロセッサエレメント）を１つ以上用意し、その汎用エレメント部２０にて各要素機能の処理ブロックの重点機能の実行を支援するための処理を行う。

例えば、動き補償予測部１が重点機能の場合、動作制御部１０からの制御情報により、動き補償予測部１の演算を高度化するための処理（探索エリアの拡張や予測モードの追加演算等）を汎用エレメント部２０ａにて実行し、より好条件の下で最適な予測結果が算出できるように支援する。あるいは、汎用エレメント部２０ａ，２０ｂ，２０ｃ，２０ｄ上に重点機能の演算回路及びプログラムを複製することで、重点機能における実行ユニットを増やし、マルチパスエンコードによる処理が実行できるようにする。

汎用エレメント部２０ａ，２０ｂ，２０ｃ，２０ｄは、重点機能の種類に応じて処理内容を変える必要があるため、ソフトウェアや論理の再構成が可能なハードウェアを用いて実現される。この実施の形態２を採用することで、各要素機能の既存の処理を複数回実行したり、１つの要素機能の処理ブロック内での演算アルゴリズムを変更するだけでなく、演算性能を向上させるための演算アルゴリズムの拡張も可能となるため、上記実施の形態１よりも柔軟な処理構成を構築し、さらに高性能な符号化を実現できる利点がある。

以上のように、この実施の形態２によれば、上記実施の形態１と同様の効果が得られると共に、汎用エレメント部２０ａ，２０ｂ，２０ｃ，２０ｄが各要素機能の処理ブロックの実行ユニット数や演算性能を動的に変更することにより、さらに高性能な符号化を実現できるという効果が得られる。

実施の形態３．
図８はこの発明の実施の形態２による画像処理装置の構成を示すブロック図である。図８に示す画像処理装置は、上記実施の形態１の図１に示す画像処理装置のマルチパス制御部１１ａ，１１ｂ，１１ｃ，１１ｄを削除し、動き補償予測部１、直交変換部２、量子化部３、ループ内フィルタ部７を、それぞれ増殖可能な動き補償予測部３１、増殖可能な直交変換部３２、増殖可能な量子化部３３、増殖可能なループ内フィルタ部３７に置き換えたものであり、その他の構成は図１に示す構成と同じである。

このように、この実施の形態３では、増殖可能な動き補償予測部３１、増殖可能な直交変換部３２、増殖可能な量子化部３３、増殖可能なループ内フィルタ部３７のように、各要素機能の処理ブロックを、処理ブロック数が増殖可能なプロセッサエレメントにより構成した点が特徴であり、動作制御部１０からの制御情報により、重点機能として定義された要素機能の処理ブロックを自己増殖させることで、実行ユニット数を増やしてマルチパスエンコードを実現する。一方、重点機能でないとして定義された要素機能の処理ブロックについては、処理ブロック数を減少させる。増殖可能なプロセッサエレメントは、ソフトウェアや論理の再構成が可能なハードウェアを用いて実現される。

以上のように、この実施の形態３によれば、各要素機能の処理ブロックを増殖可能なプロセッサエレメントにより構成することにより、上記実施の形態１と同様の効果が得られる。

なお、上記実施の形態１から上記実施の形態３による画像符号化装置は、コンピュータと、このコンピュータを上記実施の形態１から上記実施の形態３における各手段として機能させるための画像符号化プログラムにより実現することも可能である。

この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態１による画像符号化装置の重点機能決定部の処理を示すフローチャートである。 この発明の実施の形態１による画像符号化装置の動作制御部により処理構成を動的に変換した例を示す図である。 この発明の実施の形態１による画像符号化装置の動作制御部により処理構成を動的に変換した例を示す図である。 この発明の実施の形態１による画像符号化装置の処理構成及び演算アルゴリズムを動的に制御した例を示す図である。 この発明の実施の形態１による画像符号化装置の他の構成を示すブロック図である。 この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態３による画像符号化装置の構成を示すブロック図である。

符号の説明

１ 動き補償予測部、２ 直交変換部、３ 量子化部、４ エントロピー符号化部、５ 逆量子化部、６ 逆直交変換部、７ ループ内フィルタ部、８ 圧縮貢献度評価部、９ 重点機能選択部、１０ 動作制御部、１１ マルチパス制御部、１２ 歪み算出部、２０ 汎用エレメント部、３１ 増殖可能な動き補償予測部、３２ 増殖可能な直交変換部、３３ 増殖可能な量子化部、３７ 増殖可能なループ内フィルタ部。

Claims (13)

1. 画像符号化における要素機能の処理ブロックの圧縮貢献度を評価する圧縮貢献度評価部と、
   該圧縮貢献度評価部により評価された圧縮貢献度に基づき重点的に処理すべき要素機能の処理ブロックを決定する重点機能決定部と、
   該重点機能決定部により決定された重点的に処理すべき要素機能の処理ブロックであるか否かに応じて、各要素機能の処理ブロックの処理実行回数又は演算アルゴリズムを制御する動作制御部とを備えた画像符号化装置。
2. 上記動作制御部により制御された要素機能の処理ブロックの処理実行回数を実現するマルチパス制御部を備えたことを特徴とする請求項１記載の画像符号化装置。
3. 上記圧縮貢献度評価部は、動き補償予測部、直交変換部、量子化部、エントロピー符号化部、ループ内フィルタ部のいずれかの要素機能の処理ブロックの圧縮貢献度を評価することを特徴とする請求項１記載の画像符号化装置。
4. 上記圧縮貢献度評価部はエントロピー削減量と処理負荷によって要素機能の処理ブロックの圧縮貢献度を評価することを特徴とする請求項１記載の画像符号化装置。
5. 上記圧縮貢献度評価部はエントロピー削減量と処理負荷と発生する歪み量によって要素機能の処理ブロックの圧縮貢献度を評価することを特徴とする請求項１記載の画像符号化装置。
6. 上記重点機能決定部は、入力画像の画像特徴情報を利用して、重点的に処理すべき要素機能の処理ブロックを決定することを特徴とする請求項１記載の画像符号化装置。
7. 上記重点機能決定部は、上記圧縮貢献度評価部による過去の符号化情報又は符号化前に実行する仮符号化の情報を利用した評価結果に基づき、重点的に処理すべき要素機能の処理ブロックを決定することを特徴とする請求項１記載の画像符号化装置。
8. 符号化処理全体で発生する総歪み量を算出する歪み算出部を備え、
   上記圧縮貢献度評価部は上記歪み算出部により算出された総歪み量によって要素機能の処理ブロックの圧縮貢献度を評価することを特徴とする請求項１記載の画像符号化装置。
9. 上記動作制御部は、使用可能なハードウェアリソースの制約を考慮して、要素機能の処理ブロックの処理実行回数又は演算アルゴリズムを変更することを特徴とする請求項１記載の画像符号化装置。
10. 上記動作制御部は、適用するアプリケーションの種類や用途を考慮して、要素機能の処理ブロックの処理実行回数又は演算アルゴリズムを変更することを特徴とする請求項１記載の画像符号化装置。
11. 要素機能の処理ブロックを、上記動作制御部により制御された処理実行回数を実現するソフトウェアや論理の再構成が可能で増殖可能なプロセッサエレメントにより構築することを特徴とする請求項１記載の画像符号化装置。
12. 画像符号化における要素機能の処理ブロックの圧縮貢献度を評価する圧縮貢献度評価部と、
    該圧縮貢献度評価部により評価された圧縮貢献度に基づき重点的に処理すべき要素機能の処理ブロックを決定する重点機能決定部と、
    該重点機能決定部により決定された重点的に処理すべき要素機能の処理ブロックであるか否かに応じて各要素機能の処理ブロックの実行ユニット数又は演算性能を制御する動作制御部とを備えた画像符号化装置。
13. 上記動作制御部により制御された要素機能の処理ブロックの実行ユニット数又は演算性能を実現するソフトウェアや論理の再構成が可能な汎用エレメント部を備えたことを特徴とする請求項１２記載の画像符号化装置。
    

Images