JP2021072510A - 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム - Google Patents

Abstract

【課題】画像の輝度値の予測精度を高めることができるようにする。【解決手段】エンコーダ１０において、所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する交流成分の予測残差を符号化する際に予測残差を調整する予測調整量を特定可能な予測調整量特定情報とを対応付けて記憶する予測調整量テーブル２１と、対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部１５と、特徴情報特定部１５により特定された特徴情報に対応する予測調整量を調整量テーブル２１の予測調整量特定情報から特定する調整量特定部１６と、を備えるように構成する。【選択図】図１

Description

本発明は、静止画像や動画像等の画像を処理する画像処理装置等に関する。

従来、画像データの容量を抑えるために画像圧縮処理が行われている。例えば、画像圧縮処理の要素技術として、交流成分予測が知られている。

交流分析予測は、画像平面上に設定されたブロックのうち、対象ブロックおよびその周辺ブロックの直流成分を参照することにより対象ブロック上の交流成分を予測する処理である。交流分析予測により予測された交流成分は、対象ブロック上に存在する子ブロックの生成に用いることができる。これについては、例えば、非特許文献１に記載されている。

交流成分予測を用いた動画圧縮においては、対象ブロックの直流成分と、その交流成分と交流成分予測によって得られた差分成分とを符号化する。

また、交流成分予測に関連する技術として、特許文献１には、水平方向・垂直方向以外の直交する交流成分についても予測することで予測精度を高める技術が開示されている。

特開２０１１−２４９９５４号公報

徳永 隆治、フラクタルと画像処理−差分力学系の基礎と応用、コロナ社、２００２

前述した画像圧縮処理では、局所的な冗長性を排除して予測精度を向上させることにより、圧縮率を上げることができる。しかしながら、例えば、画像の輪郭部分においては、局所的な冗長性の排除による予測精度の向上に限界があり、圧縮率を上げることができないことがある。

本発明は、上記事情に鑑みなされたものであり、その目的は、画像の輝度値の予測精度を向上する技術を提供することにある。

上記目的を達成するため、第１の観点に係る画像処理装置は、所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を符号化する際に、予測残差を調整する予測調整量を特定可能な予測調整量特定情報とを対応付けて記憶する調整量記憶部と、対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部と、特徴情報特定部により特定された特徴情報に対応する予測調整量を調整量記憶部の予測調整量特定情報から特定する調整量特定部と、を備える。

本発明によれば、画像の輝度値の予測精度を向上することができる。

図１は、一実施形態に係る画像処理システムの全体構成図である。 図２は、一実施形態に係る対象ブロック及び子ブロックを説明する図である。 図３は、一実施形態に係る対象ブロックの特徴情報を説明する図である。 図４は、一実施形態に係る予測調整量テーブルの構成図である。 図５は、一実施形態に係るエンコード処理のフローチャートである。 図６は、一実施形態に係るデコード処理のフローチャートである。 図７は、一実施形態に係る性能評価グラフである。 図８は、一実施形態に係るコンピュータ装置の構成図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

まず、一実施形態に係る画像処理システムについて説明する。

図１は、一実施形態に係る画像処理システムの全体構成図である。

画像処理システム１は、画像処理装置の一例としてのエンコーダ１０と、画像処理装置の一例としてのデコーダ３０とを備える。エンコーダ１０とデコーダ３０とは、ネットワーク５０を介して接続されている。ネットワーク５０は、例えば、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｏｗｏｒｋ（ＬＡＮ）や、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）等である。

エンコーダ１０は、対象画像入力部１１と、ＤＣ変換部１２と、アダマール変換部１３と、交流成分予測部１４と、特徴情報特定部１５と、調整量特定部１６と、予測残差算出部１７と、符号化部１８と、調整量更新部１９と、圧縮データ出力部２０と、予測調整量テーブル２１とを有する。

対象画像入力部１１は、圧縮対象の画像（対象画像）を入力する。対象画像は、例えば、静止画像であってもよく、動画像の１フレームの画像であってもよい。対象画像は、エンコーダ１０内の補助記憶装置１０６（図８参照）から取得するようにしてもよく、或いは、図示しない撮像装置から取得するようにしてもよい。

ＤＣ変換部１２は、対象画像の各画素の輝度値に基づいて、対象画像中の対象ブロックにおける直流成分を生成する。対象ブロックとしては、例えば、最上位階層（第１階層）のブロックは、１６画素×１６画素である。第１階層よりも下の階層のブロックは、第２階層のブロックは、８画素×８画素であり、第３階層のブロックは、４画素×４画素であり、第４階層のブロックは、２画素×２画素である。対象ブロックにおける直流成分Ｄは、例えば、対象ブロックに含まれる画素の輝度値の平均値である。以下の処理においては、対象画像中のブロックについての対象ブロックの順番は、予め決まった順番に従って行われるものとする。本実施形態では、対象ブロックの順番は、画像中の、左上から横方向のブロックを順次対象とし、横方向の全てのブロックを対象とした後に一段下のブロックについて同様に順次対象とするようにしている。なお、対象ブロックの順番は、これに限られず、デコーダ側との間で共通に認識できる順番であればよい。また、ＤＣ変換部１２は、図２に示す対象ブロックを構成する複数の部分ブロック（子ブロック）についての各画素の輝度値に基づいて、各子ブロックの直流成分を算出する。

アダマール変換部１３は、対象ブロックの横方向の交流成分αと、縦方向の交流成分βと、斜め方向の交流成分γと、直流成分δとを算出するアダマール変換を行う。なお、直流成分δは、直流成分Ｄと同一であるので、計算により算出する必要はない。

ここで、図２に示すように、対象ブロック６０を４等分したブロック６１（子ブロックという）について、右上の子ブロックの画素の輝度平均をδ_＋＋、右下の子ブロックの画素の輝度平均をδ_＋−、左上の子ブロックの画素の輝度平均をδ_−＋、左下の子ブロックの画素の輝度平均をδ₋₋とすると、交流成分α、交流成分β、交流成分γ、直流成分δは、以下の式（１）〜（４）に示すように表すことができる。

交流成分α＝（δ_＋＋＋δ_＋−−δ_−＋−δ₋₋）／４ ・・・（１）
交流成分β＝（δ_＋＋−δ_＋−＋δ_−＋−δ₋₋）／４ ・・・（２）
交流成分γ＝（δ_＋＋−δ_＋−−δ_−＋＋δ₋₋）／４ ・・・（３）
直流成分δ＝（δ_＋＋＋δ_＋−＋δ_−＋＋δ₋₋）／４ ・・・（４）

交流成分予測部１４は、公知の交流成分予測に従って対象ブロックについての交流成分の予測値を算出する。交流成分予測部１４は、例えば、図３に示す対象ブロック６０ｏの右側のブロック６０ｒ（対象右ブロック）と、対象ブロック６０ｏの左側のブロック６０ｌ（対象左ブロック）との直流成分から対象ブロックの交流成分の予測値を求める。
例えば、交流成分α、交流成分βについての予測値α’，β’は、以下の式（５）、（６）に示すように表すことができる。

予測値α’＝（Ｄ_＋−Ｄ₋）／４ ・・・（５）
予測値β’＝（Ｄ_＋−Ｄ₋）／４ ・・・（６）
なお、交流成分予測部１４による交流成分の予測値の予測方法は、ほかの方法であってもよい。なお、対象右ブロック６０ｒ又は対象左ブロック６０ｌが、存在しない場合には、対象右ブロック６０ｒのＤ_＋又は対象左ブロック６０ｌのＤ₋は、対象ブロック６０ｏのＤと同じ値又は、すべて黒の画素で構成されている場合の直流成分としてもよい。

特徴情報特定部１５は、第１特定情報特定部の一例であり、対象ブロックについての特徴情報を特定する。本実施形態では、対象ブロックについての特徴情報は、例えば、図３に示す対象ブロック６０ｏの右側の２つ目のブロック６０ｒｒ（対象右右ブロック）、対象右ブロック６０ｒ、対象ブロック６０ｏ、対象左ブロック６０ｌ、対象ブロックの左側の２つ目のブロック６０ｌｌ（対象左左ブロック）の直流成分をそれぞれ、Ｄ_＋＋，Ｄ_＋，Ｄ，Ｄ₋，Ｄ₋₋とすると、以下の式（７）に示すものを用いている。

特徴情報（ｘ，ｙ，ｚ）＝（Ｄ_＋−Ｄ，Ｄ−Ｄ₋，Ｄ_＋＋−Ｄ₋₋）・・・（７）
この特徴情報（ｘ，ｙ，ｚ）は、予測調整量テーブル２１において、特徴情報の対象ブロックに対応する情報を管理するためのインデックスとして用いられる。この特徴情報は、対象ブロックと周囲のブロックとの関係を示すパターンであり、この特徴情報が同じであれば、対象ブロック同士が同一又は類似している。このようなインデックスに対応する予測調整量を用いることにより、後述する予測残差を小さくすることができる。なお、対象ブロックに対して、対象右右ブロック、対象右ブロック、対象左ブロック、又は対象左左ブロックが存在しない場合には、存在しないブロックの直流成分は、対象ブロックと同じ値、又は全ての黒の画素で構成されている場合の直流成分としてもよい。

予測調整量テーブル２１は、対象ブロックの特徴情報ごとに予測調整量を特定可能な情報（予測調整量特定可能情報）を管理している。具体的には、予測調整量テーブル２１は、対象ブロックの特徴情報ごとの予測調整量特定可能情報のエントリを管理する。予測調整量テーブル２１のエントリは、図４に示すように、特徴情報２１ａと、パターン出現数２１ｂと、予測残差合計２１ｃとのフィールドを含む。特徴情報２１ａには、特徴情報（ｘ，ｙ，ｚ）が格納される。パターン出現数２１ｂには、エントリの特徴情報に対応するパターンが出現した回数が格納される。予測残差合計２１ｃには、エントリに対応するパターンに対応する予測残差の合計が格納される。本実施形態においては、予測残差の合計を出現回数で除算した予測残差の平均を、予測調整量としている。予測調整量テーブル２１は、例えば、１つの静止画像に対して、又は、動画中の１つのキーフレームに対応する画像に対して１つ生成される。なお、予測調整量テーブル２１を、動画中の隣接する複数の画像で共用してもよく、また、類似する画像間で共用してもよい。

調整量特定部１６は、第１調整量特定部の一例であり、特定情報特定部１５において特定された特徴情報に対応する予測調整量を特定する。具体的には、調整量特定部１６は、特徴情報（ｘ，ｙ，ｚ）に対応する予測調整量テーブル２１のエントリを特定し、このエントリの予測残差合計ψをパターン出現数ｎで除算することにより、予測調整量を特定する。この予測調整量は、同じ特徴情報となるパターンについての予測残差の平均値である。このように特徴情報により、予測調整量を特定するようにしたので、特徴量の共通する対象ブロックについて、予測調整量を適切に特定することができる。本実施形態では、交流成分α及び交流成分βについての特徴情報に対応する予測調整量を特定する場合においては、同一の予測調整量テーブル２１を用いるようにしている。このように、同一の予測調整量テーブル２１を用いるのは、画像中に或る部分画像を９０度回転させた部分画像が存在する可能性があり、これらについては、同一の性質を有しているからである。これにより、予測調整テーブル２１の記憶に必要なメモリ量を低減することができる。また、本実施形態では、階層の異なる対象ブロックについての特徴情報に対応する予測調整量を特定する場合おいても、同一の予測調整量テーブル２１を用いるようにしている。このように、同一の予測調整量テーブル２１を用いるのは、画像はフラクタルである（自己相似性を有する）ことがあり、異なるサイズの対象ブロックであっても、同一の性質を有している可能性があるからである。これにより、予測調整テーブル２１の記憶に必要なメモリ量を低減することができる。

予測残差算出部１７は、対象ブロックに対する予測残差ｄを算出する。本実施形態では、交流成分α、βに対する予測残差ｄ_α、ｄ_βは、以下の式（８），（９）で算出している。なお、交流成分βに対する予測残差ｄ_βを算出する処理は、交流成分αに対する予測残差ｄ_αを算出する処理における座標系を９０度回転させた状態で同様な処理を行うようにすればよい。
予測残差ｄ_α＝α―α’−ψ（ｘ，ｙ，ｚ）／ｎ（ｘ，ｙ，ｚ） ・・・（８）
予測残差ｄ_β＝β―β’−ψ（ｘ，ｙ，ｚ）／ｎ（ｘ，ｙ，ｚ） ・・・（９）
ここで、ψ（ｘ，ｙ，ｚ）は、特徴情報が（ｘ，ｙ，ｚ）の対象ブロックに対する予測残差合計ψを示し、ｎ（ｘ，ｙ，ｚ）は、特徴情報が（ｘ，ｙ，ｚ）の対象ブロックに対するパターン出現数ｎを示している。

符号化部１８は、予測残差算出部１７により算出された予測残差ｄに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックに対する圧縮データを生成する。また、符号化部１８は、最上位の各ブロックの直流成分Ｄ及び各ブロックの交流成分γについて公知の圧縮技術により圧縮データを生成する。

調整量更新部１９は、予測残差算出部１７により算出された予測残差ｄに基づいて、予測調整量テーブル２１の予測調整量特定情報を更新する。
具体的には、調整量更新部１９は、以下の式（１０）、（１１）に示すように予測調整量テーブル２１を更新する。
ψ_ａ（ｘ，ｙ，ｚ）＝ψ_ｂ（ｘ，ｙ，ｚ）＋ｄ ・・・（１０）
ｎ_ａ（ｘ，ｙ，ｚ）＝ｎ_ｂ（ｘ，ｙ，ｚ）＋１ ・・・（１１）
ここで、_ａは、更新後を示し、_ｂは、更新前を示す。

また、本実施形態では、調整量更新部１９は、画像における空間的な対称性の関係に従って、予測調整量テーブル２１の、対象ブロックのパターンと左右対称のブロックのパターンの予測調整量特定情報も更新するようにしている。画像中においては、左右対称の部分画像が存在する可能性があり、特に、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ（ＣＧ）等の画像においては、同一の部品を使用して左右対称となる部分が多く存在する可能性が高く、このような場合には、各部分に対応する予測調整量をより高精度に設定することができるようになる。

具体的には、特徴情報（ｘ，ｙ，ｚ）のパターンと、左右対称のパターンの特徴情報は、（−ｙ，−ｘ，−ｚ）となる。なお、左右対称のパターンの場合の予測残差合計ψは、符号が逆となる。

そこで、予備調整量更新部１９は、以下の式（１２）、（１３）に示す更新を行う。
ψ_ａ（−ｙ，−ｘ，−ｚ）＝−ψ_ａ（ｘ，ｙ，ｚ） ・・・（１２）
ｎ_ａ（−ｙ，−ｘ，−ｚ）＝ｎ_ａ（ｘ，ｙ，ｚ） ・・・（１３）

これにより、左右対称のパターンについての予測調整量特定情報も適切に調整することができる。

圧縮データ出力部２０は、符号化部１８によって生成された圧縮データをデコーダに出力する。ここで、圧縮データには、最上位の各ブロックの直流成分Ｄと、各階層における各ブロックの交流成分α、β、γの予測残差ｄとについて圧縮されたデータが含まれる。

デコーダ３０は、圧縮データ入力部３１と、復号部３２と、交流成分予測部３３と、特徴情報特定部３４と、調整量特定部３５と、交流成分算出部３６と、逆アダマール変換部３７と、調整量更新部３８と、画像表示部３９と、予測調整量テーブル４０とを有する。

予測調整量テーブル４０は、図４に示すように、予測調整量テーブル２１と同様な構成となっている。

圧縮データ入力部３１は、ネットワーク５０を介してエンコーダ１０から送信される圧縮データを入力する。復号部３２は、圧縮データ入力部３１が入力した圧縮データに対して、符号化部１８による符号化に対応する復号を実行することにより、圧縮データを復号する。これにより、最上位の各ブロックの直流成分Ｄと、各階層における各ブロックの交流成分α、β、γの予測残差ｄとを得ることができる。交流成分予測部３３は、交流成分予測部１４と同様な処理を実行する。

特徴情報特定部３４は、第２特徴情報特定部の一例であり、特徴情報特定部１５と同様な処理により、対象ブロックについての特徴情報を特定する。

調整量特定部３５は、第２特徴量特定部の一例であり、特定量特定部１６と同様な処理により、特定情報特定部３４において特定された特徴情報に対応する予測調整量を特定する。

交流成分算出部３６は、対象ブロックについての横方向の交流成分α及び縦方向の交流成分βを算出する。具体的には、交流成分算出部３６は、以下の式（１４）、（１５）に従って、交流成分α、βを算出する。
交流成分α＝ｄ_α＋α’＋ψ（ｘ，ｙ，ｚ）／ｎ（ｘ，ｙ，ｚ） ・・・（１４）
交流成分β＝ｄ_β＋β’＋ψ（ｘ，ｙ，ｚ）／ｎ（ｘ，ｙ，ｚ） ・・・（１５）
また、交流成分算出部３６は、公知の技術により交流成分γを算出する。

逆アダマール変換部３７は、輝度値算出部の一例であり、交流成分算出部３６により算出された対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Ｄに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う。また、逆アダマール変換部３７は、対象ブロックが最下位の対象ブロックである場合には、対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Ｄに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。このようにして、逆アダマール変換部３７の処理により、対象画像中の各画素の直流成分が算出される。

調整量更新部３８は、復号部３２により得られる交流成分の予測残差ｄに基づいて、予測調整量テーブル４０の予測調整量特定情報を更新する。なお、予測残差ｄに基づいて、予測調整量テーブル４０の予測調整量特定情報を更新する処理は、調整量更新部１９による更新処理と同様な処理を行う。

画像表示部３９は、表示装置１０８（図８参照）に対して、逆アダマール変換部３７により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示する。

次に、画像処理システム１における処理動作について説明する。

まず、エンコーダ１０によるエンコード処理について説明する。

図５は、一実施形態に係るエンコード処理のフローチャートである。

エンコード処理においては、まず、対象画像入力部１１が、エンコード対象の画像(対象画像)を入力し、ＤＣ変換部１２が、対象ブロックの輝度の直流成分を算出するとともに、対象ブロックの子ブロックの輝度の直流成分を算出する(ステップＳ１１)。なお、ステップＳ１１を当初に実行する時には、最上位のブロックを対象ブロックとして処理を実行する。

次いで、アダマール変換部１３は、アダマール変換を行って、対象ブロックの横方向の交流成分αと、縦方向の交流成分βと、斜め方向の交流成分γと、直流成分δとを算出する(ステップＳ１２)。

次いで、交流成分予測部１４は、公知の交流成分予測に従って対象ブロックについての交流成分の予測値を算出する（ステップＳ１３）。本実施形態では、ステップＳ１３以降の処理は、まずは、対象ブロックの交流成分αを対象に実行する。

特徴情報特定部１５は、対象ブロックについての特徴情報を特定する（ステップＳ１４）。

次いで、調整量特定部１６は、特定情報特定部１５において特定された特徴情報に対応する予測調整量を特定する(ステップＳ１５)。具体的には、調整量特定部１６は、特徴情報（ｘ，ｙ，ｚ）に対応する予測調整量テーブル２１のエントリを特定し、このエントリの予測残差合計ψをパターン出現数ｎで除算することにより、予測調整量を特定する。

次いで、予測残差算出部１７は、対象ブロックに対する予測残差ｄを算出する(ステップＳ１６)。具体的には、予測残差算出部１７は、上述の式（８）に従って、予測残差ｄを算出する。

次いで、符号化部１８は、予測残差算出部１７により算出された予測残差ｄに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックの予測残差ｄに対する圧縮データを生成する(ステップＳ１７)。

次いで、調整量更新部１９は、予測残差算出部１７により算出された予測残差ｄに基づいて、予測調整量テーブル２１の予測調整量特定情報を更新する(ステップＳ１８)。

ＤＣ変換部１２は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し（ステップＳ１９）、階層内の全てのブロックに対して処理済みでない場合（ステップＳ１９：Ｎ）には、処理をステップＳ１１に進めて、次の対象ブロックに対する処理を実行する。一方、階層内の全てのブロックに対して処理済みである場合（ステップＳ１９：Ｙ）には、ＤＣ変換部１２は、１つ下の階層のブロックがあるか否かを判定する(ステップＳ２０)。

この結果、１つ下の階層のブロックがある場合(ステップＳ２０：Ｙ)には、ＤＣ変換部１２は、処理する階層を下位の階層に変更し(ステップＳ２１)、処理をステップＳ１１に進めて、下位の階層におけるブロックに対する処理を実行する。

一方、１つ下の階層のブロックがない場合(ステップＳ２０：Ｎ)には、ＤＣ変換部１２は、処理を終了する。これにより、交流成分αについての圧縮データが生成されたこととなる。

次に、エンコーダ１０は、上記したエンコード処理を、交流成分βについて実行することにより、交流成分βに対する圧縮データを生成する。

また、エンコーダ１０は、交流成分γと、最上位の階層の各ブロックについての直流成分Ｄ（最上位階層のブロックの直流成分δ）とについて、圧縮データを生成する処理を実行する。交流成分γと直流成分Ｄとの圧縮データを生成する処理は、公知の技術を用いることができる。

この後、圧縮データ出力部２０は、交流成分α、交流成分β、交流成分γ、及び最上位の階層の各ブロックについての直流成分Ｄについての圧縮データをまとめて、対象画像の圧縮データに含めて、デコーダ３０に出力(送信)する。

このエンコード処理では、特徴情報が同じブロックに対して、予測残差に基づく予測調整量を使用するようにしているので、輝度値に対応する予測精度を向上することができる。これにより、予測調整量を使用して算出される予測残差の値を小さくすることができ、輝度の予測残差に対する圧縮効率を向上することができる。

次に、デコーダ３０によるデコード処理について説明する。

図６は、一実施形態に係るデコード処理のフローチャートである。

圧縮データ入力部３１は、ネットワーク５０を介してエンコーダ１０から送信される圧縮データを入力する（ステップＳ３１）。

次いで、復号部３２は、圧縮データ入力部３１が入力した圧縮データを復号する（ステップＳ３２）。これにより、最上位の各ブロックの直流成分Ｄと、各階層における各ブロックの交流成分α、β、γの予測残差ｄとを得ることができる。

次いで、交流成分予測部３３は、公知の交流成分予測に従って対象ブロックについての交流成分αの予測値を算出する（ステップＳ３３）。ここで、対象ブロックは、エンコーダ１０での処理の実行順と同様な順番で選択される。

次いで、特徴情報特定部３４は、対象ブロックについての特徴情報を特定する（ステップＳ３４）。

次いで、調整量特定部３５は、特定情報特定部３４において特定された特徴情報に対応する予測調整量を特定する(ステップＳ３５)。具体的には、調整量特定部３５は、特徴情報（ｘ，ｙ，ｚ）に対応する予測調整量テーブル４０のエントリを特定し、このエントリの予測残差合計ψをパターン出現数ｎで除算することにより、予測調整量を特定する。

次いで、調整量更新部３８は、復号部３２により得られる交流成分αの予測残差ｄに基づいて、予測調整量テーブル４０の予測調整量特定情報を更新する（ステップＳ３６）。ここで、対象ブロックは、エンコーダ１０での処理の実行順と同様な順番で選択されているので、対象ブロックの処理時には、予測調整量テーブル４０を、エンコーダ１０での同じ対象ブロックの処理時における予測調整量テーブル２１と同じ状態とすることができる。

次いで、交流成分算出部３６は、対象ブロックについての横方向の交流成分αを算出する。具体的には、交流成分算出部３６は、式（１４）に従って、交流成分αを算出する（ステップＳ３７）。

次いで、エンコーダ３０は、交流成分β及び交流成分γを算出する（ステップＳ３８）。具体的には、交流成分βについては、ステップＳ３３〜ステップＳ３７と同様な処理により、算出することができる。なお、ステップＳ３７では、交流成分算出部３６は、式（１５）に従って、交流成分βを算出する。また、交流成分γについては、公知の技術により算出する。

次いで、交流成分予測部３３は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し（ステップＳ３９）、階層内の全てのブロックに対して処理済みでない場合（ステップＳ３９：Ｎ）には、処理をステップＳ３３に進めて、次の対象ブロックに対する処理を実行する。一方、階層内の全てのブロックに対して処理済みである場合（ステップＳ３９：Ｙ）には、逆アダマール変換部３７は、交流成分算出部３６により算出された対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Ｄに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う（ステップＳ４０）。なお、対象ブロックが最下位の対象ブロックである場合、すなわち、２画素×２画素のブロックである場合には、交流成分予測部３３は、対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Ｄに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。

次いで、交流成分予測部３３は、１つ下の階層のブロックがあるか否かを判定する(ステップＳ４１)。この結果、１つ下の階層のブロックがある場合(ステップＳ４１：Ｙ)には、交流成分予測部３３は、処理する階層を下位の階層に変更し(ステップＳ４２)、処理をステップＳ３３に進めて、下位の階層におけるブロックに対する処理を実行する。

一方、１つ下の階層のブロックがない場合(ステップＳ４１：Ｎ)には、画像表示部３９は、表示装置１０８に対して、逆アダマール変換部３７により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示し（ステップＳ４３）、処理を終了する。

上記したデコード処理によると、エンコーダ１０で作成された圧縮データに基づいて、適切に画像を表示することができる。

図７は、一実施形態に係る性能評価グラフである。

図７の性能評価グラフにおいては、横軸は圧縮した画像データのファイルサイズ（Ｂｙｔｅ）を示し、縦軸には、デコードした画像におけるＰｅａｋ Ｓｉｇｎａｌ−ｔｏ-ｎｏｉｚｅ ｒａｔｉｏ（ＰＳＮＲ）を示す。

図７の性能評価グラフにおいては、本実施形態による式（８）、（９）等を用いて予測残差を算出してエンコードした後にデコードを実行した場合（実施例）におけるＰＮＳＲを実線で示している。また、式（８）、（９）等における予測調整量（ψ（ｘ，ｙ，ｚ）／ｎ（ｘ，ｙ，ｚ））を除いた式を用いて予測残差を算出してエンコードした後にデコードを実行した場合（比較例）におけるＰＮＳＲを破線で示している。

図７に示す性能評価グラフによると、同一の画像データのファイルサイズの場合には、実施例におけるＰＮＳＲは、比較例におけるＰＮＳＲに比して、高くなっている。これにより、本実施形態によるエンコード及びデコードによって、少ないファイルサイズで、より高い画像再現性が得られることがわかる。すなわち、同じＰＮＳＲを得る際に、高い圧縮率を実現できることがわかる。

上記したエンコーダ１０及びデコーダ３０は、それぞれコンピュータ装置により構成することができる。

図８は、一実施形態に係るコンピュータ装置の構成図である。なお、本実施形態では、エンコーダ１０及びデコーダ３０は、別々のコンピュータ装置で構成されているが、これらコンピュータ装置は、同様な構成を有するものとすることができる。したがって、以下の説明では、便宜的に図８に示すコンピュータ装置を用いて、エンコーダ１０及びデコーダ３０を構成するコンピュータ装置について説明することとする。

コンピュータ装置１００は、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎ Ｕｎｉｔ（ＣＰＵ）１０１と、メインメモリ１０２と、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）１０３と、リーダライタ１０４と、通信インターフェース（通信Ｉ／Ｆ）１０５と、補助記憶装置１０６と、入出力インターフェース（入出力Ｉ／Ｆ）１０７と、表示装置１０８と、入力装置１０９とを備える。ＣＰＵ１０１、メインメモリ１０２、ＧＰＵ１０３、リーダライタ１０４、通信Ｉ／Ｆ１０５、補助記憶装置１０６、入出力Ｉ／Ｆ１０７、及び表示装置１０８は、バス１１０を介して接続されている。デコーダ１０と、エンコーダ３０とは、それぞれコンピュータ装置１００に記載の構成要素の一部または全てを適宜選択して構成される。

ここで、メインメモリ１０２又は補助記憶装置１０６の少なくとも一方が、エンコーダ１０の予測調整量テーブル２１を記憶する調整量記憶部（第１調整量記憶部）、又はデコーダ３０の予測調整量テーブル４０を記憶する調整量記憶部（第２調整量記憶部）として機能する。

エンコーダ１０を構成するコンピュータ装置１００において、ＣＰＵ１０１は、補助記憶装置１０６に格納された画像処理プログラムを実行することにより、例えば、対象画像入力部１１、ＤＣ変換部１２、アダマール変換部１３、交流成分予測部１４、特徴情報特定部１５、調整量特定部１６、予測残差算出部１７、符号化部１８、調整量更新部１９、及び圧縮データ出力部２０を構成する。

サーバ２０を構成するコンピュータ装置１００において、ＣＰＵ１０１は、補助記憶装置１０６に格納された画像処理プログラムを実行することにより、例えば、圧縮データ入力部３１、復号部３２、交流成分予測部３３、特徴情報特定部３４、調整量特定部３５、交流成分算出部３６、逆アダマール変換部３７、調整量更新部３８、及び画像表示部３９を構成する。

メインメモリ１０２は、例えば、ＲＡＭ、ＲＯＭ等であり、ＣＰＵ１０１に実行されるプログラム（処理プログラム等）や、各種情報を記憶する。補助記憶装置１０６は、例えば、Ｈａｒｄ ＤＩＳＫ Ｄｒｉｖｅ（ＨＤＤ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の非一時的記憶デバイス（不揮発性記憶デバイス）であり、ＣＰＵ１０１で実行されるプログラムや、各種情報を記憶する。エンコーダ１０を構成するコンピュータ装置１００では、メインメモリ１０２は、例えば、予測調整量テーブル２１を記憶する。デコーダ３０を構成するコンピュータ装置１００では、メインメモリ１０２は、例えば、予測調整量テーブル４０を記憶する。

ＧＰＵ１０３は、例えば、画像処理等の特定の処理の実行に適しているプロセッサであり、例えば、並列的に行われる処理の実行に適している。本実施形態では、ＧＰＵ１０３は、ＣＰＵ１０１の指示に従って所定の処理を実行する。

リーダライタ１０４は、記録媒体１１１を着脱可能であり、記録媒体１１１からのデータの読み出し、及び記録媒体１１１へのデータの書き込みを行う。記録媒体１１１としては、例えば、ＳＤメモリーカード、ＦＤ（フロッピーディスク：登録商標）、ＣＤ、ＤＶＤ、ＢＤ（登録商標）、フラッシュメモリ等の非一時的記録媒体（不揮発性記録媒体）がある。本実施形態においては、記録媒体１１１に、処理プログラムを格納しておき、リーダライタ１０４により、これを読み出して、利用するようにしてもよい。また、エンコーダ１０を構成するコンピュータ装置１００において、記録媒体１１１に、処理対象の画像データを格納しておき、リーダライタ１０４により、これを読み出して使用するようにしてもよい。また、エンコーダ１０を構成するコンピュータ装置１００において、リーダライタ１０４により、圧縮データを記憶媒体１１１に格納するようにしてもよい。また、デコーダ３０を構成するコンピュータ装置１００において、リーダライタ１０４により、記録媒体１１１から圧縮データを読み出して利用するようにしてもよい。

通信Ｉ／Ｆ１０５は、ネットワーク５０に接続されており、ネットワーク５０に接続された他の装置との間でのデータの送受信を行う。

入出力Ｉ／Ｆ１０７は、例えば、マウス、キーボード等の入力装置１０９と接続されている。エンコーダ１０を構成するコンピュータ装置１００において、入出力Ｉ／Ｆ１０７は、入力装置１０９を用いた、エンコーダ１０のユーザによる操作入力を受け付ける。また、デコーダ３０を構成するコンピュータ装置１００において、入出力Ｉ／Ｆ１０７は、入力装置１０９を用いた、デコーダ３０のユーザによる操作入力を受け付ける。

表示装置１０８は、例えば、液晶ディスプレイ等のディスプレイ装置であり、各種情報を表示出力する。表示装置１０８は、例えば、デコーダ３０において、画像表示部３９による画像の表示に使用される。

なお、本発明は、上述の実施形態及び変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、左右対称のパターンである特徴情報（ｘ，ｙ，ｚ）のブロックと、特徴情報（−ｙ，−ｘ，−ｚ）のブロックとのそれぞれに対応するエントリを予測調整量テーブル２１（４０）に設けるようにしていた。本発明はこれに限られず、例えば、特徴情報（ｘ，ｙ，ｚ）と、特徴情報（−ｙ，−ｘ，−ｚ）とについて、同一のエントリを使用するようにしてもよい。これにより、予測調整量テーブル２１（４０）に必要なメモリ量を低減することができる。なお、同一のエントリを使用する場合においては、特徴情報（ｘ，ｙ，ｚ）と、特徴情報（−ｙ，−ｘ，−ｚ）とのいずれかによって、予測残差合計を使用する際、及び予測残差を更新する際の符号を切り替える必要がある。

また、上記実施形態では、調整量更新部１９，３８は、予測残差を算出した場合に、常に予測調整量テーブル２１，４０を更新するようにしていた。本発明はこれに限られず、例えば、パターン出現数が所定数以上になった場合には、調整量更新部１９，３８は、予測調整量テーブル２１，４０を更新する処理を行わないようにしてもよい。このようにすると、比較的高精度な予測調整値を得ることができ、それ以降における処理負荷を低減することができる。また、対象画像の隣接画像や類似画像に基づいて、予め予測調整量テーブル２１、４０を作成しておき、対象画像に対する処理を実行する際には、予め作成した予測調整量テーブル２１，４０を更新せずにそのまま利用するようにしてもよい。この場合には、エンコーダ１０で使用した予測調整量テーブル２１のデータを画像の圧縮データに含めてデコーダ３０に送信し、デコーダ３０では、そのデータ中の予測調整量テーブル２１のデータに基づいて予測調整量テーブル４０を作成して処理に利用するようにしてもよい。

また、上記実施形態では、コンピュータ装置１００がエンコーダ１０又はデコーダ３０のいずれか一方を備えている例を示していた。本発明はこれに限られず、コンピュータ装置１００内にエンコーダ１０とデコーダ３０との両方を備えるようにしてもよい。

１…画像処理システム、１０…エンコーダ、１１…対象画像入力部、１２…ＤＣ変換部、１３…アダマール変換部、１４…交流成分予測部、１５…特徴情報特定部、１６…調整量特定部、１７…予測残差算出部、１８…符号化部、１９…調整量更新部、２０…圧縮データ出力部、２１…予測調整量テーブル、３０…デコーダ、３１…圧縮データ入力部、３２…復号部、３３…交流成分予測部、３４…特徴情報特定部、３５…調整量特定部、３６…交流成分算出部、３７…逆アダマール変換部、３８…調整量更新部、３９…画像表示部、４０…予測調整量テーブル、５０…ネットワーク、１００…コンピュータ装置、１０１…ＣＰＵ、１０２…メインメモリ、１０８…表示装置、１１１…記録媒体

交流成分予測は、画像平面上に設定されたブロックのうち、対象ブロックおよびその周辺ブロックの直流成分を参照することにより対象ブロック上の交流成分を予測する処理である。交流成分予測により予測された交流成分は、対象ブロック上に存在する子ブロックの生成に用いることができる。これについては、例えば、非特許文献１に記載されている。

デコーダ３０を構成するコンピュータ装置１００において、ＣＰＵ１０１は、補助記憶装置１０６に格納された画像処理プログラムを実行することにより、例えば、圧縮データ入力部３１、復号部３２、交流成分予測部３３、特徴情報特定部３４、調整量特定部３５、交流成分算出部３６、逆アダマール変換部３７、調整量更新部３８、及び画像表示部３９を構成する。

Claims (9)

1. 所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を符号化する際に、前記予測残差を調整する予測調整量を特定可能な予測調整量特定情報とを対応付けて記憶する調整量記憶部と、
   対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部と、
   前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記調整量記憶部の前記予測調整量特定情報から特定する調整量特定部と、
   を備える画像処理装置。
2. 前記対象ブロックに対する交流成分から、前記対象ブロックの周囲のブロックの直流成分に基づく前記対象ブロックにおける予測値と、特定された前記予測調整量とを減算することにより、前記対象ブロックにおける予測残差を算出する予測残差算出部と、
   前記予測残差に基づいて、前記対象ブロックに対応する特徴情報に対応付けられた前記予測調整量特定情報を更新する調整量更新部と、
   をさらに備える
   請求項１に記載の画像処理装置。
3. 前記予測調整量特定情報は、前記特徴情報に対応するブロックの出現数及び前記特徴情報に対応するブロックについて算出された予測残差の合計を含み、
   前記調整量更新部は、前記対象ブロックに対応する特徴情報に対応付けられた前記ブロックの出現数に１を加算するとともに、算出された前記予測残差を、前記対象ブロックに対応する特徴情報に対応付けられた前記ブロックの前記予測残差の合計に加算し、
   前記調整量特定部は、前記予測残差の合計を前記ブロックの出現数で除算することにより、前記予測調整量を算出する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記調整量更新部は、更に、前記対象ブロックと対称性を有する対称ブロックに対応する特徴情報に対応付けられた前記ブロックの出現数に１を加算するとともに、算出された前記予測残差を、前記対称ブロックに対応する特徴情報に対応付けられた前記ブロックの前記予測残差の合計に加算する
   請求項３に記載の画像処理装置。
5. 前記特徴情報特定部は、前記特徴情報を、前記対象ブロックと隣接する隣接ブロックの輝度値を用いて特定する
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記調整量記憶部の予測調整量特定情報から特定する調整量特定部と、
   前記予測調整量に基づいて、前記対象ブロックの交流成分を算出する交流成分算出部と、
   算出された交流成分に基づいて前記対象ブロック中の下位ブロックの輝度値を算出する輝度値算出部と、
   を備える請求項１に記載の画像処理装置。
7. 画像処理装置による画像処理方法であって、
   所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を符号化する際に、前記予測残差を調整する予測調整量とを対応付けて調整量記憶部に記憶し、
   対象画像中の対象ブロックについての特徴情報を特定し、
   特定された特徴情報に対応する予測調整量を前記調整量記憶部から特定する
   画像処理方法。
8. 画像処理装置を構成するコンピュータに実行させる画像処理プログラムであって、
   前記コンピュータに、
   所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する交流成分の予測残差を符号化する際に、前記予測残差を調整する予測調整量とを対応付けて調整量記憶部に記憶させ、
   対象画像中の対象ブロックについての特徴情報を特定させ、
   特定された特徴情報に対応する予測調整量を前記調整量記憶部から特定させる
   画像処理プログラム。
9. 対象画像の圧縮データを生成するエンコーダと、前記対象画像の前記圧縮データを伸張するデコーダとを備える画像処理システムであって、
   前記エンコーダは、
   所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を符号化する際に、前記予測残差を調整する予測調整量を特定可能な予測調整量特定情報とを対応付けて記憶する第１調整量記憶部と、
   対象画像中の対象ブロックについての特徴情報を特定する第１特徴情報特定部と、
   前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記第１調整量記憶部の前記予測調整量特定情報から特定する第１調整量特定部と、
   前記対象ブロックに対する交流成分から、前記対象ブロックの周囲のブロックの直流成分に基づく前記対象ブロックにおける予測値と、特定された前記予測調整量とを減算することにより、前記対象ブロックにおける予測残差を算出する予測残差算出部と、
   前記対象画像中の最上位の対象ブロックの輝度の直流成分と、各対象ブロックの交流成分に対する予測残差とを含むデータを圧縮データとして出力する圧縮データ出力部とを備え、
   前記デコーダは、
   前記圧縮データを入力する圧縮データ入力部と、
   所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を符号化する際に、前記予測残差を調整する予測調整量を特定可能な予測調整量特定情報とを対応付けて記憶する第２調整量記憶部と、
   前記圧縮データに基づいて、対象画像中の対象ブロックについての特徴情報を特定する第２特徴情報特定部と、
   前記第２特徴情報特定部により特定された特徴情報に対応する予測調整量を前記第２調整量記憶部の前記予測調整量特定情報から特定する第２調整量特定部と、
   前記予測調整量に基づいて、前記対象ブロックの交流成分を算出する交流成分算出部と、
   算出された前記交流成分に基づいて前記対象ブロック中の下位ブロックの輝度の直流成分を算出する輝度値算出部と、
   を備える画像処理システム。

Images