JP2013150066A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する量子化誤差推定部と、を備える画像処理装置が提供される。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでおり、また、ＵＧＣ（User Generated Contents）をテレビ受像機やＰＣ（Personal Computer）などを用いてユーザが視聴できる環境も整いつつある。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣが挙げられる。

例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばブロックノイズ、モスキートノイズ、リンギングノイズなどの符号化に起因するノイズ（歪み。以下、「符号化ノイズ」と示す場合がある。）が、画像をみるユーザに認識されてしまうことが起こりうる。

このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、非特許文献１に記載の技術に記載の技術が挙げられる。

また、画像の特徴を表現する技術も開発されている。隣接する、または任意の２画素間の輝度の大小関係を“０”または“１”のバイナリ・ビットである増分符号（Increment Sign:ＩＳ）で表現する技術としては、例えば、非特許文献２に記載の技術に記載の技術が挙げられる。

特開平１１−３２３３３号公報 特開２００６−３３２９８７号公報

HARASHIMA H., ODAJIMA K., SHISHIKUI Y., and MIYAKAWA, H.," Epsilon-separating nonlinear digital filter and its applications", Electronics and Communications in Japan, (ISSN 0424-8368). Vol. 65, pp. 11-19. Apr. 1982. S. Kaneko, et al: "Robust image registration by increment sign correlation", Pattern Recognition, 35(10):2223-2234, October 2002.

例えば非特許文献１に記載の技術では、エッジを含む領域（例えばＭＰＥＧ−２では８×８画素単位のブロック）を検出し、検出された領域内部においてエッジ保存平滑化を行うことによって、符号化ノイズを低減する。

しかしながら、例えば非特許文献１に記載の技術を用いる場合には、本来画像に含まれているテクスチャと符号化ノイズ成分との両方に基づいてノイズ量を推定してしまう可能性があることから、ノイズの平滑化時に、本来の画像テクスチャ（すなわち、画像における平滑化してはならない部分）も平滑化してしまう恐れがある。

また、例えば特許文献１に記載の技術では、ビットストリームから復号した離散コサイン変換（Discrete Cosine Transform。以下、「ＤＣＴ」と示す場合がある。）係数に基づいて、ブロックノイズとモスキートノイズの線形和からなるエネルギー関数を定義する。そして、例えば特許文献１に記載の技術では、上記エネルギー関数が画像全体で最小となるように、ガウス・ザイデル法を用いた反復演算処理により最適化をすることによって、圧縮ノイズ（特許文献１に記載の技術においては、ブロックノイズおよびモスキートノイズ。）を発生させる、ＤＣＴ係数の量子化誤差成分を推定している。

ここで、特許文献１に記載の技術では、ブロック境界部分の輝度段差を、ブロックノイズのエネルギーとして用いている。また、特許文献１に記載の技術では、ブロック内の量子化雑音が一様でない性質を、モスキートノイズのエネルギーとして用いている。上記は、量子化ステップの高さが最小ＤＣＴ係数より高いときに、量子化ノイズ（雑音）がホワイトノイズでなくなることを、周波数領域においてモデル化したものである。

しかしながら、例えば特許文献１に記載の技術では、上記エネルギー関数の最適化を画像全体で行うので、例えば局所的に発生しうるモスキートノイズなどによるノイズ量を、局所的に推定することはできない。

また、例えば特許文献２に記載の技術では、ＤＣＴ量子化によって失われる基底関数の周波数成分を検出する二つの変換係数列を用意し、これらの変換係数列と原画像とを畳み込むことによって得られる二つの相関値を算出する。そして、特許文献２に記載の技術では、算出された二つの相関値が２次元平面上で遷移する軌跡形状に基づいて、処理対象の画像信号がモスキートノイズにより劣化しているか否か（すなわち、モスキートノイズを含んでいるか否か）を判定する。ここで、特許文献２に記載の技術の原理は、画像における平坦部分からのエッジの立ち上がり部分（または立ち下がり部分）のリンギングに対して、上記変換係数列を一画素ずつずらして畳み込んだときの出力が、ある特定の遷移パターンになることを利用してエッジ近傍のリンギング状態を検出するものである。

しかしながら、特許文献２に記載の技術に係る方法では、モスキートノイズの発生の有無を判定することができる可能性はあるが、ＤＣＴ係数の量子化誤差成分を推定することはできない。

さらに、例えば特許文献２に記載の技術を用いる場合には、モスキートノイズの低減のために、例えば、一般的なローパス・フィルターやε−フィルタなどの非線形フィルタなどの平滑化フィルタを用いる必要がある。よって、例えば特許文献２に記載の技術を用いる場合には、画像における平滑化してはならない部分も平滑化してしまう恐れがある。

また、例えば非特許文献２に記載の技術に係る増分符号は、明度変動に対してロバストである。そのため、例えば非特許文献２に記載の技術に係る増分符号は、例えばＦＡ（Factory Automation）分野におけるパターンマッチングにおいてよく用いられている。しかしながら、非特許文献２では、符号化ノイズを検出することについて、何らの考慮もなされていない。

上記のように、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、非特許文献１に記載の技術、非特許文献２に記載の技術を用いたとしても、画像信号が示す画像において発生しうる、離散コサイン変換係数の量子化により生じる量子化誤差を、推定することができるとは限らない。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定する量子化誤差推定部と、を備える画像処理装置が提供される。

かかる構成によって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

また、上記量子化誤差推定部は、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、上記量子化誤差を推定してもよい。

また、上記量子化誤差推定部は、上記非線形最適化処理において、上記エッジ分割領域における水平方向および垂直方向それぞれに対応する離散コサイン変換係数の次数を設定してもよい。

また、上記量子化誤差推定部は、上記エッジ判定部において判定されたエッジの方向に基づいて、上記離散コサイン変換係数の次数を、上記判定されたエッジの方向に対応するように適応的に設定してもよい。

また、上記増分符号算出部は、上記増分符号を算出する算出部と、上記エッジ分割領域におけるエッジに対応する画素をマスキングするエッジ画素マスキング部と、を備え、上記量子化誤差推定部は、マスキングされた画素に対応する増分符号を、上記量子化誤差の推定に用いなくてもよい。

また、上記入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えてもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップと、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップと、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定するステップと、を有する画像処理方法が提供される。

かかる方法を用いることによって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップ、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップ、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定するステップ、をコンピュータに実行させるためのプログラムが提供される。

かかるプログラムを用いることによって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

本発明によれば、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 画像圧縮過程の概念を示す説明図である。 非圧縮画像（原画像）、観測画像、および符号化ノイズ成分の関係の一例を示す説明図である。 本発明の実施形態に係る増分符号算出部の構成の一例を示すブロック図である。 本発明の実施形態に係る入力画像信号が示す画像（観測画像）における増分符号の一例を示す説明図である。 本発明の実施形態に係る量子化誤差推定部における処理の一例を示すブロック図である。 本発明の実施形態に係るノイズ低減部の構成の一例を示す説明図である。 本発明の実施形態に係る画像処理装置におけるノイズ低減処理の効果の一例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（処理対象の画像信号）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。

ここで、本発明の実施形態に係る入力画像信号としては、例えば、離散コサイン変換（ＤＣＴ）を含む符号化処理および量子化処理により非可逆圧縮された動画像（または、複数の静止画像）、または静止画像を示す画像信号（例えば、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像を示す画像信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。

また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を処理してもよい。

離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号（入力画像信号）を処理する再生側の装置では、一般的に、圧縮前の原画像が未知であることが多い。そこで、本発明の実施形態に係る画像処理装置は、符号化ノイズの発生要因として、下記に示す（Ｉ）、（ＩＩ）の２つの条件を前提条件として入力画像信号を処理することによって、符号化ノイズを検出する（より具体的には、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。）。

（Ｉ）エッジ強度の大きな画素（コントラストの大きな画素）がより大きな符号化ノイズを発生させる。
（ＩＩ）画像のテクスチャ部分における輝度の振幅は、エッジ部分における輝度振幅より小さいと仮定し、画像のテクスチャ部分から発生する符号化ノイズは小さい、または、無いとする。

より具体的には、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、分割領域ごとにエッジを検出し、エッジを含む分割領域（以下、「エッジ分割領域」と示す。）を判定する（エッジ判定処理）。

ここで、本発明の実施形態に係る分割領域としては、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域が挙げられる。上記予め規定された大きさの領域は、例えば、本発明の実施形態に係る画像処理装置の用途（例えば、テレビジョン放送の再生や、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）の再生など）に応じて、設定される。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、入力画像信号をデコードしたデコーダから、ブロック境界の情報（または、コーデックの情報）を取得する場合には、当該ブロック境界の情報が示すブロック境界に対応する領域を、分割領域としてもよい。また、本発明の実施形態に係る画像処理装置は、ビットストリームに基づいて分割領域を設定することも可能である。

また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する（増分符号算出処理）。ここで、本発明の実施形態に係る増分符号としては、例えば、隣接する２画素間の輝度値の差分値の正負に基づき値が設定されるバイナリ・ビットが挙げられる。本発明の実施形態に係る画像処理装置は、例えば、隣接する２画素間の輝度値の差分値を算出し、差分値が正の値のとき増分符号として“１”を設定し、また、差分値が負の値のとき増分符号として“０”を設定する。

なお、本発明の実施形態に係る増分符号は、上記のように“０”または“１”の二値で表されるバイナリ・ビットに限られない。例えば、本発明の実施形態に係る増分符号は、“−１”、“０”、“１”の三値で表されてもよい。三値で表される本発明の実施形態に係る増分符号の例については、後述する。

また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換（ＤＣＴ）係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する（量子化誤差推定処理）。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、算出された増分符号と、ＤＣＴ係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、エッジ分割領域ごとに量子化誤差を推定する。

ここで、入力画像信号が示す画像（以下、「観測画像」と示す場合がある。）に対応する増分符号と、ＤＣＴ係数の高周波領域の基底画像パターンに対する増分符号とは、エッジ分割領域内の平坦部分における輝度の振幅が小さい場合に類似度が高くなる。また、類似度が高い場合には、ＤＣＴ係数の量子化誤差成分の推定精度が高くなる。よって、本発明の実施形態に係る画像処理装置は、非線形最適化処理として、算出された増分符号と基底増分符号との差分の二乗和を最小化することによって、ＤＣＴ係数の量子化により生じる量子化誤差の推定精度を向上させる。なお、本発明の実施形態に係る画像処理装置における非線形最適化処理の一例については、後述する。

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば上記のようなエッジ判定処理、増分符号算出処理、および量子化誤差推定処理、を行うことによって、入力画像信号（処理対象の画像信号）に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。

ここで、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとにＤＣＴ係数の量子化により生じる量子化誤差を推定する。よって、本発明の実施形態に係る画像処理装置は、局所的に（分割領域ごとに）ＤＣＴ係数の量子化により生じる量子化誤差を推定することができる。

また、本発明の実施形態に係る画像処理装置は、上記のように、エッジ分割領域ごとにＤＣＴ係数の量子化により生じる量子化誤差を推定する。よって、本発明の実施形態に係る量子化誤差の推定結果を用いることによって、平滑化処理を行わずにノイズを低減することができる。本発明の実施形態に係るノイズ低減処理については、後述する

なお、本発明の実施形態に係る画像処理方法に係る処理は、上記エッジ判定処理〜上記量子化誤差推定処理に限られない。例えば、本発明の実施形態に係る画像処理装置は、さらに、上記量子化誤差推定処理における量子化誤差の推定結果に基づいて、入力画像信号のノイズを低減してもよい（ノイズ低減処理）。本発明の実施形態に係る画像処理装置は、例えば、入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。

より具体的には、本発明の実施形態に係る画像処理装置は、推定された量子化誤差に基づいてノイズ画像を生成する。そして、本発明の実施形態に係る画像処理装置は、入力画像信号から、生成されたノイズ画像を示す信号を減算する。上記のように、入力画像信号（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号）から、本発明の実施形態に係る生成されたノイズ画像を示す信号を減算することによって、入力画像信号に含まれうるノイズが低減される。ここで、本発明の実施形態に係るノイズ低減処理は、圧縮前の原画像を推定する処理に相当する。

上記のように、本発明の実施形態に係るノイズ低減処理では、平滑化処理を行わずにノイズが低減される。よって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行うことによって、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴って生じうる副作用を回避することができる。

以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。

また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。なお、本発明の実施形態に係る入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号に限られないことは、言うまでもない。

また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号）から生成したノイズ画像を示す信号を減算する、本発明の実施形態に係るノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、本発明の実施形態に係るノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行う機能を有さずに、本発明の実施形態に係る量子化誤差の推定結果を示す信号（ノイズの検出結果を示す信号）、または、本発明の実施形態に係る量子化誤差の推定結果を示す信号と入力画像信号とを、本発明の実施形態に係るノイズ低減処理を行う機能を有する外部装置に送信してもよい。

（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、エッジ判定部１０４と、増分符号算出部１０６と、量子化誤差推定部１０８と、ノイズ低減部１１０とを備える。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、エッジ判定部１０４、増分符号算出部１０６、量子化誤差推定部１０８、およびノイズ低減部１１０（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、エッジ判定部１０４、増分符号算出部１０６、量子化誤差推定部１０８、およびノイズ低減部１１０は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。

また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することも可能である。

表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。

ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

画像処理装置１００は、例えば図１の構成によって、入力される入力画像信号に基づいて処理を行い、入力画像信号に含まれるノイズが低減された出力画像信号を出力する。ここで、本発明の実施形態に係る入力画像信号は、例えばＪＰＥＧやＭＰＥＧなどのように、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像）を示す。

図２は、画像圧縮過程の概念を示す説明図である。図２において、“Ｘ”は、圧縮前の原画像（非圧縮画像）のブロック分割画像を示し、“Ｘ’”は、圧縮後のブロック分割画像（観測画像）を示している。また、図２において“Ｃ”は、ＤＣＴ係数を示し、“Ｃ_Ｑ”は、量子化されたＤＣＴ係数、“Ｑ（）”は、量子化関数を示している。ここで、量子化とは、ＤＣＴ係数に対して情報量を削減するために行われる処理である。また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。また、図２に示す“Ｃ’”は、逆量子化されたＤＣＴ係数を示しており、“Ｑ^−１（）”は、逆量子化関数を示している。また、図２に示す“Ｎ”は、符号化ノイズ成分を示している。

画像処理装置１００は、原画像が未知である状態において、ＤＣＴ係数の量子化により生じる量子化誤差を推定することにより符号化ノイズ成分“Ｎ”を推定して、推定された符号化ノイズ成分（検出された符号化ノイズ）を低減する。

ここで、図２に示す“Ｃ’”のｉ，ｊ成分“ｃ’_ｉｊ”は、例えば下記の数式１で表される。数式１に示す“ｃ_ｉｊ”は、圧縮する前のＤＣＴ係数のｉ，ｊ成分であり、数式１に示す“Δ_ｉｊ”は、基本量子化マトリクスＱのｉ，ｊ成分である。また、数式１に示す“ＱＳ”は、量子化スケールである。

・・・（数式１）

画像処理装置１００が推定する対象の量子化誤差は、図２に示す“Ｃ’”のｉ，ｊ成分“ｃ’_ｉｊ”と、圧縮する前のＤＣＴ係数のｉ，ｊ成分“ｃ_ｉｊ”との差であり、例えば下記の数式２で表される。数式２に示す量子化誤差“ｃｎ_ｉｊ”が、図２に示すノイズ成分Ｎの原因となる。

・・・（数式２）

また、図２に示す“Ｘ”（非圧縮画像）、“Ｘ’”（観測画像）、および“Ｎ”（符号化ノイズ成分）の関係は、例えば下記の数式３で表される。

・・・（数式３）

図３は、非圧縮画像（原画像）、観測画像、および符号化ノイズ成分の関係の一例を示す説明図である。ここで、図３に示すＡは、観測画像を示しており、また、図３に示すＢは、非圧縮画像（原画像）、図３に示すＣは、符号化ノイズ成分をそれぞれ示している。また、図３は、原画像が、輝度が階段状（ステップ状）に変化するエッジである、ステップエッジを示す場合における例を示している。

例えば図３に示すように、非圧縮画像（原画像）、観測画像、および符号化ノイズ成分は、上記数式１の関係を有する。

以下、図１に示す画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。

分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。

エッジ判定部１０４は、本発明の実施形態に係る画像処理方法に係る上記エッジ判定処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定する。エッジ判定部１０４は、例えば、判別分析法（大津の２値化）を用いて、分割領域に対応する画像内の輝度ヒストグラムが特定の２つの値に集中していることを調べることによって、例えばステップエッジやラインエッジなどのエッジを含むか否かを判定する。ここで、ラインエッジとは、例えば、輝度の変化がパルス状となるエッジである。

なお、本発明の実施形態に係るエッジ判定部１０４における処理は、上記に限られない。例えば、エッジ判定部１０４は、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮して、エッジを含むか否かを判定してもよい。隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４では、例えば、分割領域に対応する画像が市松模様を示す場合において、当該分割領域がエッジを含む分割領域であると誤判定することを防止することが可能となる。つまり、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、エッジの検出精度をさらに向上させることができる。

また、エッジ判定部１０４は、設定された分割領域ごとに、文字領域（例えば、テロップを含む領域）をさらに検出する機能を有していてもよい。ここで、例えば、放送に係る画像では、文字のまわりにモスキートノイズが目立つことが多い。また、文字を構成するエッジはステップエッジであることが多く、文字内部の輝度分布は平坦かグラデーションであることが多い。よって、例えば、エッジ判定部１０４が文字領域をさらに検出する機能を有する場合には、エッジの検出精度をさらに向上させることができる。

画像処理装置１００では、後述する増分符号算出部１０６、量子化誤差推定部１０８において、エッジ分割領域に対して処理が行われる。よって、例えば上記のように、エッジ判定部１０４がエッジの検出精度をさらに向上させることによって、画像処理装置１００は、量子化誤差の推定精度をさらに向上させることができる。

増分符号算出部１０６は、本発明の実施形態に係る画像処理方法に係る上記増分符号算出処理を主導的に行う役目を果たし、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。

図４は、本発明の実施形態に係る増分符号算出部１０６の構成の一例を示すブロック図である。増分符号算出部１０６は、例えば、算出部１１２と、エッジ画素マスキング部１１４とを備える。

算出部１１２は、エッジ分割領域ごとに、増分符号を算出する。より具体的には、算出部１１２は、例えば下記の数式４、数式５に示す演算を行うことによって、増分符号を算出する。ここで、数式４に示す“Ｉ（ｘ，ｙ）”は、画素の位置（ｘ，ｙ）における輝度値であり、数式４に示す“δ（ｘ，ｙ）”は、隣接する２画素間の輝度値の差分を示している。また、数式５に示す“ＩＳ（ｘ，ｙ）”は、増分符号を示している。

・・・（数式４）
・・・（数式５）

算出部１１２は、エッジ分割領域ごとに、エッジ分割領域内の画素について上記数式４、数式５の演算を行うことによって増分符号を算出する。

エッジ画素マスキング部１１４は、エッジ分割領域におけるエッジに対応する画素をマスキングする。より具体的には、エッジ画素マスキング部１１４は、コントラストの大きいエッジ画素をマスキングし、マスキングされた画素が後述する量子化誤差推定部１０８における処理に用いられないようにする。ここで、本発明の実施形態に係るマスキングとは、例えば、該当する画素を量子化誤差推定部１０８が処理に用いることができない状態にすることをいう。エッジ画素マスキング部１１４は、量子化誤差推定部１０８が処理に用いられない状態にすることができれば、任意の方法を用いてマスキングを行うことが可能である。

ここで、エッジ部分の画素については、観測画像に対応する増分符号（算出された増分符号）と、ＤＣＴ係数の量子化によって生じるＤＣＴ基底ノイズパターンとの類似度が低くなる可能性がある（後述する）。また、上記類似度が低くなると、後述する量子化誤差推定部１０８における非線形最適化処理に係る演算において、解が収束しないことも起こる可能性はある。

そこで、画像処理装置１００は、エッジ画素マスキング部１１４を備え、エッジに対応する画素をマスキングすることによって、上記解が収束しないことが生じる可能性を低減する。より具体的には、エッジ画素マスキング部１１４は、エッジ分割領域内の画素のうち、上記数式４に示す“δ（ｘ，ｙ）”の絶対値が所定の閾値以上の画素（または、所定の閾値よりも大きい画素）を、エッジ画素と判定して、当該エッジ画素をマスキングする。ここで、上記所定の閾値は、例えば、“δ（ｘ，ｙ）”の絶対値の分布に対して大津の２値化などの手法を用いることによって、設定することができる。なお、本発明の実施形態に係る上記所定の閾値の設定方法が、上記に限られないことは、言うまでもない。

なお、上記数式５では、本発明の実施形態に係る増分符号が“０”または“１”の二値で表される例を示しているが、上述したように、本発明の実施形態に係る増分符号は、“０”または“１”の二値に限られない。例えば、増分符号算出部１０６（より厳密には、算出部１１２）は、例えば下記の数式６、数式７に示す演算を行うことによって、“−１”、“０”、“１”の三値で表される増分符号を算出することも可能である。

・・・（数式６）
・・・（数式７）

ここで、数式６に示す“Ｉ（ｘ，ｙ）”は、画素の位置（ｘ，ｙ）における輝度値であり、数式６に示す“δ（ｘ，ｙ）”は、隣接する２画素間の輝度値の差分を示している。また、数式７に示す“ＩＳ（ｘ，ｙ）”は、増分符号を示している。また、数式７に示す“Ｔ_ｆ”は、輝度変化の少ない画素を判別するための閾値を示し、数式７に示す“Ｔ_ｍ”は、エッジ画素を判別するための閾値を示している。ここで、上記閾値“Ｔ_ｍ”は、例えば、“δ（ｘ，ｙ）”の絶対値の分布に対して大津の２値化などの手法を用いることによって、設定される。また、上記閾値“Ｔ_ｆ”は、例えば、予め設定されている固定値であってもよいし、ユーザにより変更可能の可変値であってもよい。なお、本発明の実施形態に係る上記閾値“Ｔ_ｆ”、“Ｔ_ｍ”の設定方法が、上記に限られないことは、言うまでもない。

算出部１１２が上記数式６、数式７により増分符号を算出する場合、エッジ画素マスキング部１１４は、例えば、“δ（ｘ，ｙ）”の絶対値が“Ｔ_ｍ”より大きい場合（または、“δ（ｘ，ｙ）”の絶対値が“Ｔ_ｍ”以上の場合）には、“δ（ｘ，ｙ）”に対応する画素をエッジ画素と判定して、当該エッジ画素をマスキングする。

また、上記数式４、数式６では、増分符号算出部１０６（より厳密には、算出部１１２）が、水平方向に隣接する画素間の輝度値の差分に基づいて増分符号を算出する例を示しているが、本発明の実施形態に係る増分符号算出処理は、上記に限られない。例えば、増分符号算出部１０６は、垂直方向に隣接する画素間の輝度値の差分に基づいて増分符号を算出することも可能である。

増分符号算出部１０６は、例えば図４に示す構成によって、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。

なお、本発明の実施形態に係る増分符号算出部１０６の構成は、図４に示す構成に限られない。例えば、増分符号算出部１０６は、図４に示すエッジ画素マスキング部１１４を備えない構成をとることも可能である。増分符号算出部１０６が上記構成をとる場合であっても、本発明の実施形態に係る画像処理装置１００は、上述した本発明の実施形態に係る画像処理方法に係る処理を実現することが可能である。よって、増分符号算出部１０６が上記構成をとる場合であっても、本発明の実施形態に係る画像処理装置１００は、処理対象の画像信号に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を推定することができる。以下では、増分符号算出部１０６が、上述した図４に示す構成である場合を例に挙げて説明する。

また、本発明の実施形態に係る画像処理装置１００は、図４に示すエッジ画素マスキング部１１４を、増分符号算出部１０６と別体の構成要素として備えていてもよい。また、本発明の実施形態に係る画像処理装置１００は、図４に示すエッジ画素マスキング部１１４を、図４に示すエッジ画素マスキング部１１４の前段に備える構成をとることも可能である。

再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。量子化誤差推定部１０８は、本発明の実施形態に係る画像処理方法に係る上記量子化誤差推定処理を主導的に行う役目を果たし、増分符号算出部１０６においてエッジ分割領域ごとに算出された増分符号に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する。より具体的には、量子化誤差推定部１０８は、例えば、増分符号算出部１０６において算出された増分符号と、ＤＣＴ係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、量子化誤差を推定する。

ここで、まず、ＤＣＴ係数の量子化誤差を推定するための原理について説明する。

一般的な傾向として、エッジ部分における“Ｘ’”（観測画像）の増分符号と、“Ｎ”（符号化ノイズ成分）の増分符号（例えば、ＤＣＴ係数の高周波成分の基底パターンから算出される増分符号。以下、「基底増分符号」と示す。）とは、異なることが多い。これは、ノイズ振幅よりもエッジコントラストの方が大きいため、エッジ部分にノイズが重畳しても隣接画素間の増分符号が変化しないためである。

そこで、本発明の実施形態では、エッジ近傍の非エッジ部分（例えば、平坦部分や微小振幅テクスチャ部分）において下記の数式８が成立するものとする。ここで、数式８に示す“ＩＳ（Ｘ’）”は、観測画像の増分符号パターン、すなわち、算出された増分符号のパターンを示し、数式８に示す“ＩＳ（Ｘ＋Ｎ）”は、原画像に符号化ノイズ成分を加えた画像に対応する増分符号パターンを示している。また、数式８に示す“ＩＳ（Ｎ）”は、符号化ノイズ成分に対応する増分符号パターンを示す。

・・・（数式８）

また、数式８より下記の数式９が成立する。ここで、数式９は、例えば文字などコントラストの強いエッジの近傍部分（平坦部分）において、観測画像“Ｘ’”の増分符号パターンＩＳ（Ｘ’）と、真のノイズ成分“Ｎ”（未知）の増分符号パターンＩＳ（Ｎ）とが類似していることを意味する。

・・・（数式９）

図５は、本発明の実施形態に係る入力画像信号が示す画像（観測画像）における増分符号の一例を示す説明図である。図５は、上記数式３の関係の具体例を示している。ここで、図５に示すＡは、原画像の一例を示している。また、図５に示すＢは、図５のＡに示す原画像に対応する圧縮画像Ｘ’の一例を示し、図５に示すＣは、図５のＢに示す圧縮画像Ｘ’に対応する増分符号を示している。また、図５に示すＤは、符号化ノイズ成分Ｎが示す画像の一例を示し、図５に示すＥは、図５のＤに示す符号化ノイズ成分Ｎが示す画像に対応する増分符号を示している。また、図５のＢ〜Ｅの各図に示す数値は、エッジ分割領域内の各画素の輝度値を示している。

例えば図５のＢに示すように、エッジ分割領域においてエッジ画素と判定された画素は、エッジ画素マスキング部１１４によりマスキングされる。また、図５のＢに示すように、エッジ分割領域には、例えば隣接する画素間の輝度値の差分を算出できないことに起因して、計算対象外部分が生じる。

また、図５のＣ、Ｅに示す異符号部分は、図５のＣに示す増分符号と図５のＥに示す増分符号とが相違する部分を示している。例えば、図５のＣ、Ｅの異符号部分と、図５のＢに示すマスク部分とを比較すると明らかなように、図５のＣに示す増分符号と図５のＥに示す増分符号とが相違する異符号部分は、エッジ画素と一致することが多い。そこで、図５のＣ、Ｅに示すような異符号部分の影響を除外するために、画像処理装置１００は、エッジ画素マスキング部１１４において、エッジ画素と判定された画素をマスキングする。エッジ画素がマスキングがされることによって、画像処理装置１００は、上記数式９に示す関係を、より等しい状態に近づけることができる。

量子化誤差推定部１０８は、上記数式３の性質、および上記数式９を用いて、例えば、真のノイズ成分“Ｎ”に対応するノイズ成分のＤＣＴ係数“Ｃ＾”を推定する。真のノイズ成分“Ｎ”に対応するＤＣＴ係数“Ｃ＾”が推定されることによって、真のノイズ成分“Ｎ”に対応する推定ノイズ成分“Ｎ＾”を推定することが可能となる。

図６は、本発明の実施形態に係る量子化誤差推定部１０８における処理の一例を示すブロック図である。ここで、図６に示す“ＩＳ”は、増分符号演算を示し、図５に示す“ＩＤＣＴ”は、逆離散コサイン変換を示している。また、図６のＡに示す“ＩＳ（Ｘ’）”は、増分符号算出部１０６から伝達される観測画像“Ｘ’”の増分符号パターンを示しており、図６のＢに示す“Ｃ＾”は、ノイズ成分のＤＣＴ係数を示している。量子化誤差推定部１０８は、例えば、“Ｃ＾”の値として初期値を設定する。なお、“Ｃ＾”の値は適宜更新されていくので、例えば初期値は任意の値であってもよい。また、量子化誤差推定部１０８は、例えば、“Ｎ＾”の値を初期値に設定して処理を行ってもよい。

量子化誤差推定部１０８は、例えば下記の数式１０で表される評価関数を最適化（Optimization）することにより、ノイズ成分のＤＣＴ係数“Ｃ＾”を推定する。真のノイズ成分“Ｎ”に対応するＤＣＴ係数“Ｃ＾”が推定されれば、真のノイズ成分“Ｎ”に対応する推定ノイズ成分“Ｎ＾”が推定されることとなる。

・・・（数式１０）

ここで、後述するように、量子化誤差推定部１０８は、非線形関数であるｓｉｇｎ関数を用いて増分符号“ＩＳ（Ｎ＾）”を算出するので、上記数式１０の最適化には、例えばシンプレックス（Simplex）法などの非線形最適化手法を用いる。以下、数式１０を最適化するための処理の一例について、より具体的に示す。

ＤＣＴの定式に基づくことにより、推定される符号化ノイズ成分“Ｎ＾”は、例えば下記の数式１１で表される。ここで、数式６に示す“Ｂ_ｍｎ”は、次数ｍｎのＤＣＴ基底画像を示す。また、数式６に示す“Ｃ_ｍｎ”は、次数ｍｎのＤＣＴ係数であり、数式６の最適化によって推定すべき変数である。

・・・（数式１１）

また、符号化ノイズ成分Ｎ＾が示す画像（以下、「ノイズ画像Ｎ＾」と示す場合がある。）の位置(ｉ，ｊ)における画素値は、例えば下記の数式１２で表される。

・・・（数式１２）

また、上記数式１２が示す画素値に対応する増分符号は、例えば下記の数式１３で算出される。

・・・（数式１３）

ここで、ＤＣＴ係数の量子化誤差によって、例えばモスキートノイズなどの符号化ノイズを発生させる周波数帯域を下記の数式１４で定義する。ここで、数式１４は、量子化誤差推定部１０８が、ＤＣＴ係数の垂直方向、および水平方向ともに次数４以上のＤＣＴ係数を用いることを表している。

・・・（数式１４）

数式１４に示すように、量子化誤差推定部１０８は、非線形最適化処理において、エッジ分割領域における水平方向および垂直方向それぞれに対応するＤＣＴ係数の次数を設定する。

なお、上記数式１４では、ＤＣＴ係数の垂直方向、および水平方向ともに次数４以上のＤＣＴ係数を用いることを示しているが、本発明の実施形態に係る量子化誤差推定部１０８が行う、符号化ノイズを発生させる周波数帯域の定義は、上記に限られない。例えば、変換符号化を行う分割領域内に垂直方向に伸びる強いエッジが存在する場合には、モスキートノイズは当該エッジに沿って強く表れる傾向があり、その場合には、数式１４に示すｍの広い範囲で量子化誤差が発生することが起こりうる。また、例えば、変換符号化を行う分割領域内に水平方向に伸びる強いエッジが存在する場合には、数式１４に示すｎの広い範囲で量子化誤差が発生することが起こりうる。

よって、量子化誤差推定部１０８は、例えば、エッジ判定部１０４において判定されたエッジの方向に基づいて、ＤＣＴ係数の次数を、判定されたエッジの方向に対応するように適応的に設定してもよい。ＤＣＴ係数の次数が適応的に設定された例としては、例えば下記の数式１５、数式１６が挙げられる。ここで、数式１５は、垂直方向にエッジが検出された場合において設定されるＤＣＴ係数の次数の一例を示し、また、数式１５は、水平方向にエッジが検出された場合において設定されるＤＣＴ係数の次数の一例を示している。

・・・（数式１５）
・・・（数式１６）

上記のように、ＤＣＴ係数の次数を判定されたエッジの方向に対応するように適応的に設定することによって、量子化誤差推定部１０８は、モスキートノイズなどの符号化ノイズを発生させるＤＣＴ係数の量子化誤差を効率的に推定することができる。

以下では、量子化誤差推定部１０８が、上記数式１４に示すように、エッジ分割領域における水平方向および垂直方向それぞれに対応するＤＣＴ係数の次数を設定する場合を例に挙げて、量子化誤差推定部１０８における量子化誤差推定処理の一例について説明する。

数式１４より、数式１３は、例えば下記の数式１７で表される。

・・・（数式１７）

以下では、説明の便宜上、数式１７をベクトル形式で表現する。まず、推定すべき未知ベクトルは、例えば下記の数式１８で表される。

・・・（数式１８）

次に、係数ベクトルを、下記の数式１９のように定義する。

・・・（数式１９）

上記数式１８、上記数式１９より、上記数式１７は、例えば下記の数式２０で表される。

・・・（数式２０）

また、上記数式９より、増分符号“ＩＳ（Ｎ＾）”と増分符号“ＩＳ（Ｘ’）”との関係は、下記の数式２１で表される。

・・・（数式２１）

よって、上記数式２０は、上記数式２１より下記の数式２２で表すことができる。

・・・（数式２２）

エッジ分割領域における上記数式２２が成立する領域（エッジ近傍の平坦に近い領域）を“Ｘ_Ｐ”とすると、“Ｘ_Ｐ”の画素数|Ｘ_Ｐ|の数分、上記数式２２の値が得られる（|Ｘ_Ｐ|＜６４（例えば、分割領域が８×８画素のサイズの場合））。ここで、下記の数式２３、数式２４のように定義し、上記数式２２の|Ｘ_Ｐ|個の方程式を一つの行列ベクトル方程式とすると、当該行列ベクトル方程式は、下記の数式２５で表される。

・・・（数式２３）
・・・（数式２４）
・・・（数式２５）

数式２５を用いると、最適化すべき評価関数Ｊは、例えば下記の数式２６で表される。

・・・（数式２６）

評価関数Ｊを微分することができる場合には、例えば通常の最小二乗法を用いて評価関数の最適化を行うことが可能である。ここで、数式２６に示す評価関数Ｊは、ｓｉｇｎ関数を含むので微分することができない。そこで、量子化誤差推定部１０８は、例えばシンプレックス法などを用いて、評価関数Ｊの最適化を行う。

ここで、量子化誤差推定部１０８は、数式２６に示す演算を反復して行うので、数式２６に示す“ｙ”に初期値を設定する。量子化誤差推定部１０８は、例えば、入力画像信号が示す画像（観測画像）Ｘに対して平滑化を行い、入力画像信号から平滑化後の画像に対応する信号を減算したものを上記数式１１の“Ｎ＾”とすることによって、ｙの初期値、すなわち数式１１に示す“Ｃ_ｍｎ”を設定する。なお、本発明の実施形態に係る量子化誤差推定部１０８における数式２６に示す“ｙ”の初期値の設定方法が、上記に限られないことは、言うまでもない。

量子化誤差推定部１０８は、上記数式２６に示す評価関数Ｊの最適化によって“ｙ”を求める。ここで、最適化により求められた“ｙ”は、上記数式１１の“Ｃ_ｍｎ”、すなわち、推定すべき変数であるＤＣＴ係数に該当する。また、“Ｃ_ｍｎ”が求められれば、上記数式１１によって符号化ノイズ成分“Ｎ＾”が算出される。

よって、量子化誤差推定部１０８は、例えば上記のように、上記数式２６に示す評価関数Ｊを最適化してＤＣＴ係数“Ｃ_ｍｎ”を推定することによって、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。

なお、本発明の実施形態に係る量子化誤差推定部１０８の推定結果は、上記ＤＣＴ係数に限られない。例えば、量子化誤差推定部１０８は、上記数式１１に示す演算を行うことによって、符号化ノイズ成分“Ｎ＾”を、ＤＣＴ係数の量子化により生じる量子化誤差として推定してもよい。以下では、量子化誤差推定部１０８が、ＤＣＴ係数の量子化により生じる量子化誤差として、ＤＣＴ係数“Ｃ_ｍｎ”を推定する場合を例に挙げて説明する。

再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ低減部１１０は、本発明の実施形態に係る画像処理方法に係る上記ノイズ低減処理を主導的に行う役目を果たし、入力画像信号から、量子化誤差推定部１０８において推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。

図７は、本発明の実施形態に係るノイズ低減部１１０の構成の一例を示す説明図である。ノイズ低減部１１０は、例えば、ノイズ画像生成部１１６と、ノイズ減算部１１８とを備える。

ノイズ画像生成部１１６は、量子化誤差推定部１０８において推定された量子化誤差に基づいて、ノイズ画像を生成する。より具体的には、ノイズ画像生成部１１６は、量子化誤差推定部１０８において推定された量子化誤差に該当する“Ｃ_ｍｎ”に基づいて上記数式１１の演算を行うことによって符号化ノイズ成分を算出し、当該符号化ノイズ成分を合成してノイズ画像を生成する。ここで、ノイズ画像生成部１１６における処理は、量子化誤差推定部１０８において推定されたＤＣＴ係数をＩＤＣＴすることによって、空間領域のノイズ画像を求めることに相当する。

ノイズ減算部１１８は、入力画像信号から、ノイズ画像生成部１１０から伝達されるノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。また、ノイズ減算部１１８が、入力画像信号からノイズ画像を示す信号を減算することによって、画像処理装置１００は、原画像を推定することができる。

ノイズ低減部１１０は、例えば、ノイズ画像生成部１１６とノイズ減算部１１８とを備えることによって、入力画像信号のノイズを低減する。

ここで、２次元画像の場合、従来の平滑化手法を用いるときには、テクスチャが失われる可能性があるが、ノイズ低減部１１０（より厳密には、ノイズ減算部１１８）は、平滑化処理を行わずにノイズを低減するので、テクスチャが失われるなどのノイズ低減処理に起因する副作用は原理的に発生しない。よって、ノイズ低減部１１０は、ノイズ低減処理に起因する画質の低下を防止しつつ、例えばモスキートノイズなどのような符号化ノイズを低減することができる。

なお、本発明の実施形態に係るノイズ低減部１１０の構成は、図７に示す構成に限られない。例えば、量子化誤差推定部１０８が、符号化ノイズ成分“Ｎ＾”をＤＣＴ係数の量子化により生じる量子化誤差として推定する場合には、ノイズ低減部１１０は、ノイズ画像生成部１１６を備えていなくてもよい。

画像処理装置１００は、例えば、図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、エッジ判定処理、増分符号算出処理、量子化誤差推定処理、およびノイズ低減処理）を実現する。ここで、画像処理装置１００は、観測画像の空間周波数などからノイズらしい成分を推定する従来技術に係る手法に対して、上述したように、観測画像の増分符号パターンと類似した増分符号パターンを数するＤＣＴ基底画像を非線形最適化処理によって推定し、モスキートノイズなどの符号化ノイズを低減する。

図８は、本発明の実施形態に係る画像処理装置１００におけるノイズ低減処理の効果の一例を示す説明図である。ここで、図８に示すＡは、入力画像信号が示す画像（観測画像）を示しており、圧縮前の原画像を圧縮した画像に、符号化ノイズが重畳された画像の一例を示している。また、図８に示すＢは、本発明の実施形態に係る画像処理方法に係る処理によって、図８のＡに示す画像に含まれる符号化ノイズが低減された画像の一例を示している。また、図８に示すＣは、図８のＡに示す画像を示す信号から図８のＢに示す画像を示す信号を減算した結果得られるノイズ画像、すなわち、本発明の実施形態に係る画像処理方法に係る処理によって推定される符号化ノイズ成分に対応する画像の一例を示している。

図８のＢに示すように、画像処理装置１００は、本発明の実施形態に係る画像処理方法に係る処理を行うことによって、符号化ノイズ量を推定し、平滑化処理をすることなく低減することができる。また、図８のＣには、ＤＣＴの高周波成分の基底パターンが現れていることから、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理によって、ＤＣＴ量子化誤差を直接推定していることが分かる。

なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では、本発明の実施形態に係る画像処理装置が分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、エッジ判定部１０４が分割領域設定部１０２の機能をさらに有していてもよい。

以上のように、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば、エッジ判定処理、増分符号算出処理、および量子化誤差推定処理、を行う。ここで、本発明の実施形態に係る画像処理装置は、入力画像信号（処理対象の画像信号）に基づいてエッジ分割領域を判定し、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。また、本発明の実施形態に係る画像処理装置は、例えば、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、エッジ分割領域ごとに、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。

したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能であるので、局所的に（分割領域ごとに）量子化誤差を推定することができる。

また、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、さらにノイズ低減処理を行ってもよい。ここで、本発明の実施形態に係る画像処理装置は、入力画像信号（処理対象の画像信号）から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。つまり、本発明の実施形態に係る画像処理装置は、平滑化処理を行わずにノイズを低減する。よって、本発明の実施形態に係る画像処理装置は、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴って生じうる副作用を回避することができる。

したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行うことによって、符号化ノイズ（離散コサイン変換係数の量子化により生じる量子化誤差）を低減しつつ、処理後の画像における画質の低下を防止することができる。

以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、エッジ判定処理、増分符号算出処理、および量子化誤差推定処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。

また、コンピュータを、図１に示すノイズ低減部１１０を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、符号化ノイズ（離散コサイン変換係数の量子化により生じる量子化誤差）を低減しつつ、処理後の画像における画質の低下を防止することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。

１００ 画像処理装置
１０２ 分割領域設定部
１０４ エッジ判定部
１０６ 増分符号算出部
１０８ 量子化誤差推定部
１１０ ノイズ低減部
１１２ 算出部
１１４ エッジ画素マスキング部
１１６ ノイズ画像生成部
１１８ ノイズ減算部

Claims (8)

1. 入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、
   エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、
   前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定する量子化誤差推定部と、
   を備えることを特徴とする、画像処理装置。
2. 前記量子化誤差推定部は、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、前記量子化誤差を推定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記量子化誤差推定部は、前記非線形最適化処理において、前記エッジ分割領域における水平方向および垂直方向それぞれに対応する離散コサイン変換係数の次数を設定することを特徴とする、請求項２に記載の画像処理装置。
4. 前記量子化誤差推定部は、前記エッジ判定部において判定されたエッジの方向に基づいて、前記離散コサイン変換係数の次数を、前記判定されたエッジの方向に対応するように適応的に設定することを特徴とする、請求項３に記載の画像処理装置。
5. 前記増分符号算出部は、
   前記増分符号を算出する算出部と、
   前記エッジ分割領域におけるエッジに対応する画素をマスキングするエッジ画素マスキング部と、
   を備え、
   前記量子化誤差推定部は、マスキングされた画素に対応する増分符号を、前記量子化誤差の推定に用いないことを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップと、
   エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップと、
   前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定するステップと、
   を有することを特徴とする、画像処理方法。
8. 入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップ、
   エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップ、
   前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定するステップ、
   をコンピュータに実行させるためのプログラム。