JP2018045396A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像間の画像の局所的な画質変化の度合いを適切に算出できるようにする。【解決手段】画像処理装置１００は、第一の画像および第二の画像を取得する取得手段と、第一の画像および第二の画像の画像内の所定領域の画素群の画素値に基づいて、第一の画像と第二の画像との画素間の類似度を導出する第一の導出手段と、第一の画像および第二の画像のいずれか一方の部分領域に含まれる画素の類似度に基づいて、部分領域における第一の画像と第二の画像との画質変化の度合いを示す画質変化度を導出する第二の導出手段と、を備える。第一の導出手段は、部分領域よりも大きく、部分領域を含む領域を所定領域として、類似度を導出する。【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

デジタルカメラ等の撮像装置により撮像された画像に対し、画像補正を行う画像処理装置が知られている。このような画像処理装置は、上記画像補正として、ホワイトバランス補正、トーンカーブ補正、エッジ補正といった様々な処理を行う。これらの処理は、画像に対して一様になされるものもあれば、画像内である条件を満たす領域にのみなされるものもある。そして、画像処理後の画像を見るだけでは、画像処理前の原画像から、どのような画質変化が、画像のどの位置に、どの程度発生しているかを判断することは難しい。
特許文献１には、符号化処理による画質の劣化を評価するための画質評価装置が開示されている。この画質評価装置は、高能率符号化した圧縮画像を複数のブロックに分割し、分割したブロック毎に劣化量を算出し、算出した劣化量の分布を図化した劣化量分布図を原画像に重ねて表示する。

特許第２８０６２８７号公報

上記特許文献１に記載の技術では、画像を複数のブロックに分割した後、ブロック内の各画素の画素値に基づいて１ブロック当たりの劣化量を算出している。しかしながら、上記のように分割領域内の画素群の画素値を用いて画質の評価値を算出する方法では、分割領域の境界部分において画質情報が失われ、正しい評価値が得られないおそれがある。例えば、図１９（ａ）に示す画像３０１を複数のブロックに分割した結果、図１９（ｂ）に示すように、建物のエッジ部分（窓部分３０２）と分割領域の境界部分とが重なる場合がある。この場合、分割後のブロックに対してエッジ抽出処理を行っても正しくエッジを抽出することができず、エッジ部の劣化度を正しく算出することができない。
そこで、本発明は、画像間の局所的な画質劣化の度合いを適切に算出することを目的としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、第一の画像および第二の画像を取得する取得手段と、前記第一の画像および前記第二の画像の画像内の所定領域の画素群の画素値に基づいて、前記第一の画像と前記第二の画像との画素間の類似度を導出する第一の導出手段と、前記第一の画像および前記第二の画像のいずれか一方の部分領域に含まれる画素の前記類似度に基づいて、前記部分領域における前記第一の画像と前記第二の画像との画質変化の度合いを示す画質変化度を導出する第二の導出手段と、を備え、前記第一の導出手段は、前記部分領域よりも大きく、前記部分領域を含む領域を前記所定領域として、前記類似度を導出する。

本発明によれば、画像間の局所的な画質変化の度合いを適切に算出することができる。

第一の実施形態における画像処理装置のハードウェア構成図。 第一の実施形態における画像処理装置の機能構成図。 画像処理装置の処理の流れを示すフローチャート。 アプリケーションウィンドウの一例を示す模式図。 類似度算出部の機能構成を示す図。 類似度算出部の処理の流れを示すフローチャート。 画質評価部の機能構成を示す図。 周波数解析部の処理の流れを示すフローチャート。 低域通過フィルタおよび高域通過フィルタを示す模式図。 変形例における類似度算出領域の例を示す図。 変形例における画像処理装置の処理を示すフローチャート。 評価領域設定について説明する図。 第二の実施形態における小領域設定部の動作を示す図。 第二の実施形態におけるアプリケーションウィンドウの例を示す模式図。 第三の実施形態におけるアプリケーションウィンドウの例を示す模式図。 第四の実施形態における画質評価部の機能構成を示す図。 第四の実施形態におけるアプリケーションウィンドウの例を示す模式図。 第五の実施形態における画像処理装置の機能構成を示す図。 従来の画質評価方法の問題点を説明する図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、第一の実施形態における画像処理装置１００のハードウェア構成図である。
画像処理装置１００は、第一の画像と第二の画像とを取得し、第一の画像に対する第二の画像の局所的な画質変化に対し、その画質変化度を画像内の部分領域ごとに導出し、画質変化の発生領域を表示させる表示制御を行うことができる。また、このとき画像処理装置１００は、画質変化の発生領域において発生している画質変化の種類と画質変化の度合いを示す画質変化度とを表示させる表示制御を行うこともできる。

本実施形態では、第一の画像は、画像処理前の原画像であり、第二の画像は、第一の画像に対して画像処理が施された画像処理後の画像である場合について説明する。より具体的には、第一の画像は、デジタルカメラ等の撮像装置により撮像された撮像画像であり、第二の画像は、撮像画像に対して、画像処理としてホワイトバランス補正、トーンカーブ補正、エッジ補正といった補正処理を施した後の撮像画像であるものとする。なお、画像処理は上記に限定されるものではない。

また、本実施形態では、画像処理装置１００は、画質変化度として、上記の画像処理による画質劣化の度合いを示す劣化度を導出する場合について説明する。つまり、上記の画像変化の発生領域は、画質劣化領域であり、上記の画質変化の種類は、画質劣化の種類である場合について説明する。なお、画像処理装置１００は、画質変化度として画質の改善度を算出してもよい。また、第一の画像および第二の画像は、画像処理前後の画像に限定されるものではなく、画質変化の評価対象となり得る２枚の画像であれば適用可能である。

画像処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤ（ハードディスクドライブ）Ｉ／Ｆ１０４と、ＨＤＤ１０５と、を備える。さらに、画像処理装置１００は、入力Ｉ／Ｆ１０６と、キーボード１０７と、マウス１０８と、出力Ｉ／Ｆ１０９と、モニタ１１０と、入出力Ｉ／Ｆ１１１と、外部メモリ１１２と、システムバス１１３と、を備える。
ＣＰＵ１０１は、画像処理装置１００における動作を統括的に制御するプロセッサであり、システムバス１１３を介して、各構成部（１０２〜１０４、１０６、１０９および１１１）を制御する。ＲＡＭ１０２は、ＣＰＵ１０１のメインメモリやワークエリアとして機能するメモリである。

ＲＯＭ１０３は、ＣＰＵ１１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０３から必要なプログラムをＲＡＭ１０２にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。なお、ＲＯＭ１０３の機能は、後述のＨＤＤ１０５によっても実現可能である。
ＨＤＤ Ｉ／Ｆ１０４は、ＣＰＵ１０１とＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続するインタフェースであり、例えばシリアルＡＴＡ（ＳＡＴＡ）等を用いることができる。ＨＤＤ１０５は、ＣＰＵ１０１によって実行されるアプリケーションや画像処理に用いられるデータ等を記憶する二次記憶装置である。このＨＤＤ１０５には、第一の画像および第二の画像を記憶することもできる。なお、第一の画像および第二の画像は、後述の外部メモリ１１２に記憶することもできる。

入力Ｉ／Ｆ１０６は、ユーザが指示を入力するキーボード１０７やマウス１０８といった入力デバイスとＣＰＵ１０１とを接続するインタフェースであり、例えば、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースを用いることができる。出力Ｉ／Ｆ１０９は、画像処理の処理結果を出力するモニタ１１０とＣＰＵ１０１とを接続するインタフェースである。例えば、出力Ｉ／Ｆ１０９は、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の映像出力インタフェースを用いることができる。入出力Ｉ／Ｆ１１１は、必要に応じて二次記憶装置である外部メモリ１１２とＣＰＵ１０１とを接続するインタフェースであり、例えば入力Ｉ／Ｆ１０６と同様に、ＵＳＢやＩＥＥＥ１３９４等を用いることができる。

図２は、画像処理装置１００の機能構成を示す図である。画像処理装置１００は、画像入力部１１と、評価条件指定部１２と、類似度算出部１３と、小領域設定部１４と、画質評価部１５と、表示制御部１６と、を備える。この図２に示す画像処理装置１００の各部の機能は、ＣＰＵ１０１がプログラムを実行することで実現することができる。ただし、図２に示す画像処理装置１００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。

画像入力部１１は、ＨＤＤ１０５や外部メモリ１１２に記憶されている第一の画像と第二の画像とを読み込む。評価条件指定部１２は、キーボード１０７やマウス１０８を介してユーザによって指定された評価条件を入力する。ここで、評価条件は、画質の劣化度を算出する部分領域に相当する評価領域の大きさを示す評価領域サイズや、評価対象とする画質劣化の種類を示す画質劣化種類、画質劣化領域の表示条件として用いる表示閾値を含む。

類似度算出部１３は、評価条件指定部１２により取得された画質劣化種類に基づいて、画像入力部１１により取得された第一の画像および第二の画像の画素毎の類似度を算出する。小領域設定部１４は、評価条件指定部１２により取得された評価領域サイズに基づいて、画像内の小領域（部分領域）を評価領域として設定する。画質評価部１５は、評価領域内の各画素の類似度に基づいて、評価領域の画質劣化度を算出する。この画質劣化度は、評価領域の画質を評価するための評価値となる。
表示制御部１６は、画質評価部１５により算出された画質劣化度と、評価条件指定部１２により取得された表示閾値とに基づいて、画像の画質劣化に関する情報をモニタ１１０に表示させる表示制御を行う。ここで、画質劣化に関する情報は、上述した画質劣化領域、画質劣化種類、および画質劣化度の値を含む。

図３は、画像処理装置１００の動作を説明するフローチャートである。
この図３の処理は、例えばユーザによる指示入力に応じて開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。ただし、上述したように、図２に示す画像処理装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図３の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、画像入力部１１は、ＨＤＤ１０５または外部メモリ１１２に記憶されている第一の画像および第二の画像を読み込む。次にＳ２において、評価条件指定部１２は、キーボード１０７およびマウス１０８を介してユーザにより指定された評価条件を取得する。ここで、評価条件は、評価領域サイズ、画質劣化種類および表示閾値を含む。
評価領域サイズは、評価領域の大きさを示す。具体的には、評価領域サイズは、横方向にＸ画素，縦方向にＹ画素として指定される。評価領域は、画像の部分領域であるため、画像の大きさが、水平方向にＭ画素、鉛直方向にＮ画素である場合、評価領域サイズを示す画素数ＸおよびＹは、それぞれＸ≦Ｍ、Ｙ≦Ｎを満たす値となる。なお、評価領域サイズは、画素数ではなく、画像内における評価領域の個数によって指定されてもよい。

画質劣化種類は、評価対象とする画質劣化の種類を示す。具体的には、画質劣化種類は、エッジ部の劣化度、平たん部の劣化度、色の劣化度、輝度の劣化度、低周波部の劣化度、および高周波部の劣化度を含む。ユーザは、上記のような複数種類の画質項目から確認したい画質項目を選択することができる。なお、画質劣化種類は、複数種類の画質項目の中から１つのみ選択されてもよいし、複数選択されてもよい。本実施形態では、画質劣化種類が１つのみ選択される場合について説明する。

表示閾値は、表示制御部１６によって画質劣化領域を表示させる際に用いる表示条件であり、画質評価部１５により算出された劣化度と直接比較する数値とすることができる。本実施形態では、表示制御部１６は、所定の度合い以上の画質劣化が生じている評価領域を、画質劣化領域としてモニタ１１０に表示させる。したがって、この場合、表示閾値は、劣化度と直接比較することで所定の度合い以上の画質劣化が生じている評価領域を判定可能な値に設定する。
なお、表示閾値は、劣化度と直接比較する数値に限定されるものではない。表示閾値は、劣化度の大きい順に何％分の評価領域を画質劣化領域として表示させるかを指定する数値であってもよいし、劣化度の大きい順に何個の評価領域を画質劣化領域として表示させるかを指定する数値であってもよい。

例えば、ユーザは、評価条件を、評価領域サイズ：「Ｘ＝４０画素、Ｙ＝４０画素」、画質劣化種類：「輝度劣化」、表示閾値：「５％」のように指定することができる。この場合、小領域設定部１４は、画像内における４０画素×４０画素の小領域（部分領域）を評価領域として設定し、画質評価部１５は、評価領域の輝度劣化度を算出し、表示制御部１６は、輝度劣化の大きい順に５％分をモニタ１１０に表示させることになる。なお、ユーザからの指定がない条件項目については、予め設定された評価条件を用いてもよい。

Ｓ３では、類似度算出部１３は、第一の画像および第二の画像の類似度を画素毎に算出する類似度算出処理を実行する。本実施形態では、類似度算出部１３は、第一の画像および第二の画像の画像内の所定領域の画素群の画素値に基づいて、第一の画像と第二の画像との画素間の類似度を算出する。より具体的には、このＳ３では、類似度算出部１３は、第一の画像および第二の画像の同じ画素位置の着目画素について、着目画素を含む所定領域の画素群の画素値に基づいて、第一の画像と第二の画像との着目画素間の類似度を算出する。このとき、類似度算出部１３は、Ｓ２においてユーザに指定された画質劣化種類に対応する類似度を算出するようにしてもよい。

また、上記所定領域は、評価領域よりも大きく、該評価領域を含む領域であり、本実施形態では、所定領域は、第一の画像および第二の画像の全画素領域とする。ただし、所定領域は、評価領域よりも大きく、該評価領域を含む領域であれば、任意の領域であってよい。類似度算出処理の詳細については後述する。
Ｓ４では、小領域設定部１４は、Ｓ２においてユーザにより指定された評価領域サイズに基づいて、画像内の評価領域を設定する。そして、小領域設定部１４は、劣化度の算出対象とする評価領域を１つ選択してＳ５に移行する。本実施形態では、小領域設定部１４は、評価領域サイズに従って画像のブロック分割を行うことで評価領域を設定する。つまり、小領域設定部１４は、画像上に互いに重複しないように設定された所定のサイズ（評価領域サイズ）の複数の分割領域を、それぞれ評価領域として設定する。

次にＳ５では、画質評価部１５は、Ｓ３において算出された類似度に基づいて、選択中の評価領域の劣化度を算出する劣化度算出処理を実行する。このとき、画質評価部１５は、Ｓ２においてユーザに指定された画質劣化種類に対応する劣化度を算出するようにしてもよい。劣化度算出処理の詳細については後述する。
Ｓ６では、画質評価部１５は、画像内の全ての評価領域に対して劣化度を算出したか否かを判定する。そして、画質評価部１５は、劣化度が未算出である評価領域が存在すると判定した場合はＳ７に進み、全ての評価領域について劣化度を算出したと判定した場合はＳ８に進む。

Ｓ７では、画質評価部１５は、劣化度が未算出である評価領域を選択し、Ｓ５に戻る。Ｓ８では、表示制御部１６は、Ｓ２においてユーザにより指定された表示閾値と、Ｓ５において算出された劣化度とに基づいて、画質劣化に関する情報をモニタ１１０に表示させる表示制御を行う。画質劣化に関する情報の表示方法の一例を図４に示す。
図４（ａ）に示すように、アプリケーションウィンドウ２００は、画像表示部２０１と、評価条件指定部２０２と、劣化度表示部２０３と、を有する。画像表示部２０１は、第一の画像もしくは第二の画像を表示する。画像表示部２０１に表示する画像は、画像切り替えボタン２０４の操作によって切り替えることができる。

また、ユーザは、画像表示部２０１に表示された画像上の任意の位置を、キーボード１０７やマウス１０８を介して選択可能である。ユーザによって選択された位置に対応する評価領域の画像は、別ウィンドウである拡大表示ウィンドウ２０５に表示することができる。図４（ｂ）は、ユーザによって画像表示部２０１内の評価領域２０１ａが選択された場合の拡大表示ウィンドウ２０５を示している。

さらに、画像表示部２０１は、第一の画像もしくは第二の画像の上に、劣化位置表示画像２０６を重ねて表示することができる。劣化位置表示画像２０６は、画像内において所定の度合い以上の画質劣化が生じている画質劣化領域を、劣化度の大きさに応じて色やパターンを用いて視覚的に区別可能に表示するための画像である。図４（ａ）は、劣化度の大きさを、グラデーションを用いて表した例である。なお、劣化位置表示画像２０６は、背面の第一の画像もしくは第二の画像が見えるように、透過処理が施されていることが好ましい。
評価条件指定部２０２は、ユーザが評価条件を指定可能な領域であり、例えばプルダウンによって、評価領域サイズ、画質劣化種類および表示閾値を指定可能となっている。画像表示部２０１の表示内容は、ユーザが評価条件指定部２０２において評価条件を変更することで自動的に更新されてもよいし、ユーザが不図示の更新ボタン等を押下することで更新されてもよい。

また、劣化度表示部２０３は、ユーザが指定した評価条件に従って劣化度を算出した結果を表示する。ここでは、劣化度表示部２０３が、劣化度表示リストを表示している例を示している。劣化度表示リストは、劣化位置表示画像２０６によって表されている画質劣化領域の位置（劣化位置）と劣化度とを、劣化度の大きい順に並べて表示したものである。この劣化度表示リストの内容も、画像表示部２０１と同様に、ユーザが評価条件指定部２０２において評価条件を変更することで自動的に更新されてもよいし、ユーザが不図示の更新ボタン等を押下することで更新されてもよい。
以上のユーザインタフェースにより、ユーザは、２枚の画像の画質を容易に比較し、第一の画像に対する第二の画像の画質劣化を評価することができる。

（類似度算出処理）
以下、図３のＳ３において類似度算出部１３が実行する類似度算出処理について具体的に説明する。図５は、類似度算出部１３の論理構成を示すブロック図である。類似度算出部１３は、画像変換部１３１ａ、１３１ｂと、エッジ抽出部１３２ａ、１３２ｂと、差分算出部１３３ａ〜１３３ｄとを備える。
画像変換部１３１ａおよび１３１ｂは、第一の画像および第二の画像を、それぞれ明るさ成分（輝度成分）と色成分とに変換する。具体的には、画像変換部１３１ａおよび１３１ｂは、第一の画像および第二の画像のＲＧＢ情報を、均等色空間であるＬ＊ａ＊ｂ＊表色系に変換する。エッジ抽出部１３２ａ、１３２ｂは、第一の画像および第二の画像のＬ＊成分に対してそれぞれエッジ抽出フィルタを乗算し、第一の画像および第二の画像からエッジ成分を抽出する。ここで、画像変換部１３１ａ、１３１ｂおよびエッジ抽出部１３２ａ、１３２ｂの処理の対象となる領域は、類似度を算出する類似度算出領域（所定領域）であり、本実施形態では、第一の画像および第二の画像の全画素領域である。

差分算出部１３３ａ〜１３３ｄは、第一の画像および第二の画像の類似度を画素毎に算出する。差分算出部１３３ａは、エッジ抽出部１３２ａ、１３２ｂにより抽出されたエッジ成分（Ｌ＊エッジ成分）をもとに、エッジ成分の類似度としてＬ＊エッジ成分類似度を算出する。差分算出部１３３ｂは、第一の画像および第二の画像のＬ＊成分をもとに、輝度成分の類似度としてＬ＊成分類似度を算出する。また、差分算出部１３３ｃは、第一の画像および第二の画像のａ＊成分をもとに、色成分の類似度としてａ＊成分類似度を算出する。そして、差分算出部１３３ｄは、第一の画像および第二の画像のｂ＊成分をもとに、色成分の類似度としてｂ＊成分類似度を算出する。
図６は、類似度算出部１３が図３のＳ３において実行する類似度算出処理の流れを示すフローチャートである。
Ｓ３１では、画像変換部１３１ａは、第一の画像を、Ｌ＊ａ＊ｂ＊表色系に変換する。また、画像変換部１３１ｂは、第二の画像を、Ｌ＊ａ＊ｂ＊表色系に変換する。この変換処理に関しては、公知の方法を用いることができる。

次にＳ３２では、エッジ抽出部１３２ａは、第一の画像のＬ＊成分に対してエッジ抽出フィルタを乗算し、第一の画像のＬ＊エッジ成分を抽出する。また、エッジ抽出部１３２ｂは、第二の画像のＬ＊成分に対してエッジ抽出フィルタを乗算し、第二の画像のＬ＊エッジ成分を抽出する。
水平方向のエッジ抽出フィルタＨｘ、および鉛直方向のエッジ抽出フィルタＨｙの一例を（１）式に示す。なお、以下の（１）式で示されるフィルタは、代表的なエッジ抽出フィルタであるＰｒｅｗｉｔｔフィルタであるが、エッジ抽出フィルタはこれに限定されない。

エッジ抽出部１３２ａおよび１３２ｂは、第一の画像ＲのＬ＊成分（Ｒ_L）および第二の画像ＤのＬ＊成分（Ｄ_L）にそれぞれエッジ抽出フィルタＨｘ，Ｈｙを畳み込み積分し、二乗和の平方根をとって各画像のＬ＊エッジ成分を抽出する。ここで、第一の画像のＬ＊エッジ成分をＲ_L*edge、第二の画像のＬ＊エッジ成分をＤ_L*edgeとすると、具体的には、Ｌ＊エッジ成分Ｒ_L*edge、Ｄ_L*edgeは、下記（２）式を用いて算出することができる。

ここで、（ｘ，ｙ）は、第一の画像および第二の画像における着目画素の座標値であり、ｘは画像の水平方向の画素位置、ｙは画像の鉛直方向の画素位置である。なお、本実施形態では、輝度成分に対してのみエッジ抽出処理を行っているが、色成分に対してエッジ抽出処理を行ってもよい。
Ｓ３３では、差分算出部１３３ａは、第一の画像Ｒおよび第二の画像ＤのＬ＊エッジ成分Ｒ_L*edge（ｘ，ｙ）およびＤ_L*edge（ｘ，ｙ）をもとに、Ｌ＊エッジ成分類似度Ｓ_L*edgeを算出する。Ｓ３４では、差分算出部１３３ｂは、第一の画像Ｒおよび第二の画像ＤのＬ＊成分Ｒ_L*（ｘ，ｙ）およびＤ_L*（ｘ，ｙ）をもとに、Ｌ＊成分類似度Ｓ_L*を算出する。また、Ｓ３５では、差分算出部１３３ｃは、第一の画像Ｒおよび第二の画像Ｄのａ＊成分Ｒ_a*（ｘ，ｙ）およびＤ_a*（ｘ，ｙ）をもとに、ａ＊成分類似度Ｓ_a*を算出する。さらに、Ｓ３６では、差分算出部１３３ｄは、第一の画像Ｒおよび第二の画像Ｄのｂ＊成分Ｒ_b*（ｘ，ｙ）およびＤ_b*（ｘ，ｙ）をもとに、ｂ＊成分類似度Ｓ_b*を算出する。
具体的には、Ｓ３３〜Ｓ３６では、差分算出部１３３ａ〜１３３ｄは、下記（３）式を用いてＬ＊成分、ａ＊成分、ｂ＊成分、Ｌ＊エッジ成分について、それぞれの着目画素間の類似度Ｓ_iを算出する。

ここで、ｉは、Ｌ＊，ａ＊，ｂ＊，Ｌ＊エッジ成分を示し、Ｔは、定数項を示す。上記（３）式においては、画質評価に広く用いられる構造的類似度ＳＳＩＭ（Structural SIMilarity）の数式を用いている。つまり、類似度Ｓ_iの数値が１に近いほど、第二の画像の特徴量が、原画像である第一の画像の特徴量に近いことを示している。なお、類似度の算出に用いる数式は上記に限定されるものではなく、第一の画像と第二の画像との差異に関する特徴量を算出可能であれば、任意の算出式を用いることができる。
類似度算出部１３は、第一の画像および第二の画像の全画素についてそれぞれ類似度を算出し、類似度算出処理を終了する。

以上のように、類似度算出部１３は、第一の画像と第二の画像との対応する画素位置の画素（同じ画素位置の画素）をそれぞれ着目画素とし、着目画素間の類似度を算出する。その際、類似度算出部１３は、着目画素を含む所定領域（本実施形態では全画素領域）の画素群の画素値を用い、上記所定領域の画像をＬ＊ａ＊ｂ＊表色系に変換する変換処理と、上記所定領域の画像からエッジ成分を抽出するエッジ抽出処理とを行う。そして、類似度算出部１３は、変換処理とエッジ抽出処理との処理結果に基づいて、画素毎の類似度を算出する。具体的には、類似度算出部１３は、第一の画像および第二の画像におけるＬ＊成分、Ｌ＊エッジ成分、ａ＊成分、ｂ＊成分といった特徴量の差異を示す情報を類似度として画素毎に算出する。

（劣化度算出処理）
以下、図３のＳ５において画質評価部１５が実行する劣化度算出処理について具体的に説明する。
図７は、画質評価部１５の論理構成を示すブロック図である。画質評価部１５は、周波数処理部１５１と、劣化度算出部１５２ａ〜１５２ｆとを備える。周波数処理部１５１は、図３のＳ３の類似度算出処理において算出された類似度に対して、画像の周波数空間でフィルタ処理を行う。劣化度算出部１５２ａ〜１５２ｆは、図３のＳ３の類似度算出処理において算出された類似度、または周波数処理部１５１において周波数処理を施した類似度に基づいて、評価領域の劣化度を算出する。本実施形態では、画質評価部１５は、エッジ部の劣化度、平たん部の劣化度、輝度の劣化度、低周波部の劣化度、高周波部の劣化度および色の劣化度のうち、ユーザによって指定された画質劣化種類の劣化度ＤＩＳＴを算出することができる。

図８は、画質評価部１５が図３のＳ５において実行する劣化度算出処理の流れを示すフローチャートである。
まずＳ５１では、劣化度算出部１５２ａは、エッジ部の劣化度（エッジ部劣化度）ＤＩＳＴ_edgeを算出する。エッジ部劣化度ＤＩＳＴ_edgeは、Ｌ＊エッジ成分類似度Ｓ_L*edgeの平均を取ることで算出される。具体的には、エッジ部劣化度ＤＩＳＴ_edgeは、以下の（４）式で表される。

ここで、Ｘは、評価領域の水平方向の画素数、Ｙは、評価領域の鉛直方向の画素数を示し、ｘ’は、評価領域内の横画素位置、ｙ’は、評価領域内の縦画素位置を示す。
次にＳ５２では、劣化度算出部１５２ｂは、平たん部の劣化度（平たん部劣化度）ＤＩＳＴ_flatを算出する。平たん部劣化度ＤＩＳＴ_flatは、Ｌ＊エッジ成分類似度Ｓ_L*edgeとＬ＊成分類似度Ｓ_L*との差分に対して平均を取ることで算出される。平たん部劣化度ＤＩＳＴ_flatは、具体的には、以下の（５）式で表される。

Ｓ５３では、劣化度算出部１５２ｃは、輝度の劣化度（輝度劣化度）ＤＩＳＴ_lumを算出する。輝度劣化度ＤＩＳＴ_lumは、Ｌ＊成分類似度Ｓ_L*の平均を取ることで算出される。輝度劣化度ＤＩＳＴ_lumは、具体的には、以下の（６）式で表される。

次に、Ｓ５４〜Ｓ５８では、画質評価部１５は、低周波部の劣化度（低周波劣化度）ＤＩＳＴ_low＿freqと高周波部の劣化度（高周波劣化度）ＤＩＳＴ_high＿freqとを算出する。Ｓ５４では、周波数処理部１５１は、それぞれＬ＊成分類似度Ｓ_L*をフーリエ変換し、周波数空間の画像に変換する。
ＦＳ（ｕ’，ｖ’）＝ＦＦＴ（Ｓ_L*（ｘ’，ｙ’）） ………（７）
ここで、ｕ’は、評価領域内の水平方向の周波数、ｖ’は、評価領域内の鉛直方向の周波数である。
次にＳ５５では、周波数処理部１５１は、低域通過フィルタＦｉｌｔｅｒ_lおよび高域通過フィルタＦｉｌｔｅｒ_hを作成する。各フィルタＦｉｌｔｅｒ_lおよびＦｉｌｔｅｒ_hは、具体的には以下の（８）式および（９）式で与えられる。

ここで、ｔｈは、周波数フィルタの大きさに関する閾値である。図９（ａ）に低域通過フィルタＦｉｌｔｅｒ_lの模式図、図９（ｂ）に高域通過フィルタＦｉｌｔｅｒ_hの模式図を示す。なお、フィルタ形状は上記に限定されず、例えばガウス関数等を用いることもできる。
Ｓ５６では、周波数処理部１５１は、低域通過フィルタＦｉｌｔｅｒ_l（ｕ’，ｖ’）を、ＦＳ（ｕ’，ｖ’）に乗算する。また、周波数処理部１５１は、高域通過フィルタＦｉｌｔｅｒ_h（ｕ’，ｖ’）を、ＦＳ（ｕ’，ｖ’）に乗算する。つまり、周波数処理部１５１は、以下の（１０）式を用いてフィルタリング処理を行う。
ＦＳ_i（ｕ’，ｖ’）＝Ｆｉｌｔｅｒ_i（ｕ’，ｖ’）＊ＦＳ（ｕ’，ｖ’） ………（１０）
ここで、ｉ＝ｌ，ｈである。

Ｓ５７では、周波数処理部１５１は、ＦＳ_l（ｕ’，ｖ’）を逆フーリエ変換し、画像を周波数空間から２次元画像へと戻す。また、周波数処理部１５１は、ＦＳ_h（ｕ’，ｖ’）を逆フーリエ変換し、画像を周波数空間から２次元画像へと戻す。周波数処理部１５１は、具体的には、以下の（１１）式で表される処理を行う。
ＦＳ_i（ｘ’，ｙ’）＝ＩＦＦＴ（ＦＳ_i（ｕ’，ｖ’）） ………（１１）
ここで、ｉ＝ｌ，ｈである。

Ｓ５８では、劣化度算出部１５２ｄは、低周波劣化度ＤＩＳＴ_low＿freqを算出する。低周波劣化度ＤＩＳＴ_low＿freqは、Ｓ５７により算出された低周波部のＬ＊成分類似度ＦＳ_l（ｘ’，ｙ’）の平均を取ることで算出される。また、劣化度算出部１５２ｅは、高周波劣化度ＤＩＳＴ_high＿freqを算出する。高周波劣化度ＤＩＳＴ_high＿freqは、Ｓ５７により算出された高周波部のＬ＊成分類似度ＦＳ_h（ｘ’，ｙ’）の平均を取ることで算出される。低周波劣化度ＤＩＳＴ_low＿freqおよび高周波劣化度ＤＩＳＴ_high＿freqは、具体的には、以下の（１２）式および（１３）式で表される。

Ｓ５９では、劣化度算出部１５２ｆは、色の劣化度（色劣化度）ＤＩＳＴ_colorを算出する。色劣化度ＤＩＳＴ_colorは、ａ*成分類似度Ｓ_a*とｂ*成分類似度Ｓ_b*との和に対して平均をとることで算出される。色劣化度ＤＩＳＴ_colorは、具体的には、以下の（１４）式で表される。

このように、画質評価部１５は、ユーザによって指定された画質劣化種類に対応する劣化度を評価領域毎に算出し、劣化度算出処理を終了する。なお、本実施形態では、劣化度の算出において、評価領域内に含まれる類似度の平均を用いて算出したが、合計や標準偏差などを用いてもよい。

以上のように、本実施形態における画像処理装置１００は、原画像である第一の画像と、第一の画像に対して画像処理を施した後の第二の画像とを取得し、第一の画像と第二の画像との画素毎の類似度を導出する。このとき、画像処理装置１００は、第一の画像および第二の画像の画像内の所定領域の画素群の画素値に基づいて、第一の画像と第二の画像との画素間の類似度を導出する。そして、画像処理装置１００は、第一の画像および第二の画像のいずれか一方の部分領域を評価領域とし、評価領域に含まれる画素について導出された類似度に基づいて、評価領域の画質変化度を導出する。ここで、画像処理装置１００は、画素毎の類似度を算出する類似度算出領域（所定領域）を、画質変化の評価領域（部分領域）よりも大きく、該評価領域を含む領域とする。

このように、画像処理装置１００は、評価領域に含まれる画素群の画素値のみを用いて評価領域の評価値を算出するのではなく、評価領域外の画素の画素値も用いて評価領域の評価値を算出する。したがって、評価領域における境界部分において画質情報を失うことなく、適切に評価領域の評価値（画質変化度）を算出することができる。ここで、画質変化度は、評価領域における第一の画像と第二の画像との画質劣化の度合いを示す劣化度とすることができる。つまり、画像処理装置１００は、画像の局所的な画質劣化に対し、画像のどの位置（部分領域）にどの程度の劣化が生じているかを算出することができる。

また、画像処理装置１００は、上述したように、画素毎の類似度を算出する類似度算出領域（所定領域）を、画質変化の評価領域（部分領域）よりも大きく、該評価領域を含む領域とする。例えば、上記所定領域は、第一の画像および第二の画像の全画素領域とすることができる。これにより、画質情報が失われることを確実に防止することができ、適切に評価領域内の画質変化度を算出することができる。

さらに、画像処理装置１００は、導出された評価領域毎の画質変化度に基づいて、画質変化に関する情報をモニタ１１０に表示させる表示制御を行う。したがって、ユーザは、２枚の画像間の局所的な画質変化について容易に確認することができる。このとき、画像処理装置１００は、評価領域毎の画質変化度に基づいて、画質変化の発生領域（画質劣化領域）、発生領域において発生している画質変化の種類（画質劣化種類）および発生領域の画質変化度（劣化度）の少なくとも１つを表示させることができる。そのため、ユーザは、どのような劣化が、画像のどの位置に、どの程度発生しているかを適切に確認することができる。

また、画像処理装置１００は、第一の画像または第二の画像上に、画質劣化領域を、画質劣化種類および劣化度の少なくとも１つに応じて視覚的に区別可能に表示させることができる。例えば、画像処理装置１００は、画質劣化領域を、劣化度の大きさに応じて色やパターンを用いて視覚的に区別可能に表示させることができる。これにより、ユーザは、画像のどの位置に、どの程度の劣化が発生しているかを容易に確認することができる。

さらに、画質変化に関する情報の表示条件は、ユーザに指定させることもできる。例えば、ユーザは、画質劣化が生じている画質劣化領域を判定するための劣化度の閾値や、劣化度の大きい方から順に何個分もしくは何％分の評価領域を画質劣化領域として表示させるかの閾値を指定することができる。画像処理装置１００は、ユーザによって指定された表示条件（表示閾値）に従って表示制御を行うことで、ユーザが確認したい情報を適切に表示させることができる。

また、画像処理装置１００は、第一の画像および第二の画像の少なくとも一方において、画像上に互いに重複しないように設定された所定のサイズ（評価領域サイズ）の複数の分割領域を、それぞれ画質変化の評価領域（部分領域）として設定する。このように、画像処理装置１００は、ブロック分割により容易に画像内の評価領域を設定することができる。また、部分領域のサイズ（評価領域サイズ）は、ユーザに指定させることもできる。これにより、画像処理装置１００は、ユーザが評価したい領域の単位で劣化度を算出し、画質劣化に関する情報を表示させることができる。

また、画像処理装置１００は、画像間の画素毎の類似度の算出に際し、第一の画像および第二の画像の類似度算出領域（所定領域）の画像を、それぞれ輝度成分と色成分とに変換する。また、画像処理装置１００は、第一の画像および第二の画像の類似度算出領域（所定領域）の画像から、それぞれエッジ成分を抽出する。そして、画像処理装置１００は、画像変換およびエッジ抽出の少なくとも一方の処理結果に基づいて、第一の画像と第二の画像との差異に関する特徴量を類似度として導出する。

つまり、画像処理装置１００は、画像間の画素毎の類似度として、輝度成分の類似度、色成分の類似度、およびエッジ成分の類似度の少なくとも１つを導出することができる。このように、画像処理装置１００は、画像間における輝度成分、色成分、エッジ成分といった複数種類の特徴量を抽出して類似度を算出することができる。したがって、画質変化の内容が既知ではない任意の画像を評価対象とした場合であっても、画質変化度を適切に算出することができる。

さらに、画像処理装置１００は、画質変化度として、輝度の劣化度、色の劣化度、エッジ部の劣化度、平たん部の劣化度、低周波部の劣化度および高周波部の劣化度の少なくとも１つを導出することができる。このように、画像処理装置１００は、複数種類の劣化度を算出することができる。そのため、異なる種類の画質変化が生じている場合や、画質変化の内容が既知ではない任意の画像を評価対象とした場合であっても、画質変化に関する情報を適切に表示させることができる。
また、評価対象とする画質変化の種類は、ユーザに指定させることもできる。これにより、画像処理装置１００は、ユーザが評価したい画質変化の種類に合わせた類似度や劣化度を算出し、ユーザが評価したい内容の画質劣化に関する情報を表示させることができる。

（変形例）
第一の実施形態では、図３のＳ３において、類似度算出部１３は、第一の画像および第二の画像の全画素領域の画素値を用いて画素毎の類似度を算出した。しかしながら、先に述べたとおり、類似度算出領域（所定領域）は、全画素領域に限定されない。例えば、図１０に示すような、評価領域Ｐよりも大きく、該評価領域Ｐを含み、全画素領域よりも小さい領域Ｑを、類似度算出領域とすることもできる。この場合にも、上述した第一の実施形態と同様の効果が得られる。

この変形例における処理の流れは、図１１のフローチャートで示される。類似度算出領域は、評価領域に基づいて決定されるため、図３に示すフローチャートに対してＳ３とＳ４との処理の順序が逆になる。この場合、Ｓ３では、類似度算出部１３は、Ｓ４において設定された評価領域に基づいて、図１０に示すような領域Ｑを類似度算出領域（所定領域）として設定する。そのため、このＳ３の類似度算出処理においては、変換処理およびエッジ抽出処理の対象となる領域は、第一の実施形態のような全画素領域ではなく、図１０に示すような全画素領域よりも小さい領域Ｑとなる。

（第二の実施形態）
第一の実施形態では、ユーザによって指定された評価領域サイズで画像をタイル状にブロック分割し、分割領域を評価領域とする場合について説明した。しかしながら、評価領域の設定方法は上記に限定されるものではなく、互いに重複する領域を有するように、評価領域同士をオーバーラップさせてもよい。
例えば、図１２（ａ）に示す第一の画像３０１をタイル状に領域分割した結果、図１２（ｂ）に示すような評価領域が設定された場合、画像内の建物の窓部分３０２は、複数の評価領域に分割されることになる。この場合、窓部分３０２を１つの評価領域として評価することはできない。このように、ユーザが指定した評価領域サイズによっては、ユーザの評価したい領域が評価領域の境界に存在し、評価したい領域を適切に評価できない場合がある。そして、窓部分３０２を１つの評価領域として評価するためには、ユーザは、評価したい領域が評価領域に包含されるように評価領域サイズを設定し直さなければならず、処理が煩雑となる。

そこで、画像をタイル状にブロック分割した分割領域を評価領域として設定するのではなく、評価領域同士をオーバーラップさせることで、ユーザの評価したい領域が複数の評価領域に分割されてしまうことを抑制することができる。
この第二の実施形態における画像処理装置のハードウェア構成、機能構成、および処理の流れは、図１〜図３に示す第一の実施形態と同様である。ただし、小領域設定部１４および表示制御部１６の動作が第一の実施形態とは異なる。以下、第一の実施形態とは異なる部分を中心に説明する。

小領域設定部１４は、ユーザにより指定された評価領域サイズを用いて評価領域を設定する。図１３に評価領域の設定例を示す。この図１３では、評価領域Ｐは、ユーザにより指定された評価領域サイズに相当する大きさを有し、水平方向に領域間隔ａ、鉛直方向に領域間隔ｂの間隔分離れた場所に次の評価領域が設定されている。つまり、画像の大きさを水平方向にＭ画素、鉛直方向にＮ画素とし、評価領域Ｐの大きさを水平方向にＸ画素、鉛直方向にＹ画素とすると、評価領域Ｐは、水平方向に（Ｍ−Ｘ）／ａ＋１個、鉛直方向に（Ｎ−Ｙ）／ｂ＋１個設定することができる。なお、領域間隔ａは、０＜ａ≦Ｘ、領域間隔ｂは、０＜ｂ≦Ｙを満たす値を取るものとする。この領域間隔ａおよびｂは、ユーザにより指定される評価条件に含めてもよいし、予め設定した値であってもよい。

表示制御部１６は、ユーザにより指定された表示閾値と、画質評価部１５により算出された劣化度とに基づいて、画像内における画質劣化領域をモニタ１１０に表示させる。表示方法の一例として、アプリケーションウィンドウ２１０を図１４（ａ）に示す。
アプリケーションウィンドウ２１０は、図４（ａ）のアプリケーションウィンドウ２００と同様に、画像表示部２１１と、評価条件指定部２１２と、劣化度表示部２１３と、画像切り替えボタン２１４と、を有する。また、画像表示部２１１は、第一の画像もしくは第二の画像の上に、劣化位置表示画像２１６を重ねて表示することができる。
ここで、劣化位置表示画像２１６は、図４（ａ）の劣化位置表示画像２０６と同様に、評価領域毎に算出された劣化度に応じて、画質劣化領域を色やパターンを用いて表す画像である。ただし、この第二の実施形態では、評価領域は近傍の評価領域と重なって設定されるため、画質劣化領域も近傍の画質劣化領域と重なって表示されることになる。

ユーザが、画像表示部２１１に表示された画像上において、例えば建物の窓部分を評価したい領域として選択した場合、選択された位置に最も近い評価領域２１１ａの画像が、図１４（ｂ）に示すように拡大表示ウィンドウ２１５に表示される。また、このとき、劣化度表示部２１３には、ユーザが選択した位置の座標と共に、ユーザが選択した位置に最も近い評価領域の劣化度を表示するようにしてもよい。これにより、ユーザは、評価したい領域の劣化度を容易かつ適切に確認することができる。
このように、画像処理装置１００は、第一の画像および第二の画像の少なくとも一方において、画像上に互いに重複する領域を有するように設定された所定のサイズ（評価領域サイズ）の複数の領域を、それぞれ画質変化の評価領域として設定することもできる。これにより、ユーザが評価したい領域が複数の評価領域に分割されてしまうことを抑制し、ユーザが評価したい領域の劣化度を適切に表示させることができる。

（第三の実施形態）
第一の実施形態では、ユーザが画質劣化種類を１種類のみ選択する場合について説明したが、上述したように、ユーザは、画質劣化種類を複数種類選択することもできる。この場合、異なる種類の画質劣化の発生領域を、ユーザが一度に確認できるようにすることもできる。
この第三の実施形態における画像処理装置のハードウェア構成、機能構成、および処理の流れは、図１〜図３に示す第一の実施形態と同様である。ただし、評価条件指定部１２および表示制御部１６の動作が第一の実施形態とは異なる。以下、第一の実施形態とは異なる部分を中心に説明する。

評価条件指定部１２は、キーボード１０７およびマウス１０８を介して入力された評価条件を取得する。このとき、評価条件指定部１２は、画質劣化種類を複数種類取得する。
表示制御部１６は、ユーザにより指定された表示閾値と、画質評価部１５により算出された劣化度とに基づいて、画像内における画質劣化領域をモニタ１１０に表示させる。表示方法の一例として、アプリケーションウィンドウ２２０を図１５（ａ）に示す。
アプリケーションウィンドウ２２０は、図４（ａ）のアプリケーションウィンドウ２００と同様に、画像表示部２２１と、評価条件指定部２２２と、劣化度表示部２２３と、画像切り替えボタン２２４と、を有する。また、画像表示部２２１は、第一の画像もしくは第二の画像の上に、劣化位置表示画像２２６を重ねて表示することができる。

ここで、劣化位置表示画像２２６は、図４（ａ）の劣化位置表示画像２０６と同様に、評価領域毎に算出された劣化度に応じて、画質劣化領域を色やパターンを用いて表す画像である。ただし、この第三の実施形態では、一度に表示する画質劣化種類が複数存在するため、画質劣化種類に応じてパターンを変えて表示する。この場合、アプリケーションウィンドウ２２０には、画質劣化種類の表示パターンを説明するためのパターン説明部２２７を表示してもよい。
なお、異なる画質劣化種類の表示方法は上記に限定されるものではなく、例えば、輝度劣化は赤、色劣化は青、エッジ部劣化は緑のように、色によって画質劣化種類を分け、各劣化度に応じて明度のグラデーションをつけて示してもよい。

また、ユーザが、画像表示部２２１に表示された画像上において、評価領域２２１ａを選択した場合、評価領域２２１ａの画像が、図１５（ｂ）に示すように拡大表示ウィンドウ２２５に表示される。さらに、劣化度表示部２２３には、画質劣化領域の座標と劣化度とを、画質劣化種類ごとに劣化度の大きい順に並べて表示した劣化度表示リストを表示してもよい。
このように、画像処理装置１００は、評価領域毎にそれぞれ複数の画質劣化種類の劣化度を算出し、異なる種類の画質劣化の発生領域を表示させるようにしてもよい。これにより、ユーザは、画像中に異なる種類の画質劣化が生じていることを適切に確認することができる。また、画像処理装置１００は、画質劣化領域を、画質劣化種類に応じて色やパターンを用いて視覚的に区別可能に表示させることができる。したがって、ユーザは、画像のどの位置に、どのような劣化が発生しているかを容易に確認することができる。

（第四の実施形態）
上記実施形態では、ユーザにより選択された画質劣化種類について、画質劣化領域と劣化度とを表示させる場合について説明した。しかしながら、画質劣化種類毎に画質劣化領域を表示させる方法では、ユーザは、総合的に画質が低い領域を容易に知ることが困難である。したがって、各評価領域における総合的な画質劣化度（総合劣化度）を表示するようにしてもよい。
この第四の実施形態における画像処理装置のハードウェア構成、機能構成、および処理の流れは、図１〜図３に示す第一の実施形態と同様である。ただし、評価条件指定部１２、画質評価部１５および表示制御部１６の動作が第一の実施形態とは異なる。以下、第一の実施形態とは異なる部分を中心に説明する。
評価条件指定部１２は、キーボード１０７およびマウス１０８を介して入力された評価条件を取得する。第一の実施形態では、評価条件は、評価領域サイズ、画質劣化種類、および表示閾値としたが、この第四の実施形態では、画質劣化種類の選択を省略し、評価条件を、評価領域サイズおよび表示閾値としてもよい。

画質評価部１５は、図１６に論理構成を示すように、周波数処理部１５１と、劣化度算出部１５２ａ〜１５２ｆと、総合劣化度算出部１５３とを備える。周波数処理部１５１および劣化度算出部１５２ａ〜１５２ｆは、第一の実施形態と同様である。総合劣化度算出部１５３は、劣化度算出部１５２ａ〜１５２ｆにより算出された各劣化度に基づいて、総合劣化度を算出する。
つまり、画質評価部１５が実行する劣化度算出処理は、図８に示す劣化度算出処理のＳ５９の後に、総合劣化度を算出する処理が追加されたものとなる。
この総合劣化度を算出する処理では、総合劣化度算出部１５３は、各画質劣化種類の劣化度に基づいて総合劣化度ＤＩＳＴ_allを算出する。総合劣化度ＤＩＳＴ_allは、具体的には、以下の（１５）式のように、各劣化度の和によって表される。
ＤＩＳＴ_all＝ＤＩＳＴ_edge＋ＤＩＳＴ_flat＋ＤＩＳＴ_lum＋ＤＩＳＴ_low＿freq＋ＤＩＳＴ_high＿freq＋ＤＩＳＴ_color ………（１５）

なお、総合劣化度ＤＩＳＴ_allの算出方法は上記に限らず、別の算出方法を用いてもよい。また、総合劣化度は、エッジ部劣化度、平たん部劣化度、輝度劣化度、低周波部劣化度、高周波部劣化度および色劣化度を総合した劣化度に限定されない。総合する劣化度の種類は、ユーザによって指定されてもよい。
表示制御部１６は、ユーザにより指定された表示閾値と、画質評価部１５により算出された総合劣化度とに基づいて、画像内における画質劣化領域をモニタ１１０に表示させる。表示方法の一例として、アプリケーションウィンドウ２３０を図１７（ａ）に示す。
アプリケーションウィンドウ２３０は、図４（ａ）のアプリケーションウィンドウ２００と同様に、画像表示部２３１と、評価条件指定部２３２と、劣化度表示部２３３と、画像切り替えボタン２３４と、を有する。また、画像表示部２３１は、第一の画像もしくは第二の画像の上に、劣化位置表示画像２３６を重ねて表示することができる。

また、ユーザが、画像表示部２３１に表示された画像上において、評価領域２３１ａを選択した場合、評価領域２３１ａの画像が、図１７（ｂ）に示すように拡大表示ウィンドウ２３５に表示される。ここで、劣化度表示部２２３には、画質劣化領域の座標と総合劣化度とを、総合劣化度の大きい順に並べて表示した劣化度表示リストを表示してもよい。
さらに、アプリケーションウィンドウ２３０には、ユーザにより画質劣化領域の１つが選択された場合に、選択された評価領域の総合劣化度の算出に用いた各画質劣化種類の劣化度を表示する劣化種類表示リスト２３８を表示させてもよい。
このように、画像処理装置１００は、画像の各評価領域において総合劣化度を算出し、これを表示させることができるので、ユーザは、総合的な画質劣化領域および劣化度を適切に確認することができる。

（第五の実施形態）
上記実施形態では、第一の画像と第二の画像とにおいて、画像間の位置が合致しているものとして説明した。しかしながら、入力した２枚の画像間で位置ずれが生じていた場合、画素間の類似度を正確に算出することができないため、画像を入力した後、画像間の位置合わせを行うようにしてもよい。この第五の実施形態における画像処理装置のハードウェア構成は、図１に示す第一の実施形態と同様である。ただし、機能構成および処理の流れは、第一の実施形態とは異なる。
図１８は、画像処理装置１００´の機能構成を示すブロック図である。この図１８において、図２に示す画像処理装置１００と同一構成を有する部分には図２と同一符号を付し、その説明は省略する。画像位置補正部１７は、画像入力部１１により入力された第一の画像と第二の画像との位置合わせを行う。画像の位置合わせの方法としては、公知の方法を用いることができる。

画像処理装置１００´の処理の流れは、図３のＳ１の後、画像位置補正部１７が、第一の画像と第二の画像とについて位置合わせ処理を行ってからＳ２に移行する点を除いては、図３に示す処理と同様である。なお、Ｓ２以降の処理は、上述した第一〜第四の実施形態の処理のいずれの処理であってもよい。
このように、画像処理装置１００は、画像間の類似度を算出する前に、第一の画像と第二の画像との位置ずれを補正する位置合わせを行ってもよい。これにより、入力した２枚の画像に位置ずれが生じている場合であっても、画素間の類似度を正確に算出することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１…画像入力部、１２…評価条件指定部、１３…類似度算出部、１４…小領域設定部、１５…画質評価部、１６…表示制御部、１００…画像処理装置

Claims (15)

1. 第一の画像および第二の画像を取得する取得手段と、
   前記第一の画像および前記第二の画像の画像内の所定領域の画素群の画素値に基づいて、前記第一の画像と前記第二の画像との画素間の類似度を導出する第一の導出手段と、
   前記第一の画像および前記第二の画像のいずれか一方の部分領域に含まれる画素の前記類似度に基づいて、前記部分領域における前記第一の画像と前記第二の画像との画質変化の度合いを示す画質変化度を導出する第二の導出手段と、を備え、
   前記第一の導出手段は、
   前記部分領域よりも大きく、前記部分領域を含む領域を前記所定領域として、前記類似度を導出することを特徴とする画像処理装置。
2. 前記部分領域を設定する設定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、
   前記第一の画像および前記第二の画像の少なくとも一方において、画像上に互いに重複しないように設定された所定のサイズの複数の分割領域を、それぞれ前記部分領域として設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、
   前記第一の画像および前記第二の画像の少なくとも一方において、画像上に互いに重複する領域を有するように設定された所定のサイズの複数の領域を、それぞれ前記部分領域として設定することを特徴とする請求項２に記載の画像処理装置。
5. 前記第一の導出手段は、
   前記第一の画像および第二の画像の前記所定領域の画像を、それぞれ輝度成分と色成分とに変換する変換手段と、
   前記第一の画像および第二の画像の前記所定領域の画像から、それぞれエッジ成分を抽出する抽出手段と、を有し、
   前記変換手段により変換された前記輝度成分および前記色成分、ならびに前記抽出手段により抽出された前記エッジ成分の少なくとも１つに基づいて、前記第一の画像と前記第二の画像との差異に関する特徴量を前記類似度として導出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第一の導出手段は、
   前記類似度として、輝度成分の類似度、色成分の類似度、およびエッジ成分の類似度の少なくとも１つを導出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第二の導出手段は、
   前記画質変化度として、輝度の劣化度、色の劣化度、エッジ部の劣化度、平たん部の劣化度、低周波部の劣化度、高周波部の劣化度、および複数種類の劣化度を総合した総合劣化度の少なくとも１つを導出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第二の導出手段により導出された画質変化度に基づいて、前記画質変化に関する情報を表示させる表示制御手段をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記表示制御手段は、
   前記第二の導出手段により導出された画質変化度に基づいて、前記第一の画像または前記第二の画像における画質変化の発生領域、前記発生領域において発生している画質変化の種類、および前記発生領域の画質変化度の少なくとも１つを表示させることを特徴とする請求項８に記載の画像処理装置。
10. 前記表示制御手段は、
    前記第一の画像または前記第二の画像上に、前記画質変化の発生領域を、前記画質変化の種類および前記画質変化度の少なくとも１つに応じて視覚的に区別可能に表示させることを特徴とする請求項９に記載の画像処理装置。
11. ユーザにより指定された前記画質変化の評価条件を入力する入力手段をさらに備え、
    前記画像処理装置の各手段の少なくとも１つは、前記入力手段により入力された前記評価条件に従って処理を実施することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記評価条件は、前記部分領域のサイズ、評価対象とする前記画質変化の種類、および前記画質変化に関する情報を表示させる際の表示条件の少なくとも１つを含むことを特徴とする請求項１１に記載の画像処理装置。
13. 前記第一の導出手段により類似度を導出する前に、前記第一の画像および前記第二の画像の画像間の位置ずれを補正する補正手段をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 第一の画像および第二の画像を取得するステップと、
    前記第一の画像および前記第二の画像の画像内の所定領域の画素群の画素値に基づいて、前記第一の画像と前記第二の画像との画素間の類似度を導出するステップと、
    前記第一の画像および前記第二の画像のいずれか一方の部分領域に含まれる画素の前記類似度に基づいて、前記部分領域における前記第一の画像と前記第二の画像との画質変化の度合いを示す画質変化度を導出するステップと、を含み、
    前記類似度を導出するステップでは、前記部分領域よりも大きく、前記部分領域を含む領域を前記所定領域として、前記類似度を導出することを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images