JP6324155B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、画像の画質を向上させるために用いて好適なものである。

画像の画質を向上させるための画像処理として、例えば、解像度の変換（画像の拡大）、ノイズの除去、ハイダイナミックレンジ合成（ＨＤＲ合成）がある。これらの画像処理には、出力しようとしている画素に対応する入力画素の近傍にある画素を用いるものがある。また、これらの画像処理には、出力しようとしている画素に対応する入力画素と、その近傍にある画素とかなる領域に類似する画像領域を検索し、検索した画像領域の画像を用いるものもある。さらに、出力しようとしている画素に対応する入力画素と、その近傍にある画素とからなる領域に類似する画像領域を検索するものには、機器の内部にある画像だけを用いて画像処理を行う方法と、外部サーバにある画像を用いて画像処理を行う方法がある。ここで、機器の内部にある画像には、入力画像や、過去のフレームの画像や、機器の内部に蓄積されている画像がある。

例えば、バイキュービック法による画像の拡大や、アンシャープマスクによるノイズの除去を行う場合、出力しようとしている画素に対応する入力画素と、その近傍にある画素とを用いて画像処理が行われる。これに対して、出力しようとしている画素に対応する入力画素と、その近傍にある画素とからなる領域に類似する画像領域を検索し、検索した画像領域を用いる画像処理としては、例えば、以下の画像処理がある。すなわち、非特許文献１に記載のＮｏｎ−Ｌｏｃａｌ Ｍｅａｎｓ法とその改良法に基づくノイズ除去や、非特許文献２に記載の学習型超解像処理（あるいはＤＢ型超解像処理）がある。
また、特許文献１には、超解像による解像度の変換の方法として、以下の技術が開示されている。すなわち、特許文献１には、機器の内部の画像だけではなく、インターネット上のサーバに蓄積された画像の中から、入力した低解像度の画像に類似する画像を検索し、検索した画像を参照画像として取得する技術が開示されている。

特開２００８−１９９５８７号公報

河田諭志ほか著、高画質なデジタルカメラを実現するランダムノイズ除去技術、東芝レビューVol65，No.9（2010） 小森秀樹著、映像情報メディア学会誌 Vol．63，No.10，pp.1400−1402（2009） 陳延偉著、学習型画質改善・画像復元・超解像技術，アドコム・メディア O plus Ｅ 32（3），pp.270-274，2010-03-00

しかしながら、出力しようとしている画素に対応する入力画素とその近傍にある画素とを用いて画像処理を行う方法では、画質を十分に向上させることができない。
また、出力しようとしている画素に対応する入力画素とその近傍にある画素とからなる領域に類似する画像領域を機器の内部の画像から検索する方法では、以下の課題がある。すなわち、この方法では、非特許文献３に記載されているように、検索した画素領域が、出力しようとしている領域と類似しないときに画質を十分に向上させるができないという課題がある。
また、特許文献１に記載の技術では、機器の内部にある画像を用いた画像処理により良好な画質の画像が得られる場合でも、インターネット上のサーバから、入力画像に類似する画像を検索する。このため、処理に時間のかかるインターネットの検索が不要なときでも、インターネットの検索が行われるという課題がある。また、インターネットの検索で得た画像を用いて画像処理を行った結果に対して、画質の評価を行っていないため、十分な画質が得られたか否かが判断できない。このため、十分な画質が得られていない画像が出力される虞があるという課題がある。

本発明は、このような課題に鑑みてなされたものであり、画像処理のための時間を低減しつつ、画像処理により得られる画像の品質を向上させることを目的とする

本発明の画像処理装置は、画像処理に用いる画像データを記憶する記憶手段と、前記記憶手段により記憶されている画像データを用いて、入力画像データに対する前記画像処理を行う第１の処理手段と、前記第１の処理手段による前記画像処理により得られた画像データの画質が基準を満たさない場合、前記画像処理に用いる画像データを、外部の装置から取得する取得手段と、前記取得手段により取得された画像データを用いて、入力画像データに対する前記画像処理を行う第２の処理手段と、を有することを特徴とする。

本発明によれば、画像処理のための時間を低減しつつ、画像処理により得られる画像の品質を向上できる。

一般的な学習型超解像処理を行う際の処理を示すフローチャートである。 画像処理装置の構成を示す図である。 画像処理装置の処理を示すフローチャートである。 ステップＳ３０６の処理の具体例を示すフローチャートである。 ステップＳ３１０の第１の具体例を示すフローチャートである。 ステップＳ３０９の処理の第２の具体例を示すフローチャートである。 ステップＳ３１０の第２の具体例を示すフローチャートである。 ステップＳ３０９の処理の第３の具体例を示すフローチャートである。 ステップＳ３１０の第３の具体例を示すフローチャートである。 ステップＳ３０９の処理の第４の具体例を示すフローチャートである。 ステップＳ３１０の第４の具体例を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
本実施形態では、解像度の変換等の画像処理を行う画像処理装置の内部にある画像を用いた画像処理では十分な画質が得られない場合にのみ、外部機器（例えばインターネット上のサーバ）にある画像を検索することで、外部機器に対する不要な検索を低減する。さらに、本実施形態では、外部機器に対する検索で得た画像を用いて画像処理を行っても十分な画質の画像が得られない場合に、検索キーを変更（修正）し、変更した検索キーで外部機器に対する検索を再度行うことで、高い画質の画像を得る。

本実施形態では、画像処理装置の内部にある画像（すなわち、画像処理装置に入力した画像（入力画像）、画像処理装置で処理した過去のフレームの画像、画像処理装置に蓄積されている画像）を検索することを必要に応じて「内部データ検索」と称する。一方、画像処理装置の外部にある画像（例えば、インターネット上のサーバにある画像）を検索することを外部データ検索と記載する。

本実施形態を説明する前に、非特許文献２に記載されている学習型超解像処理について簡単に説明する。
学習型超解像処理の基本的な考え方は、以下の通りである。すなわち、まず、サンプル画像から低解像度画像と高解像度画像とのペアを用意する。低解像度画像（パッチ画像）と類似度の高い画像であれば、その高解像度画像（パッチ画像）を推定出来ると考える。この低解像度画像（パッチ画像）と高解像度画像（パッチ画像）との対応関係をデータベースに登録することをここでは学習と呼ぶ。そして、入力された低解像度画像（パッチ画像）に近い低解像度画像（パッチ画像）をデータベースから検索して、対応する高解像度画像（パッチ画像）を得ることで入力された低解像度画像に対する高解像度画像を得る事が出来る。

まず、図１のフローチャートを参照しながら、一般的な学習型超解像処理を行う際の画像処理装置の処理を説明する。
ステップＳ１０１において、画像処理装置は、入力した画像の全てに対して、以下のステップＳ１０２〜Ｓ１０４の処理を行ったか否かを判定する。この判定の結果、入力した画像の全てに対して処理を行った場合には、図１のフローチャートによる処理を終了する。

一方、入力した画像の全てに対して処理を行っていない場合には、ステップＳ１０２に進む。ステップＳ１０２に進むと、画像処理装置は、学習した低解像度画像を検索するための検索キーを生成する。すなわち、画像処理装置は、学習した低解像度画像の大きさと同じ大きさに入力した画像を分割し、分割した領域のうち、画像処理が未だ行われていない領域を検索キーとする。

次に、ステップＳ１０３において、画像処理装置は、内部データ検索を行う。具体的に説明すると、まず、画像処理装置は、学習した低解像度画像と高解像度画像との複数の組から、ステップＳ１０２で生成した検索キーに類似する低解像度画像を検索する。この検索は、テンプレートマッチングと呼ばれる処理により実行させる。検索キーに類似する低解像度画像を検索する手法としては、例えば、以下の手法がある。すなわち、まず、各低解像度画像と検索キーである画像とのＳＡＤ（差分の絶対値和）又はＳＳＤ（差分の二乗和）を求める。そして、最小のＳＡＤ又はＳＳＤを得られたときの低解像度画像を、検索キーに類似する低解像度画像とする。このようにして検索キーに類似する低解像度画像を得ると、画像処理装置は、当該低解像度画像に対応する高解像度画像を取得する。

次に、ステップＳ１０４において、画像処理装置は、ステップＳ１０３の内部データ検索により取得した高解像度画像を用いて超解像処理を行って、出力画像を生成し、ステップＳ１０１の処理に戻る。最も単純な超解像処理であれば、画像処理装置は、ステップＳ１０３の内部データ検索により取得した高解像度画像をそのまま出力する。また、他の例として、以下のようにして出力画像を得ることができる。すなわち、まず、画像処理装置は、ステップＳ１０３の内部データ検索の際に、検索キーである画像と各低解像度画像との類似度を算出しておく。そして、ステップＳ１０４において、画像処理装置は、算出した類似度が高いものから順に２以上の低解像度画像を選択し、選択した低解像度画像に対応する高解像度画像を、算出した類似度の比率に応じて合成し、合成した画像を出力画像とする。類似度の算出方法は、例えばＳＡＤ（差分の絶対値和）又はＳＳＤ（差分の二乗和）を用いることができる。

次に、学習型超解像処理を行う本実施形態の画像処理装置について説明する。
図２は、画像処理装置の構成の一例を示す図である。
画像処理装置２００は、内部データ検索キー生成部２０１、内部データ検索部２０２、内部データ出力画像生成部２０３、内部データ画質評価部２０４、及び内部データ蓄積部２０５を有する。また、画像処理装置２００は、外部データ検索キー生成部２０６、外部データ検索部２０７、外部データ出力画像生成部２０８、外部データ画質評価部２０９、外部データ検索キー修正部２１０、及び外部データ登録部２１１を有する。さらに、画像処理装置２００は、インターネット等の通信回線を介して、外部データ蓄積部２２０と相互に通信可能に接続されている。外部データ検索部２０７は、外部データ蓄積部２２０に記憶されているデータの検索を行い、検索の結果を受信する。

図３のフローチャートを参照しながら、画像処理装置２００の処理の一例を説明する。
ステップＳ３０１において、画像処理装置は、入力した画像を分割した領域のうち、未だ画像処理を行っていない領域があるか否かを判定する。すなわち、画像処理装置は、ステップＳ１０１と同様に、入力した画像の全てに対して、ステップＳ３０２以降の処理ステップを行ったか否かを判定する。この判定の結果、入力した画像の全てに対して処理を行った場合には、図３のフローチャートによる処理を終了する。

一方、入力した画像の全てに対して処理を行っていない場合には、入力した画像を分割した領域のうち、次に出力される領域に対して、以下のステップＳ３０２以降の処理が行われる。ステップＳ３０２に進むと、内部データ検索キー生成部２０１は、ステップＳ１０２と同様に、内部データ蓄積部２０５に蓄積されている、学習した低解像度画像（内部データ）を検索するための検索キーを生成する。すなわち、内部データ検索キー生成部２０１は、入力した画像を分割した領域であって、学習した低解像度画像の大きさと同じ大きさの領域のうち、画像処理が未だ行われていない領域を検索キーとする。

次に、ステップＳ３０３において、内部データ検索部２０２は、ステップＳ１０３と同様に、内部データ検索を行う。具体的に説明すると、まず、内部データ検索部２０２は、内部データ蓄積部２０５に蓄積されている、学習した低解像度画像と高解像度画像との複数の組から、ステップＳ３０２で生成した検索キーに類似する低解像度画像を検索する。そして、内部データ検索部２０２は、検索した低解像度画像に対応する高解像度画像を、内部データ蓄積部２０５から取得する。

次に、ステップＳ３０４において、内部データ出力画像生成部２０３は、ステップＳ１０４と同様に、ステップＳ３０３の内部データ検索により取得した高解像度画像を用いて超解像処理を行って、出力画像を生成する。
次に、ステップＳ３０５において、内部データ画質評価部２０４は、ステップＳ３０４で生成された出力画像の画質を評価し、出力画像の画質が高いか（基準を満たすか）否かを判定する。この判定の結果、出力画像の画質が高い場合には、ステップＳ３０１の処理に戻る。

ステップＳ３０５における出力画像の画質の評価は、例えば、以下のようにして行うことができる。すなわち、まず、内部データ画質評価部２０４は、ステップＳ３０３で内部データ検索を実行した際に算出した類似度であって、処理対象の領域の画像（検索キー）と、内部データ蓄積部２０５に蓄積されている低解像度画像との類似度の最大値を求める。そして、内部データ画質評価部２０４は、求めた類似度の最大値が基準値以上であるか否かを判定する。この判定の結果、類似度の最大値が基準値以上である場合に出力画像の画質が高い（画質が基準を満たす）と判定し、そうでない場合に出力画像の画質が高くない（画質が基準を満たさない）と判定する。

内部データ検索においてＳＡＤ（差分の絶対値和）を類似度として用いる場合であって、基準値を、１画素あたりの差分の絶対値の５％とする場合を例に挙げて、画質の評価を行う方法の具体例を説明する。この場合、１．０−（最小のＳＡＤの値／検索キーの画素数／（画素の輝度の最大値−画素の輝度の最小値））≧１．０−５／１００であれば、類似度の最大値が基準値以上であると判断する。ここで、画像データが、例えば、８ビットの輝度データであれば、画素の輝度の最大値と画素の輝度の最小値は、それぞれ２５５、０となる。

一方、出力画像の画質が高くない（基準を満たさない）場合には、ステップＳ３０６に進む。
ステップＳ３０６に進むと、外部データ検索キー生成部２０６は、外部データ蓄積部２２０に蓄積されている画像（外部データ）を検索するための検索キーを生成する。ステップＳ３０６における検索キーの生成の詳細については、図５を参照しながら後述する。

次に、ステップＳ３０７において、外部データ検索部２０７は、ステップＳ３０６で作成された検索キー、又は、後述するステップＳ３１０で修正された検索キーを用いて、外部データ検索を行い、その結果として、０枚以上の画像を取得する。ここで取得する画像の数に０枚を含めているのは、検索にヒットしない場合には、画像を取得できない（取得する画像の数が０枚となる）ことがあり得るからである。
外部データ検索として、例えば、インターネットの検索サイトにある画像の検索、インターネットの写真共有サイトにある画像の検索、及び動画共有サイトにある動画の検索を行うことができる。この他にも、本実施形態の画像処理を行うための専用の画像検索サイトを用意し、この画像検索サイトにある画像を検索してもよい。外部データ蓄積部２２０は、これらのサイトにおけるデータ蓄積部である。

次に、ステップＳ３０８において、外部データ出力画像生成部２０８は、ステップＳ３０７の外部データ検索により取得した画像を、内部データ検索が可能な形式に変換してから、ステップＳ３０４と同様に超解像処理を行って、出力画像を生成する。
次に、ステップＳ３０９において、外部データ画質評価部２０９は、ステップＳ３０８で生成された出力画像の画質を評価し、出力画像の画質が高いか否か（基準を満たすか否か）を判定する。この判定の結果、ステップＳ３０８で生成された出力画像の画質が高くない場合には、ステップＳ３１０の処理に進み、そうでない場合には、後述するステップＳ３１２に進む。

ステップＳ３０９における出力画像の画質の評価は、ステップＳ３０５と同様にして行うことができる。すなわち、外部データ画質評価部２０９は、内部データ検索が可能な形式に変換した画像について前述した内部データ検索を行う。前述したように外部データ画質評価部２０９は、内部データ検索に際し、処理対象の領域の画像（検索キー）と、内部データ蓄積部２０５に蓄積されている低解像度画像との類似度の最大値を求める。そして、外部データ画質評価部２０９は、この類似度（最大の類似度）が基準値以上であるか否かを判定する。この判定の結果、類似度が基準値以上である場合には、出力画像の画質が高いと判定し、そうでない場合には、出力画像の画質が高くないと判定する。ただし、出力画像の画質の評価の方法は上記の方法に限らない。

ステップＳ３１０に進むと、外部データ検索キー修正部２１０は、検索キー修正処理を行う。検索キー修正処理では、外部データ検索で得られた画像を用いて画像処理により、入力された画像の画質を向上させることができるか否かの判定と、外部データを検索するための検索キーの修正とが行われる。検索キー修正処理の詳細については図６を参照しながら後述する。

次に、ステップＳ３１１において、外部データ検索部２０７は、ステップＳ３１０の検索キー修正処理の結果に基づいて、外部データ検索を終了するか否かを判定する。この判定の結果、外部データ検索を終了する場合には、ステップＳ３０１の処理に戻る。
一方、外部データ検索を終了しない場合には、ステップＳ３０７の処理に戻り、ステップＳ３１０の検索キー修正処理で修正された検索キーを用いた外部データ検索が再度行われる。

前述したように、ステップＳ３０９において、ステップＳ３０８で生成された出力画像の画質が高い（基準を満たす）場合には、ステップＳ３１２に進む。ステップＳ３１２に進むと、外部データ登録部２１１は、ステップＳ３０８において内部データ検索が可能な形式に変換された出力画像のうち、ステップＳ３０９において、画質が高いと判定された出力画像を内部データ蓄積部２０５に登録する。このとき、外部データ登録部２１１は、画質が高いと判定された出力画像を高解像度画像とし、当該出力画像を縮小した画像を低解像度画像として、これらの組を登録する。なお、外部データ登録部２１１は一般的な学習型超解像処理の学習の部分であり、ここで示す例以外の方法を用いることも可能である。

次に、図４のフローチャートを参照しながら、ステップＳ３０６の処理（外部データ蓄積部２２０に蓄積されている画像（外部データ）を検索するための検索キーを生成する具体的な方法）の一例を説明する。
まず、ステップＳ４０１において、外部データ検索キー生成部２０６は、入力した画像に含まれるオブジェクトを検出する。具体例として、ここでは、入力した画像が、富士山の初日の出を撮像した画像であって、男性が写っている画像であるとする。また、この画像に含まれるオブジェクトの検出の結果、確度の高いものから順に、太陽、人、山、日の出、富士山、男が得られたとする。

次に、ステップＳ４０２において、外部データ検索キー生成部２０６は、確度の高いほど上位となるようにオブジェクト名を並べたときの上位ｎ個（ｎは１以上の整数）のオブジェクト名を検索キーにする。前記ｎの値は、適切な値として静的に決めることもできるし、動的に変えることもできる。前記ｎの値を動的に変える場合には、例えばステップＳ３０９において出力画像の画質が高いと判定されたときに用いた検索キーの数を参考に決定することができる。
静的に前記ｎの値を決め、ｎ＝３とする場合、前述した具体例における検索キーは「太陽、人、山」になる。
次に、ステップＳ４０３において、外部データ検索キー生成部２０６は、後述する図５のステップＳ５０１の判断のため、前回の類似度（画質の評価値）を０に初期化する。そして、図３のステップＳ３０７に進む。

次に、図５のフローチャートを参照しながら、ステップＳ３１０の検索キー修正処理の詳細の一例を説明する。
まず、ステップＳ５０１において、外部データ検索キー修正部２１０は、今回、ステップＳ３０８で生成された出力画像の画質が、前回、ステップＳ３０８で生成された出力画像の画質よりも高いか否かを判定する。前述した例では、ステップＳ３０９で得られた今回の画質の評価値（類似度）が、ステップＳ３０９で得られた前回の画質の評価値（類似度）よりも大きいか否かを判定する。

この判定の結果、今回生成された出力画像の画質が、前回生成された出力画像の画質よりも高い場合には、次に実行するステップＳ５０２の処理で検索キーを増やしたことで、より適切な出力画像が、外部データ検索によって得られたと判断される。この場合には、ステップＳ５０２に進み、外部データ検索キー修正部２１０は、検索キーに上位（ｎ＋１）番目のオブジェクト名を検索キーに追加すると共に、前記ｎの値を（ｎ＋１）に更新する。例えば、前述した具体例において、例えば、ｎ＝３であった場合、外部データ検索キー修正部２１０は、検索キーに「日の出」を追加して、検索キーを「太陽、人、山、日の出」にすると共に、前記ｎの値を４（ｎ＝４）に更新する。そして、図３のステップＳ３１１の処理に進む。

一方、今回生成された出力画像の画質が、前回生成された出力画像の画質よりも高くない場合には、ステップＳ５０２の処理で検索キーを増やしても、これ以上適切な出力画像が得られないと判断される。この場合には、ステップＳ５０３に進み、外部データ検索キー修正部２１０は、外部データ検索を終了することを決める。そして、図３のステップＳ３１１の処理に進む。

以上のように本実施形態では、内部データ検索により得られた高解像度画像を用いて超解像処理を行って出力画像を生成し、生成した出力画像の画質が基準を満たしてない場合に限り、外部データ検索を行って出力画像を生成する。したがって、画像処理装置２００の外部への不要な検索を減らすことができる。よって、高解像度画像の検索時間を短縮することができる。
また、本実施形態では、外部データ検索により得られた画像を用いて超解像処理を行って生成した出力画像の画質が基準を満たしていない場合には、外部データ検索のための検索キーを修正して、外部データ検索を再度行う。このような検索キーの修正と外部データ検索の再実行とを出力画像の画質が向上しなくなるまで行う。したがって、初期の検索キーによる外部データ検索では、十分な画質の出力画像が得られない場合でも、高い画質の出力画像を得ることができる。

本実施形態では、画像処理として、超解像処理による画像の拡大を行う場合を例に挙げて説明する。しかしながら、本実施形態に適用できる画像処理は、このようなものに限定されない。すなわち、出力しようとしている画素に対応する入力画素と、その近傍にある画素とからなる領域に類似する画像領域を検索し、検索した画像領域を用いて画像処理を行うものであれば、本実施形態で説明した手法を同様に適用することができる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、図３のステップＳ３０９において、出力画像と内部データ蓄積部２０５に記憶されている高解像度画像との類似度のみを指標として、ステップＳ３０８で生成された出力画像の画質が高いか否かを判定した。これに対し、本実施形態では、相互に異なる複数の指標を用いて、ステップＳ３０８で生成された出力画像の画質が高いか否かを判定する。そして、それぞれの指標に基づく画質の判定の結果に応じて、検索キーを変更する。このように本実施形態と第１の実施形態とでは、外部データ検索により得られた画像を用いて生成された出力画像の画質が高いか否かを判定する処理と、検索キーを修正する処理とが主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図６は、ステップＳ３０９の具体的な処理（ステップＳ３０８で生成された出力画像の画質を評価する具体的な方法）の一例を説明するフローチャートである。

まず、ステップＳ６０１において、外部データ画質評価部２０９は、類似度が基準値以上であるか否かを判定する。この判定は、例えば、ステップＳ３０９で説明した判定と同じようにして行うことができるので、ここでは、その詳細な説明を省略する。

この判定の結果、類似度が基準値以下である場合には、出力画像の画質が高くないと判断して、ステップＳ３１０（後述する図７のフローチャート）に進む。
一方、類似度が基準値以上である場合には、ステップＳ６０２に進む。ステップＳ６０２に進むと、外部データ画質評価部２０９は、ステップＳ３０８で変換されたデータ（出力画像）との類似度が最も大きい低解像度画像に対する高解像度画像を空間周波数のデータに変換する。

次に、ステップＳ６０３において、外部データ画質評価部２０９は、空間周波数に変換したデータに、入力した画像よりも高周波成分があるか否かを判定する。
例えば、空間周波数に変換したデータに、入力した画像の周波数成分よりも高い周波数のデータがある場合に、空間周波数に変換したデータに、入力した画像よりも高周波成分があると判定することができる。また、所定の周波数よりも高い周波数のデータの数が、入力した画像よりも空間周波数に変換したデータの方が多い場合に、空間周波数に変換したデータに、入力した画像よりも高周波成分があると判定してもよい。

この判定の結果、空間周波数に変換したデータに、入力した画像よりも高周波成分がある場合には、出力画像の画質が高いと判断して、図３のステップＳ３１２の処理に進む。一方、空間周波数に変換したデータに、入力した画像よりも高周波成分がない場合には、出力画像の画質が高くないと判断して、ステップＳ３１０（後述する図７のフローチャート）に進む。

図７は、ステップＳ３１０の検索キー修正処理の詳細の一例を説明するフローチャートである。図７のフローチャートによる処理は、図５のフローチャートによる処理に置き換わるものである。
まず、ステップＳ７０１において、外部データ検索キー修正部２１０は、類似度が基準値以上であるか否かを判定する。この判定は、例えば、ステップＳ３０９で説明した判定と同じようにして行うことができるので、ここでは、その詳細な説明を省略する。ただし、ステップＳ７０１で用いる基準値は、ステップＳ３０９（ステップＳ６０１）における基準値と異なる値にすることができる。この判定の結果、類似度が基準値以上である場合には、後述するステップＳ７０５に進む。

一方、類似度が基準値以上でない場合には、ステップＳ７０２に進む。ステップＳ７０２に進むと、外部データ検索キー修正部２１０は、ステップＳ５０１と同様に、今回、ステップＳ３０８で生成された出力画像の画質が、前回、ステップＳ３０８で生成された出力画像の画質よりも高いか否かを判定する。
この判定の結果、今回生成された出力画像の画質が、前回生成された出力画像の画質よりも高い場合には、ステップＳ７０３に進む。ステップＳ７０３に進むと、外部データ検索キー修正部２１０は、ステップＳ５０３と同様に、検索キーに上位（ｎ＋１）番目のオブジェクト名を検索キーに追加すると共に、前記ｎの値を（ｎ＋１）に更新する。そして、図３のステップＳ３１１の処理に進む。

一方、今回生成された出力画像の画質が、前回生成された出力画像の画質よりも高くない場合には、ステップＳ７０４に進む。ステップＳ７０４に進むと、外部データ検索キー修正部２１０は、ステップＳ５０３と同様に、外部データ検索を終了することを決める。
前述したように、ステップＳ７０１において、類似度が基準値以上であると判定された場合には、ステップＳ７０５に進む。ステップＳ７０５に進むと、外部データ検索キー修正部２１０は、ステップＳ６０４において空間周波数に変換されたデータに、入力した画像よりも高周波成分があるか否かを判定する。

この判定の結果、空間周波数に変換されたデータに、入力した画像よりも高周波成分がある場合には、今回、ステップＳ３０８で生成された出力画像の画質は十分に高いと判断して、前述したステップＳ７０４に進む。そして、外部データ検索キー修正部２１０は、外部データ検索を終了することを決める。
一方、空間周波数に変換されたデータに、入力した画像よりも高周波成分がない場合には、ステップＳ７０６に進む。ステップＳ７０６に進むと、外部データ検索キー修正部２１０は、高解像度であることを示すキーを１つ以上検索キーに追加する。高解像度であることを示すキーとしては、例えば、解像度（の下限値）、画像サイズ（の下限値）、高解像度である一眼カメラの機種名やシリーズ名、ＦｕｌｌＨＤ、４Ｋ、８Ｋ、スーパーハイビジョン等の情報がある。

以上のように本実施形態では、外部データ検索により得られた画像を用いて超解像処理を行って生成した出力画像の画質を、複数の指標により評価する。そして、それぞれの評価の結果に応じて、検索キーを修正する方法を異ならせる。具体的には、前回の出力画像の画質よりも今回の出力画像の画質の方が高い場合には、検索キーにオブジェクト名を追加する。また、入力した画像よりも高周波の成分が出力画像にない場合には、解像度が高いものを検索するための検索キーを追加する。したがって、外部データ検索によって、より一層高い画質の出力画像を得ることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、画像処理が、非特許文献１に記載されているＮｏｎ−Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ除去とその改良法に対応する処理である場合を例に挙げて説明する。本実施形態は、第２の実施形態と、図３のステップＳ３０９（図６）で画質の評価を行う際、高周波成分の代わりにノイズ量を用いることである。また、本実施形態では、図３のステップＳ３１０（図７）で検索キーを変更する際、高解像度であることを示すキーを検索キーに追加する代わりに低ノイズであることを示すキーを検索キーに追加する。また、本実施形態では、ステップＳ３０４において、入力した画像との類似度が高い複数の画像を選択し、類似度の比率に応じて選択した画像を合成して出力画像を生成する。例えば、複数の画像を、類似度の比率で重み付けした線形和を、出力画像として生成する。
このように本実施形態と第２の実施形態とは、外部データ検索により得られた画像を用いて生成された出力画像の画質が高いか否かを判定する処理と、検索キーを修正する処理等が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

ノイズ量を評価する手法としては、様々な方法が提案されている。例えば、出力画像の領域毎の「平均−分散」（平均値と分散との関係の関係）を用いてノイズ量を評価することができる。入力した画像の各領域の画素値の平均値と分散とを用いて、基準となる「平均−分散」から当該平均値に対応する分散を抽出し、抽出した分散よりも、入力した画像の領域の画素値の分散が小さい場合、出力画像は、ノイズ量が少なく画質が良いと判断できる。本実施形態では、このようにしてノイズ量を評価する場合を例に挙げて説明する。

図８は、ステップＳ３０９の具体的な処理（ステップＳ３０８で生成された出力画像の画質を評価する具体的な方法）の一例を説明するフローチャートである。図８のフローチャートによる処理は、図６のフローチャートによる処理に置き換わるものである。
まず、ステップＳ８０１は、図７のステップＳ６０１と同じである。
ステップＳ８０２において、外部データ画質評価部２０９は、出力画像の領域毎のノイズ量を算出するため、当該領域毎に画素値の平均値と分散とを算出する。

次に、ステップＳ８０３において、外部データ画質評価部２０９は、基準となる「平均−分散」から、ステップＳ８０２で算出した平均値に対応する分散を抽出する。そして、外部データ画質評価部２０９は、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下であるか否かを判定する。この判定の結果、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下である場合、出力画像の画質が高いと判断して、図３のステップＳ３１２の処理に進む。
一方、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下でない場合には、出力画像の画質が高くないと判断して、ステップＳ３１０（後述する図９のフローチャート）に進む。

図９は、ステップＳ３１０の検索キー修正処理の詳細の一例を説明するフローチャートである。図９のフローチャートによる処理は、図７のフローチャートによる処理に置き換わるものである。
ステップＳ９０１、Ｓ９０２、Ｓ９０３、Ｓ９０４は、それぞれステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０４と同じである。
ステップＳ９０５において、外部データ検索キー修正部２１０は、基準となる「平均−分散」から、ステップＳ８０２で算出した平均値に対応する分散を抽出する。そして、外部データ画質評価部２０９は、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下であるか否かを判定する。

この判定の結果、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下である場合には、今回、ステップＳ３０８で生成された出力画像の画質は十分に高いと判断して、ステップＳ９０４に進む。そして、外部データ検索キー修正部２１０は、外部データ検索を終了することを決める。
一方、ステップＳ８０２で算出した分散が、抽出した分散（基準値）以下でない場合には、ステップＳ９０６に進む。ステップＳ９０６に進むと、外部データ検索キー修正部２１０は、低ノイズであることを示すキーを１つ以上検索キーに追加する。低ノイズであることを示すキーとしては、解像度（の下限値）、画像サイズ（の上限値）、高感度・高解像度である一眼カメラの機種名やシリーズ名、低ＩＳＯの設定等の情報がある。尚、画像の縮小を行うことでノイズを減らすことができるので、画像サイズも低ノイズであることを示すキーとすることができる。
以上のように、非特許文献１に記載されているＮｏｎ−Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ除去とその改良法を適用しても前述した第１、第２の実施形態で説明したのと同様の効果が得られる。

（第４の実施形態）
次に、第４の実施形態について説明する。本実施形態では、画像処理が、ハイダイナミックレンジ合成（ＨＤＲ合成）である場合を例に挙げて説明する。本実施形態は、第２の実施形態と、図３のステップＳ３０９（図６）で画質の評価を行う際、高周波成分の代わりに画像の輝度と彩度の飽和度を用いることである。また、本実施形態では、図３のステップＳ３１０（図７）で検索キーを修正する際、高解像度であることを示すキーを検索キーに追加する代わりに画像の輝度と彩度の飽和度が低いことを示すキーを追加する。また、本実施形態では、ステップＳ３０４において、輝度と彩度の飽和度が低い画像に対して、当該画像との類似度の高い画像を選択し、選択した画像を用いて、一般に行われるＨＤＲ合成の画像処理を行って、出力画像を生成する。

画像の輝度と彩度の飽和度を評価する手法としては、例えば、Ｒ／Ｇ／Ｂの各画素値が基準値以上（データとしての最大値付近）となっている画素の割合を算出する手法を用いることができる。この割合が小さいときは、輝度と彩度の飽和度が低く画質が良いと判断できる。本実施形態では、このようにして、画像の輝度と彩度の飽和度を評価する場合を例に挙げて説明する。

図１０は、ステップＳ３０９の具体的な処理（ステップＳ３０８で生成された出力画像の画質を評価する具体的な方法）の一例を説明するフローチャートである。
まず、ステップＳ１００１は、図６のステップＳ６０１と同じである。
ステップＳ１００２において、外部データ画質評価部２０９は、出力画像の輝度と彩度の飽和度を算出する。そのために、外部データ画質評価部２０９は、出力画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上（データとしての最大値付近）である画素の割合を算出する。

次に、ステップＳ１００３において、外部データ画質評価部２０９は、出力画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下であるか否かを判定する。この判定の結果、出力画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下である場合、出力画像の画質が高いと判断して、図３のステップＳ３１２の処理に進む。
一方、出力画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下でない場合には、出力画像の画質が高くないと判断して、ステップＳ３１０（後述する図１１のフローチャート）に進む。

図１１は、ステップＳ３１０の検索キー修正処理の詳細の一例を説明するフローチャートである。図１１のフローチャートによる処理は、図７のフローチャートによる処理に置き換わるものである。
ステップＳ１１０１、Ｓ１１０２、Ｓ１１０３、Ｓ１１０４は、それぞれステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０４と同じである。
ステップＳ１１０５において、外部データ検索キー修正部２１０は、入力した画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下であるか否かを判定する。

この判定の結果、入力した画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下である場合には、今回、ステップＳ３０８で生成された出力画像の画質は十分に高いと判断して、ステップＳ１１０４に進む。そして、外部データ検索キー修正部２１０は、外部データ検索を終了することを決める。
一方、入力した画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が所定値以下でない場合には、ステップＳ１１０６に進む。ステップＳ１１０６に進むと、外部データ検索キー修正部２１０は、輝度と彩度が低飽和であることを示すキーを１つ以上検索キーに追加する。輝度／彩度が低飽和であることを示すキーとしては、例えば、輝度値（の上限値）、彩度（の下限値）、露出値（ＥＶ値）（の上限値）等の情報がある。
以上のように、ハイダイナミックレンジ合成（ＨＤＲ合成）を適用しても前述した第１、第２の実施形態で説明したのと同様の効果が得られる。

（変形例）
前述した各実施形態のステップＳ３０６の処理において、外部データ検索キー生成部２０６は、画像の特徴を検出し、検出した画像の特徴を検索キーに付加することができる。例えば、入力した画像の特徴の検出として、外部データ検索キー生成部２０６は、代表色と、映像の種類（顔、人、自然画、アニメーション）の少なくとも何れか１つの分析を行い、得られた代表色、映像の種類を検索キーに追加する。
このようにすれば、外部データ検索によって、より一層高い画質の出力画像を得ることができる。

尚、各本実施形態では、例えば、ステップＳ３０４、Ｓ３０５、Ｓ３０７、Ｓ３０８、Ｓ３０９、Ｓ３１０の処理を実行することにより、それぞれ、第１の処理手段、第１の判定手段、取得手段、第２の処理手段、第２の判定手段、変更手段の一例が実現される。また、第２〜第４の実施形態では、類似度が、第１の指標に対応する。
第２の実施形態では、周波数成分が、第２の指標に対応する。
第３の実施形態では、出力画像の領域毎の分散が、第２の指標に対応する。
第４の実施形態では、出力画像の全画素のうち、Ｒ／Ｇ／Ｂの各画素値が基準値以上となっている画素の割合が、第２の指標に対応する。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 画像処理装置、２２０ 外部データ蓄積部

Claims (12)

1. 画像処理に用いる画像データを記憶する記憶手段と、
   前記記憶手段により記憶されている画像データを用いて、入力画像データに対する前記画像処理を行う第１の処理手段と、
   前記第１の処理手段による前記画像処理により得られた画像データの画質が基準を満たさない場合、前記画像処理に用いる画像データを、外部の装置から取得する取得手段と、
   前記取得手段により取得された画像データを用いて、入力画像データに対する前記画像処理を行う第２の処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の処理手段による前記画像処理により得られた画像データの画質が基準を満たすか否かを判定する第１の判定手段を有し、
   前記第１の処理手段による前記画像処理により得られた画像データの画質が基準を満たさないと前記第１の判定手段により判定された場合、前記取得手段は前記画像処理に用いる画像データを前記外部の装置から取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たすか否かを判定する第２の判定手段を有し、
   前記記憶手段は、前記第２の判定手段により、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たすと判定されると、当該画像データを記憶することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の判定手段は、前記第２の処理手段による前記画像処理により得られた画像データと、前記記憶手段により記憶されている画像データとの類似度に基づいて、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たすか否かを判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の判定手段により、前記第２の処理手段により得られた画像データの画質が基準を満たさないと判定されると、前記画像処理に用いる画像データを、前記外部の装置から検索するための検索キーを変更する変更手段を更に有し、
   前記取得手段は、前記変更手段により検索キーが変更されると、当該変更された検索キーに基づいて、前記画像処理に用いる画像データを、外部の装置から取得することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記第２の判定手段は、複数の指標のそれぞれに基づいて、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たすか否かを判定し、
   前記変更手段は、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たさないと判定された際に用いられた指標に応じて、前記検索キーを変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記変更手段は、第１の指標を用いると、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たさない場合と、前記第１の指標を用いれば、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たすが、第２の指標を用いると、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たさない場合に、前記第２の処理手段による前記画像処理により得られた画像データの画質が基準を満たさないと判定された際に用いられた指標に応じて予め設定された情報を前記検索キーに追加することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の指標は、前記第２の処理手段による前記画像処理により得られた画像データと、前記記憶手段により記憶されている画像データとの類似度であることを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の指標は、
   前記入力された画像データと前記第２の処理手段による前記画像処理により得られた画像データの空間周波数と、
   前記第２の処理手段による前記画像処理により得られた画像データの画素値のばらつきと、
   前記第２の処理手段による前記画像処理により得られた画像データの全画素のうち、画素値が所定値以下である画素の割合と、
   の何れか１つであることを特徴とする請求項８に記載の画像処理装置。
10. 前記検索キーには、前記入力された画像の特徴を示す情報が含まれることを特徴とする請求項５〜９の何れか１項に記載の画像処理装置。
11. 記憶手段により記憶されている画像データを用いて、入力画像データに対する画像処理を行う第１の処理工程と、
    前記第１の処理工程による前記画像処理により得られた画像データの画質が基準を満たさない場合、前記画像処理に用いる画像データを、外部の装置から取得する取得工程と、
    前記取得工程により取得された画像データを用いて、入力画像データに対する前記画像処理を行う第２の処理工程と、
    を有することを特徴とする画像処理方法。
12. 請求項１〜１０の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images