JP2013109758A - 画像処理方法、および画像処理装置 - Google Patents

Abstract

【課題】学習データベースに格納されるデータ数が少ない場合に、より高画質な出力画像を生成する画像処理方法等を提供する。
【解決手段】学習データベースに格納された第２学習データに処理を行ったデータである第３学習データを処理ごとに複数生成する第１生成ステップ（Ｓ１００３）と、複数の第３学習データの中から、入力画像の特徴データと最も類似度の高い第３学習データである選択データを選択する選択ステップ（Ｓ１００４）と、選択データの生成に用いられた第２学習データと、これに対して選択データを生成するために行われた第１処理とを特定し、特定した第２学習データと対になる第１学習データに第１処理を行うことによって高周波データを生成する第２生成ステップ（Ｓ１００５）と、高周波データが表す画像を入力画像に加えた出力画像を生成する第３生成ステップ（Ｓ１００６）とを含む。
【選択図】図５

Description

この発明は、学習データベースを用いて、入力画像から該入力画像より解像度が高い出力画像を生成する画像処理方法等に関するものである。

高解像度ディスプレイにおいて、表示対象の画像の解像度が不足している場合には、ディスプレイの解像度に合うように、表示対象の画像を拡大する必要がある。

画像の高解像度化手法は古くから提案されてきたが、実用化のためには処理量の制限があり、単純な補間拡大と強調処理の組合せにより対応してきた。そのため、ボケたり、エッジのジャギが目立つといった画質劣化が生じる課題があった。

近年、ハードウェアの高性能化により画像拡大に多くの処理量を割くことが可能となった。そこで、複雑な処理による高品位な解像度変換が可能な「超解像技術」に注目が集まっている。

超解像技術の中で、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを用いる方法は学習方式と呼ばれる（例えば、特許文献１参照）。

特開２００３−０１８３９８号公報

しかしながら、上記のような学習方式では、学習データベースに格納されるデータの数が少ないときに処理対象の入力画像に対して類似度が十分高いデータが存在しない場合がある。このような場合、生成される出力画像の画質が十分でないという課題がある。

本発明は、上述の課題を解決するためになされたものであって、その目的は、学習データベースに格納されるデータ数が少ない場合でも、高画質な出力画像を生成することができる画像処理方法等を提供することである。

上記目的を達成するために、本発明の一態様に係る画像処理方法は、学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースを用いて、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理方法であって、前記学習データベースに格納された複数の前記第２学習データそれぞれについて、異なる複数の処理を行うことによって前記処理ごとに得られる複数の第３学習データを生成する第１生成ステップと、前記第１生成ステップにおいて複数の前記第２学習データから生成された複数の前記第３学習データの中から、前記入力画像の特徴を示す特徴データと最も類似度の高い前記第３学習データである選択データを選択する選択ステップと、前記選択データの生成に用いられた前記第２学習データと、当該第２学習データに対して前記選択データを生成するために行われた前記処理である第１処理とを特定し、特定した前記第２学習データと対になる前記第１学習データに前記第１処理を行うことによって高周波データを生成する第２生成ステップと、前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する第３生成ステップとを含む。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明により、学習データベースに格納されるデータ数が少ない場合でも、出力画像の画質を向上させることができる。

図１は、特許文献１に記載の画像処理装置の構成を示すブロック図である。 図２は、特許文献１に記載の画像処理装置が行う処理の流れを示すフローチャートである。 図３は、実施の形態１に係る画像処理装置の構成を示すブロック図である。 図４は、学習データベースを説明するための図である。 図５は、実施の形態１に係る高解像度画像の生成処理のフローチャートである。 図６は、高解像度画像の生成方法を説明するための図である。 図７は、処理対象ブロック単位に分割された仮拡大画像を示す図である。 図８は、学習中周波画像から生成される中周波データの例を示す図である。 図９は、学習中周波画像から生成される中周波データの別の例を示す図である。 図１０は、学習中周波画像から生成される最も類似度の高い中周波データの例を示す図である。 図１１は、学習高周波画像から生成される高周波データの例を示す図である。 図１２は、実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１３は、実施の形態２に係る高解像度画像の生成処理のフローチャートである。 図１４は、実施の形態２に係る高周波データ生成部の高周波データの生成処理の例を示す図である。 図１５は、実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１６は、中周波データ絞込み部の具体的な構成の例を示すブロック図である。 図１７は、実施の形態３に係る高解像度画像の生成処理のフローチャートである。

（発明の基礎となった知見）
背景技術で説明したように、高解像度画像と低解像度画像の対応関係の事例を学習した学習データベースを用いる、学習方式の超解像技術が知られている（特許文献１）。

図１は、学習方式である特許文献１に記載の処理と同様の処理を行う画像処理装置６００の構成を示すブロック図である。

図１に示されるように、画像処理装置６００は、学習データベース６１０と、画像拡大部６２０と、探索データ生成部６３０と、学習データ選択部６５０と、加算部６７０とを備える。

次に、図１に示される画像処理装置６００の動作について説明する。

図２は、図１に示される画像処理装置６００が行う処理の流れを示すフローチャートである。

画像処理装置６００は、インデックスデータと該インデックスデータに対応する高周波成分データ６５１とが対応づけて格納された学習データベース６１０を用いて、低解像度の入力画像６０１を高解像度の出力画像６０２に変換する。インデックスデータは、低周波成分の画像である。

学習データベース６１０には、複数のインデックスデータと、当該複数のインデックスデータにそれぞれ対応する複数の高周波成分データ６５１とが格納されている。インデックスデータおよび高周波成分データ６５１は、ブロック形状の画像である。

まず、画像拡大部６２０は、入力画像６０１を拡大して仮拡大画像６２１を生成する（Ｓ４００１）。

続いて、仮拡大画像６２１内の処理対象ブロック毎に以下の処理が行われる。

まず、探索データ生成部６３０は、仮拡大画像６２１から抽出した処理対象ブロックの中周波成分データと、処理対象ブロックに隣接するブロックである隣接ブロックの処理済みの高周波成分データとを連結して、探索データ６３１を生成する（Ｓ４００２）。すなわち、探索データ６３１は、中周波成分データ、および隣接ブロックとの重複領域における高周波成分データから構成される。探索データ６３１は、ブロック形状の画像である。

次に、学習データ選択部６５０は、学習データベース６１０に格納されている複数のインデックスデータのうち、探索データ６３１と最も類似度の高いインデックスデータに対応する高周波成分データ６５１を１つ選択する（Ｓ４００３）。

続いて、加算部６７０は、選択した高周波成分データ６５１を仮拡大画像６２１に加算する（Ｓ４００４）。これにより、入力画像６０１よりも高解像度の出力画像６０２が生成される。

しかしながら、このような構成では、学習データベース６１０に格納される高周波成分データの数が少ないときに処理対象の入力画像に対して類似度が十分高いデータが存在しない場合がある。このような場合、生成される出力画像の画質が十分でないという課題がある。

上記課題を解決するために、本発明の一態様に係る画像処理方法は、学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースを用いて、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理方法であって、前記学習データベースに格納された複数の前記第２学習データそれぞれについて、異なる複数の処理を行うことによって前記処理ごとに得られる複数の第３学習データを生成する第１生成ステップと、前記第１生成ステップにおいて複数の前記第２学習データから生成された複数の前記第３学習データの中から、前記入力画像の特徴を示す特徴データと最も類似度の高い前記第３学習データである選択データを選択する選択ステップと、前記選択データの生成に用いられた前記第２学習データと、当該第２学習データに対して前記選択データを生成するために行われた前記処理である第１処理とを特定し、特定した前記第２学習データと対になる前記第１学習データに前記第１処理を行うことによって高周波データを生成する第２生成ステップと、前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する第３生成ステップとを含む。

つまり、一の第２学習データからＬ（２以上の整数）個の第３学習データが生成される場合、学習データ対がＫ（２以上の整数）組格納された学習データベースから、Ｋ×Ｌの第３学習データを生成する。このため、入力画像（第１特徴データ）とより類似度の高い高周波データが生成されて入力画像に加算されることから、生成される出力画像の画質を高めることができる。

また、本発明の一態様において、前記入力画像は、所定の画像を拡大した画像を複数の処理対象ブロックに区画した場合の一の前記処理対象ブロックであってもよい。

また、本発明の一態様において、前記第１生成ステップは、前記画像処理が行われるごとに動的に行われてもよい。

また、本発明の一態様において、前記特徴データのデータサイズは、前記第１学習データおよび前記第２学習データのサイズよりも小さくてもよい。

これにより、例えば、特徴データ、第１学習データ、および第２学習データが画像である場合、第２学習データの回転や、平行移動により第３学習データを生成することが容易となる。

また、本発明の一態様において、前記第１生成ステップにおいて前記第２学習データに行われる前記処理には、四則演算を用いない処理が含まれてもよい。

これにより、データの入れ替え等の簡易な処理により第３学習データを生成することができる。

また、本発明の一態様において、前記第１学習データ、および前記第２学習データは、画像であり、前記第１生成ステップにおいて前記第２学習データに行われる処理には、前記第２学習データに含まれる画素の配置を入れ替える処理、または前記第２画像データに含まれる画素の画素値の符号もしくはビットを反転する処理が含まれてもよい。

また、本発明の一態様において、前記第１学習データ、および前記第２学習データは、画像であり、前記データサイズは、画像の画素数であり、前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像のアフィン変換が含まれてもよい。

また、本発明の一態様において、前記第１学習データ、および前記第２学習データは、画像であり、前記入力画像の、水平方向における画素数と垂直方向における画素数とが異なる場合、前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像の回転および画像の転置が含まれなくてもよい。

すなわち、水平方向の画素数と、垂直方向の画素数とが異なる場合は、中周波データ生成部が第２学習データに行う処理を回転や転置を含まない処理に限定してもよい。これにより、画質の向上が望める中周波データが効率的に生成される。

また、本発明の一態様において、前記第１学習データ、および前記第２学習データは、画像であり、前記データサイズは、画像の画素数であり、前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像の平行移動が含まれてもよい。

また、本発明の一態様において、前記画像の平行移動には、サブピクセル単位の移動が含まれてもよい。

また、本発明の一態様において、前記第１生成ステップは、さらに、前記学習データベースに格納された複数の前記第２学習データそれぞれについて異なる複数の第２処理を行うことによって前記第２処理ごとに複数得られるデータであって、なおかつ前記第３学習データよりも情報量が小さいデータである簡易第３学習データを複数生成し、前記複数の簡易第３学習データの中から、前記特徴データの情報量を削減した簡易特徴データと類似度の高い前記簡易第３学習データを所定数選択する絞込みステップを含み、前記第１生成ステップでは、前記学習データベースに格納された複数の前記第２学習データそれぞれについて異なる複数の前記処理を行うことによって前記処理ごとに得られる前記複数の前記第３学習データであって、前記絞込みステップにおいて選択された所定数の前記簡易第３学習データにそれぞれ対応する所定数の前記第３学習データを生成してもよい。

また、本発明の一態様において、前記特徴データ、および前記第２学習データは、画像であり、前記絞込みステップでは、前記簡易特徴データ、および前記簡易第３学習データとして画像変形に対して不変なデータが用いられてもよい。

また、本発明の一態様において、前記特徴データ、および前記第２学習データは、画像であり、前記絞込みステップにおいて、前記特徴データに画像のビット精度を削減する処理、または画像の画素の間引き処理が行われることで前記簡易特徴データが生成され、前記第２処理には、画像のビット精度を削減する処理、または画像の画素の間引き処理が含まれてもよい。

また、本発明の一態様に係る画像処理方法は、学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースを用いて、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理方法であって、前記入力画像の特徴を示す第１特徴データに異なる複数の処理を行うことで前記処理ごとに得られる複数の第２特徴データを生成する第１生成ステップと、前記第１生成ステップにおいて生成された複数の前記第２特徴データのそれぞれについて、前記学習データベースに格納された複数の前記第２学習データのそれぞれとの類似度を算出し、最も類似度の高い前記第２特徴データと、前記第２学習データとの組み合わせである選択データ対を選択する選択ステップと、前記選択データ対に含まれる前記第２特徴データに処理を行って、前記第１特徴データを生成する場合の前記処理を第１処理とした場合に、前記選択データ対に含まれる前記第２学習データに前記第１処理を行うことによって高周波データを生成する第２生成ステップと、前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する第３生成ステップとを含んでもよい。

つまり、一の第１特徴データ（特徴データ）からＬ（２以上の整数）個の第２特徴データが生成され、Ｌ個の第２特徴データと学習データベースに格納されたＫ個の第２学習データそれぞれについて類似度が算出される。これにより、入力画像とより類似度の高い高周波データが生成されて入力画像に加算されることから、生成される出力画像の画質を高めることができる。

また、本発明の一態様に係る画像処理装置は、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理装置であって、学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースと、前記学習データベースに格納された複数の前記第２学習データそれぞれについて、異なる複数の処理を行うことによって前記処理ごとに得られる複数の第３学習データを生成する中周波データ生成部と、前記中周波データ生成部が複数の前記第２学習データから生成した複数の前記第３学習データの中から、前記入力画像の特徴を示す特徴データと最も類似度の高い前記第３学習データである選択データを選択する学習データ選択部と、前記選択データの生成に用いられた前記第２学習データと、当該第２学習データに対して前記選択データを生成するために行われた前記処理である第１処理とを特定し、特定した前記第２学習データと対になる前記第１学習データに前記第１処理を行うことによって高周波データを生成する高周波データ生成部と、前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する加算部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について説明する。以下の説明では、同一の構成要素には、同一の符合を付してあり、同一の符号が付された構成要素についての詳細な説明は、省略される場合がある。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図３は、実施の形態１に係る画像処理装置１００の構成を示すブロック図である。

画像処理装置１００は、装置の外部から取得する入力全体画像１０１を用いて、該入力全体画像１０１より解像度が高い出力全体画像１０２を生成する装置である。なお、入力全体画像１０１は、動画像であってもよいし、静止画像であってもよい。

図３に示されるように、画像処理装置１００は、学習データベース１１０と、画像拡大部１２０と、特徴データ抽出部１３０と、学習データ選択部１５０と、高周波データ生成部１６０と、加算部１７０とを備える。

まず、学習データベース１１０について説明する。

図４は、学習データベースを説明するための図である。

図４に示されるように、学習データベース１１０は、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］とが対応づけられて格納される。なお、Ｋは、２以上の整数である。

学習高周波画像Ｐ１１［Ｋ］（第１学習データ）は、後述する高解像度な出力全体画像を生成するための学習データであり、学習画像Ｐ１［Ｋ］の高周波成分から得られる画像である。なお、以下においては、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］の各々は、単に、学習高周波画像Ｐ１１とも記述される。

学習中周波画像Ｐ１２［Ｋ］（第２学習データ）は、後述する学習データ選択部１５０が適切な学習高周波画像Ｐ１１［Ｋ］を選択するための学習データであり、学習画像Ｐ１［Ｋ］の少なくとも低周波成分から得られる画像である。なお、以下においては、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々は、単に、学習中周波画像Ｐ１２とも記述される。

なお、学習高周波画像Ｐ１１とは、言い換えれば、低周波成分が除かれた学習画像Ｐ１であり、学習中周波画像Ｐ１２とは、言い換えれば、学習画像Ｐ１の高周波成分を除いた画像（学習低周波画像）に、さらにハイパスフィルタをかけた画像を意味する。

このように、学習高周波画像Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［Ｋ］とは、同一の学習画像Ｐ１［Ｋ］から生成される、互いに対応した画像対である。すなわち、学習データベース１１０には、学習高周波画像Ｐ１１と、学習中周波画像Ｐ１２とが対応づけられた学習画像対（学習データ対）が複数組格納される。具体的には、学習データベース１１０は、学習画像対Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］を格納する。

なお、以下においては、学習画像対Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］の各々は、単に、学習画像対Ｐ１０とも記載される。また、Ｋ組の学習画像対Ｐ１０の各々は、互いに異なるものであるが、同一の画像内の同一のブロックから生成されたものである。

学習高周波画像Ｐ１１の画像サイズは、学習中周波画像Ｐ１２の画像サイズと同じである。本実施の形態では、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の各々の画像サイズは、一例として、横（水平方向）７画素×縦（垂直方向）７画素のサイズである。

Ｋは、本実施の形態では、１０万程度であるとする。すなわち、学習データベース１１０には、約１０万組の学習画像対Ｐ１０が格納されているとする。

画像拡大部１２０は、入力全体画像１０１を拡大して仮拡大画像１２１を生成する。入力全体画像１０１は、解像度変換の対象となる全体画像である。入力全体画像１０１のサイズは、一例として、横１９２０画素×縦１０８０画素のサイズである。なお、入力全体画像１０１のサイズは、横１９２０画素×縦１０８０画素のサイズに限定されず、例えば、横１４４０画素×縦１０８０画素のサイズであってもよい。

特徴データ抽出部１３０は、仮拡大画像１２１から第１特徴データ１３１（特徴データ）を抽出する。第１特徴データ１３１の抽出は、例えば、仮拡大画像１２１にハイパスフィルタを適用することで行われる。ハイパスフィルタは、第１特徴データ１３１と学習中周波画像Ｐ１２との類似度を効率的に算出するために用いられる。つまり、本実施の形態では、第１特徴データは、学習中周波画像Ｐ１２と比較の対象となり得る画像である。

なお、特徴データ抽出部１３０は、仮拡大画像１２１にバンドパスフィルタを適用することで第１特徴データ１３１を抽出してもよい。また、特徴データ抽出部１３０は、例えば、第１の補間拡大方式で入力全体画像１０１を拡大した仮拡大画像と、第２の補間拡大方式で入力全体画像１０１を拡大した仮拡大画像との差分を第１特徴データ１３１として抽出してもよい。補間拡大方式は、例えば、スプライン補間法や、ニアレストネイバー法などである。

中周波データ生成部１４０は、学習データベース１１０に格納された複数の学習中周波画像Ｐ１２それぞれについて、一の学習中周波画像Ｐ１２に処理を行った画像である中周波データＰ１２０（第３学習データ）を処理ごとに複数生成する。

具体的には、中周波データ生成部１４０は、学習データベース１１０に格納されたＫ個の学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々から、それぞれＬ種類の中周波データＰ１２０［１］［１］，Ｐ１２０［１］［２］，・・・，Ｐ１２０［１］［Ｌ］，Ｐ１２０［２］［１］，Ｐ１２０［２］［２］，・・・，Ｐ１２０［２］［Ｌ］，・・・，Ｐ１２０［Ｋ］［１］，Ｐ１２０［Ｋ］［２］，・・・，Ｐ１２０［Ｋ］［Ｌ］を生成する。なお、Ｌは２以上の整数である。中周波データ生成部１４０の処理の詳細については後述する。

なお、以下においては、中周波データＰ１２０［１］［１］，・・・，Ｐ１２０［Ｋ］［Ｌ］の各々は、単に、中周波データＰ１２０とも記載される。

学習データ選択部１５０は、特徴データ抽出部１３０から出力される処理対象ブロックごとの第１特徴データ１３１と、中周波データ生成部１４０から出力されるＫ×Ｌ個の中周波データＰ１２０の各々との類似度を算出する。

そして、学習データ選択部１５０は、第１特徴データ１３１と類似度が最も高い中周波データＰ１２０を選択し、類似度が最も高い中周波データＰ１２０に対応するパラメータ１５１を高周波データ生成部１６０に出力する。パラメータ１５１は、選択した中周波データＰ１２０の元となった学習中周波画像Ｐ１２を指す第１パラメータＩ１と、選択した中周波データＰ１２０を生成するために学習中周波画像Ｐ１２に行われた処理を指す第２パラメータＩ２とから構成される。

高周波データ生成部１６０は、まず、第１パラメータＩ１が指す学習中周波画像Ｐ１２に対応する学習高周波画像Ｐ１１を学習データベース１１０から取得する。次に、高周波データ生成部１６０は、第２パラメータＩ２が指す処理を第１パラメータＩ１が指す学習中周波画像Ｐ１２に対応する学習高周波画像Ｐ１１に行うことにより高周波データＰ１１０を生成する。すなわち、高周波データ生成部１６０は、中周波データ生成部１４０が学習中周波画像Ｐ１２から中周波データＰ１２０を生成するのと同様に、学習高周波画像Ｐ１１から高周波データＰ１１０を生成する。

加算部１７０は、仮拡大画像１２１に対して、処理対象ブロックごとに高周波データＰ１１０を加算することにより、出力全体画像１０２を生成する。

特許文献１に示される技術では、学習データベースに保持されたＫ個の学習中周波画像Ｐ１２の中から最も類似度の高い学習中周波画像Ｐ１２が選択され、これに対応する学習高周波画像Ｐ１１が選択される。一方、実施の形態１では、Ｋ×Ｌ個の中周波データＰ１２０の中から最も類似度の高い中周波データＰ１２０が選択され、これに対応する高周波データＰ１１０が生成されるため、より類似度の高い高周波データが処理対象ブロックに加算される。

次に、画像処理装置１００が行う、実施の形態１に係る高解像度画像の生成処理について説明する。

図５は、実施の形態１に係る高解像度画像の生成処理のフローチャートである。ここでは、入力全体画像１０１は、静止画像であるとして説明する。

まず、画像拡大部１２０は、図６に示されるように、入力全体画像１０１を、水平および垂直方向にそれぞれＮ（１より大きい実数）倍に拡大することにより、仮拡大画像１２１を生成する（図５のＳ１００１）。

なお、入力全体画像１０１の拡大の処理は、バイキュービック法が用いられる。本実施の形態では、入力全体画像１０１は、一例として、水平および垂直方向にそれぞれ２倍に拡大される。

なお、入力全体画像１０１の拡大の処理は、バイキュービック法に限定されず、例えば、スプライン補間法などの画素補間手法であってもよい。また、入力全体画像１０１の水平および垂直方向の拡大率は、互いに異なってもよい。例えば、７２０×４８０画素のサイズの入力全体画像１０１を、１９２０×１０８０画素のサイズの仮拡大画像１２１に拡大する場合、入力全体画像１０１の水平方向における拡大率と、入力全体画像１０１の垂直方向における拡大率とは異なる。

なお、第１特徴データ１３１の抽出は、画像の拡大後に限定されるものでない。例えば、画像を縮小して第１特徴データ１３１の抽出を行い、その後、拡大した画像について以下のステップＳ１００２〜ステップＳ１００６の処理が行われてもよい。第１特徴データの抽出は、学習データベース１１０内の学習中周波画像Ｐ１２とマッチング可能なように行われればよい。

続く、以下のステップＳ１００２〜ステップＳ１００６の処理は、仮拡大画像１２１を構成する複数のブロック単位で行われる。

図７は、ブロック単位に分割された仮拡大画像を示す図である。

図７に示されるように、仮拡大画像１２１は、複数のブロックＮＢに分割される。複数のブロックＮＢは、ｍ行ｎ列の行列を構成する。以下においては、仮拡大画像１２１内のｍ行ｎ列に対応するブロックＮＢは、ブロックＮＢ［ｍｎ］とも表記される。例えば、仮拡大画像１２１内の１行２列に対応するブロックＮＢは、ブロックＮＢ［１２］と表記される。

なお、本実施の形態では、ブロックＮＢの画像サイズは、学習高周波画像Ｐ１１の画像サイズと同様に、横７画素×縦７画素の画像サイズである。

なお、ブロックＮＢの画像サイズは、学習高周波画像Ｐ１１の画像サイズより小さくてもよい。例えば、学習高周波画像Ｐ１１が横１０画素×縦１０画素の画像サイズであり、ブロックＮＢの画像サイズが横８画素×縦８画素の画像サイズであってもよい。

以下においては、仮拡大画像１２１内の複数のブロックＮＢのうち、処理対象となるブロックを、処理対象ブロックといい、処理対象ブロックは、ステップＳ１００２〜ステップＳ１００６の処理が行われる毎に、異なるブロックＮＢに変更される。

ステップＳ１００１に続いて、特徴データ抽出部１３０は、処理対象ブロックから第１特徴データを抽出する（図５のＳ１００２）。具体的には、特徴データ抽出部１３０は、線形フィルタ操作の一例であるハイパスフィルタをかけることで、処理対象ブロックから当該処理対象ブロックにおける画像の中周波成分である第１特徴データ１３１を抽出する。すなわち、第１特徴データ１３１は、処理対象ブロックの各周波数成分のうち、ハイパスフィルタを通過した中周波成分の画像である。この場合、第１特徴データ１３１は、複数の画素の画素値（輝度値）から構成される。

第１特徴データ１３１の画像サイズは、学習中周波画像Ｐ１２の画像サイズ以下である。第１特徴データ１３１のサイズは、一例として、横７画素×縦７画素のサイズである。

なお、第１特徴データ１３１として抽出される処理対象ブロックの中周波成分の周波数帯域は、学習中周波画像Ｐ１２に含まれる周波数帯域と重複する。

なお、実施の形態１では、ステップＳ１００２においては仮拡大画像１２１が処理対象であるが、ステップＳ１００２における処理対象は、入力全体画像１０１であってもよい。

ステップＳ１００２に続いて、中周波データ生成部１４０は、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２（第２学習データ）から、Ｋ×Ｌ個の中周波データＰ１２０（第３学習データ）を動的に生成する（図５のＳ１００３）。ここで、動的とは、画像処理装置１００が画像処理（図５のフローチャートで示される処理）を行うごとに中周波データ生成部１４０が、Ｋ×Ｌ個の中周波データＰ１２０を生成することを意味する。

１個の学習中周波画像Ｐ１２からＬ個の中周波データＰ１２０の生成は、例えば、学習中周波画像Ｐ１２を構成する画素の画素値のデータを入れ替えることで行われる。

図８は、学習中周波画像Ｐ１２から生成される中周波データＰ１２０の例を示す図である。

図８の例では、学習中周波画像Ｐ１２を画素の画素値の２次元配列とみなし、横方向または縦方向に上記２次元配列を反転させる処理、上記２次元配列の転置を行う処理、画素値の正負符号もしくはビットを反転させる処理、またはこれらの処理の組み合わせにより、Ｌ＝１６個の中周波データＰ１２０を生成している。なお、上記２次元配列の要素である画素値ｐが例えば０〜２５５に正規化されている場合、画素値の正負符号の反転は、２５５−ｐを意味する。

一般に、中周波データ生成部１４０が生成する中周波データＰ１２０は、学習中周波画像Ｐ１２に行われる処理を表す関数を用いて、次式のように表される。

Ｐ１２０［ｋ］［ｌ］＝Ｇ（Ｐ１２［ｋ］，ｌ） ・・・（１）

ただし、Ｇ（Ｘ，ｌ）は、Ｘからパラメータｌを用いて新しいパターンを生成する処理を表す関数（生成関数）であり、ｋ＝１，・・・，Ｋである。パラメータｌは、例えば図８の例では、ｌ＝１，・・・，Ｌ（＝１６）である。

なお、Ｌ個の中周波データを生成する方法は、上記の方法に限定されない。例えば、学習データ選択部１５０の選択に使用する画像サイズよりも大きなサイズの画像が学習データベース１１０に格納されている場合は、上記２次元配列を平行移動させたり、アフィン変換などを用いて上記２次元配列の回転等の変形を行ったりしてもよい。このとき、非整数位置の画素値が必要な場合は、例えばバイキュービック法により補間生成してもよい。また、画像の回転角度は、図８に示されるような９０度単位に限定されず、例えば、４５度単位で回転させてもよい。

図９は、学習中周波画像から生成される中周波データの別の例を示す図である。なお、図９では、学習データ選択部１５０の選択に使用する画像サイズは、７×７画素であり、学習データベース１１０に格納されている学習中周波画像Ｐ１２の画像サイズは９画素×９画素である。また、生成関数Ｇは、学習中周波画像Ｐ１２を縦方向および横方向にそれぞれ１画素ずつ平行移動させ、なおかつ中央の７画素×７画素の部分を抽出する関数である。生成関数Ｇで表される処理は、言い換えれば、９画素×９画素の学習中周波画像Ｐ１２から、７画素×７画素の画像を抽出する（切り取る）処理である。

したがってこの場合、図９に示されるように、Ｌ＝９個の中周波データが生成される。

また、図９に示される処理は、式（１）において、生成関数Ｇが平行移動を表す関数とし、変数ｌをｌ＝ｐ（１），・・・，ｐ（Ｌ）のように関数ｐに置き換えることで表現される。ここで、ｐ（１），・・・，ｐ（Ｌ）は、１つ以上の数値を保持するパラメータ群であり、生成関数Ｇが平行移動を表す場合、ｐは、平行移動量を表す実数である。なお、生成関数Ｇが回転を表す場合、関数ｐは、回転量を表す実数である。

例えば、関数ｐは、図９に示されるように、ｐ（１）＝（１，１），ｐ（２）＝（０，１），ｐ（３）＝（−１，１），ｐ（４）＝（１，０），・・・，ｐ（９）＝（−１，−１）のように表される。

なお、平行移動は、サブピクセル単位で行われてもよい。この場合、サブピクセルの画素値は、サブピクセル推定等の補間技術により求められる。また、一つの画素がＲＧＢで構成されている場合は、ＲＧＢそれぞれに対して、サブピクセル単位での平行移動を行う。

なお、画像拡大部１２０の拡大における水平方向の拡大率と、垂直方向の拡大率とが同一でない場合(処理対象ブロックの、水平方向における画素数と垂直方向における画素数とが異なる場合)、中周波データ生成部１４０は、学習中周波画像Ｐ１２の回転や転置を行わないようにしてもよい。

入力全体画像の水平方向の拡大率と垂直方向の拡大率とが異なる場合、水平方向と垂直方向とで、学習高周波画像Ｐ１１と学習中周波画像Ｐ１２との関係が変化する。具体的には、例えば、水平方向の拡大率が２倍で垂直方向の拡大率が１倍の場合、水平方向の拡大率の方が高いため、垂直線の周波数帯域は、水平線の周波数帯域よりも低くなる。

このような場合、学習データベース１１０に含まれる水平線を回転や転置をして垂直線を生成しても、本来垂直線が持つべき周波数特性が満たされないため、画質の向上が望めない。

そこで、水平方向の拡大率と、垂直方向の拡大率とが異なる場合は、中周波データ生成部１４０が学習中周波画像Ｐ１２に行う処理を回転や転置を含まない処理に限定してもよい。これにより、画像処理装置１００は、画質の向上が望める中周波データを効率的に生成して出力画像を高画質化することができる。

ステップＳ１００３に続いて、学習データ選択部１５０は、第１特徴データ１３１と、Ｋ×Ｌ個の中周波データＰ１２０の各々との類似度を算出し、最も類似度が高い中周波データＰ１２０を選択する（図５のＳ１００４）。

類似度は、例えば、第１特徴データ１３１に含まれる複数の画素の画素値と、各中周波データＰ１２０に含まれる複数の画素の画素値との差分絶対値和（マンハッタン距離）により算出される。差分絶対値和が小さい程、第１特徴データ１３１と中周波データＰ１２０との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。

そして、学習データ選択部１５０は、類似度に基づいて選択された中周波データＰ１２０に対応するパラメータ１５１（第１パラメータＩ１および第２パラメータＩ２）を高周波データ生成部１６０に出力する。第１パラメータＩ１および第２パラメータＩ２は、具体的には、式（１）のｋ、ｌの数値である。

ステップＳ１００４に続いて、高周波データ生成部１６０は、学習データベース１１０から第１パラメータＩ１が指す学習高周波画像Ｐ１１を取得し、学習高周波画像Ｐ１１に第２パラメータＩ２が指す処理を行って高周波データＰ１１０を生成する（図５のＳ１００５）。

例えば、高周波データ生成部１６０が学習高周波画像Ｐ１１［ｋ］に行う処理は、中周波データ生成部１４０が最も類似度が高い中周波データＰ１２０を生成するために学習中周波画像Ｐ１２［ｋ］に行った処理と同一である。

すなわち、高周波データＰ１１０の生成は次式で表される。

Ｐ１１０＝Ｇ（Ｐ１１［Ｉ１］，Ｉ２） ・・・（２）

図１０は、学習中周波画像から生成される最も類似度の高い中周波データの例を示す図である。

図１０では、学習中周波画像Ｐ１２［７１］から生成された中周波データＰ１２０［７１］のうちから、学習データ選択部１５０が中周波データＰ１２０［７１］［６］を選択した例が示されている。

図１１は、学習高周波画像から生成される高周波データの例を示す図である。

図１１では、選択された中周波データＰ１２０［７１］［６］の元となる学習中周波画像Ｐ１２［７１］に対応する学習高周波画像Ｐ１１［７１］と、これに第２パラメータＩ２が指す処理を行って生成された高周波データＰ１１０が図示されている。

なお、図１１の破線内には、式（２）においてＩ１＝７１かつＩ２＝１，・・・，Ｌ（＝１６）とした場合の１６個の高周波データについても併せて図示されている。

そして、高周波データ生成部１６０は、生成した高周波データＰ１１０を、加算部１７０へ送信する。

ステップＳ１００５に続いて、加算部１７０は、高周波データＰ１１０を、仮拡大画像１２１内のブロックＮＢ（処理対象ブロック）に加算する（図５のＳ１００６）。高周波データＰ１１０は、処理対象ブロックよりも高精細な画像である。

以下、高周波データＰ１１０の加算処理について詳細に説明する。ここでは、一例として、処理対象ブロックが、図６に示される仮拡大画像１２１内のブロックＮＢ［１１］であるとする。また、上述のように高周波データＰ１１０の画像サイズと、ブロックＮＢ［１１］の画像サイズとは、横７画素×縦７画素で同一である。

この場合、加算部１７０は、ブロックＮＢ［１１］を構成する各画素の画素値それぞれに対し、これに対応する高周波データＰ１１０を構成する各画素の画素値それぞれを加算する。

なお、高周波データＰ１１０の画像サイズは、処理対象ブロックの画像サイズよりも大きくてもよい。

この場合、加算部１７０は、高周波データＰ１１０の中心位置が、ブロックＮＢ［１１］の中心位置と一致するように配置された場合に、ブロックＮＢ［１１］を構成する各画素と、これに重なる高周波データＰ１１０各画素の画素値同士を加算する。この場合、高周波データＰ１１０の各画素のうち一部の画素（ブロックＮＢ［１１］と重ならない画素）の画素値は、当該画素が重なるブロックＮＢ［１１］に隣接するブロックＮＢの画素の画素値とそれぞれ加算され、画素値が平均化される。

ここで、隣接するブロックＮＢは、例えば、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］，ＮＢ［２２］である。また、画素値が平均化されるとは、具体的には、重複して加算された画素の画素値を加算された回数で除算して、周辺の画素とエネルギーを合わせることを意味する。

また、隣接するブロックＮＢが互いにオーバーラップするような場合は、高周波データＰ１１０の画像サイズは、処理対象ブロックの画像サイズよりも小さくてもよい。

以上説明したステップＳ１００２〜ステップＳ１００６の処理は、仮拡大画像１２１内の全てのブロックＮＢに対して行われる。これにより、出力全体画像１０２が生成される。また、処理対象の入力全体画像１０１が動画像である場合は、動画像を構成する１フレーム毎に、上記ステップＳ１００１〜ステップＳ１００６の処理が繰り返し行われる。

以上説明したように、画像処理装置１００によれば、一の学習中周波画像Ｐ１２から複数の中周波データＰ１２０を生成して処理対象ブロックとマッチングさせるパターンを増やすことができる。これにより、処理対象ブロック（入力画像）とより類似度の高い高周波データが得られやすくなり、より高解像度な出力画像を生成することができる。

なお、第１特徴データは、実施の形態１では、ハイパスフィルタを用いて得られた画像であるが、これに限定されない。例えば、第１特徴データは、処理対象ブロックが示す、画素値、色差、ＲＧＢ値等であってもよい。また、第１特徴データは、例えば、処理対象ブロックから得られる画素値のモーメント等（平均、分散、尖度、歪度）であってもよい。

また、第１特徴データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第１特徴データは、例えば、主成分分析（座標変換）における主要成分、独立成分分析における主要成分等であってもよい。

なお、上記の第１特徴データは、典型例を示すものであり、これらに限定されるものではない。

なお、実施の形態１では、学習データベースには、第１学習データである学習高周波画像Ｐ１１と、第２学習データである学習中周波画像Ｐ１２とが格納されていたが、第１学習データおよび第２学習データは画像に限定されない。

第１学習データ及び第２学習データは、例えば、学習画像Ｐ１の画素値、色差、ＲＧＢ値等であってもよい。また、第１学習データ及び第２学習データは、例えば、学習画像Ｐ１から得られるモーメント（平均、分散、尖度、歪度）であってもよい。

また、第１学習データおよび第２学習データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第１学習データ及び第２学習データは、例えば、主成分分析（座標変換）における主要成分、独立成分分析における主要成分等であってもよい。

（実施の形態２）
次に、実施の形態２に係る画像処理装置２００の動作について説明する。

図１２は、実施の形態２に係る画像処理装置２００の構成を示すブロック図である。

図１２に示されるように、画像処理装置２００は、図３に示される画像処理装置１００と比較して、特徴データ生成部２４０と、学習データ選択部２５０および高周波データ生成部２６０の動作とが異なる。

以下、画像処理装置２００が備える複数の構成要素のうち、実施の形態１の画像処理装置１００と同じ構成要素の説明については省略し、相違点となる特徴データ生成部２４０、学習データ選択部２５０および高周波データ生成部２６０について説明する。

実施の形態２では、学習中周波画像Ｐ１２から中周波データＰ１２０を生成して処理対象ブロックとマッチングさせるパターンを増やす代わりに、仮拡大画像１２１から抽出した第１特徴データ１３１から第２特徴データを生成することにより学習中周波画像Ｐ１２とマッチングさせるパターンを増やす。

すなわち、図１２に示される画像処理装置２００の特徴データ生成部２４０は、一の第１特徴データ１３１に画像処理を行った画像である第２特徴データを画像処理ごとに複数生成する。具体的には、特徴データ生成部２４０は、一の第１特徴データ１３１からＬ個の第２特徴データＰ０２０［１］，Ｐ０２０［２］，・・・，Ｐ０２０［Ｌ］を生成する。なお、Ｌは、２以上の整数である。

なお、以下においては、第２特徴データＰ０２０［１］，Ｐ０２０［２］，・・・，Ｐ０２０［Ｌ］の各々は、単に、第２特徴データＰ０２０とも記載される。

学習データ選択部２５０は、特徴データ生成部２４０から出力されるＬ個の第２特徴データＰ０２０の各々と、学習データベース１１０から出力されるＫ個の学習中周波画像Ｐ１２（第２学習データ）の各々との類似度を算出する。

そして、学習データ選択部２５０は、算出した類似度が最も高い第２特徴データＰ０２０とこれに対応する学習中周波画像Ｐ１２を選択し、類似度が最も高い第２特徴データＰ０２０に対応するパラメータ２５１を高周波データ生成部２６０に出力する。パラメータ２５１は、選択した学習中周波画像Ｐ１２を指す第１パラメータＩ１と、選択した第２特徴データＰ０２０を生成するために第１特徴データ１３１に行われた処理を指す第２パラメータＩ２とから構成される。

高周波データ生成部２６０は、まず、第１パラメータＩ１が指す学習中周波画像Ｐ１２に対応する学習高周波画像Ｐ１１（第１学習データ）を学習データベース１１０から取得する。次に、高周波データ生成部２６０は、第２パラメータＩ２が指す処理と逆の処理（つまり、第１特徴データ１３１を生成するために第２特徴データＰ０２０に行う処理）を学習中周波画像Ｐ１２に対応する学習高周波画像Ｐ１１に行うことにより高周波データＰ１１０を生成する。高周波データ生成部２６０の高周波データ生成方法についての詳細は後述する。

次に、画像処理装置２００が行う、実施の形態２に係る高解像度画像の生成処理について説明する。

図１３は、実施の形態２に係る高解像度画像の生成処理のフローチャートである。なお、図１３において、ステップＳ１００１、ステップＳ１００２およびステップＳ１００６では、実施の形態１の図５を用いて説明したものと同様の処理が行われる。よって、以下では主に、図１３のステップＳ２００３、ステップＳ２００４、およびステップＳ２００５について説明する。

まず、画像拡大部１２０は、入力全体画像１０１を、拡大して仮拡大画像１２１を生成する（Ｓ１００１）。

次に、特徴データ抽出部１３０は、処理対象ブロックから第１特徴データ１３１を抽出する（Ｓ１００２）。

続いて、特徴データ生成部２４０は、特徴データ抽出部１３０から出力される第１特徴データ１３１から、Ｌ個の第２特徴データＰ０２０を動的に生成する（Ｓ２００３）。ここで、動的とは、画像処理装置２００が画像処理（図１３のフローチャートで示される処理）を行うごとに特徴データ生成部２４０が、Ｌ個の第２特徴データＰ０２０を生成することを意味する。

第２特徴データＰ０２０の生成は、実施の形態１における中周波データの生成と同様の処理により実施される。すなわち、Ｐ０２０の生成は、実施の形態１で説明した関数Ｇ（Ｘ，ｌ）を用いて次式で表される。

Ｐ０２０［ｌ］＝Ｇ（Ｐ０２，ｌ） ・・・（３）

ただし、ｌ＝１，・・・，Ｌである。

なお、Ｌ個の中周波データを生成する方法は、上記の方法に限定されない。例えば、第１特徴データ１３１が、学習データ選択部２５０の選択に使用する画像サイズよりも大きなサイズの画像である場合は、第１特徴データ１３１を構成する画素の配列を平行移動させたり、アフィン変換などを用いて画素の配列の回転等の変形を行ったりしてもよい。このとき、非整数位置の画素の画素値必要な場合は、例えばバイキュービック法により補間生成してもよい。

次に、学習データ選択部２５０は、Ｌ個の第２特徴データＰ０２０各々と、Ｋ個の学習中周波画像Ｐ１２の各々との類似度を算出し、最も類似度の高い第２特徴データＰ０２０と、学習中周波画像Ｐ１２との組み合わせ（選択データ対）を選択する（Ｓ２００４）。

類似度は、例えば、各第２特徴データＰ０２０に含まれる複数の画素の画素値と、各学習中周波画像Ｐ１２に含まれる複数の画素の画素値との差分絶対値和（マンハッタン距離）により算出される。差分絶対値和が小さい程、第２特徴データＰ０２０と学習中周波画像Ｐ１２との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。

そして、学習データ選択部２５０は、最も類似度の高い第２特徴データＰ０２０と学習中周波画像Ｐ１２の組み合わせを選択し、当該組み合わせに含まれる第２特徴データＰ０２０及び学習中周波画像Ｐ１２に対応するパラメータ２５１（第１パラメータＩ１および第２パラメータＩ２）を高周波データ生成部２６０に出力する。第１パラメータＩ１および第２パラメータＩ２は、具体的には、式（２）のｌを表す。Ｉ１は、選択した学習中周波画像Ｐ１２、及びこれに対応する学習高周波画像Ｐ１１を指す１〜Ｋの整数であり、Ｉ２は、選択した第２特徴データＰ０２０を生成するために第１特徴データ１３１に行われた処理を指す１〜Ｌの整数である。

続いて、高周波データ生成部２６０は、学習データベース１１０から第１パラメータＩ１が指す学習高周波画像Ｐ１１を取得し、第２パラメータＩ２が指す処理に基づき、高周波データＰ１１０を生成する（Ｓ２００５）。

ここで、高周波データ生成部２６０の高周波データＰ１１０の生成処理は、特徴データ生成部２４０がＰ１２からＰ１２０を生成する処理の逆の処理となる。すなわち、第１特徴データ１３１を生成するために第２特徴データＰ０２０に行う処理を学習中周波画像Ｐ１２に行うことによって高周波データＰ１１０を生成する。

学習高周波画像Ｐ１１と高周波データＰ１１０との関係は次式で表される。

Ｐ１１［Ｉ１］＝Ｇ（Ｐ１１０，Ｉ２） ・・・（４）

高周波データＰ１１０は、上式をＰ１１０について解くことで得られる。

図１４は、高周波データ生成部２６０の高周波データＰ１１０の生成の一例を示す図である。図１４の（ａ）は、第１特徴データ１３１から第２特徴データＰ０２０を生成する方法を示す図であり、図１４の（ｂ）は、学習高周波画像Ｐ１１から高周波データＰ１１０を生成する方法を示す図である。

図１４の（ａ）において、Ｏ（１）は、画像を右回転する処理であり、Ｏ（２）は、画像を垂直上方向に平行移動する処理である。すなわち、図１４の（ａ）では、特徴データ生成部２４０は、Ｏ（１）、Ｏ（２）の処理をこの順番で第１特徴データ１３１に行ってＰ０２０を生成する。

一方、図１４の（ｂ）において、Ｏ’（２）は、画像を垂直下方向に平行移動する処理であり、Ｏ（１）と移動方向が逆の処理である。また、Ｏ’（１）は、画像を左回転する処理であり、Ｏ（１）と回転方向が逆の処理である。すなわち、図１４の（ｂ）では、高周波データ生成部２６０は、学習高周波画像Ｐ１１にＯ’（２）、Ｏ’（１）の処理をこの順番で学習高周波画像Ｐ１１に行って高周波データＰ１１０を生成する。

高周波データ生成部２６０の高周波データＰ１１０の生成方法は、式（３）を用いた場合、次のように説明される。

式（３）において、第２特徴データＰ０２０を生成するために第１特徴データ１３１に行われるＮ回の処理を処理順にＯ（１），Ｏ（２），・・・，Ｏ（Ｎ）とし、これらの処理にそれぞれ対応する逆の処理をそれぞれＯ’（１），Ｏ’（２），・・・，Ｏ’（Ｎ）とする。この場合、学習高周波画像Ｐ１１に対してＯ’（Ｎ），Ｏ’（Ｎ−１），・・・，Ｏ’（１）の処理を行うことにより高周波データＰ１１０が生成される。

以上説明したように、画像処理装置２００によれば、一の第１特徴データ１３１から複数の第２特徴データＰ０２０を生成して、処理対象ブロックにマッチングする学習中周波画像Ｐ１２を効果的に選択することができる。すなわち、画像処理装置２００によれば、実施の形態１で説明した画像処理装置１００と同様に、処理対象ブロックとより類似度の高い高周波データＰ１１０が得られやすくなり、より高解像度な出力画像を生成することができる。

また、画像処理装置２００では、生成するデータの数（第２特徴データＰ０２０の数）を、画像処理装置１００が生成するデータの数（中周波データＰ１２０の数）よりも抑制できる。すなわち、画像処理装置２００は、画像処理装置１００よりもさらに少ない演算量で、画像処理装置１００とほぼ同等の高解像度な出力画像を生成することができる効果を奏する。

（実施の形態３）
次に、本発明の実施の形態３に係る画像処理装置３００の動作について説明する。

図１５は、実施の形態３に係る画像処理装置３００の構成を示すブロック図である。

図１５に示されるように、画像処理装置３００は、図３に示される画像処理装置１００と比較して、中周波データ絞込み部３３０と、中周波データ生成部３４０の動作とが異なる。

以下、画像処理装置３００が備える複数の構成要素のうち、実施の形態１の画像処理装置１００と同じ構成要素の説明については省略し、相違点となる中周波データ絞込み部３３０および中周波データ生成部３４０について説明する。

実施の形態３では、中周波データ生成部３４０で学習中周波画像Ｐ１２から中周波データＰ１２０を生成する前に、中周波データ絞込み部３３０において、学習中周波画像Ｐ１２の絞込みを行う。以下では、まず、絞込みについて具体的に説明する。

図１６は、中周波データ絞込み部３３０の具体的な構成の例を示すブロック図である。

図１６の中周波データ絞込み３３０部は、簡易特徴データ抽出部３３２と、簡易中周波データ生成部３３４と、簡易中周波データ選択部３３６とを備える。

簡易特徴データ抽出部３３２は、仮拡大画像１２１（の処理対象ブロック）から簡易第１特徴データ３３３を抽出する。簡易第１特徴データ３３３の抽出は、仮拡大画像１２１に、例えばハイパスフィルタと二値化処理とを行うことによって行われる。簡易第１特徴データ３３３は、特徴データ抽出部１３０で生成される第１特徴データ１３１よりも情報量が削減された画像である。なお、簡易第１特徴データ３３３の抽出方法の詳細については後述する。

簡易中周波データ生成部３３４は、学習データベース１１０に格納された複数の学習中周波画像Ｐ１２それぞれについて、一の学習中周波画像Ｐ１２［Ｋ］に処理を行った画像である簡易中周波データＰ１２１を処理ごとに複数生成する。具体的には、簡易中周波データ生成部３３４は、学習データベース１１０に格納されたＫ個の学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々から、それぞれＬ個の簡易中周波データＰ１２１［１］［１］，Ｐ１２１［１］［２］，・・・，Ｐ１２１［１］［Ｌ］，Ｐ１２１［２］［１］，Ｐ１２１［２］［２］，・・・，Ｐ１２１［２］［Ｌ］，・・・，Ｐ１２１［Ｋ］［１］，Ｐ１２１［Ｋ］［２］，・・・，Ｐ１２１［Ｋ］［Ｌ］を生成する。なお、Ｌは２以上の整数である。簡易中周波データ生成部３３４の処理の詳細については後述する。

なお、以下においては、簡易中周波データＰ１２１［１］［１］，・・・，Ｐ１２１［Ｋ］［Ｌ］の各々は、単に、簡易中周波データＰ１２１とも記載される。簡易中周波データＰ１２１は、後段の中周波データ生成部３４０で生成される中周波データＰ１２０と比較して、情報量が少ない画像である。

簡易中周波データ選択部３３６は、簡易特徴データ抽出部３３２から出力される簡易第１特徴データ３３３と、簡易中周波データ生成部３３４から出力されるＫ×Ｌ個の簡易中周波データＰ１２１の各々との類似度を算出する。

そして、簡易中周波データ選択部３３６は、類似度が高いものから順番にＭ個の簡易中周波データＰ１２１を選択する。

すなわち、簡易中周波データ選択部３３６は、Ｋ×Ｌ個の簡易中周波データＰ１２１をＭ個に絞り込む。

簡易中周波データ選択部３３６は、選択したＭ個のパラメータ３３１を中周波データ生成部３４０に出力する。パラメータ３３１は、選択した簡易中周波データＰ１２１の元となった学習中周波画像Ｐ１２を指す第３パラメータＩ３と、簡易中周波データＰ１２１を生成するために学習中周波画像Ｐ１２に行われた処理を指す第４パラメータＩ４とから構成される。具体的には、Ｉ３は、学習中周波画像Ｐ１２に対応する１〜Ｋの整数であり、Ｉ４は、簡易中周波データＰ１２１を生成するために学習中周波画像Ｐ１２に行われた処理に対応する１〜Ｌの整数である。

中周波データ生成部３４０は、まず、第３パラメータＩ３が指す学習中周波画像Ｐ１２を学習データベース１１０から取得する。次に、第４パラメータＩ４が指す処理を第３パラメータＩ３が指す学習中周波画像Ｐ１２に行うことで、絞り込まれたＭ個の中周波データＰ１２０を生成する。

次に、画像処理装置３００が行う、実施の形態３に係る高解像度画像の生成処理について説明する。

図１７は、実施の形態３に係る高解像度画像の生成処理のフローチャートである。なお、図１７において、ステップＳ１００１、ステップＳ１００２、ステップＳ１００４、ステップＳ１００５、およびステップＳ１００６では、実施の形態１の図５を用いて説明した処理と同様の処理が行われる。よって、以下では主に、図１７のステップＳ３００２、ステップＳ３００３、ステップＳ３００４、ステップＳ３００５について主に説明する。

まず、実施の形態１と同様に、仮拡大画像１２１が生成され（Ｓ１００１）、特徴データ抽出部１３０は、処理対象ブロックから第１特徴データ１３１を抽出する（Ｓ１００２）。

次に、簡易特徴データ抽出部３３２は、処理対象ブロックから簡易第１特徴データ３３３を抽出する（Ｓ３００２）。具体的には、まず、簡易特徴データ抽出部３３２は、仮拡大画像１２１の処理対象ブロックに対し、線形フィルタ演算などを用いたハイパスフィルタをかけることにより中周波成分の画像を抽出する。さらに、簡易特徴データ抽出部３３２は、抽出した中周波成分の画像の画素の画素値のビット精度を削減、あるいは画素の画素値の間引きを実施することにより、情報量を削減した画像を、簡易第１特徴データ３３３として抽出する。すなわち、簡易第１特徴データ３３３は、処理対象ブロックの各周波数成分（低周波成分）のうち、ハイパスフィルタを通過した中周波成分の画像の情報量を削減した画像である。

なお、実施の形態３では、ステップＳ３００２においては仮拡大画像１２１が処理対象であるが、ステップＳ３００２における処理対象は、入力全体画像１０１であってもよい。

次に、簡易中周波データ生成部３３４は、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２から、Ｋ×Ｌ個の簡易中周波データＰ１２１を生成する（Ｓ３００３）。

簡易中周波データＰ１２１の生成方法は、実施の形態１における中周波データの生成と、基本的には同様であるが、情報量の削減が行われる点でステップＳ１００３と異なる。具体的には、簡易中周波データＰ１２１は、画素の配列の反転や転置、画素の配列の要素である画素値データの正負符号の反転などの画像変形処理がされた後、ステップＳ３００２と同様にビット精度の削減または画素の間引きが実施されることで生成される。

なお、ステップＳ３００２において、簡易第１特徴データとして、画像ではなくモーメント（平均、分散、尖度、歪度）など、画像変形に対する不変量を使用する場合、ステップＳ３００３において画像変形処理を行う必要はない。この場合、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々について、ステップＳ３００２と同じ画像変形に対する不変量を簡易中周波データＰ１２１として算出すればよい。なお、画像変形に対する不変量とは、画像変形を行っても値が変わらないデータを意味し、例えば、画像を構成する画素の画素値の平均は、画像を回転させても変化しないため、画像の回転処理に対して不変量である。

続いて、簡易中周波データ選択部３３６は、簡易第１特徴データ３３３と、Ｋ×Ｌ個の簡易中周波データＰ１２１の各々との類似度を算出し、類似度が高い順にＭ個の簡易中周波データＰ１２１を選択する（Ｓ３００４）。

類似度は、例えば、簡易第１特徴データ３３３に含まれる複数の画素の画素値と、各簡易中周波データＰ１２１に含まれる複数の画素の画素値との差分絶対値和（マンハッタン距離）により算出される。差分絶対値和が小さい程、簡易第１特徴データ３３３と簡易中周波データＰ１２１との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。

そして、簡易中周波データ選択部３３６は、類似度が高い上位Ｍ（＜Ｋ×Ｌ）個の簡易中周波データＰ１２１について、Ｐ１２１の各々に対応するパラメータ３３１（第３パラメータＩ３と、第４パラメータＩ４）を中周波データ生成部３４０に出力する。

なお、Ｋ×Ｌ個からＭ個への絞り込み方は、例えば、Ｋ個の学習中周波画像Ｐ１２をＭ１個に絞り込むことによって、Ｍ＝Ｍ１×Ｌとしてもよい。すなわち、簡易中周波データ選択部３３６は、Ｋ個の簡易中周波データＰ１２１の中から簡易第１特徴データ３３３と類似度が高い順にＭ１個の簡易中周波データＰ１２１を選択する。そして、中周波データ生成部３４０は、選択されたＭ１個の簡易中周波データＰ１２１それぞれについてＬ種類の中周波データＰ１２０を生成する。簡易第１特徴データ３３３および簡易中周波データＰ１２１として、画像変形に対する不変量を用いる場合、この方式が有効である。

また、Ｋ×Ｌ個からＭ個への絞り込み方は、Ｌ種類の簡易中周波データＰ１２１をＭ２種類に絞り込むことによって、Ｍ＝Ｋ×Ｍ２としてもよい。すなわち、簡易中周波データ選択部３３６は、一の簡易中周波データＰ１２１について、当該簡易中周波データＰ１２１から生成されるＬ種類の簡易中周波データＰ１２１の中から簡易第１特徴データ３３３と類似度が高い順にＭ２種類の簡易中周波データＰ１２１を選択する。そして、中周波データ生成部３４０は、Ｋ個の簡易中周波データＰ１２１それぞれについて、選択されたＭ２種類の簡易中周波データＰ１２１に対応する処理を行うことにより、Ｋ×Ｍ２種類の中周波データＰ１２０を生成する。この方式は、例えば、Ｌ個の簡易中周波データＰ１２１を生成する処理が画像の回転である場合、回転角度の絞り込みとして有効である。

また、上記を組み合わせて、Ｍ＝Ｍ１×Ｍ２個にしてもよい。

次に、中周波データ生成部３４０は、第３パラメータＩ３が指す学習中周波画像Ｐ１２を学習データベース１１０から取得し、取得した学習中周波画像Ｐ１２それぞれについて第４パラメータＩ４が指す処理を行ってＭ個の中周波データＰ１２０を生成する（Ｓ３００５）。

中周波データ生成部３４０の中周波データＰ１２０の生成方法は、実施の形態１における中周波データ生成部１４０と同様であるが、第３パラメータＩ３が指す学習中周波画像Ｐ１２に対してのみ第４パラメータＩ４が指す処理をそれぞれ行って、Ｍ個の中周波データを生成するという点が異なる。

したがって、続くステップＳ１００４において、学習データ選択部１５０は、第１特徴データ１３１と、Ｍ（＜Ｋ×Ｌ）個の中周波データＰ１２０の各々との類似度を算出し、最も類似度が高い中周波データＰ１２０を選択する。このため、学習データ選択部１５０の類似度の算出の演算量を削減することができる。

以上、説明したように、実施の形態３では、仮拡大画像から抽出される簡易第１特徴データを用いて、簡易中周波データＰ１２１の絞込みを行う。簡易第１特徴データは、第１特徴データと比較して、ビット削減や画素間引きなどにより情報が削減されているため、選択の精度は荒いが少ない演算量で簡易中周波データＰ１２１を絞り込むことができる。絞り込まれた簡易中周波データＰ１２１に対応する中周波データＰ１２０が生成され、後段の学習データ選択部１５０では、高い精度で適切な中周波データＰ１２０が選択される。したがって、画像処理装置３００は、画像処理装置１００よりもさらに少ない演算量で、画像処理装置１００とほぼ同等の高解像度な出力画像を生成することができる効果を奏する。

なお、簡易第１特徴データは、実施の形態３では、ハイパスフィルタを用いて得られた画像であるが、これに限定されない。例えば、簡易第１特徴データは、例えば、処理対象ブロックが示す、輝度、色差、ＲＧＢ値等であってもよい。また、簡易第１特徴データは、例えば、処理対象ブロックから得られる画素値のモーメント等（平均、分散、尖度、歪度）であってもよい。

また、簡易第１特徴データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、簡易第１特徴データは、例えば、主成分分析（座標変換）における主要成分、独立成分分析における主要成分等であってもよい。

なお、上記の簡易第１特徴データは、典型例を示すものであり、これらに限定されるものではない。また、上記は、簡易中周波データについても同様である。

（その他の変形例）
以上、本発明に係る画像処理装置および画像処理方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、実施の形態３において、学習データベース１１０に格納される、学習中周波画像Ｐ１２に対応する簡易中周波データＰ１２１を保持しておいてもよい。簡易中周波データＰ１２１として、画像の変形に対する不変量を用いる場合は、学習中周波画像Ｐ１２の個数と同じＫ個の簡易中周波データＰ１２１を保持すればよく、特に有効である。この場合、画像処理装置３００が再度の画像処理を行う場合に、簡易中周波データ生成部３３４が簡易中周波データＰ１２１を算出する必要がない。すなわち、簡易中周波データ生成部３３４が簡易中周波データＰ１２１を算出する分に相当する演算量を削減することができる。

また、実施の形態２と実施の形態３を組み合わせて、入力画像から算出される第１特徴データから第２特徴データを生成する際に、簡易第２特徴データを生成して簡易中周波データＰ１２１と類似度の比較を行い、演算量を削減してもよい。

また、本実施の形態では、入力全体画像の拡大処理時に画像処理装置の画像処理が行われるが、拡大処理は行われなくてもよい。すなわち、画像処理装置の画像処理は、拡大の有無にかかわらず、解像度の低い画像に対して適用可能である。

また、以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明に係る画像処理方法等によれば、より高精細な高解像度画像が生成でき、本発明は、テレビやレコーダ、カムコーダ、デジタルスチルカメラなどとして有用である。

１００、２００、３００、６００ 画像処理装置
１０１ 入力全体画像
１０２ 出力全体画像
１１０、６１０ 学習データベース
１２０、６２０ 画像拡大部
１２１、６２１ 仮拡大画像
１３０ 特徴データ抽出部
１３１ 第１特徴データ
１４０、３４０ 中周波データ生成部
１５０、２５０、６５０ 学習データ選択部
１５１、２５１、３３１ パラメータ
１６０、２６０ 高周波データ生成部
１７０、６７０ 加算部
２４０ 特徴データ生成部
３３０ 中周波データ絞込み部
３３２ 簡易特徴データ抽出部
３３３ 簡易第１特徴データ
３３４ 簡易中周波データ生成部
３３６ 簡易中周波データ選択部
６０１ 入力画像
６０２ 出力画像
６３０ 探索データ生成部
６３１ 探索データ
６５１ 高周波成分データ
Ｉ１ 第１パラメータ
Ｉ２ 第２パラメータ
Ｉ３ 第３パラメータ
Ｉ４ 第４パラメータ
Ｐ１ 学習画像
Ｐ１０ 学習画像対
Ｐ１１ 学習高周波画像
Ｐ１２ 学習中周波画像
Ｐ０２０ 第２特徴データ
Ｐ１１０ 高周波データ
Ｐ１２０ 中周波データ
Ｐ１２１ 簡易中周波データ

Claims (17)

1. 学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースを用いて、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理方法であって、
   前記学習データベースに格納された複数の前記第２学習データそれぞれについて、異なる複数の処理を行うことによって前記処理ごとに得られる複数の第３学習データを生成する第１生成ステップと、
   前記第１生成ステップにおいて複数の前記第２学習データから生成された複数の前記第３学習データの中から、前記入力画像の特徴を示す特徴データと最も類似度の高い前記第３学習データである選択データを選択する選択ステップと、
   前記選択データの生成に用いられた前記第２学習データと、当該第２学習データに対して前記選択データを生成するために行われた前記処理である第１処理とを特定し、特定した前記第２学習データと対になる前記第１学習データに前記第１処理を行うことによって高周波データを生成する第２生成ステップと、
   前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する第３生成ステップとを含む
   画像処理方法。
2. 前記入力画像は、所定の画像を拡大した画像を複数の処理対象ブロックに区画した場合の一の前記処理対象ブロックである
   請求項１に記載の画像処理方法。
3. 前記第１生成ステップは、前記画像処理が行われるごとに動的に行われる
   請求項１または２に記載の画像処理方法。
4. 前記特徴データのデータサイズは、前記第１学習データおよび前記第２学習データのサイズよりも小さい
   請求項１に記載の画像処理方法。
5. 前記第１生成ステップにおいて前記第２学習データに行われる前記処理には、四則演算を用いない処理が含まれる
   請求項１〜４のいずれか１項に記載の画像処理方法。
6. 前記第１学習データ、および前記第２学習データは、画像であり、
   前記第１生成ステップにおいて前記第２学習データに行われる処理には、前記第２学習データに含まれる画素の配置を入れ替える処理、または前記第２画像データに含まれる画素の画素値の符号もしくはビットを反転する処理が含まれる
   請求項５に記載の画像処理方法。
7. 前記第１学習データ、および前記第２学習データは、画像であり、
   前記データサイズは、画像の画素数であり、
   前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像のアフィン変換が含まれる
   請求項４に記載の画像処理方法。
8. 前記第１学習データ、および前記第２学習データは、画像であり、
   前記入力画像の、水平方向における画素数と垂直方向における画素数とが異なる場合、前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像の回転および画像の転置が含まれない
   請求項１に記載の画像処理方法。
9. 前記第１学習データ、および前記第２学習データは、画像であり、
   前記データサイズは、画像の画素数であり、
   前記第１生成ステップにおいて前記第２学習データに行われる処理には、画像の平行移動が含まれる
   請求項４に記載の画像処理方法。
10. 前記画像の平行移動には、サブピクセル単位の移動が含まれる
    請求項９に記載の画像処理方法。
11. 前記第１生成ステップは、さらに、前記学習データベースに格納された複数の前記第２学習データそれぞれについて異なる複数の第２処理を行うことによって前記第２処理ごとに複数得られるデータであって、なおかつ前記第３学習データよりも情報量が小さいデータである簡易第３学習データを複数生成し、前記複数の簡易第３学習データの中から、前記特徴データの情報量を削減した簡易特徴データと類似度の高い前記簡易第３学習データを所定数選択する絞込みステップを含み、
    前記第１生成ステップでは、前記学習データベースに格納された複数の前記第２学習データそれぞれについて異なる複数の前記処理を行うことによって前記処理ごとに得られる前記複数の前記第３学習データであって、前記絞込みステップにおいて選択された所定数の前記簡易第３学習データにそれぞれ対応する所定数の前記第３学習データを生成する
    請求項１〜１０のいずれか１項に記載の画像処理方法。
12. 前記特徴データ、および前記第２学習データは、画像であり、
    前記絞込みステップでは、前記簡易特徴データ、および前記簡易第３学習データとして画像変形に対して不変なデータが用いられる
    請求項１１に記載の画像処理方法。
13. 前記特徴データ、および前記第２学習データは、画像であり、
    前記絞込みステップにおいて、
    前記特徴データに画像のビット精度を削減する処理、または画像の画素の間引き処理が行われることで前記簡易特徴データが生成され、
    前記第２処理には、画像のビット精度を削減する処理、または画像の画素の間引き処理が含まれる
    請求項１１または１２に記載の画像処理方法。
14. 学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースを用いて、入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理方法であって、
    前記入力画像の特徴を示す第１特徴データに異なる複数の処理を行うことで前記処理ごとに得られる複数の第２特徴データを生成する第１生成ステップと、
    前記第１生成ステップにおいて生成された複数の前記第２特徴データのそれぞれについて、前記学習データベースに格納された複数の前記第２学習データのそれぞれとの類似度を算出し、最も類似度の高い前記第２特徴データと、前記第２学習データとの組み合わせである選択データ対を選択する選択ステップと、
    前記選択データ対に含まれる前記第２特徴データに処理を行って、前記第１特徴データを生成する場合の前記処理を第１処理とした場合に、前記選択データ対に含まれる前記第２学習データに前記第１処理を行うことによって高周波データを生成する第２生成ステップと、
    前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する第３生成ステップとを含む
    画像処理方法。
15. 入力画像から該入力画像よりも解像度が高い出力画像を生成する画像処理を行う画像処理装置であって、
    学習画像の高周波成分から得られる第１学習データと、前記学習画像の少なくとも低周波成分から得られる第２学習データとの対である学習データ対が複数格納された学習データベースと、
    前記学習データベースに格納された複数の前記第２学習データそれぞれについて、異なる複数の処理を行うことによって前記処理ごとに得られる複数の第３学習データを生成する中周波データ生成部と、
    前記中周波データ生成部が複数の前記第２学習データから生成した複数の前記第３学習データの中から、前記入力画像の特徴を示す特徴データと最も類似度の高い前記第３学習データである選択データを選択する学習データ選択部と、
    前記選択データの生成に用いられた前記第２学習データと、当該第２学習データに対して前記選択データを生成するために行われた前記処理である第１処理とを特定し、特定した前記第２学習データと対になる前記第１学習データに前記第１処理を行うことによって高周波データを生成する高周波データ生成部と、
    前記高周波データが示す画像を前記入力画像に加えることによって前記出力画像を生成する加算部とを備える
    画像処理装置。
16. 前記画像処理装置は、集積回路である
    請求項１５に記載の画像処理装置。
17. 請求項１に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images