JP2007280284A - 画像の高解像度化方法及び装置 - Google Patents

Abstract

【課題】ルックアップテーブルの容量を大きく増やすことなく、高画質の高解像度化された出力画像を生成する。
【解決手段】訓練段階において高解像度化すべき入力画像の縮小画像中の第１ブロックの第１特徴ベクトルと、入力画像から抽出される高周波成分画像中の第１ブロックと同一位置の第２ブロックと第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶し（Ｓ１０１〜Ｓ１０４）、高解像度化段階においては、入力画像を拡大して仮拡大画像を生成し、入力画像中の処理対象の第３ブロックの第２特徴ベクトルを算出して、第２特徴ベクトルに類似した第１特徴ベクトルをルックアップテーブルから検索し、検索された第１特徴ベクトルと対をなすルックアップテーブル中の第２ブロックを第３ブロックと同一位置の仮拡大画像中の第４ブロックに加算することにより、高解像度化された出力画像を生成する（Ｓ１０５〜Ｓ１０９）。
【選択図】 図２

Description

本発明は、画像を拡大するために高解像度化する方法及び装置に関する。

低解像度の静止画を高解像度化する手法の一例は、特許文献１に開示されている。特許文献１の手法は、訓練段階と高解像度化段階からなる。訓練段階では訓練画像を縮小して得られる縮小画像のｍ×ｍブロックの特徴量を算出し、また訓練画像の高周波成分を抽出して高周波成分画像を生成する。次に、ｍ×ｍブロックの特徴ベクトルと、ｍ×ｍブロックと同一位置の高周波成分画像中のＮ×Ｎブロックとの複数の対をルックアップテーブルとして記憶する。

一方、高解像度化段階では高解像度化すべき入力画像をバイリニア法などで拡大して仮拡大画像を生成する。次に、入力画像のｍ×ｍのブロックの特徴ベクトルを算出し、その特徴ベクトルに類似した特徴ベクトルをルックアップテーブルから検索する（Ｓ９２０３）。次に、検索した特徴ベクトルと対をなすＮ×Ｎブロックを仮拡大画像に中の入力画像のｍ×ｍブロックと同一位置のブロックに加算する。以上の処理を全ブロックに対して行うことにより、高解像度化された出力画像が得られる。

このように従来の手法では、入力画像を拡大した仮拡大画像に訓練画像から生成した高周波成分画像を加算することで高解像度化画像を得る。ルックアップテーブルの中に、高解像度化すべき入力画像と同じ種類（文字、顔、建物など）の訓練画像から生成された対が記憶されていれば、高い画質の高解像度化画像が得られる。
特開２００３−１８３９８号公報

特許文献１の手法では、ルックアップテーブル作成用である訓練画像の種類（例えば、文字、顔、建物など）が高解像度化すべき入力画像の種類と異なると、高解像度化された出力画像の画質が悪くなる。この問題を避けるためには、様々な種類の訓練画像を用いてルックアップテーブルを作成すればよいが、ルックアップテーブルの容量が膨大なものになってしまい、実用的でない。

本発明は、ルックアップテーブルの容量を大きく増やすことなく高解像度化された出力画像の画質劣化を避けることができる画像の高解像度化方法及び装置を提供することを目的とする。

本発明の第１の態様によれば、縮小画像を生成するために入力画像を縮小するステップと；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出するステップと；高周波成分画像を生成するために前記入力画像から高周波成分を抽出するステップと；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶するステップと；仮拡大画像を生成するために前記入力画像を拡大するステップと；前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出するステップと；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；前記入力画像を高解像度化した出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算するステップと；を具備する画像の高解像度化方法を提供する。

本発明の第２の態様によれば、複数の分割画像を生成するために入力画像を複数の部分領域に分割するステップと；複数の縮小画像を生成するために前記分割画像を縮小するステップと；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出するステップと；高周波成分画像を生成するために前記分割画像から高周波成分を抽出するステップと；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶するステップと；仮拡大画像を生成するために前記分割画像を拡大するステップと；前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出するステップと；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算するステップと；前記入力画像を高解像度化した出力画像を生成するために前記高解像度化された分割画像を合成するステップと；を具備する画像の高解像度化方法を提供する。

本発明の第３の態様によれば、縮小画像を生成するために入力画像を縮小する縮小部と；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する第１の特徴ベクトル算出部と；高周波成分画像を生成するために前記入力画像から高周波成分を抽出する抽出部と；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する記憶部と；仮拡大画像を生成するために前記入力画像を拡大する拡大部と；前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する第２の特徴ベクトル算出部と；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；前記入力画像を高解像度化した出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する加算部と；を具備する画像の高解像度化装置を提供する。

本発明の第４の態様によれば、複数の分割画像を生成するために入力画像を複数の部分領域に分割する分割部と；複数の縮小画像を生成するために前記分割画像を縮小する縮小部と；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する第１の特徴ベクトル算出部と；高周波成分画像を生成するために前記分割画像から高周波成分を抽出する抽出部と；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する記憶部と；仮拡大画像を生成するために前記分割画像を拡大する拡大部と；前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する第２の特徴ベクトル算出部と；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する加算部と；前記入力画像を高解像度化した出力画像を生成するために前記高解像度化された分割画像を結合する結合部と；を具備する画像の高解像度化装置を提供する。

本発明の第５の態様によれば、縮小画像を生成するために入力画像を縮小する処理と；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する処理と；高周波成分画像を生成するために前記入力画像から高周波成分を抽出する処理と；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する処理と；仮拡大画像を生成するために前記入力画像を拡大する処理と；前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する処理と；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；前記入力画像を高解像度化した出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する処理と；を含む画像の高解像度化処理をコンピュータに行わせるプログラムを提供する。

本発明の第６の態様によれば、複数の分割画像を生成するために前記入力画像を複数の部分領域に分割する処理と；複数の縮小画像を生成するために前記分割画像を縮小する処理と；前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する処理と；高周波成分画像を生成するために前記分割画像から高周波成分を抽出する処理と；前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する処理と；仮拡大画像を生成するために前記分割画像を拡大する処理と；前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する処理と；前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する処理と；前記入力画像を高解像度化した出力画像を生成するために前記高解像度化された分割画像を合成する処理と；を含む画像の高解像度化処理をコンピュータに行わせるプログラムを提供する。

本発明によると、高解像度化すべき入力画像をルックアップテーブル作成のための訓練画像として用いることにより、入力画像と訓練画像の種類（文字、顔、建物など）が必然的に同じになる。従って、ルックアップテーブルの容量を大きく増やすことなく高解像度化された出力画像の画質劣化を避けることができる。また、入力画像が入力されてから処理がなされるので、ルックアップテーブル専用のＲＯＭを特別に用意しなくても済むようになる。

以下、図面を参照して本発明の実施の形態を説明する。ここでは、入力画像を空間方向に縦横それぞれの方向２倍に拡大した出力画像を生成する場合を例にとって説明する。拡大倍率は整数でなくともよい。以下の説明においては、画像信号あるいは画像データを単に「画像」と呼ぶことにする。

（第１の実施形態）
図１に示されるように、本発明の第１の実施形態に従う画像の高解像度化装置１００は、入力画像１０１を一時記憶するフレームメモリ１０２、画像縮小部１０３、第１の特徴ベクトル算出部１０５、高周波成分抽出部１０７、ブロック分割部１０９、画像拡大部１１１、第２の特徴ベクトル算出部１１３、ルックアップテーブルを記憶する記憶部１１５、及び加算部１１７を有する。

外部から入力される高解像度化すべき入力画像１０１は、フレームメモリ１０２を介してフレーム単位で画像縮小部１０３、第２の特徴ベクトル算出部１１３、高周波成分抽出部１０７及び画像拡大部１１１に入力される。画像縮小部１０３では、入力画像１０１を例えばバイリニア法により縦横それぞれ１／２倍に縮小して縮小画像１０４を生成する。

画像縮小部１０３における入力画像１０１の縮小法として、バイリニア法以外の方法を利用しても構わない。例えば、ニアレストネイバー法やバイキュービック法、キュービックコンボリューション法、キュービックスプライン法、面積平均法などの方法でもよい。あるいはローパスフィルタにより入力画像１０１をぼかしてからサブサンプリングすることにより縮小を行っても構わない。高速な縮小方法を利用すれば、画像高解像度化処理の高速化が可能になる。高品質な縮小方法を利用すれば、画像高解像度化自体も高品質になる。

縮小画像１０４は、第１の特徴ベクトル算出部１０５に入力される。特徴ベクトル算出部１０５では、図示しない制御部からｍ画素×ｍ画素のブロック（ｍ×ｍブロック）の位置情報が順次入力され、この位置情報で示される縮小画像１０４のｍ×ｍブロック（第１ブロック）の特徴量を要素に持つ第１特徴ベクトル１０６が算出される。具体的には、特徴ベクトル１０６は例えば縮小画像１０４のｍ×ｍブロック中の画素の値を並べたベクトル（ブロックベクトルという）の要素を要素に含むベクトルとして算出される。制御部により特徴ベクトル算出部１０５へ順次入力されるｍ×ｍブロックの位置情報は、例えば縦方向及び横方向それぞれにｍ×ｍブロックが順次１画素分ずつ移動するように制御される。

第１の特徴ベクトル算出部１０５で算出される特徴ベクトル１０６は、縮小画像１０４のｍ×ｍブロック内の特徴量を並べたベクトルであれば画素の値を並べたブロックベクトルでなくても構わない。例えば、ブロックベクトルの要素の平均が０、分散が１になるようにしたベクトルの要素を要素に含むベクトルとして特徴ベクトル１０５を生成することもできる。

さらに、特徴ベクトル１０６は縮小画像１０４の高周波成分のｍ×ｍブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した値で割ったベクトルの要素を要素として含むベクトルであってもよい。また、特徴ベクトル１０６はさらに他の特徴量を追加したベクトルであっても構わない。これにより入力画像１０１と同じ種類（文字、顔、建物など）の入力画像１０１以外の訓練画像から大量の対を生成した場合に近い画質が得られる。

高周波成分抽出部１０７では、入力画像１０１から高周波成分が抽出され、高周波成分画像１０８が生成される。具体的には、高周波成分抽出部１０７は入力画像１０１を例えばバイリニア法により縦横それぞれ１／２倍に縮小した後、バイリニア法により縦横それぞれ２倍に拡大した画像を入力画像１０１から減算することにより高周波成分画像１０８を生成する。あるいは、入力画像１０１に対してハイパスフィルタを適用することにより、高周波成分を抽出しても構わない。

高周波成分抽出部１０７によって生成される高周波成分画像１０８は、ブロック分割部１０９に入力される。ブロック分割部１０９では、図示しない制御部から特徴ベクトル算出部１０５に送られたのと同じｍ×ｍブロックの位置情報が順次入力され、高周波成分画像１０８のｍ×ｍブロックの位置と同一位置のＮ画素×Ｎ画素のブロック（Ｎ×Ｎブロック）である高周波成分ブロック（第２ブロック）１１０が出力される。

画像拡大部１１１では、入力画像１０１を例えばバイリニア法により縦横それぞれ２倍に拡大することによって仮拡大画像１１２を生成する。仮拡大画像１１２の「仮」とは、仮拡大画像１１２が画像高解像度化装置により最終的に得られる高解像度化された出力画像１１８（拡大画像）を生成する前の段階の仮の拡大画像であることを意味している。

画像拡大部１１１における入力画像１０１の拡大法として、バイリニア法以外の方法を利用しても構わない。例えば、ニアレストネイバー法やバイキュービック法、キュービックコンボリューション法、キュービックスプライン法などの内挿法でもよい。高速な内挿法を利用すれば、画像高解像度化処理の高速化が可能になる。高品質な内挿法を利用すれば、画像高解像度化自体も高品質になる。

第２の特徴ベクトル算出部１１３では、第１の特徴ベクトル算出部１０５と同様に図示しない制御部からｍ×ｍブロックの位置情報が順次入力され、この位置情報で示される入力画像１０１中のｍ×ｍブロック（第３ブロック）の特徴量を要素に持つ第２特徴ベクトル（入力ベクトル）１１４が算出される。具体的には、入力ベクトル１１４は例えば入力画像１０１のｍ×ｍブロック中の画素の値を並べたベクトル（ブロックベクトルという）の要素を要素に含むベクトルとして算出される。この場合、制御部から特徴ベクトル算出部１１３へ順次入力されるｍ×ｍブロックの位置情報は、ｍ×ｍブロックが移動により入力画像１０１を覆いつくすように制御される。

第２の特徴ベクトル算出部１１３で算出される特徴ベクトル（入力ベクトル）１１４についても、入力画像１０１のｍ×ｍブロック内の特徴量を並べたベクトルであれば画素の値を並べたブロックベクトルでなくても構わない。例えば、ｍ×ｍブロック内の画素の値の平均が０、分散が１になるようにしたベクトルの要素を要素に含むベクトルとして入力ベクトル１１４を生成することもできる。

さらに、入力ベクトル１１４は入力画像１０１の高周波成分のｍ×ｍブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した値（これをｖとする）で割ったベクトルであってもよい。また、入力ベクトル１１４はさらに他の特徴量を追加したベクトルであっても構わない。このようにすると、入力画像１０１と同じ種類（文字、顔、建物など）の入力画像１０１以外の訓練画像から大量の対を生成した場合に近い画質が得られる。

第１の特徴ベクトル算出部１０５によって算出された第１特徴ベクトル１０６と、ブロック分割部１０９から出力される高周波成分ブロック１１０、及び第２の特徴ベクトル算出部１１３によって算出された第２特徴ベクトル（入力ベクトル）１１４は、記憶部１１５に入力される。記憶部１１５では、特徴ベクトル１０６と高周波成分ブロック１１０が入力されると、それらの対（特徴ベクトル１０６−高周波成分ブロック１１０対）がルックアップテーブルの要素として記憶される。記憶部１１５に入力ベクトル１１４が入力されると、ルックアップテーブル内の特徴ベクトル１０６の中から入力ベクトル１１４と最も近いベクトルが検索される。さらに、ルックアップテーブルにおいて検索された特徴ベクトル１０６と対をなす高周波成分ブロック１１０が加算用ブロック１１６として出力される。

ここで、第１特徴ベクトル１０６のうち入力ベクトル１１４と最も類似したベクトルとしては、当該特徴ベクトル１１４との距離が最小である第１特徴ベクトルが選ばれる。ルックアップテーブルからの検索に用いるベクトル間の距離としては、Ｌ１距離（マンハッタン距離）が好適に用いられるが、これに限られるものではなく、Ｌ２距離（ユークリッド距離）、Ｌ∞距離、Ｌ１距離またはＬ２距離またはＬ∞距離に重みを付けたもの、あるいはその他の距離でもよい。重みは、入力ベクトル１１４のノルムが大きいほど重みが大きくなるように設定される。これによれルックアップテーブル内の特徴ベクトル１０６の中から入力ベクトル１１４に近いものが検索されるため、高解像度化された出力画像１１８の画質が高くなる。

なお、ここでは入力ベクトル１１４に最も近いものを検索したが、必ずしも最も近いものでなくても構わない。例えば、所定の距離よりも近いものを見つけた時点で検索処理を打ち切るようにすれば、検索時間を短縮できる。それにより、画像高解像度化の処理時間を短縮できる。

仮拡大画像１１２及び加算用ブロック１１６は、加算部１１７に入力される。加算部１１７では、図示しない制部から特徴ベクトル算出部１１３に送られたのと同じｍ×ｍブロックの位置情報が順次入力され、仮拡大画像１１２中の当該位置情報で示される位置と同一位置の第４ブロックにＮ×Ｎの加算用ブロック１１６が加算される。

ここで、第１の特徴ベクトル算出部１０５において特徴ベクトル１０６が縮小画像１０４のｍ×ｍブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した値で割ったベクトルであり、第２の特徴ベクトル算出部１１３において入力ベクトル１１４が入力画像１０１の高周波成分のｍ×ｍブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した値（これをｖとする）で割ったベクトルである場合、ルックアップテーブルにおいて検索された特徴ベクトル１０６と対をなす高周波成分ブロック１１０の各要素にｖを乗じて加算用ブロック１１６として仮拡大画像１１２中の第４ブロックに加算する。入力画像１０１の全ブロックに対して処理が終了することにより、高解像度された出力画像１１８が生成され、出力される。

加算部１１７においては、検索された特徴ベクトル１０６と入力ベクトル１１４との距離がある閾値より大きかった場合、検索された特徴ベクトル１０６と対をなす高周波成分ブロック１１０、すなわち加算用ブロック１１６を仮拡大画像１１２に加算しないようにしてもよい。言い換えれば、加算部１１７においてはルックアップテーブルからの検索において特徴ベクトル１０６と入力ベクトル１１４との距離が閾値以上の特徴ベクトル１０６が検索された場合にのみ、高周波ブロック１１０を加算用ブロック１１６として仮拡大画像１１２中の第４ブロックに加算する。

これにより記憶部１１５内のルックアップテーブルとして入力ベクトル１１４と類似した特徴ベクトル１０６が記憶されていない場合には、仮拡大画像１１２に加算ブロック１１６が加算されないため、不自然な出力画像１１８が生成されなくなる。

次に、図２、図３及び図４を参照して本実施形態における画像の高解像度化の処理について詳しく説明する。図２は、高解像度化の処理の流れを示している。図３は、図２のステップＳ１０１〜Ｓ１０４の訓練段階の処理を模式的に表している。図４は、図２のステップＳ１０５〜Ｓ１０９の高解像度化段階の処理を模式的に表している。

＜ステップＳ１０１＞ 画像縮小部１０３において入力画像１０１を縮小して縮小画像１０４を生成する。

＜ステップＳ１０２＞ 第１特徴ベクトル算出部１０５において、縮小画像１０４中のｍ×ｍブロック（第１ブロック）３０１の特徴量を要素に持つ第１特徴ベクトル１０６を算出する。

＜ステップＳ１０３＞ 高周波成分抽出部１０７において、入力画像１０１の高周波成分を抽出して高周波成分画像１０８を生成する。

＜ステップＳ１０４＞ 第１特徴ベクトル１０６と、高周波成分画像１０８中の特徴ベクトル１０６を算出したｍ×ｍブロックと同一位置のＮ×Ｎ高周波成分ブロック（第２ブロック）１１０との複数の対を記憶部１１５にルックアップテーブルとして記憶する。このステップＳ１０４では、特徴ベクトル１０６と高周波成分ブロック１１０との対以外の対をルックアップテーブルの要素として記憶する処理を含んでいてもよい。それによって、より多くの対が記憶されるので、高解像度された出力画像１１８の画質が高くなる。

＜ステップＳ１０５＞ 画像拡大部１１１において、入力画像１０１を拡大して仮拡大画像１１２を生成する。

＜ステップＳ１０６＞ 第２特徴ベクトル算出部１１３において、入力画像１０１中のｍ×ｍブロック（第３ブロック）４０１の特徴量を要素として持つ第２特徴ベクトル（入力ベクトル）１１４を算出する。

＜ステップＳ１０７＞ 記憶部１１５に記憶されたルックアップテーブルの中から、入力ベクトル１１４との距離が最も小さい特徴ベクトル１０６を検索する。

＜ステップＳ１０８＞ 加算部１１７において、検索された特徴ベクトル１０６と対をなす高周波成分ブロック１１０、すなわち加算用ブロック１１６を仮拡大画像１１２中の第４ブロック４０２に加算し、出力画像１１８の構成要素となる出力ブロック４０３を生成する。

＜ステップＳ１０９＞ 図示しない制御部において、入力画像１０１の全ブロックに対して処理が終了していれば高解像度化された出力画像１１８を出力して処理を終了し、終了していなければステップＳ１０６に戻る。

以上述べたように、高解像度化すべき入力画像１０１を、記憶部１１５にルックアップテーブルを作成する際の訓練画像としても用いることにより、入力画像と訓練画像の種類（文字、顔、建物など）が必然的に同じになる。従って、ルックアップテーブルの容量を大きく増やすことなく、高解像度化された出力画像１１８の画質劣化を避けることができる。また、入力画像１０１が入力されてから訓練段階と高解像度化段階の一連の処理がなされるので、ルックアップテーブル専用のＲＯＭを特別に用意しなくても済むという利点もある。

（第２の実施形態）
図５は、本発明の第２の実施形態に従う高解像度化装置を示している。図１との相違点のみ説明すると、入力画像１０１はフレームメモリ１０２を介してまず分割部２０１に入力される。分割部２０１では、入力画像１０１を例えば４分の１の大きさの部分領域に分割し、４枚の分割画像２０２を順次あるいは同時に出力する。分割画像２０２は、画像拡大部１１１、特徴ベクトル算出部１１３、画像縮小部１０３、及び高周波成分抽出部１０７に送られる。

分割画像２０２が入力された画像拡大部１１１、特徴ベクトル算出部１１３、画像縮小部１０３及び高周波成分抽出部１０７では、入力画像１０１の代わりに分割画像２０２を処理する。加算部１１７では高解像度化された出力画像１１８ではなく、入力画像１０１の分割画像２０２に対応した例えば４枚の分割高解像度画像２０３が生成される。分割高解像度画像２０３は、結合部２０４によって結合されることによって高解像度化された出力画像１１８が生成される。

本実施形態においては、４枚の分割画像２０２が画像拡大部１１１、特徴ベクトル算出部１１３、画像縮小部１０３、及び高周波成分抽出部１０７の各部に送られるため、各部では同様の処理が４回施されることになるが、その順番は図示しない制御部により制御される。

一方、記憶部１１５内のルックアップテーブルにおいては４枚の分割画像２０２の各々から生成された対が記憶されるが、各分割画像２０２を処理する毎に記憶されている対を消去してもよいし、消去せずに追加していっても構わない。もし消去すれば、ルックアップテーブルの要素として記憶される対の数が少なくなるので、図２のステップＳ１０７における検索のための計算量が削減される。消去しなくても、分割しない場合と比較すると、最後の４枚目の分割画像に対する処理以外では、ルックアップテーブルの要素として記憶されている対の数が分割しないときと比較して少ないため、ステップＳ１０７における検索のための計算量がやはり削減される。

第２の実施形態では、上述したような高解像度化装置の構成変更に伴い、処理の流れも図６に示すように変更される。図２からの変更点のみを説明すると、ステップＳ１０１の前にステップＳ２０１が挿入され、ステップＳ１０９の後にステップＳ２０２及びＳ２０３が挿入される。ステップＳ２０１では、分割部２０１において入力画像１０１を分割して分割画像２０２を生成する。ステップＳ１０１〜Ｓ１０８の処理は、入力画像１０１に対してではなく、分割画像２０２に対して行われる。

ステップＳ２０２では、４枚全ての分割画像２０２に対しての処理が終了しているならステップＳ２０３に進み、終了していないならステップＳ１０１に戻る。ステップＳ２０３では、結合部２０４において４枚の分割高解像度画像２０３が結合（連結）され、高解像度化された出力画像１１８が出力される。

図６の処理の流れに対し、ルックアップテーブルの要素として記憶されている対を消去するステップをさらに挿入してもよい。

ここでは、入力画像１０１を４分の１に分割したが、必ずしも４分の１に分割しなくてもよい。また、例えば入力画像１０１を矩形のような特定形状の部分領域に分割したり、入力画像１０１を物体毎の部分領域に分割したりしても構わない。より小さな部分領域に分割すると、記憶部１１５においてルックアップテーブルの要素として記憶される対が少なくなり、処理が高速になる。物体毎の部分領域に分割すると、訓練画像の種類（文字、顔、建物など）と分割画像の種類（文字、顔、建物など）が同じになるため、高解像度化された出力画像１１８の画質が向上する。

なお、本発明は前記した実施形態そのままに限定されるものではない。実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。前記の複数の構成要素を適宜組み合わせたり、全構成要素から幾つかの構成要素を削除したりしてもよい。

例えば、図１及び図５では特徴ベクトル算出部１０５及び特徴ベクトル算出部１１３を区別して示したが、図示しない制御部により一つの特徴ベクトル算出部の入出力を管理することで、第１特徴ベクトル１０６と第２特徴ベクトル（入力ベクトル）１１４を共通の一つの特徴ベクトル算出部によって算出することができる。これにより、画像高解像度装置のサイズを小さくできる。

本発明は、デジタルカメラ、ビデオカメラ、テレビジョン受像機、ビデオデッキ、ＨＤＤレコーダ、ＤＶＤプレーヤ、パーソナルコンピュータ、電話機、携帯情報端末などの画像を閲覧する機能を有する電子機器に好適である。

本発明の第１の実施形態に従う高解像度化装置の構成を示すブロック図 本発明の第１の実施形態における高解像度化処理の流れを示すフローチャート 本発明の実施形態における訓練段階の処理を説明するための模式図 本発明の実施形態における高解像度化段階の処理を説明するための模式図 本発明の第２の実施形態に従う高解像度化装置の構成を示すブロック図 本発明の第２の実施形態における高解像度化処理の流れを説明するためのフローチャート

符号の説明

１００・・・高解像度化装置
１０１・・・入力画像
１０２・・・フレームメモリ
１０３・・・画像縮小部
１０４・・・縮小画像
１０５・・・第１特徴ベクトル算出部
１０６・・・第１特徴ベクトル
１０７・・・高周波成分抽出部
１０８・・・高周波成分画像
１０９・・・ブロック分割部
１１０・・・第２ブロック（高周波ブロック）
１１１・・・画像拡大部
１１２・・・仮拡大画像
１１３・・・第２特徴ベクトル算出部
１１４・・・第２特徴ベクトル（入力ベクトル）
１１５・・・記憶部
１１６・・・加算用ブロック
１１７・・・加算部
１１８・・・出力画像
２０１・・・分割部
２０２・・・分割画像
２０３・・・分割高解像度画像
３０１・・・第１ブロック
４０１・・・第３ブロック
４０２・・・第４ブロック
４０３・・・出力ブロック

Claims (15)

1. 入力画像を高解像度化した出力画像を生成する画像の高解像度化方法において、
   縮小画像を生成するために前記入力画像を縮小するステップと；
   前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出するステップと；
   高周波成分画像を生成するために前記入力画像から高周波成分を抽出するステップと；
   前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶するステップと；
   仮拡大画像を生成するために前記入力画像を拡大するステップと；
   前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出するステップと；
   前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；
   前記出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算するステップと；を具備する画像の高解像度化方法。
2. 入力画像を高解像度化した出力画像を生成する画像の高解像度化方法において、
   複数の分割画像を生成するために前記入力画像を複数の部分領域に分割するステップと；
   複数の縮小画像を生成するために前記分割画像を縮小するステップと；
   前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出するステップと；
   高周波成分画像を生成するために前記分割画像から高周波成分を抽出するステップと；
   前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶するステップと；
   仮拡大画像を生成するために前記分割画像を拡大するステップと；
   前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出するステップと；
   前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索するステップと；
   高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算するステップと；
   前記出力画像を生成するために前記高解像度化された分割画像を合成するステップと；を具備する画像の高解像度化方法。
3. 前記記憶するステップは、前記ルックアップテーブルに前記対以外のブロックと特徴ベクトルとの対を追加して記憶する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
4. 前記縮小するステップは、内挿法あるいは面積平均法あるいはサブサンプリングにより前記入力画像または分割画像を縮小する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
5. 前記拡大するステップは、内挿法により前記入力画像または分割画像を拡大する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
6. 前記第１特徴ベクトルを算出するステップまたは前記第２特徴ベクトルを算出するステップは、前記第１ブロック中の画素の値を並べたベクトルであるブロックベクトルの要素を要素に含むか、あるいは前記ブロックベクトルの要素の平均が０で分散が１になるようにしたベクトルの要素を要素に含むことを特徴とする請求項１または２のいずれか１項に記載の画像の高解像度化方法。
7. 前記第１特徴ベクトルを算出するステップは、前記第２ブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した第１の値で割ったベクトルの要素を要素に含むベクトルを前記第１特徴ベクトルとして算出し、
   前記第２特徴ベクトルを算出するステップは、前記第３ブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した第２の値で割ったベクトルの要素を要素に含むベクトルを前記第２特徴ベクトルとして算出し、
   前記加算するステップは、前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックの各要素を該各要素に前記第２の値を乗じてから前記第４ブロックに加算する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
8. 前記検索するステップは、前記第１特徴ベクトルと第２特徴ベクトルとの距離を算出し、前記第１特徴ベクトルのうち当該距離が相対的に小さいベクトルを検索する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
9. 前記第１特徴ベクトルを算出するステップは、前記第２ブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した第１の値で割ったベクトルの要素を要素に含むベクトルを前記第１特徴ベクトルとして算出し、
   前記第２特徴ベクトルを算出するステップは、前記第３ブロック中の画素の値を並べたベクトルをそのノルムに少数を加算した第２の値で割ったベクトルの要素を要素に含むベクトルを前記第２特徴ベクトルとして算出し、
   前記検索するステップは、前記第１特徴ベクトルと第２特徴ベクトルとの間の距離であって前記ノルムが大きいほど重みが大きくなるように重み付けした距離を算出し、前記第１特徴ベクトルのうち当該距離が相対的に小さいベクトルを検索する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
10. 前記加算するステップは、前記検索するステップにおいて前記第１特徴ベクトルと第２特徴ベクトルとの距離が閾値以上の第１特徴ベクトルが検索された場合にのみ第２ブロックを前記第４ブロックに加算する請求項１または２のいずれか１項に記載の画像の高解像度化方法。
11. 前記分割するステップは、前記入力画像中の特定形状の領域あるいは前記入力画像中の物体毎の領域を前記部分領域として前記入力画像を分割する請求項２に記載の画像の高解像度化方法。
12. 入力画像を高解像度化した出力画像を生成する画像の高解像度化装置において、
    縮小画像を生成するために前記入力画像を縮小する縮小部と；
    前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する第１の特徴ベクトル算出部と；
    高周波成分画像を生成するために前記入力画像から高周波成分を抽出する抽出部と；
    前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する記憶部と；
    仮拡大画像を生成するために前記入力画像を拡大する拡大部と；
    前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する第２の特徴ベクトル算出部と；
    前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；
    前記出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する加算部と；を具備する画像の高解像度化装置。
13. 入力画像を高解像度化した出力画像を生成する画像の高解像度化装置において、
    複数の分割画像を生成するために前記入力画像を複数の部分領域に分割する分割部と；
    複数の縮小画像を生成するために前記分割画像を縮小する縮小部と；
    前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する第１の特徴ベクトル算出部と；
    高周波成分画像を生成するために前記分割画像から高周波成分を抽出する抽出部と；
    前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する記憶部と；
    仮拡大画像を生成するために前記分割画像を拡大する拡大部と；
    前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する第２の特徴ベクトル算出部と；
    前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する検索部と；
    高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する加算部と；
    前記出力画像を生成するために前記高解像度化された分割画像を結合する結合部と；を具備する画像の高解像度化装置。
14. 入力画像を高解像度化した出力画像を生成する画像の高解像度化処理をコンピュータに行わせるプログラムにおいて、
    縮小画像を生成するために前記入力画像を縮小する処理と；
    前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する処理と；
    高周波成分画像を生成するために前記入力画像から高周波成分を抽出する処理と；
    前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する処理と；
    仮拡大画像を生成するために前記入力画像を拡大する処理と；
    前記入力画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する処理と；
    前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；
    前記出力画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する処理と；を含む画像の高解像度化処理をコンピュータに行わせるプログラム。
15. 入力画像を高解像度化した出力画像を生成する画像の高解像度化処理をコンピュータに行わせるプログラムにおいて、
    複数の分割画像を生成するために前記入力画像を複数の部分領域に分割する処理と；
    複数の縮小画像を生成するために前記分割画像を縮小する処理と；
    前記縮小画像中の第１ブロックの特徴量を要素に持つ第１特徴ベクトルを算出する処理と；
    高周波成分画像を生成するために前記分割画像から高周波成分を抽出する処理と；
    前記第１ブロックと同一位置の前記高周波成分画像中の第２ブロックと前記第１特徴ベクトルとの複数の対をルックアップテーブルとして記憶する処理と；
    仮拡大画像を生成するために前記分割画像を拡大する処理と；
    前記分割画像中の処理対象の第３ブロックの特徴量を要素に持つ第２特徴ベクトルを算出する処理と；
    前記第２特徴ベクトルに類似した第１特徴ベクトルを前記ルックアップテーブルから検索する処理と；
    高解像度化された分割画像を生成するために前記検索された第１特徴ベクトルと対をなす前記ルックアップテーブル中の第２ブロックを前記第３ブロックと同一位置の前記仮拡大画像中の第４ブロックに加算する処理と；
    前記出力画像を生成するために前記高解像度化された分割画像を合成する処理と；を含む画像の高解像度化処理をコンピュータに行わせるプログラム。

Images