JP2011188478A - 超解像処理装置及び超解像処理方法 - Google Patents

超解像処理装置及び超解像処理方法 Download PDF

Info

Publication number
JP2011188478A
JP2011188478A JP2011020240A JP2011020240A JP2011188478A JP 2011188478 A JP2011188478 A JP 2011188478A JP 2011020240 A JP2011020240 A JP 2011020240A JP 2011020240 A JP2011020240 A JP 2011020240A JP 2011188478 A JP2011188478 A JP 2011188478A
Authority
JP
Japan
Prior art keywords
image
super
resolution
resolution processing
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011020240A
Other languages
English (en)
Other versions
JP5706177B2 (ja
Inventor
Takumi Sakaguchi
巧 坂口
Toru Matsunobu
徹 松延
Kenji Takita
健児 瀧田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011020240A priority Critical patent/JP5706177B2/ja
Publication of JP2011188478A publication Critical patent/JP2011188478A/ja
Application granted granted Critical
Publication of JP5706177B2 publication Critical patent/JP5706177B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

【課題】画像中のテクスチャに対しても自然で高精細な高解像度画像を生成できる超解像処理装置を提供する。
【解決手段】本発明に係る超解像処理装置１００は、入力画像１２１をＮ倍に拡大したＮ倍画像１２２を生成するＮ倍拡大部１０１と、入力画像１２１をＮより小さいＭ倍に拡大したＭ倍画像１２５を生成するＭ倍拡大部１０４と、Ｍ倍画像１２５の高周波成分をＭ倍高周波画像１２８として抽出するハイパスフィルタ部１０６と、Ｍ倍高周波画像１２８の一部である、予め定められた大きさの推定パッチ１２９をＭ倍高周波画像１２８から抽出するパッチ抽出部１０８と、Ｎ倍画像１２２中の前記予め定められた大きさの処理対象ブロックと、推定パッチ１２９とを加算することにより出力画像１３１を生成する加算部１０９とを備える。
【選択図】図２

Description

本発明は、入力画像に超解像処理を行うことにより出力画像を生成する超解像処理装置、及び超解像処理方法に関するものである。
近年、家庭用テレビ及びＰＣ（パーソナルコンピュータ）用ディスプレイなどの表示デバイスの表示解像度が向上している。具体的には、フルハイビジョン（１９２０画素×１０８０画素）又はそれ以上の表示能力を持つ表示デバイスが出てきている。このため既存のＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの標準画質（７２０画素×４８０画素など）の映像コンテンツをこのような表示デバイスで全画面表示する場合、画像の解像度を、表示デバイスの表示解像度まで増やすための高解像度化処理を行う必要がある。この手法として、現在の主流は線形フィルタを用いた拡大処理である。さらに、近年、入力画像に存在しない高い解像度の情報を生成できる超解像と呼ばれる手法が注目されてきている。
従来の超解像処理方法としては、非特許文献１に示される学習型超解像がある。この非特許文献１の方法を以下に説明する。
＜超解像処理装置９００の構成と動作１＞
図２１は、背景技術である超解像処理装置９００のブロック図を示す。この超解像処理装置９００は、低解像度の入力画像９１１から拡大画像９１３を生成するＮ倍拡大部９０１と、拡大画像９１３から中周波画像９１４を生成するハイパスフィルタ部９０２と、中周波画像９１４、学習中周波パッチ９１５及び学習高周波パッチ９１６から推定パッチ９１７を生成するパッチ抽出部９０３と、拡大画像９１３と推定パッチ９１７とを加算することにより出力画像９１２を生成する加算部９０４と、学習中周波パッチ９１５及び学習高周波パッチ９１６を出力する学習データベース９０５とを備えている。
Ｎ倍拡大部９０１は、超解像処理の目標解像度の倍率をＮとして、入力画像９１１を水平及び垂直方向にそれぞれＮ倍に拡大することにより、拡大画像９１３を生成する。例えば、Ｎ倍拡大部９０１は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて入力画像９１１を拡大する。
ハイパスフィルタ部９０２は、線形フィルタ操作などを用いて拡大画像９１３の高周波数成分を中周波画像９１４として抽出する。
パッチ抽出部９０３は、中周波画像９１４に対して、固定の小ブロック単位で次の処理を行う。パッチ抽出部９０３は、学習データベース９０５に格納された多数の学習中周波パッチ９１５の中から、中周波画像９１４の対象画像ブロックに最も類似した学習中周波パッチ９１５を探索する。ここで、パッチとは、ブロック化されたデータのことを指すものとする。ここで、パッチ抽出部９０３は、両パッチ間の距離を画素間差分の絶対値和又は自乗和などで定義する。そして、パッチ抽出部９０３は、その距離の小ささに応じて類似度の大きさを判断する。探索処理により、最も類似した学習中周波パッチ９１５が決定されると、パッチ抽出部９０３は、学習データベース９０５内で、学習中周波パッチ９１５とペアで格納されている学習高周波パッチ９１６を取得し、取得した学習高周波パッチ９１６を推定パッチ９１７として出力する。
加算部９０４は、拡大画像９１３の対象ブロック位置のパッチと、推定パッチ９１７とを画素単位で加算し、加算結果を出力画像９１２として出力する。
次に、超解像処理装置９００に含まれる学習データベース９０５を生成する方法を以下に説明する。
＜学習データベース生成装置９５０の構成と動作＞
図２２は、背景技術の学習データベース９０５を生成するための学習データベース生成装置９５０のブロック図である。この学習データベース生成装置９５０は、事前にデジタルカメラで撮影した実画像などから収集した学習画像９６１から学習低周波画像９６２を生成するローパスフィルタ部９５１と、学習低周波画像９６２から学習低解像度画像９６３を生成する１／Ｎ縮小部９５２と、学習低解像度画像９６３から学習低周波画像９６４を生成するＮ倍拡大部９５３と、学習低周波画像９６４から学習中周波パッチ９１５を生成するハイパスフィルタ部９５４と、学習画像９６１から学習高周波パッチ９１６を生成するハイパスフィルタ部９５５と、学習中周波パッチ９１５と学習高周波パッチ９１６と格納する学習データベース９０５とを有する。
ローパスフィルタ部９５１は、線形フィルタ操作などを用いて学習画像９６１の低周波数成分を学習低周波画像９６２として抽出する。
１／Ｎ縮小部９５２は、学習低周波画像９６２を水平及び垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像９６３を生成する。
Ｎ倍拡大部９５３は、学習低解像度画像９６３を水平及び垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像９６４を生成する。
ハイパスフィルタ部９５４は、線形フィルタ操作などを用いて学習低周波画像９６４の高周波数成分を抽出し、その抽出結果を上記固定ブロック単位で切り出すことにより、複数の学習中周波パッチ９１５を生成する。
ハイパスフィルタ部９５５は、線形フィルタ操作などを用いて学習画像９６１の高周波数成分を抽出し、その抽出結果を上記固定ブロック単位に切り出すことにより、複数の学習高周波パッチ９１６を生成する。
学習データベース９０５は、同一のブロック位置から生成された学習中周波パッチ９１５と学習高周波パッチ９１６とを１つのパッチペアとして対応付けする。そして、対応関係と両画像パッチのデータとを格納する。
＜超解像処理装置９００の動作２＞
以上のようにして、超解像処理装置９００における学習データベース９０５には、事前にデジタルカメラで撮影した実画像などから収集された、実際の中周波画像と高周波画像との関係が数多く記憶されている。したがって、超解像処理装置９００は、中周波画像９１４のパッチと最も関連があると考えられる高周波画像パッチが探索できる。さらに、探索した高周波画像パッチが拡大画像９１３に付加されることで、入力画像９１１には含まれない失われた高周波成分が付加されることになる。これにより、超解像処理装置９００は、良好な出力画像９１２を生成できる。
Ｆｒｅｅｍａｎ，Ｗ．Ｔ．Ｊｏｎｅｓ，Ｔ．Ｒ．Ｐａｓｚｔｏｒ，Ｅ．Ｃ．，"Ｅｘａｍｐｌｅ−ｂａｓｅｄ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ"，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＩＥＥＥ，Ｍａｒｃｈ−Ａｐｒｉｌ ２００２
しかしながら、上記従来の構成では、入力画像から導出した特徴量である中周波画像に強く現れている特徴については、対応する高周波画像パッチの加算により精細感ある良好な高解像度画像を生成できる。しかしながら、特徴量に十分特徴が現れていない特徴については、対応する高周波画像パッチを加算しても、生成される高解像度画像で精細感の向上が十分に得られない場合がある。
例えば、入力画像において、明確なエッジを含む部分は、特徴量にエッジ特徴が十分表現されているので、対応する高精細エッジを得られる。一方で、細かいテクスチャを含む部分は、入力画像においてテクスチャが潰れてしまっているために、特徴量にテクスチャ特徴が十分反映されない。したがって、それを元に検索して得られた高周波画像パッチを用いても、同様に細かいテクスチャ成分を含まない高解像度画像が生成されてしまう。このように、細かいテクスチャ部分において、十分な超解像効果が得られないという課題を有していた。
本発明は、上記従来の課題を解決するもので、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる超解像処理装置及び超解像処理方法を提供することを目的とする。ここで、テクスチャとは、草、岩、砂及び木の葉などの、粒状などの細かいディテールを有する部分を指すものとする。
上記従来の課題を解決するために、本発明の一形態に係る超解像処理装置は、入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理装置であって、前記入力画像をＮ（Ｎは１より大きい）倍に拡大したＮ倍画像を生成するＮ倍拡大部と、前記入力画像をＭ（Ｍは１より大きい）倍に拡大したＭ倍画像を生成するＭ倍拡大部と、前記Ｍ倍画像の高周波成分をＭ倍高周波画像として抽出するハイパスフィルタ部と、前記Ｍ倍高周波画像の一部である、予め定められた大きさの推定パッチを前記Ｍ倍高周波画像から抽出するパッチ抽出部と、前記Ｎ倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備え、前記Ｍは前記Ｎより小さい。
この構成によれば、本発明の一形態に係る超解像処理装置は、Ｍ倍拡大部における拡大倍率ＭがＮ未満であることにより、Ｎ倍画像よりも細かい高精細なテクスチャ表現を、当該Ｎ倍画像に付加できる。これにより、本発明の一形態に係る超解像処理装置は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。
また、前記パッチ抽出部は、前記Ｍ倍高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出してもよい。
この構成によれば、対象ブロックの周辺の領域の画像には、対象ブロックのオブジェクトと類似したテクスチャが存在する可能性が高いため、本発明の一形態に係る超解像処理装置は、良好な高精細テクスチャをＮ倍画像の対象ブロックに付加できる。
また、前記超解像処理装置は、さらに、前記Ｎ倍画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第１特徴量抽出部と、前記Ｍ倍画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第１周辺特徴量を抽出する第２特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との類似度を計算し、前記複数の第１周辺特徴量の中から、（１）前記類似度が最大となる１つの第１周辺特徴量、（２）前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量、又は、（３）前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量、に対応する、前記Ｍ倍高周波画像の領域を前記推定パッチとして抽出してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量の類似度の大きいパッチを選択することにより、Ｎ倍画像の対象ブロックに類似した特徴を持つ高精細なテクスチャを、当該Ｎ倍画像の対象ブロックに付加できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。
また、前記超解像処理装置は、さらに、前記Ｎ倍画像の自己相似比を推定する自己相似比推定部を備え、前記Ｍ倍拡大部は、前記自己相似比が１／Ｋである場合に、前記入力画像をＭ＝Ｎ／Ｋ倍に拡大した前記Ｍ倍画像を生成してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を推定することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の自己相関関数の値の変動周期を算出し、前記変動周期が小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を自己相関関数に基づいて推定することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の高周波成分のエネルギーを算出し、前記エネルギーが小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を高周波成分のエネルギーに基づいて推定することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の隣接画素間の差分絶対値和を算出し、前記差分絶対値和が小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を隣接画素間の差分絶対値和に基づいて推定することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、前記Ｍ倍拡大部は、さらに、前記入力画像をＭ１（Ｍ１は１より大きい）倍に拡大したＭ１倍画像を生成し、前記Ｍ１は、前記Ｎより小さく、かつ、前記Ｍと異なり、前記ハイパスフィルタ部は、さらに、前記Ｍ１倍画像の高周波成分をＭ１倍高周波画像として抽出し、前記第２特徴量抽出部は、さらに、前記Ｍ１倍拡大画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第２周辺特徴量を抽出し、前記パッチ抽出部は、さらに、前記入力特徴量と、前記複数の第２周辺特徴量の各々との類似度を計算し、前記パッチ抽出部は、前記複数の第１周辺特徴量及び前記複数の第２周辺特徴量の中から、（１）前記類似度が最大となる１つの第１周辺特徴量又は第２周辺特徴量、（２）前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量又は第２周辺特徴量、又は、（３）前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量又は第２周辺特徴量、に対応する、前記Ｍ倍高周波画像の領域から前記推定パッチを抽出してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、複数の倍率の中から類似度の大きいパッチを選択することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との差分絶対値和、又は差分自乗和を前記類似度として計算してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量同士の差分絶対値和、又は差分自乗和の小さいパッチを選択することにより、類似した特徴を持つ高精細なテクスチャを選択できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。
また、前記Ｍ倍拡大部は、前記Ｎが予め定められた閾値より大きい場合、前記Ｍを第１の値に設定し、前記Ｎが前記予め定められた閾値以下の場合、前記Ｍを、前記第１の値より小さい第２の値に設定してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、倍率Ｎに応じて倍率Ｍを変更することにより、良好で高精細なテクスチャをＮ倍画像に付加できる。
また、入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理装置であって、前記入力画像を１／Ｋ倍に縮小した１／Ｋ画像を生成する１／Ｋ縮小部と、前記１／Ｋ画像の高周波成分を１／Ｋ高周波画像として抽出するハイパスフィルタ部と、前記１／Ｋ高周波画像の一部である、予め定められた大きさの推定パッチを前記１／Ｋ高周波画像から抽出するパッチ抽出部と、前記１／Ｋ画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備えてもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、１／Ｋ縮小部において、入力画像を１／Ｋ倍縮小することにより、入力画像よりも細かい高精細なテクスチャ表現を、当該入力画像に付加できる。これにより、本発明の一形態に係る超解像処理装置は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。
また、前記パッチ抽出部は、前記１／Ｋ高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出してもよい。
この構成によれば、対象ブロックの周辺の領域の画像には、対象ブロックのオブジェクトと類似したテクスチャが存在する可能性が高いため、本発明の一形態に係る超解像処理装置は、良好な高精細テクスチャを入力画像に付加できる。
また、前記超解像処理装置は、さらに、前記入力画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第１特徴量抽出部と、前記１／Ｋ画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第１周辺特徴量を抽出する第２特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との類似度を計算し、前記複数の第１周辺特徴量の中から、前記類似度が最大となる１つの第１周辺特徴量、又は、前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量、又は、前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量に対応する、前記１／Ｋ高周波画像の領域を前記推定パッチとして抽出してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量の類似度の大きいパッチを選択することにより、入力画像の対象ブロックに類似した特徴を持つ高精細なテクスチャを、当該入力画像の対象ブロックに付加できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。
また、前記超解像処理装置は、さらに、前記入力画像の自己相似比を推定する自己相似比推定部を備え、前記１／Ｋ倍縮小部は、前記自己相似比が１／Ｋである場合に、前記入力画像を１／Ｋ倍に縮小した前記１／Ｋ画像を生成してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を推定することにより、良好で高精細なテクスチャを入力画像に付加できる。
また、前記超解像処理装置は、さらに、前記入力画像を高解像度化したエッジ高解像度画像を生成するエッジ超解像部と、前記入力画像のエッジを検出するエッジ検出部と、前記出力画像と前記エッジ高解像度画像とを統合する画像統合部とを備え、前記画像統合部は、前記入力画像においてエッジ度合いが予め定められた閾値より高い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より高くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合し、前記エッジ度合いが前記閾値より低い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より低くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合してもよい。
この構成によれば、本発明の一形態に係る超解像処理装置は、エッジ度合いの大きい領域ではエッジの復元に適した超解像処理手法を用い、エッジ度合いの小さい領域、すなわちテクスチャと判断される領域では、本発明に係る超解像処理方法を用いる。これにより、本発明の一形態に係る超解像処理装置は、エッジ及びテクスチャの両方が高精細化された高解像度画像を生成できる。
なお、本発明は、このような超解像処理装置として実現できるだけでなく、超解像処理装置に含まれる特徴的な手段をステップとする超解像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような超解像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
本発明は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる超解像処理装置及び超解像処理方法を提供できる。
本発明の実施の形態１に係る超解像処理装置のブロック図である。 本発明の実施の形態２に係る超解像処理装置のブロック図である。 本発明の実施の形態２に係る超解像処理装置の動作例を示す図である。 本発明の実施の形態２に係る超解像処理方法のフローチャートである。 本発明の実施の形態２に係る対象ブロック及び周辺領域の一例を示す図である。 本発明の実施の形態２に係るパッチ抽出処理の一例を示す図である。 本発明の実施の形態２に係る対象ブロック選択処理の一例を示す図である。 本発明の実施の形態２に係る超解像処理方法の変形例のフローチャートである。 本発明の実施の形態３に係る超解像処理装置のブロック図である。 本発明の実施の形態３に係るＮ倍画像の自己相関関数を示す図である。 本発明の実施の形態３に係る自己相似比推定部の処理の一例を示す図である。 本発明の実施の形態３に係る超解像処理装置の動作例を示す図である。 本発明の実施の形態３に係る超解像処理方法のフローチャートである。 本発明の実施の形態３に係る超解像処理装置の変形例のブロック図である。 本発明の実施の形態４に係る超解像処理装置のブロック図である。 本発明の実施の形態５に係る超解像処理装置のブロック図である。 本発明の実施の形態５に係る超解像処理方法のフローチャートである。 本発明の実施の形態６に係る倍率決定処理のフローチャートである。 本発明の実施の形態７に係る超解像処理装置のブロック図である。 本発明の実施の形態８に係る記録媒体の物理フォーマットの例を示す図である。 本発明の実施の形態８に係る記録媒体の構成を示す図である。 本発明の実施の形態８に係るコンピュータシステムの構成を示す図である。 本発明の実施の形態９におけるテレビジョン受像機のブロック図である。 従来の超解像処理装置のブロック図である。 従来の学習データベース生成装置のブロック図である。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１)
図１は、本発明の実施の形態１に係る超解像処理装置１００の構成を示す図である。
図１に示す超解像処理装置１００は、入力画像１２１に超解像処理を行うことにより、入力画像１２１より解像度が大きい出力画像１３１を生成する。この超解像処理装置１００は、Ｎ倍拡大部１０１と、Ｍ倍拡大部１０４と、ハイパスフィルタ部１０６と、パッチ抽出部１０８と、加算部１０９とを備える。
Ｎ倍拡大部１０１は、入力画像１２１をＮ（Ｎは１より大きい）倍に拡大したＮ倍画像１２２を生成する。
Ｍ倍拡大部１０４は、入力画像１２１をＭ（Ｍは１より大きい）倍に拡大したＭ倍画像１２５を生成する。ここで、Ｍは、Ｎより小さい。
ハイパスフィルタ部１０６は、Ｍ倍画像１２５の高周波成分をＭ倍高周波画像１２８として抽出する。
パッチ抽出部１０８は、Ｍ倍高周波画像１２８の一部である、予め定められた大きさの推定パッチ１２９をＭ倍高周波画像１２８から抽出する。例えば、パッチ抽出部１０８は、Ｎ倍画像１２２中の処理対象のブロック（以下、対象ブロック）と類似度が高いＭ倍画像１２５領域を探索し、Ｍ倍高周波画像１２８の探索結果に相当する領域のデータを推定パッチ１２９として抽出する。ここで、対象ブロックと推定パッチ１２９との大きさは等しい。
加算部１０９は、Ｎ倍画像１２２中の対象ブロックと、推定パッチ１２９とを加算することにより出力画像１３１を生成する。
以上より、本発明の実施の形態１に係る超解像処理装置１００は、入力画像１２１中の処理対象のブロック（以下、対象ブロック）の超解像処理を行う際、入力画像１２１をＭ倍（Ｍ＜Ｎ）に拡大して生成したＭ倍画像１２５の中から推定パッチ１２９を探索し、得られた推定パッチ１２９をＮ倍画像１２２に加算する。
これにより、本発明の実施の形態１に係る超解像処理装置１００は、Ｎ倍画像１２２よりも細かい高精細なテクスチャ表現を、当該Ｎ倍画像１２２に付加できる。よって、超解像処理装置１００は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。
（実施の形態２）
本発明の実施の形態２では、実施の形態１に係る超解像処理装置１００の変形例について説明する。なお、以降の実施の形態では、既に説明した実施の形態と同様の要素に関しては説明を省略し、相違点を主に説明する。また、各実施の形態において同様の要素には同一の符号を付している。
図２を用いて、本発明の実施の形態２に係る超解像処理装置２００について説明する。
図２に示す超解像処理装置２００は、低解像度な入力画像１２１の解像度をＮ倍に向上させた高解像度な出力画像１３１を生成する。また、超解像処理装置２００は、入力画像中の対象ブロックに超解像処理を行う際、対象ブロックの周辺領域をＭ倍（Ｍ＜Ｎ）に拡大して生成した周辺Ｍ倍画像２２５の中から推定パッチ１２９を探索し、得られた推定パッチ１２９をＮ倍画像１２２に加算することにより高解像度な出力画像１３１を生成する。
＜超解像処理装置２００の構成と動作＞
超解像処理装置２００は、入力画像１２１からＮ倍画像１２２を生成するＮ倍拡大部１０１と、Ｎ倍画像１２２から入力特徴量２２３を抽出する第１特徴量抽出部２０２と、入力画像１２１から周辺画像２２４を取得する周辺画像取得部２０３と、周辺画像２２４から周辺Ｍ倍画像２２５を生成するＭ倍拡大部２０４と、周辺Ｍ倍画像２２５から周辺低周波画像２２６を生成するローパスフィルタ部２０５と、周辺低周波画像２２６から周辺特徴量２２７を抽出する第２特徴量抽出部２０７と、周辺Ｍ倍画像２２５から周辺高周波画像２２８を生成するハイパスフィルタ部２０６と、入力特徴量２２３と周辺特徴量２２７と周辺高周波画像２２８とに応じて推定パッチ１２９を出力するパッチ抽出部２０８と、Ｎ倍画像１２２と推定パッチ１２９とを用いて高解像度の出力画像１３１を生成する加算部１０９とを備えている。
Ｎ倍拡大部１０１は、超解像処理の目標解像度の倍率（拡大率）をＮとして、入力画像１２１を水平及び垂直方向にそれぞれＮ倍に単純拡大することにより、Ｎ倍画像１２２を生成する。このＮ倍拡大部１０１は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて入力画像１２１を拡大する。このＮ倍画像１２２は、ナイキスト周波数のＮ分の１の周波数を超える有意な高周波成分を含んでおらず、精細感のないぼけた画像である。
第１特徴量抽出部２０２は、Ｎ倍画像１２２中の対象ブロックの特徴量である入力特徴量２２３を抽出する。具体的には、第１特徴量抽出部２０２は、線形フィルタ操作などを用いてＮ倍画像１２２の周波数帯域ごとの重み付けを行うことにより、パッチ抽出部２０８での探索に適した特徴量を生成する。そして、第１特徴量抽出部２０２は、生成した特徴量を入力特徴量２２３として出力する。ここで周波数帯域ごとの重み付けとは、例えば、低域を通過させる線形ローパスフィルタにより低周波に重みを大きく、高周波に重みを小さくすることである。なお、第１特徴量抽出部２０２は、重み付けを一切行わず、Ｎ倍画像１２２をそのまま入力特徴量２２３として出力してもよい。
周辺画像取得部２０３は、入力画像１２１の対象ブロック位置の周辺における一定範囲の領域の画像を、当該入力画像１２１の中から抜き出す。そして、周辺画像取得部２０３は、抜き出した画像を周辺画像２２４として出力する。なお、前記対象ブロック位置の周辺における一定範囲の領域は、対象ブロック位置を含む領域であってもよいし、対象ブロックを含まない領域であってもよい。
Ｍ倍拡大部２０４は、周辺画像２２４を、水平及び垂直方向にそれぞれＭ倍に単純拡大することにより、周辺Ｍ倍画像２２５を生成する。このＭ倍拡大部２０４は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて、周辺画像２２４を拡大する。ここで、Ｍの値は、Ｍ＜Ｎを満たす実数となるよう設定する。なお、Ｍ倍拡大部２０４が用いる画素補間手法として、失った高周波成分を復元するような超解像手法を適用してもよい。例えば、超解像手法として従来手法で示される超解像手法などを適用できる。これにより、最終的に出力される出力画像１３１において、より高周波成分を含んだ高精細なテクスチャ画像を生成できる。
ローパスフィルタ部２０５は、線形フィルタ操作などを用いて周辺Ｍ倍画像２２５の低周波数成分を周辺低周波画像２２６として抽出する。このローパスフィルタ部２０５は、従来技術におけるローパスフィルタ部９５１と同様の役割を担っている。従来技術においては、入力画像１２１が生成される際と同様の劣化特性を持って劣化した多数の事例を保存した学習データベースの中から最も精度良く近似している学習画像パッチを探索する必要があった。しかしながら、本発明の実施の形態２に係る超解像処理装置２００では、少数の周辺画像パッチの中から、テクスチャ特徴が大きく逸脱しない画像パッチを選択すればよい。したがって、当該超解像処理装置２００では、従来技術と異なり、入力画像１２１が、真の高解像度画像からどのような劣化特性を経て生成されたかを正確にシミュレートする必要はない。つまり、入力画像１２１の劣化特性に関係なくフィルタ特性を一意に固定できる。なお、従来技術と同様にして、ローパスフィルタ部２０５の後段に、１／Ｎ縮小部９５２及びＮ倍拡大部９５３と等価な処理部を設けるなどしてもよい。
第２特徴量抽出部２０７は、周辺Ｍ倍画像２２５中の、予め定められた大きさの複数のパッチの各々の特徴量である複数の第１周辺特徴量２２７を抽出する。具体的には、第２特徴量抽出部２０７は、第１特徴量抽出部２０２と等価な処理によって、周辺低周波画像２２６から特徴量を抽出する。そして、第２特徴量抽出部２０７は、その結果を固定ブロック単位で切り出すことにより、複数の周辺特徴量２２７を生成する。なお、第２特徴量抽出部２０７は、重み付けを一切行わず、周辺低周波画像２２６をそのまま固定ブロック単位で切り出すことにより、複数の周辺特徴量を生成してもよい。また、第２特徴量抽出部２０７とローパスフィルタ部２０５との処理を統合し、単一の線形フィルタ処理を用いて当該２つの処理部の処理を実現してもよい。
ハイパスフィルタ部２０６は、パッチ抽出部２０８により決定されたブロック位置の周辺Ｍ倍画像２２５の高周波数成分を、線形フィルタ操作などを用いて抽出し、その抽出結果を周辺高周波画像２２８として出力する。
パッチ抽出部２０８は、入力特徴量２２３に対してブロック単位で次の処理を行う。パッチ抽出部２０８は、複数の周辺特徴量２２７の中から、入力特徴量２２３に最も類似した周辺特徴量２２７を探索する。ここで、パッチ抽出部２０８は、両特徴量間の距離を隣接する画素間の差分絶対値和又は差分自乗和などで定義し、その距離が小さければ類似度が大きいと判断する。探索された、最も類似した周辺特徴量２２７が決定されると、パッチ抽出部２０８は、決定された周辺特徴量２２７のブロック位置に対応する位置のブロックの画像を周辺高周波画像２２８から切り出し、切り出した画像を推定パッチ１２９として出力する。
なお、パッチ抽出部２０８は、最も類似した周辺特徴量２２７を１つ決定する代わりに、入力特徴量２２３と類似している（例えば、上記距離が予め定められた閾値以下である）複数の周辺特徴量２２７を決定し、それら複数の周辺特徴量２２７を平均化、又は、類似度に応じて加重平均をとった結果を、推定パッチ１２９として出力してもよい。加重平均の場合は、上記距離が小さいパッチほど重みを大きく設定する。さらには、パッチ抽出部２０８は、最も類似している（すなわち距離が最も小さい）上位Ｂ候補（Ｂは１以上の整数）の周辺特徴量２２７を決定し、同様に、決定した複数の周辺特徴量２２７を平均化、又は、類似度に応じて加重平均をとった結果を、推定パッチ１２９として出力してもよい。なお、複数のパッチの統合方法は、平均又は加重平均以外の任意の方法であってもかまわない。
加算部１０９は、Ｎ倍画像１２２の対象ブロック位置のパッチと、推定パッチ１２９とを画素単位で加算し、加算結果を出力画像１３１として出力する。
なお、Ｎ倍拡大部１０１及びＭ倍拡大部２０４において、水平方向と垂直方向とでそれぞれ個別に倍率を設定してもよい。ここでＮ倍拡大部１０１の倍率が水平方向でＮＨ倍、垂直方向でＮＶ倍であり、Ｍ倍拡大部２０４の倍率が水平方向でＭＨ倍、垂直方向でＭＶ倍である場合、ＭＨ＜ＮＨかつＭＶ＜ＮＶとなるようにＭＨ及びＭＶの値が設定される。
なお、超解像処理装置２００において、ローパスフィルタ部２０５及び第２特徴量抽出部２０７を用いず、パッチ抽出部２０８が、その他の任意の方法で周辺高周波画像２２８から切り出した１つ、又は、複数のパッチを統合して推定パッチ１２９として出力してもかまわない。
＜超解像処理装置２００の動作例＞
超解像処理装置２００の具体的な動作例を図３に示す。図３は、入力画像１２１が木の葉のテクスチャを含んだ画像である場合の例である。超解像処理装置２００は、全体を通して、入力画像１２１をあるサイズのブロックに分けて処理をする。なお、処理単位は固定サイズのブロックに限らず、画像の局所特徴に適応した可変ブロックであってもかまわない。さらに、処理単位は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。
入力画像１２１をＮ倍拡大したＮ倍画像１２２は、木の葉のテクスチャ粒子もＮ倍の大きな粒子のみになり、精細感の無い映像となってしまう。これは、本来は細かい粒子のテクスチャが含まれていたとしても、入力画像１２１においては解像度が低いため表現されずに潰れていたことが原因と考えられる。図３に示すＮ倍画像１２２において点線状矩形で示した対象ブロックの領域は、テクスチャ成分が少ないが、この領域においても、本来は細かいテクスチャ成分が存在していたと推定されるべきである。
超解像処理装置２００は、対象ブロックに細かいテクスチャを付加するために、以下に示す処理を実施する。
まず、Ｍ倍拡大部２０４は、周辺画像取得部２０３により取得された周辺画像２２４をＭ倍拡大することにより周辺Ｍ倍画像２２５を生成する。ここで、ＭはＭ＜Ｎを満たす値である。つまり、周辺Ｍ倍画像２２５に含まれるテクスチャの粒子は、Ｎ倍画像１２２に含まれるテクスチャ粒子未満の大きさである。
次に、パッチ抽出部２０８は、この周辺Ｍ倍画像２２５の中から適切なテクスチャ領域を探索し、推定パッチ１２９を生成する。なお、パッチ形状は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。ここで推定パッチ１２９には、Ｎ倍画像１２２の対象ブロックに含まれない細かいテクスチャ成分が含まれている。
次に、加算部１０９は、この推定パッチ１２９をＮ倍画像１２２に加算することにより、精細感を向上させた出力画像１３１を生成する。
さらには、一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。よって、実施の形態２の動作が示すように、画像に、自己のテクスチャと相似関係にある細かい粒子のテクスチャが付加された場合、例えそれが真の高解像度画像に含まれるテクスチャと異なっていたとしても、視覚的に違和感なく自然で高精細な画像を生成できる。
＜超解像処理方法＞
図４に、超解像処理装置２００における超解像処理方法を説明するフローチャートを示す。
まず、Ｎ倍拡大部１０１は、入力画像１２１を、バイキュービック法又はスプライン補間法などの画素補間手法を用いてＮ倍に拡大することにより、Ｎ倍画像１２２を生成する（ステップＳ２０１）。
次に、超解像処理装置２００は、入力画像１２１又はＮ倍画像１２２中の処理ブロックを選択する（ステップＳ２０２）。
次に、第１特徴量抽出部２０２は、Ｎ倍画像１２２の対象ブロックの画像に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行うなどにより、当該対象ブロックの入力特徴量２２３を抽出する（ステップＳ２０３）。なお、第１特徴量抽出部２０２は、重み付けを一切行わず、Ｎ倍画像１２２をそのまま入力特徴量２２３としてもよい。つまり、入力特徴量２２３は、Ｎ倍画像１２２の対象ブロックの画像の画素値そのものであってもよいし、当該画素値に所定の処理（例えば、フィルタ処理）を施した情報であってもよい。
一方で、周辺画像取得部２０３は、入力画像１２１における、対象ブロックの周辺の領域の画像を切り出すことにより周辺画像２２４を生成する（ステップＳ２０４）。
図５は、周辺領域１５１の一例を示す図である。図５に示すように、周辺画像取得部２０３は、対象ブロック１５０の周辺の周辺領域１５１を周辺画像２２４として取得する。例えば、周辺領域１５１は、対象ブロック１５０と、対象ブロック１５０から上下左右方向に予め定められた画素数の範囲とを含む矩形の領域である。なお、周辺領域１５１は、対象ブロック１５０を中心とする領域でなくてもよい。また、周辺領域１５１は正方形であっても長方形であってもよい。さらに、周辺領域１５１は固定サイズに限らず、画像の局所特徴に適応した可変サイズであってもかまわない。さらに、周辺領域１５１は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。
次に、Ｍ倍拡大部２０４は、切り出した周辺画像２２４をバイキュービック法又はスプライン補間法などの画素補間手法を用いてＭ倍に拡大することにより周辺Ｍ倍画像２２５を生成する（ステップＳ２０５）。
次に、ローパスフィルタ部２０５は、周辺Ｍ倍画像２２５に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行う（ローパスフィルタリング）ことにより、周辺低周波画像２２６を生成する。そして、第２特徴量抽出部２０７は、周辺低周波画像２２６の特徴量を抽出する。そして、第２特徴量抽出部２０７は、これをブロックごとに抜き出して複数の周辺特徴量２２７を生成する（ステップＳ２０６）。なお、第２特徴量抽出部２０７は、重み付けを一切行わず、周辺Ｍ倍画像そのものから複数の周辺特徴量２２７を抜き出してもよい。つまり、周辺特徴量２２７は、周辺Ｍ倍画像２２５の、あるパッチの画素値そのものであってもよいし、当該画素値に所定の処理（例えば、フィルタ処理）を施した情報であってもよい。
また、図６は、第２特徴量抽出部２０７による処理の一例を示す図である。図６に示すように、第２特徴量抽出部２０７は、周辺低周波画像２２６をブロック１５２ごとに抜き出した複数の周辺特徴量２２７を生成する。また、図６に示すように、隣接する２つの周辺特徴量２２７は、互いに重複する領域を有するほうが好ましい。
次に、パッチ抽出部２０８は、複数の周辺特徴量２２７の中から、入力特徴量２２３に近いものを探索する（ステップＳ２０７）。そして、ハイパスフィルタ部２０６は、探索した結果の周辺特徴量２２７の位置と同位置に対応する、周辺Ｍ倍画像２２５をハイパスフィルタリング処理することにより周辺高周波画像２２８を生成する。そして、パッチ抽出部２０８は、当該周辺高周波画像２２８を推定パッチ１２９として出力する（ステップＳ２０８）。
次に、加算部１０９は、生成された推定パッチ１２９を、Ｎ倍画像１２２の対象ブロック位置に加算する（ステップＳ２０９）。
全てのブロックに対して超解像処理が終わっていない場合（Ｓ２１０でＮｏ）、超解像処理装置２００は、次のブロックを対象ブロックとして選択し（Ｓ２０２）、選択した対象ブロックに対してステップＳ２０３以降の処理を行う。
また、図７は、第２特徴量抽出部２０７による処理の一例を示す図である。図７に示すように、超解像処理装置２００は、対象ブロック１５０を順次選択していく。また、図７に示すように、隣接する２つのブロックは、互いに重複する領域を有する。なお、隣接する２つのブロックは、重複する領域を有さなくてもよい。
なお、図４に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。
図８は、本発明の実施の形態１に係る超解像処理方法の変形例のフローチャートである。例えば、図８に示すように、超解像処理装置２００は、対象ブロックごとに周辺Ｍ倍画像２２５を生成するのではなく、予め入力画像１２１をＭ倍したＭ倍画像を生成しておき（Ｓ２０５Ａ）、ブロックごとに、当該Ｍ倍画像から周辺領域を切り出した周辺Ｍ倍画像２２５を生成してもよい（Ｓ２０４Ａ）。
また、図４及び図８に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。
例えば、図４に示すステップＳ２０１及びＳ２０３の一連の処理と、ステップＳ２０４〜Ｓ２０６の一連の処理との順序は入れ替わってもよいし、一部の処理が並列に行なわれてもよい。
＜実施の形態２の効果＞
一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。したがって、自己のテクスチャと相似関係にある、より細かい粒子のテクスチャを入力画像自身から抽出し、これを画像に付加することにより、視覚的に違和感なく自然で高精細な画像を生成できる。
（実施の形態３）
本発明の実施の形態３では上述した実施の形態２に係る超解像処理装置２００の変形例について説明する。
図９を用いて、本発明の実施の形態３に係る超解像処理装置３００について説明する。
図９に示す超解像処理装置３００は、入力画像１２１中の対象ブロックの超解像処理を行う際、入力画像１２１に応じて自己相似比を推定する。そして、超解像処理装置３００は、推定した自己相似比の値１／Ｋに基づいて、対象ブロックの周辺領域をＭ倍（Ｍ＝Ｎ／Ｋ）に拡大した周辺Ｍ倍画像２２５を生成する。そして、超解像処理装置３００は、生成した周辺Ｍ倍画像２２５の中から推定パッチ１２９を探索し、得られた推定パッチ１２９をＮ倍画像１２２に加算することにより高解像度な出力画像１３１を生成する。
＜超解像処理装置３００の構成と動作＞
超解像処理装置３００は、上述した超解像処理装置２００の構成に加え、さらに、Ｎ倍画像１２２から自己相似比情報３３０を生成する自己相似比推定部３１０を備える。また、超解像処理装置３００は、周辺画像取得部２０３及びＭ倍拡大部２０４の代わりに、Ｎ倍画像１２２から周辺Ｎ倍画像３２４を取得する周辺画像取得部３０３と、周辺Ｎ倍画像３２４と自己相似比情報３３０とに応じて、周辺Ｍ倍画像２２５を生成する１／Ｋ縮小部３０４とを備える。
なお、Ｎ倍拡大部１０１、第１特徴量抽出部２０２、ローパスフィルタ部２０５、ハイパスフィルタ部２０６、第２特徴量抽出部２０７、パッチ抽出部２０８、及び加算部１０９は、実施の形態２において説明したものと同等であるため、説明を省略する。
自己相似比推定部３１０は、Ｎ倍画像１２２における自己相似比を推定し、推定結果である自己相似比の値を自己相似比情報３３０として出力する。ここで自己相似比を、細かいテクスチャ画像の場合は大きく、粗いテクスチャ画像の場合は小さく設定して超解像処理装置３００を動作させることで、主観的に良好な出力画像１３１を得られる傾向にあることが分かっている。
また、テクスチャの粒子が細かい場合は、自己相関関数が短い周期で値が増減し、テクスチャの粒子が粗い場合は、自己相関関数が長い周期で値が増減する傾向にある。自己相似比推定部３１０は、Ｎ倍画像１２２の自己相関関数ＡＣＦ（ｘ）を計算する。そして、自己相似比推定部３１０は、ＡＣＦが極大値を持つｘ＞０である最小のｘをＸとして、Ｘの値に対して単調減少する関数を用いて自己相似比を推定し、その推定値を自己相似比情報３３０として出力する。
ここで、自己相関関数とは、画素位置に対する画素値を示す関数である。例えば、Ｎ倍画像１２２の２次元画像に対する自己相関関数は、ある１次元軸を決めて当該１次元軸に対して計算した自己相関関数であってもよい。また、自己相似比推定部３１０は、水平方向を０度として、０度、４５度、９０度、など複数の１次元軸に対して個別に自己相関関数を計算し、計算した複数の関数を、区間平均化などを用いて統合してもよい。また、自己相似比推定部３１０は、２次元のままの２次元自己相関関数ＡＣＦ（ｘ，ｙ）を用いて自己相似比を計算してもよい。自己相似比推定部３１０は、２次元自己関数を用いる場合は、当該２次元自己関数を、ｚ２＝ｘ２＋ｙ２定義されるｚ（ｚ＞０）を横軸とし、縦軸をＡＣＦ値とした１次元関数に変更し、当該１次元関数を用いて分析を行なってもよい。
２次元自己関数を用いた場合の例を、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａは、Ｎ倍画像１２２の自己相関関数ＡＣＦ（ｘ）を示す図である。なお、図１０Ａに示す複数の矩形の各々は、ＡＣＦの一つのサンプルを示す。また、図１０Ａでは、サンプルの値は省略している。ＡＣＦ図１０Ｂは、図１０Ａに示す関数を、ｚ２＝ｘ２＋ｙ２で定義されるｚ（ｚ＞０）を横軸とし、自己相関ＡＣＦ（ｚ）を縦軸とした自己相関値のサンプルを点でプロットした図である。このプロットした点を元に、ｚ軸の小区間ごとの平均値を計算して線でつなげたものが図１０Ｂに示す曲線（実線）である。この曲線の極大値間の距離が、ｐ１ａ、ｐ２ａ、ｐ１ｂ、ｐ２ｂである。
自己相似比推定部３１０は、これらの距離を元に、ｐ＝（ｐ１ａ＋ｐ１ｂ）／２、又はｐ＝（ｐ１ａ＋ｐ２ａ＋ｐ１ｂ＋ｐ２ｂ）／４、などの演算を行うことで推定周期ｐを求める。そして、自己相似比推定部３１０は、このｐの値に対して単調減少する関数ＦＰを用いて、１／ＦＰ（ｐ）を自己相似比として推定をする。なお、自己相似比推定部３１０は、極大値を検出する以外の方法で関数の周期の長さを計測してもよい。
このように、自己相似比推定部３１０は、入力画像１２１又はＮ倍画像１２２の自己相関関数の値の変動周期を算出し、当該変動周期が小さいほど大きなＫの値を決定し、自己相似比が１／Ｋであると推定する。
また、自己相似比推定部３１０は、より簡易的に、細かいテクスチャの場合は画素の振幅が小さく、粗いテクスチャの場合は画素の振幅が大きい傾向にあることを利用して、Ｎ倍画像１２２における画素振幅量Ｅを検出する。そして、自己相似比推定部３１０は、Ｅの値に単調増加する関数によって自己相似比を推定して、その推定値を自己相似比情報３３０として出力してもよい。このとき、画素振幅量は、対象ブロック付近の領域の各画素の隣接画素間の差分絶対値総和、又は、高周波成分のエネルギー値などを用いて導出できる。この高周波成分のエネルギー値は、ハイパスフィルタリングした結果の画像の画素値の絶対値和又は自乗和などで算出できる。
つまり、自己相似比推定部３１０は、入力画像１２１又はＮ倍画像１２２の高周波成分のエネルギーを算出し、当該エネルギーが小さいほど大きなＫの値を決定し、自己相似比が１／Ｋであると推定してもよい。
また、自己相似比推定部３１０は、入力画像１２１又はＮ倍画像１２２の隣接画素間の差分絶対値和を算出し、当該差分絶対値和が小さいほど大きなＫの値を決定し、自己相似比が１／Ｋであると推定してもよい。
なお、それ以外の方法によって、Ｎ倍画像１２２に基づいて自己相似比情報３３０を算出してもよい。また、自己相似比推定部３１０は、Ｎ倍画像１２２の代わりに、入力画像１２１又は周辺Ｎ倍画像３２４に基づいて自己相似比情報３３０を算出してもよい。
１／Ｋ縮小部３０４は、自己相似比情報３３０により自己相似比がＫであることが示されるとき、バイキュービック法などの手法を用いて周辺Ｎ倍画像３２４を１／Ｋ倍に縮小し、周辺Ｍ倍画像２２５を出力する。つまり、周辺Ｍ倍拡大画像は、Ｍ＝Ｎ／Ｋとした場合の、入力画像１２１における対象ブロックの周辺領域をＭ倍した画像となっている。
なお、Ｎ倍拡大部１０１は、水平方向及び垂直方向に対してそれぞれ個別に倍率を設定してもよい。
＜超解像処理装置３００の動作例＞
超解像処理装置３００の具体的な動作例を図１１に示す。図１１は、入力画像１２１が木の葉のテクスチャを含んだ画像である場合の例である。超解像処理装置３００は、全体を通して、入力画像１２１をあるサイズのブロックに分けて処理をする。なお、処理単位は固定サイズのブロックに限らず、画像の局所特徴に適応した可変ブロックであってもかまわない。さらに、処理単位は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。
入力画像１２１をＮ倍拡大したＮ倍画像１２２は、木の葉のテクスチャ粒子もＮ倍の大きな粒子のみになり、精細感の無い画像となってしまう。これは、本来は細かい粒子のテクスチャが含まれていたとしても、入力画像１２１においては解像度が低いため表現されずに潰れていたことが原因と考えられる。図１１に示すＮ倍画像１２２において点線状矩形で示した対象ブロックの領域は、テクスチャ成分が少ないが、この領域においても、本来は細かいテクスチャ成分が存在していたと推定されるべきである。
超解像処理装置３００は、対象ブロックに細かいテクスチャを付加するために、以下に示す処理を実施する。
まず、１／Ｋ縮小部３０４は、周辺画像取得部３０３により取得された周辺Ｎ倍画像３２４を１／Ｋ倍縮小することにより周辺Ｍ倍画像２２５を生成する。つまり、周辺Ｍ倍画像２２５に含まれるテクスチャの粒子は、Ｎ倍画像１２２に含まれるテクスチャ粒子未満の大きさである。
次に、パッチ抽出部２０８は、この周辺Ｍ倍画像２２５の中から適切なテクスチャ領域を探索し、推定パッチ１２９を生成する。推定パッチ１２９には、Ｎ倍画像１２２の対象ブロックに含まれない細かいテクスチャ成分が含まれている。
次に、加算部１０９は、この推定パッチ１２９をＮ倍画像１２２に加算することにより、精細感を向上させた出力画像１３１を生成する。
さらには、一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。よって、実施の形態３の動作が示すように、画像に、自己のテクスチャと相似関係にある細かい粒子のテクスチャが付加された場合、例えそれが真の高解像度画像に含まれるテクスチャと異なっていたとしても、視覚的に違和感なく自然で高精細な画像を生成できる。
＜超解像処理方法＞
図１２に、超解像処理装置３００における超解像処理方法を説明するフローチャートを示す。
なお、ステップＳ２０１〜Ｓ２０３の処理は、図４に示す処理と同様なので説明は省略する。
ステップＳ２０３の処理の後、自己相似比推定部３１０は、Ｎ倍画像１２２の対象ブロックにおける自己相似比を、上述した方法により推定する（ステップＳ３１１）。
次に、周辺画像取得部３０３は、Ｎ倍画像１２２における、対象ブロックの周辺の領域の画像を切り出すことにより周辺Ｎ倍画像３２４を生成する（ステップＳ３０４）。
次に、推定した自己相似比が１／Ｋである場合、１／Ｋ縮小部３０４は、ステップＳ３０４で切り出した周辺Ｎ倍画像３２４を、バイキュービック法又はスプライン補間法などの画素補間手法を用いて１／Ｋ倍に縮小することにより周辺Ｍ倍画像２２５を生成する（ステップＳ３０５）。ここで、周辺Ｍ倍画像２２５は、入力画像１２１がＭ倍（Ｍ＝Ｎ／Ｋ）に拡大された画像である。
なお、ステップＳ３１１において、自己相似比推定部３１０は、Ｎ倍画像１２２の代わりに、入力画像１２１又は周辺Ｎ倍画像３２４から自己相似比を推定してもよい。
また、ステップＳ２０６〜Ｓ２１１の処理は、図４に示す処理と同様なので説明は省略する。
なお、図１２に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。
例えば、上述した図８と同様に、超解像処理装置３００は、対象ブロックごとに周辺Ｍ倍画像２２５を生成するのではなく、予め入力画像１２１をＭ倍したＭ倍画像を生成しておき、ブロックごとに、当該Ｍ倍画像から周辺領域を切り出した周辺Ｍ倍画像２２５を生成してもよい。
また、図１２に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。
また、上記説明では、超解像処理装置３００は、Ｎ倍画像１２２を１／Ｋ倍に縮小しているが、実施の形態２と同様に、入力画像１２１をＭ倍（Ｍ＝Ｎ／Ｋ）に拡大してもよい図１３は、この場合の超解像処理装置３００Ａの構成を示すブロック図である。この超解像処理装置３００Ａは、図９に示す超解像処理装置３００の構成に対して、周辺画像取得部３０３と、１／Ｋ縮小部３０４の代わりに、周辺画像取得部２０３と、Ｍ倍拡大部３０４Ａとを備える。Ｍ倍拡大部３０４Ａは、自己相似比が１／Ｋであると指示された場合に、周辺画像２２４（入力画像１２１）をＭ＝Ｎ／Ｋ倍に拡大した周辺Ｍ倍画像２２５（Ｍ倍画像）を生成する。
＜実施の形態３の効果＞
本発明の実施の形態３に係る超解像処理装置３００は、入力画像１２１に応じて推定した自己相似比で縮小した画像の高周波成分をＮ倍画像１２２に付加する。これにより、超解像処理装置３００は、実施の形態２に係る超解像処理装置２００より、さらに自然で高精細な高解像度画像を生成できる。
（実施の形態４）
本発明の実施の形態４では上述した実施の形態３に係る超解像処理装置３００の変形例について説明する。
図１４を用いて、本発明の実施の形態４に係る超解像処理装置４００について説明する。
図１４に示す超解像処理装置４００は、実施の形態３と異なり、入力画像に拡大処理を施さない。つまり、超解像処理装置４００に入力される入力画像４２１は、既に拡大処理を施された画像、又は撮影時のボケ或いは画像圧縮などにより画像中の高周波成分が失われた画像である。すなわち、入力画像４２１と出力画像１３１とは同じ画素数であるが、出力画像１３１には、入力画像４２１において失われている高周波成分が付加されている。なお、このように、画像の解像度（画素数）を変化させず、画像に高周波成分を付加する処理も超解像処理と呼ぶ。それ以外の特徴は超解像処理装置３００と同じである。
＜超解像処理装置４００の構成と動作＞
超解像処理装置４００は、入力画像４２１に、高周波成分を付加する超解像処理を行うことにより、出力画像１３１を生成する。この超解像処理装置４００は、図９に示す超解像処理装置３００に対して、Ｎ倍拡大部１０１を備えない点が異なる。また、加算部１０９、周辺画像取得部３０３、自己相似比推定部３１０及び第１特徴量抽出部２０２には、Ｎ倍画像１２２の代わりに入力画像４２１が入力される。
また、周辺画像取得部３０３は、周辺画像取得部３０３は、入力画像４２１における、対象ブロックの周辺の領域の画像を切り出すことにより周辺画像４２４を生成する。１／Ｋ縮小部３０４は、周辺画像４２４を、バイキュービック法又はスプライン補間法などの画素補間手法を用いて１／Ｋ倍に縮小することにより周辺１／Ｋ画像４２５を生成する。
なお、周辺画像４２４及び周辺１／Ｋ画像４２５は、Ｎ倍画像１２２を入力画像４２１に置き換えた場合の周辺Ｎ倍画像３２４及び周辺Ｍ倍画像２２５と等価である。
また、上記の点以外は、実施の形態３において説明したものと同等であるため、説明を省略する。
＜超解像処理装置４００の動作例＞
具体的な動作例は、図１１を用いた実施の形態３における説明に対し、Ｎ倍拡大処理を省略し、Ｎ倍画像１２２を入力画像４２１で置き換え、周辺Ｎ倍画像３２４を周辺画像４２４に置き換え、周辺Ｍ倍画像２２５を周辺１／Ｋ画像４２５で置き換えただけであるため、説明を省略する。
＜超解像処理方法＞
超解像処理装置４００における超解像処理方法は、実施の形態３の超解像処理装置３００における超解像処理方法を説明するフローチャートである図１２において、ステップＳ２０１を省き、実施の形態３の超解像処理方法の説明におけるＮ倍画像１２２を入力画像４２１で置き換えたものと同等である。
＜実施の形態４の効果＞
本発明の実施の形態４に係る超解像処理装置４００は、既に拡大処理を施された後の画像、及び、画素数は十分でありながら撮影時のボケ又は画像圧縮処理などにより十分に高周波成分が含まれていない画像に対して、実施の形態３の効果と同等に、より高精細な画像を生成できる。
なお、ここでは、実施の形態３に係る超解像処理装置３００の構成を元に、Ｎ倍拡大処理を行わない構成を説明したが、実施の形態１又は実施の形態２で説明した構成にたいして、同様の変形例を適用してもよい。
（実施の形態５）
本発明の実施の形態５では上述した実施の形態２に係る超解像処理装置２００の変形例について説明する。
図１５を用いて、本発明の実施の形態５に係る超解像処理装置５００について説明する。
図１５に示す超解像処理装置５００は、入力画像１２１の解像度をＮ倍に向上させた高解像度な出力画像１３１を生成する超解像処理装置である。この超解像処理装置５００は、入力画像１２１中の対象ブロックの超解像処理を行う際、入力画像１２１中の対象ブロックの周辺領域を、倍率の異なる複数のＭ１倍、Ｍ２倍、・・・、ＭＸ倍に拡大した周辺拡大画像の中から推定パッチ１２９を探索する。そして、超解像処理装置５００は、得られた推定パッチ１２９をＮ倍画像１２２に加算することにより高解像度な出力画像１３１を生成する。
＜超解像処理装置５００の構成と動作＞
超解像処理装置５００は、上述した超解像処理装置２００に対して、Ｍ倍拡大部２０４、ローパスフィルタ部２０５、ハイパスフィルタ部２０６及び第２特徴量抽出部２０７の代わりに、複数のＭｘ倍処理部５３０ｘ（Ｍ１倍処理部５３０１、Ｍ２倍処理部５３０２、・・・）を備える。また、パッチ抽出部２０８の代わりにパッチ抽出部５０８を備える。また、ここでは、Ｍｘ倍処理部５３０ｘの数は、Ｘ個（Ｘ≧２）とする。
複数のＭｘ倍処理部５３０ｘの各々は、Ｍｘ倍拡大部２０４ｘ（Ｍ１倍拡大部２０４１、Ｍ２倍拡大部２０４２、・・・）と、ローパスフィルタ部２０５と、ハイパスフィルタ部２０６と、第２特徴量抽出部２０７とを備える。
Ｎ倍拡大部１０１、第１特徴量抽出部２０２、周辺画像取得部２０３、ローパスフィルタ部２０５、ハイパスフィルタ部２０６、第２特徴量抽出部２０７、及び加算部１０９は、実施の形態２において説明したものと同等であるため、説明を省略する。
ここで、複数のＭｘ倍拡大部２０４ｘの倍率Ｍｘは、Ｍｘ＜２の範囲で異なる倍率である。
つまり、Ｍｘ倍拡大部２０４ｘは、周辺画像２２４をＭｘ倍に拡大することにより、周辺Ｍｘ倍画像２２５ｘ（周辺Ｍ１倍画像２２５１、周辺Ｍ２倍画像２２５２、・・・）を生成する。ローパスフィルタ部２０５は、線形フィルタ操作などを用いて周辺Ｍｘ倍画像２２５ｘの低周波数成分を周辺低周波画像２２６ｘ（２２６１、２２６２、・・・）として抽出する。第２特徴量抽出部２０７は、周辺低周波画像２２６ｘから特徴量を抽出し、その結果を固定ブロック単位で切り出すことにより、複数の周辺特徴量２２７ｘ（２２７１、２２７２、・・・）を生成する。また、ハイパスフィルタ部２０６は、パッチ抽出部５０８により決定された、ブロック位置の周辺Ｍｘ倍画像２２５ｘの高周波数成分を、線形フィルタ操作などを用いて抽出し、その抽出結果を周辺高周波画像２２８ｘ（２２８１、２２８２、・・・）として出力する。
パッチ抽出部５０８は、ブロック単位で次の処理を行う。ｘ＝１，２，・・・，Ｘとして、複数の周辺特徴量２２７ｘの中から最も類似した周辺特徴量２２７ｘを探索する。ここで、周辺特徴量２２７ｘのパッチ数をＰＮｘとすると、パッチ総数ＰＮは、ＰＮ＝ＰＮ１＋ＰＮ２＋・・・＋ＰＮＸとなる。つまり、パッチ抽出部５０８は、ＰＮ個の周辺特徴量２２７ｘの中から入力特徴量２２３に最も類似したものを探索する。なお、探索方法は、上述した実施の形態２と同様の方法を用いることができる。そして、パッチ抽出部５０８は、探索された、最も類似した周辺特徴量２２７ｘが決定されると、決定された周辺特徴量２２７ｘのブロック位置に対応する位置のブロックを、決定された周辺特徴量２２７ｘの倍率ｘに対応する周辺高周波画像２２８ｘから切り出して、推定パッチ１２９として出力する。
＜超解像処理装置５００の動作例＞
基本的な動作例は、実施の形態２において図３を用いて説明した通りである。図３におけるＭ倍拡大処理がＭ１、Ｍ２、・・・、ＭＸ倍の複数の拡大処理に拡張され、複数の周辺Ｍ１倍画像２２５１、周辺Ｍ２倍画像２２５２、・・・、周辺ＭＸ倍画像２２５Ｘの中から探索が実施される点のみ異なる。
＜超解像処理方法＞
図１６に、超解像処理装置５００における超解像処理方法を説明するフローチャートを示す。
なお、ステップＳ２０１〜ステップＳ２０４の処理は、図４と同様であり、説明は省略する。
ステップＳ２０４の後、超解像処理装置５００は、倍率Ｍｘを選択する（ステップＳ５２１）。例えば、ここでは、倍率Ｍ１が選択されるとする。
次に、Ｍ１倍処理部５３０１のＭ１倍拡大部２０４１は、周辺画像２２４をバイキュービック法又はスプライン補間法などの画素補間手法を用いてＭ１倍に拡大することにより周辺Ｍ１倍画像２２５１を生成する（ステップＳ２０５）。
次に、Ｍ１倍処理部５３０１のローパスフィルタ部２０５は、周辺Ｍ１倍画像２２５１に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行う（ローパスフィルタリング）ことにより、周辺低周波画像２２６１を生成する。そして、Ｍ１倍処理部５３０１の第２特徴量抽出部２０７は、これをあるブロックごとに抜き出して複数の周辺特徴量２２７１を生成する（ステップＳ２０６）。なお、第２特徴量抽出部２０７は、重み付けを一切行わず、周辺Ｍ１倍画像２２５１そのものから複数の周辺特徴量２２７１を抜き出してもよい。
全ての倍率Ｍｘでの処理が完了していない場合（Ｓ５２２でＮｏ）、超解像処理装置５００は、次の、倍率Ｍｘ（例えば、Ｍ２）を選択し（ステップＳ５２１）、選択した倍率Ｍ２でステップＳ２０５以降の処理を行う。
つまり、Ｍ２倍処理部５３０２のＭ２倍拡大部２０４２は、周辺画像２２４をバイキュービック法又はスプライン補間法などの画素補間手法を用いてＭ２倍に拡大することにより周辺Ｍ２倍画像２２５２を生成する（ステップＳ２０５）。
次に、Ｍ２倍処理部５３０２のローパスフィルタ部２０５は、周辺Ｍ２倍画像２２５２に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行う（ローパスフィルタリング）ことにより、周辺低周波画像２２６２を生成する。そして、Ｍ２倍処理部５３０２の第２特徴量抽出部２０７は、これをあるブロックごとに抜き出して複数の周辺特徴量２２７２を生成する（ステップＳ２０６）。
このステップＳ５２１〜Ｓ２０６の処理が、全ての倍率Ｍｘに対して行われる。
全ての倍率Ｍｘでの処理が完了すると(Ｓ５２２でＹｅｓ)、複数のＭｘ倍の全ての倍率の各々に対応する複数の周辺特徴量Ｆ（ｘ，ｐｘ）が生成される。ここで、ｐｘ＝１、２、・・・、Ｐｘは、周辺Ｍｘ倍画像２２５ｘから抽出した各パッチのインデックスを示す。
次に、パッチ抽出部５０８は、複数の周辺特徴量Ｆ（ｘ，ｐｘ）の中から、入力特徴量２２３に近いものを探索する（ステップＳ５０７）。そして、探索した倍率のＭｘ倍処理部５３０ｘに含まれるハイパスフィルタ部２０６は、探索した結果のパッチ位置と同位置に対応する、周辺Ｍｘ倍画像２２５ｘをハイパスフィルタリング処理することにより周辺高周波画像２２８ｘを生成する。そして、パッチ抽出部５０８は、当該周辺高周波画像２２８ｘを推定パッチ１２９として出力する（ステップＳ５０８）。
なお、以降の処理は、上述した図４と同様であるため説明は省略する。
また、図１６に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。
例えば、上述した図８と同様に、超解像処理装置５００は、対象ブロックごとに周辺Ｍｘ倍画像２２５ｘを生成するのではなく、予め入力画像１２１をＭｘ倍したＭｘ倍画像を生成しておき、ブロックごとに、当該Ｍｘ倍画像から周辺領域を切り出した周辺Ｍｘ倍画像２２５ｘを生成してもよい。
また、図１６に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。
例えば、図１６に示すステップＳ２０１及びＳ２０３の一連の処理と、ステップＳ２０４〜Ｓ５２２の一連の処理との順序は入れ替わってもよいし、一部の処理が並列に行なわれてもよい。
また、図１６では、複数の倍率Ｍｘに対応する複数の周辺特徴量２２７ｘを時系列で算出する例を述べたが、こられの一部又は全てを並列に算出してもよい。
また、図１５では、超解像処理装置５００は、Ｘ個のＭｘ倍処理部５３０ｘを備えているが、超解像処理装置５００は、複数の倍率Ｍｘに対応する複数の周辺特徴量２２７ｘを時系列に算出する一つ又はＸ個より少ない数のＭｘ倍処理部５３０ｘを備えてもよい。
＜実施の形態５の効果＞
本発明の実施の形態５に係る超解像処理装置５００は、異なる倍率Ｍｘで拡大された周辺Ｍｘ倍画像２２５ｘから、複数の周辺特徴量２２７ｘを算出し、当該複数の周辺特徴量２２７ｘの中から、入力特徴量２２３に最も類似した特徴量を有するパッチを探索する。これにより、超解像処理装置５００は、実施の形態２に係る超解像処理装置２００に比べ、より自然で高精細な高解像度画像を生成できる。
なお、ここでは、実施の形態２に係る超解像処理装置２００の構成を元に、異なる倍率Ｍｘで拡大された周辺Ｍｘ倍画像２２５ｘから、推定パッチ１２９を探索する構成を説明したが、実施の形態１、実施の形態３又は実施の形態４で説明した構成にたいして、同様の変形例を適用してもよい。
（実施の形態６）
本発明の実施の形態６では、上述した実施の形態２に係る超解像処理装置２００の変形例について説明する。
本発明の実施の形態６に係る超解像処理装置は、実施の形態２に係る超解像処理装置２００の機能に加え、倍率Ｎに応じて、倍率Ｍを変更する機能を有する。なお、実施の形態６に係る超解像処理装置の構成は、図２に示す超解像処理装置２００と同様であるため説明は省略する。
図１７は、実施の形態６に係る超解像処理装置による倍率Ｍの決定処理のフローチャートである。
Ｍ倍拡大部２０４は、倍率Ｎが予め定められた閾値より大きい場合（Ｓ６０１でＹｅｓ）、倍率Ｍを第１の値に設定する（Ｓ６０２）。また、Ｍ倍拡大部２０４は、倍率Ｎが予め定められた閾値以下の場合（Ｓ６０１でＮｏ）、倍率Ｍを、上記第１の値より小さい第２の値に設定する（Ｓ６０３）。
なお、Ｍ倍拡大部２０４は、複数の閾値を設定しておき、倍率Ｎが大きければ大きいほど倍率Ｍが大きくなるように、倍率Ｍを設定してもよい。
また、倍率Ｎは、例えば、外部の機器から指定される。なお、当該超解像処理装置が、入力画像１２１の解像度と、当該超解像処理装置の後段に接続される表示デバイスの表示解像度とに応じて倍率Ｎを決定してもよい。
以上により、本発明の実施の形態６に係る超解像処理装置は、倍率Ｎに応じて倍率Ｍを変更できる。これにより、当該超解像処理装置は、より自然で高精細な高解像度画像を生成できる。
なお、ここでは、実施の形態２に係る超解像処理装置２００の構成を元に、倍率Ｎに応じて倍率Ｍを変更する構成を説明したが、実施の形態１、実施の形態３、実施の形態４又は実施の形態５で説明した構成にたいして、同様の変形例を適用してもよい。
（実施の形態７）
図１８を用いて、本発明の実施の形態７に係る超解像処理装置７００について説明する。
図１８に示す超解像処理装置７００は、低解像度な入力画像７２１に基づいてエッジ検出を行い、その検出結果に基づいて２種類の超解像方式により生成した高解像度画像を選択的に採用することを特徴とする。
＜超解像処理装置７００の構成と動作＞
超解像処理装置７００は、入力画像７２１からエッジ高解像度画像７２２を生成するエッジ超解像部７０１と、入力画像７２１からテクスチャ高解像度画像７２３を生成するテクスチャ超解像部７０２と、入力画像７２１からエッジ情報７２４を生成するエッジ検出部７０３と、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３とエッジ情報７２４とを用いて、高解像度な出力画像７３１を生成する画像統合部７０４とを備えている。
エッジ超解像部７０１は、例えば、背景技術で説明した超解像処理装置であり、超解像処理を行うことにより、入力画像７２１を高解像度化したエッジ高解像度画像７２２を生成する。ここでエッジ高解像度画像７２２は、細かいテクスチャ部分に関しては十分な精細感は得られないが、エッジ部分に関しては一定の効果が得られている。なお、エッジ超解像部７０１は、背景技術で説明した超解像処理装置ではなく、その他のあらゆる超解像方法を用いて超解像処理を行ってもよい。また、エッジ超解像部７０１は、単純に入力画像７２１をバイキュービック法、又はスプライン補間法などの補間により拡大することによりエッジ高解像度画像７２２を生成してもよい。この場合は、エッジ超解像部７０１は、高周波成分を強調するなどしてエッジを立たせることで、エッジ領域において先鋭な高解像度画像を生成できる。
テクスチャ超解像部７０２は、入力画像７２１に対して、実施の形態１〜６のいずれかで説明した超解像処理方法を用いて超解像処理を行うことによりテクスチャ高解像度画像７２３を生成する。ここで、テクスチャ高解像度画像７２３は、テクスチャ部分に関して精細感のある良好な高解像度画像が得られている。しかし、当該テクスチャ高解像度画像７２３は、エッジ領域においては、周辺の縮小されたエッジの高周波成分が張り付けられるなど、エラーを伴った画像となっている。
エッジ検出部７０３は、入力画像７２１のエッジを検出する。具体的には、エッジ検出部７０３は、入力画像７２１の各画素に対してエッジ度合いを検出し、その結果をエッジ情報７２４として出力する。エッジ検出の一般的な手法として、例えばＣａｎｎｙフィルタ、又はＳｏｂｅｌフィルタを用いた方式がある。エッジ検出部７０３は、これらのいずれかの方式を使用できる。また、エッジ検出部７０３は、それ以外のエッジ検出方式を使用しても良い。
画像統合部７０４は、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３とを統合する。具体的には、画像統合部７０４は、エッジ情報７２４に基づいて、エッジ度合いが強いと判断された領域に対しては、エッジ高解像度画像７２２を優先的に選択する。また、画像統合部７０４は、エッジ度合いが弱いと判断された領域に対しては、テクスチャ高解像度画像７２３を優先的に選択する。なお、エッジ度合いがどちらでもない場合は、画像統合部７０４は、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３との両方を平均し、平均した画像を選択してもよい。
また、画像統合部７０４は、エッジ度合いに応じて両者を切り替えるのではなく、両者の重みを可変にすることで、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３とを統合してもよい。つまり、画像統合部７０４は、入力画像７２１においてエッジ度合いが予め定められた閾値より高い領域に対しては、エッジ高解像度画像７２２の比率をテクスチャ高解像度画像７２３より高くしたうえで、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３とを統合する。また、画像統合部７０４は、エッジ度合いが上記閾値より低い領域に対しては、エッジ高解像度画像７２２の比率をテクスチャ高解像度画像７２３より低くしたうえで、エッジ高解像度画像７２２とテクスチャ高解像度画像７２３とを統合する。
そして、画像統合部７０４は、この統合画像を出力画像７３１として出力する。
＜実施の形態７の効果＞
本発明の実施の形態７に係る超解像処理装置７００は、エッジ部分とテクスチャ部分とで、それぞれを得意とする超解像処理を、エッジ度合いに応じて適応的に選択することにより、エッジとテクスチャとの両方が高精細化された高解像度画像を生成できる。
（実施の形態８）
さらに、上記各実施の形態で示した超解像処理方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１９Ａ〜図１９Ｃは、本発明の実施の形態８として、上記実施の形態１から７のいずれかの超解像処理方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより当該超解像処理方法を実施する場合の説明図である。
図１９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図１９Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。したがって、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての超解像処理方法が記録されている。
また、図１９Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての超解像処理方法を、フレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記超解像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施できる。
（実施の形態９）
本発明の実施の形態９では、超解像処理装置、超解像処理方法、及び超解像処理プログラムを用いたテレビジョン受像機を、図２０を用いて説明する。
テレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図２０において、説明の都合上、各装置８０１から８０４はテレビジョン受像機８００の外部に配置しているが、実際はテレビジョン受像機８００の内部に配置されている。
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号８２１から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号８２２として出力する。
入力選択装置８０２は、ＤＶＤ或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、又はＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号８２０と、放送映像信号８２２とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号８２３として出力する。
画像処理装置８０３は、入力映像信号８２３がインターレース信号の場合は、当該入力映像信号８２３をプログレッシブ信号に変換するＩ／Ｐ変換を施したり、入力映像信号８２３に対してコントラストを改善する画質改善処理を施したりする。また、画像処理装置８０３は、本発明の実施の形態１に係る超解像処理装置１００を備え、上述した超解像処理方法、又は、超解像処理プログラムを用いた超解像処理を入力映像信号８２３に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号８２４として出力する。なお、画像処理装置８０３は、本発明の実施の形態２〜７のいずれかに係る超解像処理装置を備えてもよい。
パネル駆動装置８０４は、画質改善映像信号８２４を、ディスプレイパネル８０５を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号８２５として出力する。
ディスプレイパネル８０５は、パネル駆動用映像信号８２５に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
このように、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムをテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。ここで、レコーダ機器とは、ＤＶＤレコーダ、ＢＤレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤ、及びＢＤプレイヤ等である。携帯機器とは、携帯電話、及びＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム、又は、前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｃ）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、又は半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム、或いは、前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム、或いは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は超解像処理装置に適用できる。また、本発明は、テレビジョン受像機、ＤＶＤレコーダ、ＢＤレコーダ、ハードディスクレコーダ、ＤＶＤプレイヤ、及びＢＤプレイヤ等のデジタル映像機器に有用である。また、本発明は、画像処理方法、及び画像処理プログラムに有用である。
１００、２００、３００、３００Ａ、４００、５００、７００、９００ 超解像処理装置
１０１、９０１、９５３ Ｎ倍拡大部
１０４、２０４、３０４Ａ Ｍ倍拡大部
１０６、２０６、９０２、９５４、９５５ ハイパスフィルタ部
１０８、２０８、５０８、９０３ パッチ抽出部
１０９、９０４ 加算部
１２１、４２１、７２１、９１１ 入力画像
１２２ Ｎ倍画像
１２５ Ｍ倍画像
１２８ Ｍ倍高周波画像
１２９、９１７ 推定パッチ
１３１、７３１、９１２ 出力画像
１５０ 対象ブロック
１５１ 周辺領域
１５２ ブロック
２０２ 第１特徴量抽出部
２０３、３０３ 周辺画像取得部
２０４ｘ Ｍｘ倍拡大部
２０４１ Ｍ１倍拡大部
２０４２ Ｍ２倍拡大部
２０５、９５１ ローパスフィルタ部
２０７ 第２特徴量抽出部
２２３ 入力特徴量
２２４、４２４ 周辺画像
２２５ 周辺Ｍ倍画像
２２５ｘ 周辺Ｍｘ倍画像
２２５１ 周辺Ｍ１倍画像
２２５２ 周辺Ｍ２倍画像
２２６、２２６１、２２６２、２２６ｘ 周辺低周波画像
２２７、２２７１、２２７２、２２７ｘ 周辺特徴量
２２８、２２８１、２２８２、２２８ｘ 周辺高周波画像
３０４ １／Ｋ縮小部
３１０ 自己相似比推定部
３２４ 周辺Ｎ倍画像
３３０ 自己相似比情報
４２５ 周辺１／Ｋ画像
５３０ｘ Ｍｘ倍処理部
５３０１ Ｍ１倍処理部
５３０２ Ｍ２倍処理部
７０１ エッジ超解像部
７０２ テクスチャ超解像部
７０３ エッジ検出部
７０４ 画像統合部
７２２ エッジ高解像度画像
７２３ テクスチャ高解像度画像
７２４ エッジ情報
８００ テレビジョン受像機
８０１ 放送受信装置
８０２ 入力選択装置
８０３ 画像処理装置
８０４ パネル駆動装置
８０５ ディスプレイパネル
８２０ 外部映像信号
８２１ アンテナ出力信号
８２２ 放送映像信号
８２３ 入力映像信号
８２４ 画質改善映像信号
８２５ パネル駆動用映像信号
９０５ 学習データベース
９１３ 拡大画像
９１４ 中周波画像
９１５ 学習中周波パッチ
９１６ 学習高周波パッチ
９５０ 学習データベース生成装置
９５２ １／Ｎ縮小部
９６１ 学習画像
９６２、９６４ 学習低周波画像
９６３ 学習低解像度画像
Ｃｓ コンピュータシステム
Ｆ ケース
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
Ｓｅ セクタ
Ｔｒ トラック

Claims (18)

  1. 入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理装置であって、
    前記入力画像をＮ（Ｎは１より大きい）倍に拡大したＮ倍画像を生成するＮ倍拡大部と、
    前記入力画像をＭ（Ｍは１より大きい）倍に拡大したＭ倍画像を生成するＭ倍拡大部と、
    前記Ｍ倍画像の高周波成分をＭ倍高周波画像として抽出するハイパスフィルタ部と、
    前記Ｍ倍高周波画像の一部である、予め定められた大きさの推定パッチを前記Ｍ倍高周波画像から抽出するパッチ抽出部と、
    前記Ｎ倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備え、
    前記Ｍは前記Ｎより小さい
    超解像処理装置。
  2. 前記パッチ抽出部は、前記Ｍ倍高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出する
    請求項１記載の超解像処理装置。
  3. 前記超解像処理装置は、さらに、
    前記Ｎ倍画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第１特徴量抽出部と、
    前記Ｍ倍画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第１周辺特徴量を抽出する第２特徴量抽出部とを備え、
    前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との類似度を計算し、前記複数の第１周辺特徴量の中から、（１）前記類似度が最大となる１つの第１周辺特徴量、（２）前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量、又は、（３）前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量、に対応する、前記Ｍ倍高周波画像の領域を前記推定パッチとして抽出する
    請求項１又は２記載の超解像処理装置。
  4. 前記超解像処理装置は、さらに、
    前記Ｎ倍画像の自己相似比を推定する自己相似比推定部を備え、
    前記Ｍ倍拡大部は、前記自己相似比が１／Ｋである場合に、前記入力画像をＭ＝Ｎ／Ｋ倍に拡大した前記Ｍ倍画像を生成する
    請求項１〜３のいずれか１項に記載の超解像処理装置。
  5. 前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の自己相関関数の値の変動周期を算出し、前記変動周期が小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定する
    請求項４記載の超解像処理装置。
  6. 前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の高周波成分のエネルギーを算出し、前記エネルギーが小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定する
    請求項４記載の超解像処理装置。
  7. 前記自己相似比推定部は、前記入力画像又は前記Ｎ倍画像の隣接画素間の差分絶対値和を算出し、前記差分絶対値和が小さいほど大きなＫの値を決定し、前記自己相似比が１／Ｋであると推定する
    請求項４記載の超解像処理装置。
  8. 前記Ｍ倍拡大部は、さらに、前記入力画像をＭ１（Ｍ１は１より大きい）倍に拡大したＭ１倍画像を生成し、
    前記Ｍ１は、前記Ｎより小さく、かつ、前記Ｍと異なり、
    前記ハイパスフィルタ部は、さらに、前記Ｍ１倍画像の高周波成分をＭ１倍高周波画像として抽出し、
    前記第２特徴量抽出部は、さらに、前記Ｍ１倍拡大画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第２周辺特徴量を抽出し、
    前記パッチ抽出部は、さらに、前記入力特徴量と、前記複数の第２周辺特徴量の各々との類似度を計算し、
    前記パッチ抽出部は、前記複数の第１周辺特徴量及び前記複数の第２周辺特徴量の中から、（１）前記類似度が最大となる１つの第１周辺特徴量又は第２周辺特徴量、（２）前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量又は第２周辺特徴量、又は、（３）前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量又は第２周辺特徴量、に対応する、前記Ｍ倍高周波画像の領域から前記推定パッチを抽出する
    請求項３記載の超解像処理装置。
  9. 前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との差分絶対値和、又は差分自乗和を前記類似度として計算する
    請求項３記載の超解像処理装置。
  10. 前記Ｍ倍拡大部は、前記Ｎが予め定められた閾値より大きい場合、前記Ｍを第１の値に設定し、前記Ｎが前記予め定められた閾値以下の場合、前記Ｍを、前記第１の値より小さい第２の値に設定する
    請求項１〜３のいずれか１項に記載の超解像処理装置。
  11. 入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理装置であって、
    前記入力画像を１／Ｋ倍に縮小した１／Ｋ画像を生成する１／Ｋ縮小部と、
    前記１／Ｋ画像の高周波成分を１／Ｋ高周波画像として抽出するハイパスフィルタ部と、
    前記１／Ｋ高周波画像の一部である、予め定められた大きさの推定パッチを前記１／Ｋ高周波画像から抽出するパッチ抽出部と、
    前記１／Ｋ画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備える
    超解像処理装置。
  12. 前記パッチ抽出部は、前記１／Ｋ高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出する
    請求項１１記載の超解像処理装置。
  13. 前記超解像処理装置は、さらに、
    前記入力画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第１特徴量抽出部と、
    前記１／Ｋ画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第１周辺特徴量を抽出する第２特徴量抽出部とを備え、
    前記パッチ抽出部は、前記入力特徴量と、前記複数の第１周辺特徴量の各々との類似度を計算し、前記複数の第１周辺特徴量の中から、前記類似度が最大となる１つの第１周辺特徴量、又は、前記類似度が大きい方から数えて所定順位以内の複数の第１周辺特徴量、又は、前記類似度が予め設定した閾値以上となる複数の前記第１周辺特徴量に対応する、前記１／Ｋ高周波画像の領域を前記推定パッチとして抽出する
    請求項１１又は１２記載の超解像処理装置。
  14. 前記超解像処理装置は、さらに、
    前記入力画像の自己相似比を推定する自己相似比推定部を備え、
    前記１／Ｋ倍縮小部は、前記自己相似比が１／Ｋである場合に、前記入力画像を１／Ｋ倍に縮小した前記１／Ｋ画像を生成する
    請求項１１〜１３のいずれか１項に記載の超解像処理装置。
  15. 前記超解像処理装置は、さらに、
    前記入力画像を高解像度化したエッジ高解像度画像を生成するエッジ超解像部と、
    前記入力画像のエッジを検出するエッジ検出部と、
    前記出力画像と前記エッジ高解像度画像とを統合する画像統合部とを備え、
    前記画像統合部は、
    前記入力画像においてエッジ度合いが予め定められた閾値より高い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より高くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合し、
    前記エッジ度合いが前記閾値より低い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より低くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合する
    請求項１〜１４のいずれか１項に記載の超解像処理装置。
  16. 入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理方法であって、
    前記入力画像をＮ（Ｎは１より大きい）倍に拡大したＮ倍画像を生成するＮ倍拡大ステップと、
    前記入力画像をＭ（Ｍは１より大きい）倍に拡大したＭ倍画像を生成するＭ倍拡大ステップと、
    前記Ｍ倍画像の高周波成分をＭ倍高周波画像として抽出するハイパスフィルタステップ
    と、
    前記Ｍ倍高周波画像の一部である、予め定められた大きさの推定パッチを前記Ｍ倍高周波画像から抽出するパッチ抽出ステップと、
    前記Ｎ倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算ステップとを含み、
    前記Ｍは前記Ｎより小さい
    超解像処理方法。
  17. 入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理方法であって、
    前記入力画像を１／Ｋ倍に縮小した１／Ｋ画像を生成する１／Ｋ縮小ステップと、
    前記１／Ｋ画像の高周波成分を１／Ｋ高周波画像として抽出するハイパスフィルタステップと、
    前記１／Ｋ高周波画像の一部である、予め定められた大きさの推定パッチを前記１／Ｋ高周波画像から抽出するパッチ抽出ステップと、
    前記１／Ｋ画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算ステップとを含む
    超解像処理方法。
  18. 請求項１６又は１７に記載の超解像処理方法をコンピュータに実行させる
    プログラム。
JP2011020240A 2010-02-09 2011-02-01 超解像処理装置及び超解像処理方法 Expired - Fee Related JP5706177B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011020240A JP5706177B2 (ja) 2010-02-09 2011-02-01 超解像処理装置及び超解像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010026170 2010-02-09
JP2010026170 2010-02-09
JP2011020240A JP5706177B2 (ja) 2010-02-09 2011-02-01 超解像処理装置及び超解像処理方法

Publications (2)

Publication Number Publication Date
JP2011188478A true JP2011188478A (ja) 2011-09-22
JP5706177B2 JP5706177B2 (ja) 2015-04-22

Family

ID=44476533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011020240A Expired - Fee Related JP5706177B2 (ja) 2010-02-09 2011-02-01 超解像処理装置及び超解像処理方法

Country Status (2)

Country Link
US (1) US8526765B2 (ja)
JP (1) JP5706177B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170456A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 画像処理方法及び装置並びにプログラム
JP2013235594A (ja) * 2012-05-10 2013-11-21 Thomson Licensing 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置
KR20130131073A (ko) * 2012-05-23 2013-12-03 삼성전자주식회사 영상 복원 장치 및 방법
WO2014073198A1 (ja) * 2012-11-06 2014-05-15 日本電気株式会社 画像処理装置、及び、画像処理方法
JPWO2013089265A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
WO2015115168A1 (ja) * 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置
KR20150107360A (ko) * 2014-03-14 2015-09-23 한국전자통신연구원 초해상도 기법을 이용한 영상 생성 방법 및 장치
US9317904B2 (en) 2011-12-12 2016-04-19 Nec Corporation Image processing system and image processing method
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20190092605A (ko) * 2016-12-27 2019-08-07 케이엘에이-텐코 코포레이션 저해상도 검사 이미지들로부터 고해상도 점 확산 함수들을 재구성하기 위한 시스템 및 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792335A (zh) * 2010-03-12 2012-11-21 国立大学法人名古屋工业大学 图像处理装置、图像处理程序、及生成图像的方法
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
TWI459326B (zh) * 2011-09-05 2014-11-01 Chunghwa Picture Tubes Ltd 顯示面板的影像解析度提升裝置及方法
EP2615579A1 (en) 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN102724467B (zh) * 2012-05-18 2016-06-29 中兴通讯股份有限公司 提升视频输出清晰度的方法及终端设备
US8977347B2 (en) * 2012-06-25 2015-03-10 Xerox Corporation Video-based estimation of heart rate variability
TWI482099B (zh) * 2012-09-07 2015-04-21 Altek Corp 影像處理紀錄系統及其影像處理紀錄方法
US9122960B2 (en) * 2012-11-30 2015-09-01 Adobe Systems Incorporated Patch size adaptation for image enhancement
US9117262B2 (en) 2012-11-30 2015-08-25 Adobe Systems Incorporated Learned piece-wise patch regression for image enhancement
JP2014123173A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、撮像装置及び画像処理方法
US9336574B2 (en) * 2013-01-07 2016-05-10 GM Global Technology Operations LLC Image super-resolution for dynamic rearview mirror
EP2979242B1 (en) * 2013-03-27 2018-01-10 Thomson Licensing Method and apparatus for generating a super-resolved image from a single image
US9317903B1 (en) * 2013-08-27 2016-04-19 Pixelworks, Inc. Self-similarity based single frame super-resolution
US9569684B2 (en) * 2013-09-09 2017-02-14 Adobe Systems Incorporated Image enhancement using self-examples and external examples
US9123140B1 (en) * 2013-09-25 2015-09-01 Pixelworks, Inc. Recovering details in single frame super resolution images
US9483840B1 (en) * 2013-09-25 2016-11-01 Pixelworks, Inc. Low power patch matching in self-similarity based single frame super-resolution
TWI543586B (zh) 2014-05-30 2016-07-21 國立交通大學 影像增強的方法及其影像處理裝置與電腦程式產品
US9256920B1 (en) * 2014-07-25 2016-02-09 Sharp Laboratories Of America, Inc. Image enhancement using a patch based technique
JP6482261B2 (ja) * 2014-12-10 2019-03-13 オリンパス株式会社 画像検索装置、画像検索方法及び画像検索プログラム
KR101813338B1 (ko) 2014-12-11 2017-12-28 주식회사 엘지화학 베젤용 감광성 유색 잉크 조성물, 이를 이용하여 형성된 베젤 패턴 및 이를 포함하는 디스플레이 기판
KR101618996B1 (ko) * 2014-12-31 2016-05-09 인하대학교 산학협력단 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN105847968B (zh) 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
KR102384234B1 (ko) * 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197455A (ja) * 2000-12-27 2002-07-12 Seiko Epson Corp 画像処理装置及び画像処理方法
US20020172434A1 (en) * 2001-04-20 2002-11-21 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
JP2003283811A (ja) * 2002-03-20 2003-10-03 Fuji Xerox Co Ltd 画像処理装置およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253043A (en) * 1991-10-24 1993-10-12 Da Vinci Systems, Inc. Upsampled interpolative processing of digital video signals
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
KR100247963B1 (ko) * 1997-06-26 2000-03-15 윤종용 영상 포맷 변환장치
US6128357A (en) * 1997-12-24 2000-10-03 Mitsubishi Electric Information Technology Center America, Inc (Ita) Data receiver having variable rate symbol timing recovery with non-synchronized sampling
US6567568B1 (en) * 1998-01-26 2003-05-20 Minolta Co., Ltd. Pixel interpolating device capable of preventing noise generation
US6424749B1 (en) * 1999-03-30 2002-07-23 Matsushita Electric Industrial Co., Ltd. System and method for scaling combined video and computer generated imagery
US6539128B1 (en) * 1999-04-16 2003-03-25 Macronix International Co., Ltd. Method and apparatus for interpolation
CN1185859C (zh) * 2000-07-27 2005-01-19 振玮科技股份有限公司 数码影像内插及清晰度增强的方法
JP3862506B2 (ja) * 2001-02-06 2006-12-27 キヤノン株式会社 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
CN1290057C (zh) * 2001-11-01 2006-12-13 皇家飞利浦电子股份有限公司 改善的视频图像的空间分辨率
US7136107B2 (en) * 2003-08-05 2006-11-14 Koninklijke Philips Electronics N. V. Post-processing of interpolated images
DE102004016350A1 (de) * 2004-04-02 2005-10-27 Micronas Gmbh Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US7508997B2 (en) * 2004-05-06 2009-03-24 Samsung Electronics Co., Ltd. Method and apparatus for video image interpolation with edge sharpening
TWI297470B (en) * 2005-05-10 2008-06-01 Asmedia Technology Inc Method for image adjustment
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197455A (ja) * 2000-12-27 2002-07-12 Seiko Epson Corp 画像処理装置及び画像処理方法
US20020172434A1 (en) * 2001-04-20 2002-11-21 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
JP2003018398A (ja) * 2001-04-20 2003-01-17 Mitsubishi Electric Research Laboratories Inc ピクセル画像から超解像度画像を生成する方法
JP2003283811A (ja) * 2002-03-20 2003-10-03 Fuji Xerox Co Ltd 画像処理装置およびプログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170456A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 画像処理方法及び装置並びにプログラム
US9317904B2 (en) 2011-12-12 2016-04-19 Nec Corporation Image processing system and image processing method
JPWO2013089265A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
JP2013235594A (ja) * 2012-05-10 2013-11-21 Thomson Licensing 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置
KR20130131073A (ko) * 2012-05-23 2013-12-03 삼성전자주식회사 영상 복원 장치 및 방법
KR101910894B1 (ko) * 2012-05-23 2018-10-24 삼성전자주식회사 영상 복원 장치 및 방법
JPWO2014073198A1 (ja) * 2012-11-06 2016-09-08 日本電気株式会社 画像処理装置、及び、画像処理方法
US9508025B2 (en) 2012-11-06 2016-11-29 Nec Corporation Image processing device, image processing method and medium
WO2014073198A1 (ja) * 2012-11-06 2014-05-15 日本電気株式会社 画像処理装置、及び、画像処理方法
WO2015115168A1 (ja) * 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置
JPWO2015115168A1 (ja) * 2014-01-28 2017-03-23 シャープ株式会社 画像処理装置
KR20150107360A (ko) * 2014-03-14 2015-09-23 한국전자통신연구원 초해상도 기법을 이용한 영상 생성 방법 및 장치
KR101695900B1 (ko) 2014-03-14 2017-01-11 한국전자통신연구원 초해상도 기법을 이용한 영상 생성 방법 및 장치
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법
KR102271285B1 (ko) 2016-11-09 2021-07-01 삼성전자주식회사 영상처리장치 및 영상처리방법
US11195261B2 (en) 2016-11-09 2021-12-07 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR20190092605A (ko) * 2016-12-27 2019-08-07 케이엘에이-텐코 코포레이션 저해상도 검사 이미지들로부터 고해상도 점 확산 함수들을 재구성하기 위한 시스템 및 방법
JP2020503633A (ja) * 2016-12-27 2020-01-30 ケーエルエー コーポレイション 低解像度検査画像から高分解能点拡がり関数を再構築するシステム及び方法
KR102321944B1 (ko) 2016-12-27 2021-11-03 케이엘에이 코포레이션 저해상도 검사 이미지들로부터 고해상도 점 확산 함수들을 재구성하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20110206296A1 (en) 2011-08-25
JP5706177B2 (ja) 2015-04-22
US8526765B2 (en) 2013-09-03

Similar Documents

Publication Publication Date Title
JP5706177B2 (ja) 超解像処理装置及び超解像処理方法
US8483515B2 (en) Image processing method, image processor, integrated circuit, and recording medium
US8649636B2 (en) Super-resolution processor and super-resolution processing method
US9020273B2 (en) Image processing method, image processor, integrated circuit, and program
CN105323497A (zh) 恒定包围的高动态范围（cHDR）操作
CN101433093B (zh) 运动补偿的视频空间向上转换
WO2011033619A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
WO2012132183A1 (ja) 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
TW201248546A (en) Scale-independent maps
JP2014215604A (ja) 画像処理装置および画像処理方法
JP6610535B2 (ja) 画像処理装置および画像処理方法
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TW201120805A (en) Forward and backward resizing method
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
JP4791136B2 (ja) 速度測定装置、速度測定方法及び速度測定プログラム
US20120093227A1 (en) Data compression method and data compression device
EP2085926B1 (en) Method and apparatus for generating thumbnail image
Jeon et al. Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing
JP5841345B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP6202725B2 (ja) 画像差分量算出装置、画像符号化装置及びプログラム
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007108965A (ja) 変化領域計算方法、変化領域計算装置、変化領域計算プログラム
JP2012113398A (ja) 画像処理装置及び画像処理システム
Rehman et al. Classification-based de-mosaicing for digital cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150226

R150 Certificate of patent or registration of utility model

Ref document number: 5706177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees