JP2008146190A - 解像度変換装置、解像度変換方法、解像度変換プログラム及び画像表示システム - Google Patents

Abstract

【課題】画像表示装置の物理解像度を超えた解像効果を得るための超解像処理を適切に行う。
【解決手段】画像出力装置１００から出力される第１解像度データを第１解像度よりも低い第２解像度の画像表示装置２００で表示させるために、第１解像度データを解像度変換して第２解像度データを生成する解像度変換装置３００Ａであって、画像出力装置１００に対し画像表示装置２００の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部３０１と、画像出力装置１００から第１解像度データを入力する第１解像度データ入力部３０２と、使用者の視線移動を誘導させるために第２解像度データに対応する表示画像の移動を行う際の移動速度を設定可能な移動速度設定部３０４と、設定された移動速度に対応した重みデータを用いて第１解像度像データを解像度変換して第２解像度データを生成する解像度変換処理部３０８とを有する。
【選択図】図１２

Description

本発明は、高解像度の画像データをそれより低解像度の画像表示装置で表示させるための解像度変換を行う解像度変換装置、解像度変換方法、解像度変換プログラム及び前記解像度変換装置を用いた画像表示システムに関する。

近年、高解像度、大画素数の静止画像電子データまたは動画像電子データを入手することが極めて容易になった。例えば、一般消費者が１０００万画素を超える画素数を有するデジタルカメラを入手することも極めて容易である。

その一方、このような大画素数の画像表示装置を入手することは極めて困難である。これは、大画素数であっても小面積である撮像素子を製造する場合に比較して、同じ画素数であれば大面積となる表示デバイスを作ることが困難であることに起因する。

現在、一般消費者が入手可能である高解像度、大画素数ディスプレイは、フルハイビジョンと呼ばれる横１９２０画素、縦１０８０画素の２０７万画素程度、あるいは、パーソナルコンピュータ（以下、ＰＣという）用ディスプレイの横１９２０画素、縦１２００画素の２３０万画素程度のものが上限である。しかし、実際に最も多く用いられているものは、ＸＧＡサイズである横１０２４、縦７６８画素程度のものでしかない。この場合、１０００万画素の画像データに対し、縦横それぞれ１／４程度の画素数しかないことになる。

そのため、高解像度、大画素数の画像データの全体を、それよりも画素数の少ないディスプレイに表示するためには、何らかの間引き処理により表示画素数を削減する必要がある。これは必然的に、表示解像度が元画像データの解像度よりも低いことになる。あるいは、高解像度を維持した表示を行おうとすれば、元画像データの一部分のみしか表示できないことになる。

このような状況を改善し、個々の表示デバイスの物理解像度を超えた表示を行うためには、大別して２つの方法がある。
第１の方法は、複数の表示デバイスを組み合わせて表示する方法であり、第２の方法は、超解像処理と呼ばれる技術を用いることによって表示デバイスの物理解像度を超えた表示を行う技術である。

第１の方法は、例えば、複数のプロジェクタを用い、それぞれの表示を半画素や１／４画素ずらして表示を重ねることにより、実効的に画素数を増やす方法である。この第１の方法の変形として、１台のプロジェクタの表示を時分割方式で行い、その複数の画像を重ね合わせる方法も考えられる。これは残像現象を利用したものであり、例えば特許文献１に記載の技術（第１従来技術という）もその一つである。

しかしながら、第１従来技術に示される表示装置においては、光学像に空間的な変動を与えるための機械的なハードウエアまたは電気光学素子によるハードウェアが必要となるという課題がある。これは装置のコストアップの原因となるものである。特に、機械的なハードウェアを用いる場合は、その駆動音も問題となる。更には、この方法は専用のハードウェアを必要とするために、既存のディスプレイ装置へ適用することができないという大きな課題がある。

一方、第２の方法は、前述したように超解像処理と呼ばれる技術を用いることによって表示デバイスの物理解像度を超えた表示を行う技術である。超解像処理という用語自身は、より広い概念を指し示すものであるが、動画表示に用いられる超解像処理は、残像現象と視線移動を利用するものである。つまり、人間が知覚する網膜上の光刺激は、視線が静止しているとした場合、網膜上に結像した表示デバイスの像そのものである。

しかし、視線が移動した場合、その光刺激は、表示デバイスの残像を重ね合わせたものになる。超解像処理とは、この残像効果を考慮した画像データを表示デバイスに与えることにより、表示デバイスの物理解像度を超えた光刺激を人間に与えることが可能となるというものである。

以下、この原理をもう少し詳細に説明する。図２６は人間の視覚の基本的な特性を表すＢｌｏｃｈの法則を説明する図である。図２６の横軸は、光刺激のパルス幅を示し、縦軸は人間がその光刺激を同じ強さであると知覚する光の強さを示したものである。

Ｂｌｏｃｈの法則によれば、ある閾値Ｔｈよりも長時間のパルス幅を有する光パルスにおいては、同じ強さの光パルスは、そのパルス幅に依存せず同じ強さであると知覚される。一方、その閾値Ｔｈよりも短時間の光パルスにおいて同じ強さの感覚を与えるためには、より強い光強度が必要であるということである。この関係は、光強度の時間積分値が一定の時に同じ強さと感じると近似される。これは人間の視覚機能が、ある時定数を持った化学反応であることを考えれば容易に理解できる。ここで、この閾値Ｔｈは種々の条件で変化するが、１０ミリ秒から２００ミリ秒の程度であることが知られている。

また光刺激は、この閾値Ｔｈ内の積分期間中に光パルスが連続している必要はなく、複数のパルスとして与えられても良い。例えば、与える光の強度が一定とすれば、人間は、与えられた光パルス幅の総計に比例した光強度を感じることになる。これが、デジタル型表示デバイス、たとえばデジタルミラーデバイスやプラズマディスプレイにおいて階調表現を可能とする原理である。
これら人間の視覚特性を超解像処理に用いた従来の技術としては、例えば、特許文献２に記載された技術がある。

特許文献２に記載された技術（第２従来技術という）は、あるフレームレートで入力された高解像度の動画像を、それよりも低解像度の表示デバイスで表示する場合についてのものである。具体的には、入力された画像を所定の大きさのブロックに分割し、ブロックマッチング処理により動きベクトルを検出し、その動き量に対応した解像度変換処理を行い、それを表示するものである。

この例において、あるブロックに注目した場合、人間の視線は上記処理で求められた動きベクトルに対応して移動していると推定される。そのため、それに対応し、適切な解像度変換処理された表示データを、そのブロックに表示させることにより、超解像効果を得ることができるというものである。

特開平６−３２４３２０公報 特開２００５−１７３１５８公報

第２従来技術は、基本的に動画像にのみ対応した技術であり、更にはその中の動きのある部分にのみ対応した技術である。第２従来技術においては、分割されたブロックの中で
動きの検出されたブロックにのみ超解像処理が施され、動きの検出されないブロックは、そのまま表示されるだけである。さらに、複数のブロックにおいて異なる動きベクトルが検出された場合、それぞれに異なる超解像処理が施されることになる。この場合、画像全体として見れば視線の動きと超解像処理との不整合が発生するという課題がある。また、最も大きな課題は、動き検出処理そのものが間違った結果を与える可能性があるということである。この間違った結果に対応した超解像処理が行われれば、正常な超解像処理が行われないことになる。

本発明は、高解像度の画像データをそれよりも低解像度の画像表示装置で表示する際、画像表示装置の有する物理解像度を超えた解像効果を得るための超解像度処理を適切に行うことができる解像度変換装置、解像度変換方法、解像度変換プログラムを提供することを目的とするとともに、前記解像度変換装置を用いることにより、画像表示装置の有する物理解像度を超えた解像効果を使用者に与えることができる画像表示システムを提供することを目的とする。

（１）本発明の解像度変換装置は、画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する解像度変換装置であって、前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部と、前記画像出力装置から前記第１解像度データを入力する第１解像度データ入力部と、使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定可能な移動速度設定部と、前記移動速度設定部によって設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成する解像度変換処理部とを有することを特徴とする。

本発明の解像度変換装置は、あたかも第１解像度を有する画像表示装置が接続されているかのような情報を画像出力装置に出力し、これにより、画像出力装置から第１解像度データを受け取る。そして、受け取った第１解像度データを画像表示装置の物理解像度（第２解像度）となるように解像度変換を行って、解像度変換した画像データ（第２解像度データ）を画像表示装置に与える。このとき、解像度変換装置は、使用者の視線移動を利用した超解像処理を行う。

本発明の解像度変換装置が行う超解像処理は、使用者の視線移動を誘導するために、第２解像度データに対応する表示画像を所定の移動速度で移動させる移動速度を第２解像度データの移動方向と単位時間ごとの移動量により設定する。そして、その時点において設定された移動速度に対応した重みデータを用いて第１解像度データを解像度変換して前記第２解像度データを生成するといった処理を行う。これにより、画像表示装置の有する物理解像度を超える超解像効果を使用者に与えることができる。

このように、本発明の解像度変換装置は、第２従来技術のように、複数のブロックにおいて異なる動きベクトルが検出された場合、それぞれに異なる超解像処理が施され、画像全体として見れば視線の動きと超解像処理との不整合が発生するという問題や、動き検出処理そのものの誤りによる不適切な超解像処理が行われてしまうという問題が生じたりすることがなく、視線移動に対応した適切な超解像処理を実現できる。

（２）前記（１）に記載の解像度変換装置においては、前記移動速度設定部は、複数種類の移動速度を設定可能であって、前記重みデータは、前記複数種類の移動速度の各々の
移動動速度に対応して設定されることが好ましい。

このように、移動速度を複数種類に設定可能とすることにより、表示すべき画像の内容などに応じて最適な移動速度を設定することができる。また、各々の移動速度に応じた重みを設定しておくことで、その時点で設定した移動速度に対応した重みを用いることができるので、移動速度に応じた適切な解像度変換を行うことができる。

（３）前記（１）又は（２）に記載の解像度変換装置においては、前記移動方向と単位時間ごとの移動量は、前記第１解像度データの縦方向及び／又は横方向の画素数で表されることが好ましい。

これは、具体的には、前記移動方向と単位時間ごとの移動量を、第２解像度データが単位時間ごとに第１解像度データの何画素単位で縦方向及び／又は横方向に移動するかというように表すもので、例えば、第２解像度データが単位時間ごとに縦方向に１画素単位、横方向に２画素単位で移動するというように表すものである。このように、第２解像度データの移動方向と移動量とを第１解像度データの画素単位とすることによって、第２解像度データの画素と第１解像度データの画素とを適切に対応付けることができる。

（４）前記（１）〜（３）のいずれかに記載の解像度変換装置においては、前記単位時間は、光強度の時間積分値が人間の感覚的な光強度として知覚できる光パルスの時間的な長さの上限値以下で、かつ、前記第２解像度データに対応する表示画像を所定のフレームレートで表示する際の少なくとも１つのフレームのフレーム周期に対応する時間に設定されることが好ましい。

前記単位時間をこのように設定することによって、画像表示装置の物理解像度を超えた光刺激を与えることができる。これは、人間の視覚の基本的な特性を表すＢｌｏｃｈの法則を用いたものであり、表示画像データのフレーム周期がＢｌｏｃｈの法則で定められている閾値以下であれば、光強度の時間積分値が人間の感覚的な光強度として知覚できることを示している。ここで、Ｂｌｏｃｈの法則で定められている時間的な閾値は、条件により異なるが、１０ミリ秒から２００ミリ秒程度とされている。

したがって、前記単位時間を１０ミリ秒以下に設定し、１０ミリ秒以下の単位時間ごとに第２解像度データに対応する表示画像を移動させ、その移動に対応つけて第２解像度データを変化させることによって、画像表示装置の物理解像度を超えた光刺激を与えることができる。なお、前述したように、Ｂｌｏｃｈの法則で定められている時間的な閾値内の積分期間中に光パルスが連続している必要はなく、複数のパルスとして与えられても良いので、各単位時間に複数のフレームを表示させることも可能である。

（５）前記（１）〜（４）のいずれかに記載の解像度変換装置においては、前記重みデータは、前記第２解像度データに対応する表示画像を前記設定された移動速度によって移動させたときに、前記第２解像度データの各画素に、前記第１解像度データの対応する画素の値の有する高周波成分が現れるように設定されたデータであることが好ましい。
このような重みデータを用いて解像度変換を行うことにより、第２解像度データの各画素には時間平均において第１解像度データの対応する画素の値の有する高周波成分が現れる。

（６）前記（１）〜（５）のいずれかに記載の解像度変換装置においては、前記使用者の視線を誘導するための視線ガイドを前記第２解像度データに対応する表示画像上の所定位置に表示する際の視線ガイド表示位置を設定可能な視線ガイド表示位置設定部と、前記視線ガイド表示位置設定部によって設定された視線ガイド表示位置に、前記視線ガイドを
前記第２解像度データに重畳させる視線ガイド重畳部とを有することが好ましい。

本発明の解像度変換装置が行う超解像処理をより有効なものとするには、使用者の視線が想定した方向へ想定した速度で移動していることが必要となる。すなわち、第２解像度データに対応する表示画像を移動させる際、視線が表示画像の動きに正確に追従することによって超解像効果が得られる。したがって、使用者の視線を想定した方向へ想定した速度で誘導させために、使用者の視線を誘導するための視線ガイドを前記第２解像度データに対応する画像上の所定位置に表示することにより、視線を表示画像の動きに正確に追従させることができ、これによって超解像処理を有効なものとすることができる。

なお、視線ガイドとしては、明瞭なコントラストを有するマークなどを表示させることが好ましく、このようなマークを表示させることによって、使用者の視線は自然にそのマークを追いかけるように移動するので、使用者の視線移動の誘導を適切に行うことができる。また、視線ガイドの表示位置は使用者によって設定することができる。視線ガイドの表示位置としては、表示画像中の使用者が注目する位置に表示することが、より効果的である。

（７）前記（１）〜（６）のいずれかに記載の解像度変換装置においては、前記第１解像度データにおける直線成分を検出する直線成分検出部を有し、前記移動速度設定部は、前記直線成分検出部の検出結果に基づいて前記移動方向を設定する機能を有することが好ましい。
本発明の解像度変換装置が行う超解像処理を有効なものとするには、表示すべき画像データ中に存在する直線成分に対して直交する方向に画像移動を行うことが好ましい。つまり、直線成分の多く含まれる方向に直行する方向において、その空間周波数が高いと推定されるからである。したがって、表示すべき画像データ中にどのような直線成分が存在するかを検出し、その検出結果に基づいて移動方向を決めることによって、超解像処理を有効なものとすることができる。

（８）前記（７）に記載の解像度変換装置においては、前記直線成分を検出する領域としての直線成分検出領域の設定が可能な直線成分検出領域設定部を有し、前記直線成分検出部は前記直線成分検出領域で前記直線成分の検出を行うことが好ましい。
このように、直線成分検出領域で前記直線成分の検出を行うことにより、少ない演算量で直線成分の検出を行うことができる。なお、直線成分検出領域の設定位置は、使用者によって設定することができる。また、直線成分検出領域の設定位置としては、表示画像中の使用者が注目する位置に設定することがより効果的である。

（９）前記（７）又は（８）に記載の解像度変換装置においては、前記直線成分の検出は、ラドン変換を用いることが好ましい。
ラドン変換を用いることにより、直線成分の検出を適切に行うことができる。

（１０）本発明の解像度変換方法は、画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する解像度変換方法であって、前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力するステップと、前記画像出力装置から前記第１解像度データを入力するステップと、使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定するステップと、前記設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成するステップとを有することを特徴とする。

本発明の解像度変換方法においても前記（１）に記載の解像度変換装置と同様の効果が得られる。なお、本発明の解像度変換方法においても（２）〜（９）に記載の解像度変換装置と同様の特徴を有することが好ましい。

（１１）本発明の解像度変換プログラムは、画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する処理を解像度変換装置に実行させるための解像度変換プログラムであって、前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力するステップと、前記画像出力装置から前記第１解像度データを入力するステップと、使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定するステップと、前記設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成するステップとを有することを特徴とする。

このような解像度変換プログラムを解像度変換装置で実行させることによって、（１）に記載の解像度変換装置と同様、画像表示装置の有する物理解像度を超えた解像効果を使用者に与えることができる超解像処理を実現できる。これにより、前記（１）の解像度変換装置と同様の効果が得られる。なお、本発明の解像度変換プログラムにおいても（２）〜（９）に記載の解像度変換装置と同様の特徴を有することが好ましい。

（１２）本発明の画像表示システムは、第１解像度を有する第１解像度データを出力する画像出力装置と、前記第１解像度よりも低い第２解像度の画像表示装置と、前記第１解像度データを解像度変換して第２解像度を有する第２解像度画像データの生成を行う解像度変換装置とを有する画像表示システムであって、前記解像度変換装置は、前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部と、前記画像出力装置から前記第１解像度データを入力する第１解像度データ入力部と、使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定可能な移動速度設定部と、前記移動速度設定部によって設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成する解像度変換処理部とを有することを特徴とする。

画像表示システムの構成要素である解像度変換装置をこのような構成とすることによって、例えば、デジタルカメラなどで撮影された高解像度の画像データをそれより解像度の低い画像表示装置で表示する場合、解像度変換装置により画像表示装置の有する物理解像度を超えた解像効果を使用者に与えることができる。これにより、前記（１）の解像度変換装置と同様の効果が得られる。なお、本発明の画像表示システムにおいても（２）〜（９）に記載の解像度変換装置と同様の特徴を有することが好ましい。

図１は本発明の画像表示システムの概要を説明する図である。本発明の画像表示システムは、図１に示すように、デジタルカメラなどで撮影された高解像度（第１解像度という）の画像データ（第１解像度データという）を出力する画像出力装置１００と、第１解像度よりも低い第２解像度の画像表示装置２００と、第１解像度データを解像度変換して第２解像度を有する第２解像度画像データの生成を行う解像度変換装置３００とを有する。
解像度変換装置３００は、使用者に画像表示装置２００の有する物理解像度を超えた解像効果を与えるための解像度変換処理を行うもので、このような処理は、前述したように
超解像処理と呼ばれている。

解像度変換装置３００は、画像表示装置２００から当該画像表示装置２００の物理解像度（第２解像度）を示す解像度情報を制御データとして受け取る。一方、解像度変換装置３００は画像出力装置１００に対して、あたかも第１解像度を有する画像表示装置２００が接続されているかのような情報、すなわち、画像表示装置２００の解像度が第１解像度であることを示す仮の解像度情報を画像出力装置１００に制御データとして出力する。これにより、画像出力装置１００は解像度変換装置３００に第１解像度データを与える。

解像度変換装置３００は画像出力装置１００から出力された第１解像度データを受け取ると、受け取った第１解像度データを画像表示装置２００の物理解像度（第２解像度）となるように解像度変換を行って、解像度変換した画像データ（第２解像度データ）を画像表示装置２００に与える。このとき、解像度変換装置３００は超解像処理を行う。

解像度変換装置３００が行う超解像処理について説明する。ここで、第１解像度というのは、例えば、現在の一般的なデジタルカメラなどに用いられる撮像素子の解像度を想定したもので、１０００万画素程度とする。一方、第２解像度というのは、一般的なプロジェクタやテレビジョンなどの画像表示装置の解像度を想定したものであり、一般的に用いられているＸＧＡサイズの画像表示装置などでは、７８万画素程度である。したがって、一般的なＸＧＡサイズの画像表示装置は、１０００万画素の撮像素子に比べると、縦横それぞれ１／４程度の画素数でしかないことになる。

図２は一般的な撮像素子の解像度と一般的な画像表示装置の解像度との比較を説明する図である。図２の例では、一般的な撮像素子の解像度（第１解像度）と一般的な画像表示装置の解像度（第２解像度）との画素数の比を縦横それぞれ４対１とした例が示されている（図２（ａ），（ｂ）参照）。このように、一般的な撮像素子と一般的な画像表示装置においては、縦横それぞれ４倍、全体で１６倍程度の画素数の差がある。従って、第１解像度データを第２解像度の画像表示装置で表示するためには、前述したように間引き処理などを行っている。

図３は第１解像度データを第２解像度の画像表示装置で表示する場合の一般的な解像度変換例を示す図である。ここでは、第２解像度は、第１解像度の１／４であると仮定している。また、説明を簡単にするために、画素が１次元方向に配列されている場合を例にとって説明する。図３（ａ）は第１解像度データの画素（横方向の画素）の並びを示す図である。図３において、第２解像度データの左から３番目の画素（第３画素という）について考えると（図３（ｂ）参照）、当該第３画素の第２解像度データの値を得るためには、第１解像度データに対し、方形関数としてのサンプリング窓関数あるいはフィルタ関数を作用させ、解像度変換する処理を行う必要がある。

この処理は値空間での畳み込み演算、周波数空間での重み付け操作であると考えることができる。これは、対応する位置における第１解像度データ(図３（ａ）参照)の４画素単位での値の平均値を求める処理であると考えられる。一般化すれば、第１解像度データの対応する値と一定の値（この場合は０．２５という値）を持つサンプリング窓関数あるいはフィルタ関数との畳み込み演算であると考えることができる（図３（ｃ），（ｄ）参照）。このような演算処理によって得られた第２解像度データ（図３（ｅ）参照）は、第１解像度データの有する高周波成分が現れない画像データとなる。

図４は図３に示す解像度変換例において第２解像度データの移動が加わった場合を示す図である。この場合、第２解像度データの横方向への単位時間当たりの移動は、第１解像度データの１画素単位であり、図４（ｂ）に示すように、第２解像度データは、時刻ｔ０
，ｔ１，ｔ２，・・・で第１解像度データの１画素単位で移動している。また、第１解像度データは、図４（ａ）に示すように、‘０’，‘１’で表されるものとする。

図４においては、第２解像度データは、第１解像度データを、図３で説明したような一定値の重み付けで積分して得られた積分値、つまり平均値として表される。これは、単純な方形窓との畳み込み演算に相当する。そうすると、第２解像度データは中間値となる。つまり、第２解像度データが時刻ｔ０，ｔ１，ｔ２，・・・で１画素ずつ移動したとしても、図４（ｃ）に示すように、第２解像度データは一定値であり、第１解像度データの高周波成分が現れないデータとなる。

図５は図４を周波数空間で説明する図である。図５（ａ）の太線矢印は図４における第１解像度データのスペクトラムを模式的に示すもので、図４で示した‘０’，‘１’で表される第１解像度データは、直流成分とナイキスト周波数ｆ_Ｎ１の部分でパワーを有する。ここで、図３において説明したように第１解像度データに方形関数を作用させると、図５（ｂ）の太線で示す曲線Ａ１（図示の右方に進むに従って減衰する正弦波のような曲線）となり、これは静止状態における重み値、つまり、方形重み値のスペクトラムであり、これはｓｉｎｃ（Ｘ）関数として知られる関数である。

また、曲線Ａ１を並行移動した細線で示す曲線Ａ２〜Ａ４は、第２解像度データを第１解像度データの１画素単位で移動させた場合の効果として現れる重み値のスペクトラムである。なお、値空間での位置の移動、周波数空間では位相の変化に対応する。また、ここで考えているｓｉｎｃ（Ｘ）関数においては、位相の変化は位置の変化に対応する。

図５に示すように、静止状態での第１解像度データの表示可能な周波数範囲はナイキスト周波数ｆ_Ｎ１以下の領域である。一方、静止状態での第２解像度データの表示可能な周波数範囲はナイキスト周波数ｆ_Ｎ２以下である。
第２解像度データが移動しない場合には、図５（ｂ）の太線で示す曲線Ａ１で示すような関数となるので、図５（ｂ）の太線の曲線Ａ１と第１解像度データのスペクトラムとの積が周波数空間で考えたときの値となる。したがって、その値で重み付けするとナイキスト周波数での重み値は「０」となり、第２解像度データには直流成分のみしか現れず、高周波成分は現れない。このため、図４で説明したように、第２解像度データは一様な中間値として表示されることになる。

一方、図４に示したように、第２解像度データを第１解像度データの１画素単位で移動させた場合の効果として、第２解像度データが表示可能な周波数範囲は、図５（ｂ）に示すように広がることになる。しかし、図５（ｂ）に示した表示可能な周波数範囲において、第１解像度データの周波数は依然として直流成分しかない。よって、この重み付け処理においては、移動処理を行っても一様な中間調の直流成分しか表示されないことになる。

図６は図４及び図５で説明した畳み込み処理、つまり重み付け処理で用いる重みを行列として示す図である。なお、ここまでの説明では「０．２５」を値として持つ４次元ベクトルで良いが、以降の説明との整合性のために、冗長な２行８列の行列として記述する。

図６（ａ）に示す重み行列の１行目は、第２解像度データの偶数番目の画素についての重みであり、２行目は奇数番目の画素に対応する重みである。これは、第１解像度データの８画素を入力して第２解像度データの２画素を出力とすることを示している。
また、図６（ｂ）は図６（ａ）に示す重みを変化させた場合の重み行列を示す図である。これは、第１解像度データにおけるナイキスト周波数に対応するものである。また、偶数番画素と奇数番画素とでは位相が１８０度異なっている。この場合も、第１解像度データの８画素を入力して第２解像度データの２画素を出力としている。これは、第１解像度
データのナイキスト周波数を、第２解像度データのナイキスト周波数に対応するデータに変換するためである。

図７は図４に対して図６（ｂ）の重み行列を用いた場合について説明する図である。図７（ａ）は第１解像度データであり、これは図４（ａ）と同じものである。図７（ｂ）は図６（ｂ）に示す重み行列を用いて重み付けしたときの時刻ｔ０，ｔ１，ｔ２，・・・における第２解像度データである。これを時間方向に積分すると、図７（ｃ）に示すように、図４には現れなかった高周波成分が時間平均において現れることが分かる。つまり、第２解像度データの画素は、第１解像度データの４倍のサイズであるにも係わらず、第２解像度データの各画素の１／４の画素に対応する値を得ることができる。
これは、元画像と視線との位置関係が一定のまま、表示素子が移動し、または視線が移動し、その移動に対応つけて表示データを変化させ、かつ、表示データを変化させる時間が図２６で示したＢｌｏｃｈの法則の閾値Ｔｈ以下であれば、画像表示装置２００の物理解像度を超えた光刺激を与えることが可能となることを示すものである。

図８は図７に示した処理を周波数空間で説明する図である。なお、図８は図５に対応するものであり、図８（ａ）は図５（ａ）と同じものである。
また、図８（ｂ）は図５（ｂ）に対応するものであり、図８（ｂ）においても太線で示す曲線Ａ１が、静止状態での重み付けを表す曲線を示す。図８（ｂ）ではこの曲線Ａ１が２本（曲線Ａ１，Ａ１’とする）あり、実際の重み付けはこれら二本の曲線Ａ１，Ａ１’を加算したものであるが、説明を簡単にするために、図８（ｂ）では２本の曲線Ａ１，Ａ１’をそのまま示している。また、細線で示す曲線Ａ２〜Ａ４は、前述したように、第２解像度データを第１解像度データの１画素単位で移動させた場合の効果として現れるものである。

図８（ｂ）は、一見すると図５（ｂ）に似ている。しかし、決定的な差異は、ナイキスト周波数ｆ_Ｎ１に対応する箇所に、０ではない重みが存在するという点である。これは、ここで用いた重み付け関数が直流成分とナイキスト周波数ｆ_Ｎ１に相当する成分を持つことから、この例での最終的な重み付けが、図５に示したｓｉｎｃ（Ｘ）関数と、直流成分とナイキスト周波数ｆ_Ｎ１に存在するデルタ関数とを畳み込んだものとして得られるからである。つまり、直流成分にピークを持つｓｉｎｃ（Ｘ）関数が直流成分の位置のデルタ関数との畳み込みの結果であり、ナイキスト周波数ｆ_Ｎ１にピークを持つｓｉｎｃ（Ｘ）関数がナイキスト周波数ｆ_Ｎ１に存在するデルタ関数と畳み込みの結果である。これらの結果、ナイキスト周波数ｆ_Ｎ１に対応する箇所に、０ではない重みが現れ、最終的な表示においても、ナイキスト周波数ｆ_Ｎ１に対応する成分が現れることになる。

図９は第２解像度データの移動速度に対応する周波数空間での重みを示す図である。なお、移動速度は、移動方向と単位時間ごとの移動量で表すものとする。また、移動方向と単位時間ごとに移動量は、第１解像度データの縦方向及び／又は横方向の画素数で表されるものとする。具体的には、第２解像度データが単位時間ごとに第１解像度データの何画素単位で縦方向及び／又は横方向に移動するかで表されるものとする。

図９（ａ）は移動速度が０、すなわち、静止状態の場合であり、この場合は当然であるが移動による効果は現れず、単に静止状態での方形関数の周波数表示であるｓｉｎｃ（Ｘ）関数が現れるのみである。図９（ｂ）は第２解像度データを第１解像度データの１画素単位で移動させる場合であり、これは、図４などで説明してきた場合と同様である。この場合は、図８で説明したように、ナイキスト周波数ｆ_Ｎ１においても０ではない重みを持つ。

図９（ｃ）は第２解像度データを第１解像度データの２画素単位で移動させる場合であ
る。ここでは、ｓｉｎｃ（Ｘ）関数と、直流成分とナイキスト周波数ｆ_Ｎ１の半分の位置にあるデルタ関数との畳み込み処理の結果である。図９（ｄ）は第２解像度データを第１解像度データの３画素単位で移動させる場合である。この場合、３画素の移動は、図９（ｂ）の場合とは逆方向への１画素移動と同等であるので、図９（ｂ）と同等の重みとなる。

図１０は図９（ａ）〜（ｄ）に対応して設定される重み行列の例を示す図である。図１０（ａ）は図９（ａ）に対応する重み行列、すなわち、第２解像度データの移動速度が０（静止状態）の場合の重み行列である。図１０（ｂ）は図９（ｂ）に対応する重み行列、すなわち、第２解像度データを第１解像度データの１画素単位で移動させる場合の重み行列である。図１０（ｃ）は図９（ｃ）に対応する重み行列、すなわち、第２解像度データを第１解像度データの２画素単位で移動させる場合の重み行列である。図１０（ｄ）は図９（ｄ）に対応する重み行列、すなわち、第２解像度データを第１解像度データの３画素単位で移動させる場合の重み行列である。

これまでは、説明を簡単にするために処理対象を１次元としてきたが、処理対象を２次元へ拡張するのは容易である。
図１１は図１０に示す重み付け行列を用いて２次元の画像データに対する解像度変換処理を行う例について説明する図である。図１１に示すように、横方向の移動（横移動という）に対応する重み行列、縦方向の移動（縦移動という）に対応する重み行列を選択し、第１解像度データの８画素×８画素の領域に対し、図１１に示す演算を行うことにより、第２解像度データの２画素×２画素の領域へ変換することができる。なお、図１０に示す重み行列が横移動に対応する重み行列とすれば、縦移動に対応する重み行列は、図１０に示した横移動に対応する重み行列を転置行列としたものを用いればよい。

以上は本発明において用いる超解像処理についての説明であったが、次に本発明の具体的な実施形態について説明する。

[実施形態１]
図１２は実施形態１に係る画像表示システムの構成を示す図である。実施形態１に係る画像表示システムの全体的な構成は、図１と同様、第１解像度データを出力する画像出力装置１００と、第１解像度よりも低い第２解像度の画像表示装置２００と、第１解像度データを解像度変換して第２解像度画像データの生成を行う解像度変換装置（解像度変換装置３００Ａとする）とを有した構成となっている。

実施形態１に係る画像表示システムにおける解像度変換装置３００Ａは、前述したように、使用者に画像表示装置２００の有する物理解像度を超えた解像効果を与えるための解像度変換処理を行うものである。

解像度変換装置３００Ａは、画像出力装置１００に対し、あたかも第１解像度を有する画像表示装置２００が接続されているかのような情報として、画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部３０１と、画像出力装置１００から出力される第１解像度データを入力する第１解像度データ入力部３０２と、移動速度に対応する重みデータとして、例えば図１０で示したような重み付け行列を記憶する重みデータ記憶部３０３と、画像データの移動速度を設定する移動速度設定部３０４と、重みデータ記憶部３０３に記憶されている複数種類の重みデータの中から移動速度設定部３０４で設定された移動速度に対応した重みデータを選択する重みデータ選択部３０５と、移動速度設定部３０４で設定された移動速度に基づいて表示位置オフセットを生成する表示位置オフセット生成部３０６と、画像表示装置２００の物理解像度（第２解像度）を入力する画像表示装置解像度入力部３０７と、第１解像度データを解像度変換処
理して第２解像度データを生成する解像度変換処理部３０８と、解像度変換処理部３０８で生成された第２解像度データを表示位置オフセット生成部３０６で生成された表示位置オフセット情報に基づいて画像表示装置２００に出力する第２解像度データ出力部３０９とを有している。

解像度変換処理部３０８は、画像表示装置解像度入力部３０７に入力された画像表示装置２００の物理解像度（第２解像度）、第１解像度データ入力部３０２に入力された第１解像度データ、解像度情報出力部３０１からの仮の解像度情報、表示位置オフセット生成部３０６で生成された表示位置オフセット情報、重みデータ選択部３０５で選択された重みデータなどに基づいて解像度の変換処理を行う。

図１３は実施形態１に係る画像表示システムの解像度変換装置３００Ａが行う超解像処理手順を説明するフローチャートである。図１３において、まず、第２解像度データの移動速度設定（ステップＳ１１）、移動速度に応じた横移動の重みデータ選択（ステップＳ１２）、移動速度に応じた縦移動の重みデータ選択（ステップＳ１３）を行う。
なお、移動速度は、前述したように、第１解像度データの縦方向及び／又は横方向の画素数で表される。具体的には、第２解像度データが単位時間ごとに第１解像度データの何画素単位で縦方向及び／又は横方向に移動するかで表される。また、ステップＳ１２，Ｓ１３の処理は、重みデータ選択部３０５が、重みデータ記憶部３０３から移動速度設定部３０４で設定された移動速度に応じた重みデータ（図１０（ａ）〜（ｄ）のいずれかの重み行列）を選択する処理である。

続いて、表示終了か否かを判定し（ステップＳ１４）、表示終了であれば処理を終了するが、表示終了でなければ処理を続行する。すなわち、設定された移動速度に応じた縦横方向における表示位置オフセット生成を行う（ステップＳ１５）。

そして、全画面の処理終了か否かを判定し（ステップＳ１６）、全画面の処理が終了していなければ、第１解像度データの処理ブロックを１つ選択し(ステップＳ１７)、縦横重みデータ（縦移動の重みデータ及び横移動の重みデータ）を用いた解像度変換処理を行う（ステップＳ１８）。続いて、解像度変換処理された結果により第２解像度データの対応する画素の表示を行う（ステップＳ１９）。

ステップＳ１７〜Ｓ１９の処理を当該画面における全ての処理ブロックについて行い、全画面の処理が終了すればステップＳ１４に戻り、表示終了か否かを判定し（ステップＳ１４）、表示終了でなければ、設定された移動速度に応じた縦横方向における表示位置のオフセット生成を行う（ステップＳ１５）という処理を全画面の処理が終了し、かつ、表示処理が終了するまで繰り返し行う。

図１４は第２解像度データが移動する際の第２解像度データの端部処理について説明する図である。図１４において、太線で示す枠内の四角は処理ブロックを示している。図１４（ａ）は第２解像度データが移動する前の状態であって、第１解像度データと第２解像度データとの対応が取れている場合であり、この状態から、第２解像度データを所定の移動速度で移動させることにより、第２解像度データが図１４（ｂ）に示すような位置となると、第２解像度データには第１解像度データのデータ範囲を外れる領域が生じる。このような場合、第１解像度データのデータ範囲を外れた第２解像度データの領域には、図示の矢印ａで示すように、第１解像度データの端部に位置する画素の値を用いることが適切である。

なお、第２解像度データの移動を行う際、第１解像度データのデータ範囲を外れる領域が大きくなりすぎるのを防ぐため、第２解像度データを所定領域内で往復動させたり、所
定領域内で８の字型に移動させたり、所定領域内で周回移動させたりすることが好ましい。

次に、第１解像度データを第２解像度データに解像度変換する具体的な例を図１５から図１７を参照して説明する。なお、図１５から図１７では、３２０画素×２４０画素の第１解像度データを、８０画素×６０画素の解像度を有する画像表示装置で表示する例について説明する。

図１５は第２解像度データの移動速度が「０」の場合の解像度変換例を示す図である。図１５（ａ）は第１解像度データに対応する入力画像である。この場合、重みデータ選択部３０５は、重みデータ記憶部３０３から図１０（ａ）に示す「移動速度０（静止状態）」の重み行列を重みデータとして選択して、解像度変換処理部３０８に渡す。解像度変換処理部３０８は、第１解像度データに対し、図１０（ａ）に示す重み行列を用いて解像度変換処理を行う。
図１５（ｂ）は図１０（ａ）に示す重み行列を用いた解像度変換処理によって生成された第２解像度データに対応する表示画像であり、図１５（ｂ）に示す表示画像は、図１５（ａ）に示す入力画像を単に画素を間引いた粗い画像となる。

図１５では３２０画素×２４０画素を有する第１解像度データを８０画素×６０画素を有する表示装置で表示する場合を例示したが、例えば、１０００万画素程度の画像データを、ＸＧＡ（１０２４画素×７２０画素）のプロジェクタなどの画像表示装置で表示する場合にも同様の傾向となる。

図１６は第２解像度データを単位時間ごとに第１解像度データの１画素単位で横方向に移動させる場合の解像度変換例を示す図である。なお、第２解像度データが単位時間ごとに第１解像度データの１画素単位での横方向（Ｘ方向）の移動を行うということは、第２解像度データは自身の１画素の１／４画素単位で横移動するということである。図１６（ａ）は図１５（ａ）と同様、第１解像度データに対応する入力画像である。

この場合、重みデータ選択部３０５は、重みデータ記憶部３０３から図１０（ｂ）に示す重み行列を重みデータとして選択して、解像度変換処理部３０８に渡す。解像度変換処理部３０８は、図１０（ｂ）に示す重み行列を用いて解像度変換を行う。このとき、表示オフセット位置は図１６（ｂ）のように第１解像度データの１画素単位で横方向（Ｘ方向）に変化する。

ところで、前述したＢｌｏｃｈの法則で定められている閾値Ｔｈの最短値を１０ミリ秒とすれば、これを満足させるために、画像表示装置２００では毎秒１２０フレーム（フレーム周期は約８ミリ秒）で表示を行うものとする。ちなみに、現在のプロジェクタは毎秒１２０フレームで表示を行っているものが多い。このように、毎秒１２０フレームで表示を行った場合、毎秒１２０フレームの各々のフレームを第１解像度データの１画素単位で移動させると、第２解像度データの移動量は、毎秒３０画素となる。

これは、画像表示装置２００がＸＧＡの解像度を有するとすれば、表示領域の幅方向（横方向）の画素数の３％程度の画像移動である。なお、図１６（ｂ）は表示画像が横方向に移動する例であるが、横方向の移動は一方向である必要は無く、左右方向に往復動するような動きであってもよい。

図１７は画像移動を行うことによって得られる効果について説明する図である。図１７（ａ）は画像移動がない場合の表示画像（静止表示画像）であり、これは図１５（ｂ）と同じ表示画像である。
また、図１７（ｂ）は、第２解像度データを単位時間ごとに第１解像度データの１画素単位で横方向（Ｘ方向）に移動させる場合の重みデータ（例えば、図１０（ａ）に示す重み行列）を用いて解像度変換したときの表示画像である。すなわち、図１６で説明したような解像度変換処理を行った場合の結果として得られる表示画像であり、これを横方向超解像処理画像と呼ぶことにする。

また、図１７（ｃ）は、第２解像度データを単位時間ごとに第１解像度データの１画素単位で縦方向（Ｙ方向）に移動させる場合の重みデータ（例えば、図１０（ａ）に示す重み行列の転置行列）を用いて解像度変換したときの表示画像である。図１７（ｃ）は、図１６で説明したような解像度変換処理を縦方向に行った場合の結果として得られる表示画像であり、これを縦方向超解像処理画像と呼ぶことにする。

図１７（ａ）〜（ｃ）を比較すると、図１７（ａ）の静止表示画像は、入力画像（図１６（ａ）参照）を表示装置の解像度に合わせて単に間引きした画像であり、全体にぼやけた画像となる。これに対して、図１７（ｂ）の横方向超解像処理画像は、横方向への画像移動を行った場合の重みデータを用いて解像度変換したときの表示画像であるため、表示画像中における縦方向に延びる直線成分を有する領域（例えば、図中波線枠Ｃ１内の領域）の分解能が図１７（ａ）に比べて改善される。

また、図１７（ｃ）の縦方向超解像処理画像は、縦方向への画像移動を行った場合の重みデータを用いて解像度変換したときの表示画像であるため、表示画像中における横方向に延びる直線成分を有する領域（例えば、図中波線枠Ｃ２内の領域）の分解能が図１７（ａ）に比べて改善される。

なお、図１７（ｂ）においては、表示画像中における横方向に延びる直線成分を有する領域の分解能はそのままであり、図１７（ｃ）においては、表示画像中における横方向に延びる直線成分を有する領域の分解能はそのままであるので、画像を縦方向及び横方向に所定の移動速度で移動させた解像度変換処理を行うことにより、表示画像の分解能は縦横両方向において改善される。

［実施形態２］
実施形態１で説明した超解像処理を有効なものとするためには、使用者の視線を想定した方向へ想定した速度で移動させることが必要である。すなわち、第２解像度データすなわち画像表示装置で表示する表示画像を移動させる際、使用者の視線が表示画像の動きに正確に追従することによって超解像処理の効果が得られる。したがって、使用者の視線を想定した方向へ想定した速度で誘導させる何らかの手段を設けることが好ましい。

図１８は実施形態２に係る画像表示システムの構成を示す図である。実施形態２に係る画像表示システムの全体的な構成は、実施形態２に係る画像表示システムと同様、第１解像度データを出力する画像出力装置１００と、第１解像度よりも低い第２解像度の画像表示装置２００と、第１解像度データを解像度変換して第２解像度画像データの生成を行う解像度変換装置（解像度変換装置３００Ｂとする）とを有した構成となっている。

実施形態２に係る画像表示システムにおける解像度変換装置３００Ｂは、視線ガイド表示位置設定部３１０と視線ガイド重畳部３１１が設けられている点が図１２に示す解像度変換装置３００Ａと異なり、その他は図１２に示した解像度変換装置３００Ａと同様の構成要素を有している。

視線ガイド表示位置設定部３１０は、ユーザの視線を誘導するための視線ガイドの入力位置を使用者の指示によって表示画像上に設定可能とするものである。また、視線ガイド
重畳部３１１は、視線ガイド表示位置設定部３１０によって設定された視線ガイド表示位置に視線ガイドとしてのマーク（視線ガイドマークＭという）を第２解像度データに重畳させる処理を行う。

図１９は視線ガイド表示位置設定部３１０によってユーザにより設定された位置に表示された視線ガイドマークＭの一例を示す図である。視線ガイドマークＭの表示位置は、表示画像上においてユーザが最も注目する位置であることが好ましく、また、周囲の画像との間に明確なコントラストを有するものが好ましい。図１９の例は視線ガイドマークＭとして星印のマークが表示された例が示されている。

図２０は実施形態２に係る画像表示システムの解像度変換装置３００Ｂが行う超解像処理手順を説明するフローチャートである。図２１に示すフローチャートは、図１４に示したフローチャートに対し、ユーザによって指示された位置を視線ガイド表示位置として設定する処理(ステップＳ１０)と、視線ガイドマークＭに対応する視線ガイドデータを第２解像度データ上の所定位置（ステップＳ１０により設定された位置）に重畳させる処理(ステップＳ２０)が加わっている。

視線ガイドデータの重畳処理は、図２０のフローチャートにおいて、縦横方向における表示位置オフセット生成（ステップＳ１５）がなされたあと、全ての処理ブロックについての処理が終了したか否かを判定（ステップＳ１６）した結果、全ての処理ブロックについての処理が終了したあとに行われる。

このような処理を行うことにより、第２解像度データに対応する表示画像の移動に伴って視線ガイドマークも移動する。これにより、使用者は表示画像中において使用者自身が最も注目する位置に表示される視線ガイドマークＭを視線で追う自然な動作を行うと考えられるので、使用者の視線を所望とする方向及び速度で誘導させることができる。使用者の視線が画像の動きに正確に追従することによって、本発明の超解像処理を有効に機能させることができる。

［実施形態３］
実施形態３に係る画像表示システムは、第２解像度データをどの方向に移動させると、より効果的な超解像処理を行うことができるかを調べた上で、これまで説明した超解像処理を行うものである。すなわち、より効果的な超解像処理を行うには、入力画像データに存在する直線成分に対して直交する方向に画像の移動を行うことが好ましい。これを行うには入力画像データ（第１解像度データ）に存在する直線成分を検出する必要がある。

図２１は実施形態３に係る画像表示システムの構成を示す図である。実施形態３に係る画像表示システムの全体的な構成は、実施形態１に係る画像表示システムと同様、第１解像度データを出力する画像出力装置１００と、第１解像度よりも低い第２解像度の画像表示装置２００と、第１解像度データを解像度変換して第２解像度画像データの生成を行う解像度変換装置（解像度変換装置３００Ｃとする）とを有した構成となっている。

実施形態３に係る画像表示システムにおける解像度変換装置３００Ｃは、第１解像度データにおける直線成分の検出を行う領域としての直線成分検出領域の設定が可能な直線成分検出領域設定部３２０と、直線成分検出領域設定部３２０によって設定された直線成分検出領域の直線成分を検出する直線成分検出部３２１と、直線成分検出領域設定部３２０によって設定された直線成分検出領域を第２解像度データ上に重畳させる直線成分検出領域重畳部３２２とを有している点が図１２に示す解像度変換装置３００Ａと異なり、その他は図１２に示す解像度変換装置３００Ａと同様の構成要素を有している。
なお、解像度変換装置３００Ｃにおける移動速度設定部３０４は、直線成分検出部３２
１による直線成分検出結果に基づいて移動方向を設定する。

直線成分検出領域設定部３２０は、使用者によって表示画像上に直線成分検出領域の設定を可能とするものである。なお、直線成分検出領域の設定は、使用者が表示画像上でマウスのドラッグなどで設定することが可能である。
直線成分検出部３２１は、直線成分検出領域設定部３２０によって設定された直線成分検出領域の直線成分を検出する処理を行う。実施形態３に係る画像表示システムにおいては、直線成分検出領域における直線成分の検出を、ラドン変換を用いて行うものとする。
また、直線成分検出領域重畳部３２２は、直線成分検出領域設定部３２０によって設定された直線成分検出領域を第２解像度データに重畳させるものである。

図２２はラドン変換について説明する図である。ラドン変換は、ある方位角θを持った直線Ｌを考え、その直線Ｌ上へ処理対象となる画像データの射影を考えるものである。つまり、ある方位角θにおいて、処理対象となる画像データ中に、直線Ｌと直行する方向の直線成分が存在すれば、図２２に示すように、直線Ｌ上の対応する位置に大きな射影値（画素値の積算値）が得られることになる。

図２３は使用者によって設定された直線成分検出領域におけるラドン変換について説明する図である。図２３（ａ）において、白抜きの線で示す枠で囲まれた領域が直線成分検出領域Ｄ１として表示画像上に設定された領域であるとする。図２３（ａ）に示す直線成分検出領域Ｄ１におけるラドン変換を、方位角がθ＝０度（水平方向とする）から±９０度（反時計方向を「＋」、時計方向を「−」とする）の範囲で所定の方位角ごとに行った結果、図２３（ｂ）に示すような結果が得られたとする。

図２３（ｂ）は各方位角におけるラドン変換の距離についての画素の積算値（以下では単に積算値という）を表している。なお、各方位角におけるラドン変換の距離ｒについての積算値を求める際は、所定の範囲の値（例えば平均値から±σ程度以上離れた値）のみを考え、その値と平均値との差を求め、それを距離ｒについて積算した値を当該方位角におけるラドン変換の積算値とする。

このようにして求められた各方位角におけるラドン変換の距離ｒについての積算値の絶対値が最大となる方位角θを移動方向とする。すなわち、積算値の絶対値が最大となる方位角θは、当該方位角θを有する直線に直交する方向に最も多くの直線成分が存在する方向であり、その方位角の方向に画像移動を行えば、より大きな超解像効果が得られる。

図２３（ｂ）からも明らかなように、直線成分検出領域Ｄ１においては、方位角θがθ≒−２５度で積算値が最大となり、その方位角θを有する直線と直交する線分上に直線成分が多いということがわかる。したがって、図２３（ａ）に示す直線成分検出領域Ｄ１においては、第２解像度データの移動方向を図２３（ａ）に示す矢印α１の方向に設定することが有効であることがわかる。

図２４は直線成分検出領域の他の設定例を示す図である。図２４に示すように直線成分検出領域Ｄ２が設定されたとすると、この場合も上記同様の処理を行うことによって、積算値の絶対値が最大となる方位角θを得ることができる。この場合、方位角が０度（水平方向）で積算値が最大となったとすると、直線成分検出領域Ｄ２においては、方位角０度の方向（水平方向）の直線と直交する方向（図２４の表示画像における上下方向）に直線成分が多いということがわかる。したがって、図２４に示す直線成分検出領域Ｄ２においては、第２解像度データの移動方向を図２４に示す矢印α２の方向に設定することが有効であることがわかる。

図２５は実施形態３に係る画像表示システムの解像度変換装置３００Ｃが行う超解像度処理手順を説明するフローチャートである。図２５に示すフローチャートは、図１３に示したフローチャートのステップＳ１１の処理（移動速度の設定）を上記したラドン変換を用いて自動的に行う点が図１３に示すフローチャートと異なる。

移動速度の設定は、図２５に示すように、ステップＳ３１〜Ｓ３５によって行われる。すなわち、直線成分検出領域を設定し（ステップＳ３１）、設定された直線成分検出領域について、各方位角におけるラドン変換を行う（ステップＳ３２）。そして、各方位角におけるラドン変換の距離についての積算を行い（ステップＳ３３）、距離についての積算値の最大値を与える方位角の方向を移動方向とする（ステップＳ３４）。続いて、移動方向の横成分と縦成分との比に近い値となる最小の横方向移動速度及び縦方向移動速度を設定する（ステップＳ３５）。そして、ステップＳ３６以降の処理に入る。ステップＳ３６以降の処理は、図１３におけるステップＳ１２以降の処理と同じであるので、その説明は省略する。

なお、ステップＳ３５の処理における横方向移動速度及び縦方向移動速度の設定は、第２解像度データの縦横方向への単位時間ごとの移動量を設定するもので、具体的には、第２解像度データを単位時間ごとに第１解像度データの縦方向及び／又は横方向に何画素移動させるかを設定するものである。

以上説明したように、実施形態３に係る画像表示システムでは、第１解像度データにおいて設定された直線成分検出領域にどのような方向の直線成分が多く含まれているかを調べ、その直線成分と直交する方向を取得して、取得した方向を第２解像度データの移動方向とすることにより、より有効な超解像処理を行うことができる。

なお、上記した例では、設定された直線成分検出領域について直線成分を調べ、その結果に基づいて画像の移動方向を設定するようにしたが、設定された直線成分検出領域だけではなく第１解像度データ全体の直線成分を検出して、画像の移動方向を設定するようにしてもよい。また、直線成分を検出する手段としてラドン変換を用いたが、他の手段を用いてもよい。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、実施形態３に係る画像表示システムは、実施形態１に係る画像表示システムについて、画像中の直線成分を検出し、その検出結果に基づいて第２解像度データの移動方向を決定する処理を付加したが、実施形態２に係る画像表示システムに対しても同様の処理を付加することができる。このように、実施形態２に係る画像表示システムと、実施形態３に係る画像表示システムとを組み合わせることにより、実施形態２に係る画像表示システムにおいて得られる効果のほかに、実施形態３に係る画像表示システムによって得られる効果を併せ持った画像表示システムとすることができる。

また、図１では、画像出力装置１００と解像度変換装置３００とがそれぞれ独立した装置であるかのように示されているが、画像出力装置１００と解像度変換装置３００は、一台の情報処理装置（例えばＰＣ）に、当該情報処理装置の有する機能として組み込むことが可能である。したがって、画像出力装置１００及び解像度変換装置３００のそれぞれの機能を有する情報処理装置と画像表示装置２００とからなる画像表示システムを構成することが可能である。また、画像出力装置１００及び解像度変換装置３００のそれぞれの機能を有する情報処理装置と画像表示装置２００とを１セットとして組み込んだ画像表示システムを構成することも可能である。また、画像出力装置１００、解像度変換装置３００及び画像表示装置２００をそれぞれ独立した構成とし、これら画像出力装置１００、解像
度変換装置３００及び画像表示装置２００を接続ケーブルやネットワークなどで相互に接続した画像表示システムであってもよい。

したがって、本発明の画像表示システムは、画像出力装置１００及び解像度変換装置３００のそれぞれの機能を有する情報処理装置と画像表示装置２００とからなる画像表示システム、画像出力装置１００及び解像度変換装置３００のそれぞれの機能を有する情報処理装置と画像表示装置２００とを１セットとして組み込んだ画像表示システム、画像出力装置１００、解像度変換装置３００及び画像表示装置２００をそれぞれ独立した構成とし、これら画像出力装置１００、解像度変換装置３００及び画像表示装置を接続ケーブルやネットワークなどで相互に接続した画像表示システムの全てを含むものである。これは、実施形態１〜３においても同様である。ただし、実施形態１〜３においては、解像度変換装置３００は、解像度変換装置３００Ａ，３００Ｂ，３００Ｃとしている。

また、実施形態１〜３に係る画像表示システムにおいて説明した解像度変換装置３００Ａ，３００Ｂ，３００Ｃにおける処理を当該解像度変換装置に実行させるためのプログラムとしての解像度変換プログラムを作成することが可能であり、また、作成した解像度変換プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、解像度変換プログラムを記録した記録媒体をも含むものである。また、解像度変換プログラムはネットワークから取得するようにしてもよい。

本発明の画像表示システムの概要を説明する図。 一般的な撮像素子の解像度と一般的な画像表示装置の解像度との比較を説明する図。 第１解像度データを第２解像度の画像表示装置で表示する場合の一般的な解像度変換例を示す図。 図３に示す解像度変換例において第２解像度データの移動が加わった場合を示す図。 図４を周波数空間で説明する図。 図４及び図５で説明した畳み込み処理、つまり重み付け処理で用いる重みを行列として示す図。 図４に対して図６（ｂ）の重み行列を用いた場合について説明する図。 図７に示した処理を周波数空間で説明する図。 第２解像度データの移動速度に対応する周波数空間での重みを示す図。 図９（ａ）〜（ｄ）に対応して設定される重み行列の例を示す図。 図１０に示す重み付け行列を用いて２次元の画像データに対する解像度変換処理を行う例について説明する図。 実施形態１に係る画像表示システムの構成を示す図。 実施形態１に係る画像表示システムの解像度変換装置３００Ａが行う超解像処理手順を説明するフローチャート。 第２解像度データが移動する際の第２解像度データの端部処理について説明する図。 第２解像度データの移動速度が「０」の場合の解像度変換例を示す図。 第２解像度データを単位時間ごとに第１解像度データの１画素単位で横方向に移動させる場合の解像度変換例を示す図。 画像移動を行うことによって得られる効果について説明する図。 実施形態２に係る画像表示システムの構成を示す図。 視線ガイド表示位置設定部３１０によってユーザにより設定された位置に表示された視線ガイドマークＭの一例を示す図。 実施形態２に係る画像表示システムの解像度変換装置３００Ｂが行う超解像処理手順を説明するフローチャート。 実施形態３に係る画像表示システムの構成を示す図。 ラドン変換について説明する図。 使用者によって設定された直線成分検出領域におけるラドン変換について説明する図。 直線成分検出領域の他の設定例を示す図。 実施形態３に係る画像表示システムの解像度変換装置３００Ｃが行う超解像度処理手順を説明するフローチャート。 人間の視覚の基本的な特性を表すＢｌｏｃｈの法則を説明する図。

符号の説明

１００・・・画像出力装置、２００・・・画像表示装置、３００，３００Ａ，３００Ｂ，３００Ｃ・・・解像度変換装置、３０１・・・解像度情報出力部、３０２・・・第１解像度データ入力部、３０３・・・重みデータ記憶部、３０４・・・移動速度設定部、３０５・・・重みデータ選択部、３０６・・・表示位置オフセット生成部、３０７・・・画像表示装置解像度入力部、３０８・・・解像度変換処理部、３０９・・・第２解像度データ出力部、３１０・・・視線ガイド表示位置設定部、３１１・・・視線ガイド重畳部、３２０・・・直線成分検出領域設定部、３２１・・・直線成分検出部、３２２・・・直線成分検出領域重畳部、Ｍ・・・視線ガイドマーク、Ｄ１，Ｄ２・・・直線成分検出領域

Claims (12)

1. 画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する解像度変換装置であって、
   前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部と、
   前記画像出力装置から前記第１解像度データを入力する第１解像度データ入力部と、
   使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定可能な移動速度設定部と、
   前記移動速度設定部によって設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成する解像度変換処理部と、
   を有することを特徴とする解像度変換装置。
2. 請求項１に記載の解像度変換装置において、
   前記移動速度設定部は、複数種類の移動速度を設定可能であって、前記重みデータは、前記複数種類の移動速度の各々の移動動速度に対応して設定されることを特徴とする解像度変換装置。
3. 請求項１又は２に記載の解像度変換装置において、
   前記移動方向と単位時間ごとの移動量は、前記第１解像度データの縦方向及び／又は横方向の画素数で表されることを特徴とする解像度変換装置。
4. 請求項１〜３のいずれかに記載の解像度変換装置において、
   前記単位時間は、光強度の時間積分値が人間の感覚的な光強度として知覚できる光パルスの時間的な長さの上限値以下で、かつ、前記第２解像度データに対応する表示画像を所定のフレームレートで表示する際の少なくとも１つのフレームのフレーム周期に対応する時間に設定されることを特徴とする解像度変換装置。
5. 請求項１〜４のいずれかに記載の解像度変換装置において、
   前記重みデータは、前記第２解像度データに対応する表示画像を前記設定された移動速度によって移動させたときに、前記第２解像度データの各画素に、前記第１解像度データの対応する画素の値の有する高周波成分が現れるように設定されたデータであることを特徴とする解像度変換装置。
6. 請求項１〜５のいずれかに記載の解像度変換装置において、
   前記使用者の視線を誘導するための視線ガイドを前記第２解像度データに対応する表示画像上の所定位置に表示する際の視線ガイド表示位置を設定可能な視線ガイド表示位置設定部と、
   前記視線ガイド表示位置設定部によって設定された視線ガイド表示位置に、前記視線ガイドを前記第２解像度データに重畳させる視線ガイド重畳部と、
   を有することを特徴とする解像度変換装置。
7. 請求項１〜６のいずれかに記載の解像度変換装置において、
   前記第１解像度データにおける直線成分を検出する直線成分検出部を有し、
   前記移動速度設定部は、前記直線成分検出部の検出結果に基づいて前記移動方向を設定する機能を有することを特徴とする解像度変換装置。
8. 請求項７に記載の解像度変換装置において、
   前記直線成分を検出する領域としての直線成分検出領域の設定が可能な直線成分検出領域設定部を有し、前記直線成分検出部は前記直線成分検出領域で前記直線成分の検出を行うことを特徴とする解像度変換装置。
9. 請求項７又は８に記載の解像度変換装置において、
   前記直線成分の検出は、ラドン変換を用いることを特徴とする解像度変換装置。
10. 画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する解像度変換方法であって、
    前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力するステップと、
    前記画像出力装置から前記第１解像度データを入力するステップと、
    使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定するステップと、
    前記設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成するステップと、
    を有することを特徴とする解像度変換方法。
11. 画像出力装置から出力される第１解像度を有する第１解像度データを前記第１解像度よりも低い第２解像度の画像表示装置で表示させるために、前記第１解像度データを解像度変換して前記第２解像度を有する第２解像度データを生成する処理を解像度変換装置に実行させるための解像度変換プログラムであって、
    前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力するステップと、
    前記画像出力装置から前記第１解像度データを入力するステップと、
    使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定するステップと、
    前記設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成するステップと、
    を有することを特徴とする解像度変換プログラム。
12. 第１解像度を有する第１解像度データを出力する画像出力装置と、前記第１解像度よりも低い第２解像度の画像表示装置と、前記第１解像度データを解像度変換して第２解像度を有する第２解像度画像データの生成を行う解像度変換装置とを有する画像表示システムであって、
    前記解像度変換装置は、
    前記画像出力装置に対し前記画像表示装置の解像度が第１解像度であることを示す仮の解像度情報を出力する解像度情報出力部と、
    前記画像出力装置から前記第１解像度データを入力する第１解像度データ入力部と、
    使用者の視線移動を誘導させるために前記第２解像度データに対応する表示画像の移動を行う際の移動速度を前記第２解像度データの移動方向と単位時間ごとの移動量とによって設定可能な移動速度設定部と、
    前記移動速度設定部によって設定された移動速度に対応した重みデータを用いて前記第１解像度データを解像度変換して前記第２解像度データを生成する解像度変換処理部と、
    を有することを特徴とする画像表示システム。