JP2007041196A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 静止画像データの高解像度画像としての表示処理を実現する画像処理装置および方法を提供する。
【解決手段】 静止画像を表示装置に表示する際、所定のスクロール速度で表示を行なう構成とし、このスクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を実行してフレーム画像を生成して表示部に出力する。本構成によれば、表示部に表示されるスクロール画像が、視覚系による超解像効果を引き起こし、ユーザ（視覚者）には、表示部の画素数以上の高解像度画像として観察され、高品質な表示画像の提供が実現される。
【選択図】 図１

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、静止画像をディスプレイに表示する場合に高品質な高解像度画像の提示を可能としたものであり、静止画像をスクロール表示することで、高解像度表示を実現する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

昨今のデジタルカメラは、数１００万画素を超える画素数を持つ撮像素子（ＣＣＤ）を持ち、高画質画像データを撮影可能な構成をもつものが多い。しかし、このような撮影画像を表示するディスプレイの解像度は、これだけの画素数に対応可能なものは少なく、表示画像は、撮影画像の持つ高品質なデータを再現できていないというのが現状である。

表示装置の持つ限られた画素数を超える高解像度表示を実現する方法については、いくつかの技術が提案されている。例えば、特許文献１〜３には、多数の発光素子を直線状に配列した発光素子列を一定間隔で多数配設して表示部を構成し、これに表示データの各列のデータを各発光素子列に時間制御しながら供給することで、残像効果を利用したスクロール表示を行う方法が提案されている。
特開平８―１７９７１７号公報 特開平９―３１１６５９号公報 特開２０００−８１８５６号公報

上記した従来技術、すなわち、発光素子を一定間隔で多数配設した表示部に残像効果を利用してスクロール表示を行う構成は、コストダウンのため、少ない数の発光素子によって詳細な画像を視認可能とすることを目的とし、具体的にはＬＥＤを採用した電光掲示板におけるＬＥＤ発光制御により視認性を向上させた構成を示しているのみであり、上述したような、デジタルカメラなどで撮影された高解像度画像を、解像度レベルのさほど高くない液晶ディスプレイなどに表示する際の高解像度表現を実現するものではない。

本発明は、例えば高解像度の撮像素子において撮影された画像データを入力し、低解像度のディスプレイを適用した場合でも、高解像度画像として観察可能な画像を表示することを実現するものであり、静止画像の画像処理を実行し、処理画像のスクロール表示を行なうことで、ディスプレイの有する解像度以上の高い解像度レベルでの画像提示を実現する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
静止画像データを入力する画像入力部と、
前記静止画像データに対する画素数変換を行う画素数変換処理部と、
前記画素数変換処理部において生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理部と、
前記画素数変換処理および表示画像生成処理を制御する制御部とを有し、
前記画素数変換処理部は、
前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を実行する空間間引き処理部を有する構成であり、
前記表示画像生成処理部は、
フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行う構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、画像表示部に表示するスクロール画像のスクロール移動速度に基づいて、超解像効果が得られる条件を満たす空間間引き量を決定する処理を実行する構成であり、前記空間間引き処理部は、前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、画像表示部に表示するスクロール画像のスクロール移動速度と、超解像効果が得られる条件を満たす空間間引き量とを対応付けたテーブルに基づいて空間間引き量を決定する処理を実行する構成であり、前記空間間引き処理部は、前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、画像表示部に表示するスクロール画像のスクロール移動速度が、超解像効果が得られる条件を満たす空間間引き量ｎに対応する速度範囲にあるか否かを、予め定めたｎの最大値から順次検証し、より大きな空間間引き量ｎを、前記空間間引き処理部における間引き量として決定する処理を実行する構成であり、前記空間間引き処理部は、前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画素数変換処理部は、空間フィルタ処理部と、空間間引き処理部を有し、前記画像入力部に入力する静止画像が画素数ｍ×ｎの入力画像であり、前記画像表示部に出力するスクロール表示画像がｐ×ｑの出力画像であり、超解像度効果を奏する空間間引き量を、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとしたとき、前記空間フィルタ処理部は、前記画像入力部に入力する画素数ｍ×ｎの入力画像を画素数Ｄｘｐ×Ｄｙｑの画像に変換する処理を実行し、前記空間間引き処理部は、前記空間フィルタ処理部の生成した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとした空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記空間フィルタ処理部の処理画像を格納するメモリを有し、前記空間間引き処理部は、前記メモリから取得した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、フレーム個別に空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記スクロール移動速度を含むパラメータを入力するパラメータ入力部を有し、前記制御部は、前記パラメータ入力部から入力されたスクロール移動速度情報に基づいて前記空間間引き処理部における間引き量の決定処理を行う構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記スクロール移動速度を含むパラメータを決定するパラメータ算出部を有し、前記パラメータ算出部は、前記画像入力部に入力される静止画像の画素数を入力し、超解像効果を得る条件を満たすスクロール画像の画素数およびスクロール移動速度の値を算出し、算出情報に従って、前記空間間引き処理部における間引き量の決定処理を行う構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記表示画像生成処理部は、フレーム個別に空間間引き処理の実行されたフレーム画像に基づいて、スクロール移動速度に基づくフレーム移動を考慮したフレーム単位のレンダリング処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記表示画像生成処理部の生成したスクロール表示画像の表示処理を実行する画像表示部を有する構成であることを特徴とする。

さらに、本発明の第２の側面は、
静止画像データを入力する画像入力ステップと、
画像処理パラメータを決定するパラメータ決定ステップと、
前記パラメータに基づいて静止画像データに対する画素数変換を行う画素数変換処理ステップと、
前記画素数変換処理ステップにおいて生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理ステップを有し、
前記画素数変換処理ステップは、
前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を前記パラメータに基づいて実行する空間間引き処理ステップを含み、
前記表示画像生成処理ステップは、
フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行うステップであることを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記パラメータ決定ステップは、画像表示部に表示するスクロール画像のスクロール移動速度に基づいて、超解像効果が得られる条件を満たす空間間引き量を決定する処理を実行し、前記空間間引き処理ステップは、前記パラメータ決定ステップにおいて決定した空間間引き量に従った空間間引き処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記パラメータ決定ステップは、前記画像表示部に表示するスクロール画像のスクロール移動速度と、超解像効果が得られる条件を満たす空間間引き量とを対応付けたテーブルに基づいて空間間引き量を決定する処理を実行し、前記空間間引き処理ステップは、前記パラメータ決定ステップにおいて決定した空間間引き量に従った空間間引き処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記パラメータ決定ステップは、画像表示部に表示するスクロール画像のスクロール移動速度が、超解像効果が得られる条件を満たす空間間引き量ｎに対応する速度範囲にあるか否かを、予め定めたｎの最大値から順次検証し、より大きな空間間引き量ｎを、前記空間間引き処理ステップにおける間引き量として決定する処理を実行し、前記空間間引き処理ステップは、前記制御ステップの決定した空間間引き量に従った空間間引き処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画素数変換処理ステップは、空間フィルタ処理ステップと、空間間引き処理ステップを有し、前記画像入力ステップにおいて入力する静止画像が画素数ｍ×ｎの入力画像であり、画像表示部に出力するスクロール表示画像がｐ×ｑの出力画像であり、超解像度効果を奏する空間間引き量を、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとしたとき、前記空間フィルタ処理ステップは、前記画像入力ステップにおいて入力する画素数ｍ×ｎの入力画像を画素数Ｄｘｐ×Ｄｙｑの画像に変換する処理を実行し、前記空間間引き処理ステップは、前記空間フィルタ処理ステップの生成した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとした空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記空間フィルタ処理ステップにおける処理画像をメモリに格納するメモリ格納ステップを有し、前記空間間引き処理ステップは、前記メモリから取得した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、フレーム個別に空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記スクロール移動速度を含むパラメータを入力するパラメータ入力ステップを有し、前記パラメータ決定ステップは、前記パラメータ入力ステップにおいて入力されたスクロール移動速度情報に基づいて前記空間間引き処理ステップにおいて適用する間引き量の決定処理を行うことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記パラメータ決定ステップは、前記画像入力ステップにおいて入力した静止画像の画素数を入力し、超解像効果を得る条件を満たすスクロール画像の画素数およびスクロール移動速度の値を算出し、算出情報に従って、前記空間間引き処理ステップにおける間引き量の決定処理を行うことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記表示画像生成処理ステップは、フレーム個別に空間間引き処理の実行されたフレーム画像に基づいて、スクロール移動速度に基づくフレーム移動を考慮したフレーム単位のレンダリング処理を実行するステップを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記表示画像生成処理ステップの生成したスクロール表示画像の表示処理を実行する画像表示ステップを有することを特徴とする。

さらに、本発明の第３の側面は、
静止画像に基づくスクロール画像の生成処理を画像処理装置において実行させるコンピュータ・プログラムであり、
静止画像データを入力する画像入力ステップと、
画像処理パラメータを決定するパラメータ決定ステップと、
前記パラメータに基づいて静止画像データに対する画素数変換を行う画素数変換処理ステップと、
前記画素数変換処理ステップにおいて生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理ステップを有し、
前記画素数変換処理ステップは、
前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を前記パラメータに基づいて実行する空間間引き処理ステップを含み、
前記表示画像生成処理ステップは、
フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行うステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、静止画像を表示装置に表示する際、所定のスクロール速度で表示を行なう構成とし、このスクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を実行してフレーム画像を生成して表示部に出力する構成としたので、表示部に表示されるスクロール画像が、視覚系による超解像効果を引き起こし、ユーザ（視覚者）には、表示部の画素数以上の高解像度画像として観察され、高品質な表示画像の提供が可能となる。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの構成について説明する。

本発明の第１の実施例に係る画像処理装置の構成および処理について、図１以下を参照して説明する。図１は、本発明の第１の実施例に係る画像処理装置の構成を示すブロック図であり、静止画像データを入力し、入力静止画像データの画像処理を実行し、ディスプレイ等の画像表示部に表示する画像処理装置を示している。本発明の画像処理装置において、画像入力部１１に入力される静止画像は、例えばデジタルカメラなどによって撮影された比較的高解像度の画像データであり、画像を出力する画像表示部４は、例えば入力画像の解像度レベル以下の解像度を持つディスプレイである。

本発明の画像処理装置は、画像入力部１１に入力される静止画像データに対して、パラメータ入力部１２に入力されるパラメータに基づく画像処理を実行し、画像表示部４に静止画像のスクロール画像を表示する。このスクロール画像が、画像を見るユーザにとって、高解像度画像として観察される画像となる。

図１に示す画像処理装置の構成について説明する。本実施例における画像処理装置は、入力静止画像信号を入力するとともに、画像表示部４に表示するためのスクロール画像の生成処理に必要なパラメータを入力するインターフェース部１、パラメータに基づく画素数変換および出力画像生成を行う画像変換処理部２、画像変換処理部２における画像変換処理を制御する制御部３、画像変換処理部２において生成された画像信号の表示処理を行なう画像表示部４から構成される。

インターフェース部１は、入力静止画像信号を入力する画像入力部１１とスクロール画像生成に必要なパラメータを入力するパラメータ入力部１２から構成される。画像入力部１１は、前述したように、例えばデジタルカメラの撮影画像などの静止画像信号を入力する。

画像入力部１１に入力される静止画像は、画像処理装置において規定される内部データ形式の信号に変換される。また、入力画像の解析あるいは入力画像に付属する属性情報の解析によって、静止画像の構成画素数が取得される。画像入力部１１において変換された内部データ形式信号は、画像変換処理部２へと出力される。また、画像入力部１１において取得された入力静止画像の画素数データは、制御部３へと出力される。

一方、インターフェース部１のパラメータ入力部１２には、スクロール画像の生成に必要なパラメータが入力される。これらのパラメータの一部は、後段で説明するユーザインタフェースを介してユーザが任意に設定可能である。

なお、処理に適用するパラメータは、予め、設定されたデフォルトのパラメータを利用する構成としてもよい。予め、設定されたパラメータを利用する場合は、図１に示すパラメータ入力部１２は不要となり、制御部３が、パラメータを記憶した記憶部から、必要なパラメータを取得する。あるいは、入力静止画像の画素数情報などに基づいて、最適パラメータを逐次、算出する構成としてもよい。この場合は、図１に示すパラメータ入力部に代わり、パラメータ算出部を構成する。

スクロール画像生成に必要なパラメータは、画像表示部４に表示されるスクロール画像の表示フレーム数や表示フレームレートの他、スクロール画像の構成画素数、スクロール移動速度などがある。これらの詳細については後述する。

本実施例においては、画像表示部４に表示されるスクロール画像の表示フレーム数や表示フレームレートについては設定値を用い、画像表示部４に表示されるスクロール画像の画素数ならびにスクロール移動速度を、パラメータ入力部１２から入力する例として説明する。なお、パラメータ入力部１２を設けることなく記憶または算出されたパラメータを利用する処理例については、後段で、実施例２として説明する。

パラメータ入力部１２に入力されるパラメータは、制御部３に入力される。インターフェース部１内の画像入力部１１から出力され、画像変換処理部２へ入力される処理対象となる静止画像信号は、まず画像変換処理部２内の画素数変換処理部２１へと入力され、所定の画素数変換処理が行われる。

画素数変換処理部２１における画素数変換処理は、
画像入力部１１から制御部３へ入力される入力静止画像の画素数、
パラメータ入力部１２から制御部３へ入力されるパラメータであるスクロール画像の画素数ならびに移動速度、
これらの各データに基づいて、制御部３の制御に基づいて実行される。

画像変換処理部２内の画素数変換処理部２１において画素数変換処理が施された画像信号は、次に、画像変換処理部２内の表示画像生成処理部２２に入力される。表示画像生成処理部２２では、入力した画像信号に対し、制御部３の制御の下、レンダリング処理が行われ、画像表示部４を構成する表示デバイスが有する画素数と同数の画素データからなる表示画像信号が生成される。

表示画像生成処理部２２において生成された画像信号は、表示画像生成処理部２２から出力され、画像表示部４に入力されて表示処理が実行される。

画素数変換処理部２１および表示画像生成処理部２２において行われる画像変換処理は、画像表示部４に対して出力される表示画像の各フレームに対して各々行われる必要があるため、フレーム数に相当する回数分、繰り返し実行される。なお、本実施例におけるフレームとは、画像表示部４が画面を書き換える画像データ単位を示すものであり、１フレームは表示画像生成処理部２２において行われる画像変換処理によって画像表示部４に対して出力される１つの画像データに相当する。

本発明の画像処理装置では、入力静止画像を画像表示部４に対して出力する場合、各フレームの表示位置を順次変更し、スクロール画像として表示する処理を実行する。このスクロール表示によって、高品質な高解像度画像の提示を実現する。

画像表示部４は、表示画像生成処理部２２が出力した画像信号を受信し、所定のフレームレートで、これを表示する。なお、本発明における画像処理装置は、高フレームレートでの画像表示において高解像度効果が、より顕著となる特徴があるため、画像表示部４は、高フレームレートでの表示が可能な表示デバイスで構成されることが好ましい。

以降、図１の構成ブロックごとに、各ブロックにおける処理の詳細について説明する。

インターフェース部１は、前記の通り、画像入力部１１とパラメータ入力部１２から構成される。まず、画像入力部１１は、画像処理装置の入力である静止画像信号を受信する。この際、入力静止画像は、前述したように、画像処理装置において規定される内部データ形式に変換されるとともに、入力静止画像の構成画素数が読み取られる。画像入力部１１における静止画像信号の入力手段については、特に問わない。

例えば、画像入力部１１がフラッシュメモリなどのメディア受口部を持ち、使用者が挿入したメディアから入力する手法、あるいは、画像入力部１１がＵＳＢなどの外部インターフェースを持ち、それに接続された記憶媒体から入力する方法など、様々なデータ入力構成が適用可能である。

パラメータ入力部１２には、スクロール画像の生成に必要なパラメータが入力される。本実施例では、前述したように、スクロール画像の画素数ならびにスクロール移動速度が、ユーザインタフェースを介して入力される。なお、スクロール移動速度とは、後述の画像表示部４において画像が表示される際、スクロール画像が１フレームにつき何画素移動するかを示すフレーム移動速度（画素／フレーム）を示すパラメータである。

パラメータ入力部１２における入力手段は、例えば、画像処理装置に設定されたユーザインタフェース（ＧＵＩ）によって構成される。インターフェース部は、表示デバイス、マウスなどの入力デバイスを持ち、画像処理装置のユーザはこれらの入力デバイスを使用して、スクロール画像のパラメータを入力する。

パラメータ入力を行なうユーザインタフェース（ＧＵＩ）の構成例を図２に示す。図２に示すように、スクロール画像の画素数として水平方向（ｗｉｄｔｈ）の画素数（ｐｉｘｅｌｓ）と垂直方向（ｈｅｉｇｈｔ）の画素数（ｐｉｘｅｌｓ）を設定するスクロール画像画素数設定部１５と、スクロール画像のスクロール移動速度（Ｖｅｌｏｃｉｔｙ）として、水平方向（ｗｉｄｔｈ）の移動速度と、垂直方向（ｈｅｉｇｈｔ）の移動速度を設定するスクロール移動速度（Ｖｅｌｏｃｉｔｙ）設定部１６を有し、ユーザはこれらの各設定部を利用して、パラメータとしてのスクロール画像の画素数ならびにスクロール移動速度を入力する。

図２に示すユーザインタフェースの例では、スクロール画像の画素数について、テキストボックスにその値を入力できるように、ＧＵＩを設計してある。ユーザは、テキストボックスに任意の値を入力することで、スクロール画像の画素数を設定できる。なお、画像の画素数であるため、入力許容値は、正の整数値に限定しておく必要がある。

図２の例におけるＧＵＩは、もう一方のパラメータであるスクロール画像の移動速度については、スクロールバーを用いて入力できるように設計してある。ユーザはマウスなどの入力デバイスを用いてスクロールバーを動かすことで、ｘ軸方向（水平方向）とｙ軸方向（垂直方向）のそれぞれのスクロール移動速度について、例えば０〜３の４段階で表現された中からいずれかを選択することができる。

この０〜３の４段階の数値は、移動速度について相対的な大きさの順を示す記号であり、実世界における具体的な意味を有するものではない。言い換えれば、この数値は、スクロール画像が１フレームにつき何画素移動するかを直接表現するものではなく、その大小に順番をつけた記号である。そのため、スクロール移動速度について、ユーザがＧＵＩ上のスクロールバーにて選択して指定するが、これは実際にスクロール画像が１フレームにつき何画素移動するかを表す「ｐｉｘｅｌ／ｆｒａｍｅ」の単位へと内部的に読み換えられるようにしておく必要がある。

図２に示すユーザインタフェースのスクロール移動速度（Ｖｅｌｏｃｉｔｙ）設定部１６に設定された選択肢（０，１，２，３）に対応する実際のスクロール移動速度は、例えば、
０→０（ｐｉｘｅｌ／ｆｒａｍｅ）
１→１．５（ｐｉｘｅｌ／ｆｒａｍｅ）
２→３．０（ｐｉｘｅｌ／ｆｒａｍｅ）
３→４．５（ｐｉｘｅｌ／ｆｒａｍｅ）
の順のように線形増加で設定しても、あるいは、
０→０（ｐｉｘｅｌ／ｆｒａｍｅ）
１→１．６（ｐｉｘｅｌ／ｆｒａｍｅ）
２→１．９（ｐｉｘｅｌ／ｆｒａｍｅ）
３→２．７（ｐｉｘｅｌ／ｆｒａｍｅ）
の順のように非線形増加で設定しても構わない。

また、スクロール移動速度の選択肢は図２に示すユーザインタフェースにおいては、４段階としているが、これを何段階の設定にしても構わない。図２で示したＧＵＩでは、スクロール画像の画素数については任意の値を入力し、移動速度については多岐選択によって入力する例を示したが、両方のパラメータについて任意の値を入力する方式や、両者のパラメータについて多岐選択の入力方式とすることも可能である。
また、パラメータの入力方法に関しては、もちろんのことながら、本実施例のようなＧＵＩを用いた方法以外の方法でも構わない。

画像入力部１１に静止画像データは、前述したように内部データ形式信号に変換された後、画像変換処理部２に入力され、画像入力部１１において読み取られた入力静止画像の画素数データは制御部３へ入力される。一方、インターフェース部１のパラメータ入力部１２に入力された、スクロール画像の画素数ならびにスクロール移動速度のデータは、制御部３に入力される。

以下、画像変換処理部２で行われる処理について説明する。図３は、本実施例における画像変換処理部２の詳細な構成を中心に示したものである。図１を参照して説明した通り、本実施例における画像変換処理部２は画素数変換処理部２１および表示画像生成処理部２２によって構成される。

画素数変換処理部２１は、入力された静止画像信号を記憶するフレームメモリ（ＦＭ）２１１、フレームメモリ（ＦＭ）２１１から静止画像データを入力し、第１の画素数へと画素数変換を行う空間フィルタ処理部２１２、第１の画素数へ画素数変換のなされた静止画像データを入力して、第２の画素数へと画素数変換を行う空間間引き処理部２１３によって構成される。

一方、表示画像生成処理部２２は、空間間引き処理部２１３から出力される第２の画素数へと画素数変換された静止画像データを入力し、画像表示部４にて表示可能な画素数の出力画像を生成するレンダリング部２２１、レンダリング部２２１の生成したフレーム画像である出力画像の各フレームを記憶するフレームメモリ２２２から構成される。

インターフェース部１から出力された内部データ形式の静止画像信号は、まず、画像変換処理部２内の画素数変換処理部２１に入力される。本実施例における入力静止画像信号は、ｍ×ｎ（ｐｉｘｅｌ）を有しているものとする。すなわち、ｘ（横）方向にｍ画素、ｙ（縦）方向にｎ画素の静止画像である。ここでｍ，ｎは正の整数である。

また前述の通り、インターフェース部１のパラメータ入力部１２には、スクロール画像生成のために必要なパラメータが入力され制御部３へと入力されるが、本実施例では、この制御部３に入力されるパラメータとして、
スクロール画像の画素数：ｐ×ｑ（ｐｉｘｅｌ）、
スクロール画像の移動速度：ｘ軸，ｙ軸方向のスクロール移動速度をそれぞれＶｘ，Ｖｙ（ｐｉｘｅｌ／ｆｒａｍｅ）として記述し、以下の説明に用いる。

なお、ｐ，ｑは正の整数、Ｖｘ，Ｖｙは正負を問わない実数である。本実施例において、ｘ軸は右方向を正、ｙ軸は下方向を正と定義する。また、画像表示部４を構成する表示デバイスはｉ×ｊ（ｐｉｘｅｌ）を有しているものとする。ｉ，ｊは正の整数である。

画像変換処理部２における一連の画像変換処理の結果として、指定された画素数を持ち、指定された移動速度でスクロールする画像信号が、ｉ×ｊ画素を有する表示デバイスで構成される画像表示部４において表示可能な画像信号として出力される。

なお、画像表示部４で表示可能な表示デバイス構成画素であるｉ×ｊ画素中で、スクロール画像のｐ×ｑ画素の外側領域にある画像表示部４の画素については、画像表示部４において画素の発光をさせない。あるいは一様の背景色信号（グレー、ブルーなど）を出力する設定とすることが好ましい。この処理については、後段のレンダリング処理の説明中で説明する。

上述したように、
入力静止画像：ｍ×ｎ画素、
出力スクロール画像：ｐ×ｑ画素、
表示デバイス構成画素：ｉ×ｊ画素、
である。前述したように、本発明の画像処理装置では、低解像度のディスプレイに高解像度の画像表示を実現するものであり、入力静止画像（ｍ×ｎ画素）の画素数が、表示デバイス構成画素（ｉ×ｊ画素）より大きな画素数を持つ場合、効果的に、低解像度デバイスにおいて高解像度画像を提示できる。従って、
本実施例では、上記の各画素数が、以下の条件、すなわち、
ｍ＞ｉ＞ｐ、かつ
ｎ＞ｊ＞ｑ
の条件を満たしているものとして説明する。

画素数変換処理部２１に入力した静止画像信号は、まず、フレームメモリ２１１に記憶される。他方、制御部３には、入力静止画像の画素数ｍ×ｎの値および、スクロール画像の画素数ｐ×ｑならびにスクロール移動速度Ｖｘ，Ｖｙの値が入力されている。

制御部３は、これらスクロール画像を生成するために必要なパラメータの値に基づいて、Ｘ方向、Ｙ方向のそれぞれに対し、超解像効果が得られる条件を満たす空間間引き量を決定しておく。以降、この空間間引き量について、Ｘ方向の間引き量をＤｘ、Ｙ方向の間引き量Ｄｙとして表わす（Ｄｘ，Ｄｙは正の整数）。

例えば、Ｘ方向の間引き量をＤｘ＝２とは、Ｘ方向にある２画素から１画素をサンプリングし、Ｘ方向に１／２の圧縮（縮小）を行なうこと意味する。Ｘ方向の間引き量をＤｘ＝３とは、Ｘ方向にある３画素から１画素をサンプリングし、Ｘ方向に１／３の圧縮（縮小）を行なうこと意味する。Ｙ方向の間引き量をＤｙ＝２とは、Ｙ方向にある２画素から１画素をサンプリングし、Ｙ方向に１／２の圧縮（縮小）を行なうこと意味する。Ｙ方向の間引き量をＤｙ＝３とは、Ｙ方向にある３画素から１画素をサンプリングし、Ｙ方向に１／３の圧縮（縮小）を行なうこと意味する。

フレームメモリ２１１に記憶された静止画像信号は、以下に記述する要領で、制御部３で決定された間引き量を基に、空間フィルタ処理部２１２と空間間引き処理部２１３において処理され、変換されることとなる。

なお、超解像効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は、受けた光の刺激の総和がある閾値になったときに光を知覚するという機能（時間的積分機能）を有している。これは、ブロックの法則（Bloch's Law）として知られており、人が一定時間内に受けた光を加算して知覚していることを示している。時間的積分機能において加算される時間は、視環境などにより変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。ブロックの法則の詳細については、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２１９−２２０"などに記載されている。なお、本出願人が先に出願した特願２００３−４１２５００号には、動画像の圧縮処理において超解像効果をもたらす変換処理を実現した構成について開示している。

以下では、画素数変換処理部２１にて行われる空間フィルタ処理と空間間引き処理の関係について説明する。図４は、
（ａ）画素数変換処理部２１への入力画像、すなわち処理対象となる静止画像の画素数ｍ×ｎと、
（ｂ）空間フィルタ処理部２１２における空間フィルタ処理後の画像の画素数Ｄｘｐ×Ｄｙｑ、および、
（ｃ）空間間引き処理部２１３における空間間引き処理後の画像の画素数ｐ×ｑ、
これらの画像の関係を表した図である。

画像変換処理部２１で行われる画像変換は、
空間フィルタ処理部２１２において、
画素数ｍ×ｎの入力画像を、第１の画素数Ｄｘｐ×Ｄｙｑへ画素数変換され、
続いて、空間間引き処理部２１３において、
第１の画素数Ｄｘｐ×Ｄｙｑから、第２の画素数ｐ×ｑへと画素数変換される。
このように２ステップでの画素数変換が実行される。

ここで、スクロール画像の移動速度Ｖｘ，Ｖｙが、Ｘ方向は間引き量Ｄｘにおいて超解像を得ることが可能な条件であり、Ｙ方向は間引き量Ｄｙにおいて超解像を得ることが可能な条件であるとする。

パラメータ入力部１２から入力されるスクロール画像の移動速度Ｖｘ，Ｖｙに基づいて、超解像効果を得るための空間間引き量Ｄｘ、Ｄｙが制御部３において算出され、この空間間引き量Ｄｘ、Ｄｙと、最終的に生成する第２の画素数ｐ×ｑとに基づいて、算出される第１の画素数情報［Ｄｘｐ×Ｄｙｑ］が、空間フィルタ処理部２１２に入力される。

空間フィルタ処理部２１２は、図４に示すように、入力画像の画素数ｍ×ｎが、画素数Ｄｘｐ×Ｄｙｑよりも大きい場合、空間間引き処理部２１３における空間間引き処理を行う前に、空間フィルタ処理により画素数変換を行い、画素数ｍ×ｎの入力静止画像を第１の画素数Ｄｘｐ×Ｄｙｑへ変換する。

なお、超解像効果を得るための空間間引き量Ｄｘ、Ｄｙは、画像の移動速度Ｖｘ，Ｖｙに基づいて算出可能な値である。これは、前述のブロックの法則に基づいて算出される値であり、詳細は、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２１９−２２０"、あるいは、前述の特願２００３−４１２５００号になどに記載されている。画像の移動速度Ｖｘ，Ｖｙと、超解像効果を得るための空間間引き量Ｄｘ、Ｄｙとの関係については、後段で説明する。

空間フィルタ処理部２１２は、空間周波数の帯域制限を行うデジタルフィルタであり、折り返し成分を軽減して制御部３から与えられる所望の画素数Ｄｘｐ×Ｄｙｑに基づいて、画素数ｍ×ｎの入力画像を、第１の画素数Ｄｘｐ×Ｄｙｑへ画素数変換する。

空間間引き処理部２１３は、空間フィルタ処理部２１２から出力される第１の画素数Ｄｘｐ×Ｄｙｑを持つ画像データを第２の画素数ｐ×ｑの画像へ画素数変換を行なう。ここでの画素数変換は、空間周波数の帯域制限は行わずに、入力画像の構成画素の間引きサンプリングを行なう。したがって、空間間引き処理部の出力画像には折り返し成分が含まれる。

空間間引き処理部２１３の実行する空間間引き処理例について、図５を参照して説明する。図５は、入力画像を構成する画素ブロックを示している。ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の空間間引きは、図５（ｂ）に示すように、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_１０のみを代表値（サンプリング点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_１１を代表値（サンプリング点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_１２を代表値（サンプリング点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_１３を代表値（サンプリング点）とする。

また、垂直方向の空間間引きは、図５（ｃ）に示すように、垂直方向の４画素のうち１つの画素値をサンプリング点として有効とする。図５（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_０１のみをサンプリング点として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１１をサンプリング点とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２１をサンプリング点とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３１をサンプリング点とする。

空間間引き処理部２１３は、このような空間方向間引き処理を、静止画像に基づいて生成される複数の連続するフレームの各々について、様々な態様でのサンプリング点設定を行なって実行する。このような空間間引きを行なうことで、画像表示部４において実行されるフレーム画像のスクロール表示画像に超解像効果が得られ、ディスプレイの持つ解像度レベルを超えた解像度の画像表示が可能となる。

空間間引き処理部２１３の実行する空間間引き処理により、画像は制御部３から与えられる所望の画素数ｐ×ｑを持つ画像データに変換される。この間引き処理後の画素数ｐ×ｑの画像を、制御部３に入力されているスクロール移動速度Ｖｘ，Ｖｙで表示することで、観察者が知覚できる空間解像度は、超解像効果に基づいて向上する。このとき、観察者によって知覚される空間解像度は、表示画素数ｐ×ｑのＸ方向がＤｘ倍、Ｙ方向がＤｙ倍になったＤｘｐ×Ｄｙｑ画素相当となる。

以上の処理例では、超解像効果を得るために必要となる空間間引き量Ｄｘ、Ｄｙと、最終的に生成する第２の画素数ｐ×ｑとに基づいて算出される画素数［Ｄｘｐ×Ｄｙｑ］より、入力画像の画素数ｍ×ｎが大きい場合について、空間フィルタ処理部２１２における処理によって、第１の画素数：Ｄｘｐ×Ｄｙｑ画素に変換してから、空間間引き処理部２１３における空間間引き処理を実行して、ｐ×ｑ画素へ変換する処理を説明した。

しかし、超解像効果を得るために必要となる空間間引き量Ｄｘ、Ｄｙと、最終的に生成する第２の画素数ｐ×ｑとに基づいて算出される画素数［Ｄｘｐ×Ｄｙｑ］より、入力画像の画素数ｍ×ｎが小さい場合は、空間フィルタ処理部２１２は、入力画像の拡大処理を実行することになる。

図６に各画像の関係を示す。
図６には、画素数ｍ×ｎの入力画像、
第１の画素数Ｄｘｐ×Ｄｙｑの画像、
第２の画素数ｐ×ｑの画像、
の画素構成の対応を示している。

入力画像の画素数ｍ×ｎは、第１の画素数Ｄｘｐ×Ｄｙｑの画像より小さい。この場合、空間フィルタ処理部２１２は、入力画像の拡大処理を実行し、
画素数ｍ×ｎの入力画像を、第１の画素数Ｄｘｐ×Ｄｙｑへ画素数変換を実行する。続いて、空間間引き処理部２１３において、
第１の画素数Ｄｘｐ×Ｄｙｑから、第２の画素数ｐ×ｑへ画素数変換を行なう。
このように、この場合も、２ステップでの画素数変換が実行される。

この設定の場合、空間フィルタ処理部２１２で行われる空間フィルタ処理は、拡大処理を行うことになるため、間引き処理後の画素数ｐ×ｑの画像を、指定されたスクロール移動速度Ｖｘ，Ｖｙで表示することで、観察者が知覚できる空間解像度は、超解像効果に基づいて向上するが、その知覚される空間解像度は、ｍ×ｎ画素相当を超えない。言い換えれば、図６に示すような画像関係、すなわち、ｍ＜Ｄｘｐかつｎ＜Ｄｙｑの場合、間引き処理後のスクロール画像を表示したとき、観察者が知覚できる空間解像度は、ｍ×ｎ画素相当となる。

また、Ｘ方向、Ｙ方向のどちらか一方について、入力画像の画素数が、空間フィルタ処理後の第１の画素数よりも小さい場合（ｍ＜Ｄｘｐまたはｎ＜Ｄｙｑ）も同様である。ｍ＜Ｄｘｐかつｎ≧Ｄｙｑの場合、間引き処理後のスクロール画像を表示したとき、観察者が知覚できる空間解像度は、ｍ×Ｄｙｑ画素相当となる。ｍ≧Ｄｘｐかつｎ＜Ｄｙｑの場合、Ｄｘｐ×ｎ画素相当となる。

以下、空間間引き処理部２１３の実行する空間間引き処理における空間間引き量について説明する。空間間引き処理部２１３では、前述したように、第１の画素数Ｄｘｐ×Ｄｙｑから、第２の画素数ｐ×ｑへ画素数変換を行なう。ここで、空間間引き量Ｄｘ、Ｄｙは、パラメータ入力部１２から入力されるスクロール画像の移動速度Ｖｘ，Ｖｙに基づいて、超解像効果を得るための空間間引き量Ｄｘ、Ｄｙとして制御部３が算出する値である。この空間間引き量Ｄｘ、Ｄｙに基づいて、空間間引き処理部２１３では、第１の画素数Ｄｘｐ×Ｄｙｑから、第２の画素数ｐ×ｑへ画素数変換を行なう。

図７は、画像の移動速度と超解像効果が得られる条件を満たす間引き量の関係を表す図である。図７では、簡易に説明する都合上、最大間引き量を４とした場合を例にとっているが、画像処理装置４の表示フレームレートに応じ、超解像効果が得られる条件において、４以上の間引きに適応させる構成としてもよい。

図７中の横軸における移動速度の値は、ユーザがインターフェース部１２で入力したスクロール移動速度Ｖｘ，Ｖｙのことを、直接指し示すものではない。スクロール移動速度Ｖｘ，Ｖｙとは、実際に画像表示部４において画像が表示される際、スクロール画像が１フレームにつき何画素移動するかを指すものであった。これは、全ての画素数変換処理を施された後の画像（これは「間引き処理後の画像」と同義）の移動速度である。一方、図７中の横軸における移動速度の値とは、間引き処理前の画像の移動に相当する速度である。間引き処理後の画像の移動速度がＶｘ，Ｖｙであるとき、この間引き処理前の画像の移動速度は、間引き処理された後の画像の移動速度と間引き量の積の値ＶｘＤｘ，ＶｙＤｙに相当する。

以降、この間引き処理前の画像の移動速度に相当する速度を、間引き処理前の画像の移動速度Ｖｘｏ，Ｖｙｏと表して説明に用いる。間引き処理前画像の移動速度Ｖｘｏ，Ｖｙｏの単位はｐｉｘｅｌ／ｆｒａｍｅである。
Ｖｘｏ＝ＶｘＤｘ，
Ｖｙｏ＝ＶｙＤｙ
となる。

そのため、図７は、Ｘ軸方向に移動に関しては、横軸Ｖｘｏと縦軸Ｄｘの対応関係を意味するものであり、Ｙ軸方向の移動に関しては、横軸Ｖｙｏと縦軸Ｄｙを意味するものである。また、図７中の横軸に示すｔ１〜ｔ７は、移動速度をＡ１〜Ａ７の領域に分割する閾値である。以下では、例えば移動速度Ｖｘｏがｔ４≦Ｖｘｏ＜ｔ５の場合には、「ＶｘｏがＡ４の領域にある」と表現する。

以下、図７に示された移動速度と超解像効果が得られる条件を満たす間引き量の関係、および、この間引き量に対する、空間フィルタ処理と空間間引き処理の関係を、説明する。

まず、図７に示す間引き処理前画像の移動速度Ｖｘｏ，Ｖｙｏと、超解像効果が得られる条件を満たす間引き量との関係について説明する。ここでは簡単のため、Ｘ方向だけに移動する画像（Ｖｘｏ≠０）について説明する。この場合には、Ｙ方向の解像度変換は、空間間引き処理部２１３では実行せず、全て空間フィルタリング処理で行うことになる。この場合Ｖｙ＝０、Ｖｙｏ＝０である。図７からも、Ｙ方向は、全て空間フィルタリング処理で変換されることがわかる。移動速度Ｖｘｏが閾値ｔ１より小さい場合には、超解像効果が得られないことより、間引き量は１となり、空間フィルタ処理のみによって画素数の変換を行うことになる。

次に、間引き処理前画像の移動速度Ｖｘｏの各値に対応して実行すべき空間間引き処理部２１３のｘ方向の間引き量について、図７を参照して説明する。
（ａ）移動速度Ｖｘｏが、ｔ１≦Ｖｘｏ＜ｔ２、
すなわち、図７に示す領域Ａ１にあるとき、超解像効果を得るための間引き量は２である。
この場合は、まず空間フィルタ処理により２ｐ×ｑ画素に解像度変換し、変換後の画像を、２画素おきにサンプリングする空間間引き処理によりｐ×ｑ画素に変換する。

（ｂ）移動速度Ｖｘｏが、ｔ２≦Ｖｘｏ＜ｔ３、
すなわち、図７に示す領域Ａ２にあるとき、超解像効果を得るための間引き量は３である。
この場合は、まず空間フィルタ処理により３ｐ×ｑ画素に解像度変換し、変換後の画像を、３画素おきにサンプリングする空間間引き処理によりｐ×ｑ画素に変換する。

（ｃ）移動速度Ｖｘｏが、ｔ３≦Ｖｘｏ＜ｔ４、
すなわち、図７に示す領域Ａ３にあるとき、超解像効果を得るための間引き量は４である。
この場合は、まず空間フィルタ処理により４ｐ×ｑ画素に解像度変換し、変換後の画像を、４画素おきにサンプリングする空間間引き処理によりｐ×ｑ画素に変換する。

（ｄ）移動速度Ｖｘｏが、ｔ４≦Ｖｘｏ＜ｔ５、
すなわち、図７に示す領域Ａ４にあるとき、超解像効果を得るための間引き量は３である。
この場合は、まず空間フィルタ処理により３ｐ×ｑ画素に解像度変換し、変換後の画像を、３画素おきにサンプリングする空間間引き処理によりｐ×ｑ画素に変換する。

その他、移動速度ＶｘｏがＡ５の領域にあるときは、Ａ３の領域にあるときと同様である。移動速度ＶｘｏがＡ６の領域にあるときは、Ａ４の領域にあるときと同様である。移動速度ＶｘｏがＡ７の領域にあるときは、Ａ３の領域にあるときと同様である。このように、図７に示す移動速度の大きさと空間間引き量の関係から、空間フィルタ処理による解像度変換後に出力される画像の画素数が決まることになる。

しかし、本実施例における画素数変換処理において、既知なのは間引き処理後のスクロール移動速度Ｖｘの値であり、間引き量Ｄｘは未知である。したがって、間引き処理前の画像の移動速度Ｖｘｏ＝ＶｘＤｘは未知である。制御部３は、この条件において、超解像効果が得られる間引き量Ｄｘを決定する必要がある。以下は、その制御部３における間引き量の決定方法について説明する。

まず、ユーザがインターフェース部１２において、例えば、先に図２を参照して説明したユーザインタフェース（ＧＵＩ）を用いて、多岐選択式にスクロール移動速度Ｖｘの値を入力する場合について、間引き量Ｄｘの決定方法を述べる。

この場合は、ユーザがＧＵＩを用いて選択するスクロール移動速度に関して、それぞれの選択肢に対応する、空間間引き量Ｄｘの値を事前に決めておく。前述した通り、空間間引き処理後の画像をスクロール表示したとき、超解像の原理に基づき、観察者が知覚できる空間解像度は、表示画素数と間引き量の積の値の画素相当［Ｄｘｐ×Ｄｙｑ］（入力画像の画素数を上限として）である。そのため、できるだけ大きな間引き量［Ｄｘ，Ｄｙ］の値を採用した処理を実行した方が、観察者の知覚できる空間解像度は向上する。

間引き前の画像の移動速度Ｖｘｏと間引き量Ｄｘの関係は、図７に示す関係である場合、この例では最大間引き量を４としていた。図７中の領域Ａ３，Ａ５，Ａ７のいずれかの領域に当てはまるように、すなわち、間引き処理前の画像の移動速度Ｖｘｏ＝４Ｖｘの値が、図７中のＡ３，Ａ５，Ａ７のいずれかの領域に当てはまる範囲内で、スクロール移動速度Ｖｘを決める選択肢を設定しておけば、空間間引き量Ｄｘは常に４とすることができる。

このように、ユーザが多岐選択式にスクロール移動速度の値を入力できる場合、移動速度の選択肢に対応して、間引き量の値を事前に決めておくことができ、この情報を制御部３に持たせておくことで、空間フィルタ処理および空間間引き処理を制御することができる。

すなわち、図７に示す間引き前の画像の移動速度Ｖｘｏと間引き量Ｄｘの関係がある場合、
Ｖｘｏ＝ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ７〜
の場合にのみ、ｘ方向の間引き量Ｄｘ＝４とされるので、
図２に示すユーザインタフェースにおいて設定可能なＸ方向の速度Ｖｘの許容値として、Ｖｘｏ＝４Ｖｘに基づいて、
ａ）Ｖｘ＝（ｔ３〜ｔ４）／４
ｂ）Ｖｘ＝（ｔ５〜ｔ６）／４
ｃ）Ｖｘ＝（ｔ７〜）／４
の値のみを設定可能な構成としておくことで、ユーザは、上記ａ）〜ｃ）のいずれかをＸ方向のスクロール移動速度Ｖｘとして設定し、この設定に従って、空間方向の間引き量Ｄｘ＝４を使用した空間方向間引きによって、超解像効果をもたらす間引き画像を生成することができる。Ｙ方向についての間引き量とスクロール移動速度Ｖｘについても同様である。

また、図７に示す間引き前の画像の移動速度Ｖｘｏと間引き量Ｄｘの関係がある場合、
Ｖｘｏ＝ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ７〜の場合、ｘ方向の間引き量Ｄｘ＝４、
Ｖｘｏ＝ｔ１〜ｔ２の場合、ｘ方向の間引き量Ｄｘ＝２、
Ｖｘｏ＝ｔ２〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ７の場合、ｘ方向の間引き量Ｄｘ＝３、と決定されるので、
ａ）Ｖｘ＝（ｔ３〜ｔ４）／４
ｂ）Ｖｘ＝（ｔ５〜ｔ６）／４
ｃ）Ｖｘ＝（ｔ７〜）／４
ｄ）Ｖｘ＝（ｔ１〜ｔ２）／２
ｅ）Ｖｘ＝（ｔ２〜ｔ３）／３
ｆ）Ｖｘ＝（ｔ４〜ｔ５）／３
ｇ）Ｖｘ＝（ｔ６〜ｔ７）／３
の各Ｖｘ値のみを設定可能な構成とし、
ユーザの選択したスクロール移動速度Ｖｘが、
上記ａ）〜ｃ）のいずれかである場合は、空間方向の間引き量Ｄｘ＝４とし、
上記ｄ）である場合は、空間方向の間引き量Ｄｘ＝２とし、
上記ｅ）〜ｇ）のいずれかである場合は、空間方向の間引き量Ｄｘ＝３として処理を実行する構成としてもよい。

例えば、図８に示すようなＧＵＩ設定移動速度と、空間間引き量の対応テーブルを保持し、制御部３が、このテーブルに基づいて、ユーザがＧＵＩを介して入力したスクロール移動速度に基づいて、空間方向間引き量を決定し、決定した間引き量に基づいて空間間引き処理部２１３が間引き処理を実行する構成としてもよい。なお、図８はＸ方向のスクロール移動速度Ｖｘおよび間引き量Ｄｘの対応を示しているが、Ｙ方向のスクロール移動速度Ｖｙと間引き量Ｄｙについても同様である。

一方、ユーザがインターフェース部１２において、任意のスクロール移動速度Ｖｘ，Ｖｙの値を入力できる設定とした場合は、制御部３において入力されたスクロール移動速度Ｖｘ，Ｖｙに基づいて、間引き量Ｄｘ，Ｄｙを算出することになる。空間間引き処理における間引き量は、制御部３に入力されたスクロール移動速度の値に応じて、入力されるスクロール移動速度が変更される都度、制御部３において決定する。

前述の通り、間引き量ができるだけ大きな値を得られる方が、観察者の知覚できる空間解像度は向上する。移動速度と間引き量の関係が図７に示す関係であり最大間引き量を４としたと想定する。

ユーザが入力したＸ方向のスクロール移動速度の値をＶｘとして、図７に示す関係データを用いて間引き量Ｄｘを決定する方法を以下に説明する。まず、空間間引き量Ｄｘ＝４と仮定すると、図７中の横軸に対応するＶｘｏの値は、Ｖｘｏ＝４Ｖｘとなる。

制御部３は、ユーザが入力したＸ方向のスクロール移動速度の値をＶｘに基づいて、ｘ方向の間引き量Ｄｘ＝４の仮定の下、Ｖｘｏ＝４Ｖｘを算出する。ここで、
算出したＶｘｏ＝４Ｖｘが、間引き量４で超解像効果が得られる移動速度領域、すなわち、図７中におけるＡ３，Ａ５，Ａ７の領域の範囲内であれば、この仮定が正しいと見なし、間引き量Ｄｘを４として決定する。
すなわち、
Ｖｘｏ＝４Ｖｘ＝ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ７〜の場合、ｘ方向の間引き量Ｄｘ＝４として決定する。

また、ユーザが入力したＸ方向のスクロール移動速度の値をＶｘに基づいて、算出したＶｘｏ＝４Ｖｘが、
Ｖｘｏ＝４Ｖｘ≠ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ７〜の場合、
ｘ方向の間引き量Ｄｘ＝４の仮定は、誤りであると判定し、
次に、ｘ方向の間引き量Ｄｘ＝３の仮定の下、Ｖｘｏ＝３Ｖｘを算出する。ここで、算出したＶｘｏ＝３Ｖｘが、間引き量３で超解像効果が得られる移動速度領域、すなわち、図７中におけるＡ２，Ａ４，Ａ６の領域の範囲内であれば、この仮定が正しいと見なし、間引き量Ｄｘを３として決定する。
すなわち、
Ｖｘｏ＝３Ｖｘ＝ｔ２〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ７の場合、ｘ方向の間引き量Ｄｘ＝３として決定する。

次に、ユーザが入力したＸ方向のスクロール移動速度の値をＶｘに基づいて、算出したＶｘｏ＝３Ｖｘが、
Ｖｘｏ＝３Ｖｘ≠ｔ２〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ７の場合、
ｘ方向の間引き量Ｄｘ＝３の仮定は、誤りであると判定し、
次に、ｘ方向の間引き量Ｄｘ＝２の仮定の下、Ｖｘｏ＝２Ｖｘを算出する。ここで、算出したＶｘｏ＝２Ｖｘが、間引き量２で超解像効果が得られる移動速度領域、すなわち、図７中におけるＡ１の領域の範囲内であれば、この仮定が正しいと見なし、間引き量Ｄｘを２として決定する。
すなわち、
Ｖｘｏ＝２Ｖｘ＝ｔ１〜ｔ２の場合、ｘ方向の間引き量Ｄｘ＝２として決定する。

次に、ユーザが入力したＸ方向のスクロール移動速度の値をＶｘに基づいて、算出したＶｘｏ＝２Ｖｘが、
Ｖｘｏ＝２Ｖｘ≠ｔ１〜ｔ２の場合、
間引き量Ｄｘを１として決定する。間引き量Ｄｘ＝１となった場合、空間フィルタ処理のみによって画素数の変換を行うことになる。

以上の要領で、仮定する間引き量を最大間引き量から１ずつ小さくしていき、超解像効果の条件が得られる条件に合致した時点で、空間間引き量Ｄｘを決定する。この空間間引き量の決定は制御部３によって行われ、制御部３は決定したこの値を基に、空間フィルタ処理および空間間引き処理を制御する。

以上の空間間引き量の決定処理シーケンスを図９に示すフローチャートを参照して説明する。まず、ステップＳ１０１において、変数ｎを予め定めた最大間引き量として設定する。例えば図７のグラフに示す設定ではｎ＝４とされる。

次に、ステップＳ１０２において、ユーザインタフェースを介して入力されたスクロール移動速度Ｖｘに基づいて、Ｖｘｏ＝ｎＶｘを算出する。次に、ステップＳ１０３において、
Ｖｘｏ＝Ｖｘ＝間引き量ｎに対応する移動速度として設定されている？
か否かを判定する。この判定には、例えば図７に示す間引き前の画像の移動速度Ｖｘｏと間引き量Ｄｘの関係データを用いる。このデータは例えばテーブル化されて記憶部に格納し、これを適用する。

ステップＳ１０３において、
Ｖｘｏ＝Ｖｘ＝間引き量ｎに対応する移動速度として設定されている？
の判定かＹｅｓである場合、ステップＳ１０４に進み、間引き量ｎを空間間引き処理において適用する間引き量として決定する。

ステップＳ１０３において、
Ｖｘｏ＝Ｖｘ＝間引き量ｎに対応する移動速度として設定されている？
の判定かＮｏである場合、ステップＳ１０５に進み、
ｎ＝ｎ−１
とする変数更新を実行し、ステップＳ１０６においてｎ＝１であるか否かを判定し、ｎ＝１でない場合は、ステップＳ１０２以下の処理を繰り返す。ステップＳ１０６においてｎ＝１であると判定された場合は、ｎ＝１を間引き量として設定する。

この処理によって、より大きな空間間引き量を正しく優先的に選択して決定する処理が実現される。なお、説明は、Ｘ方向の移動速度と、間引き量について行なったが、Ｙ方向の移動速度と、間引き量についても同様に処理が行なわれる。

Ｘ方向、Ｙ方向ともに０でない移動速度を持つ場合、Ｘ方向、Ｙ方向のそれぞれに対し、図７から空間間引き処理における間引き量を得ることができる。制御部３は、得られた空間間引き量を基に、空間フィルタ処理部２１２および空間間引き処理部２１３における画素数変換処理を制御する。

次に、空間間引き処理部２１３において行われる空間間引き処理について、間引き処理の詳細を説明する。図１０は、空間間引き処理における間引き位置を具体的に示した一例である。この図１０の例を用いて、間引き処理においてサンプリングされる画素の位置を説明する。

図１０（ａ）は、第ｋ〜ｋ＋３フレームの間引き処理前の画像を示し、図１０（ｂ）は、第ｋ〜ｋ＋３フレームの間引き処理後の画像を示している。図１０（ａ）の第ｋ〜ｋ＋３フレームの間引き処理前の画像において、特定の画素が代表画素（サンプリング画素）として抽出され、サンプリング画素のみによって図１０（ｂ）の、第ｋ〜ｋ＋３フレームの間引き処理後の画像が生成されて出力される。

図１０に示す処理画像例においてスクロール移動速度は、ユーザが図２に示すようなＧＵＩを用いて入力したパラメータであり、Ｘ、Ｙ方向の指示スクロール移動速度Ｖｘ，Ｖｙは、それぞれ、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ），
Ｖｙ＝０（ｐｉｘｅｌ／ｆｒａｍｅ）
であるとする。すなわち、Ｘ方向にのみ２／３（ｐｉｘｅｌ／ｆｒａｍｅ）で移動するスクロール設定を行ったものとする。

また、空間間引き量は、Ｘ方向の移動に対する超解像効果が得られる条件を満たしている値として、Ｄｘ＝３が選択されているものとする。なお、Ｖｙ＝０であるため、Ｄｙ＝０となる。

処理対象としてのｍ×ｎ画素の静止画像データ信号は、図３に示す空間間引き処理部２１３に入力される以前に、空間フィルタ処理部２１２において解像度変換され、Ｄｘｐ×Ｄｙｑ画素の画像、すなわち３ｐ×ｑ画素の画像データに変換済みであり、空間間引き処理部２１３において間引き処理されることにより、ｐ×ｑ画素となる。

このとき、間引き処理前の画像の移動速度Ｖｘｏは、
Ｖｘｏ＝ＶｘＤｘ＝（２／３）×３＝２（ｐｉｘｅｌ／ｆｒａｍｅ）である。
なお、Ｖｙ＝０であるため、Ｖｙｏ＝０である。

図１０を用いて、空間間引き処理部２１３において実行する空間間引き処理において選択されるサンプリング画素の位置について説明する。間引き処理によりサンプリングされる画素は、移動速度と間引き量の他に、処理画像フレームがスクロール画像の何フレーム目に当たるかに依存する。

図１０には、スクロール表示されるｋ〜ｋ＋３の連続する４フレームに対応する画像データを示している。ｋは正の整数である。図１０（ａ）は、第ｋ〜ｋ＋３フレームの間引き処理前の画像において、サンプリングされる画素位置を示している。
各フレームについて、ユーザによって指定されたスクロール移動速度Ｖｘに基づいて算出される間引き処理前の画像の移動速度Ｖｘｏで移動しているとの仮定の下に間引き処理が実行される。前述したように、
Ｖｘｏ＝ＶｘＤｘ＝（２／３）×３＝２（ｐｉｘｅｌ／ｆｒａｍｅ）であるので、フレームが１つ進むごとにＸ方向に２ピクセル移動させて示している。処理画像は、１つの静止画像であるが、図１に示す画像表示部４に表示される画像は、１つの静止画像に基づいて生成される出力フレーム単位で処理される。

図において、０，１，２，・・８，・・は、それぞれ１つの画素を示している。位置Ａ，Ｂ，Ｃは、Ｘ方向の間引き量Ｄｘ＝３とした場合のサンプリング画素位置を示している。

例えば、図１０（ａ）に示す第ｋフレームの「間引き処理前の画像」では、位置Ａ，Ｂ，Ｃにある画素、０，３，６番の番号が付けられた画素がサンプリング画素とされる。本処理例では、Ｘ方向の間引き量Ｄｘ＝３であるため、第ｋ，ｋ＋１，ｋ＋２・・・の各フレーム画像において、Ｘ方向にある３画素から１画素のみがサンプル画素として取得される。すなわち、Ｘ方向において１／３の画素データのみが選択された圧縮画像が生成されることになる。図に示す例では、
第ｋフレームでは、サンプリング画素として、画素０，３，６・・が選択され、
第ｋ＋１フレームでは、サンプリング画素として、画素１，４，７・・が選択され、
第ｋ＋２フレームでは、サンプリング画素として、画素２，５，８・・が選択され、
第ｋ＋３フレームでは、サンプリング画素として、画素０，３，６・・が選択されている。

すなわち、各フレームについて、サンプリング画素を変更して、３画素おきにサンプリングしていき、各フレームに対応する「間引き処理後画像」を生成して、空間間引き処理部２１３から出力する。図１０（ｂ）の間引き処理後画像に示すように、
第ｋフレームの間引き処理後画像は、画素０，３，６・・からなる画像、
第ｋ＋１フレームの間引き処理後画像は、画素１，４，７・・からなる画像、
第ｋ＋２フレームの間引き処理後画像は、画素２，５，８・・からなる画像、
第ｋ＋３フレームの間引き処理後画像は、画素０，３，６・・からなる画像、
として、順次、空間間引き処理部２１３から出力される。

このサンプリング点の変更を伴う間引き処理は、画像表示部４に出力される画像が一定のスクロール速度で移動する場合に、超解像効果を発生させるための処理である。第ｋフレームの次の第ｋ＋１フレームでは、図１０（ａ）の「間引き処理前の画像」が、第ｋフレームと比較して、Ｖｘｏ画素（この例では２ｐｉｘｅｌ）だけＸ方向に移動していると見なして、画素をサンプリングする。

図１０（ａ）の「間引き処理前の画像」に示す位置Ａには、第ｋ＋１フレームでは、フレームの移動に伴い画素が存在しないため、位置Ｂ，Ｃ，Ｄの順に（画素１，４，７番の順に）３画素おきにサンプリングされ、「間引き処理後の画像」を生成し、空間間引き処理部２１３から出力する。

次の第ｋ＋２フレームでは、「間引き処理前の画像」が、第ｋ＋１フレームと比較して、Ｖｘｏ画素（この例では２ｐｉｘｅｌ）だけＸ方向に移動していると見なして、画素をサンプリングする。位置Ｂには、既に画素が存在しないため、位置Ｃ，Ｄ，Ｅの順に（画素２，５，８番の順に）３画素おきにサンプリングされ、「間引き処理後の画像」を生成し、空間間引き処理部２１３から出力する。

次の第ｋ＋３フレームでは、「間引き処理前の画像」が、第ｋ＋２フレームと比較して、Ｖｘｏ画素（この例では２ｐｉｘｅｌ）だけＸ方向に移動していると見なして、画素をサンプリングする。位置Ｃ，Ｄ，Ｅの順に（画素０，３，６番の順に）３画素おきにサンプリングされ、「間引き処理後の画像」を生成し、空間間引き処理部２１３から出力する。

以降、同様の要領で「間引き処理前の画像」が移動速度Ｖｘｏで移動していると見なし、スクロール画像の表示に必要な全てのフレームについて間引きサンプリング処理を行い、「間引き処理後の画像」を生成し、空間間引き処理部２１３から出力する。

図１０（ｂ）「間引き処理後の画像」に示す例では、第ｋフレームと第ｋ＋３フレームの出力結果は同じになり、結果的に、以降のフレームでは、３パターンの「間引き処理後の画像」が繰り返し出力されることになるが、移動速度と間引き量の関係に応じて、常にこのような繰り返しのパターンになるわけではない。

図１０に示す例では、簡単のためにＸ方向だけに移動する場合について考えたが、Ｙ方向のみに移動する場合、および、Ｘ方向、Ｙ方向ともに０でない移動速度を持つ場合についても、各移動方向に応じて同様の処理が実行されることになる。

また、図１０の例では、間引き前の画像に相当する移動速度は、
Ｘ方向がＶｘｏ＝２（ｐｉｘｅｌ／ｆｒａｍｅ）、
Ｙ方向がＶｙｏ＝０（ｐｉｘｅｌ／ｆｒａｍｅ）であり、
いずれの移動速度も、整数値である例を示したが、Ｖｘｏ、Ｖｙｏの少なくとも一方が整数値でない場合、空間間引き処理はサブピクセル精度の座標で画素値をサンプリングする必要がある。この場合、１ピクセル単位のサンプリングではなく、１ピクセル中の一部、あるいは複数ピクセルから選択されたピクセル領域などを抽出することが必要となる。この場合、ピクセルの持つ画素値を補正することが必要になる場合があるが、この補正画素値を算出する場合は、４近傍線形補間や２近傍線形補間、最近接補間などの補間方法を用いればよい。もちろん補間計算方法としては他の高次や低次の補間方法を用いてもかまわない。

ここまで、画素数変換処理部２１において行われる処理について説明した。上述の要領で変換処理を行った結果、ｐ×ｑ画素の出力画像は、指定された移動速度Ｖｘ，Ｖｙで画面上をスクロールする画像の各フレームとして表示されたとき、人間の視覚系における超解像の効果を最大限に用いることにより、Ｄｘｐ×Ｄｙｑ画素相当の空間解像度（ｍ×ｎ画素相当の空間解像度を上限として）で観察者に知覚される。

空間間引き処理部２１３から出力されたｐ×ｑ画素の画像信号は、図３に示すとおり、表示画像生成処理部２２内のレンダリング部２２１に入力される。レンダリング部２２１では、入力した画像信号に対し、制御部３の制御のもとレンダリング処理が行われ、画像表示部４を構成する表示デバイスが有する画素数と同数の画素を持つ表示画像信号が生成される。

間引き処理後の画像がレンダリング部２２１に入力される一方、制御部３では、既に制御部３に入力したスクロール移動速度の値、および、レンダリング部２２１に入力された画像データがスクロール画像の何フレーム目に当たるかに基づいて、画像表示部４のｉ×ｊ画素中での各フレームの表示位置を決定する。図１１は、レンダリング部２２１におけるレンダリング処理を説明する図である。以下、図１１を用いてレンダリング部２２１におけるレンダリング処理の概要を述べる。

図１１には、画像表示部４の構成画素ｉ×ｊ中に表示されるスクロール画像としての連続するフレーｋ，ｋ＋１，ｋ＋２の表示位置を示している。図１１中の「第ｋフレーム」として示しているｋは、正の整数である。画像表示部４には、第ｋフレーム、第ｋ＋１フレーム、第ｋ＋２フレーム・・の順に、同じ静止画像に基づいて、先に図１０を参照して説明した異なるサンプリング点からなる画像に基づくレンダリング処理が実行され、これらのフレームが例えば時間ｔ１，ｔ２，ｔ３に、所定のフレームレートに従って連続表示され、静止画像のスクロール表示がなされることになる。異なるサンプリング点を持つ静止画像がスクロール移動速度Ｖｘ，Ｖｙでスクロール表示されることで、超解像度効果がもたらされ、高解像度の画像として視覚される。

レンダリング部２２１では、制御部３によって決定された各フレーム対応の表示位置に従って、入力された画像データをレンダリング処理する。図１１に示すように、画像表示部４で表示されるｉ×ｊ画素中で、スクロール画像のｐ×ｑ画素の外部の画素については、画像表示部４において画素が発光しない制御、あるいは一律の背景色の出力を行なう設定手とすることが好ましい。

図１１は、ｐ×ｑ画素のスクロール画像を、Ｘ軸、Ｙ軸方向にそれぞれ、ユーザ設定パラメータであるＶｘ，Ｖｙ（ｐｉｘｅｌ／ｆｒａｍｅ）の移動速度で移動させ、レンダリング処理を行う例を示している。各フレームにおけるスクロール画像の位置は、制御部３によって制御される。図１１に示すように、
第ｋ＋１フレームは、第ｋフレームの表示位置からＸ方向にＶｘ、Ｙ方向にＶｙ移動させてレンダリングが行なわれ、第ｋ＋２フレームは、第ｋ＋１フレームの表示位置からＸ方向にＶｘ、Ｙ方向にＶｙ移動させてレンダリングが行われる。

また、スクロール画像のｐ×ｑ画素が画像表示部４のｉ×ｊ画素中に収まりきらないフレームについては、スクロール画像のｐ×ｑ画素の一部が表示画像中から欠けることとなるが、表示されている部分における超解像効果に影響はないことから、スクロール画像の一部が欠けたままレンダリング処理を行っても特に問題はない。レンダリング処理の結果、図１１に示すような、ｉ×ｊ画素を持つスクロール画像の各フレームを生成する。

レンダリング処理の行なわれる画像は、前述したように、第ｋフレーム、第ｋ＋１フレーム、第ｋ＋２フレーム・・の順に、同じ静止画像に基づいて、先に図１０を参照して説明した異なるサンプリング点からなる画像データである。これらのフレームが例えば時間ｔ１，ｔ２，ｔ３に、所定のフレームレートに従って指定された移動速度でスクロール表示がなされることで、超解像度効果がもたらされ、高解像度の画像として視覚される。

図１２を参照して、スクロール表示がなされる画像データについて説明する。画像表示部４に表示される間引き処理後の画像データの画像表示部４の構成画素ｉ×ｊ画素中での位置は、前述した通り、制御部３において決定される。

図１２は、図１２（ｃ）として、間引き処理後レンダリング処理画像、すなわち画像表示部４に出力される画像の元画像として生成されるレンダリング画像の位置関係を示す図を、先に説明した図１０に付け加えた図である。

以下、レンダリング処理における間引き処理後の画像の位置決定について、具体的に例を挙げて説明する。先に図１０を参照して説明した例、すなわち、Ｘ方向のみ、空間間引き量Ｄｘ＝３と設定した場合の間引き処理後のレンダリレング処理によって生成される表示画像の例について説明する。

図１０を参照して説明した各フレーム画像に対する間引き処理は、Ｘ方向のスクロール移動のみについて考えたものであり、ユーザ指定のスクロール移動速度Ｖｘ，Ｖｙは、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ），
Ｖｙ＝０（ｐｉｘｅｌ／ｆｒａｍｅ）であり、
Ｘ方向の空間間引き量Ｄｘは、
Ｄｘ＝３である。この場合の、
間引き処理前画像の移動速度Ｖｘｏ，Ｖｙｏは、
Ｖｘｏ＝ＶｘＤｘ＝２（ｐｉｘｅｌ／ｆｒａｍｅ）
Ｖｙｏ＝０
である。

図１２（ａ）（ｂ）は、図１０（ａ）（ｂ）と同様、図１２（ａ）は、第ｋ〜ｋ＋３フレームの間引き処理前の画像を示し、図１２（ｂ）は、第ｋ〜ｋ＋３フレームの間引き処理後の画像を示している。図１２（ａ）の第ｋ〜ｋ＋３フレームの間引き処理前の画像において、特定の画素が代表画素（サンプリング画素）として抽出され、サンプリング画素のみによって図１２（ｂ）の、第ｋ〜ｋ＋３フレームの間引き処理後の画像が生成されて出力される。

図１２（ｃ）は、上述の条件設定に基づいて空間間引き処理が実行されて抽出されたサンプリング画素がレンダリング処理されて生成される画像である。図１２（ｃ）に示すレンダリング画像は、画像表示部４に表示される画像の元画像に相当する。

本処理例では、Ｘ方向のスクロール移動速度Ｖｘは、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ），
と設定されており、各フレーム間で２／３ピクセル移動する画像が出力されることになるが、ディスプレイでは、１画素単位の移動のみが可能であり、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ），
の設定がなされた場合、３フレーム進む毎に２画素移動するような表示制御がなされることになる。図１２（ｃ）に示すレンダリング画像は、
第ｋフレームから第ｋ＋１フレームにおいてＸ方向に１画素移動し、
第ｋ＋１フレームから第ｋ＋２フレームにおいてＸ方向に１画素移動し、
第ｋ＋２フレームから第ｋ＋３フレームにおいてＸ方向に０画素移動し、
結果として、第ｋ〜ｋ＋３フレームで、２画素の移動を実現しており、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ），
のスクロールを行なっている。

図１２を参照して、図１２（ａ）に示す間引き処理前の画像におけるサンプリング画素位置と図１２（ｂ）に示す間引き処理後の画像に基づいて生成される図１２（ｃ）のレンダリング画像における画素位置の関係について説明する。

前述した通り、空間間引き処理においては、図１２（ａ）に示すように、「間引き処理前の画像」は、移動速度Ｖｘｏ（＝２ｐｉｘｅｌ／ｆｒａｍｅ）で移動していると見なし、図１２（ａ）に示すように、中の位置Ａ，Ｂ，Ｃ，Ｄ，Ｅの順に、３画素ごとにサンプリングを行っていた。

例えば、図１２（ａ）に示すように、第ｋフレームの間引き処理前の画像のサンプリング画素中、最も左にある画素は位置Ａにある０番の画素である。「間引き処理前の画像」の図１２（ａ）に示す位置Ａの０番のサンプリング画素は、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって、位置Ａに対応した位置Ａ'に描きこまれる。このとき、位置Ｂの３番のサンプリング画素、位置Ｃの６番のサンプリング画素は、それぞれ、レンダリングによって、位置Ｂ'，Ｃ'に描きこまれる。

次の第ｋ＋１フレームにおいては、図１２（ａ）に示すように、位置Ａにはサンプリング画素は存在せず、第ｋ＋１フレームの間引き処理前画像のサンプリング画素中、最も左にある画素は位置Ｂにある１番の画素である。「間引き処理前の画像」の図１２（ａ）に示す位置Ｂの１番のサンプリング画素は、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｂに対応した位置Ｂ'に描きこまれる。

同様に、位置Ｃの４番のサンプリング画素、位置Ｄの７番のサンプリング画素は、それぞれ、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｃ'，Ｄ'に描きこまれる。結果的に、第ｋ＋１フレームにおいて、「間引き処理後の画像」がレンダリング処理される際の位置は、第ｋフレームから１画素移動したことになる。

次の第ｋ＋２フレームにおいては、図１２（ａ）に示すように、最も左にあるサンプリング画素は位置Ｃにある２番の画素である。「間引き処理前の画像」の図１２（ａ）に示す位置Ｃの２番のサンプリング画素は、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｃに対応した位置Ｃ'に描きこまれる。

同様に、位置Ｄの５番のサンプリング画素、位置Ｅの８番のサンプリング画素は、それぞれ、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｄ'，Ｅ'に描きこまれる。結果的に、第ｋ＋２フレームにおいて、「間引き処理後の画像」がレンダリング処理される際の位置は、第ｋ＋１フレームから１画素移動したことになる。

次の第ｋ＋３フレームにおいては、図１２（ａ）に示すように、最も左にあるサンプリング画素は位置Ｃにある０番の画素である。「間引き処理前の画像」の図１２（ａ）に示す位置Ｃの０番のサンプリング画素は、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｃに対応した位置Ｃ'に描きこまれる。

同様に、位置Ｄの３番のサンプリング画素、位置Ｅの６番のサンプリング画素は、それぞれ、図１２（ｃ）のレンダリング処理画像に示すように、レンダリング処理によって位置Ｄ'，Ｅ'に描きこまれる。結果的に、第ｋ＋３フレームにおいて、「間引き処理後の画像」がレンダリング処理される際の位置は、第ｋ＋２フレームから０画素移動、すなわち同じ位置に設定されることになる。

以上、図１２を参照して説明したように、「間引き処理後の画像」がレンダリングされる位置は、「間引き処理前の画像」から画素をサンプリングする位置の移動に応じて、画素単位で移動されることになる。レンダリング部２２１においてレンダリングされる画像の位置は、制御部３に入力したスクロール移動速度の値のみを基に、制御部３によって決められる。

言い換えれば、空間間引き処理部２１３の出力は、図１２中の「間引き処理後の画像」のみであり、「間引き処理前の画像」が移動速度Ｖｘｏで移動していると見なして画素サンプリングした位置、すなわち、図１２（ａ）に示すＡ，Ｂ，Ｃ，Ｄ，Ｅの位置データは出力しない。

そのため、図１２を用いて説明したような、「間引き処理前の画像」から画素をサンプリングした位置に応じて、「間引き処理後の画像」のレンダリング位置を決めていくことはできない。しかし、レンダリング位置の決定は、「間引き処理前の画像」における画素のサンプリング位置のデータが未知であっても、前記の決定方法と同じ結果を得ることができる。以下、その方法について説明する。

図１２（ｂ）に示す第ｋフレームにおける「間引き処理後の画像」がレンダリング処理されるＸ方向の位置を、座標ｘ（ｋ）と表す。ｘ（ｋ）は正の整数である。
また、以降、画像の左上隅の座標値が画像の位置を指すものとする。

初期フレーム（フレーム０）における「間引き処理後の画像」がレンダリング処理されるＸ方向の位置を、座標ｘ（０）と表す。ｘ（０）は正の整数としておく。
このときｘ（ｋ）は、
ｘ（ｋ）＝ｘ（０）＋ｃｅｉｌｉｎｇ（Ｖｘｋ）
となる。ただし、ｃｅｉｌｉｎｇ（Ｖｘｋ）は、［Ｖｘ×ｋ］の値の小数点以下を切り上げたものである。

図１２を参照して説明した例において、例えば、第ｋフレームを初期フレーム（ｋ＝０）とした場合、第ｋ＋１〜ｋ＋３フレーム（１〜３フレーム）におけるｘ（１）〜ｘ（３）は、
第ｋ＋１フレーム：ｘ（１）＝ｘ（０）＋ｃｅｉｌｉｎｇ（（２／３）１）＝ｘ（０）＋１
第ｋ＋２フレーム：ｘ（２）＝ｘ（０）＋ｃｅｉｌｉｎｇ（（２／３）２）＝ｘ（０）＋２
第ｋ＋３フレーム：ｘ（３）＝ｘ（０）＋ｃｅｉｌｉｎｇ（（２／３）３）＝ｘ（０）＋２
となり、
図１２（ｃ）に示すように、
第ｋ＋１フレームは、第ｋフレームから１画素移動した位置にレンダリングされ、
第ｋ＋２フレームは、第ｋフレームから２画素移動した位置にレンダリングされ、
第ｋ＋３フレームは、第ｋフレームから２画素移動した位置にレンダリングされる。結果として、図１２（ｃ）に示す位置にレンダリングが実行され、
Ｖｘ＝２／３（ｐｉｘｅｌ／ｆｒａｍｅ）
のスクロール移動速度に応じた表示がなされることになる。

この処理により、「間引き処理後の画像」がレンダリング処理されるＸ方向の位置は、スクロール移動速度と、画像がスクロール画像の何フレーム目に当たるかに応じて、「間引き処理前の画像」における画素のサンプリング位置のデータが未知であっても、制御部３にて決定することができる。

なお、図１２を参照して説明した処理例は、Ｘ方向のスクロール移動のみの場合について考察した例であるが、Ｙ方向のみの移動の場合、またＸ方向、Ｙ方向に０でない移動速度でスクロールする場合についても同様に、スクロール画像の位置を決定し、レンダリング処理を行うことができる。

以上、レンダリング部２２１におけるレンダリング処理について説明した。このようなレンダリング処理によって、生成されたｉ×ｊ画素の画像信号は、フレームメモリ２２２に入力し、記憶される。フレームメモリ２２２に記憶された画像信号は、画像表示部４が要求するタイミングに応じて、順次出力され、画像表示部４に入力される。

ここまで、図３に示す画像変換処理部２内の画素数変換処理部２１および表示画像生成処理部２２における処理を手順に沿って説明したが、これらの処理は最終的に表示される画像のフレーム数だけ繰り返して行われる必要がある。

図１３に、画像変換処理部２において行われる空間フィルタ処理、空間間引き処理およびレンダリング処理について、その繰り返し手順を説明するフローチャートを示す。画像変換処理部２に入力された静止画像信号は、表示装置の動作中または入力画像を変更するまでの間中、フレームメモリ２１１に記憶され続けられる。

ステップＳ２０１において、フレームメモリ２１１に記憶された静止画像は、ステップＳ２０２において、空間フィルタ処理部２１２において空間フィルタ処理が実行される。この処理は、
入力静止画像（ｍ×ｎ画素）をＤｘｐ×Ｄｙｑ画素の画像に変換する処理である。

次に、ステップＳ２０３において、空間間引き処理部において、各フレーム画像についての間引き処理が実行される。この処理は、先に図１０等を参照して説明した処理であり、
ＤｘＰ×Ｄｙｑ画素の画像をｐ×ｑ画素の画像に変換する処理である。この処理は、サンプリング画素の抽出処理として実行される。

次に、ステップＳ２０４において、各フレーム対応のｐ×ｑ画素の画像に基づくレンダリング処理をレンダリング部２２１において実行し、ステップＳ２０５においてレンダリング画像をフレームメモリ２２２に記録する。ステップＳ２０６では、フレームメモリ２２２に記録されたフレーム画像を画像表示部４に出力する。

ステップＳ２０７では、表示処理が終了したか否かを判定し、継続中である場合は、ステップＳ２０２以下の処理を繰り返し実行する。この処理によって、画像表示部には、静止画像に基づく生成画像のスクロール表示が行なわれる。ステップＳ２０７において、表示処理が終了と判定すると処理を終了する。

このように、空間フィルタ処理、空間間引き処理およびレンダリング処理は、画像表示部に表示するフレーム画像個別に繰り返し処理として実行される。すなわち、フレームメモリ２１１から画像信号を受信し、スクロール画像のフレーム数分だけ繰り返して処理が行われる。

また、本実施例における表示装置においては、スクロール画像の画素数ならびにスクロール移動速度の値は一度指定された後は一定である。そのため、空間フィルタ処理部２１２で行われる空間フィルタリング処理は総てのフレームについて全く同一の処理を行うこととなる。一方、空間間引き処理部２１３では各フレームにおいて間引き位置が異なるため、各フレームについて別々の処理を行うことになる。

従って、空間フィルタ処理後の画像信号を記録する新たなメモリを設定し、空間間引き処理部２１３がこのメモリから空間フィルタ処理後の画像を取得して処理を実行する構成とすれば、空間フィルタ処理部の処理を重複して実行することなく、入力静止画像に対する１回の処理とすることができる。

このような処理構成を持つ画像処理装置の構成例を図１４に示す。図１４は、図３に示した画像変換処理部２の処理ブロックを変更し、空間フィルタ処理の重複処理を避けることを可能とした構成を示したものである。

空間フィルタ処理部２１２と空間間引き処理部２１３の間にフレームメモリ２１４を設け、唯一度、フィルタリング処理した後の画像をフレームメモリ２１４に記憶するよう変更したことが、図１４に示す画像処理装置における特徴である。

図１４に示した画像変換処理部２の構成における処理シーケンスを説明するフローチャートである。

ステップＳ３０１において、フレームメモリ２１１に記憶された静止画像は、ステップＳ３０２において、空間フィルタ処理部２１２において空間フィルタ処理が実行される。この処理は、
入力静止画像（ｍ×ｎ画素）をＤｘｐ×Ｄｙｑ画素の画像に変換する処理である。

次に、ステップＳ３０３において、フレームメモリ２１４に空間フィルタ処理画像を格納する。ステップＳ３０４では、空間間引き処理部において、フレームメモリ２１４に格納された空間フィルタ処理画像を取得して、各フレーム画像についての間引き処理を実行する。この処理は、先に図１０等を参照して説明した処理であり、
ＤｘＰ×Ｄｙｑ画素の画像をｐ×ｑ画素の画像に変換する処理である。この処理は、サンプリング画素の抽出処理として実行される。

次に、ステップＳ３０５において、各フレーム対応のｐ×ｑ画素の画像に基づくレンダリング処理をレンダリング部２２１において実行し、ステップＳ３０６においてレンダリング画像をフレームメモリ２２２に記録する。ステップＳ３０７では、フレームメモリ２２２に記録されたフレーム画像を画像表示部４に出力する。

ステップＳ３０８では、表示処理が終了したか否かを判定し、継続中である場合は、ステップＳ３０４以下の処理を繰り返し実行する。この処理によって、画像表示部には、静止画像に基づく生成画像のスクロール表示が行なわれる。ステップＳ３０８において、表示処理が終了と判定すると処理を終了する。

このように、本処理例では、空間フィルタ処理は１回のみでよく、空間間引き処理およびレンダリング処理を、画像表示部に表示するフレーム画像個別に繰り返し処理として実行すればよい。表示画像生成処理部２２から出力された画像信号は、各フレームにおいて順次、画像表示部４に入力される。

画像表示部４は、この処理画像を所定のフレームレート、好ましくは高フレームレートで表示する。その結果、超解像効果によって、観察者は画像表示部４中のスクロール画像の画素数ｐ×ｑ画素を越える空間解像度画像を知覚することが可能となる。このとき観察者が知覚できる空間解像度は、上記の空間間引き処理における間引き量と発光領域の画素数との積であるＤｘｐ×Ｄｙｑ画素相当である。ただし、ｍ×ｎ画素相当の空間解像度が上限とされる。

次に、本発明の画像処理装置の第２の実施例について説明する。前述した本発明の画像処理装置の第１の実施例においては、スクロール画像の生成に必要なパラメータとしてのスクロール画像の画素数とスクロール移動速度のデータは、外部から入力される構成であった。

これに対し、第２の実施例の画像処理装置は、超解像効果を得て表示画素数以上の空間解像度を表現できるような条件を満たした、スクロール画像生成のためのパラメータの値を、表示装置の内部において自動で算出する構成を持つ。図１６は、本発明の第２の実施例に係る画像処理装置の構成を示す図である。

第１の実施例における画像処理装置の構成（図１）との相違点は、インターフェース部３１０内にパラメータ入力部を持他図、画像入力部３１１のみを有することである。図１６におけるその他の構成は図１に示す装置とほぼ同様である。制御部３３０における処理が異なる。

本実施例においては、スクロール画像の画素数およびスクロール移動速度の値を、インターフェース部において外部から入力するのではなく、制御部３３０において算出する。制御部３３０内にパラメータ算出部３３１を有し、画像入力部３１１において読み取られた静止画像信号の画素数の値を入力とし、超解像効果を得る条件を満たしたスクロール画像の画素数およびスクロール移動速度の値を内部にて算出し、これらをスクロール画像生成のためのパラメータとして用いる。この構成によって、画像変換処理部２内における空間フィルタリング処理および空間間引き処理を制御する。

制御部３３０のパラメータ算出部３３１におけるスクロール画像の画素数およびスクロール移動速度の値を決定する一例は以下の通りである。
例えば、入力静止画像がｍ×ｎの画素数を持ち、画像表示部４がｉ×ｊ画素を有する表示デバイスで構成されているとする。ｍ，ｎ，ｉ，ｊは正の整数であり、ｍ＞ｉかつｎ＞ｊの条件を満たしているものとする。

まず、制御部３３０のパラメータ算出部３３１は、ｍ，ｎの値をインターフェース部３１０から受信し、画像変換後に出力されるスクロール画像の発光領域の画素数ｐ×ｑの値を適当に決定する。ｐ，ｑは正の整数である。この決定方法は、特に問わないが、ｍ＞ｉ＞ｐかつｎ＞ｊ＞ｑの条件を満たし、また画像変換部への入出力間で画像の縦横比が揃うよう、ｍ／ｎ＝ｐ／ｑの条件を満たすｐ，ｑの値を決定することが一般的だと考えられる。

制御部３３０のパラメータ算出部３３１は、ｐ，ｑを決定した後、画素数変換処理部２の空間間引き処理部における間引き量Ｄｘ，Ｄｙを決定する。Ｄｘ，Ｄｙは、超解像効果が得られる条件を満たす間引き量の条件において、最大の間引き量を設定することで、観察者の知覚できる空間解像度は最も向上する。（例えば、図７に示す移動速度と間引き量の対応が成立する場合、Ｄｘ＝４，Ｄｙ＝４）さらに、第１の実施例の図７に示す移動速度と間引き量の関係から、既に決定されている間引き量Ｄｘ，Ｄｙを用いてスクロール移動速度を決定する。

このように、制御部３３０のパラメータ算出部３３１は、第１２の実施例で外部入力されていたパラメータであるスクロール画像の画素数およびスクロール移動速度の値を決定する。画素数変換処理部２では、この決定値に基づいて、空間フィルタ処理および空間間引き処理を実行して、超解像効果をもたらす画像データを生成する。これらの処理は、第１の実施例と同様である。

以上、スクロール画像生成のためのパラメータの値を、表示装置の内部において自動的に算出する方法を示したが、前記の方法はその一例であり、本発明の第２の実施例は、他のパラメータ決定方法の存在を否定するものではない。また、本発明の第２の実施例における、スクロール画像の画素数およびスクロール移動速度の値を全て自動で決定する場合を記載したが、第２の実施例は超解像効果により表示画素数以上の空間解像度を表現できるような、スクロール画像のパラメータの一部を決定する場合を含むものである。具体的には、スクロール画像の画素数およびスクロール移動速度のどちらか一方のみを使用者が入力し（ＧＵＩ上での入力などが考えられる）、使用者によって決定されない他方のパラメータの値を、超解像効果により表示画素数以上の空間解像度を表現できるように、表示装置内部で自動的に決定する方式など、である。これらの場合、表示装置の構成は、第１の実施例にて示した図１と同様、インターフェース部内にパラメータ入力部を持ち得る。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、静止画像を表示装置に表示する際、所定のスクロール速度で表示を行なう構成とし、このスクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を実行してフレーム画像を生成して表示部に出力する構成としたので、表示部に表示されるスクロール画像が、視覚系による超解像効果を引き起こし、ユーザ（視覚者）には、表示部の画素数以上の高解像度画像として観察され、高品質な表示画像の提供を可能とした画像処理装置が実現される。

本発明の一実施例に係る画像処理装置の構成を示す図である。 パラメータ入力部におけるユーザインタフェースの構成例を示す図である。 本発明の一実施例に係る画像処理装置における画像変換処理部２の構成例を示す図である。 画像変換処理部において実行する画素数変換処理について説明する図である。 空間間引き処理部において実行する空間間引き処理例について説明する図である。 画像変換処理部において実行する画素数変換処理について説明する図である。 空間間引き処理部において実行する空間間引き処理における間引き量について説明する図である。 空間間引き処理部において実行する空間間引き処理における間引き量の決定に適用するテーブルの例について説明する図である。 空間間引き処理部において実行する空間間引き処理における間引き量の決定処理シーケンスについて説明するフローチャートを示す図である。 空間間引き処理部において実行する空間間引き処理の具体例および生成画像について説明する図である。 レンダリング部におけるレンダリング処理を説明する図である。 空間間引き処理部において実行する空間間引き処理、およびレンダリング部におけるレンダリング処理を説明する図である。 画像変換処理部において行われる空間フィルタ処理、空間間引き処理およびレンダリング処理についてのシーケンスを説明するフローチャートを示す図である。 空間フィルタ処理の繰り返し処理を省略可能とした画像変換処理部の構成例を示す図である。 空間フィルタ処理の繰り返し処理を省略可能とした画像変換処理部の処理シーケンスを説明するフローチャートを示す図である。 本発明の第２の実施例に係る画像処理装置について説明する図である。

符号の説明

１ インターフェース部
２ 画像変換処理部
３ 制御部
４ 画像表示部
１１ 画像入力部
１２ パラメータ入力部
１５ スクロール画像画素数設定部
１６ スクロール移動速度（Ｖｅｌｏｃｉｔｙ）設定部
２１ 画素数変換処理部
２２ 表示画像生成処理部
２１１ フレームメモリ
２１２ 空間フィルタ処理部
２１３ 空間間引き処理部
２１４ フレームメモリ
２２１ レンダリング部
２２２ フレームメモリ
３１０ インターフェース部
３１１ 画像入力部
３３０ 制御部
３３１ パラメータ算出部

Claims (21)

1. 静止画像データを入力する画像入力部と、
   前記静止画像データに対する画素数変換を行う画素数変換処理部と、
   前記画素数変換処理部において生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理部と、
   前記画素数変換処理および表示画像生成処理を制御する制御部とを有し、
   前記画素数変換処理部は、
   前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を実行する空間間引き処理部を有する構成であり、
   前記表示画像生成処理部は、
   フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行う構成であることを特徴とする画像処理装置。
2. 前記制御部は、
   画像表示部に表示するスクロール画像のスクロール移動速度に基づいて、超解像効果が得られる条件を満たす空間間引き量を決定する処理を実行する構成であり、
   前記空間間引き処理部は、
   前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、
   画像表示部に表示するスクロール画像のスクロール移動速度と、超解像効果が得られる条件を満たす空間間引き量とを対応付けたテーブルに基づいて空間間引き量を決定する処理を実行する構成であり、
   前記空間間引き処理部は、
   前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御部は、
   画像表示部に表示するスクロール画像のスクロール移動速度が、超解像効果が得られる条件を満たす空間間引き量ｎに対応する速度範囲にあるか否かを、予め定めたｎの最大値から順次検証し、より大きな空間間引き量ｎを、前記空間間引き処理部における間引き量として決定する処理を実行する構成であり、
   前記空間間引き処理部は、
   前記制御部の決定した空間間引き量に従った空間間引き処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 前記画素数変換処理部は、
   空間フィルタ処理部と、空間間引き処理部を有し、
   前記画像入力部に入力する静止画像が画素数ｍ×ｎの入力画像であり、
   前記画像表示部に出力するスクロール表示画像がｐ×ｑの出力画像であり、
   超解像度効果を奏する空間間引き量を、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとしたとき、
   前記空間フィルタ処理部は、
   前記画像入力部に入力する画素数ｍ×ｎの入力画像を画素数Ｄｘｐ×Ｄｙｑの画像に変換する処理を実行し、
   前記空間間引き処理部は、
   前記空間フィルタ処理部の生成した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとした空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する構成であることを特徴とする請求項１に記載の画像処理装置。
6. 前記空間フィルタ処理部の処理画像を格納するメモリを有し、
   前記空間間引き処理部は、
   前記メモリから取得した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、フレーム個別に空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する処理を実行する構成であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   前記スクロール移動速度を含むパラメータを入力するパラメータ入力部を有し、
   前記制御部は、
   前記パラメータ入力部から入力されたスクロール移動速度情報に基づいて前記空間間引き処理部における間引き量の決定処理を行う構成であることを特徴とする請求項１に記載の画像処理装置。
8. 前記制御部は、
   前記スクロール移動速度を含むパラメータを決定するパラメータ算出部を有し、
   前記パラメータ算出部は、
   前記画像入力部に入力される静止画像の画素数を入力し、超解像効果を得る条件を満たすスクロール画像の画素数およびスクロール移動速度の値を算出し、算出情報に従って、前記空間間引き処理部における間引き量の決定処理を行う構成であることを特徴とする請求項１に記載の画像処理装置。
9. 前記表示画像生成処理部は、
   フレーム個別に空間間引き処理の実行されたフレーム画像に基づいて、スクロール移動速度に基づくフレーム移動を考慮したフレーム単位のレンダリング処理を実行する構成を有することを特徴とする請求項１乃至８いずれかに記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記表示画像生成処理部の生成したスクロール表示画像の表示処理を実行する画像表示部を有する構成であることを特徴とする請求項１乃至９いずれかに記載の画像処理装置。
11. 静止画像データを入力する画像入力ステップと、
    画像処理パラメータを決定するパラメータ決定ステップと、
    前記パラメータに基づいて静止画像データに対する画素数変換を行う画素数変換処理ステップと、
    前記画素数変換処理ステップにおいて生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理ステップを有し、
    前記画素数変換処理ステップは、
    前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を前記パラメータに基づいて実行する空間間引き処理ステップを含み、
    前記表示画像生成処理ステップは、
    フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行うステップであることを特徴とする画像処理方法。
12. 前記パラメータ決定ステップは、
    画像表示部に表示するスクロール画像のスクロール移動速度に基づいて、超解像効果が得られる条件を満たす空間間引き量を決定する処理を実行し、
    前記空間間引き処理ステップは、
    前記パラメータ決定ステップにおいて決定した空間間引き量に従った空間間引き処理を実行することを特徴とする請求項１１に記載の画像処理方法。
13. 前記パラメータ決定ステップは、
    前記画像表示部に表示するスクロール画像のスクロール移動速度と、超解像効果が得られる条件を満たす空間間引き量とを対応付けたテーブルに基づいて空間間引き量を決定する処理を実行し、
    前記空間間引き処理ステップは、
    前記パラメータ決定ステップにおいて決定した空間間引き量に従った空間間引き処理を実行することを特徴とする請求項１１に記載の画像処理方法。
14. 前記パラメータ決定ステップは、
    画像表示部に表示するスクロール画像のスクロール移動速度が、超解像効果が得られる条件を満たす空間間引き量ｎに対応する速度範囲にあるか否かを、予め定めたｎの最大値から順次検証し、より大きな空間間引き量ｎを、前記空間間引き処理ステップにおける間引き量として決定する処理を実行し、
    前記空間間引き処理ステップは、
    前記制御ステップの決定した空間間引き量に従った空間間引き処理を実行することを特徴とする請求項１１に記載の画像処理方法。
15. 前記画素数変換処理ステップは、
    空間フィルタ処理ステップと、空間間引き処理ステップを有し、
    前記画像入力ステップにおいて入力する静止画像が画素数ｍ×ｎの入力画像であり、
    画像表示部に出力するスクロール表示画像がｐ×ｑの出力画像であり、
    超解像度効果を奏する空間間引き量を、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとしたとき、
    前記空間フィルタ処理ステップは、
    前記画像入力ステップにおいて入力する画素数ｍ×ｎの入力画像を画素数Ｄｘｐ×Ｄｙｑの画像に変換する処理を実行し、
    前記空間間引き処理ステップは、
    前記空間フィルタ処理ステップの生成した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、Ｘ方向の間引き量Ｄｘ、Ｙ方向の間引き量Ｄｙとした空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成することを特徴とする請求項１１に記載の画像処理方法。
16. 前記画像処理方法は、さらに、
    前記空間フィルタ処理ステップにおける処理画像をメモリに格納するメモリ格納ステップを有し、
    前記空間間引き処理ステップは、
    前記メモリから取得した画素数Ｄｘｐ×Ｄｙｑの画像に基づいて、フレーム個別に空間間引き処理を実行して、画素数ｐ×ｑの出力画像を生成する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
17. 前記画像処理方法は、さらに、
    前記スクロール移動速度を含むパラメータを入力するパラメータ入力ステップを有し、
    前記パラメータ決定ステップは、
    前記パラメータ入力ステップにおいて入力されたスクロール移動速度情報に基づいて前記空間間引き処理ステップにおいて適用する間引き量の決定処理を行うことを特徴とする請求項１１に記載の画像処理方法。
18. 前記パラメータ決定ステップは、
    前記画像入力ステップにおいて入力した静止画像の画素数を入力し、超解像効果を得る条件を満たすスクロール画像の画素数およびスクロール移動速度の値を算出し、算出情報に従って、前記空間間引き処理ステップにおける間引き量の決定処理を行うことを特徴とする請求項１１に記載の画像処理方法。
19. 前記表示画像生成処理ステップは、
    フレーム個別に空間間引き処理の実行されたフレーム画像に基づいて、スクロール移動速度に基づくフレーム移動を考慮したフレーム単位のレンダリング処理を実行するステップを有することを特徴とする請求項１１乃至１８いずれかに記載の画像処理方法。
20. 前記画像処理方法は、さらに、
    前記表示画像生成処理ステップの生成したスクロール表示画像の表示処理を実行する画像表示ステップを有することを特徴とする請求項１１乃至１９いずれかに記載の画像処理方法。
21. 静止画像に基づくスクロール画像の生成処理を画像処理装置において実行させるコンピュータ・プログラムであり、
    静止画像データを入力する画像入力ステップと、
    画像処理パラメータを決定するパラメータ決定ステップと、
    前記パラメータに基づいて静止画像データに対する画素数変換を行う画素数変換処理ステップと、
    前記画素数変換処理ステップにおいて生成された画素数変換画像データに基づいて、画像表示部に出力する出力画像データとしてのスクロール表示画像を生成する表示画像生成処理ステップを有し、
    前記画素数変換処理ステップは、
    前記スクロール表示画像を構成するフレーム画像の各々について、スクロール移動速度に応じて決定される超解像度効果を奏する空間間引き量に従った空間間引き処理を前記パラメータに基づいて実行する空間間引き処理ステップを含み、
    前記表示画像生成処理ステップは、
    フレーム個別に空間間引き処理の実行されたフレーム画像に基づくスクロール表示画像の生成処理を行うステップであることを特徴とするコンピュータ・プログラム。

Images