JP2009111721A - 入力画像制御装置、撮像装置、入力画像制御方法およびプログラム - Google Patents

Abstract

【課題】好適に高解像度の画像信号を生成するための技術を提供することを目的とする。
【解決手段】入力された複数のフレーム３７４４，３７４５における画像のずれを基に、画素数を補間して増加させることによって、高解像度画像を生成するためにバッファリング器３７２８に、入力部から入力された画像をバッファリングしておき、入力された画像と、バッファリング器３７２８にバッファリングされているフレーム３７４４の画像とを基に、２つの画像の画素ごとのずれの度合いの情報である位相差θ３７４３を生成し、生成した位相差θ３７４３を制御信号３７４２として、次のフレームの画像が、前のフレームの画像と所定のずれを生じるよう入力部３７０１を制御することを特徴とする。
【選択図】図３５

Description

本発明は、入力画像制御装置、撮像装置、入力画像制御方法およびプログラムの技術に関する。

最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力され
た画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の
画素数を増やして表示することが一般的に行われている。この際、一般的に知られている
ｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。

そこで、特許文献１、特許文献２、非特許文献１に記載されているように、入力された複数の画像フレーム（以下、フレームと略記）を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす技術（以下、従来技術）が提示されている。

さらに、特許文献３には、高解像度化に適した画像が得られるようレンズの移動量を予め設定しておく技術が提示されている。また、特許文献３には、画像がレンズの移動量を超える、もしくはレンズの移動量を下回る移動量を示したときに、画像を複数のエリアに分割し、前のフレームと相関の高いエリアの画像は、高解像度化に用いるが、相関の低いエリアの画像は、高解像度化に適していないと判定し、当該エリアの画像を高解像度化処理に用いない技術も提示されている。

特開平８−３３６０４６号公報 特開平９−６９７５５号公報 特開平１０−１９１１３６号公報 青木伸 "複数のデジタル画像データによる超解像処理"， Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998

これらの従来技術では、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高解像度化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相（標本化位置）の差を推定するものである。（２）広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数（サンプリング点）を補間して増やし、画像データを高密度化するものである。（３）加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

図４３は、一般的な高解像度化技術の概要を示す図である。
図４３（ａ）に示すように、異なる時間軸上のフレーム＃１ ２０１、フレーム＃２ ２０２、フレーム＃３ ２０３ が入力され、これらを合成して出力フレーム２０６を得ることを想定する。簡単のため、まず被写体が水平方向に移動（矢印２０４）した場合を考え、水平線２０５の上の１次元の信号処理によって高解像度化することを考える。このとき、図４３（ｂ）と図４３（ｄ）に示すように、フレーム＃２ ２０２とフレーム＃１ ２０１では、被写体の移動（矢印２０４）の量に応じて信号波形の位置ずれが生じる。前記した（１）位置推定によってこの位置ずれ量を求め、図４３（ｃ）に示すように、位置ずれが無くなるようにフレーム＃２ ２０２を動き補償２０７（図４３（ｂ）参照）するとともに、各フレームの画素２０８のサンプリング位相２０９，２１０の間の位相差θ２１１を求める。この位相差θ２１１に基づき、前記した（２）広帯域補間および（３）加重和を行うことにより、図４３（ｅ）に示すように、元の画素２０８のちょうど中間（位相差θ＝π）の位置に新規画素２１２を生成することにより、高解像度化を実現する。
（３）加重和については後記する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。

特許文献１、特許文献２、非特許文献１などに記載の技術によって１次元方向の２倍の高解像度化を行う場合、前記（３）の加重和を行う際、図４４に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図４４は、１次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。図４４において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。前記（３）の加重和について、以下に詳しく説明する。

前記（２）の広帯域補間にて、ナイキスト周波数の２倍の帯域（周波数０〜サンプリング周波数ｆｓまでの帯域）を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分（以下、原成分）と、サンプリング位相とに応じた折返し成分の和が得られる。このとき、３枚のフレーム画像の信号に対して前記（２）広帯域補間の処理を行うと、図４４（ａ）に示すように、各フレームの原成分３０１〜３０３の位相はすべて一致し、折返し成分３０４〜３０６の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を図４４（ｂ）に示し、各フレームの折返し成分の位相関係を図４４（ｃ）に示す。

ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して前記（３）加重和を行うことにより、各フレームの折返し成分３０４〜３０６を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分３０４〜３０６のベクトル和を０にする、すなわち、Ｒｅ軸（実軸）の成分とＩｍ軸（虚軸）の成分を両方ともに０とするためには、少なくとも３つの折返し成分が必要となる。従って、２倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。

同様に、特許文献１、特許文献２、非特許文献１などに記載されているように、水平・垂直の２次元の入力信号に対して高解像度化する場合、折返しが縦横２方向から来るので、原信号の帯域が縦横共に２倍に広がると、３つの折返し成分が重なり、それらを打ち消すためには２Ｍ＋１＝７個のデジタルデータ（＝７枚のフレーム画像の信号）を必要としていた。

従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号や画像信号記録再生装置の入力信号等の動画像のフレームを高解像度化することが困難である。

また、特許文献３に記載の技術では、レンズの移動量が、入力画像に関わらず予め固定的に設定されているため、入力画像の移動量に対応して、高解像度化に適するようレンズを移動することができないという問題がある。また、相関の低いエリアを高解像度化に適していないと判定して、高解像度化処理に用いないことから、高解像度化に用いる画素と用いない画素が生じるという問題がある。

本発明は、前記課題に鑑みて為されたものであって、好適に高解像度の画像信号を生成するための技術を提供することを目的とする。

前記課題に鑑みて、本発明は、入力された複数のフレームにおける画像のずれを基に、画素数を補間して増加させることによって、高解像度画像を生成するために記憶部に、入力部から入力された画像をバッファリングしておき、前記入力された画像と、前記記憶部にバッファリングされているフレームの画像とを基に、２つの画像の画素ごとのずれの度合いの情報である位相差情報を生成し、前記生成した位相差信号を制御信号として、次のフレームの画像が、前のフレームの画像と所定のずれを生じるよう前記入力部を制御することを特徴とする。

本発明によれば、好適に高解像度の画像信号を生成することが可能となる。

以下、本発明を実施するための最良の形態（以下、実施形態と記載）について、図面を参照しつつ説明する。
以下に説明する本発明の各実施形態に係る画像信号処理装置では、解像度変換部から入力部を制御するための制御信号を入力部に送信し、入力部で前記制御信号をもとに記録再生処理部または切替器への画像信号を制御するものである。

なお、以下の各実施形態の記載において、前記した（１）位置推定には、参考文献１や参考文献２に記載されているような方法を用いればよい。また前記した（２）広帯域補間には、非特許文献１に記載されているようなナイキスト周波数の２倍の通過帯域を持つ一般的なローパスフィルタを用いればよい。
［参考文献１］ 安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測シス
テム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12,1986
［参考文献２］ 小林弘幸ほか “ＤＣＴ変換に基づく画像の位相限定相関法”， 信学技法 IEICE Technical Report ITS2005-92,IE2005-299(2006-02), pp.73-78
また、以下に記載する各実施形態で「ＳＲ信号」との表記は「Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ信号」の略である。

（第１実施形態）
図１は、第１実施形態に係る画像信号処理装置の構成を示す図である。
本実施形態に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施形態の説明においては、画像信号処理装置として画像表示装置を例にして説明する。図１において、本実施形態に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部１と、この入力部１から入力されたフレームを高解像度化するための解像度変換部２と、更にこの解像度変換部２によって高解像度化されたフレームに基づき画像を表示する表示部３とを備えている。この表示部３として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部２の概要について説明する。

図１において、まず位置推定部１０１により、入力部１に入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として、フレーム＃２上の対応する画素の位置を推定し、サンプリング位相差θ（位相差θ１０２）を求める。次に、動き補償・アップレート部１１５のアップレート器１０３，１０４により、位相差θ１０２の情報を用いてフレーム＃２を動き補償してフレーム＃１と位置を合わせるとともに、フレーム＃１とフレーム＃２の画素数をそれぞれ２倍に増して高密度化する。位相シフト部１１６では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π／２位相シフト器１０６，１０８を用いることができる。また、π／２位相シフト器１０６，１０８で生じる遅延を補償するために、遅延器１０５，１０７により高密度化したフレーム＃１とフレーム＃２の信号を遅延させる。折返し成分除去部１１７では、遅延器１０５，１０７とπ／２位相シフト器１０６，１０８の各出力信号に対して、係数決定器１０９にて位相差θ１０２をもとに生成した係数Ｃ０，Ｃ２，Ｃ１，Ｃ３を乗算器１１０〜１１３にてそれぞれ乗算し、加算器１１４にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部１０１は、上記従来技術をそのまま用いて実現することができる。アップレート器１０３，１０４、π／２位相シフト器１０６，１０８および折返し成分除去部１１７の各詳細については後記する。

なお、図１において、位置推定部１０１で位相差θ１０２を求めた後、アップレート器１０３，１０４でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、これに限らず、アップレート器１０３，１０４でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部１０１が位相差θ１０２を求めてもよい。

次に、図２を参照して、第１実施形態に係る画像信号処理装置の動作を示す。
図２は、第１実施形態において、１次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。
図２は、図１に示した遅延器１０５，１０７とπ／２位相シフト器１０６，１０８の各出力を１次元の周波数領域で示したものである。図２（ａ）において、遅延器１０５，１０７から出力されたアップレート後のフレーム＃１とフレーム＃２の信号はそれぞれ、原成分４０１，４０２と、元のサンプリング周波数（ｆｓ：図３を参照して後記）から折り返された折返し成分４０５，４０６を加えた信号となる。このとき、折返し成分４０６は前記した位相差θ１０２だけ位相が回転している（図２（ｃ）参照）。一方、π／２位相シフト器１０６，１０８から出力されたアップレート後のフレーム＃１とフレーム＃２の信号はそれぞれ、π／２位相シフト後の原成分４０３，４０４と、π／２位相シフト後の折返し成分４０７，４０８を加えた信号となる。図２（ｂ）および図２（ｃ）は、図２（ａ）に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、図２（ｂ）に示す４つの成分のベクトル和を取ったときに、Ｒｅ軸の成分を１とし、Ｉｍ軸の成分を０とするとともに、図２（ｃ）に示す４つの成分のベクトル和を取ったときに、Ｒｅ軸とＩｍ軸の両方の成分を０とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、２枚のフレーム画像だけを用いて、１次元方向の２倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。

図３は、図１におけるアップレート器の動作を示す図である。
図３において、横軸は周波数を、縦軸は利得（入力信号振幅に対する出力信号振幅の比の値）を表し、アップレート器１０３，１０４（図１参照）の「周波数−利得」特性を示している。ここで、アップレート器１０３，１０４では、もとの信号のサンプリング周波数（ｆｓ）に対して２倍の周波数（２ｆｓ）を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンプリング点（＝ゼロ点）を挿入することによって画素数を２倍にして高密度化するとともに、−ｆｓ〜＋ｆｓの間の周波数をすべて利得２．０の通過帯域とするフィルタをかける。このとき、図３に示すように、デジタル信号の対称性により、２ｆｓの整数倍の周波数ごとに繰り返す特性となる。

図４は、第１実施形態におけるアップレート器の動作の具体例を示す図である。
図４は、図３に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ｃｋ（ただし、ｋは整数）は一般的に知られているｓｉｎｃ関数となり、サンプリングの位相差θ１０２を補償するために（−θ）だけシフトし、Ｃｋ＝２ｓｉｎ（πｋ＋θ）／（πｋ＋θ）とすればよい。なお、アップレート器１０３（図１参照）では、位相差θ１０２を０とおき、Ｃｋ＝２ｓｉｎ（πｋ）／（πｋ）とすればよい。また、位相差θ１０２を、整数画素単位（２π）の位相差＋小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については前記アップレート器１０３，１０４（図１参照）のフィルタを用いてもよい。

図５に、第１実施形態に用いるπ／２位相シフト器の動作例を示す図であり、（ａ）は、「周波数‐利得」特性を示す図であり、（ｂ）は、「周波数‐位相差」特性を示す図である。
π／２位相シフト器１０６，１０８（図１参照）として、一般に知られているヒルベルト変換器を用いることができる。図５（ａ）において、横軸は周波数を、縦軸は利得（入力信号振幅に対する出力信号振幅の比の値）を表し、ヒルベルト変換器の「周波数−利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数（ｆｓ）に対して２倍の周波数（２ｆｓ）を新しいサンプリング周波数として、−ｆｓ〜＋ｆｓの間の０を除く周波数成分をすべて利得１．０の通過帯域とする。また、図５（ｂ）において、横軸は周波数を、縦軸は位相差（入力信号位相に対する出力信号位相の差）を表し、ヒルベルト変換器の「周波数−位相差」特性を示している。ここで、０〜ｆｓの間の周波数成分についてはπ／２だけ位相を遅らせ、０〜−ｆｓの間の周波数成分についてはπ／２だけ位相を進ませる。このとき、図５に示すように、デジタル信号の対称性により、２ｆｓの整数倍の周波数ごとに繰り返す特性となる。

図６は、第１実施形態に用いるπ／２位相シフト器をヒルベルト変換器で構成したときの動作を示す図である。
図６は、図５に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ｃｋは、ｋ＝２ｍ（ただしｍは整数）のときはＣｋ＝０とし、ｋ＝２ｍ＋１のときはＣｋ＝−２／（πｋ）とすればよい。

なお、第１実施形態に用いるπ／２位相シフト器１０６，１０８（図１参照）は、微分器を用いることも可能である。この場合、正弦波を表す一般式ｃｏｓ（ωｔ＋α）をｔで微分して１／ωを乗じると、ｄ（ｃｏｓ（ωｔ＋α））／ｄｔ＊（１／ω）＝−ｓｉｎ（ωｔ＋α）＝ｃｏｓ（ωｔ＋α＋π／２）となり、π／２位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、１／ωの「周波数−振幅」特性を持ったフィルタを掛けることによってπ／２位相シフトの機能を実現してもよい。

図７は、第１実施形態に用いる係数決定器の動作と具体例を示す図であり、（ａ）は、各成分における条件を示し、（ｂ）は、各係数の条件を示し、（ｃ）は、（ａ）および（ｂ）の条件から導き出される各係数の式を示し、（ｄ）は、各係数の具体値の例を示す。
図７（ａ）に示すように、図２（ｂ）に示した４つの成分のベクトル和を取ったときに、Ｒｅ軸の成分を１とし、Ｉｍ軸の成分を０とするとともに、図２（ｃ）に示した４つの成分のベクトル和を取ったときに、Ｒｅ軸とＩｍ軸の両方の成分を０とするように、各成分に乗算する係数を決定すれば、２枚のフレーム画像だけを用いて、１次元方向の２倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器１０５の出力（アップレート後のフレーム＃１の原成分と折返し成分の和）に対する係数をＣ０、π／２位相シフト器１０６の出力（アップレート後のフレーム＃１の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和）に対する係数をＣ１、遅延器１０７（図１参照）の出力（アップレート後のフレーム＃２の原成分と折返し成分の和）に対する係数をＣ２、π／２位相シフト器１０６の出力（アップレート後のフレーム＃２の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和）に対する係数をＣ３、として図７（ａ）の条件を満たすようにすると、図２（ｂ）および図２（ｃ）に示した各成分の位相関係から、図７（ｂ）に示す連立方程式を得ることができ、これを解くと図７（ｃ）に示す結果を導くことができる。係数決定器１０９は、このようにして得た係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を出力すればよい。一例として、位相差θ１０２をπ／８ごとに０〜２πまで変化させたときの係数Ｃ０、Ｃ１、Ｃ２、Ｃ３の値を、図７（ｄ）に示す。これは、もとのフレーム＃２の信号を、１／１６画素の精度で位置推定し、フレーム＃１に対して動き補償した場合に相当する。

なお、アップレート器１０３，１０４（図１参照）およびπ／２位相シフト器１０６，１０７は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数（例えばハニング窓関数やハミング窓関数など）を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、Ｃ０を中心として左右点対象の値、すなわちＣ（−ｋ）＝−Ｃｋ（ｋは整数）とすれば、位相を一定量だけシフトすることができる。

以上のように各部を構成すれば、好適に、すなわちより少ないフレーム数で、かつ簡単な構成で高解像度化を実現することができる。

（第２実施形態）
図８は、第２実施形態に係る位相シフト部および折返し成分除去部の構成を示す図である。
図８に示した構成は、図７（ｃ）に示した係数Ｃ０、Ｃ１、Ｃ２、Ｃ３の関係を利用して、図１に示した構成を簡略化したものである。すなわち、Ｃ０＝Ｃ２＝１／２であり、Ｃ１＝−Ｃ３＝−（１＋ｃｏｓθ）／ｓｉｎθであることから、アップレート後のフレーム＃１と動き補償・アップレート後のフレーム＃２の各信号から、加算器１００１と減算器１００４により和と差の信号を生成する。和信号は、ｆｓ遮断フィルタ１００２を介したのちに、乗算器１００３にてＣ０（＝０．５）を掛けて加算器１００８に入力される。ここで、ｆｓ遮断フィルタ１００２は、アップレート前のサンプリング周波数（ｆｓ：図３参照）の成分を零点として遮断するフィルタであり、例えば図８の符号１０１１中に示すタップ係数を用いることにより実現できる。このｆｓ遮断フィルタ１００２は、図５（ａ）に示したようにヒルベルト変換器１００５の「周波数‐利得」特性にて周波数ｆｓの利得が零点になるために折返し成分を除去できず、周波数ｆｓの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数ｆｓの成分も含めてπ／２位相シフトできる手段をヒルベルト変換器１００５の替わりに用いれば、このｆｓ遮断フィルタ１００２は不要になる。

一方、差信号については、ヒルベルト変換器１００５にて位相を一定量（＝π／２）だけシフトしたのちに、係数決定器１００７にて位相差θ１０２に基づいて決定した係数Ｃ１を乗算器１００６で乗算し、加算器１００８にて加算して出力を得る。ここで、ｆｓ遮断フィルタ１００２とヒルベルト変換器１００５を有す位相シフト部１００９は、図１に示した位相シフト部１１６の半分の回路規模で実現できる。また、係数決定器１００７は、図７（ｃ）に示した係数Ｃ１だけを出力すればよく、加算器１００１、減算器１００４、乗算器１００３，１００６、加算器１００８および係数決定器１００７を有す折返し成分除去部１０１０は、乗算器の個数を減らすことができるため、図１に示した折返し成分除去部１１７よりも小さい回路規模で実現できる。

（第３実施形態）
図９は、第３実施形態に係る位相シフト部および折返し成分除去部の構成を示す図である。
図９に示す構成は、図７（ｄ）に示したように位相差θが０のときに係数Ｃ１、Ｃ３が不定になることや、位相差θ１０２が０に近づくにつれて係数Ｃ１、Ｃ３が大きくなることでノイズ等に脆弱になることを防ぐために、図８に示した構成をベースとして、位相差θ１０２が０近傍になったときに補助的画素補間部１１０５からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ１１０１をバイパス経路として用意し、係数決定器１１０３にて前記した係数Ｃ０，Ｃ１のほかに新たにＣ４を生成して、乗算器１１０２にて補間ローパスフィルタ１１０１の出力と係数Ｃ４を乗算し、加算器１１０４で高解像度化した信号に加えて出力する。それ以外は、図８に示した構成と同一である。

図１０は、第３実施形態に係る補間ローパスフィルタの動作例を示す図である。
図１０は、もとのサンプリング周波数ｆｓの１／２をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ｃｋ（ただし、ｋは整数）は一般的なｓｉｎｃ関数となり、Ｃｋ＝ｓｉｎ（πｋ／２）／（πｋ／２）とすればよい。

図１１は、第３実施形態に係る係数決定器の動作例を示す図である。
図１１は、図７（ｄ）に示した係数Ｃ０，Ｃ１をベースとし、通常は新たな係数Ｃ４を０としているが、位相差θが０近傍になったときに、係数Ｃ１の値を強制的に０にするとともに、係数Ｃ４の値を１．０とする動作を示している。この動作により、図９に示す構成において、位相差θ１０２が０近傍になったときに、加算器１１０４の出力を自動的に補間ローパスフィルタ１１０１の出力に切替えることができるようになる。なお、位相差θ１０２（図９参照）が０に近づくとともに、図１０に示した係数から図１１に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部１０１にて、フレーム＃１上の処理対象の画素に対応した画素がフレーム＃２上にないと判定された場合も、図９における位相差θ１０２が０近傍になったときと同様に各係数を制御して、加算器１１０４の出力を自動的に補間ローパスフィルタ１１０１の出力に切替えてもよい。

（第１実施形態のフローチャート）
図１２は、図１における画像信号処理装置の動作を示すフローチャートである。
なお、このフローチャートの方法は、例えば、図１に示すような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１に準ずることとする。また、図１２のステップＳ１４０１〜ステップＳ１４１７をステップＳ５、図１３のステップＳ１５０１〜ステップＳ１５１７をステップＳ５’、および図１４とのステップＳ１５０１〜ステップＳ１５１７をステップＳ５’’とする。
なお、図１では、位置推定部１０１で位相差１０２を求めた後、アップレート器１０３，１０４でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、前記したように、アップレート器１０３，１０４でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部１０１が位相差１０２を求めてもよい。図１２と、後記する図１３および図１４では、アップレート器１０３，１０４でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部１０１が位相差θ１０２を求める例を説明するが、位置推定とアップレートの順番が入れ替わってもよいことは、当然である。

図１２において、処理はステップＳ１４０１から開始し、ステップＳ１４１８にて、動き補償・アップレート部１１５が、各フレームの画像データを２倍にアップレートする。すなわち、ステップＳ１４０２にて、アップレート器１０３が、フレーム＃１の画像データをアップレートしてフレームバッファ＃１に書込み、ステップＳ１４０３にて、アップレート器１０４が、フレーム＃２の画像データをアップレートしてフレームバッファ＃２に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦０でクリアしたのちに、１画素おきにデータを書き込むことである。また、フレームバッファとは、アップレートされた画像データ（フレーム）を、ＲＡＭ（Random Access memory）や、ＨＤ（Hard Disk）などに一時的に記憶することである。

次に、ステップＳ１４０４にて、解像度変換部２は、フレームバッファ＃１の最初の画素（例えば左上の画素）を処理対象に設定して、以下、フレームバッファ＃１に対するすべての画素データの処理が終わるまで、処理をループする。

ステップＳ１４０５では、位置推定部１０１が、フレームバッファ＃１の対象画素を基準にしてフレームバッファ＃２の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、特許文献１、特許文献２および非特許文献１に記載の技術をそのまま用いることができる。

ステップＳ１４０６では、動き補償・アップレート部１１５が、ステップＳ１４０５で求めた位相差θをもとに、フレームバッファ＃２の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップＳ１４０８のπ／２位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図３および図４を用いて説明した動作と同一である。

続いて、ステップＳ１４１９にて、位相シフト部１１６が、フレームバッファ＃１と動き補償したフレームバッファ＃２に対して、位相を一定量だけシフトする。すなわち、ステップＳ１４０７，Ｓ１４０８により、π／２位相シフト器１０６，１０８が、各フレームバッファの中の画素データをπ／２位相シフトする。

続いて、ステップＳ１４２０にて、折返し成分除去部１１７が、位相差θに基づいて図７（ａ），（ｂ），（ｃ）の条件を満たすように設定した係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を用いて、ステップＳ１４１９の出力データそれぞれに乗算し、これらを加算することにより、フレームバッファ＃１、＃２の画素データから折返し成分を除去し、フレームバッファ＃３に出力する。すなわち、ステップＳ１４０９にて、係数決定器１０９が、位相差θをもとに係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を決定し、ステップＳ１４１０，Ｓ１４１１，Ｓ１４１２，Ｓ１４１３にて、乗算器１１０〜１１３が、各係数とフレームバッファ＃１、＃２の画素データおよびπ／２位相シフト後のデータとそれぞれ乗算したのち、ステップＳ１４１４にて、加算器１１４が、すべてを加算して、フレームバッファ＃３に出力する。この折返し成分除去部１１７の動作は、図７を用いて説明した動作と同様である。

続いて、ステップＳ１４１５にて、解像度変換部２は、フレームバッファ＃１の全画素の処理が完了したかどうかを判定し、完了していなければ（Ｓ１４１５→Ｎｏ）、ステップＳ１４１６で次の画素（例えば右隣の画素）を処理の対象に設定してステップＳ１４０５以降に戻り、完了していれば（Ｓ１４１５→Ｙｅｓ）、ステップＳ１４１７にて処理を終了する。

以上のような処理を行うことにより、解像度変換部２は、フレームバッファ＃１とフレームバッファ＃２の画素データを用いて、フレームバッファ＃３に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップＳ１４０１からステップＳ１４１７に至る処理を、フレームごとに繰り返せばよい。

（第２実施形態のフローチャート）
図１３は、図８における画像信号処理装置の動作を示すフローチャートである。
このフローチャートの方法は、例えば、図１の構成における位相シフト部１１６を図８の位相シフト部１００９および図１の折返し成分除去部１１７を図８の折返し成分除去部１０１０で置き換えた構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１および図８に準ずることとする。なお、ステップＳ１５０１〜ステップＳ１５１７をステップＳ５’とする。
図１３において、処理はステップＳ１５０１から開始し、ステップＳ１５１８にて、動き補償・アップレート部１１５が、各フレームの画像データをアップレートする。すなわち、ステップＳ１５０２にて、アップレート器１０３が、フレーム＃１の画像データをアップレートしてフレームバッファ＃１に書込み、ステップＳ１５０３にて、アップレート器１０４が、フレーム＃２の画像データをアップレートしてフレームバッファ＃２に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦０でクリアしたのちに、１画素おきにデータを書き込むことにより実現できる。

次に、ステップＳ１５０４にて、解像度変換部２が、フレームバッファ＃１の最初の画素（例えば左上の画素）を処理対象に設定して、以下、フレームバッファ＃１のすべての画素データの処理が終わるまで、処理をループする。

ステップＳ１５０５では、位置推定部１０１が、フレームバッファ＃１の対象画素を基準にしてフレームバッファ＃２の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、特許文献１、特許文献２および非特許文献１に記載の技術をそのまま用いることができる。

ステップＳ１５０６では、動き補償・アップレート部１１５が、ステップＳ１５０５で求めた位相差θ１０２をもとに、フレームバッファ＃２の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、後記するステップＳ１５１０のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図３および図４を用いて説明した動作と同様である。

続いて、ステップＳ１５１９およびステップＳ１５２０にて、折返し成分除去部１０１０および位相シフト部１００９が、位相差θに基づいて、位相を一定量だけシフトし、フレームバッファ＃１，＃２の画素データから折返し成分を除去し、フレームバッファ＃３に出力する。まず、ステップＳ１５０７にて、加算部１００１が、フレームバッファ＃１の画素データの値と動き補償したフレームバッファ＃２の画素データの値を加算し、ステップＳ１５０９にて、ｆｓ遮断フィルタ１００２が、周波数ｆｓの成分を遮断する。

また、ステップＳ１５０８にて、減算部１００４が、フレームバッファ＃１の画素データの値から動き補償したフレームバッファ＃２の画素データの値を減算する。ここで、減算した結果に対して、ステップＳ１５１９にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップＳ１５１０にて、ヒルベルト変換器１００５が、ヒルベルト変換する。この位相シフトの動作（ステップＳ１５１９）は、図５および図６を用いて説明した動作と同一である。

続いて、ステップＳ１５１１にて、乗算部１００３が、ｆｓ成分遮断後のデータに係数Ｃ０（＝０．５）を乗算するとともに、ステップＳ１５１２にて、係数決定器１００７が、位相差θをもとに係数Ｃ１を決定し、ステップＳ１５１３にて、乗算部１００６が、係数Ｃ１とヒルベルト変換後のデータを乗算したのち、ステップＳ１５１４にて、加算部１００８が、両者のデータを加算して、フレームバッファ＃３に出力する。

続いて、ステップＳ１５１５にて、解像度変換部２は、フレームバッファ＃１の全画素の処理が完了したかどうかを判定し、完了していなければ（Ｓ１５１５→Ｎｏ）、ステップＳ１５１６で次の画素（例えば右隣の画素）を処理の対象に設定してステップＳ１５０５以降に戻り、完了していれば（Ｓ１５１５→Ｙｅｓ）、ステップＳ１５１７にて処理を終了する。

以上のような処理を行うことにより、解像度変換部２は、フレームバッファ＃１とフレームバッファ＃２の画素データを用いて、フレームバッファ＃３に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップＳ１５０１からステップＳ１５１７に至る処理を、フレームごとに繰り返せばよい。

（第３実施形態のフローチャート）
図１４は、図９における画像信号処理装置の動作を示すフローチャートである。
このフローチャートの方法は、例えば、図１の構成における位相シフト部１１６を図９の位相シフト部１００９および折返し成分除去部１１７を図８の折返し成分除去部１０１０で置き換え、さらに、図９の補助的画素補間部１１０５を有した構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。図１４に示した処理ステップの動作は、図７（ｄ）に示したように位相差θが０のときに係数Ｃ１、Ｃ３が不定になることや、位相差θ１０２が０に近づくにつれて係数Ｃ１、Ｃ３が大きくなることでノイズ等に脆弱になることを防ぐために、図１３に示した処理ステップをベースとして、位相差θが０近傍になったときにステップＳ１６０６の処理結果をフレームバッファ＃３に出力するように構成したものである。なお、ステップＳ１６０５の処理は、図１３のステップＳ１５２０におけるステップＳ１５１２及びステップＳ１５１４が、それぞれ後記するステップＳ１６０１及びステップＳ１６０４に置き換わったものである。

なお、図１４において、図１３と同様の処理については、同一の符号を付して説明を省略する。また、以下、各部の名称および符号は、図９に準ずることとする。さらに、ステップＳ１５０１〜ステップＳ１５１７をステップＳ５’’とする。
ステップＳ１５０５の後、ステップＳ１６０１にて、係数決定器１１０３が、位相差θをもとに係数Ｃ０、Ｃ１、Ｃ４を決定し、ステップＳ１５０４の後、ステップＳ１６０２にて、補間ローパスフィルタ１１０１が、フレームバッファ＃１の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行う。そして、ステップＳ１６０３にて、乗算部１１０２が、補間ローパスフィルタ処理を行った画素データに、係数Ｃ４を乗算する。次に、ステップＳ１６０４にて、加算器１１０４が、ステップＳ１６０３の出力に、ステップＳ１５１１，Ｓ１５１３の出力と加算してフレームバッファ＃３に出力する。それ以外は、図１３に示した処理ステップと同一である。なお、ステップＳ１６０１での係数決定の動作は、図１１を用いて説明した動作と同一である。また、ステップＳ１６０２での補間ローパスフィルタの動作は、図１０を用いて説明した動作と同一である。

なお、図１２、図１３、図１４に示した処理ステップを動作させるハードウェアは、信号入出力部（Ｉ／Ｏ：Input/Output）、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などの信号処理ＬＳＩ（Large-Scale Integration）、フレームバッファ（メモリ）から構成される一般的な映像処理機器やコンピュータ等により容易に実現できるため、図示は省略する。

以上のような技術により、複数の画像フレームを合成することにより不要な折返し成分を除去して高解像度化を行う装置において、少なくとも２枚のフレーム画像があれば、１次元方向の２倍の高解像度化行う画像信号処理を実現できる。

次に、図１５を用いて、本実施形態と特許文献１、特許文献２および非特許文献１に記載されている技術の動作の違いを説明する。
図１５は、本実施形態と特許文献１、特許文献２および非特許文献１に記載されている技術の動作の違いを説明するための図であり、（ａ）は、各入力画像を示す図であり、（ｂ）は、各サンプリング位相を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。
図１５（ａ）において、フレーム＃１ １７０１〜フレーム＃５ １７０５の間に、被写体が右方向に移動するような入力画像を用意する。この際、図１５（ｂ）に示すように、各フレームにおけるサンプリング位相を見ると、フレーム＃１ １７０１とフレーム＃２ １７０２との間では対応画素の位置が１／４画素（＝π／２）ずれており、フレーム＃１ １７０１とフレーム＃３ １７０３との間では対応画素の位置が１画素（＝２π）ずれている。フレーム＃１ １７０１とフレーム＃４ １７０４との間では対応画素の位置が５／４画素（＝５π／２）ずれており、フレーム＃１ １７０１とフレーム＃５ １７０５との間では対応画素の位置が２画素（＝４π）ずれるように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム＃１ １７０１上の信号に含まれる折返し成分の位相を基準にして、図１５（ｃ）のように表すことができる。この入力画像（フレーム＃１ １７０１〜フレーム＃５ １７０５）に対して２倍の高解像度化を行う場合、特許文献１、特許文献２および非特許文献１に記載されている技術では、フレーム＃１ １７０１〜フレーム＃５ １７０５の中のどの３フレームを用いても折返し成分のベクトル和を０にすることができないため、高解像度化は実現できない。一方、本実施形態（第１〜第３実施形態）を用いれば、例えば、隣接する２フレーム（例：フレーム＃１ １７０１およびフレーム＃２ １７０２を用いて折返し成分のベクトル和を０にできるため、高解像度化を実現できる。すなわち、図１５（ａ）の入力画像（フレーム＃１ １７０１〜フレーム＃５ １７０５）をテストパターンとして用いることにより、本実施形態（第１〜第３実施形態）の動作状況を確認することができる。

（第４実施形態）
これまでは２フレームの信号を用いて２倍の高解像度化を説明したが、同様にｎフレーム（ｎは２以上の整数）の信号を用いてｎ倍の高解像度化を実現できる。この際に、図７（ａ）に示したように、原成分の和のＲｅ軸＝１、原成分の和のＩｍ軸＝０、の条件とともに、もとのサンプリング周波数（ｆｓ）の１〜（ｎ−１）倍の周波数からそれぞれ折り返された（ｎ−１）個の折返し成分のベクトル和をそれぞれ０と置いて、連立方程式を解けばよい。以下、図１６と図１７を用いて、この内容を詳細に説明する。

図１６は、ｎフレーム（ｎは２以上の整数）の信号を用いてｎ倍の高解像度化を行う画像信号処理装置の構成例を示す図である。
図１６において、まず位置推定部１８０１の位置推定器１８０１−１〜１８０１−（ｎ−１）により、入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として、入力されたフレーム＃２〜フレーム＃ｎ上の対応する画素の位置を推定し、位相差θ１ １８０２−１〜位相差θ（ｎ−１） １８０２−（ｎ−１）を求める。次に、動き補償・アップレート部１８０６のアップレート器１８０３−０〜１８０３−（ｎ−１）により、各位相差θ１ １８０２−１〜θ（ｎ−１） １８０２−（ｎ−１）の情報を用いてフレーム＃２〜フレーム＃ｎを動き補償してフレーム＃１と位置を合わせるとともに、各フレームの画素数をそれぞれｎ倍に増して高密度化する。位相シフト部１８０７では、この高密度化したデータの位相を一定量だけシフトして、信号Ｓｉ０〜Ｓｉ（ｎ−１）とする。ここで、データの位相を一定量だけシフトする手段として、π／２位相シフト器１８０５−０〜１８０５−（ｎ−１）を用いることができる。また、各π／２位相シフト器１８０５−０〜１８０５−（ｎ−１）で生じる遅延を補償するために、遅延器１８０４−０〜１８０４−（ｎ−１）により高密度化した各フレームの信号を遅延させて、信号Ｓｒ０〜Ｓｒ（ｎ−１）とする。折返し成分除去部１８０８では、これらの信号Ｓｉ０〜Ｓｉ（ｎ−１）、Ｓｒ０〜Ｓｒ（ｎ−１）、位相差θ１ １８０２−１〜θ（ｎ−１） １８０２−（ｎ−１）を用いて折返し成分除去のための演算を行い、出力を得る。なお、位置推定部１８０１における位置推定器１８０１−１〜１８０１−（ｎ−１）は、特許文献１、特許文献２および非特許文献１に記載の技術をそのまま用いて実現することができる。また、動き補償・アップレート部１８０６および位相シフト部１８０７については、図３〜図６に示した内容をもとに、図中の周波数をｆｓからｆｓ＊ｎ／２に変更することによって容易に類推して実現可能なため、図示は省略する。なお、位相シフト部１８０７にて、ｆｓ＊ｎ／２の周波数の利得が零点になって折返し歪を除去できない場合は、ｆｓ＊ｎ／２の周波数の利得が零点になる遮断フィルタを用いたほうがよい。この遮断フィルタは、遅延器１８０４−０〜１８０４−（ｎ−１）の位置に挿入してもよいが、折返し成分除去部１８０８の出力の位置に挿入しても同様の効果が得られることは明らかである。

なお、図１６においても、図１と同様に、位置推定器１８０１−１〜１８０１−（ｎ−１）と、アップレート器１８０３−１〜１８０３−（ｎ−１）とのそれぞれの位置が入れ替わり、フレーム＃１〜フレーム＃ｎをそれぞれアップレートした後、位置推定器１８０１−１〜１８０１−（ｎ−１）で各位相差θ１ １８０２−１〜θ（ｎ−１） １８０２−（ｎ−１）を求めてもよい。

図１７は、折返し成分除去部の動作の詳細を示す図であり、（ａ）は、折返し成分除去した出力を得るための計算式であり、（ｂ）は、係数を求めるための計算式である。
図１７（ａ）に、信号Ｓｉ０〜Ｓｉ（ｎ−１）、Ｓｒ０〜Ｓｒ（ｎ−１）、位相差θ１〜θ（ｎ−１）を用いて折返し成分除去した出力を得るための計算式を示す。ここで、Ｃｉ０〜Ｃｉ（ｎ−１）、Ｃｒ０〜Ｃｒ（ｎ−１）は、それぞれ信号Ｓｉ０〜Ｓｉ（ｎ−１）、Ｓｒ０〜Ｓｒ（ｎ−１）に乗じる係数である。

図１７（ｂ）に、これらの係数Ｃｉ０〜Ｃｉ（ｎ−１）、Ｃｒ０〜Ｃｒ（ｎ−１）を求めるための計算式を示す。この計算式は、左辺および右辺ともにマトリクス形式になっており、上から２行ごとに、原成分、サンプリング周波数（ｆｓ）の成分、サンプリング周波数（ｆｓ）の２倍の成分、以下同様に、サンプリング周波数（ｆｓ）の（ｎ−１）倍までの成分を示しており、各１行目（奇数行）はＲｅ軸、各２行目（偶数行）はＩｍ軸の各成分を示している。この計算式の左辺のマトリクスは、原成分のＲｅ軸の和が１であり、その他の成分はすべて０であることを示している。この計算式の右辺はマトリクスの積演算になっている。右辺の左側のマトリクスは、左から２列ごとに、フレーム＃１のサンプリング位相（基準）、フレーム＃２とフレーム＃１とのサンプリング位相差、以下同様に、フレーム＃ｎとフレーム＃１のサンプリング位相差に応じて長さ１のベクトルを回転させることを示しており、各１列目（奇数列）はＲｅ軸、各２列目（偶数列）はＩｍ軸にそれぞれ長さ１のベクトルを射影した際の値を示している。ここで、上から２行ごとに、サンプリング周波数に比例してサンプリング位相差（回転角）が大きくなる特徴がある。右辺の右側のマトリクスは求めたい係数である。すなわち、図１７（ｂ）に示す計算式は、不要な折返し成分を除去して原成分のＲｅ軸のみを抽出するために、フレーム＃１〜フレーム＃ｎの各成分に適切な係数を乗じてベクトル和をとる、ということを示している。従って、図１７（ｂ）の逆マトリクス演算によって係数Ｃｉ０〜Ｃｉ（ｎ−１）、Ｃｒ０〜Ｃｒ（ｎ−１）を求め、その係数を図１７（ａ）に代入して演算することによって不要な（ｎ−１）個の折返し成分を除去することができ、ｎ倍の高解像度化を実現できる。この際、ｎ＝２とおけば、図１６に示した構成は図１に示した構成と一致し、図１７に示した計算式は図７に示した計算式と一致する。

第４実施形態における動作のフローチャートは、例えば、図１２に示したフローチャートの入力フレーム数を２からｎとし、＃２から＃ｎまでにおける任意の＃ｋのフレームについて、フレームのデータをフレームバッファ＃ｋに書き込むステップ、フレームバッファ＃１の対象画素を基準にしてフレームバッファ＃ｋの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃ｋの対応画素の近傍の画素を動き補償を行うステップ、動き補償後のデータを１フレームにつき２系統出力し、一方はそのままで他方をπ／２位相シフトするステップを各ｋ分追加する。次に図１２のステップＳ１４２０を、フレーム＃１とフレーム＃ｋとの位相差θ（ｋ−１）に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。

また、第４実施形態における動作のフローチャートは、例えば、図１３、図１４に示したフローチャートの入力フレーム数を２からｎとしてもよい。すなわち、＃２から＃ｎまでにおける任意の＃ｋのフレームについて、フレームのデータをフレームバッファ＃ｋに書き込むステップ、フレームバッファ＃１の対象画素を基準にしてフレームバッファ＃ｋの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃ｋの対応画素の近傍の画素を動き補償を行うステップを追加する。つぎに、図１３、図１４のステップＳ１５０６から出力される２系統の出力が、ｎが１増えるごとに２ずつ増える。これらの出力データ各々に乗算する係数をフレーム＃１とフレーム＃ｋとの位相差θ（ｋ−１）に応じて定める。最後に図１３のステップＳ１５２０をフレーム＃１とフレーム＃ｋとの位相差θ（ｋ−１）に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。または、図１４のステップＳ１６０５を、フレーム＃１とフレーム＃ｋとの位相差θ（ｋ−１）に応じて定めた各係数と各出力データとを乗算し、補間ローパスフィルタ１６０２の出力と係数Ｃ４との積と、すべての乗算結果とを加算するステップとすればよい。

このような第４実施形態における動作は、図１６のような構成で実施しなくとも、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラムなどで実施してもよい。

なお、ここでは水平方向の高解像度化を例に挙げて説明したが、本実施形態（第１〜第４実施形態）は、これに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。例えば、各実施形態をインタレース−プログレッシブ走査変換（Ｉ−Ｐ変換）に適用することにより、２枚のフィールド画像から１枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が１／２のフレーム画像」と見なして本発明を適用することにより、静止画・動画に関わらず、画像１枚あたりの走査線数を２倍（すなわち、垂直方向の解像度を２倍）にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた２次元の高解像度化にも適用可能である。

（第５実施形態）
図１８は、第５実施形態に係る画像信号処理装置の例を示す図である。
第５実施形態に係る画像処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部１と、この入力部１から入力されたフレームを水平・垂直方向を組み合わせた２次元の高解像度化するための解像度変換部４と、さらに、この解像度変換部４によって高解像度化されたフレームに基づき画像を表示する表示部３とを備えている。この解像度変換部４では、水平方向および垂直方向のそれぞれに解像度変換処理を行い、それぞれの結果のうち解像度向上効果が大きい成分を選択的に、もしくは混合させて出力することにより、２次元の高解像度化を実現する。第５実施形態に係る解像度変換部４の詳細について説明する。

図１８において、入力部１に入力されたフレーム＃１ ２０１０とフレーム＃２ ２０１３とをもとに、水平解像度変換部２００１と垂直解像度変換部２００５とは、水平方向の画素数を増加させたフレーム２０１１と垂直方向の画素数を増加させたフレーム２０１４とをそれぞれ生成する。ここで、各解像度変換部２００１，２００５は、図１に示した解像度変換部２の構成をそのまま用いて、水平方向および垂直方向の信号処理をそれぞれ行う。この際、水平解像度変換部２００１では、図１に示したアップレート器１０３，１０４、遅延器１０５，１０７、およびπ／２位相シフト器１０６，１０８は、それぞれ水平方向のアップレート、遅延、π／２位相シフトを行うように構成する。同様に、垂直解像度変換部２００５では、図１に示したアップレート器１０３，１０４、遅延器１０５，１０７、およびπ／２位相シフト器１０６，１０８は、それぞれ垂直方向のアップレート、遅延、π／２位相シフトを行うように構成する。これらは、図３〜図６に示した動作と特許文献１、特許文献２および非特許文献１などに記載された技術とを用いて実施可能である。

第５実施形態では、被写体が水平・垂直方向の２次元的に移動したことを想定し、図１および図４３に示した動作を２次元に拡張する。すなわち、水平解像度変換部２００１の中の位置推定部１０１（図１参照）および動き補償・アップレート部１１５（図１参照）では、フレーム＃１上の被写体を基準としてフレーム＃２上の被写体を２次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、水平位相差θＨを折返し成分除去部１１７（図１参照）の係数決定に用いる。同様に、垂直解像度変換部２００５の中の位置推定部１０１（図１参照）および動き補償・アップレート部１１５（図１参照）では、フレーム＃１上の被写体２０１６を基準としてフレーム＃２上の被写体２０１７を２次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、垂直位相差θＶを折返し成分除去部１１７（図１参照）の係数決定に用いる。折返し成分除去部１１７（図１参照）の係数決定は、図７に示した動作をそのまま用いればよい。

被写体が斜め方向に移動した場合を想定すると、水平解像度変換部２００１によって水平方向の画素数を増加させられたフレーム２０１１には斜め方向の歪が含まれることになるが、もともとの入力信号の垂直周波数が低い成分（縦線など）では、この歪が無視できる程度に小さい。同様に、垂直解像度変換部２００５によって垂直方向の画素数を増加させられたフレーム２０１４には斜め方向の歪が含まれることになるが、もともとの入力信号の水平周波数が低い成分（横線など）では、この歪が無視できる程度に小さい。

この特性を利用し、前記した信号処理に従って水平方向の画素数を増加させたフレーム２０１１は、垂直アップレート器２００２および画素補間器２００３からなる垂直補間部２００４によりフレーム２０１２を生成し、ＳＲ（水平）信号とする。ここで画素補間器２００３は、補間したい画素の上下の画素データの平均値を出力するような、一般的な垂直ローパスフィルタを用いればよい。同様に、垂直方向の画素数を増加させたフレーム２０１４は、水平アップレート器２００６および画素補間器２００７からなる水平補間部２００８により、フレーム２０１５を生成しＳＲ（垂直）信号とする。ここで、画素補間器２００７は、補間したい画素の左右の画素データの平均値を出力するような、一般的な水平ローパスフィルタを用いればよい。このように、画素補間器２００３，２００７を用いて、処理対象の方向と直交する方向の高周波成分を除去して低周波成分だけを抽出すれば、前記した斜め方向に移動した際に発生する歪の影響を無視できる程度に小さくすることができる。上記の処理によって生成したＳＲ（水平）信号とＳＲ（垂直）信号を混合器２００９によって混合して出力信号とし、表示部３にて表示する。混合器２００９の詳細な構成および動作については後記する。

（第６実施形態）
図１９は、第６実施形態に係る画像信号処理装置の例を示す図である。
第６実施形態に係る画像処理装置は、図１８に示す画像信号処理装置の構成を変更したものであり、図１８における垂直補間部２００４の垂直アップレート器２００２を、水平解像度変換部２００１における位相シフト部の前に設置した構成である。つまり、図１８の垂直補間部２００４の垂直アップレート器２００２と、水平解像度変換部２００１の中の（水平方向への）アップレート器とを共通化させたものである。
同様に、図１８における水平補間部２００８の水平アップレート器２００６を、垂直解像度変換部２００５における位相シフト部の前に設置した構成である。つまり、図１８の水平補間部２００８の水平アップレート器２００６と、垂直解像度変換部２００５の中の（垂直方向への）アップレート器とを共通化させたものである。
これにより、各解像度変換部２００１，２００５の中にあるアップレート器１０３，１０４（図１参照）と、各補間部２００４，２００８の中にある各アップレート器２００２，２００６（図１８参照）を共通化するとともに、水平解像度変換部２００１と垂直解像度変換部２００５との中にあるそれぞれの位置推定部１０１（図１参照）を共通化できるため、より小さい回路規模および演算量で同様の信号処理を実現できるようになる。

図１９において、まず位置推定部２１０１が、入力部１に入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として、フレーム＃２上の対応する画素の位置を推定し、水平方向と垂直方向のそれぞれのサンプリング位相差θＨ ２１０２、θＶ ２１０３を求める。次に、動き補償・アップレート部２１１０の水平・垂直アップレート器２１０４，２１０５により、位相差θＨ ２１０２、θＶ ２１０３の情報を用いてフレーム＃２を動き補償してフレーム＃１と位置を合わせるとともに、フレーム＃１とフレーム＃２の画素数をそれぞれ水平・垂直ともに２倍（合計４倍）に増して高密度化する。水平・垂直アップレート器２１０４，２１０５は、図３および図４に示した動作・構成を水平・垂直方向の２次元に拡張したものであり、容易に実施可能なため、図示は省略する。位相シフト部２１１１では、この高密度化したデータの位相を一定量だけシフトする。このとき、水平位相シフト器２１０６は、水平方向の位相シフトを行い、垂直位相シフト器２１０７は、垂直方向の位相シフトを行うものであり、図１に示した遅延器１０５，１０７およびπ／２位相シフト器１０８と、図５および図６とに示した動作・構成と同様に実施できるため、図示は省略する。位相シフトした各信号に対し、折返し成分除去部２１１２における水平方向の折返し成分除去器２１０８および垂直方向の折返し成分除去器２１０９にてそれぞれ水平・垂直方向の折返し成分を除去する。次に、水平方向の折返し成分除去器２１０８の出力を画素補間器２００３で画素補間してＳＲ（水平）信号ととし、垂直方向の折返し成分除去器２１０９の出力を画素補間器２００７を用いて画素補間してＳＲ（垂直）信号ととし、これらを混合器２００９で両者を混合して出力とする。各折返し成分除去器２１０８，２１０９は、図１に示した折返し成分除去部１１７の構成をそのまま用いることができる。位相差θ１０２（図１参照）として、折返し成分除去器２１０８では水平位相差θＨ ２１０２を用い、折返し成分除去器２１０９では垂直位相差θＶ ２１０３を用いて図７に示した動作を行うことにより、それぞれの方向の折返し成分を除去することができる。

図２０は、図１９における混合器の第１の構成例を示す図である。
図２０において、混合器２００９は、加算器２２０１と乗算器２２０２を用いて、混合器２００９に入力されたＳＲ（水平）とＳＲ（垂直）の各信号の平均値を生成して出力する。図２０に示す構成は、混合器２００９を最も簡単に構成した例であるが、水平・垂直の各解像度向上効果もそれぞれ１／２になってしまう。

図２１は、図１９における混合器の第２の構成例を示す図である。
図２１において、混合器２００９に入力されたＳＲ（水平）とＳＲ（垂直）の各信号に対し、混合器２００９は、乗算器２３０３および乗算器２３０４を用いて係数Ｋ（水平）と係数Ｋ（垂直）をそれぞれ乗じ、加算器２３０５で両者を加算して出力する。係数Ｋ（水平）と係数Ｋ（垂直）は、それぞれ係数決定器２３０１，２３０２にて生成する。以下、この係数決定器２３０１，２３０２の動作について説明する。

図１９に示した折返し成分除去器２１０８，２１０９は、図１９に示す位相差θＨ ２１０２および位相差θＶ ２１０３を基に、図１に示す係数決定器１０９にて図７に示す係数Ｃ０〜Ｃ３を発生して折返し成分除去の演算を行う。このとき、位相差θＨ ２１０２、θＶ ２１０３が０のときに係数Ｃ１およびＣ３が不定になることや、位相差θＨ ２１０２、θＶ ２１０３が０に近づくにつれて係数Ｃ１、Ｃ３が大きくなることでノイズ等に脆弱になることを防ぐために、図１１に示す係数Ｃ４（０≦Ｃ４≦１）を導入して、図９に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数Ｃ４の値が０．０のときは解像度向上の効果があるが、係数Ｃ４の値が１．０に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θＨ ２１０２が０近傍（すなわち、係数Ｃ４（水平）が１．０近傍）のときは垂直解像度変換結果のＳＲ（垂直）が強く反映され、垂直位相差θＶ ２１０３が０近傍（すなわち、係数Ｃ４（垂直）が１．０近傍）のときは水平解像度変換結果のＳＲ（水平）が強く反映されるように、水平・垂直方向それぞれの係数Ｃ４の値を用いて係数Ｋ（水平）と係数Ｋ（垂直）を決定する。この動作を実現するため、例えば図２１に示す係数決定器２３０１ではＫ（水平）＝Ｃ４（水平）＋（１−Ｃ４（垂直））／２の演算を行ってＫ（水平）を決定し、係数決定器２３０２ではＫ（垂直）＝Ｃ４（垂直）＋（１−Ｃ４（水平））／２の演算を行ってＫ（垂直）を決定している。

図２２は、係数Ｃ４（水平）および係数Ｃ４（垂直）をそれぞれ変化させたときの各係数決定器の出力（係数Ｋ（水平）および係数Ｋ（垂直））の一例を示す図である。
図２２に示すように、係数Ｃ４（水平）が大きくなると係数Ｋ（水平）が小さくなるとともに係数Ｋ（垂直）が大きくなり、係数Ｃ４（垂直）が大きくなると係数Ｋ（水平）が大きくなるとともに係数Ｋ（垂直）が小さくなるように動作する。係数Ｃ４（水平）と係数Ｃ４（垂直）の値が等しいときには、係数Ｋ（水平）と係数Ｋ（垂直）がそれぞれ０．５となる。このように水平・垂直で独立して変化する係数Ｃ４に対して、係数Ｋ（水平）と係数Ｋ（垂直）を足してちょうど１．０になるように係数Ｋを決定して、ＳＲ（水平）とＳＲ（垂直）を混合する。

図２３および図２４を用いて、混合器２００９の第３の動作および構成例をそれぞれ説明する。図２３は、水平周波数をμ、垂直周波数をνとして表した２次元周波数領域を示す図である。
元の入力画像の水平サンプリング周波数をμｓ、垂直サンプリング周波数をνｓとすると、図１８および図１９に示した解像度変換部４の出力は、水平周波数μが−μｓ〜μｓの範囲、垂直周波数νが−νｓ〜νｓの範囲の信号となる。水平・垂直の各解像度変換により高周波成分が再生されるようになるが、高周波成分はもともと信号レベルが小さいため、水平解像度変換による効果が大きいのは（μ，ν）＝（±μｓ／２，０）の近傍の周波数領域２５０１の成分（特に（μ，ν）＝（＋μｓ／２，０）を含み、μ＞０となる周波数の領域と、（μ，ν）＝（−μｓ／２，０）を含み、μ＜０となる周波数の領域の成分）となり、垂直解像度変換による効果が大きいのは（μ，ν）＝（０，±νｓ／２）の近傍の周波数領域２５０２の成分（特に（μ，ν）＝（０，＋νｓ／２）を含み、ν＞０となる周波数の領域と、（μ，ν）＝（０，−νｓ／２）を含み、ν＜０となる周波数の領域の成分）となる。従って、これらの周波数成分２５０１，２５０２を２次元フィルタで抽出して混合すると、解像度向上効果が大きい成分を選択的に出力することができる。

図２４は、水平・垂直の各解像度変換による効果が大きい成分を抽出する混合器の構成例を示す図である。
図２４において、混合器２００９は、２次元フィルタ２６０１を用いて、混合器２００９に入力されたＳＲ（水平）の解像度向上効果が大きい周波数領域２５０１（図２３参照）の成分を抽出する。同様に、混合器２００９は、２次元フィルタ２６０２を用いて、混合器２００９に入力されたＳＲ（垂直）の解像度向上効果が大きい周波数領域２５０２（図２３参照）の成分を抽出する。さらに、混合器２００９は、周波数領域２５０１，２５０２以外の成分として、加算器２６０３と乗算器２６０４を用いてＳＲ（水平）とＳＲ（垂直）の平均の信号を作り、２次元フィルタ２６０５を用いて、２次元フィルタ２６０１，２６０２の各通過帯域以外の成分（すなわち、残りの成分）を抽出する。２次元フィルタ２６０１，２６０２，２６０５の各出力信号を加算器２６０６で加算し出力とする。なお、図２４中に示す２次元フィルタ２６０１，２６０２，２６０５の中の丸で囲まれた数字はそれぞれのフィルタのタップ係数の一例を示している（各フィルタの係数は説明の簡略化のため、整数にて表記している。本来の係数値は丸で囲まれた数字とその右部に示された「×１／１６」等に示される演算の積である。例えば、２次元フィルタ２６０１では丸で囲まれた各数字にそれぞれ１／１６を乗算したのが本来の係数値である。以下の説明に示される２次元フィルタの係数において同じ）。２次元フィルタ２６０１は、±μｓ／２を通過帯域の中心周波数とする水平バンドパスフィルタと垂直ローパスフィルタの積とし、２次元フィルタ２６０２は、±νｓ／２を通過帯域の中心周波数とする垂直バンドパスフィルタと水平ローパスフィルタの積とし、２次元フィルタ２６０５は、全帯域から２次元フィルタ（２６０１）と２次元フィルタ（２６０２）との通過帯域を減じた特性とすればよい。

（第７実施形態）
図２５は、第７実施形態に係る画像信号処理装置を示す図である。
第７実施形態に係る画像処理装置は、図１９に示した構成例に、さらに右下および右上方向の斜め成分の高解像度変換手段を加えた構成としている。すなわち、位相シフト部２７０８に斜め（右下）位相シフト器２７０１と斜め（右上）位相シフト器２７０２とを追加するとともに、折返し成分除去部２７０９に折返し成分除去器２７０５，２７０６を追加し、画素補間器２７１０，２７１１をそれぞれ介したのちに、ＳＲ（水平）、ＳＲ（垂直）、ＳＲ（右上）、ＳＲ（右下）の各信号を混合器２７０７にて混合し、出力とする。ここで、画素補間器２７１０，２７１１は、補間したい画素の上下左右の画素データの平均値を出力するような、一般的な２次元ローパスフィルタを用いればよい。位相差θとして斜め方向の位相差情報が必要であり、水平位相差θＨ ２１０２と垂直位相差θＶ ２１０３とを加算器２７０３で加算した位相差（θＨ＋θＶ）を折返し成分除去器２７０５に入力し、減算器２７０４で生成した位相差（−θＨ＋θＶ）を折返し成分除去器２７０６に入力するように構成すればよい。なお、折返し成分除去器２１０８，２１０９，２７０５，２７０６の構成および動作は、すべて共通である。

なお、図２５においても、図１などと同様に、位置推定部２１０１と、水平・垂直アップレート器２１０４，２１０５は、入れ替え可能である。

図２６は、２次元周波数領域における位相シフト部の動作を示す図であり、（ａ）は、水平位相シフト部における図、（ｂ）は、垂直位相シフト部における図、（ｃ）は、斜め（右下）位相シフト部における図、（ｄ）は、斜め（右上）位相シフト部における図である。
図２６（ａ）〜（ｄ）は、図２３と同様に水平周波数をμ、垂直周波数をνとして表した２次元周波数領域である。これらの各位相シフト部２１０６，２１０７，２７０１，２７０２（それぞれ図２５参照）は、図１に示した位相シフト部１１６と同様の構成とし、その中のπ／２位相シフト器１０６，１０８の「周波数−位相差」特性をそれぞれの方向に合わせて変更する。すなわち、図２６（ａ）において、水平位相シフト器２１０６では、入力信号の水平周波数サンプリング周波数をμｓとした場合に、図５に示した動作と同様に、−μｓ〜０の範囲の周波数成分の位相をπ／２だけシフトし、０〜μｓの範囲の周波数成分の位相を−π／２だけシフトする。同様に、図２６（ｂ）において、垂直位相シフト器２１０７では、入力信号の垂直周波数サンプリング周波数をνｓとした場合に、−νｓ〜０の範囲の周波数成分の位相をπ／２だけシフトし、０〜νｓの範囲の周波数成分の位相を−π／２だけシフトする。同様に、斜め（右下）位相シフト器２７０１および斜め（右上）位相シフト器２７０２では、図２６（ｃ）および図２６（ｄ）にそれぞれ示すように、信号の位相を−π／２あるいはπ／２だけシフトする。これらの「周波数−位相差」特性は、図６に示したタップ係数を、２次元のサンプリング点に合わせて水平、垂直、斜め（右下）、斜め（右上）のそれぞれの方向に配置することにより容易に実現できる。

図２７は、図２５に示す混合器の第１の構成例を示す図である。
図２７において、混合器２７０７は、加算器２９０１と乗算器２９０２とを用いて、入力されたＳＲ（水平）、ＳＲ（垂直）、ＳＲ（右下）、ＳＲ（右上）の各信号の平均値を生成して出力する。図２７に示す構成は、混合器２７０７を最も簡単に構成した例であるが、水平・垂直・右下・右上の各解像度向上効果もそれぞれ１／４になってしまう。

図２８は、図２５に示す混合器の第２の構成例を示す図である。
図２８において、混合器２７０７は、入力されたＳＲ（水平）、ＳＲ（垂直）、ＳＲ（右下）、ＳＲ（右上）の各信号に対し、乗算器３００５〜３００８を用いて、係数Ｋ（水平）、係数Ｋ（垂直）、係数Ｋ（右下）、係数Ｋ（右上）をそれぞれ乗じ、加算器３００９でそれらの信号を加算して出力とする。係数Ｋ（水平）、係数Ｋ（垂直）、係数Ｋ（右下）、係数Ｋ（右上）は、それぞれ係数決定器３００１〜３００４にて生成される。以下、この係数決定器３００１〜３００４の動作について説明する。図２５に示す折返し成分除去器２１０８，２１０９，２７０５，２７０６は、図２５に示す位相差θＨ ２１０２、位相差θＶ ２１０３、位相差（θＨ＋θＶ）、位相差（−θＨ＋θＶ）を基に、図１に示す係数決定器１０９にて、図７に示す係数Ｃ０〜Ｃ３を発生して折返し成分除去の演算を行う。このとき、位相差θＨ ２１０２、θＶ ２１０３、（θＨ＋θＶ）、（−θＨ＋θＶ）が０のときに係数Ｃ１およびＣ３が不定になることや、位相差θＨ ２１０２、θＶ ２１０３、（θＨ＋θＶ）、（−θＨ＋θＶ）が０に近づくにつれて係数Ｃ１、Ｃ３が大きくなることでノイズ等に脆弱になることを防ぐために、図１１に示す係数Ｃ４（０≦Ｃ４≦１）を導入して、図９に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数Ｃ４の値が０．０のときは解像度向上の効果があるが、係数Ｃ４の値が１．０に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θＨ ２１０２が０近傍（すなわち、係数Ｃ４（水平）が１．０近傍）のときは水平解像度変換結果のＳＲ（水平）が弱くなり、水平位相差θＨ ２１０２が０近傍でないとき（すなわち、係数Ｃ４（水平）が０．０近傍のとき）は水平解像度変換結果のＳＲ（水平）が強くなるように、係数決定器３００１にて係数Ｋ（水平）を決定する。この一例として、係数Ｋ（水平）＝（１＋Ｃ４（水平）＊３−Ｃ４（垂直）−Ｃ４（右下）−Ｃ４（右上））／４とすればよい。同様に、係数決定器３００２〜３００４は、それぞれ係数Ｋ（垂直）、Ｋ（右下）、Ｋ（右上）を決定する。このとき、独立して変化する係数Ｃ４（水平）、係数Ｃ４（垂直）、係数Ｃ４（右下）、係数Ｃ４（右上）に対して、係数Ｋ（水平）＋係数Ｋ（垂直）＋係数Ｋ（右下）＋係数Ｋ（右上）＝１．０となるよう係数Ｋを決定して、ＳＲ（水平）、ＳＲ（垂直）、ＳＲ（右下）、ＳＲ（右上）を混合する。

図２９は、図２５における混合器の第３の動作を示す図である。
図２９は、図２３と同様に水平周波数をμ、垂直周波数をνとして表した２次元周波数領域である。図２９において、元の入力画像の水平サンプリング周波数をμｓ、垂直サンプリング周波数をνｓとすると、図２５に示した解像度変換部４の出力は、水平周波数μが−μｓ〜μｓの範囲、垂直周波数νが−νｓ〜νｓの範囲の信号となる。斜め（右上）の解像度変換による効果が大きいのは、図２９に示すような（μ，ν）＝（＋μｓ／２，＋νｓ／２）の近傍と（μ，ν）＝（−μｓ／２，−νｓ／２）の近傍の周波数領域３１０１の成分（特に（μ，ν）＝（＋μｓ／２，＋νｓ／２）を含み、μ＞０，ν＞０となる周波数の領域と、（μ，ν）＝（−μｓ／２，−νｓ／２）を含み、μ＜０，ν＜０となる周波数の領域の成分）となる。斜め（右下）の解像度変換による効果が大きいのは、図２９に示すような（μ，ν）＝（＋μｓ／２，−νｓ／２）の近傍と（μ，ν）＝（−μｓ／２，＋νｓ／２）の近傍の周波数領域３１０２の成分（特に（μ，ν）＝（＋μｓ／２，−νｓ／２）を含み、μ＞０，ν＜０となる周波数の領域と、（μ，ν）＝（−μｓ／２，＋νｓ／２）を含み、μ＜０，ν＞０となる周波数の領域の成分）となる。従って、これらの周波数成分３１０１，３１０２を２次元フィルタで抽出し、図２３に示した周波数成分２５０１，２５０２も併せて混合すると、解像度向上効果が大きい成分を選択的に出力することができる。

図３０は、図２５における混合器の第３の構成を示す図である。
図３０では、水平・垂直・斜め（右下）・斜め（右上）の各解像度変換による効果が大きい成分を抽出する混合器２７０７の構成例を示す。図３０において、混合器２７０７は、２次元フィルタ３２０１を用いて、入力されたＳＲ（右下）の解像度向上効果が大きい周波数領域３１０２（図２９参照）の成分を抽出する。同様に、混合器２７０７は、２次元フィルタ３２０２を用いて、入力されたＳＲ（右上）の解像度向上効果が大きい周波数領域３１０１（図２９参照）の成分を抽出する。また、図２４に示すフィルタと同様のフィルタである２次元フィルタ２６０１，２６０２により、それぞれＳＲ（水平）およびＳＲ（垂直）の解像度向上効果が大きい周波数領域２５０１，２５０２（それぞれ図２３参照）の成分を抽出する。混合器２７０７は、周波数領域２５０１，２５０２，３１０１，３１０２以外の成分として、加算器３２０３と乗算器３２０４を用いてＳＲ（水平）、ＳＲ（垂直）、ＳＲ（右下）、ＳＲ（右上）の平均の信号を作り、２次元フィルタ３２０５を用いて、２次元フィルタ２６０１，２６０２，３２０１，３２０２の各通過帯域以外の成分を抽出する。混合器２７０７は、２次元フィルタ２６０１，２６０２，３２０１，３２０２，３２０５の各出力信号を加算器３２０６で加算し、出力とする。なお、図３０中に示す２次元フィルタ２６０１，２６０２，３２０１，３２０２，３２０５の中の丸で囲まれた数字は、それぞれのフィルタのタップ係数の一例を示す。

（第７実施形態のフローチャート）
図３１は、図２５における画像信号処理装置の動作を示すフローチャートである。
図３１は、図２５における画像信号処理装置の動作をソフトウェアプログラムにより実現した例である。図３１において、解像度変換部４は、処理はステップＳ３３０１から開始し、ステップＳ５−１，Ｓ５−２，Ｓ５−３，Ｓ５−４にて、それぞれ水平、垂直、斜め（右下）、斜め（右上）の高解像度化を行う。ここで、各ステップＳ５−１，Ｓ５−２，Ｓ５−３，Ｓ５−４では、図１２のステップＳ５、図１３のステップＳ５’および図１４のステップＳ５’’の処理のうち、いずれかを、水平、垂直、斜め（右下）、斜め（右上）の各方向に実行すればよい。すなわち、解像度変換部４は、π／２位相シフト（ステップＳ１４０７およびステップＳ１４０８：図１２参照）、ヒルベルト変換（ステップＳ１５１０：図１３および図１４参照）などの「周波数−位相」特性を、図２６に示すようにそれぞれの方向に応じて変更するとともに、位相差θをθＨ、θＶ、（θＨ＋θＶ）、（−θＨ＋θＶ）にそれぞれ置き換えて処理すればよい。各ステップＳ５−１，Ｓ５−２，Ｓ５−３，Ｓ５−４の処理結果は、図１２〜図１４を用いて説明したように、それぞれのフレームバッファ＃３に書き込まれる。続くステップＳ３３０２−１，Ｓ３３０２−２，Ｓ３３０２−３，Ｓ３３０２−４では、画素補間器２００３，２００７，２７０５，２７０６が、それぞれ垂直、水平、斜め方向の画素補間を行い、出力するフレームの水平・垂直の画素数と同じになるように、２次元フレームバッファ＃３の全画素を生成する。続くステップＳ３３０３では、混合器２７０７が、図２７や、図２８や、図３０を用いて説明した方法に従って各フレームバッファ＃３のデータを画素ごとに混合して、出力用のフレームバッファ＃４に出力する。なお、前記した第５実施形態および第６実施形態に係る画像信号処理装置の動作をソフトウェアプログラムにより実現する場合には、斜め方向の処理を行うステップＳ５−３，Ｓ５−４、それらの結果に対して画素補間を行うステップＳ３３０２−３，Ｓ３３０２−４は不要である。また、ステップＳ３３０３の混合方法として、混合器２００９が、図２０、図２１および図２４を用いて説明した方法に従って、データを混合すればよい。このステップＳ３３０３の混合方法については、前記した動作説明をもとにして容易に実現可能なため、フローチャートの図示は省略する。

（第８実施形態）
図３２は、第８実施形態に係る画像表示装置を示す図である。
第８実施形態に係る画像表示装置は、前記した第１〜第７実施形態のいずれか一の実施形態に記載された画像信号処理を行う構成とした画像表示装置である。

図３２において、画像表示装置３５００は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部３５０１と、入力部３５０１から入力されたコンテンツを録画もしくは再生する録画再生部３５０２と、録画再生部３５０２がコンテンツを記録するコンテンツ蓄積部３５０３と、録画再生部３５０２が再生した映像信号または画像信号に第１〜第７実施形態のいずれかの実施形態に記載された画像信号処理を行う画像信号処理部３５０４と、画像信号処理部３５０４にて処理された映像信号または画像信号を表示する表示部３５０５と、録画再生部３５０２が再生した音声信号を出力する音声出力部３５０６と、画像表示装置３５００の各構成部を制御する制御部３５０７と、ユーザが画像表示装置３５００の操作を行うユーザインターフェース部３５０８などを備える。

画像表示装置３５００が、第１〜第７実施形態のいずれかの実施形態に記載された画像信号処理を行う画像信号処理部３５０４を備えることで、入力部３５０１に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部３５０５に表示することができる。よって、表示部３５０５の表示デバイスの解像度よりも、低解像度の信号が入力部３５０１から入力された場合も、再生信号を高解像度化しつつ高画質で高精細な表示を行うことが可能となる。

また、コンテンツ蓄積部３５０３に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して表示部３５０５に表示することができる。

また、画像信号処理部３５０４の画像処理をコンテンツ蓄積部３５０３に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部３５０３に蓄積されるデータは、表示部３５０５に表示される解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。

また、画像信号処理部３５０４を録画再生部３５０２に含め、録画時に前記した画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要がないため、再生時の処理負荷を低減できるという効果がある。

ここで、前記した画像信号処理は画像信号処理部３５０４にて行うと説明したが、制御部３５０７とソフトウェアで実現してもよい。この場合、第１〜第７実施形態のいずれかの実施形態に記載された方法で画像信号処理を行えばよい。

第８実施形態において、録画再生部３５０２は、録画時は入力部３５０１から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部３５０３に記録すればよい。

また、第８実施形態において、録画再生部３５０２は、録画時は入力部３５０１から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。

また、第８実施形態に係る画像表示装置において、コンテンツ蓄積部３５０３は必ずしも必要ない。この場合は、録画再生部３５０２は、録画を行わず、入力部３５０１から入力された映像などのコンテンツの再生を行えばよい。

この場合も、入力部３５０１に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部３５０５に表示することができる効果に変わりはない。

また、画像表示装置３５００は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でもよい。同様に、表示部３５０５は例えば、プラズマパネルモジュールでも、ＬＣＤ（Liquid Crystal Display）モジュールでも、プロジェクタ用デバイスでもよい。また、コンテンツ蓄積部３５０３は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。音声出力部３５０６は、例えば、スピーカなどでもよい。また、入力部３５０１は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢ（Universal Serial Bus）コネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスにてデータを転送する受信部でもよい。

（第９実施形態）
図３３は、第９実施形態に係る録画再生装置を示す図である。
第９実施形態に係る録画再生装置は、前記した第１〜第７実施形態のいずれかの実施形態に記載された画像信号処理を行う構成とした録画再生装置である。

図３３において、録画再生装置３６００は、例えば、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部３５０１と、入力部３５０１から入力されたコンテンツを録画もしくは再生する録画再生部３５０２と、録画再生部３５０２がコンテンツを記録するコンテンツ蓄積部３５０３と、録画再生部３５０２が再生した映像信号または画像信号に第１〜第７実施形態のいずれかの実施形態に記載された画像信号処理を行う画像信号処理部３５０４と、画像信号処理部３５０４にて処理された映像信号または画像信号を他の装置などに出力する画像映像出力部３６０５と、録画再生部３５０２が再生した音声信号を他の装置などに出力する音声出力部３６０６と、録画再生装置３６００の各構成部を制御する制御部３５０７と、ユーザが録画再生装置３６００の操作を行うユーザインターフェース部３５０８などを備える。

録画再生装置３６００が、第１〜第７実施形態のいずれかの実施形態に記載された画像信号処理を行う画像信号処理部３５０４を備えることで、入力部３５０１に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として、他の装置などに出力することができる。よって、低解像度の映像信号または画像信号を高解像度化しつつ高画質で高精細な映像信号または画像信号に変換する高画質高解像度化信号変換装置が好適に実現できる。

また、コンテンツ蓄積部３５０３に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して他の装置などに出力することができる。

よって、低解像度の映像信号または画像信号を入力して蓄積しておき、再生・出力時に
は高解像度化しつつ高画質で高精細な映像信号または画像信号に変換して出力する録画再
生装置が好適に実現できる。

また、画像信号処理部３５０４の画像処理をコンテンツ蓄積部３５０３に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部３５０３に蓄積されるデータは、他の装置に出力する信号の解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。

また、画像信号処理部３５０４を録画再生部３５０２に含め、録画時に前記した画像信号処理を行ってもよい。この場合は、再生時には前記した画像信号処理を行う必要がないため、再生時の処理負荷を低減できるという効果がある。

ここで、前記した画像信号処理は画像信号処理部３５０４にて行うと説明したが、制御部３５０７とソフトウェアで実現してもよい。この場合、第１〜第７実施形態のいずれかの実施形態に記載された方法で画像信号処理を行えばよい。

第９実施形態において、録画再生部３５０２は、録画時は入力部３５０１から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部３５０３に記録すればよい。

また、第９実施形態において、録画再生部３５０２は、録画時は入力部３５０１から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。

また、第９実施形態に係る画像映像出力部３６０５と音声出力部３６０６とは一体としても構わない。この場合は、映像信号と音声信号を一本のケーブルで出力するコネクタ形状などを用いることができる。

また、録画再生装置３６００は、例えば、ＨＤＤレコーダでも、ＤＶＤレコーダでも、また他の記憶装置デバイスを用いた装置でもよい。同様に、コンテンツ蓄積部３５０３は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。

また、入力部３５０１は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスでデータを転送する受信部でもよい。

また、画像映像出力部３６０５は、映像信号をデジタル出力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ出力する端子を備えたものでもよい。またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、ワイヤレスでデータを転送する送信部でもよい。音声出力部３６０６に関しても、画像映像出力部３６０５と同様である。

さらに、入力部３５０１は、例えば、撮像光学系と受光素子を備えるものとしてもよい。この場合、録画再生装置３６００は例えば、デジタルカメラ、ビデオカメラ、監視カメラ（監視カメラシステム）などに適用できる。このとき例えば入力部３５０１は、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子にから出力される信号を元に画像データまたは映像データを生成し、録画再生部３５０２に出力すればよい。

録画再生装置３６００が、例えばデジタルカメラであれば、１回の撮影で時間的に異なる複数の画像を記録するようにし、この複数の画像データに画像信号処理部３５０４の画像信号処理を行えば、１枚の高画質な高解像度画像を得ることができる。なお、画像信号処理部３５０４の画像処理は、デジタルカメラからデータを出力する際に、コンテンツ蓄積部３５０３に記録される画像に対して行ってもよい。また、録画再生部３５０２と画像信号処理部３５０４とを一体化するなどして、コンテンツ蓄積部３５０３に記録するよりも前に、画像信号処理部３５０４の画像処理を行うようにしてもよい。この場合、コンテンツ蓄積部３５０３には最終的にユーザが取り扱いたい拡大画像のみを保存すればよく、後にユーザが画像データを取り扱う際に管理が容易になる。

以上説明したデジタルカメラによれば、デジタルカメラの受光素子の解像度を越えた解
像度を有する高画質画像データを得ることができる。

また、録画再生装置３６００が、例えばビデオカメラであれば、入力部３５０１の撮像光学系にて受光素子上に撮像した映像を映像データとして録画再生部３５０２に出力すればよい。録画再生部３５０２は、コンテンツ蓄積部３５０３に映像データを記録し、画像信号処理部３５０４は記録された映像データから、高解像度化された映像データを生成すればよい。このようにすれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データを得ることができる。また、このとき、画像信号処理部３５０４は記録された映像データに含まれる複数のフレームのデータを用いて、一枚のスチル画像データを生成してもよい。このようにすれば、映像データから一枚の高画質画像データを得ることができる。また、前記したデジタルカメラの場合と同様に、画像信号処理部３５０４の画像処理はコンテンツ蓄積部３５０３への映像データの記録前でも、記録後でも構わない。

以上説明したビデオカメラによれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。

また、録画再生装置３６００が、例えば、監視カメラ（監視カメラシステム）である場合も、前記したビデオカメラの場合と同様に監視カメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。このとき、例えば、撮像光学系と受光素子を備えた入力部３５０１と録画再生部３５０２との距離が離れており、ネットワークケーブルなどで接続されている場合でも、録画再生部３５０２までは低解像度の映像データで送信し、その後の画像信号処理部３５０４の画像信号処理により、高解像度化することができる。これにより、撮像光学系と受光素子を備えた入力部３５０１からの送信ネットワークの帯域を効率よく利用しながら、高解像度の映像データを得ることができる。

第８実施形態に係る画像表示装置と、第９実施形態に係る録画再生装置は、両者の機能と各構成部を一体としても、また、本発明の一実施の形態となりうる。この場合は前記した画像信号処理を行った映像信号または画像信号を表示することも、他の装置に出力することもでき、表示装置、記録再生装置、出力装置のいずれの装置としても使用でき、ユーザにとって使い勝手がよい。

次に、図３４は、本実施形態（第１〜第９実施形態）と、特許文献１、特許文献２および非特許文献１などに記載の技術の動作の違いを示す図であり、（ａ）は、入力画像、（ｂ）は、出力画像を示す。
図３４（ａ）は、解像度変換部４（図１など参照）に入力されたフレーム＃１ ３４０１、フレーム＃２ ３４０２、フレーム＃３ ３４０３、フレーム＃４ ３４０４およびフレーム＃５ ３４０５を示し、図３４（ｂ）は、解像度変換部４から出力された各フレームを示す。解像度変換部４は、各フレームにて、被写体が１／４画素ずつ右回りに移動し、４フレームで１周するように意図的に被写体を移動させる。この動きをフレーム＃６以降も同様に連続させる。

特許文献１、特許文献２、非特許文献１などに記載されている技術では、前記したように、水平・垂直の２次元の入力信号に対して高解像度化する場合、折返しが縦横２方向から来るので、原信号の帯域が縦横共に２倍に広がると、３つの折返し成分が重なり、それらを打ち消すためには２Ｍ＋１＝７個のデジタルデータ（＝７枚のフレーム画像の信号）を必要としていた。従って、図３１（ａ）に示すような４フレームで一巡するような信号を入力した場合、どの７フレームを選択しても独立したデータが得られないため、高解像度化処理による解が不定となり求められない。

一方、本実施形態による技術を用いれば、例えば隣接する２フレーム（例えば、フレーム＃１ ３４０１とフレーム＃２ ３４０２（あるいはフレーム＃２ ３４０２とフレーム＃３ ３４０３））とを用いて、図３４（ｂ）に示すように水平方向（あるいは垂直方向）の折返し成分を除去して高解像度化を実現できる。すなわち、図３４（ａ）の入力画像をテストパターンとして用いることにより、本実施形態の動作状況を確認することができる。このテストパターンの絵柄として、一般的によく知られている円形ゾーンプレート（ＣＺＰ：Circular Zone Plate）を用いれば、解像度変換の効果を表示部３（図１など参照）にて確認できるようになる。すなわち、円形ゾーンプレートをフレームごとに左右に移動させれば水平方向の解像度が向上した画像が表示され、上下（あるいは斜め）に移動させれば垂直方向（あるいは斜め方向）の解像度が向上した画像が表示されるなど、テストパターンの移動方向に応じた解像度向上の効果を確認することができる。

なお、特許文献１、特許文献２、非特許文献１などに記載されている技術により、３フレームを用いて１次元（水平・垂直・斜め（右下）・斜め（右上））の高解像度化を複数方向に対して行い、それらの各結果を本発明の各実施形態における混合器２００９（図１８、図１９など参照）あるいは混合器２７０７（図２５など参照）に入力して混合し、２次元の解像度変換結果として出力してもよい。この場合、図１８、図１９、図２５、図３１に示したように２フレームのみを用いて２次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１などに記載されているように少なくとも７フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。

また、第５〜第７実施形態では、１次元方向の２倍の高解像度化を例に挙げて説明したが、図１６および図１７を用いて説明したようなｎ倍の高解像度化処理を、第５〜第７実施形態における水平、垂直、斜め（右上）、斜め（右下）の各高解像度処理として用いてもよい。

また、第５〜第７実施形態では、フレーム＃１とフレーム＃２との入力信号の組を用いてフレーム＃１の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、解像度変換部４（図１８など参照）が、フレーム＃１とフレーム＃３、フレーム＃１とフレーム＃４などの複数の組を用いて、それぞれでフレーム＃１の解像度を変換し、それらの結果を混合して、フレーム＃１の最終的な解像度変換結果としてもよい。このときの混合方法として、各結果の平均値をとってもよいし、図２１および図２２に示したようにフレームごとの係数Ｃ４（フレーム）の値に応じて混合してもよい。この場合、係数Ｃ４（フレーム）として、フレームごとの係数Ｃ４（水平）と係数Ｃ４（垂直）のＭＡＸ値（小さくないほうの値）を用いてもよい。また、画素ごとにすべての組の係数Ｃ４（水平）、Ｃ４（垂直）を比較し、係数Ｃ４が最も小さい組（すなわち、最も解像度向上効果が大きい組）から得られる解像度変換結果を画素ごとに選択して、フレーム＃１の最終的な解像度変換結果としてもよい。

なお、前記したフレーム＃１、フレーム＃２、フレーム＃３などは、時間的に不連続なフレームでもよいし、時間的に逆順となっていてもよい。

（第１０実施形態）
図３５は、第１０実施形態に係る画像処理装置（入力画像制御装置または撮像装置）の構成を示す図である。
図３５は、第１〜第９実施形態に係る解像度変換部を用いて、記録媒体に記録する画像データ量を抑えながら、高解像度の画像を表示したり出力したりすることが可能な記録再生装置に係る構成例である。図３５に示す構成の記録時の動作では、入力部３７０１から入力された画像信号（動画像）を、記録再生処理部３７０９にてデータ圧縮を行ったのちに、記録媒体３７０８に記録し、記録側に切り替えられている切替器３７１６を介して、解像度変換部３７１０で、高解像度化処理を行い、高解像度化された画像データを表示部３７１５および出力部３７１４に出力する。さらに、解像度変換部３７１０は、入力部３７０１へ制御信号３７４２を送信し、入力部３７０１は、送信された制御信号３７４２を基に、自分自身を制御することで、記録再生処理部３７０９または切替器３７１６への信号を制御する。

一方、再生時には、記録再生処理部３７０９が、記録媒体３７０８から画像データを取得し、取得した画像データをデータ伸張し、再生側に切り替えた切替器３７１６を介して、表示部３７１５および出力部３７１４へ画像データを出力する。

ここで、入力部３７０１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの光電変換素子３７０６や、レンズ３７０４や、解像度変換部３７１０から送信された制御信号３７４２を基に、これらの光電変換素子３７０６およびレンズ３７０４の位置制御などを行う撮像部制御信号変換処理部３７２１(制御部)、撮像部制御信号変換処理部３７２１から送られた制御信号３７４２を基に、レンズ３７０４や光電変換素子３７０６の制御を行うレンズ制御部３７０３、光電変換素子制御部３７０５などを有する撮像部３７０２と、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整などを行う信号処理部３７０７を有する。
レンズ３７０４は、画像を結像する結像部３７２３を含み、光電変換素子３７０６は、画像を画像信号に変換する光電変換部３７２５を含む。さらに、信号処理部３７０７は、実際の信号処理を行う信号処理器３７２６を含み、レンズ制御部３７０３は、実際のレンズ３７０４の制御を行うレンズ制御器３７２２を含み、光電変換素子制御部３７０５は、実際の光電変換素子３７０６の制御を行う素子制御器３７２４を含む。

また、記録再生処理部３７０９は、画像信号の符号化・復号化処理や、記録媒体３７０８の書込み・読出し制御やエラー訂正処理などを行う記録再生処理器３７２７を有する。このとき、符号化・復号化処理として、一般に知られているＭＰＥＧ（Moving Picture Expert Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＶＣ−１などの標準規格化された符号化・復号化方式を用いてもよいし、非標準の符号化・復号化方式を用いてもよい。また、記録媒体３７０８として、ＨＤＤ（Hard Disk Drive）などの磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＨＤ ＤＶＤ、ＢＤ（Blue-ray Disc：登録商標）などの光ディスク、フラッシュメモリなどの半導体記録素子などを用いてもよい。

解像度変換部３７１０の各部は、前記した図１、図１６、図１８、図１９および図２５に示した解像度変換部２の各部に相当し、図１２、図１３、図１４および図３１のフローチャートに示した信号処理方法の動作をそのまま用いることができるため、説明を省略する。

また、表示部３７１５は、ビューファインダのような中小画面ディスプレイでもよいし、大型テレビや放送局などで用いられるスタジオモニタのような大画面ディスプレイでもよい。さらに、出力部３７１４は、画像信号をＮＴＳＣ（National Television Standards Committee）方式やコンポーネント信号（Ｄ１〜Ｄ５形式）のようなアナログ信号として出力してもよいし、「ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４」やＵＳＢなどの信号インタフェース規格を用いてデジタル信号として出力してもよい。また、画像信号とともに、音声信号や、記録時刻などを示す制御信号３７４２を記録媒体３７０８に記録・再生してもよいことは言うまでもない。

以下、図３６に沿って、図３５に示す画像処理装置による入力部３７０１の制御方法を説明する。
図３６は、本実施形態に係る画像処理装置の動作を示すフローチャートである。
まず、処理はステップＳ４００１から開始し、ステップＳ４００２にて、解像度変換部３７１０の位置推定部３７２９は、バッファリング器３７２８にバッファリングされているフレーム＃１ ３７４４と、入力部３７０１から送信されてきたフレーム＃２ ３７４５とから、位相差θ３７４３（図１などにおける位相差θ１０２と同様の信号）を算出し、ステップＳ４００３にて、算出した位相差θ３７４３を制御信号３７４２として、撮像部３７０２の撮像部制御信号変換処理部３７２１へ送信する。ステップＳ４００４にて、撮像部制御信号変換処理部３７２１は、送信された制御信号３７４２（位相差θ３７４３）を、レンズ制御信号または光電変換素子制御信号に変換し、ステップＳ４００５にて、それぞれレンズ制御部３７０３および光電変換素子制御部３７０５へ出力する。ここで、制御信号３７４２としては、例えば複数フレーム間の位相差θ３７４３を用いる。ここで、レンズ制御信号は、例えばレンズ位置情報、レンズ形状情報、レンズ角度情報を含んだ情報である。また、光電変換素子制御信号は、例えば光電変換素子位置情報、光電変換素子角度情報を含んだ情報である。また、ここでは、フレーム＃１ ３７４４およびフレーム＃２ ３７４５の２枚のフレーム間の位相差θ ３７４３を用いているが、複数フレーム間の位相差θ ３７４３を制御信号３７４２として用いる場合の撮像部制御信号変換処理部３７２１の詳細は後記する。

レンズ制御部３７０３は、例えば、レンズ制御信号に含まれるレンズ位置情報をもとにレンズ３７０４の空間的位置を制御し、レンズ形状情報をもとにレンズ３７０４の形状を制御し、レンズ角度情報を基にレンズ３７０４の光軸に対する角度を制御する。光電変換素子制御部３７０５は、例えば光電変換素子制御情報に含まれる光電変換素子位置情報をもとに光電変換素子３７０６の空間的位置を制御し、光電変換素子角度情報を元に、光電変換素子３７０６の光軸に対する角度を制御する。

図３７は、撮像部制御信号変換処理部の構成を示す図である。
図３７において、図３５と同様の要素については、同一の符号を付して説明を省略する。
撮像部制御信号変換処理部３７２１は、位置推定部３７２９から送られてきた位相差θ３７４３（制御信号３７４２）を計ｎ個バッファリングするバッファリング器３８１４，３８１５・・・３８１６と、バッファリング器３８１４，３８１５・・・３８１６にバッファリングされているｎ個の位相差θ３７４３を基に、次に撮像部制御信号変換処理部３７２１に入力されてくる位相差θ３７４３（図３５参照）を推定する次回位相差推定器３８１７と、推定された位相差θ３７４３の画像全体に対するヒストグラムを作成するヒストグラム作成器３８１８と、ヒストグラムを基に、レンズ制御信号や、光電変換素子制御情報を取得し、レンズ制御器３７２２や、素子制御器３７２４へ出力するヒストグラム分析器３８１９を有してなる。

次に、適宜、図３５を参照しつつ、図３８に沿って、図３７に示す撮像部制御信号変換処理部３７２１の動作を説明する。
図３８は、撮像部制御信号変換処理部の動作を示すフローチャートである。
まず、処理は、ステップＳ４１０１から始まり、ステップＳ４１０２，Ｓ４１０３，・・・，Ｓ４１０４にて、バッファリング器３８１４，３８１５・・・３８１６が、入力されてきた位相差θ３７４３を入力順にｎ個（ｎは２以上の整数）バッファリングする。バッファリングは、例えば、図示しないＲＡＭなどに、位相差θ３７４３が格納されることによって行われる。次に、ステップＳ４１０５にて、次回位相差推定器３８１７が、バッファリングされているｎ個の位相差θ３７４３から、次回入力される位相差を推定する。ここで、前記次回位相差の推定方法として、例えば、回帰分析などの統計学的手法を用いることが出来るが、一般的なので詳細は省略する。

そして、ステップＳ４１０６にて、ヒストグラム作成器３８１８が、推定された位相差θ（推定位相差）の値から、位相差ごとの画素数を表すヒストグラムを作成する。つまり、推定位相差は、画素ごとの情報（例えば、ある画素の位相差は、π／６で、ある画素の位相差は、π／４であるなどのように）であるため、ある位相差をもつ画素が画像全体でいくつ存在するかをカウントすることにより、ヒストグラムを作成する。ヒストグラムについては、図３８および図３９を参照して後記する。ここで、各画素に重みをつけて画素数をカウントし、ヒストグラムを作成してもよい。例えばビデオカメラにおいて画像を撮影する場合においては、撮影画像でフォーカスが当たっている箇所に対応する画素に重み２を、それ以外の画素に重み１をつけて位相差ごとの画素数をカウントし、ヒストグラムを作成してもよい。

続いて、ステップＳ４１０７にて、ヒストグラム分析器３８１９が、作成したヒストグラムのパターンを分析し、ステップＳ４１０８にて、ヒストグラム分析器３８１９が、分析結果に応じてレンズ制御情報、または光電変換素子制御情報を、それぞれレンズ制御器３７２２、または素子制御器３７２４に送信する。そして、ステップＳ４１０９にて、レンズ制御器３７２２は、レンズ制御情報をもとにレンズを制御し、素子制御器３７２４は、光電変換素子制御情報をもとに光電変換素子を制御するなど、入力部の制御が行われ、ステップＳ４１１０にて処理が終了する。記憶部には、ヒストグラムの形状パターンに対応したレンズ位置情報や、レンズ形状情報や、レンズ角度情報といったレンズ制御情報を有する位相差‐レンズ位置情報、光電変換素子位置情報や、光電変換素子角度情報などの素子制御情報が、ヒストグラムのパターンに対応している位相差‐素子情報などが格納されている。ヒストグラム分析器３８１９は、ヒストグラム作成器３８１８で作成されたヒストグラムの形状を基に、記憶部から対応するレンズ制御情報や、素子制御情報を取得する。

次に、図３５および図３７を参照しつつ、図３９、図４０、および図４１に沿って、ヒストグラム分析を説明する。
図３９は、複数フレーム画像間の位相差に対応する乗算係数の値の例を示す図であり、図４０および図４１は、ヒストグラム作成器が作成したヒストグラムの例を示す図である。
ここで、乗算係数とは、例えば、図１の係数決定器１０９で決定される係数である。位置推定部３７２９（図３５）で算出される位相差θ３７４３に対応する乗算係数が図３９のような特性を持つ場合、位相差がπ付近となる画素（フレーム＃１とフレーム＃２とが、半画素分ずれている画素）では、次回位相差推定器３８１７で推定された位相差に多少の推定誤差が生じても、対応する乗算係数には大きな誤差は生じない。しかし、推定された位相差が０付近または２π付近となる画素（フレーム＃１とフレーム＃２とが、１画素分ずれている画素）では、位相差に少しでも推定誤差が生じると、対応する乗算係数に大きな誤差を生じることになる。このため、位相差が０付近または２π付近となる画素で、このような推定誤差が生じると、適切な高解像度化処理が実施できない。

例えば、図４０のように、ヒストグラム作成器３８１８において、特定の位相差に多くの画素が集中するような位相差‐画素数ヒストグラムが得られた場合、２π付近の位相差θを有する画素が多数存在するため、推定誤差の影響が大きくなってしまう。ここで、図３８および図４１に示すヒストグラムは、フレーム＃１ ３７４４（図３５参照）とフレーム＃２ ３７４５（図３５参照）との間で、画素ごとに位相差θ３７４３を算出した際の位相差θ３７４３に対する画素数を示す図である。
そこで、例えば、ヒストグラムのメジアンまたはモードが位相差πになるような次フレーム画像が得られるように、レンズまたは光電変換素子を制御すれば、適切な高解像度処理ができる。つまり、ヒストグラムの山がπ付近となるよう、レンズまたは光電変換素子を制御する。具体的には、ヒストグラム分析器３８１９は、ヒストグラムのメジアンまたはモードとπとの差分だけ画像サンプリング位置がずれるようにレンズまたは光電変換素子を光軸垂直平面内で移動するよう、レンズまたは光電変換素子にレンズ制御信号または光電変換素子制御信号を送信する。ここで、特定位相差に多くの画素が集中しているかどうかは、あらかじめ閾値を設定しておくことで判定可能である。また、図４１のように、画素が特定位相差には集中しないような位相差‐画素数ヒストグラムが得られた場合には、レンズまたは光電変換素子を光軸方向に移動し、特定位相差（位相差π付近）に多くの画素が集中するようレンズまたは光電変換素子を制御する。このようにすれば、推定誤差の影響が小さい特定位相差（位相差π）に多くの画素が集中させることができるため、乗算係数の誤差の影響を小さくすることができ、適切な高解像度処理が実施できる。例えば、予めヒストグラムの形状パターンごとに対応したレンズ制御信号および光電変換素子制御信号が、位相差‐レンズ位置情報や、位相差‐素子位置情報として記憶部に格納されており、ヒストグラム分析器３８１９は、ヒストグラム作成器３８１８より得られたヒストグラムの形状パターンをキーとして、記憶部からレンズ制御信号や、光電変換素子制御信号を取得する。

このような動作で入力部におけるレンズや、光電変換素子を制御して、高解像度化処理の入力として用いる複数フレーム画像を調整することにより、乗算係数の誤差の影響を小さくすることができ、適切な高解像度化処理が実施できる。

図４２は、第１〜第１０実施形態に係る画像信号処理装置のハードウェア構成を示す図である。
図４２に示すように、前記した第１〜第１０実施形態に係る画像信号処理装置のうちの、いずれか１つである画像信号処理装置５０００は、ＣＰＵ５００１、ＲＡＭ５００２、ＲＯＭ５００３、ネットワークインターフェース５００４、表示制御部５００５およびＨＤ５００６が、バス５００７を介して互いに接続している。表示制御部５００５には、ディスプレイなどのモニタ５００８が接続されている。

なお、第１０実施形態に示す画像信号処理装置を、例えばビデオカメラ（撮像装置）に搭載してもよい。

第１０実施形態によれば、入力映像のフレーム間の差分から生じる位相差θを用いて、レンズ３７０４や、光電変換素子３７０６を移動させて、次に入力されるフレームが、高解像度化に適した画像となるよう調節するので、画像信号処理装置に入力された画像に対応したレンズ３７０４や、光電変換素子３７０６の調節が可能となる。また、次に入力されるフレームが、高解像度化に適した画像となるようレンズ３７０４や、光電変換素子３７０６を調節するので、すべてのフレーム（画素）を高解像度化処理に使用することができる。

また、たとえば特許文献３に記載されているような、画像信号記録再生装置で映像を記録するときに、撮像部のレンズを移動し、高解像度化に用いる複数フレーム画像間に意図的に位相差θ２１１を作り出すことで高解像度化を実現する技術では、レンズの移動に依存して決まる複数フレーム間の位相差が高解像度化処理に適した値にならないため、高解像度化処理によって入力画像より高解像度な出力画像を得られない場合がある。詳しくいうと、位相差θ２１１の変化量に対して、対応する乗算係数の変化量が大きい場合には、位相差の微小な推定誤差が、対応する乗算係数の大きな誤差につながるため、高解像度化処理で適切に各フレームの折り返し成分３０４〜３０６が除去できず、かえって画質が劣化してしまう。
第１０実施形態によれば、ヒストグラム作成器３８１８が作成したヒストグラムの山を乗算係数の誤差の影響が小さい位相差πの付近へ移動するようレンズ３７０４や、光電変換素子３７０６を移動させるため、乗算係数の推定誤差の影響を小さくすることができる。

第１〜第１０実施形態に係る解像度変換部４，３７１０および第１０実施形態における入力部３７０１における各部は、図４２のＲＯＭ５００３またはＨＤ５００６に格納されているプログラムが、ＲＡＭ５００２に展開され、ＣＰＵ５００１によって実行されることによって具現化する。

本発明の各実施形態は、各実施形態において説明した装置以外に、例えば、ＤＶＤプレーヤーやＨＤＤプレーヤーにも同様に適用でき、更には１セグ（セグメント）放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できることは言うまでもない。また、画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。例えば、インターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像に対しても、同様に各実施形態は適用できる。

また、本発明における各実施形態は、下記の場合にも有用である。

すなわち、本発明における各実施形態は、複数の低解像度画像を入力し、これらを位置合わせして、１枚の高解像度画像を生成する技術であり、入力画像の解像度の限界を超えた高精細画像が得られることができる。

これまでは、１枚の出力画像を作成する際に、大量（１０〜５０フレーム程度）の入力フレームと多数（１０〜１００回程度）の繰り返し演算が必要であった。このため、大量のメモリや超高速な演算を行うプロセッサが必要であり、リアルタイムのテレビ映像に応用するのは困難であった。

ここで、いかに少ない入力フレーム数／演算量で超解像処理を実現するかが、テレビ受像機への応用に向けた重要な課題となっていたが、本発明における各実施形態の画像処理装置を用いれば、入力フレーム数を最少で２枚まで減らすとともに、繰り返し演算も不要とすることができる。

さらに、各実施形態を用いれば、画像を単純に拡大して画素数を増やしていたこれまでのＳＤ（Standard Definition：標準画質）→ＨＤ（High Definition：高精細画質）変換技術（アップコンバート技術）とは異なり、入力画像の解像度の限界を超えて、標準画質（ＳＤ）の動画像を高精細画質（ＨＤ）に変換することができる。これにより、例えば、デジタル放送と大画面薄型テレビの普及に伴いＨＤ化が進むテレビの高精細表示ニーズに応え、既存のＤＶＤメディアやＳＤ画質の番組、既にＳＤ画質で記録した映像などを、ハイビジョンに近い画質で再生することが可能となる。

また、各実施形態を用いれば、これまでよりも少ない入力フレーム数で高精細な映像が得られるため、テレビ受像機でのリアルタイム処理を前提とした信号処理方式に好適に用いることが可能となる。

また、各実施形態を用いれば、例えば、６４０×３６０画素のＳＤ画質の画像を入力し、縦方向２倍、横方向２倍の解像度となる１２８０×７２０画素のＨＤ画質の画像を、例えば２枚の入力画像からより高精細に生成することが可能となる。すなわち標準画質のテレビ映像をハイビジョンに近い画質に変換を得ることが可能となる。

また、各実施形態ではフレーム単位での高解像度化を例に挙げて説明した。しかし高解像度化の対象は、必ずしもフレーム全体でなくともよい。例えば、入力画像または入力映像のフレームの一部分を解像度化の対象としてもよい。すなわち、入力映像のフレームの一部分の複数フレーム分を対象として、前記した各実施形態の画像処理を実施すれば、入力画像または入力映像の一部分の高画質な拡大画像を得ることができる。これは、例えば、映像の一部分の拡大表示などに適用できる。

なお、前記した各実施形態のいずれを組み合わせても、本発明の一実施形態となりうる。

各実施形態によれば、低解像度の画像を好適に拡大画像に変換する処理を行うことができ、高画質な高解像度画像を好適に得ることができる。すなわち画像信号を好適に高解像度化することができる。

また、各実施形態によれば、高画質な高解像度画像を得るために必要な画像のフレーム数を低減することができる。

第１実施形態に係る画像信号処理装置の構成を示す図である。 第１実施形態において、１次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。 図１におけるアップレート器の動作を示す図である。 第１実施形態におけるアップレート器の動作の具体例を示す図である。 第１実施形態に用いるπ／２位相シフト器の動作例を示す図であり、（ａ）は、「周波数‐利得」特性を示す図であり、（ｂ）は、「周波数‐位相差」特性を示す図である。 第１実施形態に用いるπ／２位相シフト器をヒルベルト変換器で構成したときの動作を示す図である。 第１実施形態に用いる係数決定器の動作と具体例を示す図であり、（ａ）は、各成分における条件を示し、（ｂ）は、各係数の条件を示し、（ｃ）は、（ａ）および（ｂ）の条件から導き出される各係数の式を示し、（ｄ）は、各係数の具体値の例を示す。 第２実施形態に係る位相シフト部および折返し成分除去部の構成を示す図である。 第３実施形態に係る位相シフト部および折返し成分除去部の構成を示す図である。 第３実施形態に係る補間ローパスフィルタの動作例を示す図である。 第３実施形態に係る係数決定器の動作例を示す図である。 図１における画像信号処理装置の動作を示すフローチャートである。 図８における画像信号処理装置の動作を示すフローチャートである。 図９における画像信号処理装置の動作を示すフローチャートである。 本実施形態と特許文献１、特許文献２および非特許文献１に記載されている技術の動作の違いを説明するための図であり、（ａ）は、各入力画像を示す図であり、（ｂ）は、各サンプリング位相を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。 ｎフレーム（ｎは２以上の整数）の信号を用いてｎ倍の高解像度化を行う画像信号処理装置の構成例を示す図である。 折返し成分除去部の動作の詳細を示す図であり、（ａ）は、折返し成分除去した出力を得るための計算式であり、（ｂ）は、係数を求めるための計算式である。 第５実施形態に係る画像信号処理装置の例を示す図である。 第６実施形態に係る画像信号処理装置の例を示す図である。 図１９における混合器の第１の構成例を示す図である。 図１９における混合器の第２の構成例を示す図である。 係数Ｃ４（水平）および係数Ｃ４（垂直）をそれぞれ変化させたときの各係数決定器の出力（係数Ｋ（水平）および係数Ｋ（垂直））の一例を示す図である。 水平周波数をμ、垂直周波数をνとして表した２次元周波数領域を示す図である。 水平・垂直の各解像度変換による効果が大きい成分を抽出する混合器の構成例を示す図である。 第７実施形態に係る画像信号処理装置を示す図である。 ２次元周波数領域における位相シフト部の動作を示す図であり、（ａ）は、水平位相シフト部における図、（ｂ）は、垂直位相シフト部における図、（ｃ）は、斜め（右下）位相シフト部における図、（ｄ）は、斜め（右上）位相シフト部における図である。 図２５に示す混合器の第１の構成例を示す図である。 図２５に示す混合器の第２の構成例を示す図である。 図２５における混合器の第３の動作を示す図である。 図２５における混合器の第３の構成を示す図である。 図２５における画像信号処理装置の動作を示すフローチャートである。 第８実施形態に係る画像表示装置を示す図である。 第９実施形態に係る録画再生装置を示す図である。 本実施形態（第１〜第９実施形態）と、特許文献１、特許文献２および非特許文献１などに記載の技術の動作の違いを示す図であり、（ａ）は、入力画像、（ｂ）は、出力画像を示す。 第１０実施形態に係る画像処理装置の構成を示す図である。 本実施形態に係る画像処理装置の動作を示すフローチャートである。 撮像部制御信号変換処理部の構成を示す図である。 撮像部制御信号変換処理部の動作を示すフローチャートである。 複数フレーム画像間の位相差に対応する乗算係数の値の例を示す図である。 ヒストグラム作成器が作成したヒストグラムの例を示す図である（その１）。 ヒストグラム作成器が作成したヒストグラムの例を示す図である（その２）。 第１〜第１０実施形態に係る画像信号処理装置のハードウェア構成を示す図である。 一般的な高解像度化技術の概要を示す図である。 １次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。

符号の説明

１，３７０１ 入力部
２，４，３７１０ 解像度変換部
３ 表示部
１０１，１８０１，２１０１，３７２９ 位置推定部
１０２ 位相差θ
１０３，１０４，１８０３−１〜１８０３−（ｎ−１） アップレート器
１０５，１０７，１８０４−１〜１８０４−（ｎ−１） 遅延器
１０６，１０８，１８０５−１〜１８０５−（ｎ−１） π／２位相シフト器
１０９，１００７，１１０３，２３０１，２３０２ 係数決定器
１１５，１８０６，２１１０ 動き補償・アップレート部
１１６，１８０７，２１１１，２７０８ 位相シフト部
１１７，１０１０，１８０８，２１１２，２７０９ 折返し成分除去部
１１９，３００１〜３００４ 係数決定機
１００２ ｆｓ遮断フィルタ
１００５ ヒルベルト変換器
１００９ 位相シフト部
１１０１，１６０２ 補間ローパスフィルタ
１１０５ 補助的画素補間部
１８０１−１〜１８０１−（ｎ−１） 位置推定器
２００１ 水平解像度変換部
２００２ 垂直アップレート器
２００３，２００７，２７１０ 画素補間器
２００４ 垂直補間部
２００５ 垂直解像度変換部
２００６ 水平アップレート器
２００８ 水平補間部
２００９，２７０７ 混合器
２１０４，２１０５ 水平・垂直アップレート器
２１０６ 水平位相シフト器
２１０７ 垂直位相シフト器
２１０８，２１０９，２７０５ 折返し成分除去器
２６０１，２６０３，２６０５，３２０１，３２０２，３２０５ ２次元フィルタ
２７０１ 斜め（右下）位相シフト器
２７０２ 斜め（右上）位相シフト器
３５００ 画像表示装置
３５０１ 入力部
３５０２ 録画再生部
３５０３ コンテンツ蓄積部
３５０４ 画像信号処理部
３５０５，３７１５ 表示部
３５０６ 音声出力部
３５０７ 制御部
３５０８ ユーザインターフェース部
３５１７ 次回位相差推定器
３６００ 録画再生装置
３６０５ 画像映像出力部
３６０６ 音声出力部
３７０２ 撮像部
３７０３ レンズ制御部
３７０４ レンズ
３７０５ 光電変換素子制御部
３７０６ 光電変換素子
３７０７ 信号処理部
３７０８ 記録媒体
３７０９ 記録再生処理部
３７１４ 出力部
３７１６ 切替器
３７２１ 撮像部制御信号変換処理部
３７２２ レンズ制御器
３７２３ 結像部
３７２４ 素子制御器
３７２５ 光電変換部
３７２６ 信号処理器
３７２７ 記録再生処理器
３７２８，３８１４〜３８１６ バッファリング器
３７４２ 制御信号
３８１７ 次回位相差推定器
３８１８ ヒストグラム作成器
３８１９ ヒストグラム分析器

Claims (19)

1. 入力された複数のフレームにおける画像のずれを基に、画素数を補間して増加させることによって、高解像度画像を生成するための入力画像制御装置であって、
   画像を撮像して入力する入力部と、
   前記入力された画像をバッファリングする記憶部と、
   前記入力された画像と、前記記憶部にバッファリングされているフレームの画像とを基に、前記入力部の制御信号を生成する制御信号生成部と、
   前記入力部の制御信号に基づいて、前記入力部の制御を行う制御部とを有し、
   前記入力部の制御信号は、２つの画像の画素ごとのずれの度合いの情報である位相差情報であり、
   前記制御部は、前記位相差情報から、次に入力されるフレームの画像が、前のフレームの画像と所定のずれを生じるよう前記入力部を制御することを特徴とする入力画像制御装置。
2. 前記入力部は、画像を結像させるためのレンズを有し、
   前記記憶部には、複数の前記位相差情報がバッファリングされており、
   前記制御部は、
   前記記憶部における前記複数の位相差情報を基に、次に入力されるフレームの位相差情報を推定し、前記推定した位相差情報を基に、前記レンズの制御を行うことを特徴とする請求項１に記載の入力画像制御装置。
3. 前記記憶部には、前記位相差情報と、前記レンズの制御情報とが対応付けられた位相差‐レンズ制御情報が格納されており、
   前記制御部は、
   前記記憶部の位相差‐レンズ制御情報から、前記推定された位相差情報に対応する前記レンズの制御情報を取得し、前記取得したレンズの制御情報を基に、前記レンズの制御を行うことを特徴とする請求項２に記載の入力画像制御装置。
4. 前記推定された位相差情報とは、画像全体における推定される画素ごとの位相差を、ヒストグラムとした情報であることを特徴とする請求項２に記載の入力画像制御装置。
5. 前記制御部は、
   前記ヒストグラムの山が、位相差πの位置となるよう前記入力部の制御を行うことを特徴とする請求項４に記載の入力画像制御装置。
6. 前記レンズの制御情報とは、前記レンズの空間的位置情報、前記レンズの形状情報および前記レンズの角度情報を有することを特徴とする請求項３に記載の入力画像制御装置。
7. 前記入力部は、レンズによって結像した画像を画像信号に変換する光電変換素子を有し、
   前記記憶部には、複数の前記位相差情報がバッファリングされており、
   前記制御部は、
   前記記憶部における前記複数の位相差情報を基に、次に入力されるフレームの位相差情報を推定し、前記推定した位相差情報を基に、前記光電変換素子の制御を行うことを特徴とする請求項１に記載の入力画像制御装置。
8. 前記記憶部には、前記位相差情報と、前記光電変換素子の制御情報とが対応付けられた位相差‐素子制御情報が格納されており、
   前記制御部は、
   前記記憶部の位相差‐素子制御情報から、前記推定された位相差情報に対応する前記光電変換素子の制御情報を取得し、前記取得した光電変換素子の制御情報を基に、前記光電変換素子の制御を行うことを特徴とする請求項７に記載の入力画像制御装置。
9. 前記推定された位相差情報とは、画像全体における推定される画素ごとの位相差を、ヒストグラムとした情報であることを特徴とする請求項７に記載の入力画像制御装置。
10. 前記制御部は、
    前記ヒストグラムの山が、位相差πの位置となるよう前記入力部の制御を行うことを特徴とする請求項９に記載の入力画像制御装置。
11. 前記光電変換素子の制御情報とは、前記光電変換素子の光電変換素子の位置情報および光電変換素子の角度情報を有することを特徴とする請求項８に記載の入力画像制御装置。
12. 入力された複数のフレームにおける画像のずれを基に、画素数を補間して増加させることによって、高解像度画像を生成出力する撮像装置であって、
    画像を撮像して入力するレンズと、
    前記レンズによって結像した画像を画像信号に変換する光電変換素子と、
    前記入力された画像をバッファリングする記憶部と、
    前記入力された画像と、前記記憶部にバッファリングされているフレームの画像とを基に、制御信号を生成する制御信号生成部と、
    前記制御信号に基づいて、前記レンズの制御を行う制御部と、
    前記入力された複数のフレームにおける画像のずれを基に、画素数を補間して増加させることにより、高解像度画像を生成する解像度変換部と、
    前記解像度変換部によって生成された高解像度画像を出力する出力部とを有し、
    前記制御信号は、２つの画像の画素ごとのずれの度合いの情報である位相差情報であり、
    前記制御部は、前記位相差情報から、次のフレームの画像が、前のフレームの画像と所定のずれを生じるよう前記レンズおよび前記光電変換素子を制御することを特徴とする撮像装置。
13. 前記記憶部には、複数の前記位相差情報がバッファリングされており、
    前記制御部は、
    前記記憶部における前記複数の位相差情報を基に、次に入力されるフレームの位相差情報を推定し、前記推定した位相差情報を基に、前記レンズおよび前記光電変換素子の制御を行うことを特徴とする請求項１２に記載の撮像装置。
14. 前記記憶部には、前記位相差情報と、前記レンズの制御情報とが対応付けられた位相差‐レンズ制御情報と、前記位相差情報と、前記光電変換素子の制御情報とが対応付けられた位相差‐素子制御情報とが格納されており、
    前記制御部は、
    前記記憶部の位相差‐レンズ制御情報から、前記推定された位相差情報に対応する前記レンズの制御情報を取得し、前記記憶部の位相差‐素子制御情報から、前記推定された位相差情報に対応する前記光電変換素子の制御情報を取得し、前記取得したレンズおよび前記光電変換素子の制御情報を基に、前記レンズおよび前記光電変換素子の制御を行うことを特徴とする請求項１３に記載の撮像装置。
15. 前記推定された位相差情報とは、画像全体における推定される画素ごとの位相差を、ヒストグラムとした情報であることを特徴とする請求項１３に記載の撮像装置。
16. 前記制御部は、
    前記ヒストグラムの山が、位相差πの位置となるよう前記入力部の制御を行うことを特徴とする請求項１５に記載の撮像装置。
17. 前記レンズの制御情報とは、前記レンズの空間的位置情報、前記レンズの形状情報および前記レンズの角度情報を有し、前記光電変換素子の制御情報とは、前記光電変換素子の光電変換素子の位置情報および光電変換素子の角度情報を有することを特徴とする請求項１４に記載の撮像装置。
18. 入力された複数のフレームにおける画像のずれを基に、画素数を補間して増加させることによって、高解像度画像を生成するための入力画像制御装置における入力画像制御方法であって、
    前記入力画像制御装置は、
    記憶部に、入力部から入力された画像をバッファリングしておき、
    前記入力された画像と、前記記憶部にバッファリングされているフレームの画像とを基に、２つの画像の画素ごとのずれの度合いの情報である位相差情報を生成し、
    前記生成した位相差信号を制御信号として、次のフレームの画像が、前のフレームの画像と所定のずれを生じるよう前記入力部を制御することを特徴とする入力画像制御方法。
19. 請求項１８に記載の入力画像制御方法をコンピュータに実行させることを特徴とするプログラム。
    
    

Images