JP2005136868A - 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】 高フレームレートの動画像を表示する。
【解決手段】 コントローラは、フレームメモリから、フレームレートｍのαフレームを出力映像信号Ｓ１として出力させ、フレームレートｍのα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／４ｍだけ遅らせた供給開始時刻ｂで出力させ、フレームレートｍのα＋２フレームを、出力映像信号Ｓ３として、α＋１フレームの供給開始時刻ｂよりも、１／４ｍだけ遅らせた供給開始時刻ｃで出力させ、フレームレートｍのα＋３フレームを、出力映像信号Ｓ４として、α＋２フレームの供給開始時刻ｃよりも、１／４ｍだけ遅らせた供給開始時刻ｄで出力させる。それぞれのフレームの出力にかかる時間は、１／ｍとなり、それぞれのフレームの先頭が出力される周期は、ｎ×ｍＨｚとなる。本発明は、撮像装置、画像信号処理装置、画像表示装置に適用できる。
【選択図】図１２

Description

本発明は、撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラムに関し、特に、動画像を滑らかに表示させるようにすることができる、撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラムに関する。

信号処理技術や、画像表示素子の駆動技術を向上させることなどにより、表示される画像の画質を向上することが求められている。

一般に、画質を向上させるためには、画像の解像度を高くして、画像のきめを細かくするようにすれば良い。画像の情報量は、画像を構成する点（ドット）を示すピクセルという単位で表され、ピクセルの数は、例えば、８００×６００や１０２４×７６８など、その画像の持つ縦横のドットの数で表される。すなわち、ピクセル（ドット）数が多いほど、画像のきめが細かくなり、画像を構成する情報が多いことになる。

高解像度で画像を表示することができるようにするために、例えば、ディスプレイ１とディスプレイ２の２台のディスプレイを用いて、通常のシングルモードでは、ディスプレイ１に画像を表示させ、マルチモードでは、画像の、例えば左半分をディスプレイ１に、右半分をディスプレイ２に表示させることによって、１台のみのディスプレイを用いるシステムに対して、マルチモードでは、２倍の解像度で、画像を表示することができるようにした技術がある（例えば、特許文献１参照）。

特開平１０−１２４０２４号公報

解像度を高くして、画像を表示するようにした場合、画像を構成する情報が多くなるため、ディスプレイ１または２に転送するデータ量が増加し、データ転送速度の高速化が要求される。このため、このシステムでは、ディスプレイ１および２の１ドットあたりのデータ量を削減し、信号処理によって、削減したデータの変換を行うことにより、データ転送速度を高速化せずに、画像データの転送を行うことができるようになされている。

また、１秒間に画面が更新される回数を示す値である、フレームレートを高くすることにより、特に、動画像の画質を向上することができる。

例えば、プロジェクタを用いて、スクリーンに動画像を投影表示する場合、プロジェクタは、フレーム画像を、１ラインずつ水平方向に走査して表示し、１フレームの画像の全てのラインを走査した後、次のフレームの画像データの走査を開始することにより、動画像を表示することができる。

また、表示される動画像データを撮像するときには、一般に、ＣＣＤカメラ等で受光部の無効部分を補うために、撮像時に、ＣＣＤイメージセンサの１画素の大きさの1/nずつ結像位置をずらして画像を取得する、いわゆる、画素ずらしの手段が用いられている場合がある（例えば、非特許文献１）。この技術は、同時刻の映像を多板の撮像素子で撮像するカメラに用いられたり、異なる時刻の映像を単一の撮像素子あるいは光学系を振動させて撮像するカメラに用いられている。

ＣＣＤカメラ技術入門、コロナ社、1997, PP109-111

上述したように、フレームレートを高くすることにより、特に、動画像の画質を向上することができる。しかしながら、高いフレームレートに応じて表示処理を行うためには、表示素子を駆動する駆動回路の処理の高速化が必要となり、更に、画像強度を決定する光量変調素子の反応速度を高速化しなければならないので、技術的にも困難であり、コストアップの原因となっていた。

また、２台のディスプレイを用いて、１台のみのディスプレイを用いるシステムに対して２倍の解像度で画像を表示させる場合、ディスプレイ１ドットあたりのデータ量を減少させて、データ転送速度を高速化しないようにするための技術は、すでに用いられているが、この技術は、表示される動画像のフレームレートを高くするものではない。したがって、２台のディスプレイを用いて、高解像度で画像を表示させることができるシステムにおいても、動画像を滑らかに表示させるためには、表示素子を駆動する駆動回路の処理の高速化および光量変調素子の反応速度の高速化が必要となる。

また、これまでの表示装置のフレームレートは、ＮＴＳＣやＨＤ方式では、６０Hz、ＰＡＬ方式では、５０Hz、映画は２４Hzが一般的である。これらのフレームレートでは、ボケやジャーキネスといった動画質劣化が顕著であった。しかも、これらを対策しようと高フレームレート撮影をしようとしても、ＣＣＤ等撮像素子の駆動速度の限界や、記録メディアへのデータ伝送の制約により、実時間で記録できる情報量は上記程度に限られていた。最近CMOSセンサによる特殊な高速撮像装置が登場しているが、高価なうえ、この映像情報は、現状では、メモリに蓄積する方法しかなく、記録時間が短かったり（例えば、数十秒）、メモリからデータを読み出す転送に時間がかかるなど、撮影に不都合があった。

本発明はこのような状況に鑑みてなされたものであり、従来の撮像素子（例えば、ＣＣＤなど）を用いて、フレームレートの高い画像を撮像し、撮像した高フレームレートの画像を滑らかに表示することができるようにするものである。

本発明の第１の撮像装置は、光学レンズから入射される光をｎ方向に分配する分配手段と、分配手段により分配された光を、１／ｍ秒間隔で信号に変換して画像を撮像する撮像手段と、撮像手段による光を信号に変換するタイミングを制御する制御手段とを備え、撮像手段は、ｎ個備えられ、制御手段は、ｎ個の撮像手段が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御することを特徴とする。

撮像素子は、４つ備えられ、それぞれ、１／６０秒間隔で光を信号に変換して画像を撮像するものとすることができる。

撮像素子は、２つ備えられ、それぞれ、１／１２０秒間隔で光を信号に変換して画像を撮像するものとすることができる。

撮像素子は、５つ備えられ、それぞれ、１／５０秒間隔で光を信号に変換して画像を撮像するものとすることができる。

本発明の第１の撮像方法は、光学レンズから入射される光をｎ方向に分配する分配ステップと、ｎ個の撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、分配ステップの処理により分配された光を、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、ｎ個の撮像素子が画像を撮像する撮像ステップとを含み、撮像素子は、１／ｍ秒間隔で光を信号に変換して画像を撮像することができ、タイミング信号発生ステップの処理により発生されたタイミング信号は、ｎ個の撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御するものであることを特徴とする。

本発明の第１のプログラムは、光学レンズから入射される光をｎ方向に分配する分配ステップと、ｎ個の撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、分配ステップの処理により分配された光を、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、ｎ個の撮像素子が画像を撮像する撮像ステップとを含み、撮像素子は、１／ｍ秒間隔で光を信号に変換して画像を撮像することができ、タイミング信号発生ステップの処理により発生されたタイミング信号は、ｎ個の撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御するものであることを特徴とする処理をコンピュータに実行させることができる。

本発明の第１の撮像装置および撮像方法、並びにプログラムにおいては、光学レンズから入射される光がｎ方向に分配され、ｎ個の撮像素子により画像が撮像されるタイミングが制御され、ｎ個の撮像素子により画像が撮像され、撮像素子は、１／ｍ秒間隔で光を信号に変換して画像を撮像することができ、ｎ個の撮像素子は、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像する。

本発明の第１の画像処理装置は、ｍＨｚの第１のフレームレートを有する画像信号を保存する保存手段と、保存手段により保存された画像信号の出力を制御する出力制御手段と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段とを備え、画像表示装置、または、画像表示装置の表示処理部は、少なくともｎ個設けられ、出力制御手段は、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することを特徴とする。

保存手段により保存されている画像信号を合成する合成手段を更に備えるようにすることができる。

第１のフレームレートは、６０Ｈｚであるものとすることができ、画像表示装置、または、画像表示装置の表示処理部は、少なくとも４つ備えられているものとすることができる。

第１のフレームレートは、１２０Ｈｚであるものとすることができ、画像表示装置、または、画像表示装置の表示処理部は、少なくとも２つ備えられているものとすることができる。

第１のフレームレートは、５０Ｈｚであるものとすることができ、画像表示装置、または、画像表示装置の表示処理部は、少なくとも５つ備えられているものとすることができる。

本発明の第１の画像処理方法は、ｍＨｚの第１のフレームレートを有する画像信号の出力を制御する出力制御ステップと、出力制御ステップの処理により出力が制御された画像信号に対応する画像の表示を制御する表示制御ステップとを含み、画像表示装置、または、画像表示装置の表示処理部は、少なくともｎ個設けられ、出力制御ステップの処理では、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに順次出力されるように、第１のフレームレートの画像信号の出力が制御され、表示制御ステップの処理では、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、出力制御ステップの処理によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示が制御されることを特徴とする。

本発明の第２のプログラムは、ｍＨｚの第１のフレームレートを有する画像信号の出力を制御する出力制御ステップと、出力制御ステップの処理により出力が制御された画像信号に対応する画像の表示を制御する表示制御ステップとを含み、画像表示装置、または、画像表示装置の表示処理部は、少なくともｎ個設けられ、出力制御ステップの処理では、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに順次出力されるように、第１のフレームレートの画像信号の出力が制御され、表示制御ステップの処理では、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、出力制御ステップの処理によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示が制御されることを特徴とする処理をコンピュータに実行させる。

本発明の第１の画像処理装置および画像処理方法、並びに、第２のプログラムにおいては、ｍＨｚの第１のフレームレートを有する画像信号が出力され、出力された画像信号に対応する画像の表示が制御され、画像表示装置、または、画像表示装置の表示処理部は、少なくともｎ個設けられ、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに順次出力されるように、第１のフレームレートの画像信号の出力が制御され、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示が制御される。

本発明の第１の画像表示システムは、画像信号を処理する画像処理装置と、画像処理装置において処理された画像信号に対応する画像を表示する画像表示装置とで構成される画像表示システムであって、画像処理装置は、ｍＨｚの第１のフレームレートの画像信号を保存する保存手段と、保存手段により保存された画像信号の出力を制御する出力制御手段と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段とを備え、画像表示装置は、点順次または線順次方式によって画像の描画を行う複数の画像表示処理手段と、画像表示処理手段により描画される画像を表示する表示手段とを備え、画像表示処理手段は、少なくとも、ｎ個備えられ、出力制御手段は、ｎ個の画像表示処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示処理手段に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することを特徴とする。

本発明の第１の画像表示システムにおいては、画像処理装置で、ｍＨｚの第１のフレームレートの画像信号が保存され、保存された画像信号が出力され、出力された画像信号に対応する画像の表示が制御され、画像表示装置で、点順次または線順次方式によって画像の描画が行われ、描画される画像が表示され、画像表示は、少なくとも、ｎ個の処理手段により実行され、ｎ個の画像表示の処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号が出力されて、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示が制御される。

本発明の第２の画像表示システムは、画像信号を処理する画像処理装置と、画像処理装置において処理された画像信号に対応する画像を表示する画像表示装置とで構成される画像表示システムであって、像処理装置は、ｍＨｚの第１のフレームレートの画像信号を保存する保存手段と、保存手段により保存された画像信号の出力を制御する出力制御手段と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段とを備え、画像表示装置は、点順次または線順次方式によって画像の描画を行う複数の画像表示処理手段を備え、画像表示処理手段は、少なくとも、ｎ個備えられ、出力制御手段は、ｎ個の画像表示処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示処理手段に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することを特徴とする。

画像表示装置は、画像を投影表示するプロジェクタにより構成されるものとすることができる。

本発明の第２の画像表示システムにおいては、画像処理装置で、ｍＨｚの第１のフレームレートの画像信号が保存され、保存された画像信号が出力され、出力された画像信号に対応する画像の表示が制御され、画像表示装置で、少なくとも、ｎ個の処理手段により点順次または線順次方式によって画像の描画が行われ、ｎ個の画像表示の処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号が出力されて、第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで画像表示装置に画像が表示されるように、順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示が制御される。

本発明の第２の撮像装置は、光学レンズから入射される光を信号に変換して画像を撮像する撮像手段と、撮像手段による光を信号に変換するタイミングを制御するとともに、撮像手段が光を受光する受光位置が、光の進路に対して直角方向に、撮像手段の画素ピッチの１／ｎずつずれるように制御する制御手段とを備えることを特徴とする。

撮像手段により撮像された画像により構成される映像に対して、空間方向の画素補間処理を行う画素補間手段を更に備えるようにすることができる。

本発明の第２の撮像方法は、光学レンズから入射される光を受光する受光位置が、光の進路に対して直角方向に、撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、画像を撮像する撮像ステップとを含むことを特徴とする。

本発明の第３のプログラムは、光学レンズから入射される光を受光する受光位置が、光の進路に対して直角方向に、撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、画像を撮像する撮像ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明の第２の撮像装置および撮像方法、並びに第３のプログラムにおいては、光学レンズから入射される光が信号に変換されて画像が撮像され、光を信号に変換するタイミングが制御されるとともに、光を受光する受光位置が、光の進路に対して直角方向に、撮像手段の画素ピッチの１／ｎずつずれるように制御される。

本発明の第３の撮像装置は、光学レンズから入射される光をｎ方向に分配する分配手段と、分配手段により分配された光を複数の色情報を有する信号に変換して画像を撮像する第１の撮像手段と、分配手段により分配された光を輝度情報を有する信号に変換して画像を撮像する第２の撮像手段と、第１の撮像手段により変換された色情報を有する信号および第２の撮像手段により変換された輝度情報を有する信号を合成し、画像情報を生成する画像情報生成手段とを備えることを特徴とする。

第１の撮像手段により変換される色情報のサンプリング周波数は、第２の撮像手段により変換される輝度情報のサンプリング周波数よりも少ないものとすることができる。

本発明の第３の撮像方法は、光学レンズから入射される光をｎ方向に分配する分配ステップと、分配ステップの処理により分配された光を複数の色情報を有する信号に変換して画像を撮像するとともに、分配ステップの処理により分配された光を輝度情報を有する信号に変換して画像を撮像する撮像ステップと、撮像ステップの処理により変換された色情報を有する信号および輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップとを含むことを特徴とする。

本発明の第４のプログラムは、光学レンズから入射される光をｎ方向に分配する分配ステップと、分配ステップの処理により分配された光を複数の色情報を有する信号に変換して画像を撮像するとともに、分配ステップの処理により分配された光を輝度情報を有する信号に変換して画像を撮像する撮像ステップと、撮像ステップの処理により変換された色情報を有する信号および輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明の第３の撮像装置および撮像方法、並びに、第４のプログラムにおいては、光学レンズから入射される光がｎ方向に分配され、分配された光が複数の色情報を有する信号に変換されて画像が撮像されるとともに、分配された光が輝度情報を有する信号に変換されて画像が撮像され、変換された色情報を有する信号および輝度情報を有する信号が合成されて、画像情報が生成される。

本発明によれば、動画像を撮像することができる。特に、単独の撮像素子が撮像するよりも高フレームレートの動画像を撮像することができる。

また、他の本発明によれば、動画像を表示することができる。特に、高フレームレートの動画像を表示することができる。

他の本発明によれば、動画像を撮像することができる。特に、撮像素子の画素ずらしを用いて、高フレームレートの動画像を撮像することができる。

他の本発明によれば、動画像を撮像することができる。特に、輝度情報と色情報をそれぞれ取得して合成することにより、高フレームレートで画質のよい動画像を撮像することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば、撮像装置を提供することができる。この撮像装置は、光学レンズから入射される光をｎ方向に分配する分配手段（例えば、図１のプリズム２２）と、分配手段により分配された光を、１／ｍ秒間隔で信号に変換して画像を撮像する撮像手段（例えば、図２の撮像素子２３−１乃至２３−４）と、撮像手段による光を信号に変換するタイミングを制御する制御手段（例えば、図１のタイミングコントローラ２４）とを備え、撮像手段は、ｎ個備えられ、制御手段は、ｎ個の撮像手段が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御することができる。

撮像素子は、４つ備えられ、それぞれ、１／６０秒間隔で光を信号に変換して画像を撮像することができる。

撮像素子は、２つ備えられ、それぞれ、１／１２０秒間隔で光を信号に変換して画像を撮像することができる。

撮像素子は、５つ備えられ、それぞれ、１／５０秒間隔で光を信号に変換して画像を撮像することができる。

また、本発明によれば、撮像装置の撮像方法を提供することができる。この撮像方法は、光学レンズから入射される光をｎ方向に分配する分配ステップ（例えば、図８のステップＳ１の処理）と、ｎ個の撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップ（例えば、図８のステップＳ２の処理）と、分配ステップの処理により分配された光を、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、ｎ個の撮像素子が画像を撮像する撮像ステップ（例えば、図８のステップＳ３の処理）とを含み、撮像素子は、１／ｍ秒間隔で光を信号に変換して画像を撮像することができ、タイミング信号発生ステップの処理により発生されたタイミング信号は、ｎ個の撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御するものであることができる。

また、本発明によれば、プログラムを提供することができる。このプログラムは、ｎ個の撮像素子を用いて動画像を撮像する処理をコンピュータに実行させるプログラムであって、光学レンズから入射される光をｎ方向に分配する分配ステップ（例えば、図８のステップＳ１の処理）と、ｎ個の撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップ（例えば、図８のステップＳ２の処理）と、分配ステップの処理により分配された光を、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、ｎ個の撮像素子が画像を撮像する撮像ステップ（例えば、図８のステップＳ３の処理）とを含み、撮像素子は、１／ｍ秒間隔で光を信号に変換して画像を撮像することができ、タイミング信号発生ステップの処理により発生されたタイミング信号は、ｎ個の撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、光を信号に変換して画像を撮像するように制御するものであることができる。

また、本発明によれば、画像処理装置を提供することができる、この画像処理装置は、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）により表示される画像信号を処理する画像処理装置（例えば、図９の画像信号処理装置５１、または、図２６の画像信号処理装置１０１）であって、ｍＨｚの第１のフレームレートを有する画像信号を保存する保存手段（例えば、図９、または、図２６のメモリ６１）と、保存手段により保存された画像信号の出力を制御する出力制御手段（例えば、図９のコントローラ６２、または、図２６のコントローラ１１１）と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段（例えば、図９、または、図２６の表示制御部６６）とを備え、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）、または、画像表示装置の表示処理部（例えば、図２６の走査制御部８１−１）は、少なくともｎ個設けられ、出力制御手段は、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレート（例えば、ｍ×ｎＨｚ）である第２のフレームレートで画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することができる。

保存手段により保存されている画像信号を合成する合成手段（例えば、図２６の信号処理部１１２）を更に備えることができる。

第１のフレームレートは、６０Ｈｚであり、画像表示装置、または、画像表示装置の表示処理部は、少なくとも４つ備えられることができる。

第１のフレームレートは、１２０Ｈｚであり、画像表示装置、または、画像表示装置の表示処理部は、少なくとも２つ備えられることができる。

第１のフレームレートは、５０Ｈｚであり、画像表示装置、または、画像表示装置の表示処理部は、少なくとも５つ備えられることができる。

本発明によれば、画像処理方法を提供することができる。この画像処理方法は、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）により表示される画像信号を処理する画像処理装置（例えば、図９の画像信号処理装置５１、または、図２６の画像信号処理装置１０１）の画像処理方法であって、ｍＨｚの第１のフレームレートを有する画像信号の出力を制御する出力制御ステップ（例えば、図２５のステップＳ２１の処理）と、出力制御ステップの処理により出力が制御された画像信号に対応する画像の表示を制御する表示制御ステップ（例えば、図２５のステップＳ２３）とを含み、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）、または、画像表示装置の表示処理部（例えば、図２６の画像表示装置５２）は、少なくともｎ個設けられ、出力制御ステップの処理では、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに順次出力されるように、第１のフレームレートの画像信号の出力が制御され、表示制御ステップの処理では、第１のフレームレートのｎ倍のフレームレート（例えば、ｍ×ｎＨｚ）である第２のフレームレートで画像表示装置に画像が表示されるように、出力制御ステップの処理によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することができる。

本発明によれば、プログラムを提供することができる。このプログラムは、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）により表示される画像信号の処理をコンピュータに実行させるためのプログラムであって、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）により表示される画像信号を処理する画像処理装置（例えば、図９の画像信号処理装置５１、または、図２６の画像信号処理装置１０１）の画像処理方法において、ｍＨｚの第１のフレームレートを有する画像信号の出力を制御する出力制御ステップ（例えば、図２５のステップＳ２１の処理）と、出力制御ステップの処理により出力が制御された画像信号に対応する画像の表示を制御する表示制御ステップ（例えば、図２５のステップＳ２３）とを含み、画像表示装置（例えば、図９、または、図２６の画像表示装置５２）、または、画像表示装置の表示処理部（例えば、図２６の画像表示装置５２）は、少なくともｎ個設けられ、出力制御ステップの処理では、ｎ個の画像表示装置、または、表示処理部に、１フレームごとに順次出力されるように、第１のフレームレートの画像信号の出力が制御され、表示制御ステップの処理では、第１のフレームレートのｎ倍のフレームレート（例えば、ｍ×ｎＨｚ）である第２のフレームレートで画像表示装置に画像が表示されるように、出力制御ステップの処理によりｎ個の画像表示装置、または、表示処理部に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することができる。

また、本発明によれば、画像表示システムを提供することができる。この画像表示システムは、画像信号を処理する画像処理装置（例えば、図９の画像信号処理装置５１、または、図２６の画像信号処理装置１０１）と、画像処理装置において処理された画像信号に対応する画像を表示する画像表示装置（例えば、図９、または、図２６の画像表示装置５２または走査制御部８１−１）とで構成される画像表示システムであって、画像処理装置は、ｍＨｚの第１のフレームレート（例えば、ｍＨｚ）の画像信号を保存する保存手段（例えば、図９、または、図２６のメモリ６１）と、保存手段により保存された画像信号の出力を制御する出力制御手段（例えば、図９のコントローラ６２、または、図２６のコントローラ１１１）と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段（例えば、図９、または、図２６の表示制御部６６）とを備え、画像表示装置は、点順次または線順次方式によって画像の描画を行う複数の画像表示処理手段（例えば、図９、または、図２６の走査制御部８１−１）と、画像表示処理手段により描画される画像を表示する表示手段（例えば、図９、または、図２６の表示部８２）とを備え、画像表示処理手段は、少なくとも、ｎ個備えられ、出力制御手段は、ｎ個の画像表示処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレートである第２のフレームレート（例えば、ｍ×ｎＨｚ）で画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示処理手段に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することができる。

また、本発明によれば、画像表示システムを提供することができる。この画像表示システムは、画像信号を処理する画像処理装置（例えば、図９の画像信号処理装置５１、または、図２６の画像信号処理装置１０１）と、画像処理装置において処理された画像信号に対応する画像を表示する画像表示装置（例えば、図９、または、図２６の画像表示装置５２または走査制御部８１−１）とで構成される画像表示システムであって、画像処理装置は、ｍＨｚの第１のフレームレート（例えば、ｍＨｚ）の画像信号を保存する保存手段（例えば、図９、または、図２６のメモリ６１）と、保存手段により保存された画像信号の出力を制御する出力制御手段（例えば、図９のコントローラ６２、または、図２６のコントローラ１１１）と、出力制御手段により出力が制御された画像信号に対応する画像の表示を制御する表示制御手段（例えば、図９、または、図２６の表示制御部６６）とを備え、画像表示装置は、点順次または線順次方式によって画像の描画を行う複数の画像表示処理手段（例えば、図９、または、図２６の走査制御部８１−１）を備え、画像表示処理手段は、少なくとも、ｎ個備えられ、出力制御手段は、ｎ個の画像表示処理手段に、１フレームごとに、保存手段から順次出力されるように、第１のフレームレートの画像信号の出力を制御し、表示制御手段は、第１のフレームレートのｎ倍のフレームレートである第２のフレームレート（例えば、ｍ×ｎＨｚ）で画像表示装置に画像が表示されるように、出力制御手段によりｎ個の画像表示処理手段に順次出力された画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、画像信号に対応する画像の表示を制御することができる。

画像表示装置は、画像を投影表示するプロジェクタにより構成されることができる。

本発明によれば、撮像装置を提供することができる。この撮像装置は、光学レンズから入射される光を信号に変換して画像を撮像する撮像手段（例えば、図３３のＣＣＤイメージセンサ１８１）と、撮像手段による光を信号に変換するタイミングを制御するとともに、撮像手段が光を受光する受光位置が、光の進路に対して直角方向に、撮像手段の画素ピッチの１／ｎずつずれるように制御する制御手段（例えば、図３３のタイミングコントローラ１８３）とを備えることができる。

撮像手段により撮像された画像により構成される映像に対して、空間方向の画素補間処理を行う画素補間手段（例えば、図３３の画像処理部１８２）を更に備えることができる。

本発明によれば、撮像方法を提供することができる。この撮像方法は、動画像を撮像する撮像装置の撮像方法であって、光学レンズから入射される光を受光する受光位置が、光の進路に対して直角方向に、撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップ（例えば、図３７のステップＳ８１の処理）と、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、画像を撮像する撮像ステップ（例えば、図３７のステップＳ８２の処理）とを含むことができる。

本発明によれば、プログラムを提供することができる。このプログラムは、動画像を撮像する処理をコンピュータに実行させるためのプログラムであって、光学レンズから入射される光を受光する受光位置が、光の進路に対して直角方向に、撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップ（例えば、図３７のステップＳ８１の処理）と、タイミング信号発生ステップの処理により発生されたタイミング信号に基づいて、画像を撮像する撮像ステップ（例えば、図３７のステップＳ８２の処理）とを含むことができる。

本発明によれば、撮像装置を提供することができる。この撮像装置は、光学レンズから入射される光をｎ方向に分配する分配手段（例えば、図３８のプリズム２１１）と、分配手段により分配された光を複数の色情報を有する信号に変換して画像を撮像する第１の撮像手段（例えば、図３９の撮像素子２１２−１乃至２１２−４のうちのいずれか）と、分配手段により分配された光を輝度情報を有する信号に変換して画像を撮像する第２の撮像手段（例えば、図３９の撮像素子２１２−１乃至２１２−４のうちのいずれか）と、第１の撮像手段により変換された色情報を有する信号および第２の撮像手段により変換された輝度情報を有する信号を合成し、画像情報を生成する画像情報生成手段（例えば、図３８の画像処理部２１３）とを備えることができる。

第１の撮像手段により変換される色情報のサンプリング周波数は、第２の撮像手段により変換される輝度情報のサンプリング周波数よりも少ないものとすることができる。

本発明によれば、撮像方法を提供することができる。この撮像方法は、動画像を撮像する撮像装置の撮像方法であって、光学レンズから入射される光をｎ方向に分配する分配ステップ（例えば、図４２のステップＳ１０１の処理）と、分配ステップの処理により分配された光を複数の色情報を有する信号に変換して画像を撮像するとともに、分配ステップの処理により分配された光を輝度情報を有する信号に変換して画像を撮像する撮像ステップ（例えば、図４２のステップＳ１０２の処理）と、撮像ステップの処理により変換された色情報を有する信号および輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップ（例えば、図４２のステップＳ１０３の処理）とを含むことができる。

本発明によれば、プログラムを提供することができる。このプログラムは、動画像を撮像する処理をコンピュータに実行させるためのプログラムであって、光学レンズから入射される光をｎ方向に分配する分配ステップ（例えば、図４２のステップＳ１０１の処理）と、分配ステップの処理により分配された光を複数の色情報を有する信号に変換して画像を撮像するとともに、分配ステップの処理により分配された光を輝度情報を有する信号に変換して画像を撮像する撮像ステップ（例えば、図４２のステップＳ１０２の処理）と、撮像ステップの処理により変換された色情報を有する信号および輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップ（例えば、図４２のステップＳ１０３の処理）とを含むことができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した撮像装置１の構成を示すブロック図である。

図１に示すように、撮像装置１は、レンズ２１、プリズム２２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２３、タイミングコントローラ２４、コントローラ２５、基準同期信号発生部２６、相関２重サンプリング（CDS：Correlated Double Sampling）処理部２７、Ａ／Ｄコンバータ２８、画像処理部２９、コーデック（CODEC：COmpression／DECompression）処理部３０、メモリ３１、操作入力部３２、および、ドライブ３３から構成される。

プリズム２２は、ＣＣＤイメージセンサ２３に含まれる撮像素子の数をｎとして、レンズ２１を介して入射された光の反射率が１／ｎであるプリズムビームスプリッタで構成され、レンズ２１を介して入射された光をｎ個に分割し、ＣＣＤイメージセンサ２３のｎ個の撮像素子に供給する。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子をｎ個含むものである。なお、ＣＣＤイメージセンサ２３は、撮像素子をｎ個含んでいるが、いわゆる複板式のＣＣＤイメージセンサではなく、受光素子ごとに、例えば、ＲＧＢの３原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のＣＣＤイメージセンサが、ｎ個用いられているものである。ＣＣＤイメージセンサ２３のそれぞれの撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。

ＣＣＤイメージセンサ２３の複数の撮像素子は、タイミングコントローラ２４の制御により、それぞれ異なるタイミングで、画像情報を取得する。タイミングコントローラ２４は、コントローラ２５の制御に基づいて、基準同期信号発生部２６から供給される基準同期信号を所定の時間だけ遅延させたトリガ信号を、ＣＣＤイメージセンサ２３の複数の撮像素子にそれぞれ供給する。

コントローラ２５は、操作入力部３２により入力されたユーザの操作入力に基づいて、タイミングコントローラ２４、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部２９、コーデック処理部３０、および、メモリ３１を制御する。基準同期信号発生部２６は、タイミングコントローラ２４がＣＣＤイメージセンサ２３の複数の撮像素子を制御するための基準となる同期信号を発生し、タイミングコントローラ２４に供給する。

相関２重サンプリング回路２７は、ＣＣＤイメージセンサ２３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２８は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

画像処理部２９は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。

コーデック処理部３０は、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ３１は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、コントローラ２５の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ３１は、撮像装置１に対して着脱可能なようになされていても良い。

操作入力部３２は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ２５に供給する。また、コントローラ２５には、必要に応じてドライブ３３が接続され、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、もしくは、半導体メモリ４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ２５に実行される。

次に、撮像装置１の動作について説明する。

レンズ２１を介して入力された光は、プリズム２２により分割されて、ＣＣＤイメージセンサ２３に入射され、ｎ個の受光素子のそれぞれにおいて、タイミングコントローラ２４により制御されるタイミングで光電変換によって電気信号に変換され、相関２重サンプリング回路２７に供給される。相関２重サンプリング回路２７は、ＣＣＤイメージセンサ２３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２８に供給する。Ａ／Ｄコンバータ２８は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、画像処理部２９の画像用ＲＡＭに一時格納する。

画像処理部２９は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、例えば、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、および、ＹＣ変換などの各種画像処理を実行する。

コーデック処理部３０は、画像処理部２９から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ３１に供給して記憶させる。

次に、図２および図３を用いて、ＣＣＤイメージセンサ２３に含まれる撮像素子の数ｎが４である場合を例として、レンズ２１を介して入射された光の反射率が１／４であるプリズムビームスプリッタで構成され、レンズ２１を介して入射された光を４個に分割し、ＣＣＤイメージセンサ２３の４個の撮像素子に光を供給するプリズム２２と、ＣＣＤイメージセンサ２３の４個の撮像素子の画像取得のタイミングについて説明する。

プリズム２２は、入射する光のうちの５０％を直進させ、残り５０％を入射光路から垂直方向に反射させるプリズムビームスプリッタ２２−１乃至２２−３で構成されている。

レンズ２１を介して入射された光は、プリズムビームスプリッタ２２−２で半分に分割され、プリズムビームスプリッタ２２−１とプリズムビームスプリッタ２２−３に供給される。プリズムビームスプリッタ２２−１に入射された光は、更に半分に分割され、ＣＣＤイメージセンサ２３の第１の撮像素子２３−１と第２の撮像素子２３−２に供給される。プリズムビームスプリッタ２２−３に入射された光は、更に半分に分割され、ＣＣＤイメージセンサ２３の第３の撮像素子２３−３と第４の撮像素子２３−４に供給される。第１の撮像素子２３−１乃至第４の撮像素子２３−４に供給される入射光のレンズ２１からの光路長は、全て等しい。

第１の撮像素子２３−１乃至第４の撮像素子２３−４には、タイミングコントローラ２４から、それぞれ、画像取得のタイミング（すなわち、光電変換を行うタイミング）を指令する駆動信号の供給を受ける。

タイミングコントローラ２４は、遅延処理部２４−１乃至遅延処理部２４−３の、３つの遅延処理部を有している。遅延処理部２４−１乃至遅延処理部２４−３は、基準同期信号発生部２６から供給される基準同期信号に対して、所定の時間幅だけ同期信号を遅延させて出力する。

すなわち、タイミングコントローラ２４は、図３に示されるように、基準同期信号発生部２６から供給される（１／ｔ）Ｈｚの基準同期信号、基準同期信号より（１／４）ｔだけ遅延された（１／ｔ）Ｈｚの遅延信号１、基準同期信号より（２／４）ｔだけ遅延された（１／ｔ）Ｈｚの遅延信号２、および、基準同期信号より（３／４）ｔだけ遅延された（１／ｔ）Ｈｚの遅延信号３を、ＣＣＤイメージセンサ２３に供給する。

基準同期信号は、第１の撮像素子２３−１に供給され、遅延信号１は、第２の撮像素子２３−２に供給され、遅延信号２は、第３の撮像素子２３−３に供給され、遅延信号３は、第４の撮像素子２３−４に供給される。

例えば、ＣＣＤイメージセンサ２３のそれぞれの撮像素子の駆動速度の限界が６０Ｈｚであった場合、基準同期信号の周波数を６０Ｈｚ（すなわち、ｔ＝１／６０秒）とし、遅延信号１を基準同期信号より１／１５秒だけ遅延させ、遅延信号２を基準同期信号より２／１５秒だけ遅延させ、遅延信号３を基準同期信号より３／１５秒だけ遅延させた場合、第１の撮像素子２３−１乃至第４の撮像素子２３−４により撮像される画像のフレームレートは、６０×４の２４０Ｈｚとなる。更に、第１の撮像素子２３−１乃至第４の撮像素子２３−４のそれぞれのシャッタスピードを１／１５秒とすることにより、より正確な動画像を取得することが可能となる。

同様にして、ＣＣＤイメージセンサ２３に含まれる撮像素子の数ｎが４以外の異なる数である場合も、プリズム２２は、レンズ２１を介して入射された光の反射率が１／ｎであるプリズムビームスプリッタで構成され、レンズ２１を介して入射された光をｎ個に分割し、ＣＣＤイメージセンサ２３のｎ個の撮像素子に光を供給する。そして、タイミングコントローラ２４は、基準同期信号の周波数をｍＨｚとすると、それぞれ、１／（ｎ×ｍ）秒ずつ遅延させた（ｎ−１）の遅延信号を生成し、ＣＣＤイメージセンサ２３のｎ個の撮像素子に供給して、（ｍ×ｎ）Ｈｚの高フレームレートの画像を取得することが可能となる。

例えば、撮像素子の数ｎが５であり、基準同期信号の周波数が５０Ｈｚであるとき、ＣＣＤイメージセンサ２３の５個の撮像素子により、２５０Ｈｚの高フレームレートの画像が取得される。

このような構成にすることにより、ＣＣＤイメージセンサ２３のそれぞれの撮像素子の駆動速度の限界よりも速いフレームレートの画像を取得することが可能となる。

取得された画像データは、それぞれ、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部２９、および、コーデック処理部３０により処理されて、メモリ３１に記憶される。このとき、取得された画像データは、（ｍ×ｎ）Ｈｚの高フレームレートの動画像データとして処理されて記憶されるものとしてもよいが、１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データとして、それぞれ個別に処理されて記憶されるようにしてもよい。１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データが、それぞれ個別に処理されて記憶されるようになされた場合、メモリ３１には、４つの動画像データのファイルが生成され、それぞれ、個別に出力されるようになされる。

図４を用いて、取得された画像データが、（ｍ×ｎ）Ｈｚの高フレームレートの動画像データとしてメモリ３１に記憶された場合について説明する。ここでは、図２および図３を用いて説明したように、ｎ＝４であり、ＣＣＤイメージセンサ２３の撮像素子２３−１乃至撮像素子２３−４により画像データが取得される場合を例として説明するが、ｎが４以外のいかなる値である場合も、メモリ３１には、図４に示されるようにして、（ｍ×ｎ）Ｈｚの高フレームレートの動画像データが順次記憶されるので、ｎが４以外の値についての説明は省略する。

例えば、α番目のフレームであるαフレームが、ＣＣＤイメージセンサ２３の撮像素子２３−１により取得された場合、α＋１フレームは、撮像素子３２−２により、αフレームより１／（ｍ×ｎ）秒遅れて取得される。そして、α＋２フレームは、撮像素子３２−３により、α＋１フレームより１／（ｍ×ｎ）秒遅れて取得され、α＋３フレームは、撮像素子３２−４により、α＋２フレームより１／（ｍ×ｎ）秒遅れて取得される。更に、α＋４フレームは、再び撮像素子３２−１により、α＋３フレームより１／（ｍ×ｎ）秒遅れて取得され、α＋５フレームは、撮像素子３２−２により、α＋４フレームより１／（ｍ×ｎ）秒遅れて取得される。

メモリ３１に、取得された画像データが、（ｍ×ｎ）Ｈｚの高フレームレートの動画像データとして記憶される場合、画像処理されたそれぞれのフレームが、順次、メモリ３１に記憶されるので、記憶された各フレームの時間の差は、それぞれ１／（ｍ×ｎ）となる。

図５および図６を用いて、取得された画像データが、１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データとしてメモリ３１に記憶された場合について説明する。図５は、ｎ＝４の場合の例であり、図６は、ｎ＝５である場合の例である。

ｎ＝４の場合、図５に示されるように、メモリ３１に記憶される第１の動画像データは、αフレーム、α＋４フレーム・・・のフレームレートｍの動画像データであり、第２の動画像データは、α＋１フレーム、α＋５フレーム・・・のフレームレートｍの動画像データであり、第３の動画像データは、α＋２フレーム、α＋６フレーム・・・のフレームレートｍの動画像データであり、第４の動画像データは、α＋３フレーム、α＋７フレーム・・・のフレームレートｍの動画像データである。なお、図５においては、フレーム間の取得時間の関係を明確化するために、それぞれのフレームを乖離して図示しているが、第１の動画像データ乃至第４の動画像データとして記憶されるそれぞれのフレーム画像データは、連続して記憶されるようにしてもよいことは言うまでもない。

例えば、図２および図３を用いて説明したように、ｎ＝４であり、ＣＣＤイメージセンサ２３の撮像素子２３−１乃至撮像素子２３−４により画像データが取得される場合、それぞれの撮像素子によって取得された画像データが、それぞれ独立して画像処理され、メモリ３１に、第１の動画像データ乃至第４の動画像データとして記憶されるようにすると好適である。

また、ｎ＝５の場合、図６に示されるように、メモリ３１に記憶される第１の動画像データは、αフレーム、α＋５フレーム・・・のフレームレートｍの動画像データであり、第２の動画像データは、α＋１フレーム、α＋６フレーム・・・のフレームレートｍの動画像データであり、第３の動画像データは、α＋２フレーム、α＋７フレーム・・・のフレームレートｍの動画像データであり、第４の動画像データは、α＋３フレーム、α＋８フレーム・・・のフレームレートｍの動画像データであり、第５の動画像データは、α＋４フレーム、α＋９フレーム・・・のフレームレートｍの動画像データである。なお、図６においても、フレーム間の取得時間の関係を明確化するために、それぞれのフレームを乖離して図示しているが、第１の動画像データ乃至第５の動画像データとして記憶されるそれぞれのフレーム画像データは、連続して記憶されるようにしてもよいことは言うまでもない。

なお、ｎが４または５以外の、例えば、２，３，６などのいずれの値であっても、メモリ３１には、１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データとして、それぞれ個別に処理されて記憶されるようにすることができる。更に、メモリ３１には、例えば、１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データの供給を受け、ｎ系列の動画像データを、例えば、ｎ／２やｎ／３などの系列数の動画像データにまとめて記憶しておくことができるようにしてもよい。

例えば、メモリ３１に、図５を用いて説明したような、４系列の動画像データが供給された場合、メモリ３１には、図７に示されるように、４系列の動画像データを、２系列の動画像データとして記憶させるようにすることができる。その場合、第１の動画像データには、αフレーム、α＋２フレーム、α＋４フレーム・・・が記憶され、第２の動画像データには、α＋１フレーム、α＋３フレーム、α＋５フレーム・・・が記憶される。すなわち、第１の動画像データおよび第２の動画像データは、フレームレート２ｍの動画像データとなる。

次に、図８のフローチャートを参照して、画像取得処理１について説明する。

ステップＳ１において、プリズム２２は、レンズ２１を介して入射された光をｎ分割（図２を用いて説明した場合においては、４分割）して、ＣＣＤイメージセンサ２３のｎ個の撮像素子（図２を用いて説明した場合においては、撮像素子２３−１乃至２３−４）に供給する。

ステップＳ２において、タイミングコントローラ２４は、基準同期信号発生部２６から供給される、ｍＨｚの基準同期信号を基に、ｎ個の撮像素子による画像データ取得のタイミング信号、すなわち、それぞれ、１／（ｎ×ｍ）秒ずつ遅延させた（ｎ−１）の遅延信号を発生し、ＣＣＤイメージセンサ２３のｎ個の撮像素子に供給する。

ステップＳ３において、ＣＣＤイメージセンサ２３は、タイミングコントローラ２４から供給されたタイミング信号に基づいて、ｎ個の撮像素子を用いて、（ｍ×ｎ）Ｈｚのフレームレートの画像データを取得する。

ステップＳ４において、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部２９、および、コーデック処理部３０は、ＣＣＤイメージセンサ２３によって取得された（ｍ×ｎ）Ｈｚのフレームレートの画像データに対して、画像処理を行う。

ステップＳ５において、メモリ３１は、処理された画像の供給を受けて記憶し、処理が終了される。

このような処理により、ｎ個の撮像素子を用いて、（ｍ×ｎ）Ｈｚのフレームレートの画像データが取得されて記憶される。（ｍ×ｎ）Ｈｚのフレームレートの画像データは、１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データとして、メモリ３１に記憶されるようにしてもよい。

次に、このようにして取得された（ｍ×ｎ）Ｈｚのフレームレートの画像データの表示方法について説明する。

図９は、本発明を適用した画像信号処理装置５１および画像表示装置５２の構成を示すブロック図である。

画像信号処理装置５１には、（ｍ×ｎ）Ｈｚのフレームレートの画像データを構成する１／ｎずつ位相がずれた、それぞれｍＨｚのｎ系列の動画像データが、個別に供給され、メモリ６１のフレームメモリ６１−１乃至フレームメモリ６１−ｎに供給されて保持される。

コントローラ６２は、操作入力部６３から入力されるユーザの操作入力にしたがって、基準同期信号発生部６４から供給されるｍＨｚの基準同期信号を基に、フレームメモリ６１−１乃至６１−ｎからの映像信号の出力を制御するとともに、フレームメモリ６１−１乃至６１−ｎからの映像信号の出力に関する情報を、表示制御部６６に供給する。操作入力部６３は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ６２に供給する。基準同期信号発生部６４は、コントローラ６２がメモリ６１の複数のフレームメモリ６１−１乃至６１−ｎを制御するための基準となる同期信号を発生し、コントローラ６２に供給する。

メモリ６１のフレームメモリ６１−１乃至６１−ｎは、コントローラ６２の制御に基づいて、供給されたデジタルの画像信号Ｓ１乃至Ｓ４を、Ｄ／Ａ変換部６５−１乃至６５−ｎに出力する。

Ｄ／Ａ変換部６５−１乃至６５−ｎは、フレームメモリ６１−１乃至６１−ｎから供給されたデジタルの画像信号Ｓ１乃至Ｓ４を、アナログの画像信号に変換し、画像表示装置５２の走査制御部８１−１乃至８１−ｎに供給する。表示制御部６６は、コントローラ６２から供給された情報を基に、画像表示装置５２による動画像の表示を制御し、（ｍ×ｎ）Ｈｚのフレームレートのフレーム画像を表示させる。

また、コントローラ６２には、必要に応じてドライブ６７が接続され、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、もしくは、半導体メモリ７４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ６２に実行される。

図１０乃至図１３を用いて、コントローラ６２の制御に基づいて、フレームメモリ６１−１乃至６１−ｎから読み出される画像データのタイミングについて説明する。

図１０を用いて、ｎ＝２である場合の、フレームメモリ６１−１乃至６１−ｎから読み出される画像データのタイミングについて説明する。

コントローラ６２は、フレームメモリ６１−１および６１−２を制御して、フレームメモリ６１−１から、フレームレートｍのαフレームを出力映像信号Ｓ１としてＡ／Ｄ変換部６５−１に供給させ、フレームメモリ６１−２から、フレームレートｍのα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／２ｍだけ遅らせた供給開始時刻ｂで、Ａ／Ｄ変換部６５−２に供給させる。

αフレームのＡ／Ｄ変換部６５−１への供給にかかる時間は、１／ｍとなり、供給終了時刻ｃは、α＋１フレームのＡ／Ｄ変換部６５−２への供給開始時刻ｂから、１／２ｍだけ後になる。そして、時刻ｃからα＋２フレームがフレームメモリ６１−１からＡ／Ｄ変換部６５−１へ、時間１／ｍだけかけて供給される。すなわち、α＋２フレームの供給終了時刻ｅは、２／ｍである。また、α＋１フレームのＡ／Ｄ変換部６５−２への供給にかかる時間は、１／ｍとなり、供給終了時刻ｄは、α＋２フレームのＡ／Ｄ変換部６５−２への供給開始時刻ｃから、１／２ｍだけ後になる。そして、時刻ｄからα＋３フレームがフレームメモリ６１−２からＡ／Ｄ変換部６５−２へ、時間１／ｍだけかけて供給される。すなわち、α＋３フレームの供給終了時刻ｆは、５／２ｍである。

次に、図１１を用いて、ｎ＝３である場合の、フレームメモリ６１−１乃至６１−ｎから読み出される画像データのタイミングについて説明する。

コントローラ６２は、フレームメモリ６１−１乃至６１−３を制御して、フレームメモリ６１−１から、フレームレートｍのαフレームを出力映像信号Ｓ１としてＡ／Ｄ変換部６５−１に供給させ、フレームメモリ６１−２から、フレームレートｍのα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／３ｍだけ遅らせた供給開始時刻ｂで、Ａ／Ｄ変換部６５−２に供給させ、フレームメモリ６１−３から、フレームレートｍのα＋２フレームを、出力映像信号Ｓ３として、α＋１フレームの供給開始時刻ｂよりも、１／３ｍだけ遅らせた供給開始時刻ｃで、Ａ／Ｄ変換部６５−３に供給させる。

αフレームのＡ／Ｄ変換部６５−１への供給にかかる時間は、１／ｍとなり、供給終了時刻ｄは、α＋１フレームのＡ／Ｄ変換部６５−２への供給開始時刻ｂから、２／３ｍだけ後になる。そして、時刻ｄからα＋３フレームがフレームメモリ６１−１からＡ／Ｄ変換部６５−１へ、時間１／ｍだけかけて供給される。すなわち、α＋３フレームの供給終了時刻ｇは、２／ｍである。また、α＋１フレームのＡ／Ｄ変換部６５−２への供給にかかる時間は、１／ｍとなり、供給終了時刻ｅは、α＋２フレームのＡ／Ｄ変換部６５−３への供給開始時刻ｃから、２／３ｍだけ後になる。そして、時刻ｄからα＋４フレームがフレームメモリ６１−２からＡ／Ｄ変換部６５−２へ、時間１／ｍだけかけて供給される。すなわち、α＋４フレームの供給終了時刻ｆは、７／３ｍである。また、α＋２フレームのＡ／Ｄ変換部６５−３への供給にかかる時間は、１／ｍとなり、供給終了時刻ｆは、α＋３フレームのＡ／Ｄ変換部６５−１への供給開始時刻ｄから、２／３ｍだけ後になる。そして、時刻ｆからα＋５フレームがフレームメモリ６１−３からＡ／Ｄ変換部６５−３へ、時間１／ｍだけかけて供給される。すなわち、α＋５フレームの供給終了時刻ｉは、８／３ｍである。

次に、図１２を用いて、ｎ＝４である場合の、フレームメモリ６１−１乃至６１−ｎから読み出される画像データのタイミングについて説明する。

コントローラ６２は、フレームメモリ６１−１乃至６１−４を制御して、フレームメモリ６１−１から、フレームレートｍのαフレームを出力映像信号Ｓ１としてＡ／Ｄ変換部６５−１に供給させ、フレームメモリ６１−２から、フレームレートｍのα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／４ｍだけ遅らせた供給開始時刻ｂで、Ａ／Ｄ変換部６５−２に供給させ、フレームメモリ６１−３から、フレームレートｍのα＋２フレームを、出力映像信号Ｓ３として、α＋１フレームの供給開始時刻ｂよりも、１／４ｍだけ遅らせた供給開始時刻ｃで、Ａ／Ｄ変換部６５−３に供給させ、フレームメモリ６１−４から、フレームレートｍのα＋３フレームを、出力映像信号Ｓ４として、α＋２フレームの供給開始時刻ｃよりも、１／４ｍだけ遅らせた供給開始時刻ｄで、Ａ／Ｄ変換部６５−４に供給させる。

αフレームのＡ／Ｄ変換部６５−１への供給にかかる時間は、１／ｍとなり、供給終了時刻ｅは、α＋１フレームのＡ／Ｄ変換部６５−２への供給開始時刻ｂから、３／４ｍだけ後になる。そして、時刻ｅからα＋４フレームがフレームメモリ６１−１からＡ／Ｄ変換部６５−１へ、時間１／ｍだけかけて供給される。すなわち、α＋４フレームの供給終了時刻ｉは、２／ｍである。また、α＋１フレームのＡ／Ｄ変換部６５−２への供給にかかる時間は、１／ｍとなり、供給終了時刻ｆは、α＋２フレームのＡ／Ｄ変換部６５−３への供給開始時刻ｃから、３／４ｍだけ後になる。そして、時刻ｆからα＋５フレームがフレームメモリ６１−２からＡ／Ｄ変換部６５−２へ、時間１／ｍだけかけて供給される。すなわち、α＋５フレームの供給終了時刻ｊは、９／４ｍである。

また、α＋２フレームのＡ／Ｄ変換部６５−３への供給にかかる時間は、１／ｍとなり、供給終了時刻ｇは、α＋３フレームのＡ／Ｄ変換部６５−４への供給開始時刻ｄから、３／４ｍだけ後になる。そして、時刻ｆからα＋６フレームがフレームメモリ６１−３からＡ／Ｄ変換部６５−３へ、時間１／ｍだけかけて供給される。すなわち、α＋６フレームの供給終了時刻ｉは、５／２ｍである。そして、α＋３フレームのＡ／Ｄ変換部６５−４への供給にかかる時間は、１／ｍとなり、供給終了時刻ｈは、α＋４フレームのＡ／Ｄ変換部６５−１への供給開始時刻ｅから、３／４ｍだけ後になる。そして、時刻ｈからα＋７フレームがフレームメモリ６１−４からＡ／Ｄ変換部６５−４へ、時間１／ｍだけかけて供給される。すなわち、α＋７フレームの供給終了時刻ｌは、１１／４ｍである。

次に、図１３を用いて、ｎ＝５である場合の、フレームメモリ６１−１乃至６１−ｎから読み出される画像データのタイミングについて説明する。

コントローラ６２は、フレームメモリ６１−１乃至６１−５を制御して、フレームメモリ６１−１から、フレームレートｍのαフレームを出力映像信号Ｓ１としてＡ／Ｄ変換部６５−１に供給させ、フレームメモリ６１−２から、フレームレートｍのα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／５ｍだけ遅らせた供給開始時刻ｂで、Ａ／Ｄ変換部６５−２に供給させ、フレームメモリ６１−３から、フレームレートｍのα＋２フレームを、出力映像信号Ｓ３として、α＋１フレームの供給開始時刻ｂよりも、１／５ｍだけ遅らせた供給開始時刻ｃで、Ａ／Ｄ変換部６５−３に供給させ、フレームメモリ６１−４から、フレームレートｍのα＋３フレームを、出力映像信号Ｓ４として、α＋２フレームの供給開始時刻ｃよりも、１／５ｍだけ遅らせた供給開始時刻ｄで、Ａ／Ｄ変換部６５−４に供給させ、フレームメモリ６１−５から、フレームレートｍのα＋４フレームを、出力映像信号Ｓ５として、α＋３フレームの供給開始時刻ｄよりも、１／５ｍだけ遅らせた供給開始時刻ｅで、Ａ／Ｄ変換部６５−５に供給させる。

αフレームのＡ／Ｄ変換部６５−１への供給にかかる時間は、１／ｍとなり、供給終了時刻ｆは、α＋１フレームのＡ／Ｄ変換部６５−２への供給開始時刻ｂから、４／５ｍだけ後になる。そして、時刻ｆからα＋５フレームがフレームメモリ６１−１からＡ／Ｄ変換部６５−１へ、時間１／ｍだけかけて供給される。すなわち、α＋５フレームの供給終了時刻ｆは、２／ｍである。また、α＋１フレームのＡ／Ｄ変換部６５−２への供給にかかる時間は、１／ｍとなり、供給終了時刻ｇは、α＋２フレームのＡ／Ｄ変換部６５−３への供給開始時刻ｃから、４／５ｍだけ後になる。そして、時刻ｇからα＋６フレームがフレームメモリ６１−２からＡ／Ｄ変換部６５−２へ、時間１／ｍだけかけて供給される。すなわち、α＋５フレームの供給終了時刻ｌは、１１／５ｍである。

また、α＋２フレームのＡ／Ｄ変換部６５−３への供給にかかる時間は、１／ｍとなり、供給終了時刻ｈは、α＋３フレームのＡ／Ｄ変換部６５−４への供給開始時刻ｄから、４／５ｍだけ後になる。そして、時刻ｈから次のフレーム（図示していないがα＋７フレーム）がフレームメモリ６１−３からＡ／Ｄ変換部６５−３へ、時間１／ｍだけかけて供給される。そして、α＋３フレームのＡ／Ｄ変換部６５−４への供給にかかる時間は、１／ｍとなり、供給終了時刻ｉは、α＋４フレームのＡ／Ｄ変換部６５−５への供給開始時刻ｅから、４／５ｍだけ後になる。そして、時刻ｉから次のフレーム（図示していないがα＋８フレーム）がフレームメモリ６１−４からＡ／Ｄ変換部６５−４へ、時間１／ｍだけかけて供給される。そして、α＋４フレームのＡ／Ｄ変換部６５−５への供給にかかる時間は、１／ｍとなり、供給終了時刻ｊは、α＋５フレームのＡ／Ｄ変換部６５−１への供給開始時刻ｆから、４／５ｍだけ後になる。そして、時刻ｊから次のフレーム（図示していないがα＋９フレーム）がフレームメモリ６１−５からＡ／Ｄ変換部６５−５へ、時間１／ｍだけかけて供給される。

再び、図９に戻り、画像表示装置５２について説明する。

画像表示装置５２は、画像信号処理装置５１から供給された、ｎ系統のアナログ映像信号の供給を受け、表示制御部６６の制御に基づいて、走査制御部８１−１乃至８１−ｎを用いて、表示部８２に、（ｍ×ｎ）Ｈｚの動画像を表示する。

走査制御部８１−１乃至８１−ｎは、アナログ映像信号の供給を受け、供給されたアナログの映像信号を、点順次、または、線順次走査方式によって表示部８２に表示させる。このとき、走査制御部８１−１乃至８１−ｎは、連続したフレームを、１／ｎフレームずらして交互に走査することにより、走査制御部８１−１乃至８１−ｎにおける単独での画像描画のフレームレートのｎ倍のフレームレートで、表示部８２への画像表示を行うことができる。

また、画像表示装置５２は、一つの装置として構成される以外にも、複数の装置により構成される画像表示システムとして構成するようにしても良い。画像表示装置５２が画像表示システムとして構成される場合、例えば、図１４に示されるように、プロジェクタ９１−１乃至プロジェクタ９１−ｎ、および、スクリーン９２により構成することができる。

画像表示装置５２の具体的な動作について、図１４に示されるプロジェクタ９１−１乃至プロジェクタ９１−ｎ、および、スクリーン９２を用いた場合を例として説明する。プロジェクタ９１−１は、図９の走査制御部８１−１に対応し、プロジェクタ９１−ｎは、図９の走査制御部８１−ｎに対応し、スクリーン９２は、図９の表示部８２に対応する。

例えば、プロジェクタ９１−１乃至プロジェクタ９１−ｎは、図１０乃至図１３を用いて説明したタイミングでフレームメモリ６１−１乃至６１−ｎから読み出され、Ａ／Ｄ変換部６５でアナログ信号に変換された、出力映像信号Ｓ１乃至Ｓｎに対応するアナログ映像信号の供給を受ける。

プロジェクタ９１−１乃至プロジェクタ９１−ｎは、それぞれ、表示制御部６６の制御に基づいたタイミングで、表示される表示画像を構成する画素（Ｘ，Ｙ）＝（０，０）から、画素（Ｘ，Ｙ）＝（ｐ，ｑ）を、スクリーン９２に水平方向に走査することにより、供給された映像信号に対応するフレーム画像を表示する。プロジェクタ９１−１乃至プロジェクタ９１−ｎの１つ１つがスクリーン９２に表示させるフレーム画像のそれぞれのフレームレートは、ｍＨｚであり、プロジェクタ９１−１乃至プロジェクタ９１−ｎによって表示される動画像のフレームレートは（ｍ×ｎ）Ｈｚである。また、プロジェクタ９１−１乃至プロジェクタ９１−ｎによって表示される各フレームの走査開始タイミングは、図１０乃至図１３を用いて説明した出力映像信号Ｓ１乃至出力映像信号Ｓｎにおける場合と同様に、プロジェクタ９１−１乃至プロジェクタ９１−ｎによる、それぞれの１フレームの表示に対して、１／ｎ位相、すなわち、１／（ｍ×ｎ）だけずれている。

例えば、プロジェクタ９１−２が、スクリーン９２上の走査Ｂで示されるラインに、α＋１フレームの対応するラインを走査しているとき、プロジェクタ９１−３は、スクリーン９２上の走査Ａで示されるラインに、α＋２フレームの対応するラインを走査している。走査Ｂで示されるラインは、走査Ａで示されるラインから、１フレームのライン数の１／ｎだけずれたラインである。すなわち、スクリーン９２に表示される動画像は、時間１／（ｍ×ｎ）ごとに、走査Ａおよび走査Ｂを含む複数の走査によって、順次書き換えられる。

例えば、ｎ＝２であり、プロジェクタ９１−１およびプロジェクタ９１−２において出力される表示画像のフレームレートが、それぞれ、１２０Ｈｚであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、２４０Ｈｚとなる。また、例えば、ｎ＝３であり、プロジェクタ９１−１乃至プロジェクタ９１−３において出力される表示画像のフレームレートが、それぞれ、８０Ｈｚであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、２４０Ｈｚとなる。例えば、ｎ＝４であり、プロジェクタ９１−１乃至プロジェクタ９１−４において出力される表示画像のフレームレートが、それぞれ、６０Ｈｚであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、２４０Ｈｚとなる。更に、例えば、ｎ＝５であり、プロジェクタ９１−１乃至プロジェクタ９１−５において出力される表示画像のフレームレートが、それぞれ、５０Ｈｚであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、２５０Ｈｚとなる。

なお、図１４に示される走査Ａと走査Ｂなどの複数の走査線による同一位置の走査ラインのずれが発生しないようにするために、従来の、いわゆるツインスタック技術において用いられる光学的な画像の位置補正と同様の技術を用いて、画素の走査位置を補正することが可能である。ツインスタック技術とは、プロジェクタを２台使用して、同時に同一の画像を同一位置に表示することにより、明るい画像を表示することができる技術である。ツインスタックを用いて画像を表示する場合には、表示される画像の輝度が２倍となり、周囲の環境が明るい場合や、投影距離が長い場合にも鮮明な投影が可能となる。

ツインスタック技術を用いた場合、投影される２つの画像の画素位置のずれによる画像のボケの発生が問題となっていたが、この問題を解決するために、光学的に投影される画素の画素位置を微調整することができる、いわゆるピクチャーシフト機能が広く用いられており、２台のプロジェクタから投影される画像の位置を厳密に合わせることが可能である。この技術は、複数台のプロジェクタを用いた場合においても適用可能である。

なお、投影される２つの画像の画素位置のずれを補正するための技術は、例えば、特願平１０−０５８２９１などに開示されている。

画像表示装置５２においては、複数の走査による走査ラインのずれが、１画素（１ドット、または１ピクセル）以内となるように調整することにより、１フレームずれた画像との重なりにより、画像がぼやけてしまうことなく、動画像を表示することが可能となる。

上述したように、プロジェクタ９１−１乃至プロジェクタ９１−ｎにより、１／ｎフレームずらして、１フレームずつ順番に、フレーム画像が描画されるようになされた場合、あるプロジェクタによって、１フレームが完全に走査されて描画されるよりも早く、他のプロジェクタによって、次のフレームの画像の描画のための走査が開始される。このとき、図１４のスクリーン９２に表示される物体Ｃが、例えば、表示画面上で、左から右に移動するように表示される場合、動画像を観測するユーザにとっては、エッジ部分の移動の滑らかさが、表示される動画の滑らかさとして感じられる。

スクリーン９２に表示される物体Ｃのエッジ部分βの表示について、図１５を用いて説明する。

プロジェクタ９１−１により、αフレームの物体Ｃが表示され、時間１／（ｍ×ｎ）後に、プロジェクタ９１−２により、α＋１フレームの物体Ｃが表示される。このときの、物体Ｃのエッジ部分βの位置は、αフレームの表示から、時間１／（ｍ×ｎ）で書き換えられる。そして、プロジェクタ９１−３（ｎ＝２であるときは、プロジェクタ９１−２）により、時間１／（ｍ×ｎ）後に、α＋２フレームの物体Ｃが表示される。このときの、物体Ｃのエッジ部分βは、α＋１フレームの表示から、時間１／（ｍ×ｎ）で書き換えられる。

例えば、プロジェクタ９１−１乃至プロジェクタ９１−ｎにおいて出力される表示画像のフレームレートが、それぞれ、ｍＨｚである場合、プロジェクタ９１−１乃至プロジェクタ９１−ｎのうちのいずれかが単独で表示した動画像においては、フレームが１／ｍ（秒）ごとに書き換えられる。それに対して、プロジェクタ９１−１乃至プロジェクタ９１−ｎを用いて、１フレームずつ順番にフレーム画像を表示することによってスクリーン９２に表示される物体Ｃのエッジ部分βは、１／（ｍ×ｎ）（秒）でリフレッシュされる。したがって、ユーザにより観測される物体Ｃのエッジ部分βの動きは、非常に滑らかになる。

ここでは、画像表示装置５２は、表示制御部６６の制御を受けて、画像の表示を制御するものとして説明しているが、画像表示装置５２は、表示制御部６６を内部に有し（すなわち、画像表示装置５２と表示制御部６６とで１つの装置を構成し）、コントローラ６２から、画像表示に必要な制御信号の供給を受けるようにしたり、内部に表示制御部６６とは異なる制御部を備え、表示制御部６６から、垂直同期信号や、ドットクロック信号などの供給を受けて、例えば、図１４を用いて説明したプロジェクタ９１−１乃至プロジェクタ９１−ｎの動作を制御するようにしても良い。

また、ここでは、画像表示装置５２の動作について、プロジェクタ９１−１乃至プロジェクタ９１−ｎ、および、スクリーン９２で構成された投影表示システムを例として説明したが、画像表示装置５２は、複数の表示デバイスを用いて、１／ｎフレームずらして、連続したフレームを順次走査させるようにすることにより、それぞれの表示デバイスの単独でのフレームレートｍＨｚのｎ倍のフレームレートで、動画像の表示を行うことができるものであれば、点順次、または、線順次走査方式によって、画像の描画を行ういかなる表示システムを用いるようにしても良い。

画像表示装置５２には、例えば、ＣＲＴ（Cathode Ray Tube），ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ），ＧＬＶ（Grating Light Valve），ＬＥＤ（Light Emitting Diode：発光ダイオード），ＦＥＤ（Field Emission Display）の直視型のディスプレイ、または、プロジェクタなどであって、点順次、または、線順次走査方式によって、画像の描画を行うものを用いることができる。

例えば、ＧＬＶとは、光の回折効果を利用して光の向きや色などを制御する投影デバイスである、マイクロリボンアレイを使用した画像表示技術である。マイクロリボンアレイとは、極小の光回折素子を１列に並べたもので、ＧＬＶでは、これにレーザ光を当てることで、画像の投影を行う。リボンは、電気信号により独立して駆動することができ、駆動量を調節することで光回折量を変化させ、各リボンの差異により画像の明暗を作り出すことができるので、滑らかな階調表現と高コントラストを実現することができる。

ＬＥＤは、２種類の半導体が接合されて生成される素子で、電流を加えることにより、発光することができるものである。

ＦＥＤは、陰極から電子を取り出して、陽極に塗布した蛍光体に衝突させて発光させるという、ＣＲＴと同様の発光原理により、画像を得ることができるものである。 ただし、陰極の構造として、ＣＲＴは点電子源を用いるのに対して、ＦＥＤは面状の電子源を用いる。

ところで、動画には、静止画では発生しない動画特有の画質劣化が存在する。現状最も広く用いられている５０Ｈｚ（ＰＡＬ：Phase Alternating Line）や６０Ｈｚ（ＮＴＳＣ：National Television System CommitteeやＨＤ（High Definitions）映像信号）のディスプレイでは、時間方向の再現が不完全であり、特定の条件下においてこの時間方向での不完全性が空間方向での不完全性に変換されるために、例えば、動画像データ取得時のシャッタ時間、動画像データ表示時の表示素子発光時間、および、人の視線条件によって、動画質の劣化が発生してしまう。

図１６に、動くものと固定しているものが共存するような現実のシーンの例を示す。このシーンは車が右方向に移動し、樹木は地面に固定されていることを想定している。図１６のシーンを観察した場合の観察者の見えを図１７および図１８に示す。

図１７は観察者が樹木を注視していた場合の観察者からの映像の見えを示す図である。この場合、右方向に移動する車は、観察者からはぼけて見える。一方、図１８は車に注視していた場合の観察者からの映像の見えを示す図である。この場合、固定している樹木は、観察者からはぼけて見える。

以下、観察面座標上での固定物に視線を固定している場合を固定視条件、観察面座標上での移動物に視線を追従している場合を追従視条件とする。すなわち、図１７を用いて説明した場合が固定視条件、図１８用いて説明した場合が追従視条件となる。固定視条件、追従視条件とも、注視しているものはクリアに見える。一方、注視している物体と相対位置が変化する物体はぼけて見える。

この原因は、人が網膜に入射された光をある時間内であるならば積分する作用を視覚特性として持つためである。眼の網膜座標上で移動する物体は、その位置変化が時間方向に積分されるため、結果的にぼけた映像として知覚される。このぼけは、網膜座標上での移動速度に比例して大きくなる。網膜座標上の移動速度とは、実際の物体の速度ではなく、角速度(deg/sec)に相当する。

以上のように、網膜座標上で静止している物体はクリアに見え、網膜座標上で移動する物体はぼけて見える。この実際の見えと一致する映像を再現することが、リアリティのある動画像、すなわち、滑らかに動いているように見える画質のよい動画像を表示するためには重要である。

図１９を用いて、図１７および図１８を用いて説明した観察者の見えの違いについて説明する。図１９上部は外界での実際の動きを示している。縦軸は時間軸、横軸は水平方向であり、外界上にて固定ドット（図１６乃至図１８における樹木に対応し、図中ｘで示す）と一定速度で移動するドット（図１６乃至図１８における車に対応し、図中ｙで示す）が存在するシーンでの各ドットの時間毎の位置を示す。図１９下部は、この外界の動きを観察したときの固定視および追従視での見えを示している。点線で示された矢印が、観察者の視点の動き、つまり網膜上での映像の積分方向を示す。垂直方向の軸が固定視、斜め方向の軸が追従視での積分方向である。すなわち、観察者が追従視をしている場合、固定ドット（樹木）はぼけて見えるが、移動するドット（車）はクリアに見える。一方、観察者が固定視をしている場合、固定ドット（樹木）はクリアに見えるが、移動するドット（車）はボケて見える。

次に、図２０を用いて、図１６で示した外界の動きを固定撮影し、動画像として再生表示した場合の観察者の見えについて、撮影条件、表示条件、観察条件ごとに説明する。図２０上部は、動画像表示の時間変化を示す。図２０下部に、固定視、追従視での視線の動き方向、つまり積分軸方向に沿って動画像表示された光を積分した結果を観察者の見えとして示す。

図２０Ａは、撮影条件がオープンシャッタ方式で、表示がパルスタイプである場合、図２０Ｂは、撮影条件がオープンシャッタ方式で、表示がホールドタイプである場合、図２０Ｃは、撮影条件が高速シャッタ方式で、表示がパルスタイプである場合、図２０Ｄは、撮影条件が高速シャッタ方式で、表示がホールドタイプである場合の、観察者の見えを示す。

図２０Ａ乃至図２０Ｄより、発生する動画質劣化は各条件によって異なることがわかる。例えば、図２０Ａおよび図２０Ｃの追従視での移動物の見えと比較して、図２０Ｂおよび図２０Ｄの追従視での移動物がぼけて見えてしまうのは、発光条件がホールド型であるディスプレイ特有の「動きぼけ」と呼ばれる現象である。「動きぼけ」は、注視しているものがぼけてしまうため、観察者にとって、わかりやすい劣化である。

それ以外にも、図２０Ｄの固定視でのストロボ妨害、図２０Ａおよび図２０Ｃの追従視でのストロボ妨害などの劣化が生じている。ストロボ障害とは、図２１に示されるように、ディスプレイ上の固定物（例えば、樹木）に固定視を行った場合に、移動物（例えば、車）が、多重像に見える、または、スムーズではない離散的な動きが見えるといった動画質劣化のことである。このように、固定視での移動物、追従視での固定物に発生するストロボ妨害は、注視している対象ではない部分で発生する劣化である場合が多く、「動きぼけ」と比較してあまり目立たないことも多い。だが、視線の追従が完全に行われていない場合は、注視を行いたい対象物と視線の関係は、固定視での移動物、または追従視での固定物と同じ関係になる。この場合のストロボ妨害は注視している対象物において発生するため、非常に目立つ劣化となる。この現象は、動きが速く、次の動きが予測しにくい映像ソース、例えば、スポーツ中継、アクション映画等において目立ってしまう。映画などにおける動画像の撮像では、このような動画質劣化を防止するために、例えば、移動物を撮影する場合はカメラで追従して撮影し、表示画面上では固定物状態にすることや、ストロボ妨害を抑制するためにmotion blurと呼ばれるぼけを加味するといった手法を用いる。しかしながら、これらの手法による制限は、表現手段を狭めている結果にもなっている。また、スポーツなどでは、注目したい被写体の動きの予想ができないため、これらの手段は使えない。

このような動画質劣化は移動物の角速度に応じて増加する。したがって、同じ映像シーンであっても、より視野角の大きいディスプレイに動画像が表示された場合において動画質が顕著に劣化する。また、高解像度化を行っても本章で述べた動画質劣化はほとんど改善されない。むしろ、高解像度化により静止画質がより向上してしまうために、動画質劣化が目立ってしまう。今後、ディスプレイが大画面化、高精細化されるのにともなって、これらの動画質劣化が大きな問題となることが予想される。

動画質劣化の原因は時間再現性の欠如である。したがって、時間再現性を向上することが根本的な解決となる。すなわち、その解決手段としては、撮影、表示ともフレームレートを高くすることが有効な手段となる。

図２０を用いて説明した場合の動画像データを、２倍のフレームレートで撮影し、２倍のフレームレートで表示を行った場合の動画質劣化の改善を図２２に示す。

図２２Ａは、撮影条件がオープンシャッタ方式で、表示がパルスタイプである場合、図２２Ｂは、撮影条件がオープンシャッタ方式で、表示がホールドタイプである場合、図２２Ｃは、撮影条件が高速シャッタ方式で、表示がパルスタイプである場合、図２２Ｄは、撮影条件が高速シャッタ方式で、表示がホールドタイプである場合、それぞれ、図２０を用いて説明した場合の２倍のフレームレートで表示された動画像に対する、観察者の見えを示す。

図２２Ａ乃至図２２Ｄに示されるように、表示画像の見えのぼけ妨害に関して、それぞれの撮像および表示方法において、ぼけ量は半分となっている。また、ストロボ妨害に関しても、ストロボ的な離散数が倍増するため、画像劣化が改善される。すなわち、ぼけ妨害およびストロボ妨害は、フレームレートの増加に対し、リニアに改善されることが示される。また、フレームレートを増加した場合、シャッタ時間、発光時間による動画質劣化の質の違いも小さくなっている。すなわち、動画質を改善するためには、高フレームレート化が、非常に有効な手段であるといえる。

次に、オープンシャッタで撮影された動画像の表示について、追従視の条件において、ジャーキネス、動きぼけに着目した動画質の評価を、視覚心理物理実験により調査した。

ジャーキネスに着目した評価結果を図２３に、動きぼけに着目した評価結果を図２４に示す。この評価においては、動画像として、例えば、自然動画、ＣＧの動き、オープンシャッタで撮影された映像など、さまざまなものが用意された。また、評価ポイントは、劣化尺度については、「劣化がわからない」が評価５、「劣化は分かるが気にならない」が評価４、「劣化は分かるが邪魔にならない」が評価３、「劣化が邪魔になる」が評価２、「劣化が非常に邪魔になる」が評価１とされ、評価尺度については、「非常によい」が評価５、「よい」が評価４、「普通」が評価３、「悪い」が評価２、「非常に悪い」が評価１とされた。この実験においては、一般的な動画質の評価について調査するために充分な人数の被験者により評価が実行されている。そして、図２３および図２４においては、全てのシーンおよび被験者の平均と、標準偏差がプロットされている。

図２３に示されるジャーキネスに比較して、図２４に示される動きぼけの評価値の変化が大きく、また両者に共通して、フレームレートが大きくなるにともなって、動画質の評価値も大きくなる傾向が見られる。特に動きぼけに関して、２５０fps近辺で、知覚限である評価値４．５近辺に達し、更に高いフレームレートでは、評価値は４．５以上で平らな値を示す屈曲型の傾向を示した。また、ジャーキネスに関しても、２５０fps近辺で、知覚限である評価値４．５近辺に達し、更に高いフレームレートでは、評価値は４．５以上で、略平らな値を示す屈曲型の傾向を示した。

このように、特に顕著な動画質劣化を示す追従視における動きぼけは、２５０fps近辺のフレームレートにより十分解決されること、すなわち、２５０fps近辺が、現在広く用いられている映像リソースの有効性を考慮した場合の理想周波数であることを示唆するものである。具体的には、現在広く用いられている映像リソースは、上述したように５０Ｈｚ，６０Ｈｚのものが多いので、その整数倍の周波数である２４０Ｈｚや２５０Ｈｚが、映像リソースの有効性を考慮した場合の理想周波数であることを示唆するものである。

次に、図２５のフローチャートを参照して、図９の画像信号処理装置５１および画像表示装置５２を用いた場合の画像表示処理１について説明する。

ステップＳ２１において、コントローラ６２は、メモリ６１のフレームメモリ６１−１乃至フレームメモリ６１−ｎから、例えば、図１０乃至図１３を用いて説明した所定のタイミングでフレーム画像データを読み出させて、Ｄ／Ａ変換部６５−１乃至Ｄ／Ａ変換部６５−ｎに供給する。

ステップＳ２２において、Ｄ／Ａ変換部６５−１乃至Ｄ／Ａ変換部６５−ｎは、供給されたフレーム画像データにＤ／Ａ変換を施して、走査制御部８１−１乃至走査制御部８１−ｎに供給する。

ステップＳ２３において、走査制御部８１−１乃至走査制御部８１−ｎは、表示制御部６６の制御に基づいて、例えば、図１０乃至図１３を用いて説明した出力映像信号に対応する所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。

このような処理により、ｎ分割された、それぞれはｍＨｚのフレームレートを有する動画像データが、ｎ個の操作制御部８１−１乃至走査制御部８１−ｎにより（ｎ×ｍ）Ｈｚの動画像データとして表示される。

以上においては、ｎ分割されたそれぞれｍＨｚのフレーム画像データを表示画面の走査線数の１／ｎづつずらして走査させることにより、（ｎ×ｍ）Ｈｚの動画像を表示する場合について説明したが、ｎ分割されたそれぞれｍＨｚのフレーム画像データを、ｎより少ない数に合成した後、表示するようにしてもよい。

すなわち、それぞれのフレーム画像データの撮像時のシャッタオープンの時間が、１／ｓ×ｍより短い場合、次に、ｎ分割されたそれぞれｍＨｚのフレーム画像データをｎ／ｓ系列のフレーム画像データに変換した後、ｎ／ｓ個の操作制御部８１を用いて表示させるようにしても、動画像データがぼけることはない。

図２６は、本発明を適用した画像信号処理装置１０１および画像表示装置５２の構成を示すブロック図である。図２６においては、ｎ＝４、ｓ＝２の場合について説明する。

なお、図９における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

画像信号処理装置１０１には、（ｍ×ｎ）Ｈｚのフレームレートの画像データを構成する１／ｎずつ位相がずれた、それぞれｍＨｚの４系列の動画像データが、個別に供給され、メモリ６１のうちのフレームメモリ６１−１乃至フレームメモリ６１−４に供給されて保持される。

コントローラ１１１は、操作入力部６３から入力されるユーザの操作入力にしたがって、基準同期信号発生部６４から供給されるｍＨｚの基準同期信号を基に、フレームメモリ６１−１乃至６１−４からの映像信号の出力を制御するとともに、フレームメモリ６１−１乃至６１−４からの映像信号の出力に関する情報を、表示制御部６６に供給する。操作入力部６３は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ１１１に供給する。基準同期信号発生部６４は、コントローラ１１１がメモリ６１の複数のフレームメモリ６１−１乃至６１−４を制御するための基準となる同期信号を発生し、コントローラ１１１に供給する。

メモリ６１のフレームメモリ６１−１およびフレームメモリ６１−２は、コントローラ１１１の制御に基づいて、供給されたデジタルの画像信号Ｓ１およびＳ２を、信号処理部１１２−１に供給する。メモリ６１のフレームメモリ６１−３およびフレームメモリ６１−４は、コントローラ１１１の制御に基づいて、供給されたデジタルの画像信号Ｓ３およびＳ４を、信号処理部１１２−２に供給する。信号処理部１１２−１および信号処理部１１２−２は、供給された画像信号を合成し、合成された画像信号Ｓ５およびＳ６を、Ｄ／Ａ変換部６５−１およびＤ／Ａ変換部６５−２に出力する。信号処理部１１２−１および信号処理部１１２−２が実行する信号の合成の詳細については、図２７を用いて後述する。

Ｄ／Ａ変換部６５−１およびＤ／Ａ変換部６５−２は、信号処理部１１２−１および信号処理部１１２−２から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置５２の走査制御部８１−１および走査制御部８１−２に供給する。表示制御部６６は、コントローラ１１１から供給された情報を基に、画像表示装置５２による動画像の表示を制御し、（ｍ×ｎ）Ｈｚのフレームレートのフレーム画像を表示させる。

ここで、走査制御部８１−１および走査制御部８１−２に供給される動画像データのフレームレートは、それぞれ２ｍＨｚである。走査制御部８１−１および走査制御部８１−２がフレームレート２ｍＨｚの動画像データを、供給されたフレーム画像データが有する画素数で表示する機能（データ処理や、走査速度などの機能）を有していなかった場合、信号処理部１１２−１および信号処理部１１２−２は、走査制御部８１−１および走査制御部８１−２により表示可能なように、合成されて出力される画像信号Ｓ５およびＳ６に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。

また、コントローラ１１１には、必要に応じてドライブ６７が接続され、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、もしくは、半導体メモリ７４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ１１１に実行される。

図２７を用いて、ｎ＝４、Ｓ＝２である場合の、フレームメモリ６１−１乃至６１−４から読み出される画像データのタイミング、および、信号処理部１１２−１および信号処理部１１２−２が実行する信号の合成について説明する。

コントローラ１１１は、フレームメモリ６１−１および６１−２を制御して、フレームメモリ６１−１から、フレームレートｍで、シャッタスピード１／２ｍ以下のαフレームを出力映像信号Ｓ１として信号処理部１１２−１に供給させ、フレームメモリ６１−２から、フレームレートｍで、シャッタスピード１／２ｍ以下のα＋２フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／２ｍだけ遅らせた供給開始時刻ｂで、信号処理部１１２−１に供給させる。コントローラ１１１は、それ以降、１／２ｍづつずらして、フレームメモリ６１−１および６１−２から、出力信号Ｓ１または出力信号Ｓ２を交互に読み出して、信号処理部１１２−１に供給させる。

信号処理部１１２−１は、供給された信号を合成して、αフレームの１／２ｍ後にα＋２フレームが続き、更に、α＋２フレームの１／２ｍ後にα＋４フレームが続く合成信号Ｓ５を生成し、Ａ／Ｄ変換部６５−１に供給する。

コントローラ１１１は、フレームメモリ６１−３および６１−４を制御して、フレームメモリ６１−３から、フレームレートｍで、シャッタスピード１／２ｍ以下のα＋１フレームを出力映像信号Ｓ３として信号処理部１１２−２に供給させ、フレームメモリ６１−２から、フレームレートｍで、シャッタスピード１／２ｍ以下のα＋３フレームを、出力映像信号Ｓ４として、α＋１フレームの供給開始時刻ａよりも、１／２ｍだけ遅らせた供給開始時刻ｂで、信号処理部１１２−２に供給させる。コントローラ１１１は、それ以降、１／２ｍづつずらして、フレームメモリ６１−１および６１−２から、出力信号Ｓ３または出力信号Ｓ４を交互に読み出して、信号処理部１１２−２に供給させる。

信号処理部１１２−２は、供給された信号を合成して、α＋１フレームの１／２ｍ後にα＋３フレームが続き、更に、α＋１フレームの１／２ｍ後にα＋５フレームが続く合成信号Ｓ６を生成し、Ａ／Ｄ変換部６５−２に供給する。

Ａ／Ｄ変換部６５−１およびＡ／Ｄ変換部６５−２は、図１０を用いて説明した出力映像信号Ｓ１および出力映像信号Ｓ２と同様にして、それぞれ、１／２ｍだけずらしたタイミングで、合成信号Ｓ５および合成信号Ｓ６を走査制御部８１−１および走査制御部８１−２に供給する。走査制御部８１−１および走査制御部８１−２は、１フレームのライン数の１／２だけずらして、交互にフレーム画像信号を走査させ、動画像データを表示部８２に表示させる。

例えば、出力信号Ｓ１乃至Ｓ４が、それぞれ、６０Ｈｚである場合、合成信号Ｓ５およびＳ６は、それぞれ、１２０Ｈｚとなる。したがって、走査制御部８１−１および走査制御部８１−２が１２０Ｈｚの動画像データを表示する機能をそれぞれ有していた場合、２４０Ｈｚの動画像データを表示させるようにすることが可能となる。

なお、図２６および図２７においては、ｎ＝４、ｓ＝２の場合について説明したが、ｎまたはｓがそれぞれ異なる値であっても本発明は適用可能であることは言うまでもない。

例えば、ｎ＝４、ｓ＝４の場合について、図２８および図２９を用いて説明する。

図２８は、本発明を適用した画像信号処理装置１２１および画像表示装置５２の構成を示すブロック図である。

なお、図２６における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

画像信号処理装置１２１には、（ｍ×ｎ）Ｈｚのフレームレートの画像データを構成する１／ｎずつ位相がずれた、それぞれｍＨｚの４系列の動画像データが、個別に供給され、メモリ６１のうちのフレームメモリ６１−１乃至フレームメモリ６１−４に供給されて保持される。

コントローラ１３１は、操作入力部６３から入力されるユーザの操作入力にしたがって、基準同期信号発生部６４から供給されるｍＨｚの基準同期信号を基に、フレームメモリ６１−１乃至６１−４からの映像信号の出力を制御するとともに、フレームメモリ６１−１乃至６１−４からの映像信号の出力に関する情報を、表示制御部６６に供給する。操作入力部６３は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ１３１に供給する。基準同期信号発生部６４は、コントローラ１３１がメモリ６１の複数のフレームメモリ６１−１乃至６１−４を制御するための基準となる同期信号を発生し、コントローラ１３１に供給する。

メモリ６１のフレームメモリ６１−１乃至フレームメモリ６１−４は、コントローラ１３１の制御に基づいて、供給されたデジタルの画像信号Ｓ１乃至Ｓ４を、信号処理部１３２に供給する。信号処理部１３２は、供給された画像信号を合成し、合成された画像信号Ｓ５、Ｄ／Ａ変換部６５−１に出力する。信号処理部１３２が実行する信号の合成の詳細については、図２９を用いて後述する。

Ｄ／Ａ変換部６５−１は、信号処理部１３２から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置５２の走査制御部８１−１に供給する。表示制御部６６は、コントローラ１３１から供給された情報を基に、画像表示装置５２による動画像の表示を制御し、（ｍ×ｎ）Ｈｚのフレームレートのフレーム画像を表示させる。

ここで、走査制御部８１−１に供給される動画像データのフレームレートは、それぞれ４ｍＨｚである。走査制御部８１−１がフレームレート４ｍＨｚの動画像データを、供給されたフレーム画像データが有する画素数で表示する機能（データ処理や、走査速度などの機能）を有していなかった場合、信号処理部１３２は、走査制御部８１−１により表示可能なように、合成されて出力される画像信号Ｓ５に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。

また、コントローラ１３１には、必要に応じてドライブ６７が接続され、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、もしくは、半導体メモリ７４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ１３１に実行される。

図２９を用いて、ｎ＝４、Ｓ＝４である場合の、フレームメモリ６１−１乃至６１−４から読み出される画像データのタイミング、および、信号処理部１３２が実行する信号の合成について説明する。

コントローラ１３１は、フレームメモリ６１−１および６１−２を制御して、フレームメモリ６１−１から、フレームレートｍで、シャッタスピード１／４ｍ以下のαフレームを出力映像信号Ｓ１として信号処理部１３２に供給させ、フレームメモリ６１−２から、フレームレートｍで、シャッタスピード１／４ｍ以下のα＋１フレームを、出力映像信号Ｓ２として、αフレームの供給開始時刻ａよりも、１／４ｍだけ遅らせた供給開始時刻ｂで、信号処理部１３２に供給させ、フレームメモリ６１−３から、フレームレートｍで、シャッタスピード１／４ｍ以下のα＋２フレームを出力映像信号Ｓ３として、α＋１フレームの供給開始時刻ａよりも、１／４ｍだけ遅らせた供給開始時刻ｃで、信号処理部１３２に供給させ、フレームメモリ６１−４から、フレームレートｍで、シャッタスピード１／４ｍ以下のα＋３フレームを、出力映像信号Ｓ４として、α＋２フレームの供給開始時刻ａよりも、１／４ｍだけ遅らせた供給開始時刻ｄで、信号処理部１３２に供給させる。コントローラ１１１は、それ以降、１／４ｍづつずらして、フレームメモリ６１−１乃至６１−４から、出力信号Ｓ１乃至出力信号Ｓ４を順次読み出して、信号処理部１３２に供給させる。

信号処理部１１２−１は、供給された信号を合成して、αフレームの１／４ｍ後にα＋１フレームが続き、更に、α＋１フレームの１／４ｍ後にα＋２フレームが続く合成信号Ｓ５を生成し、Ａ／Ｄ変換部６５−１に供給する。

Ａ／Ｄ変換部６５−１は、合成信号Ｓ５を走査制御部８１−１に供給する。走査制御部８１−１は、フレーム画像信号を走査させ、動画像データを表示部８２に表示させる。

例えば、出力信号Ｓ１乃至Ｓ４が、それぞれ、６０Ｈｚである場合、合成信号Ｓ５は、２４０Ｈｚとなる。したがって、走査制御部８１−１が供給されるフレーム画像データの画素数、または走査線数で２４０Ｈｚの動画像データを表示する機能をそれぞれ有していない場合、信号処理部１１２−１が適当な間引き処理や画素数変換（減少）処理を合成信号Ｓ５に対して施すことにより、走査制御部８１−１に２４０Ｈｚの動画像データを表示させるようにすることが可能となる。

また、例えば、ｎ＝５で、出力信号Ｓ１乃至Ｓ５が、それぞれ、５０Ｈｚである場合、合成信号は、２５０Ｈｚとなる。したがって、走査制御部８１−１が供給されるフレーム画像データの画素数、または走査線数で２５０Ｈｚの動画像データを表示する機能をそれぞれ有していない場合、信号処理部１１２−１が適当な間引き処理や画素数変換（減少）処理を合成信号Ｓ５に対して施すことにより、走査制御部８１−１に２５０Ｈｚの動画像データを表示させるようにすることが可能となる。

次に、図３０のフローチャートを参照して、図２６または図２８を用いて説明した画像信号処理装置１０１および画像表示装置５２、または、画像信号処理装置１２１および画像表示装置５２を用いた場合の画像表示処理２について説明する。

ステップＳ４１において、コントローラ１１１またはコントローラ１３１は、メモリ６１のフレームメモリ６１−１乃至フレームメモリ６１−ｎ（図２６または図２８を用いて説明した場合はｎ−４であったが、ｎは４以外の異なる値であってもよいことは言うまでもない）から、例えば、図２７または図２９を用いて説明した所定のタイミングでフレーム画像データを読み出させて、信号処理部１１２−１乃至信号処理部１１２−ｔ（ここで、ｔ＝ｎ／ｓ）または信号処理部１３２に供給する。

ステップＳ４２において、信号処理部１１２−１乃至信号処理部１１２−ｔまたは信号処理部１３２は、図２７または図２９を用いて説明したように、出力信号を合成し、必要に応じて、走査制御部８１−１乃至走査制御部８１−ｔ（ここで、ｔ＝ｎ／ｓ）により表示可能な画像データに変換する処理（例えば、画素数の減少や、走査ラインの間引き処理など）を施して、Ｄ／Ａ変換部６５−１乃至Ｄ／Ａ変換部６５−ｔ（ここで、ｔ＝ｎ／ｓ）に供給する。

ステップＳ４３において、Ｄ／Ａ変換部６５−１乃至Ｄ／Ａ変換部６５−ｔは、供給されたフレーム画像データにＤ／Ａ変換を施して、走査制御部８１−１乃至走査制御部８１−ｔに供給する。

ステップＳ４４において、走査制御部８１−１乃至走査制御部８１−ｔは、表示制御部６６の制御に基づいて、所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。

このような処理により、ｎ分割された動画像データが、ｎ／ｓ系列の動画像データに合成された後、ｎ／ｓ個の操作制御部８１−１乃至走査制御部８１−ｔ（ここで、ｔ＝ｎ／ｓ）により（ｎ×ｍ）Ｈｚの動画像データとして表示される。

また、外部の装置により合成された画像信号の入力を受けて表示することができるようにしてもよい。

図３１は、例えば、図２８の信号処理部１３２の処理によって合成された合成信号Ｓ５のように、その信号だけで、全てのフレーム画像がそろっているような画像信号の供給を受けて表示することが可能な画像信号処理装置１４１および画像表示装置５２の構成を示すブロック図である。

なお、図２８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

画像信号処理装置１５１には、（ｍ×ｎ）Ｈｚのフレームレートの画像データを構成する動画像データが供給され、フレームメモリ６１−１に保持される。

コントローラ１５１は、操作入力部６３から入力されるユーザの操作入力にしたがって、基準同期信号発生部６４から供給されるｍＨｚの基準同期信号を基に、フレームメモリ６１−１からの映像信号の出力を制御するとともに、フレームメモリ６１−１からの映像信号の出力に関する情報を、表示制御部６６に供給する。操作入力部６３は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ１５１に供給する。基準同期信号発生部６４は、コントローラ１５１がフレームメモリ６１−１を制御するための基準となる同期信号を発生し、コントローラ１５１に供給する。

フレームメモリ６１−１は、コントローラ１５１の制御に基づいて、供給されたデジタルの画像信号を、信号処理部１５２に供給する。信号処理部１５２は、供給された画像信号に対して信号処理を施し、Ｄ／Ａ変換部６５−１に出力する。具体的には、走査制御部８１−１に供給される動画像データのフレームレートを（ｎ×ｍ）Ｈｚとし、走査制御部８１−１がフレームレート（ｎ×ｍ）Ｈｚの動画像データを供給されたフレーム画像データが有する画素数で表示する機能を有していなかった場合、信号処理部１５２は、走査制御部８１−１により表示可能なように、出力される画像信号に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。

Ｄ／Ａ変換部６５−１は、信号処理部１５２から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置５２の走査制御部８１−１に供給する。表示制御部６６は、コントローラ１５１から供給された情報を基に、画像表示装置５２による動画像の表示を制御し、（ｍ×ｎ）Ｈｚのフレームレートのフレーム画像を表示させる。

また、コントローラ１５１には、必要に応じてドライブ６７が接続され、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、もしくは、半導体メモリ７４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ１５１に実行される。

次に、図３２のフローチャートを参照して、図３１を用いて説明した画像信号処理装置１４１および画像表示装置５２を用いた場合の画像表示処理３について説明する。

ステップＳ６１において、コントローラ１５１は、フレームメモリ６１−１から、所定のタイミングでフレーム画像データを読み出させて、信号処理部１１２−１に供給する。

ステップＳ６２において、信号処理部１１２−１は、必要に応じて、走査制御部８１−１により表示可能な画像データに変換する処理（例えば、画素数の減少や、走査ラインの間引き処理など）を施して、Ｄ／Ａ変換部６５−１に供給する。

ステップＳ６３において、Ｄ／Ａ変換部６５−１は、供給されたフレーム画像データにＤ／Ａ変換を施して、走査制御部８１−１に供給する。

ステップＳ６４において、走査制御部８１−１は、表示制御部６６の制御に基づいて、所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。

このような処理により、外部の装置により合成された動画像データを滑らかに表示させることができる。

以上においては、フレームレート（ｎ×ｍ）Ｈｚの動画像データを表示させるために、ｎ系列でフレームレートｍの動画像データを取得し、ｎ系列、もしくは、ｎ系列を合成したｎ／ｓ系列の動画像データを順次所定のタイミングだけずらして走査出力することにより、フレームレート（ｎ×ｍ）Ｈｚの動画像データを表示させる場合について説明したが、次に、空間的に画素を画素ピッチの１／ｎずつずらして撮像し、その表示映像をｎ倍の空間に広げることにより、フレームレート（ｎ×ｍ）Ｈｚの動画像データを取得する方法について説明する。

図３３は、本発明を適用した撮像装置１７１の構成を示すブロック図である。

なお、図１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図３３に示すように、撮像装置１７１は、レンズ２１、ＣＣＤイメージセンサ１８１、タイミングコントローラ２４、コントローラ１８３、基準同期信号発生部２６、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部１８２、コーデック処理部３０、メモリ３１、操作入力部３２、および、ドライブ３３から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ１８１は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子を１つ有する、例えば、ＲＧＢの３原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のＣＣＤイメージセンサである。ＣＣＤイメージセンサ１８１のそれぞれの撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。

ＣＣＤイメージセンサ１８１の撮像素子は、タイミングコントローラ２４の制御により、図３４に示されるように、画素ピッチの１／ｎだけずらして（図３４においては、ｎ＝４とし、画素ピッチの１／４ずらして撮像するものとして図示しているが、ｎは４以外のいかなる数字であってもかまわない）、タイミングを１／（ｍ×ｎ）ずらして画像情報を取得する。タイミングコントローラ２４は、コントローラ２５の制御に基づいて、基準同期信号発生部２６から供給されるｍＨｚの基準同期信号を、１／（ｍ×ｎ）ずつ遅延させたトリガ信号を、ＣＣＤイメージセンサ１８１の撮像素子に供給する。

ここでは、タイミングコントローラ２４が発生するタイミング信号に基づいて、撮像素子が画素ピッチの１／ｎだけ移動させるものとして説明したが、撮像素子の位置を固定して、タイミングコントローラ２４が発生するタイミング信号に基づいて、光学系の位置を、画素ピッチの１／ｎだけ移動させるようにしてもよい。

したがって、ＣＣＤイメージセンサ１８１が撮像するフレーム画像データのフレームレートは、（ｍ×ｎ）Ｈｚとなる。

一般にＣＣＤカメラ等で受光部の無効部分を補うために画素ずらしの手段は用いられているが、それらは、同時刻の映像を多板の撮像素子で撮像するカメラに用いられたり、異なる時刻の映像を単一の撮像素子あるいは光学系を振動させて撮像するカメラに用いられている（上述したＣＣＤカメラ技術入門、コロナ社、1997, PP109-111に記載の技術）。

しかし、画素ずらしに対応する手法を、異なる時刻の映像を撮像するための構成として適用された例は知られていない。ここで、異なる時刻の撮像により、時間解像度を増すことができる。また、撮像素子または光学系のうちのいずれか一方は固定しているので、安定した高解像度画像を得ることができる。

コントローラ１８３は、操作入力部３２により入力されたユーザの操作入力に基づいて、タイミングコントローラ２４、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部１８２、コーデック処理部３０、メモリ３１、および、操作入力部３２を制御する。

画像処理部１８２は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものであり、具体的には、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、例えば、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、および、ＹＣ変換などの各種画像処理に加えて、必要に応じて、補間処理を実行する。

図３５および図３６を用いて。画素ずらし撮像後の補間処理について説明する。

図３５において、図に示された数字が記された１／４画素は、この数字の順番に撮像された部分であり、数字が記されていない１／４画素は、データがないことを意味している。このような画像データにおいて、観察者が、画素表示の方向に画素ずらしと略同じ速度で視線を動かした場合、すなわち追従視の場合において、映像が離散的に見えてしまう。この動画質の劣化を防止するためには、空間的に、近傍の画素情報から、線形または非線形補間により、取得していない画素の情報を生成する必要がある。

図３６は、図３５において数字が記されていなかった１／４画素のそれぞれに対して、空間的に補間処理を施し、全ての１／４画素がデータを有するように変換しているデータを示す。これらを固定視すなわち、画面の1箇所に視線を固定して観察した場合には、時間周波数が十分高ければ、いずれも眼の積分効果により、空間的に連続な緻密な映像として見える。

したがって、画素ずらしを行って撮像し、空間的に補間して表示することで、時間方向の解像度を保ちつつ、映像品質を高めることができる。

次に、図３７のフローチャートを参照して、図３３の撮像装置１７１が実行する画像取得処理２について説明する。

ステップＳ８１において、タイミングコントローラ２４は、基準同期信号発生部２６が発生するｍＨｚの基準同期信号を基に、画素ずらしで画像データを取得するタイミング信号を発生して、ＣＣＤイメージセンサ１８１に供給する。

ステップＳ８２において、ＣＣＤイメージセンサ１８１は、タイミングコントローラ２４から供給されたタイミング信号に基づいて、図３４を用いて説明した画素ずらしによって、（ｍ×ｎ）Ｈｚのフレームレートの画像データを取得する。

ステップＳ８３において、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部１８２、および、コーデック処理部３０は、ＣＣＤイメージセンサ２３によって取得された（ｍ×ｎ）Ｈｚのフレームレートの画像データに対して、画像処理を行う。このとき、画像処理部１８２は、必要に応じて補間処理を含む画像処理を行う。

ステップＳ８４において、メモリ３１は、処理された画像の供給を受けて記憶し、処理が終了される。

このような処理により、画素ずらしの手法を用いて、（ｍ×ｎ）Ｈｚのフレームレートの画像データが取得されて記憶される。

また、高解像度の高フレームレート映像を得るために、画素ごとの輝度と色の取得をフレームごとに分離し、フレーム間補間を用いて合成処理を施すようにすることも可能である。

図３８は、本発明を適用した撮像装置２０１の構成を示すブロック図である。

なお、図１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図３８に示すように、撮像装置２０１は、レンズ２１、プリズム２１１、ＣＣＤイメージセンサ２１２、タイミングコントローラ２４、コントローラ２１４、基準同期信号発生部２６、相関２重サンプリング）処理部２７、Ａ／Ｄコンバータ２８、画像処理部２１３、コーデック処理部３０、メモリ３１、操作入力部３２、および、ドライブ３３から構成される。

プリズム２１１は、図３９に示されるように、レンズ２１を介して入射された光の反射率が１／ｎ（ここでは、ｎ＝４）であるプリズムビームスプリッタで構成され、レンズ２１を介して入射された光をｎ個に分割し、ＣＣＤイメージセンサ２１２のｎ個の撮像素子２１２−１乃至２１２−ｎに供給する。

ＣＣＤイメージセンサ２１２は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子をｎ個含むものである。なお、ＣＣＤイメージセンサ２１２は、撮像素子をｎ個含んでいるが、いわゆる複板式のＣＣＤイメージセンサではなく、受光素子ごとに、例えば、ＲＧＢの３原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のＣＣＤイメージセンサと、カラーフィルタを用いずに、輝度情報のみを取得する受光素子とがそれぞれ同数設けられて構成されているものである。ＣＣＤイメージセンサ２１２の一方の撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。

ＣＣＤイメージセンサ２１２のそれぞれの撮像素子は、タイミングコントローラ２４の制御により、それぞれ１／（ｎ×ｍ）秒だけずれたタイミングで、画像情報を取得する。タイミングコントローラ２４は、コントローラ２１４の制御に基づいて、基準同期信号発生部２６から供給される基準同期信号を１／（ｎ×ｍ）秒ずつ遅延させたトリガ信号を、ＣＣＤイメージセンサ２１２の撮像素子２１２−１乃至２１２−ｎに供給する。

コントローラ２１４は、操作入力部３２により入力されたユーザの操作入力に基づいて、タイミングコントローラ２４、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部２１３、コーデック処理部３０、および、メモリ３１を制御する。基準同期信号発生部２６は、タイミングコントローラ２４がＣＣＤイメージセンサ２１２の複数の撮像素子を制御するための基準となる同期信号を発生し、タイミングコントローラ２４に供給する。

図４０を用いて、画素ごとの輝度と色の取得をフレームごとに分離し、画像処理部２１３により、フレーム間補間を用いて、高解像度の高フレームレート映像を得るしくみについて説明する。

例として、ＣＣＤイメージセンサ２１２のうちの２／ｎ個の撮像素子のカラーフィルタが、ＲＧＢ水平配列の640カラー画素（ＲＧＢで1画素として）であり、残りの２／ｎ個の撮像素子が輝度情報のみ取得する（水平1920モノクロ画素）ようになされている場合について考える。カラーフィルタを有する撮像素子は、撮像素子の規模としては水平640×3＝1920モノクロ画素と同等である。画質としては、1920のカラー画素が理想であるが、上述の撮像素子しか使えない場合を想定する。

例えば、撮像素子が４枚（ｎ＝４）の場合、撮影の順で１番目と３番目に水平640カラー画素、２番目と４番目に水平1920モノクロ画素を取得する撮像素子を割り当てる。画像処理部２１３は、取得された２番目と４番目のモノクロ画像に対応する画像信号から、内挿処理によってフレーム補間画像を作る。そして、画像処理部２１３は、次に取得された３番目のカラー画像に対応する画像信号から、（R＋G＋B）／３の演算処理により輝度を抽出した水平640画素のモノクロ画像を生成する。そして、画像処理部２１３は、その１画素の値にフレーム補間画像の対応する３画素の値を正規化して掛け算し、水平1920画素のモノクロ画像を生成する。

この処理は、すなわち、カラーフィルタを用いて撮影された映像の画素ごとの輝度は変化させずに、輝度の勾配の解像度を３倍に拡大したことに相当する。同様の手順を繰り返すことにより連続した水平1920画素のモノクロ画像が取得できる。更に次にこれらに色情報を付与する。色情報は、１番目と３番目の撮像処理で取得できているので、この情報を１番目と３番目の水平1920画素のモノクロ画像に適用する。

すなわち、モノクロ画像の値をYmono、色情報をそれぞれRorg,Gorg,Borgとし、合成処理後の新しい高解像度のＲＧＢの値を、それぞれRnew,Gnew,Bnewとした場合、高解像度のＲＧＢの値Rnew,Gnew,Bnewは、次の式（１）乃至式（３）で求められる。

Rnew＝Ymono*Rorg／（Rorg＋Gorg＋Borg） ・・・（１）
Gnew＝Ymono*Gorg／（Rorg＋Gorg＋Borg） ・・・（２）
Bnew＝Ymono*Gorg／（Rorg＋Gorg＋Borg） ・・・（３）

このようにして得られる映像信号は、３色のバランスは変えずに３倍の輝度についての解像度を反映させた映像である。そして、２番目と４番目の水平1920モノクロ画素の画像にも、同様にして色情報を付与するようにすればよい。

ここで、それぞれの画素データを精度良く求めるには、カラー画像の内挿画像からフレーム補間画像を生成し、それらの色情報により、上述した方法で、３倍密度のカラー画像を作る方法もあるが、例えば、演算コストの向上を考慮して、それぞれ、１番目３番目のカラー情報をそのまま利用するようにしてもよい。

１番目３番目のカラー情報をそのまま利用するようにした場合、時間方向には、色情報のみ１／２の時間周波数となり、動画像として、追従視の際の色情報は半減する。しかしながら、図４１に示されるように、人の視覚にとって、通常の空間周波数の対象については、輝度情報に比較して色情報はコントラスト感度関数が低い。すなわち、人の視覚にとって、色情報は、ボケが知覚されにくい性質があるので、輝度情報の時間周波数を高めることにより、動画質の劣化を低く抑えることができる。

このようにして、限られた映像リソースで、高動画質を得ることができる。

なお、カラーフィルタの配列が、上述したＲＧＢ水平配列以外のいかなる配列（例えば、ベイヤー配列、原色４色配列、補色３色配列、補色４色配列など）を用いた場合にも、本発明が適用可能であることは言うまでもない。

次に、図４２のフローチャートを参照して、図３３の撮像装置１７１が実行する画像取得処理３について説明する。

ステップＳ１０１において、プリズム２１１は、レンズ２１を介して入射された光をｎ分割して、ＣＣＤイメージセンサ２１２の２個の撮像素子２１２−１乃至２１２−ｎに供給する。

ステップＳ１０２において、タイミングコントローラ２４は、基準同期信号発生部２６から供給されるｍＨｚの基準同期信号を、ＣＣＤイメージセンサ２１２に供給し、ＣＣＤイメージセンサ２１２は、ｍＨｚの基準同期信号を基に、ｎ個の撮像素子２１２−１乃至２１２−ｎのうちのいずれかによって、色情報を有する画像データ、および、輝度情報を有する画像データをそれぞれ取得する。

ステップＳ１０３において、相関２重サンプリング処理部２７、Ａ／Ｄコンバータ２８、画像処理部２１３、および、コーデック処理部３０は、ＣＣＤイメージセンサ２１２によって取得されたｍＨｚのフレームレートの画像データに対して、画像処理を行う。このとき、画像処理部２１３は、図４０を用いて説明した合成処理を含む画像処理を行う。

ステップＳ１０４において、メモリ３１は、処理された画像の供給を受けて記憶し、処理が終了される。

このような処理により、限られた映像リソースで、高動画質を得ることができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図１、図９、図２６、図２８、図３１、図３３、図３８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１または７１（フレキシブルディスクを含む）、光ディスク４２または７２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク４３または７３（ＭＤ（Mini-Disk)（商標）を含む）、もしくは半導体メモリ４４または７４などよりなるパッケージメディアなどにより構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した撮像装置の構成を示すブロック図である。 図１のプリズム、ＣＣＤイメージセンサの構成を説明するための図である。 基準同期信号および遅延信号について説明するための図である。 撮像されるフレーム画像データについて説明するための図である。 ｎ＝４の場合において撮像されるフレーム画像データについて説明するための図である。 ｎ＝５の場合において撮像されるフレーム画像データについて説明するための図である。 ４系列の動画像データを、２系列の動画像データとして記憶させる場合について説明するための図である。 画像取得処理１について説明するためのフローチャートである。 本発明を適用した画像信号処理装置と画像表示装置の構成を示すブロック図である。 ｎ＝２の場合における出力映像信号について説明するための図である。 ｎ＝３の場合における出力映像信号について説明するための図である。 ｎ＝４の場合における出力映像信号について説明するための図である。 ｎ＝５の場合における出力映像信号について説明するための図である。 図９の画像表示装置の構成例について説明するための図である。 図９の画像表示装置に表示される動画像のエッジ部分の更新レートについて説明するための図である。 動くものと固定しているものが共存するような現実のシーンの例を示す図である。 固定視条件を説明するための図である。 追従視条件を説明するための図である。 追従視および固定視における観察者の見えについて説明するための図である。 撮影条件、表示条件、観察条件ごとの観察者の見えについて説明するための図である。 ストロボ障害ついて説明するための図である。 高フレームレートにおける撮影条件、表示条件、観察条件ごとの観察者の見えについて説明するための図である。 ジャーキネスに着目した動画質の評価結果について説明するための図である。 動きぼけに着目した動画質の評価結果について説明するための図である。 画像表示処理１について説明するためのフローチャートである。 本発明を適用した画像信号処理装置と画像表示装置の他の構成について説明するためのブロック図である。 図２６の画像処理装置における出力信号と合成信号について説明するための図である。 本発明を適用した画像信号処理装置と画像表示装置の他の構成について説明するためのブロック図である。 図２８の画像処理装置における出力信号と合成信号について説明するための図である。 画像表示処理２について説明するためのフローチャートである。 本発明を適用した画像信号処理装置と画像表示装置の他の構成について説明するためのブロック図である。 画像表示処理３について説明するためのフローチャートである。 本発明を適用した撮像装置の他の構成例について説明するためのブロック図である。 画素ずらしについて説明するための図である。 図３３の撮像装置により撮像された画像データに補間処理を施さなかった場合について説明するための図である。 図３３の撮像装置により撮像された画像データに補間処理を施した場合について説明するための図である。 画像取得処理２について説明するためのフローチャートである。 本発明を適用した撮像装置の他の構成例について説明するためのブロック図である。 図３８のプリズム、ＣＣＤイメージセンサの構成を説明するための図である。 輝度情報と色情報の合成について説明するための図である。 輝度パターンと色度パターンのコントラスト感度について説明するための図である。 画像取得処理３について説明するためのフローチャートである。

符号の説明

１ 撮像装置， ２２ プリズム， ２３ ＣＣＤイメージセンサ， ２４ タイミングコントローラ， ２５ コントローラ， ２６ 基準同期信号発生部， ５１ 画像信号処理装置， ５２ 画像表示装置， ６１ メモリ， ６２ コントローラ， ６４ 基準同期信号発生部， ６６ 表示制御部， ８１ 操作制御部， ８２ 表示部， ９１ プロジェクタ， ９２ スクリーン， １０１ 画像信号処理装置， １１１ コントローラ， １１２ 信号処理部， １２１ 画像信号処理装置， １３１ コントローラ， １３２ 信号処理部， １４１ 画像信号処理装置， １５１ コントローラ， １５２ 信号処理部， １７１ 撮像装置， １８１ ＣＣＤイメージセンサ， １８２ 画像処理部， １８３ コントローラ， ２０１ 撮像装置， ２１１ プリズム， ２１２ ＣＣＤイメージセンサ， ２１３ 画像処理部， ２１４ コントローラ

Claims (24)

1. 動画像を撮像する撮像装置において、
   光学レンズから入射される光をｎ方向に分配する分配手段と、
   前記分配手段により分配された前記光を、１／ｍ秒間隔で信号に変換して画像を撮像する撮像手段と、
   前記撮像手段による前記光を前記信号に変換するタイミングを制御する制御手段と
   を備え、
   前記撮像手段は、ｎ個備えられ、
   前記制御手段は、ｎ個の前記撮像手段が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、前記光を信号に変換して画像を撮像するように制御する
   ことを特徴とする撮像装置。
2. 前記撮像素子は、４つ備えられ、それぞれ、１／６０秒間隔で前記光を前記信号に変換して画像を撮像する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、２つ備えられ、それぞれ、１／１２０秒間隔で前記光を前記信号に変換して画像を撮像する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像素子は、５つ備えられ、それぞれ、１／５０秒間隔で前記光を前記信号に変換して画像を撮像する
   ことを特徴とする請求項１に記載の撮像装置。
5. ｎ個の撮像素子を用いて動画像を撮像する撮像装置の撮像方法において、
   光学レンズから入射される光をｎ方向に分配する分配ステップと、
   ｎ個の前記撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、
   前記分配ステップの処理により分配された前記光を、前記タイミング信号発生ステップの処理により発生された前記タイミング信号に基づいて、ｎ個の前記撮像素子が画像を撮像する撮像ステップと
   を含み、
   前記撮像素子は、１／ｍ秒間隔で前記光を信号に変換して画像を撮像することができ、
   前記タイミング信号発生ステップの処理により発生された前記タイミング信号は、ｎ個の前記撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、前記光を信号に変換して画像を撮像するように制御するものである
   ことを特徴とする撮像方法。
6. ｎ個の撮像素子を用いて動画像を撮像する処理をコンピュータに実行させるプログラムであって、
   光学レンズから入射される光をｎ方向に分配する分配ステップと、
   ｎ個の前記撮像素子が画像を撮像するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、
   前記分配ステップの処理により分配された前記光を、前記タイミング信号発生ステップの処理により発生された前記タイミング信号に基づいて、ｎ個の前記撮像素子が画像を撮像する撮像ステップと
   を含み、
   前記撮像素子は、１／ｍ秒間隔で前記光を信号に変換して画像を撮像することができ、
   前記タイミング信号発生ステップの処理により発生された前記タイミング信号は、ｎ個の前記撮像素子が、それぞれ、１／（ｎ×ｍ）秒ずれたタイミングで、前記光を信号に変換して画像を撮像するように制御するものである
   ことを特徴とするコンピュータが実行可能なプログラム。
7. 画像表示装置により表示される画像信号を処理する画像処理装置において、
   ｍＨｚの第１のフレームレートを有する前記画像信号を保存する保存手段と、
   前記保存手段により保存された前記画像信号の出力を制御する出力制御手段と、
   前記出力制御手段により出力が制御された前記画像信号に対応する画像の表示を制御する表示制御手段と
   を備え、
   前記画像表示装置、または、前記画像表示装置の表示処理部は、少なくともｎ個設けられ、
   前記出力制御手段は、ｎ個の前記画像表示装置、または、前記表示処理部に、１フレームごとに、前記保存手段から順次出力されるように、前記第１のフレームレートの前記画像信号の出力を制御し、
   前記表示制御手段は、前記第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで前記画像表示装置に画像が表示されるように、前記出力制御手段によりｎ個の前記画像表示装置、または、前記表示処理部に順次出力された前記画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、前記画像信号に対応する前記画像の表示を制御する
   ことを特徴とする画像処理装置。
8. 前記保存手段により保存されている前記画像信号を合成する合成手段を更に備える
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１のフレームレートは、６０Ｈｚであり、
   前記画像表示装置、または、前記画像表示装置の前記表示処理部は、少なくとも４つ備えられている
   ことを特徴とする請求項７に記載の撮像装置。
10. 前記第１のフレームレートは、１２０Ｈｚであり、
    前記画像表示装置、または、前記画像表示装置の前記表示処理部は、少なくとも２つ備えられている
    ことを特徴とする請求項７に記載の撮像装置。
11. 前記第１のフレームレートは、５０Ｈｚであり、
    前記画像表示装置、または、前記画像表示装置の前記表示処理部は、少なくとも５つ備えられている
    ことを特徴とする請求項７に記載の撮像装置。
12. 画像表示装置により表示される画像信号を処理する画像処理装置の画像処理方法において、
    ｍＨｚの第１のフレームレートを有する前記画像信号の出力を制御する出力制御ステップと、
    前記出力制御ステップの処理により出力が制御された前記画像信号に対応する画像の表示を制御する表示制御ステップと
    を含み、
    前記画像表示装置、または、前記画像表示装置の表示処理部は、少なくともｎ個設けられ、
    前記出力制御ステップの処理では、ｎ個の前記画像表示装置、または、前記表示処理部に、１フレームごとに順次出力されるように、前記第１のフレームレートの前記画像信号の出力が制御され、
    前記表示制御ステップの処理では、前記第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで前記画像表示装置に画像が表示されるように、前記出力制御ステップの処理によりｎ個の前記画像表示装置、または、前記表示処理部に順次出力された前記画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、前記画像信号に対応する前記画像の表示が制御される
    ことを特徴とする画像処理方法。
13. 画像表示装置により表示される画像信号の処理をコンピュータに実行させるためのプログラムであって、
    ｍＨｚの第１のフレームレートを有する前記画像信号の出力を制御する出力制御ステップと、
    前記出力制御ステップの処理により出力が制御された前記画像信号に対応する画像の表示を制御する表示制御ステップと
    を含み、
    前記画像表示装置、または、前記画像表示装置の表示処理部は、少なくともｎ個設けられ、
    前記出力制御ステップの処理では、ｎ個の前記画像表示装置、または、前記表示処理部に、１フレームごとに順次出力されるように、前記第１のフレームレートの前記画像信号の出力が制御され、
    前記表示制御ステップの処理では、前記第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで前記画像表示装置に画像が表示されるように、前記出力制御ステップの処理によりｎ個の前記画像表示装置、または、前記表示処理部に順次出力された前記画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、前記画像信号に対応する前記画像の表示が制御される
    ことを特徴とするプログラム。
14. 画像信号を処理する画像処理装置と、
    前記画像処理装置において処理された前記画像信号に対応する画像を表示する画像表示装置と
    で構成される画像表示システムにおいて、
    前記画像処理装置は、
    ｍＨｚの第１のフレームレートの前記画像信号を保存する保存手段と、
    前記保存手段により保存された前記画像信号の出力を制御する出力制御手段と、
    前記出力制御手段により出力が制御された前記画像信号に対応する前記画像の表示を制御する表示制御手段と
    を備え、
    前記画像表示装置は、
    点順次または線順次方式によって前記画像の描画を行う複数の画像表示処理手段と、
    前記画像表示処理手段により描画される前記画像を表示する表示手段と
    を備え、
    前記画像表示処理手段は、少なくとも、ｎ個備えられ、
    前記出力制御手段は、ｎ個の前記画像表示処理手段に、１フレームごとに、前記保存手段から順次出力されるように、前記第１のフレームレートの前記画像信号の出力を制御し、
    前記表示制御手段は、前記第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで前記画像表示装置に前記画像が表示されるように、前記出力制御手段によりｎ個の前記画像表示処理手段に順次出力された前記画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、前記画像信号に対応する前記画像の表示を制御する
    ことを特徴とする画像表示システム。
15. 画像信号を処理する画像処理装置と、
    前記画像処理装置において処理された前記画像信号に対応する画像を表示する画像表示装置と
    で構成される画像表示システムにおいて、
    前記画像処理装置は、
    ｍＨｚの第１のフレームレートの前記画像信号を保存する保存手段と、
    前記保存手段により保存された前記画像信号の出力を制御する出力制御手段と、
    前記出力制御手段により出力が制御された前記画像信号に対応する前記画像の表示を制御する表示制御手段と
    を備え、
    前記画像表示装置は、
    点順次または線順次方式によって前記画像の描画を行う複数の画像表示処理手段を備え、
    前記画像表示処理手段は、少なくとも、ｎ個備えられ、
    前記出力制御手段は、ｎ個の前記画像表示処理手段に、１フレームごとに、前記保存手段から順次出力されるように、前記第１のフレームレートの前記画像信号の出力を制御し、
    前記表示制御手段は、前記第１のフレームレートのｎ倍のフレームレートである第２のフレームレートで前記画像表示装置に前記画像が表示されるように、前記出力制御手段によりｎ個の前記画像表示処理手段に順次出力された前記画像信号が、１フレームの走査時間の１／（ｍ×ｎ）ずつずれて、点順次または線順次方式によって、順次描画されるように、前記画像信号に対応する前記画像の表示を制御する
    ことを特徴とする画像表示システム。
16. 前記画像表示装置は、前記画像を投影表示するプロジェクタにより構成される
    ことを特徴とする請求項１５に記載の画像表示システム。
17. 動画像を撮像する撮像装置において、
    光学レンズから入射される光を信号に変換して画像を撮像する撮像手段と、
    前記撮像手段による前記光を前記信号に変換するタイミングを制御するとともに、前記撮像手段が前記光を受光する受光位置が、前記光の進路に対して直角方向に、前記撮像手段の画素ピッチの１／ｎずつずれるように制御する制御手段と
    を備えることを特徴とする撮像装置。
18. 前記撮像手段により撮像された前記画像により構成される映像に対して、空間方向の画素補間処理を行う画素補間手段を更に備える
    ことを特徴とする請求項１７に記載の撮像装置。
19. 動画像を撮像する撮像装置の撮像方法において、
    光学レンズから入射される光を受光する受光位置が、前記光の進路に対して直角方向に、前記撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、前記光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、
    前記タイミング信号発生ステップの処理により発生された前記タイミング信号に基づいて、画像を撮像する撮像ステップと
    を含むことを特徴とする撮像方法。
20. 動画像を撮像する処理をコンピュータに実行させるためのプログラムであって、
    光学レンズから入射される光を受光する受光位置が、前記光の進路に対して直角方向に、前記撮像ステップの画素ピッチの１／ｎずつずれるように制御するとともに、前記光を信号に変換するタイミングを制御するタイミング信号を発生するタイミング信号発生ステップと、
    前記タイミング信号発生ステップの処理により発生された前記タイミング信号に基づいて、画像を撮像する撮像ステップと
    を含むことを特徴とする処理をコンピュータに実行させるプログラム。
21. 動画像を撮像する撮像装置において、
    光学レンズから入射される光をｎ方向に分配する分配手段と、
    前記分配手段により分配された前記光を複数の色情報を有する信号に変換して画像を撮像する第１の撮像手段と、
    前記分配手段により分配された前記光を輝度情報を有する信号に変換して画像を撮像する第２の撮像手段と、
    前記第１の撮像手段により変換された前記色情報を有する信号および前記第２の撮像手段により変換された前記輝度情報を有する信号を合成し、画像情報を生成する画像情報生成手段と
    を備えることを特徴とする撮像装置。
22. 前記第１の撮像手段により変換される前記色情報のサンプリング周波数は、前記第２の撮像手段により変換される前記輝度情報のサンプリング周波数よりも少ない
    ことを特徴とする請求項２１に記載の撮像装置。
23. 動画像を撮像する撮像装置の撮像方法において、
    光学レンズから入射される光をｎ方向に分配する分配ステップと、
    前記分配ステップの処理により分配された前記光を複数の色情報を有する信号に変換して画像を撮像するとともに、前記分配ステップの処理により分配された前記光を輝度情報を有する信号に変換して画像を撮像する撮像ステップと、
    前記撮像ステップの処理により変換された前記色情報を有する信号および前記輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップと
    を含むことを特徴とする撮像方法。
24. 動画像を撮像する処理をコンピュータに実行させるためのプログラムであって、
    光学レンズから入射される光をｎ方向に分配する分配ステップと、
    前記分配ステップの処理により分配された前記光を複数の色情報を有する信号に変換して画像を撮像するとともに、前記分配ステップの処理により分配された前記光を輝度情報を有する信号に変換して画像を撮像する撮像ステップと、
    前記撮像ステップの処理により変換された前記色情報を有する信号および前記輝度情報を有する信号を合成し、画像情報を生成する画像処理ステップと
    を含むことを特徴とする処理をコンピュータに実行させるプログラム。

Images