JP2009010522A - 撮像表示方法および撮像表示装置 - Google Patents

Abstract

【課題】撮像から表示までの遅延時間を短縮でき、しかも空間的解像度および動解像度を高くできる撮像表示方法および撮像表示装置を提供する。
【解決手段】光学像を光電変換する撮像素子１と、撮像素子１の読出し位置を制御する読出し制御部６と、撮像素子１から読み出された画像信号を処理する画像処理部２と、画像処理部２から出力される画像信号を表示する画像表示部４と、画像表示部４に表示される画像の観察画素位置をシフトさせる画素シフト部５と、画素シフト部５を制御する画素シフト制御部７と、撮像素子１で光電変換される画像信号を、画像表示部４および画素シフト部５により画素ずらしして表示するように、読出し制御部６および画素シフト制御部７を制御するシステム制御部８とを有する。
【選択図】図１

Description

本発明は、撮像素子で撮像して得られる画像データを、撮像素子よりも画素数の少ない表示素子に、該表示素子の解像度よりも高解像度となるように、画素ずらしして表示する撮像表示方法および撮像表示装置に関するものである。

従来、入力画像データを画素ずらしして表示する表示装置として、例えば、図１９に示すように、画像処理回路１１０、フレームメモリ１１１、表示器１１２および制御回路１１３を有するものが提案されている（例えば、特許文献１参照）。この表示装置は、制御回路１１３の制御のもとに、表示器１１２の画素数よりも高画素である入力画像データを、画像処理回路１１０でガンマ補正、コントラスト調整、明るさ調整等の画像処理を施した後、フレームメモリ１１１に格納し、このフレームメモリ１１１に格納されたフレームデータを、複数のサブフレームの画像データに分解して順次読出して表示器１１２に供給し、表示器１１２において、サブフレーム毎に表示位置を順次切り替えて画像を表示することにより、表示器１１２の解像度よりも、見かけ上高い解像度で画像を表示するようにしている。この結果、安価な表示器で高解像度表示が可能であり、低コスト化のメリットがある。

一方、近年では、撮像素子として、例えば、ＭＯＳ（Metal Oxide Semiconductor）イメージセンサが広く用いられるようになっている。ＭＯＳイメージセンサは、ＣＣＤ(Charge Coupled Device)イメージセンサのようなポテンシャル井戸の移動による電荷の転送を必要とせず、信号ライン（ワイヤ）を利用して任意ラインの画素データを読み出すことができることから、画素間引き読出し、画素混合読出し、全画素読出しの切り替えが可能である。

特開２００３−３０２９５２号公報

ところで、図１９に示した表示装置は、デジタルカメラのファインダの一種であるＥＶＦ（Electrical View Finder）にも応用することができる。ここで、ＥＶＦは、レンズで捕らえた像をそのままファインダに投影して、使用者が確認する用途で使用されるため、動解像度が高く、表示遅延が小さいことが要求される。

しかし、近年の撮像素子は、高画素化されているため、撮像素子から高画素データを読み出すのに時間を要し、読出しフレームレートが低くなる。ここで、読出しフレームレートを上げるために、読出しクロック周波数を高くする方法も考えられるが、消費電力の増加を招くため限度があり、結果としてクロック周波数を高くする方法のみで、読出しフレームレートを高くすることは困難である。また、撮像素子の画素数に対応する１画面分のフレームメモリを要するため、高画素化に伴って回路構成が複雑になるとともに、このフレームメモリに、一旦画像を書き込む必要があるため、撮像してから表示するまでに、表示遅延が発生することになる。

このため、低コスト化のために、図１９に示した表示装置を、単に高画素数の撮像素子を有するデジタルカメラのＥＶＦに適用した場合には、図２０に示すように、撮像素子からはフレームデータが順次出力されるが、この順次のフレームデータを画像処理回路１１０で画像処理してフレームメモリ１１１に格納するのに遅れが生じる他、さらに、フレームメモリ１１１に格納されたフレームデータを、複数のサブフレームの画像データに分解して順次読出して表示器１１２に画素ずらしして表示するのに遅れが生じることになる。その結果、撮像素子で撮像されてから表示器１１２に表示されるまでに、１フレーム以上の遅延が生じることになる。なお、図２０は、１つのフレームデータを２つのサブフレームの画像データに分解して、２点画素ずらしを行う場合を示している。

また、１つの高画素の低フレームデータを複数のサブフレームの画像データに分割して画素ずらしして表示することから、空間的解像度は高くできるものの、分解される複数のサブフレームの画像データは、同じ時間で撮像された画像データであるため、時間分解能すなわち動解像度を高くできないことになる。

したがって、かかる点に鑑みてなされた本発明の目的は、撮像から表示までの遅延時間を短縮でき、しかも空間的解像度および動解像度を高くできる撮像表示方法および撮像表示装置を提供することにある。

上記目的を達成する請求項１に係る撮像表示方法の発明は、光学像を光電変換する撮像素子から、読出し位置の異なる複数のフィールドの画像信号を取得し、これら複数のフィールドの画像信号を、画素ずらししながら画像表示部に表示することを特徴とするものである。

請求項２に係る発明は、請求項１に記載の撮像表示方法において、
前記フィールドの画像信号の画素数を変換して、前記画像表示部に表示することを特徴とするものである。

請求項３に係る発明は、請求項１または２に記載の撮像表示方法において、
前記読出し位置の異なる複数のフィールドの画像信号は、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御して取得することを特徴とするものである。

さらに、上記目的を達成する請求項４に係る撮像表示装置の発明は、
光学像を光電変換する撮像素子と、
前記撮像素子の読出し位置を制御する読出し制御部と、
前記撮像素子から読み出された画像信号を処理する画像処理部と、
前記画像処理部から出力される画像信号を表示する画像表示部と、
前記画像表示部に表示される画像の観察画素位置をシフトさせる画素シフト部と、
前記画素シフト部を制御する画素シフト制御部と、
前記撮像素子で光電変換される画像信号を、前記画像表示部および前記画素シフト部により画素ずらしして表示するように、前記読出し制御部および前記画素シフト制御部を制御するシステム制御部と、
を有することを特徴とするものである。

請求項５に係る発明は、請求項４に記載の撮像表示装置において、
前記画像処理部から出力される画像信号の画素数を変換して、前記画像表示部に供給する画像出力部を有することを特徴とするものである。

請求項６に係る発明は、請求項５に記載の撮像表示装置において、
前記画像出力部は、前記画像処理部から出力される画像信号から画素を間引いて、画素数を変換することを特徴とするものである。

請求項７に係る発明は、請求項５に記載の撮像表示装置において、
前記画像出力部は、前記画像処理部から出力される画像信号の画素を選択して、画素数を変換することを特徴とするものである。

請求項８に係る発明は、請求項４〜７のいずれか一項に記載の撮像表示装置において、
前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御するタイミングジェネレータを有することを特徴とするものである。

請求項９に係る発明は、請求項８に記載の撮像表示装置において、
前記タイミングジェネレータは、前記画素シフト制御部による前記画素シフト部の制御に同期して、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御することを特徴とするものである。

請求項１０に係る発明は、請求項８に記載の撮像表示装置において、
前記タイミングジェネレータは、前記撮像素子から同じフィールドの画像信号を複数回出力するように、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御することを特徴とするものである。

さらに、上記目的を達成する請求項１１に係る撮像表示方法の発明は、光学像を光電変換する撮像素子から、空間的位相および時間的位相の異なる複数のフィールドの画像信号を取得し、これら複数のフィールドの画像信号を、空間的位相および時間的位相に応じて画素ずらししながら画像表示部に表示することを特徴とするものである。

本発明によれば、撮像素子から読出し位置、すなわち空間的位相および時間的位相の異なる複数のフィールドの画像信号を取得して、画素ずらししながら画像表示部に表示するので、撮像から表示までの遅延時間を短縮できるとともに、空間的解像度および動解像度を高くすることができる。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係る撮像表示装置の要部の構成を示すブロック図である。この撮像表示装置は、撮像素子１、画像処理部２、画像出力部３、画像表示部４、画素シフト部５、読出し制御部６、画素シフト制御部７、システム制御部８、およびタイミングジェネレータ９を有している。

撮像素子１は、図示しない光学系を通して入射する光学像を光電変換して画像信号に変換するマトリックス状の光電変換素子アレイを有するもので、例えば上述したＭＯＳイメージセンサを用いて構成する。この撮像素子１は、タイミングジェネレータ９からのタイミング信号に基づいて、露光タイミングおよび／または画像信号の出力タイミングを制御するとともに、読出し制御部６により画素の読出し位置を制御して、所要の読出しモードで画像信号を読出して画像処理部２へ供給する。

画像処理部２は、タイミングジェネレータ９からのタイミング信号に基づいて、撮像素子１から出力される画像信号を、デジタル信号に変換して画像データとして画像処理して画像出力部３へ供給するように構成する。ここで、画像処理部２による画像処理には、周囲の画素を含めた画像データを用いて、ある画素の画像データを演算もしくは生成する処理や、フィルタ処理等が含まれる。

画像出力部３は、タイミングジェネレータ９からのタイミング信号に基づいて、画像処理部２で処理された画像データを、必要に応じて画像表示部４の画素数に適したサイズに変換して、画素シフト部５による画素シフト動作に同期したタイミングで画像表示部４へ出力するように構成する。なお、画像出力部３は、撮像素子１の出力画素数と画像表示部４の画素数とが同等の場合には、サイズ変換機能を省略することができ、また、画素シフト部５による画素シフトに同期して、撮像素子１の読出しが行われる場合には、画像データの出力タイミング調整機能を省略することができる。

画像表示部４は、タイミングジェネレータ９からのタイミング信号に基づいて、画像出力部３から出力される画像データに基づいて画像を表示するもので、例えば、ＥＬ表示素子や照明光を画像データに基づいて空間変調する液晶表示素子（ＬＣＤ）を用いて構成する。

画素シフト部５は、画素シフト制御部７による制御に基づいて、画像表示部４の画素の表示位置を光学的にシフトさせるように構成する。この画素シフト部５の具体的構成については、後述する。

撮像素子１の読出し位置を制御する読出し制御部６は、タイミングジェネレータ９からのタイミング信号に基づいて動作するシステム制御部８により制御する。また、画素シフト部５を制御する画素シフト制御部７は、タイミングジェネレータ９からのタイミング信号に基づいて、システム制御部８により制御する。

本発明の第１実施の形態では、図１に示す構成において、画像表示部４の表示画素数を、撮像素子１の画素数に対して、水平方向および垂直方向ともに１／２以下の画素数とする。また、画素シフト部５は、画素シフト制御部７による制御のもとに、画像表示部４による画像の表示画素位置を、撮像素子１から１画面分の画像信号を得る各フレームで、シフトしない元の画素位置と、水平および垂直方向にそれぞれ空間的に半画素ピッチ分シフトした斜め方向の画素位置との２点画素シフトを行うようにする。

このため、画素シフト部５は、図２に示すように、液晶セル１１と、２枚の複屈折板１２ａ，１２ｂとにより構成する。液晶セル１１は、例えば、ＴＮ液晶や強誘電性液晶等により構成して、電圧を印加したオン状態では、入射光を、偏光方向を維持したまま透過させ、電圧を印加しないオフ状態では、入射光を、偏光方向を９０度回転させて透過させるようにする。

また、２枚の複屈折板１２ａ，１２ｂは、例えば、水晶、ニオブ酸リチウム、ルチル、方解石、チリ硝石等の異方性結晶により構成して、例えば、Ｐ偏光の入射光に対しては、複屈折板１２ａにより画素位置を水平方向に半画素ピッチ分シフトさせ、さらに複屈折板１２ｂにより画素位置を垂直方向に半画素ピッチ分シフトさせるようにし、Ｓ偏光の入射光に対しては、画素シフトを行うことなく、そのまま透過させるようにする。

このようにして、例えば、画像表示部４から液晶セル１１に入射する画像光の偏光面が水平方向（Ｐ偏光）にあるとすると、図２（ａ）に示すように、画素シフト制御部７により液晶セル１１をＯＦＦとした状態では、画像表示部４からの画像光の偏光面を、液晶セル１１で９０°回転させて垂直方向（Ｓ偏光）とし、これにより液晶セル１１に入射する画像光の各画素１〜４の観察画素位置を、複屈折板１２ａ，１２ｂでシフトすることなく透過させて、それぞれ画素位置１−Ａ〜４−Ａとする。

これに対し、図２（ｂ）に示すように、画素シフト制御部７により液晶セル１１をＯＮとした状態では、画像表示部４からの画像光の偏光面を、液晶セル１１で回転することなく、Ｐ偏光のまま透過させ、これにより、複屈折板１２ａで画素位置を水平方向に半画素ピッチ分シフトし、さらに複屈折板１２ｂで画素位置を垂直方向に半画素ピッチ分シフトして、液晶セル１１に入射する画像光の各画素１〜４の観察画素位置を、画素シフト部５でそれぞれ斜め方向の画素位置１−Ｄ〜４−Ｄにシフトする。

また、読出し制御部６は、画素シフト部５が撮像素子１の各フレームで２点画素シフトを行うため、撮像素子１をインターレースして、各フレームを読出し位置の異なるフィールドＡおよびフィールドＤの２フィールドとして、各フィールドの画像信号を、水平方向の画素については、画素シフト部５による画素シフト量や表示位置関係に応じて間引きして読み出して、空間的位相および時間的位相の異なるフィールドＡおよびフィールドＤの２フィールドの画像信号を得る。

すなわち、図３に示すように、撮像素子１の順次の水平ラインをａ，ｂ，ｃ，・・・、順次の列ラインを１，２，３，・・・とするとき、各フレームの最初のフィールドＡでは、奇数行の水平ラインａ，ｃ，ｅ，・・・を選択して、その選択した各水平ラインの画素を、例えば奇数列の画素を読み出すように、１画素毎に間引きして読み出す。同様に、次のフィールドＤでは、偶数行の水平ラインｂ，ｄ，ｆ，・・・を選択して、その選択した各水平ラインの画素を、例えば偶数列の画素を読み出すように、１画素毎に間引きして読み出す。

このようにして、撮像素子１から順次読み出される読出し位置の異なるフィールドＡの画像信号と、フィールドＡに対して斜め方向に空間的位相および時間的位相がずれたフィールドＤの画像信号とを、上述したように画像処理部２で処理して画像データを生成し、その画像データを、画像出力部３により画像表示部４の画素数に適したサイズのサブフィールドＡおよびサブフィールドＤの画像データに順次変換して、これらの画像データを画素シフト部５による画素シフト動作に同期したタイミングで画像表示部４へ出力することにより、各フレームのサブフィールドＡの画像を図２（ａ）に示したように表示し、サブフィールドＤの画像を図２（ｂ）に示したように表示する。

ここで、タイミングジェネレータ９は、画素シフト制御部７から画素シフト部５へ供給される制御信号に同期し、かつフィールドＡおよびフィールドＤで読出し位置が異なるように、撮像素子１からの画像信号の出力タイミングを制御している。これにより、撮像素子１から順次読み出された読出し位置の異なるフィールドＡおよびフィールドＤの画像信号を、画像処理部２に供給して順次処理し、さらに、画像出力部３で処理した後、画像表示部４に供給して、画素シフト部５により順次のフレームにおけるサブフィールドＡの画像をシフトしない元の画素位置に、サブフィールドＤの画像を水平および垂直方向にそれぞれ半画素ピッチ分シフトした斜め方向の画素位置に、２点画素シフトして表示する。

図４は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態では、従来のように撮像素子のフレームデータをフレームメモリに一旦格納することなく、画像表示部４および画素シフト部５を制御しながら、撮像素子１の読出し位置を制御して、撮像素子１の各フレームをインターレースによるフィールド単位で列間引きしながら読出して、２点画素シフトして表示するようにしたので、図４に示すように、撮像から表示までの遅延時間を、１フィールド内に短縮することができる。しかも、各フィールドは、読出し位置が異なるので、画素シフトされて表示される画像の空間的解像度および動解像度を高くできる。

なお、上記の説明では、撮像素子１から各フィールドの画像信号を読み出す際に、水平方向の画素も同時に間引くようにしたが、撮像素子１からは各フィールドの画像信号を、水平方向の画素を間引くことなく読出し、その後、画像処理部２や画像出力部３において、各フィールドの水平方向の画素間引きを行うようにすることもできる。

（第２実施の形態）
本発明の第２実施の形態では、図１に示す構成において、撮像素子１の画素数を１９２０×１０８０画素とし、画像表示部４の表示画素数は、撮像素子１の画素数に対して、水平方向および垂直方向ともに１／２以下の画素数とする。また、画素シフト部５は、画素シフト制御部７による制御のもとに、画像表示部４による画像の表示画素位置を、撮像素子１の各フレームにおいて、シフトしない元の画素位置と、元の画素位置から水平方向に空間的に半画素ピッチ分シフトした画素位置と、元の画素位置から垂直方向に空間的に半画素ピッチ分シフトした画素位置と、元の画素位置から水平方向および垂直方向にそれぞれ空間的に半画素ピッチ分シフトした画素位置と、の４点画素シフトを行うようにする。

このため、画素シフト部５は、図５に示すように、液晶セル２１ａおよび複屈折板２２ａを有する水平方向の画素シフトセットと、液晶セル２１ｂおよび複屈折板２２ｂを有する垂直方向の画素シフトセットとにより構成する。液晶セル２１ａ，２１ｂは、図２に示した液晶セル１１と同様に、例えば、ＴＮ液晶や強誘電性液晶等により構成して、画素シフト制御部７により電圧を印加したオン状態では、入射光を、偏光方向を維持したまま透過させ、電圧を印加しないオフ状態では、入射光を、偏光方向を９０度回転させて透過させるようにする。

また、複屈折板２２ａ，２２ｂは、図２に示した複屈折板１２ａ，１２ｂと同様に、例えば、水晶、ニオブ酸リチウム、ルチル、方解石、チリ硝石等の異方性結晶により構成するが、複屈折板２２ａは、偏光面が水平方向の偏光（Ｐ偏光）を水平方向に半画素ピッチ分シフトさせ、偏光面が垂直方向の偏光（Ｓ偏光）は、そのまま透過させ、複屈折板２２ｂは、Ｓ偏光を垂直方向に半画素ピッチ分シフトさせ、Ｐ偏光はそのまま透過させるようにする。

このようにして、例えば、画像表示部４から出射する画像光の偏光面が水平方向（Ｐ偏光）にあるとすると、図５（ａ）に示すように、水平方向画素シフト用の液晶セル２１ａおよび垂直方向画素シフト用の液晶セル２１ｂをともにＯＦＦとした状態では、画像表示部４からの画像光を、液晶セル２１ａで９０°回転させてＳ偏光として、複屈折板２２ａで画素シフトすることなくそのまま透過させ、さらに液晶セル２１ｂで９０°回転させてＰ偏光として、複屈折板２２ｂで画素シフトすることなくそのまま透過させる。これにより、画素シフト部５を透過した後の観察画素位置を、透過前の画素位置１〜４と同じ位置１−Ａ〜４−Ａとして、画像を表示する。

また、液晶セル２１ａ，２１ｂをともにＯＮとした状態では、図５（ｂ）に示すように、画像表示部４からのＰ偏光の画像光を、液晶セル２１ａで偏光面を回転させることなく透過させて、複屈折板２２ａで水平方向に半画素ピッチ分シフトし、さらに液晶セル２１ｂで偏光面を回転させることなくＰ偏光のまま透過させて、複屈折板２２ｂで画素シフトすることなく透過させる。これにより、画素シフト部５を透過した後の観察画素位置を、透過前の画素位置１〜４から、水平方向に半画素ピッチずれた画素位置１−Ｂ〜４−Ｂとして、画像を表示する。

また、液晶セル２１ａをＯＦＦ、液晶セル２１ｂをＯＮとした状態では、図５（ｃ）に示すように、画像表示部４からのＰ偏光の画像光を、液晶セル２１ａで偏光面を９０°回転させてＳ偏光として、複屈折板２２ａで画素シフトさせることなくそのまま透過させ、さらに液晶セル２１ｂをＳ偏光のまま透過させて、複屈折板２２ｂで垂直方向に半画素ピッチ分シフトする。これにより、画素シフト部５を透過した後の観察画素位置を、透過前の画素位置１〜４から、垂直方向に半画素ピッチずれた画素位置１−Ｃ〜４−Ｃとして、画像を表示する。

さらに、液晶セル２１ａをＯＮ、液晶セル２１ｂをＯＦＦとした状態では、図５（ｄ）に示すように、画像表示部４からのＰ偏光の画像光を、液晶セル２１ａで偏光面を回転させることなく透過させて、複屈折板２２ａで水平方向に半画素ピッチ分シフトし、さらに液晶セル２１ｂで９０°回転させてＳ偏光として、複屈折板２２ｂで垂直方向に半画素ピッチ分シフトする。これにより、画素シフト部５を透過した後の観察画素位置を、透過前の画素位置１〜４から、水平および垂直方向に半画素ピッチずれた画素位置１−Ｄ〜４−Ｄとして、画像を表示する。

また、タイミングジェネレータ９は、画素シフト制御部７から画素シフト部５へ供給される制御信号に同期し、かつフィールドＡ、フィールドＢ、フィールドＣおよびフィールドＤで読出し位置が異なるように、撮像素子１からの画像信号の出力タイミングを制御する。

このようにして、読出し制御部６により、図６に示すように、１９２０×１０８０画素の撮像素子１から４点画素シフトの画素位置に応じて、各フレームを画素位置Ａに対応するフィールドＡ、画素位置Ｂに対応するフィールドＢ、画素位置Ｃに対応するフィールドＣ、および画素位置Ｄに対応するフィールドＤの空間的位相および時間的位相の異なる４フィールドに分割して、各フィールドの画像信号を読み出す。すなわち、図７にフィールドＡ〜Ｄの空間的位相関係を示すように、フィールドＡ〜Ｄにおいて、同時化を行った各画素の重心が空間的にそれぞれ１／２位相ずれるように、撮像素子１の読出し位置を異ならせて読み出す。したがって、各フィールドの画素数は、９６０×５４０画素となる。

なお、本実施の形態では、撮像素子１の各フレームにおいて、画素シフト部５による画像表示部４の観察画素位置を、図５において、画素位置Ａ，Ｂ，Ｄ，Ｃの順に右回りでシフトするため、フィールドＡ、フィールドＢ、フィールドＤおよびフィールドＣの順序で読出し位置を異ならせて、その順序で撮像素子１から読出す。

撮像素子１から順次読み出される各フィールドの画像信号は、第１実施の形態と同様にして、画像処理部２で処理して画像データを生成し、その画像データを、画像出力部３により画像表示部４の画素数に適したサイズのサブフィールドの画像データに変換して、画素シフト部５による４点画素シフト動作に同期したタイミングで画像表示部４へ出力する。これにより、各フレームにおいて、順次に読み出されるフィールドＡに対応するサブフィールドＡの画像を図５（ａ）に示した画素位置Ａに、フィールドＢに対応するサブフィールドＢの画像を図５（ｂ）に示した画素位置Ｂに、フィールドＤに対応するサブフィールドＤの画像を図５（ｄ）に示した画素位置Ｄに、フィールドＣに対応するサブフィールドＣの画像を図５（ｃ）に示した画素位置Ｃに、４点画素シフトにより表示する。

図８は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態においても、第１実施の形態と同様、撮像素子のフレームデータをフレームメモリに一旦格納することなく、画像表示部４および画素シフト部５を制御しながら、撮像素子１の読出し位置を制御して、撮像素子１の各フレームをフィールド単位で読出して、画素シフトして表示するので、図８に示すように、撮像から表示までの遅延時間を、１フィールド内に短縮することができる。しかも、本実施の形態では、撮像素子１の各フレームを読出し位置の異なる４フィールドに分割して、各フィールドを順次読出して４点画素シフトして表示するので、第１実施の形態の２点画素シフトを行う場合よりも、画像の空間的解像度および動解像度をより高くできる。

（第３実施の形態）
本発明の第３実施の形態では、図１に示す構成において、第２実施の形態と同様に、撮像素子１の各フレームについて、４点画素シフトを行うものであるが、読出し制御部６は撮像素子１をインターレースして２フィールドに分割して画像信号を読出し、その２フィールドの読出し位置は、タイミングジェネレータ９により異ならせる。その後、画像処理部２および画像出力部３において、各フィールドの画像データを列間引きするとともに、画像表示部４の画素数に適したサイズに変換して２つのサブフィールドの画像データを生成する。これにより、各フレームについて、画素シフト部５による４点画素シフトの画素位置に対応するサブフィールドＡ、サブフィールドＢ、サブフィールドＤおよびサブフィールドＣの画像データを順次生成して、画像表示部４および画像シフト部５により４点画素シフトして表示する。

すなわち、図９に示すように、１９２０×１０８０画素の撮像素子１の各フレームを、４点画素シフトの画素位置Ａ，Ｂに対応する奇数行からなるフィールドＡＢと、画素位置Ｃ，Ｄに対応する偶数行からなるフィールドＣＤとに分割して、各フィールドの画像信号を順次読み出す。したがって、この場合の各フィールドの画素数は、１９２０×５４０画素となる。

その後、撮像素子１から順次読み出される空間的位相および時間的位相の異なる各フィールドの画像信号を、画像処理部２で処理して画像データを生成し、その画像データを、画像出力部３により画像表示部４の画素数に適したサイズのサブフィールドの画像データに変換する。

その際、フィールドＡＢの画像データについては、例えばフィールドメモリに一旦格納して、列間引き読出しを行って、それぞれ９６０×５４０画素からなる画素位置Ａに対応するサブフィールドＡの画像データと、画素位置Ｂに対応するサブフィールドＢの画像データとを順次生成し、これらサブフィールドＡおよびサブフィールドＢの画像データを、画像出力部３により画像表示部４の画素数に適したサイズに変換して、画素シフト部５による画素シフト動作に同期したタイミングで画像表示部４へ順次出力する。

同様に、フィールドＣＤの画像データについても、例えばフィールドメモリに一旦格納して、列間引き読出しを行って、それぞれ９６０×５４０画素からなる画素位置Ｄに対応するサブフィールドＤの画像データと、画素位置Ｃに対応するサブフィールドＣの画像データとを順次生成し、これらサブフィールドＤおよびサブフィールドＣの画像データを、画像出力部３により画像表示部４の画素数に適したサイズに変換して、画素シフト部５による画素シフト動作に同期したタイミングで画像表示部４へ順次出力する。

図１０は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態によれば、撮像素子１の読出しについては、第１実施の形態と同様に、撮像素子１の各フレームをインターレースによるフィールド単位で順次読出し、その後、各フィールドの画像データを列間引きして、各フレームについて、４点画素シフトに対応する４つのサブフィールドの画像データを生成して順次表示するので、図１０に示すように、撮像から表示までの遅延時間を、上記実施の形態と同様に、１フィールド内に短縮することができる。また、表示画像の空間的解像度については、１フレームで４点画素シフトを行うので、第２実施の形態と同様の空間的解像度を得ることができ、動解像度については、各フレームの２つのフィールドＡＢおよびフィールドＣＤの読出し位置が異なるので、第１実施の形態と同様の動解像度を得ることができる。

（第４実施の形態）
本発明の第４実施の形態では、図１に示す構成において、第３実施の形態と同様に、撮像素子１の各フレームをフィールドＡＢおよびフィールドＣＤに分割して読み出すが、本実施の形態では、図１１に示すように、フィールドＡＢを連続して２回読出し、その後、フィールドＣＤを、同様に連続して２回読み出す。

そして、最初に読出したフィールドＡＢの画像データを列間引きして、画素シフト部５による４点画素シフトの画素位置Ａに対応するサブフィールドＡの画像データを生成し、２回目に読出したフィールドＡＢの画像データを列間引きして４点画素シフトにおける画素位置Ｂに対応するサブフィールドＢの画像データを生成する。同様に、最初に読出したフィールドＣＤの画像データを列間引きして４点画素シフトにおける画素位置Ｄに対応するサブフィールドＤの画像データを生成し、２回目に読出したフィールドＣＤの画像データを列間引きして４点画素シフトにおける画素位置Ｃに対応するサブフィールドＣの画像データを生成する。

このようにして、各フレームについて、画素シフト部５による４点画素シフトの画素位置に対応するサブフィールドＡ、サブフィールドＢ、サブフィールドＤおよびサブフィールドＣの画像データを順次生成して、画像表示部４および画像シフト部５により４点画素シフトして表示する。

図１２は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態によれば、撮像から表示までの遅延時間を、ほぼ１フィールド（＝１／４フレーム）に短縮することができる。また、それぞれ読出し位置が異なる４つのフィールドから表示用の４つのサブフィールドの画像データを得るので、第２実施の形態と同様の動解像度を得ることができる。

（第５実施の形態）
本発明の第５実施の形態においては、図１に示す構成において、撮像素子１をベイヤー配列の色フィルタアレイを有する４０９６×２４００画素で構成し、この撮像素子１の各フレームを、第２実施の形態と同様に、読出し位置、すなわち空間的位相および時間的位相の異なる４フィールドに分割して読出し、その読出した４フィールドをＲ，Ｇ，Ｂ各１０２４×６００の画素数を有する画像表示部４を用いて、４点画素シフトして表示する。

このため、本実施の形態では、図１３に示すように、撮像素子１のベイヤー配列の２×２画素（ここでは、Ｒ，ＧＲ，ＧＢ，Ｂ）をブロックとして、撮像素子１の各フレームを、４点画素シフトに応じて、画素位置Ａに対応するフィールドＡ、画素位置Ｂに対応するフィールドＢ、画素位置Ｃに対応するフィールドＣ、および画素位置Ｄに対応するフィールドＤの４フィールドに分割して、各フィールドの画像信号を読み出す。したがって、各フィールドの画素数は、２０４８×１２００画素となる。

撮像素子１から順次読み出される各フィールドの画像信号は、画像処理部２で処理してベイヤー配列の各ブロックからＲ，Ｇ，Ｂのカラー情報を含んだ同時化画像データを生成し、その画像データを、画像出力部３により画像表示部４の画素数に適したサイズのサブフィールドの画像データに変換して、画素シフト部５による４点画素シフト動作に同期したタイミングで画像表示部４へ出力する。したがって、この場合の各サブフィールドの画素数は、（１０２４×６００）画素となる。ここで、同時化とは、同じ画素位置にＲ，Ｇ，Ｂのカラー情報を持つデータを生成することを意味する。

図１４は、本実施の形態によるＲＧＢ画像生成時の画素空間位相の関係を示しており、図１５は、ＲＧＢ画像の各フィールドの空間位置関係を示している。図１４および図１５から明らかなように、本実施の形態では、フィールドＡ〜Ｄにおいて、同時化を行った各画素の重心が空間的にそれぞれ１／２位相がずれるように、撮像素子１の読出し位置を異ならせて読み出す。なお、ここでは、同時化を２×２画素で行っているが、７×７画素などを１ブロックとしてもよい。

本実施の形態においても、撮像素子１の各フレームにおいて、画素シフト部５による画像表示部４の画素位置を、図５において、画素位置Ａ，Ｂ，Ｄ，Ｃの順に右回りでシフトするため、フィールドＡ、フィールドＢ、フィールドＤおよびフィールドＣの順序で読出し位置を異ならせて、その順序で撮像素子１から読出す。画素位置Ａ，Ｂ，Ｃ，Ｄの順にシフトする場合には、フィールドＡ，Ｂ，Ｃ，Ｄの順に撮像素子１から読み出す。

これにより、第２実施の形態と同様にして、各フレームにおいて、順次に読み出されるフィールドＡに対応するサブフィールドＡの画像を図５（ａ）に示した画素位置Ａに、フィールドＢに対応するサブフィールドＢの画像を図５（ｂ）に示した画素位置Ｂに、フィールドＤに対応するサブフィールドＤの画像を図５（ｄ）に示した画素位置Ｄに、フィールドＣに対応するサブフィールドＣの画像を図５（ｃ）に示した画素位置Ｃに、４点画素シフトにより表示する。

図１６は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態によれば、第２実施の形態と同様に、撮像素子１の各フレームを読出し位置の異なる４フィールドに分割して、各フィールドを順次読出して４点画素シフトして表示するので、撮像から表示までの遅延時間を、１フィールド内に短縮することができるとともに、表示画像の空間的解像度および動解像度を高くできる。

（第６実施の形態）
本発明の第６実施の形態では、図１に示す構成において、第５実施の形態と同様に、ベイヤー配列の色フィルタアレイを有する４０９６×２４００画素の撮像素子１を用い、各フレームを読出し位置の異なる４フィールドに分割して読出して、Ｒ，Ｇ，Ｂ各１０２４×６００の画素数を有する画像表示部４を用いて、４点画素シフトして表示するものであるが、本実施の形態では、読出し制御部６により、撮像素子１から４点画素シフトの各画素位置に応じたフィールドの画像信号を読み出す際に、水平ラインを１／４に間引いて、４０９６×６００画素を読み出す。

例えば、図１７に示すように、４点画素シフトの画素位置Ａおよび画素位置Ｂに対応するフィールドＡおよびフィールドＢでは、（１＋８ｎ）番目の水平ラインおよび（４＋８ｎ）番目の水平ラインを読出し、画素位置Ｃおよび画素位置Ｄに対応するフィールドＣおよびフィールドＤでは、（３＋８ｎ）番目の水平ラインおよび（６＋８ｎ）番目の水平ラインを読み出す（ただし、ｎは０を含む正の整数）。

また、画像処理部２では、撮像素子１から読み出されたフィールドＡの画像信号については、（１＋８ｎ）番目の垂直ラインおよび（４＋８ｎ）番目の垂直ラインの画素信号を抜き出して、ベイヤー配列を構成する隣接する２×２画素（８×８画素等でも可）を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ２×２の同時化画像データを生成する。この際、水平方向については、近傍の同色の画素データ毎に加算したり、間引きしたりして、１０２４×６００画素のサブフィールドＡの同時化画像データを生成する。すなわち、図１７に模式的に示すように、破線で示す４×４画素からなるブロックの４隅の２×２画素（ＧＲ，Ｂ，Ｒ，ＧＢ）、６×４画素からなるブロックの４隅の２×２画素（Ｒ，ＧＢ，ＧＲ，Ｂ）、４×６画素からなるブロックの４隅の２×２画素（Ｂ，ＧＲ，ＧＢ，Ｒ）、６×６画素からなるブロックの４隅の２×２画素（ＧＢ，Ｒ，Ｂ，ＧＲ）、をそれぞれ１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ２×２の同時化画像データを生成する。なお、各ブロックの画素は、隣接するブロックの画素と重複している。また、低感度の場合には、隣接する同色の画素を加算して、Ｒ，ＧＢ，ＧＲ，Ｂを１ブロックとして生成する。

同様に、撮像素子１から読み出されたフィールドＢの画像信号については、（３＋８ｎ）番目の垂直ラインおよび（６＋８ｎ）番目の垂直ラインの画素信号を抜き出し、フィールドＡの場合と同様にして、ベイヤー配列を構成する隣接する２×２画素を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素のサブフィールドＢの２×２の同時化画像データを生成する。

また、撮像素子１から読み出されたフィールドＣの画像信号については、フィールドＡの場合と同様に、（１＋８ｎ）番目の垂直ラインおよび（４＋８ｎ）番目の垂直ラインの画素信号を抜き出し、フィールドＡの場合と同様にして、ベイヤー配列を構成する隣接する２×２画素を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素のサブフィールドＣの２×２の同時化画像データを生成する。

同様に、撮像素子１から読み出されたフィールドＤの画像信号については、フィールドＢの場合と同様に、（３＋８ｎ）番目の垂直ラインおよび（６＋８ｎ）番目の垂直ラインの画素信号を抜き出し、フィールドＡの場合と同様にして、ベイヤー配列を構成する隣接する２×２画素を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素のサブフィールドＤの２×２の同時化画像データを生成する。

すなわち、フィールドＡ〜Ｄにおいて、同時化を行った各画素の重心が、空間的にそれぞれ１／２位相がずれるように、撮像素子１の読出し位置を異ならせて読み出す。なお、図１７には、フィールドＡ〜Ｄにおいて、同時化を行った各画素の重心を実線○印で示すとともに、フィールドＣには、空間的位相のずれを明瞭に示すために、他のフィールドＡ，Ｂ，Ｄにおける各画素の重心を破線○印で示している。

以上のようにして生成した４点画素シフトの各画素位置に対応する画像データは、画像出力部３により必要に応じて画像表示部４の画素数に適したサイズに変換して、画素シフト部５による４点画素シフト動作に同期したタイミングで画像表示部４へ出力する。

なお、本実施の形態においても、撮像素子１の各フレームにおいて、画素シフト部５による画像表示部４の画素位置を、図５において、画素位置Ａ，Ｂ，Ｄ，Ｃの順に右回りでシフトするため、フィールドＡ、フィールドＢ、フィールドＤおよびフィールドＣの順序で読出し位置を異ならせて、その順序で撮像素子１から読出す。

これにより、第２実施の形態と同様にして、各フレームにおいて、順次に読み出されるフィールドＡに対応するサブフィールドＡの画像を図５（ａ）に示した画素位置Ａに、フィールドＢに対応するサブフィールドＢの画像を図５（ｂ）に示した画素位置Ｂに、フィールドＤに対応するサブフィールドＤの画像を図５（ｄ）に示した画素位置Ｄに、フィールドＣに対応するサブフィールドＣの画像を図５（ｃ）に示した画素位置Ｃに、４点画素シフトにより表示する。

図１８は、本実施の形態による撮像表示装置の動作を示すタイミングチャートである。本実施の形態によれば、第２実施の形態と同様に、撮像素子１の各フレームを読出し位置の異なる４フィールドに分割して、各フィールドを順次読出して４点画素シフトして表示するので、撮像から表示までの遅延時間を、１フィールド内に短縮することができるとともに、表示画像の空間的解像度および動解像度を高くできる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、図１では、画素シフト部５を、液晶セルと複屈折板とを用いて、画像表示部４の各画素の光軸を光学的にシフトするように構成したが、例えば圧電素子を用いて画像表示部４自体を変位させることにより、画像表示部４の各画素の光軸をシフトさせるように構成することもできる。

また、図１において、画像出力部３は、画像処理部２からの画像データを間引きして画像表示部４の画素数に合わせる場合に限らず、画像処理部２からの画像データの画素数と画像表示部４の画素数とが異なる場合には、拡大や縮小などの画素処理を施したり、画素選択により最適な画素数となるような処理を行ったりして、画像表示部４の画素数に適したサイズに変換することもできる。

さらに、第２実施の形態〜第６実施の形態において、４点画素シフトを行う場合の画素シフト順序は、図５において、画素位置Ａ、画素位置Ｂ、画素位置Ｄ、画素位置Ｃの順序に限らず、任意の順序で行うことができ、そのシフト順序に応じて撮像素子１の各フィールドの読出し位置を異ならせて読出したり、撮像素子１の読出しに応じてシフト順序を制御したりすることができる。

また、第６実施の形態においては、空間的に位相がずれた画像データを簡易的に取得するため、フィールドＡ，ＢとフィールドＣ，Ｄとで、読出し位置（水平ライン）を異ならせたが、同じ読出し位置の画像信号を読出し、その後、サブフィールドＡ〜Ｄを生成する際に、画像処理によって空間的に位相がずれたデータを取得することもできる。また、読出し位置（水平ライン）から選択する画素も、解像度や色感度が最適となるように選択したり、解像度を犠牲にして色感度がアップするように加算処理を行うことで、画素シフト画像が最適な状態となるように選択したりすることができる。したがって、図１７において、各フィールドにおけるブロックの分け方も、所望の解像度や色感度に応じて設定できるとともに、ＲＧＢ画像を生成するために各ブロックから選択する画素も、２×２の４画素に限らず、４×４の１６画素や、７×７の４９画素などとすることもできる。

さらに、第６実施の形態においては、画像処理部２で各フィールドのＲＧＢ画像データを生成する際に、水平方向に間引き処理を施すことなく、画像出力部３にて画像表示部４に適した画素数となるように間引き処理を施すこともできる。さらに、画像処理部２にて加算処理や間引き処理を行わずに、各フィールドのＲＧＢ画像データを生成し、画像出力部３で画像表示部４に適した画素数となるように間引き処理を施すこともできる。

また、第６実施の形態においては、撮像素子１の画素数と、画像表示部４におけるＲＧＢ画像の画素数との比を、水平方向および垂直方向ともに４対１としたが、撮像素子１の読出しラインを選択したり、間引き処理を変更したりすることにより、６対１などの画素数比とすることもできる。また、ＬＣＤなどの汎用の表示器を用いてＲＧＢ画像を表示する場合は、ＲＧＢ画像を取得する際、例えばデモザイキング処理などの画像処理を行う際に、リサイズ処理を追加して、ＲＧＢ画像の画素数を所望の画素数とすることができる。

さらに、本発明は、画素ずらしに応じて撮像素子の読出しを制御する場合に限らず、撮像素子の読出しに応じて画素ずらしを制御することもできる。また、撮像素子の１フレームで取得する読出し位置の異なるフィールドの画像信号は、撮像素子にて各フィールドに対応する光学像を、露光タイミングをずらして撮像し、その後、撮像素子から１フレームの画像信号を一括して読出してから、各フィールドの画像信号を取得するようにすることもできる。

さらにまた、本発明に係る撮像表示装置の他の実施の形態として、例えば、上述した第２実施の形態〜第６実施の形態の機能を搭載し、表示解像度や消費電力に応じてユーザにより所望の機能を選択させたり、電池残量に応じて所定の機能を自動的に選択したりするように構成することもできる。また、この場合、４点画素シフトに限らず、４点画素シフトにおける任意の２点の画素位置への２点画素シフトを選択的に行い得るように構成することもできる。さらに、カラー撮像素子は、Ｒ，Ｇ，Ｂベイヤ配列に限らず、例えば、Ｒ，Ｇ，Ｂデルタ配列、Ｒ，Ｇ，Ｂストライプ配列、Ｒ，Ｇ，Ｂ，エメラルドＧ配列等のカラー撮像素子を用いる場合でも、本発明を有効に適用することができる。

本発明の第１実施の形態に係る撮像表示装置の要部の構成を示すブロック図である。 第１実施の形態における画素シフト部の構成および動作を示す図である。 第１実施の形態における撮像素子の読出し動作を説明する図である。 第１実施の形態の撮像表示動作を示すタイミングチャートである。 第２実施の形態における画素シフト部の構成および動作を示す図である。 第２実施の形態における撮像素子の読出し動作を説明する図である。 第２実施の形態におけるフィールドＡ〜Ｄの空間的位相関係を示す図である。 第２実施の形態の撮像表示動作を示すタイミングチャートである。 第３実施の形態における撮像素子の読出し動作を説明する図である。 第３実施の形態の撮像表示動作を示すタイミングチャートである。 第４実施の形態における撮像素子の読出し動作を説明する図である。 第４実施の形態の撮像表示動作を示すタイミングチャートである。 第５実施の形態における撮像素子の読出し動作を説明する図である。 第５実施の形態におけるＲＧＢ画像生成時の画素空間位相の関係を示す図である。 第５実施の形態におけるＲＧＢ画像の各フィールドの空間位置関係を示す図である。 第５実施の形態の撮像表示動作を示すタイミングチャートである。 第６実施の形態における撮像素子の読出し動作を説明する図である。 第６実施の形態の撮像表示動作を示すタイミングチャートである。 画素ずらしを行う従来の表示装置の構成を示すブロック図である。 図１９に示した表示装置をデジタルカメラのＥＶＦに適用した場合の動作を示すタイミングチャートである。

符号の説明

１ 撮像素子
２ 画像処理部
３ 画像出力部
４ 画像表示部
５ 画素シフト部
６ 読出し制御部
７ 画素シフト制御部
８ システム制御部
９ タイミングジェネレータ
１１ 液晶セル
１２ａ，１２ｂ 複屈折板
２１ａ，２１ｂ 液晶セル
２２ａ，２２ｂ 複屈折板

Claims (11)

1. 光学像を光電変換する撮像素子から、読出し位置の異なる複数のフィールドの画像信号を取得し、これら複数のフィールドの画像信号を、画素ずらししながら画像表示部に表示することを特徴とする撮像表示方法。
2. 前記フィールドの画像信号の画素数を変換して、前記画像表示部に表示することを特徴とする請求項１に記載の撮像表示方法。
3. 前記読出し位置の異なる複数のフィールドの画像信号は、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御して取得することを特徴とする請求項１または２に記載の撮像表示方法。
4. 光学像を光電変換する撮像素子と、
   前記撮像素子の読出し位置を制御する読出し制御部と、
   前記撮像素子から読み出された画像信号を処理する画像処理部と、
   前記画像処理部から出力される画像信号を表示する画像表示部と、
   前記画像表示部に表示される画像の観察画素位置をシフトさせる画素シフト部と、
   前記画素シフト部を制御する画素シフト制御部と、
   前記撮像素子で光電変換される画像信号を、前記画像表示部および前記画素シフト部により画素ずらしして表示するように、前記読出し制御部および前記画素シフト制御部を制御するシステム制御部と、
   を有することを特徴とする撮像表示装置。
5. 前記画像処理部から出力される画像信号の画素数を変換して、前記画像表示部に供給する画像出力部を有することを特徴とする請求項４に記載の撮像表示装置。
6. 前記画像出力部は、前記画像処理部から出力される画像信号から画素を間引いて、画素数を変換することを特徴とする請求項５に記載の撮像表示装置。
7. 前記画像出力部は、前記画像処理部から出力される画像信号の画素を選択して、画素数を変換することを特徴とする請求項５に記載の撮像表示装置。
8. 前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御するタイミングジェネレータを有することを特徴とする請求項４〜７のいずれか一項に記載の撮像表示装置。
9. 前記タイミングジェネレータは、前記画素シフト制御部による前記画素シフト部の制御に同期して、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御することを特徴とする請求項８に記載の撮像表示装置。
10. 前記タイミングジェネレータは、前記撮像素子から同じフィールドの画像信号を複数回出力するように、前記撮像素子の露光タイミングおよび／または前記撮像素子からの画像信号の出力タイミングを制御することを特徴とする請求項８に記載の撮像表示装置。
11. 光学像を光電変換する撮像素子から、空間的位相および時間的位相の異なる複数のフィールドの画像信号を取得し、これら複数のフィールドの画像信号を、空間的位相および時間的位相に応じて画素ずらししながら画像表示部に表示することを特徴とする撮像表示方法。

Images