JP2009164770A - 撮像表示装置 - Google Patents

Abstract

【課題】小型かつ安価にできるとともに、表示画像の解像度を低下させることなく、撮像素子の撮像フレームレートを高くできる撮像表示装置を提供する。
【解決手段】光学系11により形成される光学像を光電変換する撮像素子12と、画像情報を表示する表示素子20と、撮像素子12から画像情報を順次読み出す読出し制御部14と、読出し制御部14により撮像素子12から順次読み出される画像情報から、表示素子20で表示する画像情報を選択する画像選択部17とを有し、読出し制御部14は、表示素子20の順次の表示フレームに対応する撮像素子12の順次の読出し期間で、空間的に異なる画像情報を含むように、撮像素子12の読出しを制御し、画像選択部17は、順次の表示フレームで、撮像素子12から読み出される空間的に異なる画像情報を選択することを特徴とする。
【選択図】図１

Description

本発明は、撮像素子で撮像して得られる画像情報を表示素子に表示する撮像表示装置に関するものである。

従来、撮像表示装置として、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサからなる撮像素子を備えたデジタルカメラが広く普及している。デジタルカメラは、撮像素子により光学像を撮像し、その撮像画像をＬＣＤ等の表示素子にスルー画像として表示し、レリーズボタン等の押下に応答して、撮像画像を静止画や動画としてメモリカード等の記録媒体に記録するようにしている。

ここで、一般に、表示素子の画素数は、撮像素子の画素数と比較して、非常に少ない。このため、表示素子にスルー画像を表示するにあたっては、撮像素子の画素を間引いて読み出したり、画素情報を加算処理したりして、表示素子の画素数に合わせるようにしている。

ところで、デジタルカメラには、一般に、ＡＦ（Auto Focus）機能やＡＥ（Auto Exposure）機能が付いているものが多い。ここで、ＡＦ方式には、位相差検出方式やコントラスト検出方式等が知られているが、特に、コントラスト検出方式を採用する場合には、撮像素子の撮像フレームレートが低いと、ＡＦに時間がかかることになる。

このような問題を解決する一方法として、例えば、図１２に示すように、表示素子の表示フレームレート６０ｆｐｓに対し、撮像素子の撮像フレームレートを２倍の１２０ｆｐｓとして、撮像素子の順次の撮像フレームにおいて、撮像素子から、空間的に垂直方向に異なる画像情報、例えば、奇数ライン（ＯＤＤ）の画像情報と偶数ライン（ＥＶＥＮ）の画像情報とを間引いて読出し、これら順次の画像情報を用いてＡＦ処理およびＡＥ処理を行い、表示素子には、１フレーム毎に画像情報を間引いて、インターレース方式で表示することが考えられる。

また、他の方法として、２つの撮像素子を設け、ＡＦ処理時には、一方の撮像素子を用いてＡＦ処理を行い、他方の撮像素子を用いて表示素子にスルー画像を表示するようにした撮像装置が知られている（例えば、特許文献１参照）。

特開２００７−９７０３３号公報

しかしながら、図１２の場合には、表示素子にＯＤＤまたはＥＶＥＮの一方の画像情報しか表示できないため、垂直方向の解像度が低下することになる。

これに対し、特許文献１に開示の撮像装置では、２つの撮像素子を設けて、ＡＦ処理時には、一方の撮像素子をＡＦ処理に用い、他方の撮像素子は画像表示に用いるようにしているので、一方の撮像素子はＡＦ処理に適した撮像フレームレートで駆動できるとともに、他方の撮像素子は表示素子の表示フレームレートに適した撮像フレームレートで駆動することができる。したがって、ＡＦを短時間で行うことが可能になるとともに、表示素子に表示する画像の解像度低下も防止することが可能となる。

しかし、この撮像装置の場合には、２つの撮像素子を設けるため、それに伴って撮像素子の読出し制御部も独立して必要となり、装置が大型化するとともに、コストアップを招くことが懸念される。

したがって、かかる点に鑑みてなされた本発明の目的は、小型かつ安価にできるとともに、表示画像の解像度を低下させることなく、撮像素子の撮像フレームレートを高くできる撮像表示装置を提供することにある。

上記目的を達成する請求項１に係る撮像表示装置の発明は、
光学系により形成される光学像を光電変換する撮像素子と、
画像情報を表示する表示素子と、
前記撮像素子から画像情報を順次読み出す読出し制御部と、
該読出し制御部により前記撮像素子から順次読み出される画像情報から、前記表示素子で表示する画像情報を選択する画像選択部とを有し、
前記読出し制御部は、前記表示素子の順次の表示フレームに対応する前記撮像素子の順次の読出し期間で、空間的に異なる画像情報を含むように、前記撮像素子の読出しを制御し、
前記画像選択部は、順次の表示フレームで、前記撮像素子から読み出される空間的に異なる画像情報を選択する、
ことを特徴とするものである。

請求項２に係る発明は、請求項１に記載の撮像表示装置において、
前記読出し制御部は、前記表示素子の順次の表示フレームに対応する前記撮像素子の順次の読出し期間で、少なくとも垂直方向に空間的に異なる画像情報を含むように、前記撮像素子の読出しを制御することを特徴とするものである。

請求項３に係る発明は、請求項１または２に記載の撮像表示装置において、
前記撮像素子から順次読み出される画像情報を処理して前記光学系を合焦制御する合焦制御部をさらに有することを特徴とするものである。

本発明によれば、１つの撮像素子を用い、該撮像素子からの画像情報の読出しを適切に制御して、順次の表示フレームで、空間的に異なる画像情報を選択して表示するようにしたので、小型かつ安価にできるとともに、表示画像の解像度を低下させることなく、撮像素子の撮像フレームレートを高くすることができる。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。この撮像表示装置は、撮像光学系１１、撮像素子１２、システム制御部１３、読出し制御部１４、ＡＥ処理部１５、ＡＦ処理部１６、画像処理部１７、レンズ制御部１８、出力制御部１９、表示素子２０、および各部の動作を制御するタイミングジェネレータ２１を有している。

図１において、図示しない被写体の光学像は、撮像光学系１１により撮像素子１２上に形成して光電変換する。撮像素子１２は、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを用いて構成する。ここでは、撮像素子１２は、ベイヤ配列のカラーフィルタを有する単板のＣＭＯＳセンサ（例えば、画素数４０９６×２４００）で構成する。

撮像素子１２は、タイミングジェネレータ２１からのタイミング信号に基づいて、露光タイミングおよび／または画像情報（画像信号）の出力タイミングを制御して撮像フレームレートを制御するとともに、システム制御部１３を介して読出し制御部１４により画素の読出し位置を制御して、所要の読出しモードで画像情報を読出す。この撮像素子１２から読み出される画像情報は、内蔵する図示しない処理部において、相関二重サンプリング（ＣＤＳ）、ゲイン制御（ＡＧＣ）、Ａ／Ｄ変換等の所要の処理を行って、デジタルの撮像情報として、ＡＥ処理部１５、ＡＦ処理部１６および画像処理部１７へ供給する。

ＡＥ処理部１５は、入力された画像情報から明るさ成分を検出し、その検出結果に基づいて、撮像画像が適切な明るさとなるように、システム制御部１３を介してタイミングジェネレータ２１により、撮像素子１２の露光時間を制御する。

また、ＡＦ処理部１６は、入力された画像情報に基づいて撮像画像のコントラストを算出し、その算出結果に基づいて、コントラストが高くなるように、レンズ制御部１８を介して撮像光学系１１を駆動して、撮像素子１２上に被写体像を合焦状態で結像させる。したがって、本実施の形態では、ＡＦ処理部１６およびレンズ駆動部１８を含んで、撮像光学系１１を合焦制御する合焦制御部を構成している。

画像処理部１７は、撮像素子１２から読み出された画像情報から、表示素子２０で表示する画像情報を選択する画像選択部も構成するもので、タイミングジェネレータ２１からのタイミング信号に基づいて、選択した撮像画像に対して、デモザイキング、エッジ強調、リサイズ、歪み補正、色・階調補正等の各種の画像処理を実行して、画像処理した画像情報を、出力制御部１９に転送する。また、特に図示しないが、画像処理部１７は、ＪＰＥＧ圧縮処理部等も備えており、レリーズボタン等の操作に基づいて、本露光した静止画や動画を処理して、記録媒体に書き込み保存するように制御する。

出力制御部１９は、画像処理部１７からの画像情報を、必要に応じて表示素子２０の画素数に適したサイズやフレームレートに変換して、タイミングジェネレータ２１からのタイミング信号に基づいて、表示素子２０に表示する。

表示素子２０は、バックライトが必要な透過型のＬＣＤや反射型のＬＣＯＳ、あるいは自発光タイプのＥＬ素子を用いることができるが、ここでは、透過型のＬＣＤ（例えば、１０２４×６００）を用いるものとする。この表示素子２０に表示された画像は、図示しないが、例えば視度調整可能なファインダタイプの接眼光学系を経て観察者により観察することができる。

なお、図１において、システム制御部１３、ＡＥ処理部１５、ＡＦ処理部１６、画像処理部１７、出力制御部１９およびタイミングジェネレータ２１は、ＣＰＵを用いて構成することができる。

本実施の形態では、図２に要部のタイミングチャートを示すように、例えば、撮像素子１２の撮像フレームレートが、表示素子２０の表示フレームレートの２倍の場合、スルー画像の表示においては、読出し制御部１４により、撮像素子１２から、順次の２つの撮像フレームでは画像情報Ａ１，Ａ２を間引きして読み出し、次の順次の２つの撮像フレームでは、画像情報Ａ１，Ａ２に対して空間的に垂直方向に異なる画像情報Ｂ１，Ｂ２を間引きして読み出す。ここで、画像情報Ａ１，Ａ２は、空間的に水平方向に異なっていても、同一であってもよい。同様に、画像情報Ｂ１，Ｂ２も、空間的に水平方向に異なっていても、同一であってもよい。以後、これら順次の４つの撮像フレームを１周期として、同様に繰り返し読み出す。

すなわち、本実施の形態では、表示素子２０の順次の表示フレームに対応する撮像素子１２の順次の読出し期間、例えば、図２において、表示フレームＡ１に対応する撮像フレーム１，２を含む期間と、表示フレームＢ１に対応する撮像フレーム３，４を含む期間とで、空間的に垂直方向に異なる画像情報を含むように画像情報を読み出すようにしている。

この撮像素子１２から読み出された画像情報は、ＡＥ処理部１５およびＡＦ処理部１６に供給して、ＡＥ処理およびＡＦ処理に供するとともに、画像処理部１７に供給する。画像処理部１７は、撮像素子１２からの画像情報を１フレーム毎に間引いて画像情報Ａ１と画像情報Ｂ１とを交互に選択し、その選択した画像情報Ａ１，Ｂ１を順次画像処理して、出力制御部１９を経て表示素子２０に供給する。

これにより、表示素子２０には、表示フレームに同期して、撮像素子１２の１つ置きの撮像フレームにおいて画像情報Ａ１に対応する画像情報Ａと、画像情報Ｂ１に対応する画像情報Ｂとが交互にインターレース方式で表示されることになる。ここで、画像情報Ａ３と画像情報Ｂ３との関係は、画像情報Ａ１と画像情報Ｂ１との空間的な関係と同等であるように読み出している例を示している。そして、画像情報Ａ１と画像情報Ａ３、画像情報Ｂ１と画像情報Ｂ３とは、それぞれ異なるデータである。

図３は、この場合の撮像素子１２からの画像情報の読出し、および画像処理部１７での画像処理の一例を説明するための図である。ここでは、撮像素子１２として、ベイヤー配列の色フィルタアレイを有する４０９６×２４００画素のＣＭＯＳセンサを用い、表示素子２０として、Ｒ，Ｇ，Ｂ各１０２４×６００画素の透過型ＬＣＤを用いる。

図３では、撮像素子１２から画像情報Ａ１，Ａ２，Ｂ１，Ｂ２を読み出す際、撮像素子１２の垂直ラインを１／４に間引いて、４０９６×６００画素を読み出す。例えば、画像情報Ａ１，Ａ２は、（１＋８ｎ）番目の水平ラインおよび（４＋８ｎ）番目の水平ラインを読出し、画像情報Ｂ１，Ｂ２は、（３＋８ｎ）番目の水平ラインおよび（６＋８ｎ）番目の水平ラインを読み出す（ただし、ｎは０を含む正の整数）。

また、画像処理部１７では、選択した画像情報Ａ１については、（１＋８ｎ）番目の垂直ラインおよび（４＋８ｎ）番目の垂直ラインの画素信号を抜き出して、ベイヤー配列を構成する隣接する２×２画素（８×８画素等でも可）を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ２×２の同時化画像データを生成する。この際、水平方向については、近傍の同色の画素データ毎に加算したり、間引きしたりして、１０２４×６００画素の画像情報Ａ′を生成する。すなわち、図３に模式的に示すように、破線で示す４×４画素からなるブロックの４隅の２×２画素（ＧＲ，Ｂ，Ｒ，ＧＢ）、６×４画素からなるブロックの４隅の２×２画素（Ｒ，ＧＢ，ＧＲ，Ｂ）、４×６画素からなるブロックの４隅の２×２画素（Ｂ，ＧＲ，ＧＢ，Ｒ）、６×６画素からなるブロックの４隅の２×２画素（ＧＢ，Ｒ，Ｂ，ＧＲ）、をそれぞれ１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ２×２の同時化画像データを生成する。なお、各ブロックの画素は、隣接するブロックの画素と重複している。また、低感度の場合には、隣接する同色の画素を加算して、Ｒ，ＧＢ，ＧＲ，Ｂを１ブロックとして生成する。

同様に、選択した画像情報Ｂ１については、（１＋８ｎ）番目の垂直ラインおよび（４＋８ｎ）番目の垂直ラインの画素信号を抜き出し、画像情報Ａ１の場合と同様にして、ベイヤー配列を構成する隣接する２×２画素を１組として、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素の２×２の同時化画像データ（画像情報Ｂ′）を生成する。

すなわち、選択した画像情報Ａ１，Ｂ１において、同時化を行った各画素の重心が、表示素子２０において空間的に垂直方向に１／２位相（１／２画素ピッチ）ずれるように、撮像素子１２の読出し位置を異ならせて読み出す。なお、図３には、画像情報Ａ１，Ｂ１において、同時化を行った各画素の重心を実線○印で示すとともに、画像情報Ｂ１には、空間的位相のずれを明瞭に示すために、画像情報Ａ１における各画素の重心を破線○印で示している。なお、上記例では、１／２位相ずれるように読み出したが、２／５位相や１／３位相などずらして読み出しても、全くずらさないより解像度を上げることができる。

以上のようにして生成した画像情報Ａ′，Ｂ′は、出力制御部１９において、表示素子２０でインターレース方式で表示する画素数に適したサイズとなるように、間引きや加算・平均等の処理により垂直ラインを１／２（１０２４×３００）として、表示素子２０に出力し、これにより表示素子２０にインターレース方式で表示する。

本実施の形態によれば、１つの撮像素子１２を用いる小型かつ安価な構成で、撮像フレームレートを高速にしてＡＦを高速に行うことができるとともに、撮像素子１２の読出し位置を適切に制御して、表示素子２０の順次の表示フレームで、撮像素子１２により異なる撮像フレームで撮像され、かつ空間的に垂直方向に異なる画像情報をインターレース方式で表示するようにしたので、表示画像の垂直方向の解像度および動解像度を向上することができる。

なお、以上の説明では、画像処理部１７において、画像情報Ａ１と画像情報Ｂ１とを交互に選択して表示するようにしたが、図４に示すように、画像情報Ａ２と画像情報Ｂ２とを交互に選択して表示するようにしてもよい。この場合には、画像処理部１７において、図３に示す画像情報Ａ２，Ｂ２の各々について、（３＋８ｎ）番目の垂直ラインおよび（６＋８ｎ）番目の垂直ラインの画素信号を抜き出して、同様にして、ベイヤー配列を構成する隣接する２×２画素を１組とする、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素の２×２の同時化画像データを生成する。

また、画像処理部１７において、図５に示すように、表示フレームに同期して撮像素子１２からの画像情報を全て選択し、その選択した画像情報を加算や平均化処理して表示素子２０に表示するようにしてもよい。

さらに、読出し制御部１４により撮像素子１２から読み出す画像情報は、表示素子２０の順次の表示フレームに対応する撮像素子１２の順次の読出し期間で、空間的に異なる画像情報を含めばよいので、例えば、図２において、表示フレームＡ１に対応する撮像フレーム１，２を含む期間では、画像情報Ａ１，Ｂ１を順次間引きして読み出し、表示フレームＢ１に対応する撮像フレーム３，４を含む期間では、画像情報Ｂ１，Ａ１を順次間引きして読み出して、表示素子２０には、１フレーム毎に間引いて画像情報Ａ１と画像情報Ｂ１とを交互に選択して表示するようにしてもよい。

以上、撮像素子１２の撮像フレームレートが、表示素子２０の表示フレームレートの２倍の場合について説明したが、撮像素子１２の撮像フレームレートが、表示素子２０の表示フレームレートの３倍以上の場合も同様にして制御すればよい。例えば、撮像素子１２の撮像フレームレートが、表示素子２０の表示フレームレートの３倍の場合には、図６に示すように、読出し制御部１４により、撮像素子１２から、６つの撮像フレームを１周期として、順次の３つの撮像フレームでは、例えば画像情報Ａ１，Ａ２，Ａ３を間引きして読み出し、次の順次の３つの撮像フレームでは、画像情報Ａ１，Ａ２，Ａ３と空間的に垂直方向に異なる画像情報Ｂ１，Ｂ２，Ｂ３を間引きして読み出して、表示素子２０には、２フレーム毎に間引いた画像情報Ａ１と画像情報Ｂ１とを交互に選択したり、表示フレーム対応する３つの撮像フレームの画像情報を選択して、加算や平均化処理して表示すればよい。

もちろん、この場合においても、表示素子２０の順次の表示フレームにおいて、撮像素子１２の異なる撮像フレームにおける空間的に異なる画像情報を表示すればよいので、例えば、図６において、表示フレームＡ１に対応する撮像フレーム１，２，３を含む期間では、同一読出し位置による画像情報Ａ１，Ａ１，Ａ１を順次間引きして読み出し、表示フレームＢ１に対応する撮像フレーム４，５，６を含む期間では、画像情報Ａ１とは空間的に異なる同一読出し位置による画像情報Ｂ１，Ｂ１，Ｂ１を順次間引きして読み出したり、表示フレームＡ１に対応する期間では、画像情報Ａ１，Ｂ１，Ｂ１を順次間引きして読み出し、表示フレームＢ１に対応する期間では、画像情報Ｂ１，Ａ１，Ａ１を順次間引きして読み出したり、する等、種々の読出し制御が可能である。

（第２実施の形態）
図７は、本発明の第２実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。この撮像表示装置は、図１に示した構成において、表示素子２０に画像情報をプログレッシブ方式で表示するとともに、画素シフト部３１および画素シフト制御部３２を設けて、表示素子２０に表示される表示画像を画素シフトして、擬似的に高解像度化を図ったものである。

画素シフト部３１は、画素シフト制御部３２による制御に基づいて、表示フレームに同期して、表示素子２０の画素の表示位置を光学的にシフトさせるように構成する。また、画素シフト制御部３２は、タイミングジェネレータ２１からのタイミング信号に基づいて、システム制御部１３により制御する。

本実施の形態では、画素シフト制御部３２により画素シフト部３１を制御して、表示素子２０の表示画素位置を、表示フレームに同期して、シフトしない元の画素位置と、水平および垂直方向にそれぞれ空間的に半画素ピッチ分シフトした斜め方向の画素位置との２点画素シフトを行うようにする。

このため、画素シフト部３１は、図８に示すように、液晶セル４１と、２枚の複屈折板４２ａ，４２ｂとにより構成する。液晶セル４１は、例えば、ＴＮ液晶や強誘電性液晶等により構成して、電圧を印加したオン状態では、入射光を、偏光方向を維持したまま透過させ、電圧を印加しないオフ状態では、入射光を、偏光方向を９０度回転させて透過させるようにする。

また、２枚の複屈折板４２ａ，４２ｂは、例えば、水晶、ニオブ酸リチウム、ルチル、方解石、チリ硝石等の異方性結晶により構成して、例えば、Ｐ偏光の入射光に対しては、複屈折板４２ａにより画素位置を水平方向に半画素ピッチ分シフトさせ、さらに複屈折板４２ｂにより画素位置を垂直方向に半画素ピッチ分シフトさせるようにし、Ｓ偏光の入射光に対しては、画素シフトを行うことなく、そのまま透過させるようにする。

このようにして、例えば、表示素子２０から液晶セル４１に入射する画像光の偏光面が水平方向（Ｐ偏光）にあるとすると、図８（ａ）に示すように、画素シフト制御部３２により液晶セル４１をオフとした状態では、表示素子２０からの画像光の偏光面を、液晶セル４１で９０°回転させて垂直方向（Ｓ偏光）とし、これにより液晶セル４１に入射する画像光の各画素１〜４の観察画素位置を、複屈折板４２ａ，４２ｂでシフトすることなく透過させて、それぞれ画素位置１−Ａ〜４−Ａとする。

これに対し、図８（ｂ）に示すように、画素シフト制御部３２により液晶セル４１をオンとした状態では、表示素子２０からの画像光の偏光面を、液晶セル４１で回転することなく、Ｐ偏光のまま透過させ、これにより、複屈折板４２ａで画素位置を水平方向に半画素ピッチ分シフトし、さらに複屈折板４２ｂで画素位置を垂直方向に半画素ピッチ分シフトして、液晶セル４１に入射する画像光の各画素１〜４の観察画素位置を、画素シフト部３１でそれぞれ斜め方向の画素位置１−Ｂ〜４−Ｂにシフトする。なお、図８（ａ）および（ｂ）では、図面を明瞭とするため、表示素子２０の４画素を示している。

図９は、本実施の形態に係る撮像表示装置の要部の動作を示すタイミングチャートで、図２と同様に、撮像素子１２の撮像フレームレートが、表示素子２０の表示フレームレートの２倍の場合を示している。この場合、撮像素子１２からは、図２の場合と同様に、順次の２つの撮像フレームでは画像情報Ａ１，Ａ２を間引きして読み出し、次の順次の２つの撮像フレームでは、画像情報Ａ１，Ａ２に対して空間的に垂直方向に異なる画像情報Ｂ１，Ｂ２を間引きして読み出す。

撮像素子１２から読み出された画像情報は、ＡＥ処理部１５およびＡＦ処理部１６に供給して、ＡＥ処理およびＡＦ処理に供するとともに、画像処理部１７に供給して、１フレーム毎に間引いて画像情報Ａ１と画像情報Ｂ１とを交互に選択し、その選択した画像情報Ａ１，Ｂ１を順次画像処理して、出力制御部１９を経て表示素子２０に供給して、プログレッシブ方式で表示する。

また、画素シフト部３１の液晶セル４１は、画素シフト制御部３２により、画像情報Ａ１に基づく画像情報Ａを表示する際はオフとして、表示素子２０の画素位置をシフトしない元の画素位置Ａに表示し、画像情報Ｂ１に基づく画像情報Ｂを表示する際はオンとして、表示素子２０の画素位置を斜め方向にシフトした画素位置Ｂに表示する。

図１０は、この場合の撮像素子１２からの画像情報の読出し、および画像処理部１７での画像処理の一例を説明するための図である。図３の場合と同様に、読出し制御部１４は、撮像素子１２から画像情報Ａ１，Ａ２，Ｂ１，Ｂ２を順次に読み出す。また、画像処理部１７は、画像情報Ａ１，Ｂ１を選択し、画像情報Ａ１については、図３の場合と同様に画像処理して画像情報Ａ′を生成するが、画像情報Ｂ１については、画像情報Ａ′に対して、表示素子２０の画素ピッチで、空間的に水平方向および垂直方向に半画素ピッチずれた斜め方向にシフトした画像情報Ｂ′を生成するように画像処理する。

このため、画像情報Ｂ１については、（３＋８ｎ）番目の垂直ラインおよび（６＋８ｎ）番目の垂直ラインの画素信号を抜き出して、同様にして、ベイヤー配列を構成する隣接する２×２画素を１組とする、Ｒ，Ｇ，Ｂのカラー情報を含んだ１０２４×６００画素の２×２の同時化画像データを生成する。なお、図１０には、画像情報Ａ１，Ｂ１において、同時化した各画素の重心を実線○印で示すとともに、画像情報Ｂ１には、空間的位相のずれを明瞭に示すために、画像情報Ａ１における各画素の重心を破線○印で示している。

このようにして生成した画像情報Ａ′，Ｂ′は、出力制御部１９でサイズを変更することなく表示素子２０に出力して、斜め方向に画素シフトしながらプログレッシブ方式で表示する。

したがって、本実施の形態によれば、第１実施の形態の場合と比較して、水平および垂直方向の解像度を向上することができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、図３および図１０では、撮像素子１２から、水平方向については４０９６画素の全てを読み出すようにしたが、例えば、図１１に示すように、水平方向についても、画素間引きや画素加算、あるいは平均することにより、１０２４×６００のベイヤー配列の画像情報として読み出し、画像処理部１７において選択した画像情報を、１０２４×６００のＲＧＢ画像に処理することもできる。

また、第２実施の形態では、斜め方向の２点画素シフトを行うようにしたが、水平方向に２点画素シフト、垂直方向に２点画素シフト、あるいは、水平および垂直方向に合計４点画素シフトするように構成することもできる。なお、４点画素シフトを行う例として、撮像フレームレートを表示フレームレートに対して２倍とした場合、撮像素子１２からの画像情報の読出し周期を、例えば、図３において、画像情報Ａ１，Ａ２，Ｂ１，Ｂ２の各々を連続２フレーム読み出す８フレームとする。連続２フレーム読み出すとしたが、表示に用いる画像情報が空間的にそれぞれ異なる画像情報Ａ１，Ａ２，Ｂ１，Ｂ２であれば、その他間引くフレームは、それぞれ画像情報Ａ１，Ａ２，Ｂ１，Ｂ２である必要はない。また、画像処理部１７においては、入力画像情報を１フレーム毎に間引いて画像情報Ａ１，Ａ２，Ｂ１，Ｂ２を順次選択して画像処理することにより、空間的に水平および垂直方向に異なる４種類の画像情報を順次生成して表示素子２０にプログレッシブ方式で表示し、その表示素子２０の画素位置を、４点シフト用の画素シフト部により、表示フレームに同期して水平および垂直方向に４点画素シフトして表示する。

さらに、撮像素子１２から読み出す空間的に異なる画像情報は、上記実施の形態に限らず、例えば、撮像素子１２の奇数ラインによる画像情報と、偶数ラインによる画像情報とにすることもできる。

本発明の第１実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。 図１に示す撮像表示装置の要部の動作を示すタイミングチャートである。 第１実施の形態による画像情報の読出しおよび画像処理の一例を説明するための図である。 第１実施の形態の第１変形例を示すタイミングチャートである。 第１実施の形態の第２変形例を示すタイミングチャートである。 第１実施の形態の第３変形例を示すタイミングチャートである。 本発明の第２実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。 図７に示す画素シフト部の一例の構成および動作を示す図である。 図７に示す撮像表示装置の要部の動作を示すタイミングチャートである。 第２実施の形態による画像情報の読出しおよび画像処理の一例を説明するための図である。 本発明に係る撮像表示装置による画像情報読出しの変形例を説明するための図である。 従来の技術を説明するためタイミングチャートである。

符号の説明

１１ 撮像光学系
１２ 撮像素子
１３ システム制御部
１４ 読出し制御部
１５ ＡＥ処理部
１６ ＡＦ処理部
１７ 画像処理部
１８ レンズ制御部
１９ 出力制御部
２０ 表示素子
２１ タイミングジェネレータ
３１ 画素シフト部
３２ 画素シフト制御部
４１ 液晶セル
４２ａ，４２ｂ 複屈折板

Claims (3)

1. 光学系により形成される光学像を光電変換する撮像素子と、
   画像情報を表示する表示素子と、
   前記撮像素子から画像情報を順次読み出す読出し制御部と、
   該読出し制御部により前記撮像素子から順次読み出される画像情報から、前記表示素子で表示する画像情報を選択する画像選択部とを有し、
   前記読出し制御部は、前記表示素子の順次の表示フレームに対応する前記撮像素子の順次の読出し期間で、空間的に異なる画像情報を含むように、前記撮像素子の読出しを制御し、
   前記画像選択部は、順次の表示フレームで、前記撮像素子から読み出される空間的に異なる画像情報を選択する、
   ことを特徴とする撮像表示装置。
2. 前記読出し制御部は、前記表示素子の順次の表示フレームに対応する前記撮像素子の順次の読出し期間で、少なくとも垂直方向に空間的に異なる画像情報を含むように、前記撮像素子の読出しを制御することを特徴とする請求項１に記載の撮像表示装置。
3. 前記撮像素子から順次読み出される画像情報を処理して前記光学系を合焦制御する合焦制御部をさらに有することを特徴とする請求項１または２に記載の撮像表示装置。

Images