JP2009159067A - 撮像表示方法および撮像表示装置 - Google Patents

Abstract

【課題】ライブビュー時において動画像を自然な動きで表示でき、フレーミングを容易にできる撮像表示方法および撮像表示装置を提供する。
【解決手段】被写体の明るさに応じて撮像素子１２の撮像フレームレートを変更しながら、被写体を撮像素子１２により撮像して、撮像素子１２から得られる撮像画像を表示素子２４に表示するにあたり、撮像フレームレートに応じて表示素子２４の表示フレームレートを設定するとともに、撮像フレームレートおよび表示フレームレートに応じて、撮像素子１２からの撮像画像の出力タイミングと表示素子２４による撮像画像の表示タイミングとの位相差を調整しながら、撮像素子１２による撮像画像を表示素子２４に表示する。
【選択図】図１

Description

本発明は、撮像表示方法および撮像表示装置に関するものである。

従来、撮像表示装置として、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサからなる撮像素子を備えたデジタルカメラが広く普及している。デジタルカメラは、撮像素子により画像を撮像し、その撮像画像をＬＣＤ等の表示素子にライブビューとして表示し、レリーズボタンの押下に応答して撮像画像を、静止画や動画としてメモリカード等の記録媒体に記録するようにしている。

このようなデジタルカメラには、一般に、ＡＦ（Auto Focus）機能やＡＥ（Automatic Exposure）機能が付いているものが多い。また、ＡＥ機能を有するデジタルカメラには、ライブビュー時にも、撮像画像を適正な明るさで表示素子に表示するように、ＡＥ機能により撮像フレームレートを制御するようにしたものもある。

ところで、ＡＦ方式には、位相差検出方式やコントラスト検出方式等が知られているが、例えばコントラスト検出方式を採用する場合には、撮像素子の撮像フレームレートが低いと、ＡＦに時間がかかるだけでなく、ライブビュー時において、表示素子に表示する撮像画像の更新レートも低くなり、動画像を自然な動きで表示できなくなる。なお、表示画像は、人間が検知するものであるから、表示フレームレートをある程度以上にしても、あまり意味はなく、一般には、（撮像フレームレート）≧（表示フレームレート）、の関係としている。

ここで、撮像フレームレートを高める方法としては、例えば、特許文献１に開示されているように、撮像素子の一部領域の画素を高速に読み出すことが知られている。この方法を採用すれば、コントラスト検出方式によるＡＦを高速に行うことが可能となる。

しかしながら、特許文献１に開示の方法にあっては、撮像素子と表示素子とを非同期で動作させている。このため、ライブビュー時においては、撮像素子で撮像した画像を、表示素子に表示するまでの遅延時間が一定にならず、その結果、動画像を自然な動きで表示できず、フレーミングがしづらくなることが懸念される。

一方、特許文献２には、撮像素子と表示素子とを同期させて、撮像素子の垂直同期信号と表示素子の垂直同期信号とを一定間隔で保持しながら、撮像素子による撮像画像を表示素子に表示するようにした撮像表示装置が開示されている。この撮像表示装置によれば、撮像素子と表示素子とを同期させているので、撮像素子で撮像した画像を、表示素子に表示するまでの遅延時間を最小にすることが可能となる。

しかしながら、特許文献２に開示の撮像表示装置は、ＡＥ機能により撮像フレームレートを制御した場合については、何ら言及されていない。このため、例えば、図１５に示すように、撮像フレームレートを１２０fpsとし、表示フレームレートは撮像フレームレートに対して２／３の８０fpsとなるように、撮像垂直同期信号および表示垂直同期信号を設定した場合には、表示素子に表示される画像は、１／１２０secの撮像画像と、１／６０secの撮像画像とが交互に表示されることになって、撮像素子で撮像した画像を、表示素子に表示するまでの遅延時間が一定にならない。すなわち、表示フレームレートに応じた一定間隔毎の撮像画像が表示されない。このため、ライブビュー時においては、動画像を自然な動きで表示できなくなり、ユーザにとっては、フレーミングがしづらくなる。なお、図１５において、撮像画像および表示画像に示す数字は、撮像素子による便宜上の撮像画像番号（フレーム番号）を示している。

また、特許文献３には、撮像素子と再生系との同期を取りながら、撮像画像を再生する撮像表示装置が開示されている。この撮像表示装置では、再生系のタイミングに同期して撮像素子を駆動することにより、撮像素子と再生系とを同期させているが、ＡＥ中は、撮像素子と再生系とを非同期として、画像情報を更新せずに再生を行うことにより、画像の乱れを防止している。このため、再生系が表示素子を有する場合は、ＡＥ中の非同期時には、表示画像が更新されないことになる。その結果、ライブビュー時にＡＥ処理が行われると、画面更新がされないために、ライブビュー表示ができなくなり、ユーザにとっては、フレーミングがしづらくなることになる。

なお、特許文献４には、撮影シーンモードに応じて、撮像画像および表示画像の解像度、並びにフレームレートを変更するようにした撮像表示装置が開示されている。この撮像表示装置では、撮像画像および表示画像のビットレートを保ちつつ（帯域は一定）、それぞれのフレームレートを変更している。しかしながら、この特許文献４には、高速の被写体を撮像して表示するスポーツモードでは、撮像および表示のフレームレートを上げることは記載されているが、撮像画像が表示されるまでの遅延時間については、言及されていない。このため、撮像および表示のフレームレートの設定によっては、ライブビュー時において動画像を自然な動きで表示できず、フレーミングがしづらくなることが懸念される。

特開２００３−３２４６４４公報 特開２００６−１２９２７５公報 特開２００１−１９７３５９公報 特開２００５−８６４９９公報

上述した従来の撮像表示装置においては、ＡＥの結果によって、ライブビューの最中や、本露光からライブビューに復帰した際に撮像フレームレートが変わった場合の表示画像の遅延時間については何ら言及されていない。このため、ライブビュー時において動画像を自然な動きで表示できず、フレーミングがしづらくなるという問題がある。

したがって、かかる問題点に着目してなされた本発明の目的は、ライブビュー時において動画像を自然な動きで表示でき、フレーミングを容易にできる撮像表示方法および撮像表示装置を提供しようとするものである。

上記目的を達成する請求項１に係る撮像表示方法の発明は、被写体の明るさに応じて撮像素子の撮像フレームレートを変更しながら、前記被写体を前記撮像素子により撮像して、前記撮像素子から得られる撮像画像を表示素子に表示するにあたり、
前記撮像フレームレートに応じて前記表示素子の表示フレームレートを設定するとともに、前記撮像フレームレートおよび前記表示フレームレートに応じて、前記撮像素子からの撮像画像の出力タイミングと前記表示素子による撮像画像の表示タイミングとの位相差を調整しながら、前記撮像素子による撮像画像を前記表示素子に表示することを特徴とするものである。

さらに、上記目的を達成する請求項２に係る撮像表示装置の発明は、被写体の明るさに応じて撮像素子の撮像フレームレートを変更しながら、前記被写体を前記撮像素子により撮像して、前記撮像素子から得られる撮像画像を表示素子に表示する撮像表示装置において、
前記撮像フレームレートに応じて前記表示素子の表示フレームレートを設定する表示フレームレート設定部と、
前記撮像フレームレートおよび前記表示フレームレートに応じて、前記撮像素子からの撮像画像の出力タイミングと前記表示素子による撮像画像の表示タイミングとの位相差を調整しながら、前記撮像素子による撮像画像を前記表示素子に表示するように制御する制御部と、
を有することを特徴とするものである。

請求項３に係る発明は、請求項２に記載の撮像表示装置において、
前記表示フレームレート設定部は、前記表示フレームレートを前記撮像フレームレートの整数分の１に設定することを特徴とするものである。

請求項４に係る発明は、請求項２または３に記載の撮像表示装置において、
さらに、前記表示素子に表示される表示画像を画素ずらしする画素ずらし部を有することを特徴とするものである。

本発明によれば、撮像フレームレートに応じて表示フレームレートを設定するとともに、これら撮像フレームレートおよび表示フレームレートに応じて、撮像素子からの撮像画像の出力タイミングと表示素子による撮像画像の表示タイミングとの位相差を調整しながら、撮像素子による撮像画像を表示素子に表示するようにしたので、表示素子には、表示フレームレートに応じた一定間隔毎の撮像画像を、ほぼ一定の最小の遅延時間で表示することができる。したがって、ライブビュー時において、動画像を自然な動きで表示でき、フレーミングを容易に行うことが可能となる。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。この撮像表示装置は、撮像光学系１１、撮像素子１２、測距部１３、測光部１４、画像処理部１５、同期制御部１６、合焦制御部１７、レンズ駆動部１８、露光制御部１９、撮像素子制御部２０、メモリ制御部２１、メモリ２２、表示制御部２３、表示素子２４、およびクロック生成部２５を有している。

図１において、図示しない被写体の光学像は、撮像光学系１１により撮像素子１２上に形成して光電変換する。撮像素子１２は、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを用いて構成する。ここでは、撮像素子１２は、１枚のＣＭＯＳセンサ（例えば、画素数１２Ｍ）とベイヤ配列のカラーフィルタとを有する単板式で構成する。

撮像素子１２の出力は、図示しない内蔵する処理部において、相関二重サンプリング（ＣＤＳ）、ゲイン制御（ＡＧＣ）、Ａ／Ｄ変換等の処理を行って、デジタルの撮像画像として、撮像垂直同期信号、撮像水平同期信号および撮像クロックを含む撮像同期信号とともに、測距部１３、測光部１４および画像処理部１５に供給する。また、撮像素子１２からの撮像垂直同期信号は、同期制御部１６に供給する。

測距部１３および合焦制御部１７は、いわゆるＡＦ処理を行うもので、測距部１３により撮像画像のコントラストを算出し、その算出結果に基づいて、合焦制御部１７により、コントラストが高くなるように、レンズ駆動部１８を介して撮像光学系１１を駆動して、撮像素子１２上に被写体像を合焦状態で結像させる。

測光部１４および露光制御部１９は、いわゆるＡＥ処理を行うもので、測光部１４により撮像画像から明るさ成分を検出し、その検出結果に基づいて、撮像画像が適切な明るさとなるように、露光制御部１９により、撮像素子１２の撮像フレームレートを変更するとともに、変更した撮像フレームレートに応じて表示素子２４の表示フレームレートを設定して、それらの値を露光制御信号として、画像処理部１５、同期制御部１６、撮像表示制御部２０および表示制御部２３に供給する。したがって、本実施の形態では、露光制御部１９は、表示フレームレート設定部を構成している。

また、露光制御部１９は、測光部１４からの出力に基づいて、撮像素子１２の電子シャッタ値（シャッタ速度）やＡＧＣのゲインを制御する露光制御信号を生成して、撮像表示制御部２０に供給する。

画像処理部１５は、撮像素子１２から入力される撮像画像に対して、デモザイキング（ベイヤ画像をＲＧＢ画像にカラー化）、ＷＢ(ホワイトバランス)、エッジ強調、リサイズ（スケーリング：線形補間、バイキュービック、ＮＥＤＩ(New Edge-Directed Interpolation)、最近傍法）、歪み補正、色・階調補正等の各種の画像処理を実行する。この画像処理部１５による画像処理では、必要に応じて、露光制御部１９からの露光制御信号を用いるとともに、メモリ制御部２１を介してメモリ２２を使用する。

画像処理部１５で画像処理された撮像画像は、表示制御部２３に転送する。ここで、表示制御部２３に転送される撮像画像のサイズは、あらかじめ表示素子２４の画素数になるように画像処理部１５でリサイズされている。また、特に図示しないが、画像処理部１５は、ＪＰＥＧ圧縮処理部も備えており、レリーズボタンの操作に基づいて、本露光した撮像画像をＪＰＥＧ処理して、所望のメディア（コンパクトフラッシュ（登録商標）:ＣＦ、スマートメディア：ＳＤカード、ｘＤピクチャーカード等）に書き込み保存するように制御する。

撮像素子制御部２０は、同期制御部１６からの撮像用基準クロックおよび露光制御部１９からの露光制御信号に基づいて、撮像素子１２を設定された撮像フレームレートで駆動するのに必要な、撮像垂直同期信号、撮像水平同期信号および撮像クロックを含む上述した撮像同期信号を生成して、撮像素子１２に供給するとともに、露光制御部１９からの露光制御信号に基づいて、撮像素子１２の電子シャッタ値（シャッタ速度）やＡＧＣのゲインを制御する。

表示制御部２３は、同期制御部１６からの表示用基準クロックおよび露光制御部１９からの露光制御信号に基づいて、表示素子２４を設定された表示フレームレートで駆動するのに必要な、表示垂直同期信号、表示水平同期信号および表示クロックを含む表示同期信号を生成して、表示素子２４に供給するとともに、画像処理部１５からの撮像画像を、表示素子２４に応じて処理して、例えば、表示素子２４がＬＣＤからなる場合には、Ｖ−Ｔ（透過率特性）補正して、表示素子２４に供給する。また、表示制御部２３は、生成した表示垂直同期信号を、同期制御部１６に供給する。

表示素子２４は、バックライトが必要な透過型のＬＣＤや反射型のＬＣＯＳ、あるいは自発光タイプのＥＬ素子を用いて構成することができるが、ここでは透過型のＬＣＤ（例えば、ストライプ型ＶＧＡ）を用いて構成して、入力された撮像画像に応じて照明光を変調して画像を表示する。この表示素子２４に表示された画像は、図示しないが、例えば視度調整可能なファインダタイプの接眼光学系を経て観察者により観察することができる。

なお、表示素子２４は、図では省略しているが、無偏光の照明光を発光する、例えば、白色ＬＥＤやＲＧＢのＬＥＤからなるバックライトと、ＬＣＤの前後にクロスニコルで配置した偏光板とを有するとともに、必要に応じて照明光をＬＣＤに導く照明光学系を有している。

クロック生成部２５は、各部の基準タイミングのクロックを生成するもので、水晶発振器や水晶振動子等を用いて構成する。本実施の形態では、クロック生成部２５において、撮像素子１２により画像を撮像するための撮像用クロックと、表示素子２４により画像を表示するための表示用クロックと、全体の動作を制御するためのシステムクロックとを生成する。なお、これら撮像用クロック、表示用クロックおよびシステムクロックは、同じ水晶発振器を共用して作成してもよいし、互いに異なる３つの水晶発振器を使用して構成してもよいが、ここでは撮像用クロックと表示用クロックとのクロック源を異ならせて、撮像用クロックおよび表示用クロックを非同期で生成する。

同期制御部１６は、クロック生成部２５からのクロック、撮像素子１２からの撮像垂直同期信号、表示制御部２３からの表示垂直同期信号、および露光制御部１９からの露光制御信号に基づいて、撮像素子１２からの撮像画像の出力タイミングと表示素子２４による撮像画像の表示タイミングとの位相差を調整しながら、撮像素子１２による撮像画像を表示素子２４に表示するように、撮像素子制御部２０および表示制御部２３を含む各部を制御する。したがって、本実施の形態では、撮像素子制御部２０、表示制御部２３および同期制御部１６を含んで、制御部を構成している。

なお、測距部１３、測光部１４、画像処理部１５、同期制御部１６、合焦制御部１７、露光制御部１９、撮像素子制御部２０、メモリ制御部２１、表示制御部２３は、ＣＰＵやＦＰＧＡ，ＡＳＩＣ等を用いて構成することができる。

以下、本実施の形態について、さらに詳細に説明する。

図２は、撮像素子１２から同期制御部１６に入力される、撮像素子１２からの撮像画像の出力タイミングである撮像垂直同期信号と、表示制御部２３から同期制御部１６に入力される、表示素子２４による撮像画像の表示タイミングである表示垂直同期信号とを示す図である。図２において、符号Ａは、撮像垂直同期信号の周期、すなわち撮像フレームレートを示しており、符号Ｂは、表示垂直同期信号の周期、すなわち表示フレームレートを示しており、符号Ｃは、撮像素子１２による撮像画像が表示素子２４に表示されるまでの遅延時間を示している。本実施の形態では、遅延時間Ｃを短くするために、画像処理部１５および同期制御部１６において、以下の処理を行う。

すなわち、画像処理部１５では、撮像素子１２から入力されるベイヤ画像からカラー画像を作成するデモザイキング処理を、最低の撮像画像データ量にて開始する。つまり、１フレームのベイヤ画像が揃うまで待つことなく、撮像画像の数ラインを使用して、フィルタ処理を行うことによりデモザイキング処理を行う。これにより、遅延時間Ｃが、フレーム単位以上となるのを回避する。

また、同期制御部１６では、撮像垂直同期信号と表示垂直同期信号との位相差（遅延時間Ｃに相当）を検出して、位相差が、画像処理等を考慮して設定された値にほぼ一致するように制御する。すなわち、本実施の形態では、クロック生成部２５において、撮像用クロックおよび表示用クロックを異なるクロック源で生成しているため、位相差がほぼ一定となるように制御する。

具体的には、位相差が設定値よりも少ない場合は、例えば、表示垂直同期信号のブランキング時間を増やすように制御する。ここで、ブランキング時間を増やす方法としては、同期制御部１６から表示制御部２３に供給する表示用基準クロックを、ブランキング期間のみ分周回路やＰＬＬ回路等により遅くしたり、ビデオフォーマットとしてのブランキング時間を増やしたりする方法があるが、ここでは前者を実行する。また、位相差が設定値よりも多い場合は、逆に、同期制御部１６から表示制御部２３に供給する表示用基準クロックを速くして、表示垂直同期信号のブランキング時間を減らすように制御する。

このように、撮像垂直同期信号と表示垂直同期信号との位相差を検出して制御することにより、遅延時間Ｃを常にほぼ一定で最小にすることができる。なお、位相差を検出する場合、撮像垂直同期信号および表示垂直同期信号の周期が同じの場合には、両方の信号のエッジで検出し、表示垂直同期信号の周期が撮像垂直同期信号の周期の２倍である場合には、偶数番目の撮像垂直同期信号はマスクして、両方の信号のエッジで検出する。

次に、ＡＥ処理に基づく動作ついて、説明する。

ＡＥ処理においては、上述したように、露光制御部１９からの露光制御信号に基づいて、撮像画像が適切な明るさとなるように、撮像素子制御部２０を介して撮像素子１２の電子シャッタ値、ＡＧＣのゲイン、あるいは撮像フレームレートを制御するとともに、撮像素子１２の撮像フレームレートの制御に応じて、表示制御部２３により表示素子２４の表示フレームレートを制御する。ここでは、電子シャッタ値やＡＧＣのゲインを変更した場合には、撮像フレームレートは変更しないが、撮像フレームレートを変更した場合には、それに応じて電子シャッタ値も変更して露光時間を制御するようにしている。

本実施の形態では、ＡＥ処理によって、撮像素子１２の撮像フレームレートを、例えば、表１に示すように、モード１〜モード５の５段階に変更可能とする。また、表示素子２４の表示フレームレートは、撮像素子１２の撮像フレームレートに対して整数分の１に設定して、この表１に示すモード情報を露光制御部１９に格納しておく。

図３は、ＡＥ処理のフローチャートを示すものである。先ず、電源がオン（ＯＮ）された時点では、撮像素子１２および表示素子２４を、デフォルトのモード、ここではモード１で起動する（ステップＳ３１）。その後、測光部１４および露光制御部１９により測光が行なわれ（ステップＳ３２）、その結果、電子シャッタ値を変更する場合には（ステップＳ３３）、撮像素子１２の電子シャッタ値を変更し（ステップＳ３４）、ＡＧＣのゲインを制御する場合には（ステップＳ３５）、撮像素子１２のＡＧＣのゲインを変更する（ステップＳ３６）。

また、測光の結果、モードを変更する場合には（ステップＳ３７）、露光制御部１９においてモードを変更して（ステップＳ３８）、撮像素子制御部２０により撮像素子１２の撮像フレームレートを、変更したモードの撮像フレームレートとなるように制御するとともに、表示制御部２３により表示素子２４の表示フレームレートを、変更したモードの表示フレームレートとなるように制御する。さらに、モードを変更した場合には、モードに応じて電子シャッタ値も変更して（ステップＳ３９）、露光時間を制御する。

このように、本実施の形態では、ＡＥ処理によって、撮像素子１２の撮像フレームレートを、表１に示すように、モード１〜モード５の５段階に変更可能にするとともに、各モードにおける表示素子２４の表示フレームレートを、撮像素子１２の撮像フレームレートに対して整数分の１に設定したので、表示素子２４に表示フレームレートに応じた一定間隔毎の撮像画像を表示することができる。

例えば、モード２の場合には、撮像フレームレートが１８０fps、表示フレームレートが撮像フレームレートの１／２である９０fpsに設定されるので、表示素子２４に表示される撮像画像（表示画像）は、図４に示すように、ほぼ１／９０secの等間隔で（表示垂直同期信号の位相が調整されるため）、表示フレームレートに応じた一定間隔（１／９０sec）毎の撮像画像（図４では、奇数番目の撮像フレームの画像）が表示される。なお、図４において、撮像画像および表示画像に示す数字は、撮像素子１２による便宜上の撮像画像番号（フレーム番号）を示している。

したがって、本実施の形態によれば、図１５に示した従来の場合と比較して、動画像を自然な動きで表示することができる。なお、本実施の形態において、測光結果に基づく制御順番は、図３に示した、電子シャッタ値変更、ゲイン変更、モード変更の順序に限らず、任意に設定することができる。また、撮像フレームレートおよび表示フレームレートのモード情報は、表１に限らず、表示フレームレートが撮像フレームレートの整数分の１の関係を満たせば、例えば、撮像フレームレートが１２０fps、表示フレームレートが６０fpsのモードを設けたり、撮像フレームレートが４８０fps、表示フレームレートが２４０fpsのモードを設けたり、することもできる。ただし、フレームレートが高くなると消費電力も高くなるので、フレームレートは、電源バッテリとのバランスを考慮して設定するのが好ましい。

次に、本実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作について、図５に示すタイミングチャートを参照して説明する。

図５において、状態１は、レリーズボタンが全押しおよび半押しされずに開放されている状態で、撮像素子１２は２４０fps、表示素子２４は１２０fpsのモード１で動作しているライブビューの状態である。この状態１では、予め決められた遅延１の遅延時間をもって、撮像素子１２で撮像した画像を表示素子２４にで表示し、かつ、撮像垂直同期信号および表示垂直同期信号は、ほぼ一定の遅延時間を保つよう制御される。

次の状態２は、同じく、レリーズボタンが開放されているライブビューの状態である。しかし、この状態２では、ＡＥの結果により、撮像素子１２は１８０fps、表示素子２４は９０fpsのモード２で動作しており、予め決められた遅延１の遅延時間をもって、撮像素子１２で撮像した画像を表示素子２４に表示し、かつ、撮像垂直同期信号および表示垂直同期信号は、ほぼ一定の遅延時間を保つよう制御される。

次の状態３は、レリーズボタンが半押しされたライブビューの状態である。この状態３では、ＡＦ動作、本露光用の絞り制御等のＡＥ処理等が行われ、撮像素子１２および表示素子２４は、状態２と同様に、モード２で動作して、予め決められた遅延１の遅延時間をもって、撮像素子１２で撮像した画像を表示素子２４に表示し、かつ、撮像垂直同期信号および表示垂直同期信号は、ほぼ一定の遅延時間を保つよう制御される。また、この状態３では、撮像光学系１１は、合焦状態に制御され、レリーズボタンの全押し待機状態となる。

次の状態４は、レリーズボタンが全押しされた状態で、撮像光学系１１が合焦状態であれば本露光に移行して、静止画像を撮影している、いわゆる本露光中の状態である。この状態４では、露光時間がＡＥで決定された露光時間となって長くなるため、撮像垂直同期信号の周波数も低くなる。また、撮像素子１２から読み出す画素数もライブビュー時よりも多くため、撮像画像の読み出し時間も、ライブビュー時と比べて長くなる。

本実施の形態では、この本露光中の状態では、表示垂直同期信号をフリーランで生成して、表示素子２４に画像を表示する。つまり、撮像垂直同期信号および表示垂直同期信号は、遅延時間を考慮することなく動作させて、随時、表示を行う。

次の状態５は、レリーズボタンが開放された本露光後のライブビューの状態である。この状態５では、直前の状態４（本露光中）において、表示垂直同期信号をフリーランで動作させていたので、撮像垂直同期信号と表示垂直同期信号との間には、今までの遅延１とは異なる遅延２の遅延時間が生じることになる。

次の状態６は、同じく、レリーズボタンが開放されているライブビューの状態である。この状態６では、直前の状態５において、撮像垂直同期信号と表示垂直同期信号との間に生じていた遅延２を、遅延１に戻すようにブランキング時間を調整している。なお、図５では、次の表示フレームで、遅延２から遅延１に戻しているが、本露光からの復帰のタイミングが、ブランキング調整期間に入っていない場合には、数フレームかかる場合もある。また、この状態６では、撮像素子１２および表示素子２４が、モード２で動作し、撮像フレームレートが表示フレームレートの２倍となっているので、撮像素子１２による撮像画像を一つおきに間引いて表示素子２４に表示している。

なお、図５において、遅延１は、クロック生成部２５で生成する撮像用クロックと表示用クロックとのクロック源が異なるため、厳密にはフレーム毎に若干異なる。しかし、フレーム毎の遅延時間の差は、微少であり、遅延時間はほぼ一定と見做すことができるので、ここでは遅延１として表記している。また、メカシャッタ等による遅延は表記していない。

以上のように、本実施の形態によれば、非同期で生成される撮像用クロックおよび表示用クロックに基づく撮像垂直同期信号および表示垂直同期信号の位相差が、ほぼ一定で最小となるように、表示垂直同期信号の位相を制御するとともに、ＡＥ処理によって変更される撮像フレームレートに対して、表示フレームレートを撮像フレームレートの整数分の１に設定するようにしたので、表示素子２４には、表示フレームレートに応じた一定間隔毎の撮像画像を、ほぼ一定の最小の遅延時間で表示することができる。したがって、動画像を自然な動きで表示でき、フレーミングを容易にできる。しかも、ライブビュー時のＡＥ時にも表示素子２４に撮像画像を更新して表示するとともに、本露光中には、表示垂直同期信号をフリーランで生成して、表示素子２４に画像を表示するようにしたので、ライブビュー時のフレーミングや本露光後のフレーミングも容易にでき、直ちに撮影（レリーズ動作）に移行することが可能となる。

（第２実施の形態）
本発明の第２実施の形態では、図１に示した撮像表示装置において、同期制御部１６により、撮像垂直同期信号および表示垂直同期信号の位相差を検出して、その位相差がほぼ一定で最小となるように、撮像用基準クロックを制御して撮像垂直同期信号の位相を制御する。すなわち、上述した第１実施の形態では、撮像垂直同期信号と表示垂直同期信号との位相差がほぼ一定で最小となるように、表示垂直同期信号の位相を制御したが、本発明の第２実施の形態では、表示垂直同期信号の位相は制御せずに、撮像垂直同期信号の位相を制御して、撮像垂直同期信号と表示垂直同期信号の位相差を、ほぼ一定で最小とする。その他の構成および動作は、第１実施の形態と同様であるので、詳細な説明は省略する。

図６は、第２実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作を示すタイミングチャートで、図５に示した第１実施の形態におけるタイミングチャートに対応している。図６から明らかなように、本実施の形態の場合には、表示垂直同期信号を基準として、撮像垂直同期信号の位相を制御するので、本露光復帰後の状態５においても、撮像垂直同期信号と表示垂直同期信号との位相差、すなわち撮像素子１２の撮像画像が表示素子２４に表示されるまでの遅延時間は、遅延１となり、図５に示した遅延２は生じない。

したがって、撮像画像と表示画像との間の遅延時間が、遅延１のみとなるので、レリーズ動作を行って単写を繰り返す場合に、フレーミングがよりし易くなる利点がある。

（第３実施の形態）
本発明の第３実施の形態では、図１に示した撮像表示装置において、撮像フレームレートが表示フレームレートの２倍以上の整数倍である場合、撮像画像を間引くことなく、加算処理して表示する。

例えば、撮像フレームレートが表示フレームレートの２倍の場合、上述した実施の形態では、撮像素子１２による順次の撮像画像１，２，３,４，５,・・・から、画像処理部１５において奇数番目の撮像画像１，３，５,・・・を間引いて、表示素子２４に表示するようにしたが、本実施の形態では、画像処理部１５において間引き処理を行うことなく、順次の２つの撮像画像を加算処理して１つの表示画像を生成する。すなわち、２つの撮像画像１，２を加算処理して表示画像１を生成し、次の２つの撮像画像３，４を加算処理して表示画像２を生成し、次の２つの撮像画像５，６を加算処理して表示画像３を生成する。以下、同様にして、順次の２つの撮像画像を加算処理して１つの表示画像を生成する。

図７は、この場合の加算処理の動作を説明するためのフローチャートである。先ず、撮像画像を取得したら（ステップＳ７１）、奇数番目の撮像画像および偶数番目の撮像画像の各々について、各画素データの階調が中間の明るさ以上か否かを判定する。例えば、各画素データが８bitの「２５６」階調で表されている場合には、画素データが閾値「１２７」より大きいか否かを判定し（ステップＳ７２ａ,７２ｂ）、大きい場合には、加算によるオーバーフローを避けるため、当該画素データを１／２の階調として（ステップＳ７３ａ、７３ｂ）、加算用画素データとし（ステップＳ７４ａ，７４ｂ）、画素データが「１２７」以下の場合には、当該画素データをそのまま加算用画素データとして（ステップＳ７４ａ，７４ｂ）、奇数番目の撮像画像および偶数番目の撮像画像の対応する画素データを加算して（ステップＳ７５）、表示画像を生成する。

なお、撮像フレームレートが表示フレームレートの３倍の場合には、３つの撮像画像を加算処理することになるので、加算する各画素データの階調は、最大値の１／３以下として加算処理する。同様に、撮像フレームレートが表示フレームレートの４倍の場合には、加算する各画素データの階調は、最大値の１／４以下として加算処理する。その他の構成および動作は、第１実施の形態と同様であるので、詳細な説明は省略する。

このように、本実施の形態では、撮像フレームレートが表示フレームレートの２倍以上の整数倍である場合には、撮像素子１２による撮像画像を間引くことなく、加算処理して、表示素子２４に表示するようにしたので、上記実施の形態の場合と比較して、表示画像を明るくでき、Ｓ／Ｎを向上することができる。なお、この場合、撮像画像が表示されるまでに、１フレーム以上で最小の遅延時間を要することになるが、表示画像の更新周期は、ほぼ等間隔で、表示フレームレートに応じた一定間隔毎の撮像画像が加算されて表示されるので、動画像を自然に表示でき、フレーミングもし易くなる。

（第４実施の形態）
図８は、本発明の第４実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。この撮像表示装置は、図１に示した構成において、画素ずらし部３１および画素ずらし制御部３２を設けて、表示素子２４に表示される表示画像を画素ずらしすることにより、擬似的に高解像度化を図ったものである。

画素ずらし部３１は、偏光回転素子であるＴＮ液晶、強誘電性液晶などの液晶セルと、光路偏向素子である水晶、ニオブ酸リチウム、ルチル、方解石、チリ硝石、などの異方性結晶の複屈折板とを用いて構成したもの、アクチュエータやガルバノミラー、あるいはプリズムを用いて構成したもの、液晶のみを用いて、液晶分子の傾斜による複屈折によって入射する偏光の屈折角と変位する方向とを変化させるように構成したもの、が知られている。

本実施の形態では、画素ずらし部３１を、図９（ａ）および（ｂ）に示すように、ＴＮ液晶からなる液晶セル３５と、水晶からなる複屈折板３６とを用いて構成して、画素ずらし制御部３２により、液晶セル３５を選択的にオン・オフして、表示画像を縦方向に半画素ピッチずれた位置に２点画素ずらしするように構成する。ここで、複屈折板３６は、例えば、Ｐ偏光の入射光は、下方向に半画素ピッチ分、光線シフトして出射し、Ｓ偏光の入射光は、光線シフトすることなく、そのまま透過させるように、水晶の結晶軸を配置する。なお、画素ずらし量は、水晶の厚みにより調整する。

このようにして、表示素子２４から出射される画像光が、例えばＰ偏光とすると、図９（ａ）に示すように、液晶セル３５がオフ（ＯＦＦ）の場合、すなわち液晶セル３５に電圧を印加しない場合（例えば、０Ｖとした場合）には、Ｐ偏光の画像光を液晶セル３５でＳ偏光に変換することにより、複屈折板３６で光線シフトすることなく透過させて、表示素子２４による表示画像を、本来の画像位置ｘに表示する。

これに対し、図９（ｂ）に示すように、液晶セル３５がオン（ＯＮ）の場合、すなわち液晶セル３５に電圧を印加した場合（例えば、＋１６Ｖを印加した場合）には、Ｐ偏光の画像光を、Ｐ偏光のまま液晶セル３５を透過させることにより、複屈折板３６で下方向に光線シフトする。これにより、表示素子２４による表示画像を、本来の画像位置ｘから下方向に半画素ピッチずれた画像位置ｙに表示する。

また、本実施の形態では、上記の画素ずらしを、撮像素子１２による撮像画像のサンプリング位置によって制御するため、撮像画像のサンプリング位置を示す位置情報を、撮像素子１２から画像処理部１５および表示制御部２３を経て画素ずらし制御部３２に転送する。

以下、本実施の形態の動作について説明する。

上述したように、本実施の形態では、表示素子２４による表示画像を、画素ずらし部３１により縦方向に２点画素ずらしするため、撮像素子１２においては、撮像された画像から、空間的に縦に異なる画素をサンプリングして、撮像画像Ｘおよび撮像画像Ｙを読み出す。例えば、図１０（ａ）に示すように、撮像素子１２の水平ラインを、ｙ１，ｙ６，ｙ１３，ｙ１８，・・・のように間引いて撮像画像Ｘを読み出し、図１０（ｂ）に示すように、水平ラインを、ｙ４，ｙ９，ｙ１６，・・・のように間引いて撮像画像Ｙを読み出す。

撮像素子１２から読み出した撮像画像Ｘ，Ｙは、撮像素子１２からの位置情報に基づいて、画像処理部１５において、周辺画素を用いてベイヤ画像をＲＧＢ画像にカラー化する。これにより、撮像画像Ｘについては、図１０（ａ）に○印で示す位置を画素の重心位置とする、カラー化された撮像画像を生成し、撮像画像Ｙについては、図１０（ｂ）に○印で示す位置を画素の重心位置とする、カラー化された撮像画像を生成する。これらカラー化された撮像画像は、さらに画像処理部１５において、表示素子２４の画素数に合わせてスケーリングして、画像処理された撮像画像ｘ、ｙを生成する。

画像処理部１５で生成された撮像画像ｘは、撮像素子１２からの位置情報に基づいて、図９（ａ）に示すように、画素ずらし部３１の液晶セル３５をオフとすることにより、画像位置ｘに表示し、画像処理部１５で生成された撮像画像ｘは、撮像素子１２からの位置情報に基づいて、図９（ｂ）に示すように、画素ずらし部３１の液晶セル３５をオンとすることにより、画像位置ｙに表示する。

図１１は、本実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作を示すタイミングチャートである。このタイミングチャートは、図５に示した第１実施の形態におけるタイミングチャートに、液晶セル３５のオン・オフタイミングを付加したものである。

図１１において、撮像画像Ｘｎ，Ｘ′ｎ（ｎは自然数）は、同じ位置でサンプリングした画像で、上述した撮像画像Ｘであり、撮像画像Ｙｎ，Ｙ′ｎ（ｎは自然数）は、同じ位置でサンプリングした画像で、上述した撮像画像Ｙである。すなわち、図１１の場合には、撮像フレームレートが表示フレームレートの２倍で、画素ずらし部３１では、表示素子２４による表示画像を、表示垂直同期信号に同期して、画像位置ｘおよび画像位置ｙに交互に画素ずらしして表示することから、撮像素子１２では、撮像画像Ｘおよび撮像画像Ｙをそれぞれ連続して２回読み出すようにしている。その他の構成および動作は、第１実施の形態と同様であるので、詳細な説明は省略する。

なお、図１１においては、液晶セル３５のオン・オフのタイミングを、便宜上、表示垂直同期信号のタイミングに一致させているが、ＴＮ液晶は、オン・オフの応答時間を有しているとともに、その応答時間もオンからオフになる場合と、オフからオンになる場合とで異なることが知られている。したがって、実際には、これらの特性を考慮して、液晶セル３５をオン・オフさせるようにする。

本実施の形態によれば、図１に示した構成に、画素ずらし部３１および画素ずらし制御部３２を追加して、表示素子２４に表示される表示画像を２点画素ずらしするようにしたので、第１実施の形態の効果に加えて、高解像度化が図れるとともに、表示素子２４のブラックマトリクスを部分的に消去でき、表示画像の品質を向上することができる。

すなわち、図１２（ａ）に示すように、表示素子２４には、各画素２４ａの周辺に、トランジスタ等の電気回路が内蔵された部分を遮光したブラックマトリックス２４ｂが形成されている。なお、図１２では、各画素２４ａの開口率が２５％、ブラックマトリックス２４ｂが７５％で表記している。また、図１２では、図面を簡略化するため、４画素のみを図示している。

このような表示素子２４において、画素ずらしを行わない場合には、図１２（ａ）に示すように、ブラックマトリクス２４ｂは、観察者からみると黒として認識され、画素数も４画素のみとなる。これに対し、本実施の形態のように、縦方向に半画素ピッチ、画素ずらしすると、図１２（ｂ）に示すように、観察者から見ると、縦方向でブラックマトリクス２４ｂが消えているように見え、画素数も８画素に見える。なお、図１２（ｂ）において、斜線部は画素ずらしをしていないときの画素位置を示しており、白抜き部は画素ずらしをしたときの画素位置を示している。

（第５実施の形態）
本発明の第５実施の形態では、図８に示した撮像表示装置において、画素ずらし部３１を、斜め方向に２点画素ずらしするように構成する。

このため、画素ずらし部３１は、図１３（ａ）および（ｂ）に示すように、ＴＮ液晶からなる液晶セル３５と、水晶からなる２枚の複屈折板３６ａ，３６ｂとを用いて構成して、画素ずらし制御部３２により、液晶セル３５を選択的にオン・オフして、表示画像を縦・横方向に半画素ピッチずれた位置に２点画素ずらしするように構成する。

ここで、複屈折板３６ａは、例えば、Ｐ偏光の入射光は、下方向に半画素ピッチ分、光線シフトして出射し、Ｓ偏光の入射光は、光線シフトすることなく、そのまま透過させるように、水晶の結晶軸を配置する。また、複屈折板３６ｂは、例えば、Ｐ偏光の入射光は、横方向に半画素ピッチ分、光線シフトして出射し、Ｓ偏光の入射光は、光線シフトすることなく、そのまま透過させるように、水晶の結晶軸を配置する。

このようにして、表示素子２４から出射される画像光が、例えばＰ偏光とすると、図１３（ａ）に示すように、液晶セル３５がオフの場合には、Ｐ偏光の画像光を液晶セル３５でＳ偏光に変換することにより、複屈折板３６ａおよび複屈折板３６ｂでそれぞれ光線シフトすることなく透過させて、表示素子２４による表示画像を、本来の画像位置ｘに表示する。

これに対し、図１３（ｂ）に示すように、液晶セル３５がオンの場合には、Ｐ偏光の画像光を、Ｐ偏光のまま液晶セル３５を透過させることにより、複屈折板３６ａで下方向に光線シフトし、さらに、複屈折板３６ｂで横方向に光線シフトする。これにより、表示素子２４による表示画像を、本来の画像位置ｘから下方向および横方向にそれぞれ半画素ピッチずれた斜めの方向の画像位置ｙに表示する。

また、撮像素子１２は、図１０（ａ）および（ｂ）に示したように、撮像画像Ｘおよび撮像画像Ｙを読み出す。ここで、撮像素子１２が、（４０９６×３０７２）の１２Ｍの画素数を有するものとすると、撮像素子１２から画像処理部１５に入力される撮像画像Ｘ，Ｙは、それぞれ図１４（ａ）に示すように、（１０２４×５１２）画素数となる。

画像処理部１５では、図１４（ａ）に示す撮像画像に対して、撮像画像Ｘ，Ｙを横方向にずらすため、図１４（ｂ）に示すように、撮像画像Ｘについては、斜線で示す右端の１列の画像情報を除いた撮像画像ＸからＲＧＢの同時化（カラー化）を行い、撮像画像Ｙについては、斜線で示す左端の１列の画像情報を除いた撮像画像Ｙからカラー化を行う。その後、カラー化した撮像画像Ｘ，Ｙを、表示素子２４の画素数に合わせてスケーリングして、図１４（ｃ）に示すように、ＶＧＡ（６４０×４８０）の表示画像ｘ、ｙを生成し、表示画像ｘは画素ずらしすることなく表示素子２４に表示し、表示画像ｙは斜め方向に画素ずらしを行って表示素子２４に表示する。

ここで、表示画像ｘと表示画像ｙとは、互いに横方向に空間的にずれており、撮像素子１２から読み出される表示画像ｘ，ｙの元となるカラー化された撮像画像Ｘ，Ｙは、縦方向にずれているので、表示画像ｘと表示画像ｙとは、斜めに画像がずれたものとなる。なお、厳密には、撮像素子１２の読み出しは、縦方向については、画素ずらしピッチ（０．５画素ずらし）になるように読み出されているが、横方向については、（６４０／（１０２４−１）≒０．６、ずれていることになる。しかし、横方向の誤差は、僅かであるので、横方向シフト用の複屈折板３６ｂによる光線シフト量を半画素分に設定しても、何ら問題はない。したがって、本実施の形態においても、第４実施の形態と同様の効果を得ることができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、撮像素子１２は、単板式に限らず、ＲＧＢに対応する３板式で構成することもできる。また、ＡＦは、コントラスト検出方式に限らず、位相差検出方式で行うように構成することもできるし、ＡＦ機能を省略して、マニュアルでフォーカスさせるように構成することもできる。また、上記実施の形態では、撮像素子１２による撮像画像を用いてＡＥ処理を行うようにしたが、ＡＥセンサを設けてＡＥ処理を行うように構成することもできる。

また、撮像素子１２による撮像画像が表示素子２４に表示されるまでの遅延時間、すなわち撮像素子１２からの撮像画像の出力タイミングである撮像垂直同期信号と、表示素子２４による撮像画像の表示タイミングである表示垂直同期信号との位相差は、撮像垂直同期信号または表示垂直同期信号の一方で調整する場合に限らず、双方で調整するように構成することもできる。また、上記実施の形態では、クロック生成部２５において、撮像用クロックと表示用クロックとのクロック源を異ならせて、撮像用クロックおよび表示用クロックを非同期で生成するようにしたが、撮像用クロックおよび表示用クロックを、共通のクロック源を用いて同期して生成することもできる。この場合には、非同期の場合のように、本露光中以外において、常時、遅延時間の調整を行う必要がなく、ライブビューの開始時、撮像フレームレートおよび／または表示フレームレートの変更時、本露光からの復帰時おいて、遅延時間の調整を行うことで、以後は、調整した遅延時間に一定にすることができる。

さらに、第４実施の形態においては、縦方向に２点画素ずらしを行い、第５実施の形態においては、斜め方向に２点画素ずらしを行うようにしたが、横方向に２点画素ずらしを行うように構成することもできる。また、斜め方向に２点画素ずらしを行う場合は、複屈折板の結晶軸を適切に設定することにより、複屈折板を１枚とすることもできる。また、画素ずらしは２点に限らず、縦方向画素ずらし用の液晶セルおよび複屈折板と、横方向画素ずらし用の液晶セルおよび複屈折板とを用いて、縦方向、横方向、斜め方向に４点画素ずらしを行うように構成することもできる。また、画素ずらし用の表示画像は、撮像素子１２からの撮像画像の読み出しを制御して生成したり、画像処理部１５により撮像画像を画像処理して生成したり、あるいは、撮像素子１２の読み出しと画像処理とを併用して生成したり、することができる。

また、第２実施の形態や第３実施の形態と、上述した画素ずらしとを組み合わせて、撮像表示装置を構成することもできる。

本発明の第１実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。 図１に示す同期制御部に入力される撮像垂直同期信号と表示垂直同期信号とを示す図である。 第１実施の形態に係る撮像表示装置によるＡＥ処理を示すフローチャートである。 第１実施の形態による撮像画像と表示画像との一例を示す図である。 第１実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作を示すタイミングチャートである。 本発明の第２実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作を示すタイミングチャートである。 本発明の第３実施の形態に係る撮像表示装置の動作を説明するためのフローチャートである。 本発明の第４実施の形態に係る撮像表示装置の概略構成を示す機能ブロック図である。 図８に示す画素ずらし部の一例の構成および動作を説明するための概略斜視図である。 第４実施の形態による撮像画像の読み出し動作を説明するための図である。 第４実施の形態に係る撮像表示装置により静止画像を撮影する場合の全体の概略動作を示すタイミングチャートである。 第４実施の形態の効果を説明するための図である。 本発明の第５実施の形態に係る撮像表示装置における画素ずらし部の一例の構成および動作を説明するための概略斜視図である。 第５実施の形態に係る撮像表示装置の概略動作を説明するための図である。 従来の技術を説明するための図である。

符号の説明

１１ 撮像光学系
１２ 撮像素子
１３ 測距部
１４ 測光部
１５ 画像処理部
１６ 同期制御部
１７ 合焦制御部
１８ レンズ駆動部
１９ 露光制御部
２０ 撮像素子制御部
２１ メモリ制御部
２２ メモリ
２３ 表示制御部
２４ 表示素子
２４ａ 画素
２４ｂ ブラックマトリックス
２５ クロック生成部
３１ 画素ずらし部
３２ 画素ずらし制御部
３５ 液晶セル
３６，３６ａ，３６ｂ 複屈折板

Claims (4)

1. 被写体の明るさに応じて撮像素子の撮像フレームレートを変更しながら、前記被写体を前記撮像素子により撮像して、前記撮像素子から得られる撮像画像を表示素子に表示するにあたり、
   前記撮像フレームレートに応じて前記表示素子の表示フレームレートを設定するとともに、前記撮像フレームレートおよび前記表示フレームレートに応じて、前記撮像素子からの撮像画像の出力タイミングと前記表示素子による撮像画像の表示タイミングとの位相差を調整しながら、前記撮像素子による撮像画像を前記表示素子に表示することを特徴とする撮像表示方法。
2. 被写体の明るさに応じて撮像素子の撮像フレームレートを変更しながら、前記被写体を前記撮像素子により撮像して、前記撮像素子から得られる撮像画像を表示素子に表示する撮像表示装置において、
   前記撮像フレームレートに応じて前記表示素子の表示フレームレートを設定する表示フレームレート設定部と、
   前記撮像フレームレートおよび前記表示フレームレートに応じて、前記撮像素子からの撮像画像の出力タイミングと前記表示素子による撮像画像の表示タイミングとの位相差を調整しながら、前記撮像素子による撮像画像を前記表示素子に表示するように制御する制御部と、
   を有することを特徴とする撮像表示装置。
3. 前記表示フレームレート設定部は、前記表示フレームレートを前記撮像フレームレートの整数分の１に設定することを特徴とする請求項２に記載の撮像表示装置。
4. さらに、前記表示素子に表示される表示画像を画素ずらしする画素ずらし部を有することを特徴とする請求項２または３に記載の撮像表示装置。

Images