JP2019121989A - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】撮像中の露出状態をノイズの少ない表示画像により視認させる。【解決手段】主撮像光学系１０は、主光学鏡筒１０１と主撮像素子１０２とを有する。副撮像光学系２０は、副光学鏡筒２０１、２０２と副撮像素子２０３とを備える。副光学鏡筒２０１、２０２からの被写体光は、それぞれ、イメージサークル３０１、３０２に結像する。主撮像光学系１０による露光期間中に、副映像信号処理部２０４は、これら結像した２つの被写体像の位置を合わせてから加算平均処理して加算平均画像を生成し、この加算平均画像と記憶部２０４５に記憶されている画像とを加算して加算画像を生成し、生成した加算画像で記憶部２０４５の記憶内容を更新すると共に、加算画像をライブビュー表示する。制御部１３は、これらの一連の処理を繰り返すように制御する。【選択図】図５

Description

本発明は、静止画撮影中の露出状態を確認可能な撮像装置及びその制御方法、並びにプログラムに関する。

従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学式ファインダにより行っていた。しかし、最近では光学式ファインダをなくし、固体撮像素子から読み出した画像を、液晶モニタ等によって表示するライブビュー表示によって、被写体像の観察をする撮像装置が知られている。また、光学ファインダの代わりに、ライブビュー表示による画像を、液晶モニタとは別に、電子ビューファインダを用いて表示し、液晶モニタ出力と、電子ビューファインダとを切り替え可能にした撮像装置が市販されている。光学ファインダの場合も電子ビューファンダの場合もバルブ撮影のような長時間撮影時には、露出中にイメージセンサからの画像信号の読み出しを行うことができない。そのため、撮影者は被写体の状態や露出状態を確認できず、撮影が終了してから画像を確認することとなる。従って、撮影者にとっては、被写体の明るさなどから露出設定や露出時間を推定し、露出開始、終了を実施することとなり、露出不足、過多による撮影失敗することなく所望の撮影画像を得ることは容易でない。撮影を行いながら撮影中の被写体の状態や露出状態を確認することができれば、簡単に所望の撮影を行うことができ便利である。

ところで、特許文献１では、１つの撮像素子で複数枚の撮影を続け、それにより得られる複数枚の画像を加算し、それらの加算画像を随時表示して記録画像として用いる技術が開示されている。

特開２０１６−１４９６３１号公報

しかしながら、特許文献１の技術では、記録用の画像に対して複数枚の画像データを加算し多重露出画像とするため、ノイズ自体も画像に重畳され、それによる画質劣化が原理的に生じてしまう。

本発明は、撮像中の露出状態をノイズの少ない表示画像により視認させることを目的とする。

上記目的を達成するために本発明は、第１及び第２の撮像素子と、前記第１の撮像素子に被写体像を結像させる第１の光学系と、前記第２の撮像素子における第１の撮像領域及び第２の撮像領域にそれぞれ被写体像を結像させる第２及び第３の光学系と、前記第１の撮像領域に結像した被写体像と前記第２の撮像領域に結像した被写体像との位置を合わせる位置合わせ手段と、前記位置合わせ手段により位置を合わされた２つの被写体像を加算平均して加算平均画像を生成する第１の生成手段と、前記第１の生成手段により生成された加算平均画像と記憶部に記憶されている画像とを加算して加算画像を生成すると共に、生成した加算画像で前記記憶部の記憶内容を更新する第２の生成手段と、前記第２の生成手段により生成された前記加算画像を表示する表示手段と、前記第１の光学系による露光期間中に、前記位置合わせ手段、前記第１の生成手段、前記第２の生成手段及び前記表示手段による各処理を所定間隔で繰り返すよう制御する制御手段と、を有することを特徴とする。

本発明によれば、撮像中の露出状態をノイズの少ない表示画像により視認させることができる。

撮像装置の外観斜視図である。 撮像装置のブロック図である。 副撮像光学系を断面的に示した模式図、副撮像素子の撮像領域を示す平面図である。 副映像信号処理部のブロック図である。 撮像動作を示すタイミングチャートである。 静止画モード処理のフローチャートである。 撮像装置のブロック図である。 撮像動作を示すタイミングチャートである。 静止画モード処理のフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の外観斜視図である。この撮像装置１は、例えば、電子スチルカメラや、静止画撮影機能を有するビデオカメラ等として構成される。

撮像装置１は、撮像レンズを含む主撮像光学系１０と、２つの撮像レンズを含む副撮像光学系２０を、筐体の正面に有している。主撮像光学系１０は、主に記録用の静止画や動画を撮像するのに使用される。副撮像光学系２０は、主撮像光学系１０の撮影補助として外測用オートフォーカス（ＡＦ）や外測用ＡＥ（Auto Exposure）、ユーザ（撮影者）へのライブビュー表示の用途として使用される。

以下に説明するように、撮像装置１は、主撮像素子による長秒露出の静止画撮影時にユーザが露出状態を確認できるようにするため、複数の画像領域を持つ副撮像素子を用いて多重露出用の画像を取得し、同時に主撮像素子で静止画撮影を行える。

図２は、撮像装置１のブロック図である。撮像装置１は、主撮像光学系１０、主映像信号処理部１１、圧縮伸張部１２、制御部１３、発光部１４、操作部１５、画像表示部１６、画像記録部１７、副撮像光学系２０、副映像信号処理部２０４を備える。図２において、点線の矢印は被写体を写した光（入射光）、一点鎖線の矢印は制御信号や演算処理後の制御信号、実線の矢印は画像信号の流れをそれぞれ表す。

主撮像光学系１０は、第１の光学系としての主光学鏡筒１０１と、第１の撮像素子としての主撮像素子１０２を有する。主光学鏡筒１０１は、被写体からの光を主撮像素子１０２に集光するためのレンズを有する。主光学鏡筒１０１はまた、焦点調節を行うフォーカス機構部、光学結像の倍率を可変させるズーム機構部、主撮像素子１０２に入射される光量を調整する絞り機構部、シャッタ機構部などから構成されている（いずれも図示せず）。主光学鏡筒１０１は制御部１３からの制御信号に基づいて駆動される。

副撮像光学系２０は、互いに所定の間隔をもって配置された第２の光学系としての副光学鏡筒２０１と第３の光学系としての副光学鏡筒２０２とを備え、さらに、第２の撮像素子としての副撮像素子２０３を備える。副光学鏡筒２０１、２０２は、主光学鏡筒１０１と同じく、いずれも図示しないフォーカス機構部、ズーム機構部、絞り機構部、シャッタ機構部をそれぞれ内部に有している。

副光学鏡筒２０１、２０２の、フォーカス距離、ズーム設定による画角、絞り設定などの撮影条件は、主光学鏡筒１０１で設定されている撮影条件と同じに設定される。このように設定されるのは、後述する副映像信号処理部２０４が加算平均処理及び加算処理を行うのに必要だからである。すなわち、副光学鏡筒２０１、２０２から得られる画像と主撮像光学系１０から得られる画像とで、被写体となる像の相対位置を合わせるために画角をそろえる必要があるからである。

なお、本実施の形態では、副光学鏡筒２０１、２０２の互いの撮像条件を一致させている。また、副光学鏡筒２０１、２０２の撮像条件を主光学鏡筒１０１の撮像条件に合わせることで、副光学鏡筒２０１、２０２で得られる被写体画角を主撮像光学系１０で得られる被写体画角に合わせている。しかし、後述する副映像信号処理部２０４内の位置合わせ部２０４１（図４）による画像の位置合わせ処理を行うことによって、主撮像光学系１０と副撮像光学系２０との被写体相対画角を合わせることも可能である。

ここで、図３を用いて副撮像光学系２０における副撮像素子２０３に照射される光の撮像領域について説明する。図３（ａ）は副撮像光学系２０を断面的に示した模式図であり、図３（ｂ）は副撮像素子２０３に照射される光の撮像領域を示す平面図である。図３（ａ）に示すように、被写体からの光は副光学鏡筒２０１、２０２でそれぞれ集光され、副撮像素子２０３の撮像面に互いに離間して受光される。副光学鏡筒２０１からの被写体光は、第１の撮像領域としてのイメージサークル３０１に結像し、被写体像が映し出される。副光学鏡筒２０２からの被写体光は、第２の撮像領域としてのイメージサークル３０２に結像し、被写体像が映し出される。

図２で、撮像装置１のブロック構成をさらに説明する。主撮像素子１０２及び副撮像素子２０３には、ＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが用いられる。制御部１３からの制御信号に応じて、主撮像素子１０２及び副撮像素子２０３における露出や信号読み出しやリセットなどの撮像動作が実施され、対応する画像信号が出力される。また、主撮像素子１０２と副撮像素子２０３とは、撮像面に照射される光量や露出時間など、同一の撮影条件の時に同一の感度特性が得られるように調整されている。両者が異なる感度特性となる場合は、得られる画像信号に対して主撮像素子１０２及び副撮像素子２０３内の処理か、または制御部１３での信号増倍処理により、両者の感度特性が揃えられる。

主映像信号処理部１１は、主撮像素子１０２からの撮像信号を受けて制御部１３の制御の下で色補正処理、ＡＥ（Auto Exposure）処理、ホワイトバランス処理をした後に、制御部１３へと画像信号と制御信号を出力する。これら画像信号及び制御信号は、制御部１３内に構成されるＲＡＭ（Random Access Memory）に一次記録される。圧縮伸張部１２は、制御部１３の制御の下で動作し、制御部１３内のＲＡＭに記録された画像信号を取り出し、ＪＰＥＧ方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。圧縮伸張部１２はまた、制御部１３から供給された静止画像の符号化データを伸張復号化処理する。なお、圧縮伸張部１２は、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭなどから構成されるマイクロコントローラである。制御部１３は、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１の各部を統括的に制御する。発光部１４は、キセノン管を用いたストロボ装置やＬＥＤ発光装置などであり、主映像信号処理部１１でのＡＥ処理によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する。操作部１５は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１３に出力する。

画像表示部１６は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなる表示手段である。画像表示部１６は、制御部１３から供給された画像信号から表示用の画像信号を生成し、この画像信号を表示デバイスに供給して画像を表示させる。画像記録部１７は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどで実現され、圧縮伸張部１２により符号化された画像データファイルを制御部１３から受け取って記憶する。画像記録部１７はまた、制御部１３からの制御信号を基に、指定されたデータを読み出し、制御部１３に出力する。副映像信号処理部２０４は、制御部１３からの制御信号を基に、副撮像素子２０３からの画像信号、特にイメージサークル３０１、３０２内の画像領域３０３、３０４の画像データを使用して、後述する処理を行う。この処理内容については図４を用いて詳細に説明する。

図４は、副映像信号処理部２０４のブロック図である。副撮像素子２０３で得られた画像信号は、イメージサークル３０１、３０２内の画像領域３０３、３０４（図３（ｂ））の両方の信号を含んだ形式で出力され、副映像信号処理部２０４へと入力される。画像信号は、まず、副映像信号処理部２０４内の位置合わせ部２０４１に入力され、画像領域３０３、３０４のそれぞれに結像した被写体像の位置が合わせられる。すなわち、位置合わせ部２０４１は、入力された画像信号を分離して画像領域３０３、３０４のそれぞれに対応する２つの画像信号とする。そして位置合わせ部２０４１は、両画像信号において、副光学鏡筒２０２で視差が出ている分だけ画像端の位置合わせを行い、画像領域３０３、３０４の被写体相対位置が同じになるように処理する。これにより、画像領域３０３、３０４に対応する両被写体像の位置を合わせることが可能となる。

本実施の形態では、主撮像光学系１０で取得される静止画画像の補助として、副撮像光学系２０で得られる撮像画像を表示するため、副映像信号処理部２０４は、主撮像光学系１０と副撮像光学系２０とで発生する視差分に対しても位置合わせ処理を行う。このようにして、副映像信号処理部２０４は、主撮像光学系１０で得られる画像と、副撮像光学系２０で得られる画像領域３０３、３０４の画像との位置合わせを行う。

なお、本実施の形態では、主撮像光学系１０と副撮像光学系２０とで得られる画像の画角が同じとなるように撮像条件を設定していることを前提とする。しかし、主撮像光学系１０で得られる画像の画角が副撮像光学系２０で得られる画像の画角より狭い（被写体倍率が大きい）場合は、副撮像光学系２０の画角を主撮像光学系１０の画角に合わせてもよい。例えば、位置合わせ部２０４１は、画像領域３０３、３０４に対応する画像信号に対して切り抜き処理を行うことで、主撮像光学系１０で得られる画像の画角に合わせる。

位置合わせ部２０４１で分離された画像領域３０３、３０４の画像信号は、加算平均処理部２０４２に入力され、加算平均処理部２０４２は、２つの画像信号を用いて加算平均処理を行い１つの加算平均画像を生成する。このように、画像領域３０３、３０４における２つの位置合わせされた画像を用いて加算平均処理を行うことで、長秒撮影時の静止画撮影におけるライブビュー表示用画像のノイズを低減可能となる。

加算平均処理部２０４２で生成された加算平均画像は、加算処理部２０４３に入力される。加算処理部２０４３は、入力された加算平均画像と記憶部２０４５に入力されている画像とを用いて加算処理を行い、加算画像を生成する。加算処理部２０４３は、生成した加算画像を画像補正処理部２０４４に出力すると共に、加算画像を記憶部２０４５に記憶させる記憶処理を行う。加算処理部２０４３は、生成した加算画像で記憶部２０４５の記憶内容を更新する。従って、加算処理が実施されるごとに、記憶部２０４５には最新の加算画像が記憶される。加算画像は多重露出画像に相当する。なお、記憶部２０４５には、初期時には画像が記憶されていない。

画像補正処理部２０４４は、加算画像に対して、例えば色補正やレンズによる光学収差の補正処理を施して、制御部１３と演算処理部２０４６とに出力する。補正処理後の画像は、制御部１３内のＲＡＭに一次記録される。制御部１３は、副映像信号処理部２０４からの画像信号や演算信号を用いて適切な処理を行い、圧縮伸張部１２での処理などを通して画像表示部１６で画像表示させる。一方、演算処理部２０４６は、画像補正処理部２０４４で補正処理された加算画像に対して、例えばＡＥ処理やホワイトバランス処理などの演算処理を行い、その演算結果である演算信号を制御部１３へと出力する。

図５は、撮像動作を示すタイミングチャートである。撮像を開始するためにユーザが操作部１５の撮像開始の操作をすると、操作部１５から操作信号が立ち上がり、制御部１３に撮像開始の信号が伝送される（時刻ｔ０）。その後、制御部１３は、時刻ｔ１で垂直同期信号ＶＤＭを立ち下げ、主光学鏡筒１０１及び主撮像素子１０２による静止画撮影を開始させる。これにより主光学鏡筒１０１による主撮像素子１０２への露光が開始される。時刻ｔ１ではさらに、制御部１３は垂直同期信号ＶＤＳを立ち下げ、副光学鏡筒２０１、２０２及び副撮像素子２０３による１枚目の副画像１の撮影を開始する。副画像は、ライブビュー表示用の１フレーム分の静止画であり、Ｎ枚目の副画像を副画像Ｎと記す。時刻ｔ１の後、まもなく垂直同期信号ＶＤＭ、ＶＤＳは立ち上がり、主撮像素子１０２及び副撮像素子２０３の１フレーム分の撮影動作中、垂直同期信号ＶＤＳは変化しない。垂直同期信号ＶＤＭは立ち上がり状態を維持する。

時刻ｔ２になると副画像１の撮像が終わり、垂直同期信号ＶＤＳが立ち下がって副画像２の撮影が開始される。それと共に、副映像信号処理部２０４は、得られた副画像１に基づいて、図４で説明した一連の副映像信号処理（画像の位置合わせ処理、加算平均処理、加算処理、補正処理、演算処理、記憶処理）を実行する。そして、処理された画像が、ユーザ確認用に画像表示部１６にライブビュー表示される。

副画像取得のための撮像間隔は、主光学鏡筒１０１による静止画撮影動作（露光期間）より短い所定間隔に設定され、例えばライブビュー表示と同じフレームレートまたはそれに同期した間隔とする。従って、制御部１３は、主光学鏡筒１０１による露光期間中に、一連の副映像信号処理を複数回、繰り返すよう制御可能である。画像表示部１６の表示は主光学鏡筒１０１による露光期間中、副画像が取得されるごとに逐次更新され、最新の加算画像が表示される。なお、時刻ｔ２では、副画像１より前に撮像されている副画像が存在しないため、副映像信号処理部２０４内の記憶部２０４５には画像信号が無い。従って、加算処理部２０４３の加算処理では、加算平均処理部２０４２で生成された副画像１に対応する加算平均画像が加算画像（実質的に非加算画像）となり、当該加算平均画像がそのまま表示される。

また、時刻ｔ２では、操作信号が立ち上がった状態を維持しており、主光学鏡筒１０１による静止画撮影動作は続いているため、主撮像素子１０２での信号蓄積動作は継続し、垂直同期信号ＶＤＭは立ち下がらない。

なお、副画像１に関する撮像タイミング及び映像処理タイミングを、垂直同期信号ＶＤＳに同期させているが、垂直同期信号ＶＤＳとは非同期で処理し、所定のフレームレートとなるようにして映像処理と映像表示をするようにしてもよい。

次に、時刻ｔ３になると、２枚目の副画像２の撮影が終わり、副映像信号処理部２０４による副映像信号処理が実行され、処理された画像が画像表示部１６に表示される。このとき、直前に取得された副画像１に対応する加算画像が記憶部２０４５に記憶されている。従って、加算処理部２０４３の加算処理では、記憶部２０４５に記憶されている副画像１に対応する加算画像と加算平均処理部２０４２で今回生成された副画像２に対応する加算平均画像とが加算処理される。従って、画像表示部１６の表示内容は、副画像１に対応する加算画像から、副画像１と副画像２との加算画像へ更新される。

時刻ｔ４〜ｔ５では、副画像Ｎの副映像信号処理が実行され、副画像Ｎを加味した加算画像が表示される。ユーザは、通常、画像表示部１６に表示される画像を視認し、適正な露光状態となったと判断すると、操作部１５を操作する。時刻ｔ６で操作部１５が操作されると、操作部１５から撮像信号が立ち下がり、制御部１３に伝送される。制御部１３は、この操作信号を受けて、垂直同期信号ＶＤＭを立ち下げると共に、主光学鏡筒１０１及び主撮像素子１０２による静止画撮影を停止させるように制御する。これにより、主撮像光学系１０による露光が終了する。この静止画撮影により生成された１枚の静止画を、制御部１３は画像記録部１７に記憶させる。

図６は、静止画モード処理のフローチャートである。この処理は、制御部１３において、ＲＯＭに格納されたプログラムをＣＰＵがＲＡＭに読み出して実行することにより実現される。この処理は、ユーザからの操作部１５の操作により静止画モードへの移行指示がなされると開始される。図６の説明において、適宜、図５を参照する。図６の処理において、制御部１３及び副映像信号処理部２０４との協働によって、本発明における位置合わせ手段、第１の生成手段、第２の生成手段、制御手段が実現される。

まず、制御部１３は、ステップＳ６０１で、撮像装置１を静止画モードに遷移させ、ステップＳ６０２で、初期化処理を行う。この初期化処理では、副映像信号処理部２０４内の記憶部２０４５内も初期化される。次いでステップＳ６０３では、制御部１３は、ユーザによる被写体の画角合わせなどに用いるライブビュー撮影と表示を開始する。ここでのライブビュー撮影には、主撮像光学系１０または副撮像光学系２０のいずれを用いてもよく、画像表示部１６によりライブビュー表示を行う。なお、制御部１３は、副撮像光学系２０を用いてライブビュー撮影を行う場合は、加算処理部２０４３での処理及び記憶部２０４５での画像保存を行わずに、ライブビュー表示の逐次更新のみを行う。

次いでステップＳ６０４では、制御部１３は、静止画撮影の開始操作を示すオン（ＯＮ）の操作信号を受信したか否かによって、ユーザにより操作部１５に対する静止画撮影の開始操作が行われたか否かを判別する。制御部１３は、操作信号がオフ（ＯＦＦ）の状態が維持されている場合は、処理をステップＳ６０３に戻す。操作部１５からオン（ＯＮ）の操作信号を受信すると（時刻ｔ０）、制御部１３は、ステップＳ６０５で、主撮像光学系１０による静止画撮影を開始し、露出動作を開始させる（時刻ｔ１）。さらに制御部１３は、ステップＳ６０６で、副撮像光学系２０による副画像の取得動作を開始する（時刻ｔ１）。

次いでステップＳ６０７では、制御部１３は、位置合わせ部２０４１を制御して画像位置合わせを実施させる。すなわち位置合わせ部２０４１は、取得された副画像を、画像領域３０３、３０４のそれぞれに対応する２つの画像に分離した上で、副光学鏡筒２０１、２０２間の視差分だけ画像端の位置合わせを行い、２つの画像データとして出力する。次いでステップＳ６０８では、制御部１３は、加算平均処理部２０４２を制御して、ステップＳ６０７で生成された２つの画像に対して加算平均処理を行い、加算平均画像を生成させる。次いでステップＳ６０９では、制御部１３は、加算処理部２０４３を制御して、ステップＳ６０８で生成された加算平均処理画像と記憶部２０４５に記憶されている画像とに対して加算処理を行って、加算画像を生成させる。ステップＳ６０９での処理が初回のループでの処理である場合は、記憶部２０４５に記憶されている画像が無いため実質的に加算処理されないこととなる。２回目以降では記憶部２０４５に画像が記憶されているため、ステップＳ６０８で生成された加算平均処理画像と記憶部２０４５に記憶されている画像とにより加算画像が生成される。

次いでステップＳ６１０では、制御部１３は、加算処理部２０４３を制御して、ステップＳ６０９で生成された加算画像を記憶部２０４５に記憶させる。ステップＳ６１１では、制御部１３は、生成された加算画像に対して画像補正処理部２０４４及び演算処理部２０４６による処理を実施させると共に、画像補正処理部２０４４による補正処理を経た画像を画像表示部１６にライブビュー表示させる。

ステップＳ６１２では、制御部１３は、ユーザにより操作部１５に対する静止画撮影の終了操作が行われたかを判別する。操作部１５から静止画撮影の終了操作を示すオフ（ＯＦＦ）の操作信号を受信していない場合は、撮影操作が継続しているので、制御部１３は、処理をステップＳ６０６に戻す。この場合、制御部１３は、次の垂直同期信号ＶＤＳを立ち下げるタイミングになってから（時刻２、時刻ｔ３等）、次の副画像の撮影に移行する。主撮像素子１０２の露出動作は継続される。一方、操作部１５から静止画撮影の終了操作を示すオフ（ＯＦＦ）の操作信号を受信すると、制御部１３は、処理をステップＳ６１３に進める。ステップＳ６１３では、制御部１３は、垂直同期信号ＶＤＭを立ち下げ、主撮像光学系１０による静止画撮影を終了させる（時刻ｔ６）。これにより時刻ｔ１から時刻ｔ６までの露光期間が終了する。それと同時に、制御部１３は、副撮像光学系２０による副画像の取得動作を終了させる。その後、制御部１３は、ステップＳ６１４で、撮像装置１を静止画モードから待機状態へ遷移させ、図６の処理を終了する。

このように、主撮像光学系１０による露光期間中に、副撮像光学系２０による副画像が所定間隔で取得され、一連の副映像信号処理を経て、加算画像がライブビュー表示される。特に、主撮像光学系１０での静止画長秒撮影においては通常、副画像の取得が複数回なされる。一連の副映像信号処理においては、副撮像光学系２０の画像領域３０３、３０４に結像した２つの被写体像が加算平均処理されるのでノイズが低減される。また、副画像が取得されるごとに記憶部２０４５に記憶されている加算画像と新たな加算平均画像とが加算処理されるので、ライブビュー表示に反映される露出が変化していく。ユーザは、ライブビュー表示を視認して、露出状態を把握し、適正露出と判断したタイミングで主撮像光学系１０による露光を終了させることができるので、適切な露出の静止画を得ることができる。

本実施の形態によれば、主撮像光学系１０とは別に副撮像光学系２０が設けられる。主撮像光学系１０による露光期間中に、副撮像光学系２０で画像領域３０３、３０４のそれぞれに結像した被写体像に基づき、一連の副映像信号処理（位置合わせ処理、加算平均処理、加算処理等）を所定間隔で繰り返すよう制御される。そして、主撮像光学系１０による露光期間中、加算画像がライブビュー表示され、それが所定間隔で更新される。ライブビュー表示においては、２つの被写体像が加算平均処理されるのでノイズが少なくなる。よって、撮像中の露出状態をノイズの少ない表示画像により視認させることができる。また、主撮像光学系１０で取得される静止画は、画像の加算等によるノイズの影響を受けないので、高品位の静止画を取得できる。

なお、主光学鏡筒１０１による露光期間中に、露光期間中であることをライブビュー表示と並行して画像表示部１６やＬＥＤ等を用いて報知するようにしてもよい。

（第２の実施の形態）
図７は、本発明の第２の実施形態に係る撮像装置のブロック図である。本実施の形態は、第１の実施の形態に対し、副撮像光学系２０の構成が異なり、その他の構成は同様である。以下、第１の実施の形態と同様の構成についてはその説明を省略する。

第１の実施の形態では副撮像光学系２０は１つの副撮像素子２０３を有したが、本実施の形態では副撮像光学系２０は２つの副撮像素子７０１、７０２を有する。すなわち、副光学鏡筒２０１、２０２のそれぞれに対応して、副撮像素子７０１、７０２が設けられる。副光学鏡筒２０１、２０２で集光された被写体からの光はそれぞれ、副撮像素子７０１、７０２に結像し、２つの画像信号として副映像信号処理部２０４へと入力される。制御部１３によって、副撮像素子７０１、７０２の撮像動作は、互いに同じ撮影条件で且つ同じ撮像タイミングで動作するように制御される。画像信号が副映像信号処理部２０４内の位置合わせ部２０４１に入力された後の副映像信号処理については第１の実施の形態と同様である。ただし、図４において位置合わせ部２０４１から加算平均処理部２０４２に入力される画像信号は、画像領域３０３、３０４ではなく副撮像素子７０１、７０２に対応した信号である。

第１の実施の形態では、副撮像素子２０３の像面に２つの撮像領域としてイメージサークル３０１、３０２が存在した。本実施の形態では、副光学鏡筒２０１、２０２に対して副撮像素子７０１、７０２をそれぞれ別個に構成にする。これにより、副撮像素子の高画素化が図れる。また、イメージサークルの光が互いに迷光・干渉したり、撮像素子の画素間でのクロストークにより光学特性が劣化したりすることが回避される。

本実施の形態によれば、撮像中の露出状態をノイズの少ない表示画像により視認させること、及び画像の加算等によるノイズの影響を受けない高品位の静止画を取得できることに関し、第１の実施の形態と同様の効果を奏することができる。また、副撮像素子による高画素化と副撮像光学による光学干渉を防ぎつつ、静止画の露出状態をモニタすることができる。

（第３の実施の形態）
本発明の第３の実施の形態では、制御部１３は、加算画像から被写体像の露出値を計測し、その結果に応じて、主光学鏡筒１０１及び主撮像素子１０２による静止画撮影の露出タイミングを制御する。特に、静止画撮影に関し、第１の実施の形態では、主光学鏡筒１０１による露光終了タイミングがユーザ操作に基づき決定されるが、本実施の形態では、ユーザ操作によることなく自動的に決定される。その他の構成は第１の実施の形態と同様である。以下、第１の実施の形態と同様の構成についてはその説明を省略する。図５、図６に代えて図８、図９を用いて本実施の形態を説明する。

図８は、撮像動作を示すタイミングチャートである。撮像を開始するためにユーザが操作部１５の撮像開始の操作をすると、操作部１５から操作信号が立ち上がり、制御部１３に撮像開始の信号が伝送される（時刻ｔ８０）。第１の実施の形態では、ユーザが操作部１５に対し撮像開始の操作を継続していたが、本実施の形態では、一旦、撮像開始の操作した後は特にユーザによる操作を必要とせず、操作信号は、立ち上がった後、まもなく立ち下がって定常状態へと戻る。

その後、制御部１３は、時刻ｔ８１で垂直同期信号ＶＤＭを立ち下げ、主光学鏡筒１０１及び主撮像素子１０２による静止画撮影を開始させる。これにより主光学鏡筒１０１による主撮像素子１０２への露光が開始される。時刻ｔ８１ではさらに、制御部１３は垂直同期信号ＶＤＳを立ち下げ、副光学鏡筒２０１、２０２及び副撮像素子２０３による１枚目の副画像１の撮影を開始する。時刻ｔ８１の後、まもなく垂直同期信号ＶＤＭ、ＶＤＳは立ち上がり、主撮像素子１０２及び副撮像素子２０３の１フレーム分の撮影動作中、垂直同期信号ＶＤＳは変化しない。垂直同期信号ＶＤＭは立ち上がり状態を維持する。

時刻ｔ８２になると副画像１の撮像が終わり、垂直同期信号ＶＤＳが立ち下がって副画像２の撮影が開始される。それと共に、副映像信号処理部２０４は、得られた副画像１に基づいて、図４で説明した一連の副映像信号処理（画像の位置合わせ処理、加算平均処理、加算処理、補正処理、演算処理、記憶処理）を実行する。そして、処理された画像が、ユーザ確認用に画像表示部１６にライブビュー表示される。副画像は所定間隔で取得される。

ここで、一連の副映像信号処理における、演算処理部２０４６による処理を経て、演算信号が生成される。制御部１３は、演算処理部２０４６の処理により得られた演算信号に応じて主撮像素子１０２の露出制御を行う。まず、制御部１３は、ＲＯＭまたはＲＡＭに所定閾値を格納している。所定閾値は、主光学鏡筒１０１及び主撮像素子１０２による主被写体が適正露出となるような値に予め決定されている。なお、所定閾値をユーザが設定できるようにしてもよい。演算信号が示す値は、加算画像にＡＥ処理を行って取得される演算値に相当し、通常、副画像の枚数が増えるにつれて増加する。従って、副画像Ｎが生成された段階で所定閾値と比較される演算値は、副画像１から副画像（Ｎ−１）までの加算画像と、副画像Ｎに基づく加算平均画像とを加算して得られる加算画像に対して、演算処理部２０４６の処理を経て得られる演算信号である。

時刻ｔ８２では、得られた演算信号が示す値（演算値）が所定閾値に達していないため、制御部１３は垂直同期信号ＶＤＭを変化させず、主撮像素子１０２を用いた信号蓄積動作として露出動作を続ける。次に、時刻ｔ８３になると、２枚目の副画像２の撮影が終わり、副映像信号処理部２０４による副映像信号処理が実行され、処理された画像が画像表示部１６に表示される。また、副画像２を用いた演算処理部２０４６での処理で得られた演算信号は、時刻ｔ８２での動作時と同様に所定閾値を超えていないため、主撮像素子１０２の露出動作が継続される。

続いて時刻ｔ８４〜ｔ８５では、副画像Ｎの副映像信号処理が実行される。このとき、演算処理部２０４６で副画像Ｎを元に取得された演算信号を示す値が所定閾値を超えたことにより、制御部１３は、主被写体が適切な露出状態になったと判断し、主撮像素子１０２に対して露出動作の停止動作を指示する。すなわち、制御部１３は、垂直同期信号ＶＤＭを立ち下げ（時刻ｔ８５）、主撮像素子１０２の露光を終了させる。従って、加算画像にＡＥ処理を行って得られる演算値に基づいて、主光学鏡筒１０１による露光終了タイミングが決定される。このように制御することで、ユーザの判断によらず、適正露出の静止画を得ることができる。また、主撮像光学系１０と副撮像光学系２０とによる撮影タイミングとユーザ操作とのタイムラグを少なくすることが出来る。

図９は、静止画モード処理のフローチャートである。この処理の実現の条件及び開始条件は図６のフローチャートの処理と同様である。ステップＳ９０１〜Ｓ９１０の処理は、図６のステップＳ６０１〜Ｓ６１０の処理と同様である。

ステップＳ９１１では、制御部１３は、画像補正処理部２０４４を制御して、ステップＳ９０９で生成された加算画像に補正処理を施させ、ＲＡＭに一次記録する。それと共に、制御部１３は、演算処理部２０４６を制御して、画像補正処理部２０４４で補正処理された加算画像に基づき演算信号を生成させ、その演算信号を演算処理部２０４６から取得する。

ステップＳ９１２では、制御部１３は、ステップＳ９１１で取得した演算信号を示す値（演算値）が所定閾値を超えたか否かを判別する。そして、演算信号を示す値が所定閾値を超えた場合は、主撮像光学系１０により撮影される静止画が適正露出になったと判断されるので、制御部１３は処理をステップＳ９１４へ進める。一方、演算信号を示す値が所定閾値以下であれば、主撮像光学系１０により撮影される静止画が適正露出に満たないと判断されるので、制御部１３は処理をステップＳ９１３に進める。

ステップＳ９１３では、制御部１３は、ステップＳ９１１で生成された加算画像（画像補正処理部２０４４で補正処理されたもの）を画像表示部１６にライブビュー表示させる。その後、制御部１３は、処理をステップＳ９０６に戻す。この場合、制御部１３は、次の垂直同期信号ＶＤＳを立ち下げるタイミングになってから（時刻ｔ８２、時刻ｔ８３等）、次の副画像の撮影に移行する。主撮像素子１０２の露出動作は継続される。

ステップＳ９１４では、制御部１３は、垂直同期信号ＶＤＭを立ち下げ、主光学鏡筒１０１による主撮像素子１０２への露光を停止させ、主光学鏡筒１０１及び主撮像素子１０２による静止画撮影を終了させる。ステップＳ９１５では、制御部１３は、ステップＳ９１３と同様にして画像表示部１６にライブビュー表示させる。その後、制御部１３は、ステップＳ９１６で、図６のステップＳ６１４と同様の処理を実行して、図９の処理を終了する。

本実施の形態によれば、撮像中の露出状態をノイズの少ない表示画像により視認させること、及び画像の加算等によるノイズの影響を受けない高品位の静止画を取得できることに関し、第１の実施の形態と同様の効果を奏することができる。また、制御部１３は、主光学鏡筒１０１による露光開始後、加算処理部２０４３により生成された加算画像に基づき演算値を取得し、取得した演算値に基づいて、主光学鏡筒１０１による露光終了タイミングを決定する。これにより、ユーザ操作によらず、主光学鏡筒１０１による露光終了タイミングが制御されるので、適正露出の静止画を得ることが容易となる。

なお、本実施の形態における、静止画の露光終了タイミングを自動で決定する制御は、第２の実施の形態で示した、副撮像光学系２０が２つの副撮像素子７０１、７０２を有する構成に適用してもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１３ 制御部
１６ 画像表示部
１０１ 主光学鏡筒
１０２ 主撮像素子
２０１、２０２ 副光学鏡筒
２０３ 副撮像素子
２０４ 副映像信号処理部
３０１、３０２ イメージサークル

Claims (17)

1. 第１及び第２の撮像素子と、
   前記第１の撮像素子に被写体像を結像させる第１の光学系と、
   前記第２の撮像素子における第１の撮像領域及び第２の撮像領域にそれぞれ被写体像を結像させる第２及び第３の光学系と、
   前記第１の撮像領域に結像した被写体像と前記第２の撮像領域に結像した被写体像との位置を合わせる位置合わせ手段と、
   前記位置合わせ手段により位置を合わされた２つの被写体像を加算平均して加算平均画像を生成する第１の生成手段と、
   前記第１の生成手段により生成された加算平均画像と記憶部に記憶されている画像とを加算して加算画像を生成すると共に、生成した加算画像で前記記憶部の記憶内容を更新する第２の生成手段と、
   前記第２の生成手段により生成された前記加算画像を表示する表示手段と、
   前記第１の光学系による露光期間中に、前記位置合わせ手段、前記第１の生成手段、前記第２の生成手段及び前記表示手段による各処理を所定間隔で繰り返すよう制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 第１、第２及び第３の撮像素子と、
   前記第１の撮像素子に被写体像を結像させる第１の光学系と、
   前記第２の撮像素子及び前記第３の撮像素子にそれぞれ被写体像を結像させる第２及び第３の光学系と、
   前記第２の撮像素子に結像した被写体像と前記第３の撮像素子に結像した被写体像との位置を合わせる位置合わせ手段と、
   前記位置合わせ手段により位置を合わされた２つの被写体像を加算平均して加算平均画像を生成する第１の生成手段と、
   前記第１の生成手段により生成された加算平均画像と記憶部に記憶されている画像とを加算して加算画像を生成すると共に、生成した加算画像で前記記憶部の記憶内容を更新する第２の生成手段と、
   前記第２の生成手段により生成された前記加算画像を表示する表示手段と、
   前記第１の光学系による露光期間中に、前記位置合わせ手段、前記第１の生成手段、前記第２の生成手段及び前記表示手段による各処理を所定間隔で繰り返すよう制御する制御手段と、
   を有することを特徴とする撮像装置。
3. 前記制御手段は、前記第１の光学系による露光によって得られた静止画を画像記録部に記録させることを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記第１の光学系による露光期間中に、前記各処理を複数回、繰り返すよう制御可能であることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記所定間隔は、前記表示手段の表示のフレームレートに同期している請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、少なくとも前記第１の光学系による露光期間中、前記第２の光学系の撮像条件と前記第３の光学系の撮像条件とを、前記第１の光学系の撮像条件に合わせることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、少なくとも前記第１の光学系による露光期間中、前記第２の光学系の画角と前記第３の光学系の画角とを前記第１の光学系の画角に合わせることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記位置合わせ手段は、前記第１の撮像領域に結像した被写体像と前記第２の撮像領域に結像した被写体像との視差に基づいて両被写体像の位置を合わせることを特徴とする請求項１に記載の撮像装置。
9. 前記位置合わせ手段は、前記第２の撮像素子に結像した被写体像と前記第３の撮像素子に結像した被写体像との視差に基づいて両被写体像の位置を合わせることを特徴とする請求項２に記載の撮像装置。
10. 前記制御手段は、少なくとも前記第１の光学系による露光期間中、前記第２の光学系の撮像条件と前記第３の光学系の撮像条件とを一致させることを特徴とする請求項１に記載の撮像装置。
11. 前記制御手段は、少なくとも前記第１の光学系による露光期間中、前記第２の光学系の撮像条件及び撮像タイミングと前記第３の光学系の撮像条件及び撮像タイミングとを一致させることを特徴とする請求項２に記載の撮像装置。
12. 操作部を有し、
    前記制御手段は、ユーザによる前記操作部の操作に応じて、前記第１の光学系による露光終了タイミングを制御することを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記第１の光学系による露光開始後、前記第２の生成手段により生成された加算画像にＡＥ処理を行って演算値を取得し、取得した演算値に基づいて、前記第１の光学系による露光終了タイミングを決定することを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
14. 前記制御手段は、前記取得した演算値が閾値を超えた場合に、前記第１の光学系による露光を終了させることを特徴とする請求項１３に記載の撮像装置。
15. 第１及び第２の撮像素子と、
    前記第１の撮像素子に被写体像を結像させる第１の光学系と、
    前記第２の撮像素子における第１の撮像領域及び第２の撮像領域にそれぞれ被写体像を結像させる第２及び第３の光学系と、を有する撮像装置の制御方法であって、
    前記第１の撮像領域に結像した被写体像と前記第２の撮像領域に結像した被写体像との位置を合わせる位置合わせステップと、
    前記位置合わせステップにより位置を合わされた２つの被写体像を加算平均して加算平均画像を生成する第１の生成ステップと、
    前記第１の生成ステップにより生成された加算平均画像と記憶部に記憶されている画像とを加算して加算画像を生成すると共に、生成した加算画像で前記記憶部の記憶内容を更新する第２の生成ステップと、
    前記第２の生成ステップにより生成された前記加算画像を表示部に表示させる表示ステップと、
    前記第１の光学系による露光期間中に、前記位置合わせステップ、前記第１の生成ステップ、前記第２の生成ステップ及び前記表示ステップによる各処理を所定間隔で繰り返すよう制御することを特徴とする撮像装置の制御方法。
16. 第１、第２及び第３の撮像素子と、
    前記第１の撮像素子に被写体像を結像させる第１の光学系と、
    前記第２の撮像素子及び前記第３の撮像素子にそれぞれ被写体像を結像させる第２及び第３の光学系と、を有する撮像装置の制御方法であって、
    前記第２の撮像素子に結像した被写体像と前記第３の撮像素子に結像した被写体像との位置を合わせる位置合わせステップと、
    前記位置合わせステップにより位置を合わされた２つの被写体像を加算平均して加算平均画像を生成する第１の生成ステップと、
    前記第１の生成ステップにより生成された加算平均画像と記憶部に記憶されている画像とを加算して加算画像を生成すると共に、生成した加算画像で前記記憶部の記憶内容を更新する第２の生成ステップと、
    前記第２の生成ステップにより生成された前記加算画像を表示部に表示させる表示ステップと、
    前記第１の光学系による露光期間中に、前記位置合わせステップ、前記第１の生成ステップ、前記第２の生成ステップ及び前記表示ステップによる各処理を所定間隔で繰り返すよう制御することを特徴とする撮像装置の制御方法。
17. 請求項１５または１６に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
    
    

Images