JP2011004085A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 撮影者が意図的に撮像装置の露光時間すなわちシャッタースピードを固定したときにも、フレームレートが変化し、結果的に露光時間が変化してしまう場合が発生したり、一方で、それを避けるため、逆に、常に露光時間がフレームレートより短い時のみにフレームレートの変更を可能とすると、フレームレートの可変範囲が制限されてしまい、可変フレームレートのメリットが生かせなくなってしまう。
本発明の意図は、上述の問題点の解消する、撮像装置を提供すること。
【解決手段】 シャッター速度が固定されたときと、自動露出制御（ＡＥ）により、シャッター速度が動的に変更されるとき、とで、フレームレート可変範囲を変える。
特に、シャッター速度が固定されたときに、撮像フレーム間隔が、露光時間と等しいか、それより短くならないように設定することを特徴とする構成とした。
【選択図】 図１

Description

本発明は、撮像装置、そのうち特に連続した静止画あるいは動画の撮影が可能であってその撮像フレームレートを変更できる装置およびその制御方法に関するものである。

従来の連続した静止画や、動画の記録方式は、単位時間あたりの撮影枚数が固定のいわゆる固定フレームレートであった。しかしながら、近年の撮像素子とディジタル信号処理の進歩により、撮像フレームレートを可変し、必要なときに適当なフレームレートで記録する、可変フレームレートによる撮影記録が、将来的に一般的になる可能性がある。 具体的には、電子シャッターの制御に関し、その値が固定されたときに、撮影素子への露光に関する条件が撮影フレームレートの変化により影響を受けないようにする。

例えば、特許文献１ではフレームレートが変化した場合に、露光条件が変化しない撮像装置を開示している。フレームレートの変化による露光の変化分を比例計算を行って絞り、露光時間、回路ゲインを制御し、変化しないように露光量を調整する。

特許文献２ではフレームレートを変えることで露光時間を制御する撮像装置において露光時間がフレームレートより短い撮影条件時に限りフレームレートの変更を可能とする撮像装置が開示されている。

特開２００７−１９５０３８号公報 特開２００８―２７８３１６号公報

しかしながら、上述の特許文献に開示された従来技術では、操作者が意図的に撮像装置の露光時間すなわちシャッタースピードを固定しているにもかかわらず、フレームレートを変更させると露光時間が変化してしまう場合がある。特に特許文献１では、絞りや回路ゲインを変更することにより被写界深度やＳＮ比まで変化してしまい、撮影者が意図していた画質を得られなくなるという問題がある。

よって本発明の目的は、上記課題に鑑み、フレームレートの可変範囲が操作者の意図する露光時間の設定に影響を与えないような撮像装置を提供することにある。

上記目的を達成するために、本発明の撮像装置は、被写体からの入射光を受光し、電気信号に変換する撮像手段と、前記撮像手段の露光時間を制御する露光制御手段と、前記撮像手段が撮像するフレームレートを変更するフレームレート変更手段と、を有し、前記フレームレート変更手段は、前記露光制御手段によって前記露光時間が固定されるか否かで、前記フレームレートの可変範囲を変更することを特徴とする。

また本発明は、撮像素子が被写体からの入射光を受光し、電気信号に変換する撮像手段を有する撮像装置の制御方法であって、前記撮像手段における前記撮像素子の露光時間を制御する露光制御ステップと、前記撮像手段で撮像されるフレームレートを変更する変更ステップと、を有し、前記フレームレート変更ステップでは、前記露光制御ステップによって前記露光時間が固定されるか否かで、前記フレームレートの可変範囲を変更することを特徴とする。

本発明によれば、可変フレームレートの撮影を行える一方で、シャッター速度優先プログラムＡＥ機能時、自動露出補正機能のロック操作時にも、フレームレートの変更が、固定された露光状態に影響を与えず撮影者の意図どおりの露光条件での撮影が行える。

本実施形態の全体構成図 フレームレート可変でのフレーム間隔と露光時間の関係の説明図 プログラムＡＥの動作説明 ＡＥ制御のフローチャート 本実施形態の動作説明図 本実施形態におけるフレームレート上限設定のフローチャート 本実施形態におけるフレームレート制御フローチャート

（第１の実施形態）
以下、図１を参照して、本実施形態の撮像装置の全体構成について説明する。被写体からの光１０１はレンズ１０２を通り、絞り１０３を介して撮像素子１０４の受光面に導かれる。撮像素子１０４は光１０１を電気信号に変換し、その撮像信号はアナログフロントエンド（ＡＦＥ）１０５に入り、ここで増幅され、ディジタルに変換されてディジタルシグナルプロセッサ（ＤＳＰ）１０６に入力される。ＤＳＰ１０６ではガンマ、ホワイトバランス、ホワイトクリップなどの各種補正が行われ、撮像信号出力１０８として出力される。撮像信号出力１０８はメモリに記録、ディスプレーモニターに入力して表示、等各種目的に使用される。またフレームメモリ１０７は、上述のＤＳＰ１０７における信号処理の過程で用いられる。

ここでマイクロプロセッサ１１１にはＡＦＥ１０５からの自動露出補正（ＡＥ）制御用の信号１１８と、ＤＳＰ１０６からの動体検出用撮像信号１１９から被写体の動きベクトル検出部１１２を行った動きベクトル信号１２３が入力される。またＡＥロックスイッチ１２０（ロック手段）、シャッター速度設定スイッチ１２１、ＡＥモード設定スイッチ１２２の各種スイッチからの信号も入力される。

一方でマイクロプロセッサ１１１は絞りドライバ１１３を介して絞り制御信号１１４により絞り１０３を制御する。また、タイミングパルスジェネレータ（ＴＧ）１０９を介して電子シャッター制御信号１１５により撮像素子１０４の駆動タイミングを変更して電子シャッター速度（露光時間）を制御する露光制御手段として機能する。さらに、シンクシグナルジェネレータ（ＳＧ、同期信号発生器）１１０を制御してＴＧ１０９の上述タイミングパルスを制御し、結果的に撮像信号のフレームレートをフレームレート制御信号１１６により制御するフレームレート変更手段として機能する。ゲイン制御信号１１７は上述のＡＦＥ１０５における撮像信号の増幅率（ゲイン）を制御する。

図２は撮像フレームレートを可変としたときのフレーム間隔と露光時間の関係の説明図であり、斜線で塗りつぶされている区間では露光中であるとする。図２（ａ）はフレーム間隔２０１と、露光時間２０２すなわち電子シャッター速度の逆数の両方が長く、フレーム間隔と露光時間がほぼ等しい場合を示している。なお、ここでの長い、短いは相対的な値であって、絶対的な値ではない。例としてフレーム間隔は動画なら、広く知られているＮＴＳＣ放送方式は１／３０秒、あるいはディジタルカメラにおける静止画連写ならば、１秒間に数枚、といった値である。

次に図２（ｂ）では、フレーム間隔２０１が（ａ）に比較して短くなった場合を示しており、露光時間２０２はフレーム間隔２０１より長くは出来ないので両方とも短くなる。

一方図２（ｃ）では、フレーム間隔が長い（ａ）のままで、露光時間２０２を短く（すなわち電子シャッターを速く）した場合を示している。

図２（ｄ）は露光時間が（ｃ）と同様に（ａ）に比べて短く、フレーム間隔２０１も（ｂ）と同様に（ａ）に比べて短くした場合で、このとき、フレーム間隔を短くしてもそれが露光時間より長い範囲であれば露光時間は変わらない事を示している。

以上のように、フレームレートを変更して撮像を行う場合に、フレームレートが変わると露光時間も変更される場合と、フレームレートが変わっても露光時間を変更する必要のない場合が考えられる。

ところで本実施形態の撮像装置は、プログラムＡＥと呼ばれる機能が具備されていることが一般的である。プログラムＡＥとは、ＡＥ（自動露出調整機能）を具現するために、撮像装置に具備している複数の露出の調整機能の動作についての組合せを予めプログラムさせて動作させるものである。

図３はこのプログラムＡＥについての動作説明図であって、代表的な（ａ）絞り優先ＡＥ、（ｂ）シャッター速度優先ＡＥ、（ｃ）グリーンモードの３種類を示している。いずれも横軸は被写体の明るさを示し、左に行くほど明るく、右に行くほど暗い。このグラフにおいて、電子シャッター３０７、回路ゲイン３０８、絞り３０９の各パラメータを変化させて、撮像素子への入射光量を最適値に制御する。

図３（ａ）絞り優先ＡＥでは、絞りはある値に固定したまま、他のパラメータによりＡＥを行う。このモードの特徴は、絞りが操作者の選択により固定されるため、被写界深度が固定され、操作者が背景のぼけ具合を自由に制御して微妙な画作りを行うことができるところである。

図３（ｂ）シャッター速度優先ＡＥでは、操作者によりシャッター速度を固定したまま、他のパラメータによりＡＥを行う。このモードの特徴は、シャッター速度３０７を高速に設定することにより、撮影者の手ぶれによる撮像画像のぶれを低減させ、スポーツなどの動きの大きい被写体の鮮明な画像の撮影ができるところである。反面、露光時間が短時間に固定されるため十分な被写体照度が必要となる。

図３（ｃ）グリーンモードでは、操作者により固定するパラメータは無く、被写体の明るさに応じてその都度最適な制御が行われるようになっている。被写体が暗くなるとゲイン３０８を上げて撮影画像の明るさを確保し、明るすぎて絞り３０９が最大の時はシャッター速度を速くして、絞りを絞り込むことで光の回折による解像度低下を回避している。このモードの特徴は、操作者が任意の値に手動で選択、固定できるパラメータは無く、自動的に全てのパラメータが設定されて撮影の失敗が少ないが、反面、操作者の意図した画作りが実現されにくい。

なお、図３（ａ）〜（ｃ）中の制御変更点は、制御するパラメータが切り替わるポイントである。制御変更点を設ける理由は、本実施形態におけるＡＥはフィードバック制御であるため、一度に複数のパラメータを同時に制御すると、各パラメータのループ応答の違いで系が不安定となることを避けるためである。

ところで、撮影中に操作者の意図により、たとえば特定の撮影シーンを撮影している状態のパラメータのある値をそのまま固定し、別の撮影シーンで使用して撮影を続けたい場合がある。たとえば、順光でのシーンを撮影した状態でこのＡＥの状態を固定（ロック）し、そのままでカメラをパンニングして逆光のシーンを撮影する。すると、通常は太陽光によってＡＥが動作してしまうが、それを防ぐことができるため、被写体の人物の顔などが黒く沈まずに撮影できる。この露光時間を固定する操作はＡＥロックと称される。なお、このＡＥロック機能の入り切り制御の操作者に対するインターフェースは、独立したボタンでも良いし、押し込み力により２段階のスイッチを構成するボタン、少しの押し込みでＡＥロック、更に押し込むと静止画が撮影されるタイプのボタンでも良い。

図４は上述のプログラムＡＥ機能、ＡＥロック機能の各制御を含んだ、マイクロプロセッサ１１１の行うＡＥ制御のフローチャートである。最初にＡＥモード設定スイッチ１２２により操作者により選択されたＡＥモードを読み込み（Ｓ４０１）、次にそれに対応した上述の各パラメータの動作を設定しているプログラム線図を読み込み（Ｓ４０２）、次にＡＥ基準値を読み込み、設定する（Ｓ４０３）。ＡＥ基準値とはＡＥのフィードバック制御を行うための撮像素子への入射光量の制御目標値（基準値）である。

次に撮像信号のレベルを読み取る（Ｓ４０４）。ここでＡＥロック設定スイッチ１２０（ロック手段）の状態を読み込み（Ｓ４０５）、この指示によりＡＥロックを実行するか否かを判定する（Ｓ４０６）。ＡＥロックを実行する場合はＳ４０８へ移り、露光状態をホールドし、時間調整（Ｓ４１０）の後、撮像信号レベル読み取り（Ｓ４０４）に戻る。なお時間調整（Ｓ４１０）は、このフィードバックループの応答を決定する遅延タイマーで、系の安定化のため適宜設定する。

Ｓ４０６でＡＥロックを実行しないと判定された場合はＳ４０７へ移り、信号レベルとＡＥ基準値の比較を行う。基準値（４０６）に対して信号レベルが高ければ、１ステップ露光光量を下げ（Ｓ４０９）時間調整に進む（Ｓ４１０）。基準値に対して信号レベルが低ければ（Ｓ４１１）１ステップ露光光量を上げ（Ｓ４１１）、時間調整を経て（Ｓ４１０）撮像信号レベル読み取り（ｓ４０４）に戻る。なおこの１ステップの大きさがこのＡＥフィードバックループの収束精度（分解能）となる。

以上プログラムＡＥと、ＡＥロックを説明してきた。前述したようにこれらのプログラムＡＥのうちのシャッター速度優先ＡＥモードあるいはシャッター速度が固定のＡＥモードと、ＡＥロック時においては、フレームレートの変更が露光時間に影響を及ぼし、操作者の意図と反することになってしまう。また露光時間が短くなる、ということは、撮像信号出力１０８のレベル低下を招いてしまう。しかしこれを防止するために、回路ゲインを上げると画像のノイズの増加、絞りを開くと被写界深度が浅くなってレンズの焦点が合う範囲が狭まるなど、撮像状態が変わってしまう。そもそも、操作者が撮影に際し意図的に露光時間を設定しているような場合には、その意図に従わない方向に撮像装置の制御が行われてしまう。しかしながら、この意図に反する制御を防止するために、常に最短のフレーム間隔より短い露光時間に設定することは、前述したように撮像装置の感度すなわち撮影に必要とする被写体照度の低下を招く。

これらの状況を鑑みて、本実施形態では、設定された露光時間の値に応じてフレームレートの可変範囲を変更させる制御を行う。一方で操作者には、動体を検出した場合はフレームレートを上げて動体の挙動に関する画像を多く記録し、動体検出のない通常時はフレーム間隔を延長して記録ファイルの容量を節約しようという意図があることを想定した制御を行う。

図５は本実施形態における動作説明図であって、図５（ａ）は後述する（ｂ）を除いた通常撮影時のフレーム間隔を示している。フレーム間隔の可変幅５０１は露光時間２０２に入り込み、露光時間の変化幅５０２だけ、露光時間が変動する。しかし、フレーム間隔は可能な限り狭めることが可能であり、ベストショットの瞬間を狙った撮影や、高速度（スローモーション）撮影にも好適である。

これに対し図５（ｂ）は、ＡＥロック時あるいはシャッター速度優先プログラムＡＥの動作時、または手動にて各露光のパラメータを設定するマニュアル設定時に限り、フレーム間隔の可変幅５０１を露光時間２０２に入り込まない範囲に制限する。このことで、設定された露光時間をフレーム間隔の変化により変更しないようにするものである。

図６は、上述のフレームレートの可変範囲をシャッター速度固定の撮影モードの時とその他の撮影モードの時で変更する為の、フレームレート上限設定のフローチャートである。この処理はマイクロプロセッサ１１１で行われる。このフローチャートはループになっていて撮像装置の電源を入れて（Ｓ６０１）から切るまで連続的に動作し、ＡＥロック設定スイッチ１２２よりその設定状態を読み込み（Ｓ６０２）、これがＡＥロックが実行されているかどうかの判定を行う（Ｓ６０３）。ＡＥロックが実行されている時はＳ６０６に移り、フレームレート可変範囲（フレーム間隔）の上限が露光時間以上になるように設定する。

またＡＥロックが実行されていない時はＳ６０４に移り、ＡＥモード選択スイッチ１２２より選択されたＡＥモードを読み込む。次にそれがシャッター速度優先モード、あるいはそれに準ずるモード、すなわちシャッター速度が固定であるか否かの判断を行う（Ｓ６０５）。

シャッター速度が固定である場合はＳ６０６に移り、フレームレート可変範囲（フレーム間隔）の上限が露光時間より短くならないように（露光時間以上になるように）設定し、Ｓ６０７に移る。シャッター速度が固定で無い場合は直接Ｓ６０７に移り、フレームレート可変範囲の制限は行わない。

以上のフローを通過すると、フレームレート制御サブルーチンＳ６０７に入る。ここではフレームレートを設定する動作を行うが、次図に詳述する。Ｓ６０８で時間調整を行った後、ＡＥロックスイッチ状態読み込み（Ｓ６０２）に戻る。

図７はマイクロプロセッサ１１１で実行される本実施形態におけるフレームレート制御のサブルーチンであって、ここでは撮像画面中の動体を検出して、それによりフレームレートを変更している。動体検出は動きベクトル検出部１１２によって行われ、ＤＳＰ１０６よりの動体検出用撮像信号１１９のフレーム間での情報の差異から動いている被写体を検出し、またどちら方向へ動いているかのベクトルを検出する。

まずＳ７０１にて動体検出信号（図１における動きベクトル信号１２３）を読み込み、動体が検出されたか否かを判定する（Ｓ７０２）。動体が検出された場合はＳ７０３に移り、フレーム間隔を最短に設定する。動体が検出されない場合はＳ７０４に移り、フレーム間隔が最長になっているか否かを判定する。フレーム間隔が最長である場合はメインルーチンへ戻る。最長でない場合はフレーム間隔を１段階長くして、その後メインルーチンへ戻る。

以上本実施形態では、可変フレームレートの撮影を行える一方で、シャッター速度優先プログラムＡＥ機能時、自動露出補正機能のロック操作時にも、フレームレートの変更が、固定された露光状態に影響を与えず撮影者の意図どおりの露光条件での撮影が行える。

本発明の目的は、前述した機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行可能とすることによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。またＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される形式でもよい。また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

記憶媒体から読み出されたプログラムコードは、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

１０１ 被写体からの入射光
１０２ レンズ
１０３ 絞り
１０４ 撮像装置
１０５ アナログフロントエンド
１０６ ディジタルシグナルプロセッサ
１０７ フレームメモリ
１０８ 撮像信号出力
１０９ タイミングジェネレータ
１１０ シンクシグナルジェネレータ
１１１ マイクロプロセッサ
１１２ 動きベクトル検出部
１１３ 絞りドライバ
１２０ ＡＥロック設定スイッチ
１２１ シャッター速度設定スイッチ
１２２ ＡＥモード設定スイッチ

Claims (6)

1. 被写体からの入射光を受光し、電気信号に変換する撮像手段と、
   前記撮像手段の露光時間を制御する露光制御手段と、
   前記撮像手段が撮像するフレームレートを変更するフレームレート変更手段と、を有し、
   前記フレームレート変更手段は、前記露光制御手段によって前記露光時間が固定されるか否かで、前記フレームレートの可変範囲を変更することを特徴とする撮像装置。
2. 前記フレームレート変更手段は、前記フレームレートの可変範囲の上限が露光時間以上になるように設定することを特徴とする請求項１に記載の撮像装置。
3. 前記露光制御手段の設定する露光時間を固定するロック手段を有し、前記ロック手段によって前記露光時間を固定するか否かの設定が行われることを特徴とする請求項１または２の撮像装置。
4. 撮像素子が被写体からの入射光を受光し、電気信号に変換する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段における前記撮像素子の露光時間を制御する露光制御ステップと、
   前記撮像手段で撮像されるフレームレートを変更する変更ステップと、を有し、
   前記フレームレート変更ステップでは、前記露光制御ステップによって前記露光時間が固定されるか否かで、前記フレームレートの可変範囲を変更することを特徴とする撮像装置の制御方法。
5. 請求項４に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
6. 請求項４に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images