JP2012238975A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】撮影前にカメラの動きや操作に応じて単一画像または合成画像を表示するように切り替えることで、撮影失敗のリスクを回避できる制御技術を実現する。
【解決手段】撮像装置は、被写体の画像を撮像する撮像手段と、第１の露光期間に撮像された第１の画像と、前記第１の露光期間より短い第２の露光期間に撮像された第２の画像を合成した合成画像のいずれかを表示するように表示手段を切り替える切り替え手段と、装置の動きを検出する検出手段と、前記検出手段により所定の動きが検出された場合、前記第１の画像を表示し、前記所定の動きが検出されない場合、前記合成画像を表示するように前記切り替え手段を制御する制御手段と、を有する。
【選択図】図２

Description

本発明は、スルー画像と、露光時間の短い画像を合成した合成画像を切り替えて表示する撮像装置の制御技術に関する。

近年、デジタルカメラなどの撮像装置において、複数の画像を合成して１枚の合成画像を作成し、ユーザに提供するものが提案されている。合成画像を作成する第１の目的は、ダイナミックレンジを拡張するためである。すなわち、複数枚の画像を撮像する際に露出を変え、露出が異なる画像を合成することで白飛び（露出過多）や、黒つぶれ（露出不足）の少ない幅広いダイナミックレンジを持つ画像を生成することができるからである。第２の目的は、高感度化である。複数枚の画像を合成することで、画像に含まれる（ランダムな）ノイズ成分が抑圧し、合成画像のＳＮ比を向上することができるからである。

特開２００９−０８８９２７号公報

上記合成画像を作成する際の注意点として、被写体や撮像条件によっては、合成画像が視覚的に違和感（不自然さ）を感じさせることがある。また、画像を合成する際、複数枚の画像の間に生ずる位置ずれを補正した上で合成する必要があるが、被写体や撮像条件によってはその位置ずれが十分に補正できず、ぶれた画像が生成されることがある。このように、合成画像が、ユーザが意図したものとは異なる画像となってしまう場合がある。

例えば特許文献１は、通常撮影モード（画像合成しない）と合成画撮影モードそれぞれに対し、内部的に最適な設定を持ち、それぞれのモードで最適な画質を提供している。

しかし、最適な設定であったとしても、ユーザの好みと合っているとはかぎらず、この場合、ユーザは、通常撮影モードと合成画像撮影を２回試すことになる。あるいは、製品によっては、一度のシャッタレリーズで、通常撮影モードと画像合成とを、自動的に撮像し、後からユーザに選択させる形態も考えられる。

いずれにせよ撮影後（シャッタレリーズ後）でないと合成画像の確認ができないため、ユーザとっては、実際の撮像前に、表示部で合成画像を容易に確認できることが望ましい。

ただし、撮影前に常に合成画像を表示するようにした場合も不都合が生じる。例えば図３のように、パンやズーム時の合成画像は、条件によってはその一部が暗くなったり、ぶれたりすることがある。よって、撮影前にユーザが構図や画角を調整している間は、ズームやパンが多くなるので、合成画像を表示せずに、単一画像を表示した方が動きに対する、表示画像の追従性が良く、構図や画角の調整といった目的のためには望ましい。

一方で、ユーザがパンやズームを終了し撮影する直前には、合成画像を表示し、撮影前に合成画像の出来上がりイメージを確認できることが望ましい。

本発明は、上記課題に鑑みてなされ、その目的は、撮影前にカメラの動きや操作に応じて単一画像または合成画像を表示するように切り替えることで、撮影失敗のリスクを回避できる制御技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の画像を撮像する撮像手段と、第１の露光期間に撮像された第１の画像と、前記第１の露光期間より短い第２の露光期間に撮像された第２の画像を合成した合成画像のいずれかを表示するように表示手段を切り替える切り替え手段と、装置の動きを検出する検出手段と、前記検出手段により所定の動きが検出された場合、前記第１の画像を表示し、前記所定の動きが検出されない場合、前記合成画像を表示するように前記切り替え手段を制御する制御手段と、を有する。

本発明によれば、撮影前にカメラの動きや操作に応じて単一画像または合成画像を表示するように切り替えることで、撮影失敗のリスクを回避できる。

本発明に係る実施形態の撮像装置のブロック図。 本実施形態の撮像装置の表示切り替え処理を説明する図。 画像合成処理を説明する図。 本実施形態の変形例の表示切り替え処理を説明する図。

以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

＜撮像装置の構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成について説明する。なお、以下の説明では、複数枚の画像を合成して作成された１枚の画像を合成画像、撮像された１枚の画像を単一画像と呼ぶ。

本実施形態の撮像装置は、例えば、複数枚の画像から１枚の画像を合成する機能を有するデジタルカメラである。そして、本実施形態では、装置の状態変化に応じて、第１の露光期間（フレーム）に撮像された第１の画像（単一画像）と、第１の露光期間より短い第２の露光期間に撮像された第２の画像を合成した合成画像のいずれかを表示するように表示部を切り替える。

図１において、本発明を実現する撮像装置は主として、制御部１０１、撮像部１０２、画像縮小部１０３、画像合成部１０４、切り替え器１０５、表示部１０６、操作部１０７、動き検出器１０８、を含む。

制御部１０１は、例えばマイクロコンピュータであり、上記各部１０２〜１０８へ制御信号を出力すると共に、各部１０２〜１０８から動作状態などを示す信号を受ける。

操作部１０７は、例えば操作キーやタッチパネル、ズームボタンやシャッタボタンに代表される、撮像装置の制御に係るユーザインターフェイスを含む。撮像装置に対するユーザ操作が、操作部１０７を通じて制御部１０１へ入力され、制御部１０１からの制御信号を受けて各部１０２〜１０８の動作が決定される。

撮像部１０２は、例えばＣＭＯＳイメージセンサであり、通常の撮影時においては、例えば毎秒６０フレームの画像を撮像する。以下では、撮像時のフレームレートは１／６０秒であるとして説明するが、本発明はこのフレームレートに限定されるものではない。

通常、本撮影（実際にシャッタをレリーズする操作）の前に、ユーザは、表示部１０６の画像を見て、画角や露出の設定などを行う。この期間を撮影前期間と呼ぶ。

撮像部１０２は、電子シャッタ機能により、１／６０秒の中で、自由に露光時間を変えることができる。また、フレーム単位でその露光時間が可変である。なお、電子シャッタとは、ＣＭＯＳイメージセンサのフォトダイオードにおいて、一度電荷をすべて吐き出した後、電荷の蓄積時間を電気的に変更することでシャッタレリーズと同等の動作を実現する機能を意味する。

撮影前期間において、撮像部１０２の駆動は、例えば図２のように行う。

１フレームは最大１／６０秒の電荷蓄積が可能であるとし、２フレーム単位で見た場合、一方のフレーム（Ａフレーム）は最大１／６０秒の電荷蓄積が可能で、電子シャッタとして撮像部１０２を駆動して、一定時間、電荷蓄積を行う。他方のフレーム（Ｂフレーム）は電子シャッタを用いた電荷蓄積量（露出量）がフレーム間で異なる。Ｂフレームの電荷蓄積量は、後処理である画像合成処理において、ダイナミックレンジ拡張やＳＮ比向上などの目的に応じて決められる。

Ａフレームは最終的に単一画像を作成するために利用される。Ｂフレームは最終的に合成画像を作成するために利用される。

ＡフレームおよびＢフレームはいずれも、画像縮小部１０３によりデータサイズが縮小される。これは撮像部１０２から得られる画像データは、表示部１０６の画素サイズに比べて非常に大きいためである。

Ｂフレームは、画像縮小部１０３での縮小処理後、画像合成部１０４に出力される。画像合成部１０４はＢフレームのフレームごとの画像データを合成する。

画像合成部１０４は、実際のシャッターレリーズ時において撮像部１０２から得られる大きな画素数の画像データを合成できる機能を持った信号処理回路である。なお、画像縮小部１０３からの縮小画像データはデータ量が小さいことから、画像合成に要する処理負荷は大きくはなく、画像合成処理に要する時間も短くなる。Ｂフレームの画像データを画像合成部１０４において合成した画像データをＢ’フレームと呼ぶ。

切り替え器１０５は、画像縮小部１０３からのＡフレームと、画像合成部１０４からのＢ’フレームとを入力し、表示部１０６へ出力するフレームの画像データを切り替える。ＡフレームとＢ’フレームのどちらの画像データを出力すべきかは、制御部１０１が決定する。

動き検出器１０８は、例えば撮像装置内部に設けられた３軸（Ｘ，Ｙ，Ｚ）方向の角速度を検出するセンサであり、撮影者による手ぶれやパンの動作を検出できる。また、動き検出器１０８は、画像縮小部１０３により生成される縮小画像データから、被写体の動きベクトルの検出を行い、被写体の移動速度や移動方向を算出し、算出結果を制御部１０１に出力する。

制御部１０１は切り替え器１０５を以下のように制御する。

例えば撮影者がパンやズームを行っている場合に、パンの状態は動き検出器１０８から、ズームの情報は操作部１０７からそれぞれ取得することができる。ここで、切り替え器１０５は、Ａフレームの画像データを出力する。これはパンやズーム時に、合成画像データを出力すると、図３に示すように、一部の画像が暗くなったり、画像にぶれが発生する可能性があるからである。

また、切り替え器１０５は、動き検出器１０８により検出された手ぶれが大きい場合にも、Ａフレームの画像データを出力する。手ぶれが大きい場合には、画像を合成する際にフレーム間の画像の位置合わせがうまくいかず、合成画像にぶれが発生する可能性があるからである。

また、切り替え器１０５は、動き検出器１０８により検出された被写体の移動量が大きい場合にも、Ａフレームの画像データを出力する。これは被写体の動きが大きい場合、先に述べた場合と同じで、一部の画像が暗くなる場合や、画像にぶれが発生する可能性があるからである。

切り替え器１０５は、上記のように、ズーム、パン、手ぶれ、被写体の移動量がある範囲内に収まった場合に、Ｂ’フレームの画像データを出力する。

上記のようなフレームごとに画像の表示を切り替えることにより、撮影者がズームやパンを行う際に、被写体の動きが速いときなどは、表示部１０６にＡフレームの画像データが表示される。ユーザはその画像を見ながら、撮影に関わる操作を行うことで構図や画角などを容易に決定することができる。

一方、上記以外の状況、すなわち、ズームやパンを止め、撮影者の所望の構図や画角が決まった場合や、被写体の動きが止まった場合など、撮影条件が整った状況においては、表示部１０６にＢ’フレームの画像データを表示する。これにより、ユーザは撮影前に合成画像を確認することができ、撮影後に合成画像を見て失敗と判断するような事態を回避できる。

以上の説明では、切り替え器１０５がＡフレームまたはＢ’フレームを出力する条件として、動き検出器１０８による検出結果を利用しているが、操作部１０７からの入力信号の状態変化を判定し、その判定の結果に応じて切り替えることもできる。具体的には、操作部１０７はシャッタボタンを有し、ユーザがシャッタボタンを反押し（所定の操作）するまでは、常にＡフレームを出力し、シャッタボタンが反押しされたときにＢ’フレームを出力することもできる。

また、撮像部１０２において、一定時間内、例えば１秒間に、ＡフレームとＢフレームの撮像フレーム数が動き検出器１０８の検出結果に応じて可変とされる場合も想定される。これは、動き検出器１０８の検出結果により、切り替え器１０５の出力としてＡフレームが優先的に選ばれる場合、Ｂフレームに比べて、Ａフレームを多く撮像するように撮像部１０２を制御する。これにより、表示部１０６におけるＡフレームの表示更新レートが上がり、カメラや被写体の動きに対して表示部１０６の追従性が良くなる。

図４（ａ）は通常時、図４（ｂ）はＡフレームが優先的に選ばれた場合の切り替え制御の例である。図４（ｂ）において、Ｂフレームは複数枚の画像を合成するため、時間的にあまり離れない方がよい。これは、時間的に離れない方が、画像間の被写体の位置ずれが小さいためである。

反対に、動き検出器１０８の検出結果により、切り替え器１０５の出力としてＢ’フレームが優先的に選ばれる場合、Ｂフレームを多く撮像するように、またはＢフレームのみを撮像するように撮像部１０２を制御する。これにより、表示部１０６におけるＢフレームの表示更新レートが上がり、合成画像の更新レートが上がるため、カメラや被写体の動きに対して表示部１０６の追従性が良くなる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 被写体の画像を撮像する撮像手段と、
   第１の露光期間に撮像された第１の画像と、前記第１の露光期間より短い第２の露光期間に撮像された第２の画像を合成した合成画像のいずれかを表示するように表示手段を切り替える切り替え手段と、
   装置の動きを検出する検出手段と、
   前記検出手段により所定の動きが検出された場合、前記第１の画像を表示し、前記所定の動きが検出されない場合、前記合成画像を表示するように前記切り替え手段を制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記撮像手段により撮像された前記第１および第２の画像のデータサイズを縮小する画像縮小手段と、
   前記画像縮小手段により縮小された複数の前記第２の画像を合成する画像合成手段と、をさらに有し、
   前記切り替え手段は、前記画像縮小手段により縮小された第１の画像と、前記画像合成手段により生成された合成画像のいずれかを表示することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記装置の動きに代えて前記装置に対する所定の操作が検出されるまでは、前記第１の画像を表示し、
   前記所定の操作が検出された場合、前記合成画像を表示するように前記切り替え手段を制御することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記装置の動きとして前記装置のパンやズームが検出された場合、前記第１の画像を表示し、
   前記装置のパンやズームが検出されない場合、前記合成画像を表示するように前記切り替え手段を制御することを特徴とする請求項２に記載の撮像装置。
5. 前記制御手段は、前記装置の動きとして前記装置のぶれが検出された場合、前記第１の画像を表示し、
   前記装置のぶれが検出されない場合、前記合成画像を表示するように前記切り替え手段を制御することを特徴とする請求項２に記載の撮像装置。
6. 前記制御手段は、前記装置の動きに応じて前記撮像手段を制御して、前記第１の露光期間と前記第２の露光期間を可変とすることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 被写体の画像を撮像する撮像手段と、装置の動きを検出する検出手段と、を有する撮像装置の制御方法であって、
   第１の露光期間に撮像された第１の画像と、前記第１の露光期間より短い第２の露光期間に撮像された第２の画像を合成した合成画像のいずれかを表示するように表示手段を切り替える切り替え工程と、
   前記検出手段により所定の動きが検出された場合、前記第１の画像を表示し、前記所定の動きが検出されない場合、前記合成画像を表示するように前記切り替え工程における前記表示の切り替えを制御する制御工程と、を有することを特徴とする制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。