JP2019029836A

JP2019029836A - 撮像装置

Info

Publication number: JP2019029836A
Application number: JP2017147752A
Authority: JP
Inventors: 和彦杉江; Kazuhiko Sugie
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2019-02-21

Abstract

【課題】スローシンクロ撮影において、被写体を意図した構図で簡便に撮影することができる撮像装置を提供する。【解決手段】静止画撮影に利用する第一の撮像手段と、ライブビュー表示と画像検出に利用する第二の撮像手段と、被写体へ照射する発光手段と、前記第二の撮像手段の結果を基に撮影被写体の顔および動き検出を行う顔・動き検出手段と、前記第二の撮像手段の結果を基に撮影環境に応じた露出制御を行う露出制御手段と、撮影被写体の指定手段と、前記発光手段の発光タイミングを指定する発光タイミング指定手段と、前記発光手段の発光タイミングを決定する発光タイミング決定手段と、を備え、前記発光タイミング決定手段は、前記第一の撮像手段の静止画露光中に、前記発光タイミング指定手段と、前記顔・動き検出手段との結果に基づき発光タイミングを決定する。【選択図】図３

Description

本発明は、２つの撮像素子を備える撮像装置に関する。

従来、被写体が静止した瞬間と、被写体のぶれによる動きとが共存したような画像を撮影する技術が知られている。これは、露光中に一瞬ストロボを発光させることで、前述のような画像を得るスローシンクロ撮影と呼ばれる。被写体の動きに対して長い露光時間で撮影することによって、被写体の動きを表現しつつ、ストロボ発光したタイミングで被写体が停止した状態を合わせて撮影することができる。

また、２つの撮像素子を備えた撮像装置が知られている。特許文献１では、２つの撮像素子で撮影した画像を合成することで、あたかもスローシンクロ撮影を行ったかのような画像を生成する撮像装置が提案されている。

特開２００９−２１８８９３号公報

特許文献１によれば、撮影者はストロボ発光させることなく、スローシンクロ撮影時のような画像を得ることができる。しかしながら、画像合成によるスローシンクロ撮影の模擬であるため、２つの画像の合成境界に不自然さが発生することがあった。また、合成処理を行う時間が必要となるため、撮影画像の確認までに時間がかかるという問題があった。

そこで、本発明の目的は、スローシンクロ撮影において、被写体を意図した構図で簡便に撮影することができる撮像装置を提供することである。

上記目的を達成するため、本発明に係る撮像装置は、静止画撮影に利用する第一の撮像手段と、ライブビュー表示と画像検出に利用する第二の撮像手段と、被写体へ照射する発光手段と、前記第二の撮像手段の結果を基に撮影被写体の顔および動き検出を行う顔・動き検出手段と、前記第二の撮像手段の結果を基に撮影環境に応じた露出制御を行う露出制御手段と、撮影被写体の指定手段と、前記発光手段の発光タイミングを指定する発光タイミング指定手段と、前記発光手段の発光タイミングを決定する発光タイミング決定手段と、を備え、前記発光タイミング決定手段は、前記第一の撮像手段の静止画露光中に、前記発光タイミング指定手段と、前記顔・動き検出手段との結果に基づき発光タイミングを決定することを特徴とする。

本発明によれば、スローシンクロ撮影で被写体を意図した構図で簡便に撮影することができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。映像信号処理部とＣＰＵに含まれる処理ブロック図である。各撮像素子とストロボ発光タイミングの例を説明するタイミングチャートである。撮影処理を説明するフローチャートである。本発明の実施形態における設定画面の表示例である。

図１は、本発明の実施形態に係る撮像装置であるカメラ１００の構成例を示したブロック図である。カメラ１００は、レンズ１０１を交換可能に構成した撮像装置である。尚、本発明が適用される撮像装置はカメラ１００だけではなく、例えば、レンズとカメラ本体とが一体構造となっているような撮像装置であってもよい。

レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群であり、入射した被写体の光学像をハーフミラー１０３（光束分割手段）へと導く。本実施形態では、ハーフミラー１０３が撮像光学系から入射した光束を２つの光束へと分割し、一方の光束を第一撮像素子１０５へ、他方の光束を第二撮像素子１０６へと１次結像するよう導く。

レンズ制御部１４１は、レンズ１０１側のＣＰＵであり、レンズ１０１を駆動制御する。レンズ制御部１４１がレンズ１０１駆動を制御することでズーム、フォーカスが制御される。また、レンズ制御部１４１は絞り（不図示）を制御する。

また、レンズ１０１は、レンズマウント１０２を介してカメラ本体に対して取り外し可能になっている。

ハーフミラー１０３は入射した光束を２つに分離し、ハーフミラー１０３を透過した光束を第一撮像素子１０５へ、反射した光束を第二撮像素子１０６へと導く。第一撮像素子１０５、および第二撮像素子１０６は、ＣＭＯＳ撮像素子等で構成される光電変換手段である。第一撮像素子１０５、および第二撮像素子１０６は、レンズ１０１、シャッタ１０４を備える撮像光学系で形成された被写体像を光電変換し、画像信号を出力することができる。

シャッタ１０４は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施形態では、フォーカルプレーンシャッタにて第一撮像素子１０５の露光秒時を調節する構成であるが、この限りではない。第一撮像素子１０５が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。

本実施形態では、第一撮像素子１０５で主に静止画撮影を、第二撮像素子１０６で主に表示用および検出用撮影を行うことを想定している。ただし、第二撮像素子１０６に対するシャッタを具備し、第二撮像素子１０６で静止画撮影を行う構成としてもよく、第一撮像素子１０５、および第二撮像素子１０６の用途を限定するものではない。

映像信号処理部１２１は、第一撮像素子１０５、および第二撮像素子１０６が出力する画像データに対し、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理や、画像の明るさ、コントラスト等の解析を行う。そして処理を行った画像データをメモリ１３２に出力する。映像信号処理部１２１が出力した解析データは、露出制御、オートフォーカス制御に利用する。

メモリ１３２は、映像信号処理部１２１の出力画像データの他、ＣＰＵ１３１が各種処理を行なう際にデータを一時的に記憶する。不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムデータを記憶している。

タイミング発生部１４２は、第一撮像素子１０５、第二撮像素子１０６、映像信号処理部１２１にタイミングを提供する。

バス１５０には前述した構成部以外にレンズ制御部１４１、電源１１０、メモリ１３２、不揮発性メモリ１３３、表示制御部１５１、タッチパネル１５６、カード入出力部１７１、そして、各種のスイッチ類が接続される。

尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、上下左右選択ボタン１６４、決定ボタン１６５である。

電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。

表示制御部１５１は、バス１５０を介してタイミング発生部１４２からの信号に応じて、メモリ１３２に保存された表示用画像データをＤ／Ａ変換部１５２においてデジタル画像データから表示用のアナログ画像データへと変換する。変換されたアナログ画像データは、液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部（不図示）に表示される。また、タッチパネル１５６は表示部１５３の表面に設置され、ユーザが触れた位置を座標情報として、ＣＰＵ１３１に通知する。

尚、デジタル画像データが記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。表示制御部１５１が、メモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像データが更新される。そして、上述の動作を連続的に行い、表示部１５３に表示画像が更新され続けることによって動画の表示が可能となる。

カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。

発光制御部１８１は、内蔵ストロボ１８２を使用する際に、ＣＰＵ１３１の指示に応じて、プリ発光や本発光などの発光パターン制御や発光量の制御を行う。
また、発光制御部１８１は、ＣＰＵ１３１の指示に応じて、内蔵ストロボ１８２と外部ストロボ１８３のどちらを制御するかの切り替えを行う。

ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施形態では、ＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、表示制御部１５１、発光制御部１８１に対して、カメラ１００内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。

［カメラ１００の基本動作］
以下、本実施形態に係る撮像装置であるカメラ１００の基本動作について図１を参照して説明する。まず、ユーザによりメインスイッチ１６１がオンされることで、電源１１０はカメラ１００を構成する各部へと電源を供給する。次に、カメラ１００を構成する各部へと電源の供給がなされると、第二撮像素子１０６に、レンズ１０１によって導かれた被写体の光学像が結像される。

次に、第二撮像素子１０６から定期的（例えば１秒に６０回）に画像データが取り込まれ、各種処理を実行した後にメモリ１３２のＶＲＡＭへ配置する。これにより、第二撮像素子１０６から取り込んだ画像データを表示部１５３に逐次表示（ライブビュー）することができる。

次に、上下左右選択ボタン１６４、決定ボタン１６５をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。

例えば、ストロボの発光タイミングを、シャッタ１０４の先幕シンクロ、後幕シンクロ、中間シンクロから選択し、選択を行うことが可能である。

次に、第１レリーズスイッチ１６２（以下ＳＷ１）はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、前述したレンズ制御部１４１によるレンズ１０１の駆動制御や、発光制御部１８１によるストロボ発光制御を必要に応じて実行する。

次に、第２レリーズスイッチ１６３（以下ＳＷ２）は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなり、被写体の撮影を開始する。また、事前の設定に応じて、発光制御部１８１によるストロボ発光制御を必要に応じて実行する。被写体の撮影の詳細としては、シャッタ１０４と、第一撮像素子１０５を駆動することで被写体の光学像を取り込み、画像データを取り込む。

［追尾・ストロボ発光制御］
以下、本実施形態に係る撮像装置であるカメラ１００の追尾制御およびストロボ発光制御について、図２の概念図を参照して説明する。図２は、映像信号処理部１２１、および、ＣＰＵ１３１での追尾制御およびストロボ発光制御の流れを表すブロック図である。映像信号処理部１２１およびＣＰＵ１３１は、第一映像信号処理部２０１、第二映像信号処理部２１１、露出検出部２１２を有する。また、露出制御部２２１、撮像素子制御部２２２、発光判定部２２３および顔・動き検出部２３１を有する。

第一映像信号処理部２０１は、第一撮像素子１０５から出力される画像から、種々の画像処理を行い、静止画像を生成する。また、第一映像信号処理部２０１は、静止画像へのデジタルゲイン付加も行う。第二映像信号処理部２１１は、第二撮像素子１０６から出力される画像から、画像内の領域ごとの明るさ、ヒストグラム等の解析を行い、解析結果を露出検出部２１２に出力する。

露出検出部２１２は第二映像信号処理部２０１から出力される画像の明るさ等の解析データを基に露出検出を行い、解析結果を露出制御部２２１と発光判定部２２３に出力する。露出制御部２２１は、露出検出部２１２から出力される解析結果と顔・動き検出部２３１の座標情報を入力として露出制御値を算出し、撮像素子制御部２２２に出力する。また、露出制御部２２１は、第一撮像素子１０５の蓄積に連動して、シャッタ１０４の開閉を制御する。

撮像素子制御部２２２は、露出制御部２２１から出力される露出制御値を入力とし、第一撮像素子１０５、および、第二撮像素子１０６のアナログゲイン量、およびデジタルゲイン量を制御する。

発光判定部２２３は、露出検出部２１２から出力される解析結果を入力とし内蔵ストロボ１８２、または外部ストロボ１８３の発光量を算出し、発光制御部１８１に出力する。また、発光判定部２２３は、顔・動き検出部２３１の検出座標をもとに、ストロボ発光すべきタイミングを決定し、発光制御部１８１に出力する。

顔・動き検出部２３１は、第二映像信号処理部の出力をもとに、画像内に含まれる顔の検出と、過去の画像との比較から被写体の動き量を検出し、座標情報を出力する。顔・動き検出部２３１で検出した結果は、露出制御部２２１、および発光判定部２２３で利用する。

以上が本実施形態におけるカメラ１００の基本動作である。

[タイミング制御]
次に、第一撮像素子１０５による静止画撮影と、第二撮像素子１０６による顔・動き検出と、ストロボ発光のタイミング制御について、図３のタイミングチャートを参照して説明する。

図３（ａ）は後幕シンクロ撮影におけるタイミングチャートである。第一撮像素子１０５では静止画像の蓄積と読出しを行う。第一撮像素子１０５の静止画像蓄積期間中はシャッタ１０４を開く。第二撮像素子１０６では周期的に画像の蓄積と読出しを行い、ライブビュー表示画像や露出検出、顔・動き検出に利用する。第二撮像素子１０６から顔・動き結果が得られたら、発光判定部２２３、および発光制御部１８１を経由してストロボ発光させる。さらに、ストロボ発光後に、シャッタ１０４を閉じ、第一撮像素子１０５の蓄積を終了する。

図３（ｂ）は中間シンクロ撮影におけるタイミングチャートである。ストロボ発光タイミングまでは、図３（ａ）の後幕シンクロ撮影と同様のタイミング制御となる。その後、顔・動き検出部２３１、および露出制御部２２１の結果に応じて、シャッタ１０４を閉じ、第一撮像素子１０５の蓄積を終了する。

［撮影処理（図４）］
次に、図４を用いて本実施形態のフローを説明する。ステップＳ１０１で、ＣＰＵ１３１は第二撮像素子１０６を動作させ、ライブビュー動作を開始する。次に、ステップ１０２では、顔・動き検出部の検出対象とする被写体を選択する。被写体の選択は、上下左右選択ボタン１６４と決定ボタン１６５により表示部１５３上の座標を指定するようにしてもよいし、ユーザが選択したタッチパネル１５６上の座標を指定するようにしてもよい。同時に、選択した被写体が、表示部１５３上のどの座標に到達したらストロボ発光を行うかを選択する。また、ストロボのシンクロタイミングを設定する。

図５（ａ）に各種設定画面の例を示す。表示部１５３に表示されるライブビュー表示画面５００上で、ストロボ発光座標指定枠５１０と、被写体指定枠５１１と、ストロボシンクロタイミング設定アイコン５２１が、ユーザの設定可能な項目である。図５（ｂ）のように、被写体指定枠５１１により指定された被写体５１２が、ストロボ発光座標指定枠５１０の位置に到達したタイミングで、ストロボ発光する。また、予定蓄積時間表示バー５２０上で、ストロボシンクロタイミング設定アイコン５２１を移動させることで、ストロボのシンクロタイミングを調整可能とする。

図４に戻って、次に、ステップＳ１０３とステップＳ１１２に進み、それぞれ静止画撮影とライブビュー表示の並行処理を開始する。ステップＳ１０３では、ＣＰＵ１３１はＳＷ２が押下されているかを検出し、ＳＷ２が押下されていなければ、再びステップＳ１０２に戻り、ＳＷ２が押下されていれば、ステップＳ１０４に進む。ステップＳ１０４では、露出制御部２２１が算出した露出に基づいて、撮像素子制御部２２２は、第一撮像素子１０５で撮影する静止画の目標露出を設定する。

ステップＳ１０５では、撮像素子制御部２２２が撮像素子の露光を開始するとともに、露出制御部２２１がシャッタ１０４へ開く指示をする。

ステップＳ１０６では、発光判定部２２３が、ストロボ発光タイミングに到達したかを確認し、ストロボ発光タイミングに到達していない場合は、ステップＳ１０６に戻る。ストロボ発光タイミングに到達した場合は、ステップＳ１０７に進む。ステップＳ１０７では、発光制御部１８１が、内部ストロボ１８２、または外部ストロボ１８３を発光させる。このときのストロボ発光量は、露出検出部２１２の検出結果を基に、発光判定部２２３が決定した発光量を利用する。

次に、ステップＳ１０８では、露出制御部２２１が、第一撮像素子１０５の蓄積終了タイミングに到達したかを確認し、蓄積終了タイミングに到達していない場合は、ステップＳ１０８に戻る。蓄積終了タイミングに到達した場合は、ステップＳ１０９に進む。ステップＳ１０９では、露出制御部２２１は、シャッタ１０４へ閉じる指示を出すとともに、撮像素子制御部２２２は、第一撮像素子１０５の蓄積を終了させる。

次にステップＳ１１０では、露出判定部２２１は、ステップＳ１０４で設定した目標露出に対して、ステップＳ１０５からステップＳ１０９までの蓄積時間が不足しているかを判断する。蓄積時間が不足していた場合、ステップＳ１１1に進み、第一映像信号処理部２０１は、第一撮像素子１０５の画像に対して、目標露出となるようにデジタルゲインを付加する。蓄積時間が目標露出に達していた場合、ステップＳ１１２に進む。ステップＳ１１２では、ＣＰＵ１３１は、撮影待機処理の終了指示があったかを確認する。終了指示がない場合は、ステップＳ１０３に戻る。終了指示があった場合、並行処理の終了を待って、ステップＳ１１９に進む。

ステップＳ１０３からステップＳ１１２の処理に並行して、ステップＳ１１３では、第二撮像素子１０６は、フレーム毎の蓄積と読出しを行う。

ステップＳ１１４では、第二撮像素子１０６が出力した画像を基に、露出検出部２１２が露出の検出を行う。

ステップＳ１１５では、第二撮像素子１０６が出力した画像と、過去の画像を基に、顔・動き検出部２３１が被写体の動きを検出する。

ステップＳ１１６では、発光判定部２２３は、顔・動き検出部２３１の結果と、ステップＳ１０２で設定した座標の比較を行い、ストロボ発光すべきタイミングであるかを判定する。顔・動き検出部２３１の動作間隔に対して、被写体の動きが速い場合は、ストロボ発光が遅れてしまう可能性がある。その場合は、顔・動き検出部２３１の結果から、被写体の移動方向と速度を予測し、ステップＳ１０２で設定した座標への到達時間を算出して、ストロボの発光タイミングを算出してもよい。ステップＳ１１６での判定結果は、ステップＳ１０６で利用される。

ステップＳ１１７では、露出制御部２２１は、ステップＳ１０２で設定した、ストロボのシンクロタイミングと、顔・動き検出部２３１の結果から、第一撮像素子１０５の蓄積終了タイミングを決定する。例として、顔・動き検出部２３１の結果から、被写体が撮影範囲外へフレームアウトするタイミングを算出して、蓄積終了のタイミングとしてもよい。ステップＳ１１７での判定結果は、ステップＳ１０８で利用される。

ステップＳ１１８では、ＣＰＵ１３１は、撮影待機処理の終了指示があったかを確認する。終了指示がない場合は、ステップＳ１１３に戻る。終了指示があった場合、並行処理の終了を待って、ステップＳ１１９に進む。

ステップＳ１１９では、撮像素子制御部２２２が、第二撮像素子１０６のライブビュー撮影を停止させ、撮影待機処理を終了する。

なお、上述した実施形態では、第一撮像素子１０５を静止画用撮像素子、第二撮像素子１０６を表示・各種検出用撮像素子として説明した。そして、第二撮像素子１０６が検出した顔・動きと露出によってストロボ発光タイミングを決定することを説明した。これにより、第一撮像素子１０５が静止画撮影用に動作している間も、被写体の変化を観測し、ストロボ発光のタイミングを決定して制御ことができる。また、中間シンクロ撮影の場合に、目標露出となる第一撮像素子１０５の蓄積終了タイミングを、第一撮像素子１０５の動作中に決定して制御することができる。さらに、後幕シンクロ撮影の場合に、目標露出に対して不足した分をゲインで補うことで、適正露出となる撮影が可能となる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００カメラ（撮像装置）
１０５撮像素子
１０６撮像素子
１３１ＣＰＵ（制御手段・決定手段）

Claims

静止画撮影に利用する第一の撮像手段と、
ライブビュー表示と画像検出に利用する第二の撮像手段と、
被写体へ照射する発光手段と、
前記第二の撮像手段の結果を基に撮影被写体の顔および動き検出を行う顔・動き検出手段と、
前記第二の撮像手段の結果を基に撮影環境に応じた露出制御を行う露出制御手段と、
撮影被写体の指定手段と、
前記発光手段の発光タイミングを指定する発光タイミング指定手段と、
前記発光手段の発光タイミングを決定する発光タイミング決定手段と、
を備え、
前記発光タイミング決定手段は、前記第一の撮像手段の静止画露光中に、前記発光タイミング指定手段と、前記顔・動き検出手段との結果に基づき発光タイミングを決定することを特徴とする撮像装置。
前記露出制御手段は、前記発光手段による発光後に、目標とする露出に到達したタイミングで、前記第一の撮像手段の静止画露光を終了させることを特徴とする請求項１に記載の撮像装置。
前記第一の撮像手段で撮影した静止画画像に対するゲイン付加手段を備え、前記発光タイミング決定手段は、前記発光手段による発光後に、前記第一の撮像手段の静止画露光を終了させ、前記ゲイン付加手段は、前記露出制御手段が決定した目標露出に対して、不足している露出分のゲインを付加させることを特徴とする請求項１に記載の撮像装置。