JP2020072391A - Imaging apparatus and control method of imaging apparatus - Google Patents
Imaging apparatus and control method of imaging apparatus Download PDFInfo
- Publication number
- JP2020072391A JP2020072391A JP2018205619A JP2018205619A JP2020072391A JP 2020072391 A JP2020072391 A JP 2020072391A JP 2018205619 A JP2018205619 A JP 2018205619A JP 2018205619 A JP2018205619 A JP 2018205619A JP 2020072391 A JP2020072391 A JP 2020072391A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image data
- light
- face
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、調光を行う撮像装置および撮像装置の制御方法に関する。 The present invention relates to an imaging device that performs light control and a method of controlling the imaging device.
例えば、デジタルカメラ等の撮像装置として、撮像された画像データに含まれる顔の領域の情報を用いて調光を行うものがある。関連する技術として、特許文献１の撮像装置が提案されている。特許文献１の撮像装置は、発光がない状態での顔領域の輝度色情報と、発光を行った状態での顔領域の輝度色情報との差分を考慮して、顔色を考慮した発光量を算出し、補正している。 For example, as an imaging device such as a digital camera, there is one that performs light control using information on a face region included in the captured image data. As a related technique, the imaging device of Patent Document 1 has been proposed. The imaging device of Patent Document 1 considers the difference between the luminance color information of the face area in the state of no light emission and the luminance color information of the face area in the state of light emission, and determines the light emission amount considering the face color. Calculated and corrected.
例えば、撮像装置により撮像を行うシーンが逆光シーン等のように、ストロボが発光していない定常状態では、撮像された画像データ中の顔の領域が暗くなることがある。その場合、顔の領域の特定が困難なため顔の領域に適正な発光量を算出することは難しい。 For example, in a steady state in which the strobe does not emit light, such as a backlit scene, the face area in the imaged image data may be dark. In that case, since it is difficult to specify the face area, it is difficult to calculate an appropriate light emission amount for the face area.
本発明の目的は、顔の領域に適した調光の精度を向上させることができる撮像装置および撮像装置の制御方法を提供することにある。 An object of the present invention is to provide an imaging device and a method of controlling the imaging device, which can improve the accuracy of light control suitable for a face area.
上記目的を達成するために、本発明の撮像装置は、発光手段と、画像データから被写体の顔領域を検出する検出手段と、前記発光手段を発光させていない画像データから被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される可能性がある第１領域を推定する推定手段と、推定された前記第１領域に複数の枠を設定する設定手段と、設定された複数の枠の信号値を積分した積分値に基づいて調光を行う調光手段と、を備えることを特徴とする。 In order to achieve the above object, an image pickup apparatus of the present invention includes a light emitting unit, a detecting unit that detects a face area of a subject from image data, and a face area of the subject is detected from image data that does not cause the light emitting unit to emit light. If not, an estimating unit that estimates a first region in which the face region of the subject may be detected from the image data that causes the light emitting unit to emit light, and a setting that sets a plurality of frames in the estimated first region And a dimming unit that performs dimming based on an integrated value obtained by integrating signal values of a plurality of set frames.
本発明によれば、顔の領域に適した調光の精度を向上させることができる。 According to the present invention, it is possible to improve the accuracy of light control suitable for the face area.
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configurations described in the following respective embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in the respective embodiments.
図１は、本実施形態に係る撮像装置１の構成例を示す図である。撮像装置１としては、デジタルカメラ等の任意のカメラが適用され得る。撮像装置１は、撮像部１０、露出制御部２０、フォーカス制御部３０、ストロボ制御部３５、ストロボ３６、システム制御部４０、メモリ５０、画像処理回路６０、表示部７０、記録部８０および操作部９０を有する。撮像部１０は、フォーカスレンズを含むレンズ群、シャッターおよび絞りを通過した光を受光し、Ａ／Ｄ変換によってデジタル化された画像データを出力する。露出制御部２０は、シャッターおよび絞りの制御を行う。フォーカス制御部３０は、フォーカスレンズの制御を行う。ストロボ制御部３５は、発光手段としてのストロボ３６を発光させる制御を行う。撮像部１０は、ストロボ３６の発光による被写体からの反射光を取り込むことができる。
FIG. 1 is a diagram showing a configuration example of an image pickup apparatus 1 according to the present embodiment. As the imaging device 1, any camera such as a digital camera can be applied. The image pickup apparatus 1 includes an
撮像部１０が出力した画像データは、画像処理回路６０に入力されるとともに、メモリ５０に記憶することができる。メモリ５０に記憶された画像データは、再度読み出すことができる。システム制御部４０は、メモリ５０に記憶された画像データを参照することができ、またメモリ５０から読み出した画像データを画像処理回路６０に入力することができる。画像処理回路６０により画像処理が施された画像データはメモリ５０に書き戻すことができる。
The image data output by the
また、システム制御部４０は、任意のデータをメモリ５０に書き込むことができる。システム制御部４０は、例えば、ＣＰＵ、ＲＡＭおよびＲＯＭを有する。この場合、ＲＯＭに記憶されているプログラムがＲＡＭに展開され、ＲＡＭに展開されたプログラムをＣＰＵが実行することで、システム制御部４０の機能が実現されてもよい。システム制御部４０は、所定のプログラミング回路により実現されてもよい。システム制御部４０は、推定手段、設定手段および調光手段に対応する。
Further, the
画像処理回路６０は、画像データの所定領域の信号値を積分する積分器や画像データから顔の領域を検出する顔検出部等を含む。図１に示されるように、画像処理回路６０は、第１積分器６２および第２積分器６４を有する。図１において、第１積分手段としての第１積分器６２は、積分器Ａとして示される。第２積分手段としての第２積分器６４は、積分器Ｆとして示される。第１積分器６２（積分器Ａ）は、主に画面全体の輝度分布を取得するために用いられる。第２積分器６４（積分器Ｆ）は、主に顔の領域の輝度を取得するために用いる。
The image processing circuit 60 includes an integrator that integrates a signal value of a predetermined area of the image data, a face detection unit that detects a face area from the image data, and the like. As shown in FIG. 1, the image processing circuit 60 has a
画像処理回路６０が画像処理を施したデジタルの画像データは、メモリ５０に記憶される。メモリ５０に記憶された画像データは、Ｄ／Ａ変換されて、アナログの画像データとなる。表示部７０は、アナログの画像データを表示する。表示部７０は、例えば、液晶ディスプレイである。表示部７０は、画像データ（画像）だけでなく任意の情報を単独で、または画像と共に表示することが可能である。表示部７０は、撮影時の露出情報や検出された顔の領域に枠を表示することも可能である。表示手段としての表示部７０は、例えば、システム制御部４０の制御に基づいて、後述する一枠Ｆやメッシュ枠Ａ、メッシュ枠Ｆ等を表示することができる。記録部８０は、撮影した画像データを所定の記録媒体（メディア）に記憶する。
Digital image data subjected to image processing by the image processing circuit 60 is stored in the
操作部９０は、例えば、撮像装置１に設けられるシャッターボタンであり、撮影指示を行うための第１シャッタースイッチ９２および第２シャッタースイッチ９４を含む。図１において、第１シャッタースイッチ９２は「ＳＷ１」と表記され、第２シャッタースイッチ９４は「ＳＷ２」と表記される。第１シャッタースイッチ９２は、上記シャッターボタンの操作途中でＯＮとなる。第１シャッタースイッチ９２がＯＮになると、露出やピントの自動制御等の撮影準備動作が開始する。第２シャッタースイッチ９４は、上記シャッターボタンの操作完了でＯＮとなる。第２シャッタースイッチ９４がＯＮになると、静止画撮影の指示がされる。また、操作部９０は、モード切り替えスイッチやパラメータ選択スイッチ等を含む。モード切り替えスイッチは、静止画撮影モードや動画撮影モード、再生モードなどのカメラ動作モードを切り替えるためのスイッチである。パラメータ選択スイッチは、カメラ設定を変更可能なスイッチである。
The
次に、実施形態に係る静止画記録モードの処理の流れについて説明する。図２は、実施形態に係る処理の流れを示すフローチャートである。システム制御部４０は、第１シャッタースイッチ９２（ＳＷ１）がＯＮになっているかを判定する（Ｓ２０１）。Ｓ２０１でＮｏと判定された場合、フローは、Ｓ２０１に戻る。第１シャッタースイッチ９２がＯＮになるまで、Ｓ２０１の処理が繰り返し行われる。Ｓ２０１でＹｅｓと判定された場合、システム制御部４０は、測光処理を行い、被写体の輝度値を算出するとともに、算出した輝度値に基づき適正露出に制御する（Ｓ２０２）。被写体の輝度値は、撮像部１０から出力される画像データを第１積分器６２に入力して得られる画面全体の輝度分布と、画像データが露光された時点の露出条件とに基づいて算出することができる。
Next, a flow of processing in the still image recording mode according to the embodiment will be described. FIG. 2 is a flowchart showing the flow of processing according to the embodiment. The
システム制御部４０は、測距処理を行い、被写体にピントを合わせるためにフォーカスレンズを合焦位置に移動させる（Ｓ２０３）。システム制御部４０は、撮影時にストロボを発光させる設定となっているか否かを判定する（Ｓ２０４）。例えば、ユーザによりストロボを強制的に発光させる設定がされている場合には、Ｓ２０４でＹｅｓと判定される。また、撮像装置１に対して自動発光設定がされている場合、システム制御部４０は、画像データの解析結果に応じて、ストロボ制御部３５を制御して、ストロボ３６を発光させることがある。この場合も、撮影時にストロボを発光させる設定となり、Ｓ２０４でＹｅｓと判定される。例えば、撮影時のシーンが逆光シーンである場合等においては、システム制御部４０は、ストロボ制御部３５に対してストロボ３６を発光させる制御を行う。
The
システム制御部４０は、第２シャッタースイッチ９４（ＳＷ２）がＯＮになっているか否かを判定する（Ｓ２０５）。Ｓ２０５でＮｏと判定された場合、システム制御部４０は、第１シャッタースイッチ９２（ＳＷ１）がＯＮになっているか否かを判定する（Ｓ２０６）。Ｓ２０６でＹｅｓと判定された場合、第１シャッタースイッチ９２（ＳＷ１）はＯＮであるが、第２シャッタースイッチ９４（ＳＷ２）はＯＦＦである。この場合、フローは、Ｓ２０５に移行する。Ｓ２０６でＮｏと判定された場合、第１シャッタースイッチ９２（ＳＷ１）および第２シャッタースイッチ９４（ＳＷ２）の両者がＯＦＦである。この場合、フローは、Ｓ２０１に移行する。Ｓ２０５でＹｅｓと判定された場合、第２シャッタースイッチ９４（ＳＷ２）がＯＮにされたため、静止画を撮影する撮影処理が行われる（Ｓ２０７）。撮影処理が終了した後、フローは、Ｓ２０１に戻る。例えば、撮像装置１に対して所定の操作がされた場合に、図２のフローチャートが終了してもよい。
The
Ｓ２０７の撮影処理について、図３のフローチャートを参照して説明する。システム制御部４０は、上述したＳ２０４での判定の結果、ストロボ３６を発光させる設定となっているか否かを判定する（Ｓ３０１）。Ｓ３０１でＮｏと判定された場合、ストロボ３６が発光しない設定となっているため、Ｓ３０２〜Ｓ３１９の処理は行われず、フローはＳ３２０に移行する。Ｓ３０１でＹｅｓと判定された場合、システム制御部４０は、最新の顔検出結果を取得する（Ｓ３０２）。画像処理回路６０は、画像データの中から被写体の顔領域を検出する処理（顔検出処理）を行い、システム制御部４０は、画像処理回路６０による顔検出処理の結果を顔検出結果として取得する。そして、システム制御部４０は、第１積分器６２（積分器Ａ）に対して第１メッシュ枠（以下、メッシュ枠Ａ）を設定する（Ｓ３０３）。メッシュ枠Ａは、第１積分器６２の積分値から画面全体の輝度分布を算出できるように、画角全体を概略カバーするように設定される。画角全体の領域は、画像データ全体の領域（第２領域）である。メッシュ枠Ａは、複数の枠により構成されている。以下に説明する各種の枠は、格子状の枠である。システム制御部４０は、Ｓ３０２で取得した顔検出結果を参照し、顔が検出されたか否かを判定する（Ｓ３０４）。Ｓ３０４でＹｅｓと判定された場合、つまり画像データの中から顔が検出された場合、システム制御部４０は、第２積分器６４に、検出された顔の領域を設定する（Ｓ３０５）。このとき、システム制御部４０は、第２積分器６４の積分値から顔の輝度が算出できるように、検出された顔の領域に１つの枠（以下、一枠Ｆとする）を設定する。一枠Ｆは、１つの枠で構成される。
The photographing process of S207 will be described with reference to the flowchart of FIG. As a result of the determination in S204 described above, the
システム制御部４０は、ストロボ制御部３５を制御して、ストロボ３６に調光のためのプリ発光を行わせる（Ｓ３０６）。システム制御部４０は、プリ発光による撮影を行い、プリ発光時に撮像部１０が撮像した画像データ（プリ発光画像）を取得する（Ｓ３０７）。また、プリ発光がされていない状態で撮像部１０が撮像した画像データ（非発光画像）を取得する（Ｓ３０８）。システム制御部４０は、プリ発光画像および非発光画像を、第１積分器６２（積分器Ａ）および第２積分器６４（積分器Ｆ）にセットする。以下、第１積分器６２（積分器Ａ）および第２積分器６４（積分器Ｆ）は、プリ発光画像の信号値と非発光画像との信号値の差分の積分を行うものとする。以下の積分値は、プリ発光画像の信号値と非発光画像との信号値の差分の積分により得られる値（評価値）である。
The
上述したように、第１積分器６２には、画像データ全体をカバーするようにメッシュ枠Ａが設定されている。第１積分器６２は、メッシュ枠Ａを構成する複数の枠のそれぞれについて、信号値の積分を行う。これにより、システム制御部４０は、第１積分器６２が積分した評価値に基づいて、画像データ全体の輝度分布を得ることができる。また、第２積分器６４には、Ｓ３０５で検出された顔の領域に設定された一枠Ｆが設定されている。第２積分器６４は、一枠Ｆの信号値の積分を行い、評価値を算出する。これにより、システム制御部４０は、顔の領域の輝度を得ることができる（Ｓ３０９）。実施形態では、顔の領域の輝度は、プリ発光画像の信号値と非発光画像との信号値の差分の積分により得られる評価値に基づいて求められる。なお、顔の領域の輝度は、プリ発光画像の信号値の積分値に基づいて求められてもよいし、非発光画像の信号値の積分値に基づいて求められてもよい。
As described above, the mesh frame A is set in the
後述するように、システム制御部４０は、画像データ全体の輝度分布と顔の領域の輝度とに基づいて、調光処理を行う。Ｓ３０４でＹｅｓと判定される場合、プリ発光がされていない状態で、Ｓ３０２で画像データから顔が検出されている。従って、システム制御部４０は、画像データ全体の輝度分布と検出された顔の領域の輝度とに基づいて、調光処理を行うことで、高精度に調光を行うことができる。
As will be described later, the
ここで、Ｓ３０４でＹｅｓと判定された場合、システム制御部４０は、プリ発光がされる前に、顔の領域に対して一枠Ｆを設定することができるため、プリ発光画像が読み出された際に、システム制御部４０は、画像データの中から顔の領域を特定できる。これにより、プリ発光後に顔の領域を特定する必要がなくなり、調光処理を早期に開始することができるため、撮影タイムラグを短縮できる。一方、Ｓ３０４でＮｏと判定された場合、画像データのうち何れの領域に顔があるかが特定されていない。プリ発光により、被写体の輝度が高くなるため、プリ発光後であれば、画像データのうち何れの領域に顔があるかを特定することができる。しかし、この場合、プリ発光後に顔の領域を特定する必要があるため、調光処理の開始タイミングが遅くなり、撮影タイムラグが長くなる。
Here, if it is determined as Yes in S304, the
次に、Ｓ３０４でＮｏと判定された場合、つまりプリ発光されていない状態では、画像データから顔が検出されなかった場合について説明する。この場合、システム制御部４０は、プリ発光により顔が検出される可能性がある領域（第１領域）を推定する顔推定処理を行う（Ｓ３１０）。システム制御部４０は、Ｓ３１０で推定された領域に対して、第２メッシュ枠を設定する（Ｓ３１１）。第２メッシュ枠（メッシュ枠Ｆ）は、第１メッシュ枠（メッシュ枠Ａ）と同様、複数の他の枠により構成されているものとする。実施形態では、メッシュ枠Ａおよびメッシュ枠Ｆは、均等に分割されているものとする。メッシュ枠Ｆの面積は、メッシュ枠Ａの面積より小さい。また、メッシュ枠Ｆを構成する他の枠の面積は、メッシュ枠Ａを構成する枠の面積より小さい。システム制御部４０は、ストロボ制御部３５を制御して、ストロボ３６から調光のためのプリ発光を行わせる（Ｓ３１２）。
Next, a case where it is determined No in S304, that is, a case where no face is detected from the image data in the state where pre-emission is not performed will be described. In this case, the
システム制御部４０は、プリ発光による撮影を行い、プリ発光時に撮像部１０が撮像した画像データ（プリ発光画像）を取得する（Ｓ３１３）。システム制御部４０は、画像処理回路６０に対して、取得したプリ発光画像から顔検出処理を実施させる制御を行う（Ｓ３１４）。プリ発光がされることで、被写体の輝度が高くなり、プリ発光がされていない状態では検出されなかった顔が、Ｓ３１４の顔検出処理で検出されることが想定される。次に、システム制御部４０は、プリ発光がされていない状態で撮像部１０が撮像した画像データ（非発光画像）を取得する（Ｓ３１５）。システム制御部４０は、Ｓ３１４にてプリ発光画像を、第１積分器６２（積分器Ａ）および第２積分器６４（積分器Ｆ）にセットし、Ｓ３１５にて非発光画像を、第１積分器６２（積分器Ａ）および第２積分器６４（積分器Ｆ）にセットする。
The
Ｓ３１４において、画像処理回路６０にて、プリ発光画像から顔検出処理が実施される。システム制御部４０は、プリ発光画像に基づく顔検出処理により顔が検出されたか否かを判定する（Ｓ３１６）。上述したように、Ｓ３１４において、プリ発光がされていない状態では検出されなかった顔が、プリ発光画像から検出されることがある。Ｓ３１６でＹｅｓと判定された場合、第１積分器６２（積分器Ａ）および第２積分器６４（積分器Ｆ）は、プリ発光画像の信号値と非発光画像との信号値の差分の積分を行い、評価値を得る。Ｓ３１１において、第２積分器６４には、メッシュ枠Ｆが設定されている。第２積分器６４は、メッシュ枠Ｆを構成する複数の他の枠のそれぞれについて、信号値の積分を行う。メッシュ枠Ｆは、画像データのうち顔が検出される可能性があると推定された領域である。従って、システム制御部４０は、Ｓ３１６でＹｅｓと判定された場合、メッシュ枠Ｆの評価値に基づいて、顔の領域の輝度を求めることができる（Ｓ３１７）。
In step S314, the image processing circuit 60 performs face detection processing from the pre-emission image. The
ここで、Ｓ３０４でＮｏと判定された場合、画像データのうち何れの領域に顔があるかが特定されていない。実施形態のシステム制御部４０は、Ｓ３１２のプリ発光前に、顔推定処理を行い、顔の領域が検出される可能性がある領域を推定する。そして、システム制御部４０は、顔の領域が検出される可能性がある領域にメッシュ枠Ｆを設定する。そして、メッシュ枠Ｆを構成する他の枠の面積は、メッシュ枠Ａを構成する枠の面積より小さい。従って、メッシュ枠Ａの枠の積分値から顔の領域の輝度を求める場合と比較して、メッシュ枠Ｆの他の枠の積分値から顔の領域の輝度を求める場合の方が、高い精度で顔の領域の輝度を求めることができる。
Here, when it is determined No in S304, it is not specified in which area of the image data the face is located. The
次に、システム制御部４０は、顔の領域の輝度とメッシュ枠Ａの積分値から得られる画面全体の輝度分布とに基づいて、調光処理を行う（Ｓ３１８）。Ｓ３０４でＹｅｓと判定された場合には、システム制御部４０は、Ｓ３０９で求められた顔の領域の輝度と、メッシュ枠Ａの積分値から得られる画像データ全体の輝度分布とに基づいて、調光処理（調光演算）を行う。Ｓ３０４でＮｏと判定された場合には、システム制御部４０は、Ｓ３１７で求められた顔の領域（Ｓ３１０で推定された顔の領域）の輝度と、メッシュ枠Ａの積分値から得られる画面全体の輝度分布とに基づいて、調光処理（調光演算）を行う。
Next, the
Ｓ３１６でＮｏと判定された場合、システム制御部４０は、メッシュ枠Ａの積分値から得られる画面全体の輝度分布から調光処理（調光演算）を行う（Ｓ３１９）。画像処理回路６０により、Ｓ３１４における顔検出処理が実施されたとしても、顔の領域が検出されないこともある。このような場合、Ｓ３１６でＮｏと判定される。システム制御部４０は、Ｓ３１８またはＳ３１９で調光処理された結果に基づいて、本露光時の発光量を算出する（Ｓ３１９）。上述したように、Ｓ３１８において、システム制御部４０は、顔の領域の輝度とメッシュ枠Ａの積分値から得られる画面全体の輝度分布とに基づいて、調光演算を行う。これにより、顔の領域の輝度だけでなく画面全体の輝度分布も加味した調光演算が行われるため、顔以外の被写体とのバランスのとれた調光が可能となる。
When it is determined No in S316, the
システム制御部４０は、Ｓ３１９で算出された本露光時の発光量に基づいて、静止画用の露出設定を行う（Ｓ３２０）。また、システム制御部４０は、発光撮影する場合にはＳ３１８またはＳ３１９で求めた発光量に基づき、本露光に対する発光設定も行う。露出設定が完了すると、システム制御部４０は、本露光を実施する制御を行う（Ｓ３２１）。そして、撮像された画像データの現像処理が行われる（Ｓ３２２）。現像処理が施された画像データは、記録部８０によりメディアに記録される（Ｓ３２３）。以上により、撮影処理が終了する。
The
次に、Ｓ３１０の顔推定処理について、図４のフローチャートを参照して説明する。顔推定処理は、非発光状態では暗くて検出されないが、プリ発光により検出される顔の領域を推定するために行われる。システム制御部４０は、画像データのうち暗部領域の特定を行う（Ｓ４０１）。例えば、撮像部１０から得られた最新の画像データが画像処理回路６０に入力された場合、システム制御部４０は、画像処理回路６０による画像処理の結果に応じて、画像データのうち輝度値が所定値以下の領域を暗部領域として特定する。また、システム制御部４０は、Ｓ２０２の測光時に第１積分器６２から得られた画面全体の輝度分布に基づいて、輝度値が所定値以下の領域を暗部領域として特定してもよい。
Next, the face estimation process of S310 will be described with reference to the flowchart of FIG. The face estimation process is performed in order to estimate the face area detected by the pre-emission although it is dark and not detected in the non-emission state. The
次に、システム制御部４０は、距離マップを取得する（Ｓ４０２）。距離マップは、画像領域ごとの被写体距離情報に基づいて、例えば、Ｓ２０３の測距処理の際に生成することができる。システム制御部４０は、特定された暗部領域および被写体距離情報に基づいて、画像データのうち、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域を特定する（Ｓ４０３）。Ｓ４０３で特定された領域は、近くて暗い領域であり、画像データのうち顔が検出される可能性があると推定される領域である。
Next, the
例えば、逆光シーン等の撮影環境において、発光がされていない状態（非発光状態）である場合、画像データ中の顔は暗くなる。また、Ｓ４０３において特定される領域は、被写体距離が所定距離以下の領域である。ここで、ガイドナンバーや調光時の絞り値に基づいて、プリ発光が届く領域を推定することができる。また、ストロボの配光に基づいて、プリ発光が届かないと想定される領域を推定することができる。プリ発光が届かないと推定される領域は、被写体距離が所定距離を超える領域であり、Ｓ４０３で特定される領域から除外される領域である。従って、ガイドナンバー、調光時の絞り値またはストロボの配光に基づいて、上記所定距離を決定することができる。図４のフローチャートのＳ４０３では、画像データのうち顔が検出される可能性があると推定される領域は、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域（暗くて近い領域）である。ここで、暗部領域は、顔がある領域である可能性が高いため、システム制御部４０は、被写体距離情報にかかわらず、暗部領域を、顔が検出される可能性がある領域と推定してもよい。
For example, in a shooting environment such as a backlit scene, when the light is not emitted (non-emission state), the face in the image data becomes dark. The area specified in S403 is an area in which the subject distance is equal to or less than the predetermined distance. Here, it is possible to estimate the area to which the pre-light emission reaches based on the guide number and the aperture value at the time of dimming. Further, it is possible to estimate the region where pre-emission does not reach based on the light distribution of the strobe. The region where the pre-emission does not reach is the region where the subject distance exceeds the predetermined distance, and is the region excluded from the region specified in S403. Therefore, it is possible to determine the predetermined distance based on the guide number, the aperture value at the time of dimming, or the light distribution of the strobe. In step S403 of the flowchart of FIG. 4, the area of the image data that is estimated to have the possibility of detecting a face is a dark area and the object distance indicated by the object distance information is equal to or less than a predetermined distance (dark area). Near area). Here, since the dark area is highly likely to be the area where the face is present, the
次に、第１積分器６２および第２積分器６４に設定される枠について説明する。図５は、画像データに設定される各種の枠の設定例を示す図である。図５（Ａ）は、プリ発光がされていない状態（非発光状態）で、画像データから顔が検出されている場合のメッシュ枠Ａおよび一枠Ｆの設定例を示す。この場合、システム制御部４０は、第１積分器６２に対して、画角の概ね全体をカバーする領域にメッシュ枠Ａを設定する。図５（Ａ）のメッシュ枠Ａは、水平方向に１０個の枠と垂直方向に６個の枠とにより構成されている。メッシュ枠Ａを構成する枠の個数は、上記の値には限定されない。画像処理回路６０は、メッシュ枠Ａの各枠について、赤色、緑色および青色の各色の信号値を積分して積分値を算出する。システム制御部４０は、算出された積分値に基づいて、各枠のそれぞれについての輝度を求めることができる。
Next, the frame set in the
システム制御部４０は、第２積分器６４に対して、検出された顔に１つの枠（一枠Ｆ）を設定する。メッシュ枠Ａが画面の略全体をカバーしているため、顔の領域の輝度をメッシュ枠Ａの各枠の積分値から求めることもできるが、１つの枠が顔の領域と背景領域とを含むような場合に、枠内の積分値は背景の輝度を含むことになる。例えば、図５（Ａ）の例で示されるメッシュ枠Ａを構成する各枠のうち一部の枠は、顔の一部分だけでなく、顔以外の背景等を含む。メッシュ枠Ａは、画像データの全体に対して設定されているため、メッシュ枠Ａを構成する各枠の面積も大きくなる。このため、メッシュ枠Ａの各枠の積分値から顔の領域の輝度が求められる場合、顔の領域の輝度の検出精度が低下する。メッシュ枠Ａの分割数（枠の数）を多くできれば、検出精度を向上させることもできるが、システム制御部４０の回路規模の問題等から分割数には制限がある。従って、実施形態のシステム制御部４０は、顔の領域に設定した１つの枠（一枠Ｆ）の積分値から顔の領域の輝度を求める。これにより、顔の領域の輝度を高精度に求めることができるとともに、調光を高精度に行うことができる。
The
図５（Ｂ）は、プリ発光がされていない状態（非発光状態）で、画像データから顔が検出されない場合のメッシュ枠Ａおよびメッシュ枠Ｆの設定例を示す。図５（Ｂ）の例では、逆光シーンでの撮影により、画像データのうち、顔を含む人物領域が暗くなり、顔が検出されない場合を想定している。システム制御部４０は、図５（Ａ）と同様に、第１積分器６２に対しては、画角の略全体（画像データの略全体）にメッシュ枠Ａが設定される。一方、第２積分器６４に対しては、Ｓ４０３で特定される領域（顔が検出される可能性がある領域）にメッシュ枠Ｆが設定される。図５（Ｂ）の例では、メッシュ枠Ｆは、水平方向に１０個の枠と垂直方向に６個の枠とにより構成されている。メッシュ枠Ｆを構成する枠の個数は、上記の値には限定されない。
FIG. 5B shows a setting example of the mesh frames A and F when no face is detected from the image data in a state where pre-emission is not performed (non-emission state). In the example of FIG. 5B, it is assumed that the person region including the face in the image data becomes dark due to the shooting in the backlight scene, and the face is not detected. As in the case of FIG. 5A, the
図５（Ｂ）の例では、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域（近くて暗い領域）に、メッシュ枠Ｆが設定されている。Ｓ３１４で顔が検出された場合、システム制御部４０は、メッシュ枠Ｆのうち、検出された顔の領域と重なるメッシュ枠の積分値から顔の領域の輝度を求める。図５（Ｂ）に示されるように、メッシュ枠Ｆを構成する他の枠の面積は、メッシュ枠Ａを構成する枠の面積より小さい。このため、メッシュ枠Ｆを構成する他の枠に顔の一部分だけでなく、背景等が入っていたとしても、他の枠の中における顔の部分の割合が高くなる。このため、メッシュ枠Ａが設定された第１積分器６２が算出した積分値より求められる顔の領域の輝度より、メッシュ枠Ｆが設定された第２積分器６４が算出した積分値により求められる顔の領域の輝度の方が、顔の領域の輝度を高精度が求められる。
In the example of FIG. 5B, the mesh frame F is set in the dark area and the area where the object distance indicated by the object distance information is equal to or less than the predetermined distance (close and dark area). When the face is detected in S314, the
図５（Ｃ）は、Ｓ４０３において、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域が複数特定された例を示す。この場合、システム制御部４０は、特定された複数の領域を包含する矩形領域にメッシュ枠Ｆを設定する。これにより、画像データから複数の顔が検出された場合でも、高精度に調光を行うことができる。図５（Ｃ）の例では、第２積分器６４が１つのメッシュ枠Ｆを設定することができる積分器であることを想定している。この点、第２積分器６４が複数のメッシュ枠Ｆを設定できる積分器である場合には、システム制御部４０は、第２積分器６４に、特定された複数の領域のそれぞれにメッシュ枠Ｆを設定してもよい。
FIG. 5C illustrates an example in which a plurality of regions which are dark regions and whose subject distance indicated by the subject distance information is equal to or less than a predetermined distance are specified in S403. In this case, the
図５（Ｄ）は、画像データ中の暗部領域が大きいことに起因して、メッシュ枠Ａを構成する枠とメッシュ枠Ｆを構成する他の枠との面積差が小さくなっている例を示している。そこで、システム制御部４０は、メッシュ枠Ａを構成する枠の面積に対するメッシュ枠Ｆを構成する他の枠の面積の割合が所定以上（例えば、半分以上）である場合、メッシュ枠Ａとメッシュ枠Ｆとを再設定する。システム制御部４０は、例えば、図５（Ｅ）および（Ｆ）に示されるように、画像データを半分の領域に分割し、一方の領域にメッシュ枠Ａを割り当て、他方の領域にメッシュ枠Ｆを割り当てる再設定を行う。当該再設定により、図５（Ａ）のメッシュ枠Ａを構成する枠と比較して、図５（Ｅ）および（Ｆ）におけるメッシュ枠Ａおよびメッシュ枠Ｆの枠の面積を小さくすることができる。これにより、顔の領域の輝度を高精度に求めることができる。
FIG. 5D shows an example in which the area difference between the frame forming the mesh frame A and the other frames forming the mesh frame F is small due to the large dark area in the image data. ing. Therefore, when the ratio of the area of the other frame forming the mesh frame F to the area of the frame forming the mesh frame A is equal to or more than a predetermined value (for example, half or more), the
以上のように、非発光状態で画像データから顔が検出されていない場合でも、システム制御部４０は、プリ発光することで顔が検出される領域を推定し、且つ通常より細かいメッシュ枠を設定することで、精度よく顔に合わせた調光が可能である。また、プリ発光画像読出前に顔検出領域を推定することによって、顔検出用の画像を読み出すと同時に推定した領域の積分値を得ることができるため、撮影タイムラグを短縮することもできる。
As described above, even when the face is not detected from the image data in the non-emission state, the
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the gist thereof. The present invention supplies a program that implements one or more functions of each of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors of a computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１ 撮像装置
３５ ストロボ制御部
３６ ストロボ
４０ システム制御部
６０ 画像処理回路
６２ 第１積分器
６４ 第２積分器
７０ 表示部
1
Claims (10)
画像データから被写体の顔領域を検出する検出手段と、
前記発光手段を発光させていない画像データから被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される可能性がある第１領域を推定する推定手段と、
推定された前記第１領域に複数の枠を設定する設定手段と、
設定された複数の枠の信号値を積分した積分値に基づいて調光を行う調光手段と、
を備えることを特徴とする撮像装置。 A light emitting means,
Detection means for detecting the face area of the subject from the image data,
When the face area of the subject is not detected from the image data in which the light emitting means is not emitting light, the estimating means for estimating the first area in which the face area of the subject may be detected from the image data in which the light emitting means is emitted. When,
Setting means for setting a plurality of frames in the estimated first area,
A light control means for performing light control based on an integrated value obtained by integrating the signal values of a plurality of set frames,
An imaging device comprising:
前記調光手段は、設定された前記１つの枠の信号値を積分した積分値に基づいて調光を行うことを特徴とする請求項１に記載の撮像装置。 When the face area of the subject is detected from the image data emitted from the light emitting means, the setting means sets one frame in the detected face area of the subject,
The image pickup apparatus according to claim 1, wherein the light control unit performs the light control based on an integrated value obtained by integrating the set signal value of the one frame.
画像データ全体の第２領域に対して設定された複数の他の枠の信号値を積分する第２積分手段と、をさらに備え、
前記第１積分手段が積分する前記枠の面積は、前記第２積分手段が積分する前記他の枠の面積より小さいことを特徴とする請求項１乃至６のうち何れか１項に記載の撮像装置。 First integrating means for integrating the signal values of the plurality of frames set in the first region,
A second integration unit that integrates signal values of a plurality of other frames set for the second region of the entire image data,
The imaging area according to any one of claims 1 to 6, wherein an area of the frame integrated by the first integration means is smaller than an area of the other frame integrated by the second integration means. apparatus.
前記発光手段を発光させていない画像データから被写体の顔領域を検出する検出工程と、
前記検出工程で被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される可能性がある第１領域を推定する推定工程と、
前記推定工程で推定された前記第１領域に複数の枠を設定する設定工程と、
前記設定工程で設定された複数の枠の信号値を積分した積分値に基づいて調光を行う調光工程と、
を備えることを特徴とする撮像装置の制御方法。 A method for controlling an imaging device having a light emitting means, comprising:
A detection step of detecting a face area of a subject from image data in which the light emitting means is not emitting light;
When the face area of the subject is not detected in the detection step, an estimation step of estimating a first area in which the face area of the subject may be detected from the image data emitted by the light emitting means,
A setting step of setting a plurality of frames in the first area estimated in the estimating step;
A dimming step of performing dimming based on an integrated value obtained by integrating the signal values of the plurality of frames set in the setting step,
A method for controlling an imaging device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018205619A JP7242247B2 (en) | 2018-10-31 | 2018-10-31 | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018205619A JP7242247B2 (en) | 2018-10-31 | 2018-10-31 | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020072391A true JP2020072391A (en) | 2020-05-07 |
| JP2020072391A5 JP2020072391A5 (en) | 2021-12-02 |
| JP7242247B2 JP7242247B2 (en) | 2023-03-20 |
Family
ID=70548132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018205619A Active JP7242247B2 (en) | 2018-10-31 | 2018-10-31 | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7242247B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002196389A (en) * | 2000-12-26 | 2002-07-12 | Canon Inc | Photometric device and camera |
| JP2005077924A (en) * | 2003-09-02 | 2005-03-24 | Canon Inc | Imaging device, control method for imaging device, computer program, and computer-readable recording medium |
| JP2007201679A (en) * | 2006-01-25 | 2007-08-09 | Konica Minolta Photo Imaging Inc | Imaging apparatus, image processing method, and image processing program |
| JP2008263478A (en) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | Imaging apparatus |
| JP2009059073A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Unit and method for imaging, and unit and method for person recognition |
| JP2009198951A (en) * | 2008-02-25 | 2009-09-03 | Nikon Corp | Imaging device and method for detecting target object |
| JP2009246773A (en) * | 2008-03-31 | 2009-10-22 | Canon Inc | Imaging apparatus, control method, and program |
| JP2015075628A (en) * | 2013-10-09 | 2015-04-20 | 株式会社ニコン | Light emission control device and imaging device |
-
2018
- 2018-10-31 JP JP2018205619A patent/JP7242247B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002196389A (en) * | 2000-12-26 | 2002-07-12 | Canon Inc | Photometric device and camera |
| JP2005077924A (en) * | 2003-09-02 | 2005-03-24 | Canon Inc | Imaging device, control method for imaging device, computer program, and computer-readable recording medium |
| JP2007201679A (en) * | 2006-01-25 | 2007-08-09 | Konica Minolta Photo Imaging Inc | Imaging apparatus, image processing method, and image processing program |
| JP2008263478A (en) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | Imaging apparatus |
| JP2009059073A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Unit and method for imaging, and unit and method for person recognition |
| JP2009198951A (en) * | 2008-02-25 | 2009-09-03 | Nikon Corp | Imaging device and method for detecting target object |
| JP2009246773A (en) * | 2008-03-31 | 2009-10-22 | Canon Inc | Imaging apparatus, control method, and program |
| JP2015075628A (en) * | 2013-10-09 | 2015-04-20 | 株式会社ニコン | Light emission control device and imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7242247B2 (en) | 2023-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5917258B2 (en) | Image processing apparatus and image processing method | |
| JP6512810B2 (en) | Image pickup apparatus, control method and program | |
| JP5885416B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US8817171B2 (en) | Imaging apparatus with automatic exposure adjusting function | |
| JP2019129507A (en) | Electronic device and control method of the same | |
| JP7336431B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
| KR20090098197A (en) | Digital photographing apparatus to control flash lighting, controlling method for the same, and recording medium which records the program for carrying the same method | |
| JP2006227613A (en) | Camera exposure program combined with image stabilizing function | |
| JP2010034717A (en) | Digital still camera and method of controlling same | |
| JP2016057409A (en) | Imaging device and control method of imaging device | |
| US9894339B2 (en) | Image processing apparatus, image processing method and program | |
| US7805068B2 (en) | Imaging apparatus | |
| JP2020010317A (en) | Imaging apparatus, control method of the same, and program | |
| JP2013168723A (en) | Image processing device, imaging device, image processing program, and image processing method | |
| JP5911241B2 (en) | Image processing apparatus, image processing method, and program | |
| US11503216B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for controlling exposure | |
| JP7242247B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
| JP2005354199A (en) | Imaging apparatus and control method thereof | |
| US10943328B2 (en) | Image capturing apparatus, method for controlling same, and storage medium | |
| JP2012074962A (en) | Imaging apparatus | |
| JP2021127998A (en) | Distance information acquisition device and distance information acquisition method | |
| JP2015167308A (en) | Photometry method suitable for face detection autofocus control | |
| JP7158880B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND CONTROL PROGRAM | |
| JP2019028378A (en) | Imaging device and imaging device control method | |
| JP5625711B2 (en) | Imaging apparatus and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7242247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |