JP2014138259A - 撮影機器 - Google Patents

Abstract

【課題】 短時間にＨＤＲ撮影画像を得る。
【解決手段】 撮影機器は、被写体を連続的に確認する第１の撮像処理と上記被写体を静止画記録するための第２の撮像処理とが可能な撮像部と、上記第１の撮像処理と上記第２の撮像処理とで露出を変更可能な露出変更部と、上記第１の撮像処理による撮像画像と上記第２の撮像処理による撮像画像とを合成可能な合成制御部と、を具備する。
【選択図】図１

Description

本発明は、ハイダイナミックレンジ撮影が可能な撮影機器に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。

また、撮影機器においては、自動露出調整機能を備えたものもある。通常、主要被写体に対して露出が適正になるように露出調整が行われる。ところが、被写体の明暗差が大きい場合には、明るい部分が白飛びし、暗部が黒つぶれすることがある。

そこで、従来、露出を変化させながら複数枚の写真を撮影して合成することで、ダイナミックレンジを拡大し、白飛びや黒つぶれを抑制するハイダイナミックレンジ（ＨＤＲ）撮影が可能な撮影機器も商品化されている。

例えば、特許文献１においては、多重露光撮影モードを備えたカメラにおいて、撮影した画像の中から撮影者が任意で画像を選択し、その画像をカメラのモニタ上で編集、合成することで、画像の補正の結果をその場で確認可能にして、撮影者の好みに応じた合成画像を提供する技術が開示されている。

特開２００６−２５３８１０号公報

しかしながら、ＨＤＲ撮影による合成画像を得るためには、複数回の撮影が必要であり、撮影完了までに長時間を要するという問題があった。なお、撮影までに長時間を要するので、被写体の動きによって合成画像が劣化しやすい。

本発明は、短時間にＨＤＲ撮影画像を得ることができる撮影機器を提供することを目的とする。

本発明に係る撮影機器は、被写体を連続的に確認する第１の撮像処理と上記被写体を静止画記録するための第２の撮像処理とが可能な撮像部と、上記第１の撮像処理と上記第２の撮像処理とで露出を変更可能な露出変更部と、上記第１の撮像処理による撮像画像と上記第２の撮像処理による撮像画像とを合成可能な合成制御部と、を具備する。

本発明によれば、短時間にＨＤＲ撮影画像を得ることができる撮影機器を提供することを目的とする。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 信号処理及び制御部１１の具体的な構成の一例を示すブロック図。 一般的なＨＤＲ撮影を説明するための説明図。 一般的なＨＤＲ撮影を説明するための説明図。 一般的なＨＤＲ撮影を説明するための説明図。 本実施の形態におけるＨＤＲ撮影を説明するための説明図。 カメラ制御を説明するためのフローチャート。 画像合成部１１ｅによる具体的なＨＤＲ合成処理の一例を説明するための説明図。 第２の実施の形態において採用されるＨＤＲ撮影を説明するための説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するためのフローチャート。 本発明の第３の実施の形態に係るフローチャート。 本発明の第３の実施の形態に係るフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。本実施の形態における撮影機器１は、本体部１０及び交換レンズ２０によって構成されている。本体部１０は、筐体中に撮影機器１の主要な回路部分が収納されて構成される。本体部１０には、前面に交換レンズ２０が着脱自在に取り付けられる。

交換レンズ２０は、本体部１０の撮像部１２に被写体像を導くレンズ部２１を有している。レンズ部２１は、ズームやフォーカシングのためのレンズ等を備えており、これらのレンズを駆動制御するための操作部２２を備えている。ズームリングやピントリング等によって構成される操作部２２の操作によって、ピントのみならず、ズーム位置や絞りの調整も可能である。

操作部２２は、ユーザ操作に基づく操作信号を制御部２３に出力する。制御部２３は、マイコン等によって構成されており、操作部２２からの操作信号に基づいて、回転操作及びシフト操作に基づくフォーカス信号及びズーム信号を発生して、駆動部２４を制御する。

モーター等によって構成された駆動部２４は、レンズ部２１に設けられたピント合わせに関連するピントレンズ及びズーミングに関連するズームレンズを駆動して、ピント制御及びズーム制御を行う。レンズ部２１にはピント制御部２１ａ、ズーム制御部２１ｂ及び絞り機構部２１ｃが設けられている。ピント制御部２１ａはピントレンズの位置に対応した信号をピント位置判定部２５ａに出力する。また、ズーム制御部２１ｂはズームレンズの位置（ズーム位置）に対応した信号をズーム位置判定部２５ｂに出力する。絞り機構部２１ｃは、レンズ内の軸状光束を制限するための絞りを制御する。駆動部２４は、制御部２３に制御されて絞り機構部２１ｃを駆動して絞りを制御するようになっている。

ピント位置判定部２５ａは、ピント制御部２１ａの出力に基づいてピント位置を判定して判定結果を制御部２３に出力する。ズーム位置判定部２５ｂは、ズーム制御部２１ｂの出力に基づいてズーム位置を判定して判定結果を制御部２３に出力する。制御部２３は、ピント位置及びズーム位置の判定結果が与えられ、操作部２２の操作に対応したピント位置及びズーム位置となるように、駆動部２４を制御する。また、制御部２３は、後述する露出変更部１１ｄからの制御信号に基づいて駆動部２４を駆動して、絞り機構部２１ｃを制御する。

交換レンズ２０には、通信部２８が設けられている。また、本体部１０には通信部１３が設けられている。通信部２８は、所定の伝送路を介して本体部１０の通信部１３との間で情報の送受を行う。制御部２３は、本体部１０の通信部１３との間の通信が確立すると、記録部２６に格納したレンズ情報及びズーム操作に関するズーム情報等を通信部２８，１３によって本体部１０に送信させることができる。

レンズ情報により、本体部１０は、交換レンズ２０がどのようなズーム機能を有しているか、ズームレンズの焦点距離範囲（倍率）、焦点距離、明るさナンバー等を認識することができる。また、本体部１０には、操作部２２からの回転操作の情報も与えられるようになっている。制御部２３は、通信部１３，２８介して本体部１０の信号処理及び制御部１１から制御信号が供給されて、信号処理及び制御部１１によって制御可能に構成されている。

なお、本実施の形態においては、種々の交換レンズを採用することができ、更に、交換レンズだけでなく、交換不能なレンズを採用してもよい。

撮影機器１を構成する本体部１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２を有している。撮像部１２は、本体部１０の前面に設けられた交換レンズ２０からの被写体像を光電変換して撮影画像を得る。撮像部１２は、信号処理及び制御部１１によって駆動制御されて撮像画像を出力する。

信号処理及び制御部１１は、例えば、図示しないＣＰＵ等によって構成されており、メモリに記憶されたプログラムに従ってカメラ制御を行う。信号処理及び制御部１１は、撮像部１２に撮像素子の駆動信号を出力してシャッタースピード、露光時間等を制御すると共に、撮像部１２からの撮影画像を読み出す。信号処理及び制御部１１は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

本体部１０には、時計部１４及び操作判定部１５も配設されている。時計部１４は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部１５は、本体部１０に設けられた図示しないシャッターボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

図２は信号処理及び制御部１１の具体的な構成の一例を示すブロック図である。

マイクロコンピュータ３１は、不揮発性メモリ３２に記憶されたプログラムを読み出して動作し、操作判定部１５からの操作信号に基づいて、各部を制御する。マイクロコンピュータ３１は、撮像部１２からの撮像信号をバス３４を介して取り込んで、画像処理部３５及びＡＥ処理部３６に出力する。画像処理部３５は上述した撮像画像に対する各種信号処理を行う。ＡＥ処理部３６は、露出に関する制御、特に後述するＨＤＲ撮影のための露出に関する制御を行う。

マイクロコンピュータ３１は、各種信号処理後の撮像画像を画像圧縮伸張部３７に与えて圧縮処理し、圧縮後の画像をメモリＩ／Ｆ３８を介して記録部１６に与えて記録させることができる。記録部１６としては、例えばカードインターフェースを採用することができ、記録部１６はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

また、マイクロコンピュータ３１は、図１に示す信号処理及び制御部１１の各部１１ａ〜１１ｅの機能を達成することができる。信号処理及び制御部１１の表示制御部１１ａは、表示に関する各種処理を実行する。表示制御部１１ａは、表示ドライバ３９を介して信号処理後の撮影画像を表示部１８及び接眼表示部１７に与えることができる。表示部１８及び接眼表示部１７は、夫々ＬＣＤ等の表示画面を有しており、表示制御部１１ａから与えられた画像を表示する。また、表示制御部１１ａは、各種メニュー表示等をこれらの表示画面に表示させることもできるようになっている。

表示部１８の表示画面上には、タッチパネル１９が設けられている。タッチパネル１９は、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、本体部１０の信号処理及び制御部１１に供給される。これにより、信号処理及び制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部１８の表示画面は本体部１０の背面に沿って設けられており、撮影者は、撮影時に表示部１８の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

本実施の形態においては、信号処理及び制御部１１は、ＨＤＲ撮影モードによる撮影が可能である。信号処理及び制御部１１は、高速なＨＤＲ撮影を可能にするために、表示制御部１１ａ、画像分析部１１ｂ、顔検出部１１ｃ、露出変更部１１ｄ及び画像合成部１１ｅが設けられている。

図３乃至図５は一般的なＨＤＲ撮影を説明するための説明図であり、図６は本実施の形態におけるＨＤＲ撮影を説明するための説明図である。

図３（ａ），図３（ｂ）は同一画角の同一被写体についての露出値が異なる２枚の撮像画像を示している。図３（ａ）が露出オーバーの例を示し、図３（ｂ）は露出アンダーの例を示している。図３の撮像画像４１は、比較的暗い背景４２と雲等の比較的明るい背景４３と人物４４とが撮像された状態を示している。図３（ａ）は露出オーバーであり、明るい背景４３の部分は白飛びしていることを示している。逆に、図３（ｂ）は露出アンダーであり、暗い背景４２及び人物４４が黒つぶれしていることを示している。

ＨＤＲ撮影モードでは、露出値が異なる複数の撮像画像を合成する。図３の例では、適正露出以上の露出で撮像した撮像画像と、適正露出以下の露出で撮像した撮像画像の２枚の撮像画像をＨＤＲ合成処理して、図３（ｃ）に示すＨＤＲ合成画像を生成する。図３（ｃ）では、背景４２，４３及び人物４４が黒つぶれ又は白飛びすることなく撮像されていることを示している。

図４（ａ）〜（ｃ）は横軸に図３（ａ）の水平線Ａ上の各水平画素位置をとり縦軸に各画素の画素出力をとって、ＨＤＲ合成処理における像データを説明するためのものである。図４（ａ）は明るい背景４３の画素位置において像データが、ダイナミックレンジを超えていることを示している。図４（ｂ）は図３（ａ）の撮像においてダイナミックレンジ内の像データを示し、図４（ｃ）は図３（ｂ）の撮像においてダイナミックレンジ内の像データを示している。

ＨＤＲ合成処理では、ダイナミックレンジ内の像データを合成する。即ち、図３（ａ）の人物４４の顔の部分に対応する図４（ｂ）の像データと、図３（ｂ）の明るい背景４３の部分に対応する図４（ｃ）の像データとをゲイン調整しレベル合わせを行った後合成する。こうして、図３（ｃ）のＨＤＲ合成画像４５が得られる。

図５はＨＤＲ合成処理に長時間を要する場合の問題を説明するためのものである。図５（ａ）〜図５（ｅ）は同一画角の同一被写体についての露出値が異なる３枚の撮像画像によるＨＤＲ合成処理を示している。

図５の例における被写体は、暗い森等の暗い背景である樹木４６、人物４４及び雲等の比較的明るい背景４３である。暗い背景及び明るい背景の全てを描写しようとすると、露出を変えた２枚の撮像画像では足りず、露出を変えた３枚以上の撮像画像を合成しなければ、適正な露出状態のＨＤＲ合成画像が得られないことがある。図５はこの場合の例を示しており、図５（ａ）は暗い樹木４６に露出を合わせて撮像されたものであり、樹木４６は適正露出であるが、人物４４及び背景４３は白飛びしている。図５（ｂ）は人物４４に露出を合わせて撮像されたものであり、人物４４は適正露出であるが、樹木４６は黒つぶれしており、背景４３は白飛びしている。図５（ｃ）は背景４３に露出を合わせて撮像されたものであり、背景４３は適正露出であるが、樹木４６及び人物４４は黒つぶれしている。

図５（ｄ）は、図５（ａ）の樹木４６、図５（ｂ）の人物４４及び図５（ｃ）の明るい背景４３をＨＤＲ合成して、ＨＤＲ合成画像４５を得たことを示している。しかしながら、ＨＤＲ合成処理に必要な撮像枚数が多くなると、ＨＤＲ撮影の開始から最後の撮影までの時間が長くなり、その間被写体が動いてしまう可能性がある。図５（ｅ）はこの場合のＨＤＲ合成画像４５を示している。図５（ｅ）の例は、複数枚の撮像の期間において人物４４が動き、ＨＤＲ合成処理によって人物はぶれた画像４７として描写されてしまう。

そこで、本実施の形態においては、ＨＤＲ合成処理に用いる撮像画像（以下、合成用画像という）としてスルー画用の画像を利用することでＨＤＲ撮影に必要な撮影時間を短縮して、ぶれのないＨＤＲ合成画像を得ることを可能にする。

図６（ａ）は従来例におけるスルー画撮影及びＨＤＲ撮影の撮影タイミングを示している。また、図６（ｂ）は本実施の形態におけるスルー画撮影及びＨＤＲ撮影の撮影タイミングを示している。図６（ａ），（ｂ）において、四角の枠は各撮像画像を示しており、小さい枠は画素数が少ないスルー画用の撮像画像（以下、スルー画画像という）を示し、大きい枠は画素数が多い記録用の静止画撮影によって得た撮像画像を示している。また、図６（ａ），（ｂ）においては、露出が異なることをハッチング又は塗り潰しによって示している。

図６（ａ），（ｂ）では２種類の露出値を用いた撮像によって、スルー画用の撮像画像５１ａ，５１ｂを得ている。本実施の形態においては、撮像部１２の撮影時の露出は、信号処理及び制御部１１の露出変更部１１ｄによって制御される。露出変更部１１ｄは、ＨＤＲ撮影モードにおいては、絞り及びシャッタースピードを制御して、露出値ＥＶを変化させながら撮影を行わせる。例えば、露出変更部１１ｄは、被写体に人物が含まれる場合には、顔検出部１１ｃの検出結果を用いて、顔に合わせた露出値と背景に合わせた露出値の２種類の露出値を交互に設定してもよい。なお、露出変更部１１ｄは、３種類以上の露出を設定するようにしてもよい。

スルー画撮影時には、信号処理及び制御部１１は、撮像画像を表示に合わせてリサイズする。信号処理及び制御部１１の画像合成部１１ｅは、２種類の露出値で撮影されリサイズされたスルー画画像をＨＤＲ合成する。表示制御部１１ａは、この合成画像を表示部１７，１８に与えてスルー画表示する。

ここで、ＨＤＲ撮影が指示されるものとする。図６（ａ）に示す従来技術においては、上述したように、複数の露出値を順次切り替えて設定しながら、連続的に撮影を行う。図６（ａ）の例では、露出値が異なる２回の撮影が行われることを示している。そしてこれらの２種類の露出値で撮影された合成用画像５２ａ，５２ｂをＨＤＲ合成する。こうしてＨＤＲ合成画像５３が得られる。

これに対し、本実施の形態においては、露出変更部１１ｄは、ＨＤＲ合成処理に必要な複数の露出値による撮像画像のうち一部の撮像画像については、スルー画画像を流用する。図６（ｂ）の例では、スルー画画像５１ａをＨＤＲ合成処理に用いている。以下、ＨＤＲ合成処理に用いるスルー画画像を合成用スルー画画像という。

ＨＤＲ撮影に２種類の露出値を用いるものとすると、信号処理及び制御部１１は、２種類の露出値のうち一方の露出値で得た合成用スルー画画像と他方の露出値で静止画撮影した得た撮像画像を合成用画像とする。以下、通常の静止画撮影によって得た合成用画像を合成用通常画像という。

露出変更部１１ｄは、合成用通常画像の取得時において、例えばスルー画画像５１ｂの取得時に設定する露出値を設定する。こうして、静止画撮影による合成用通常画像５２ｂが得られると、画像合成部１１ｅは、合成用スルー画画像５１ａと合成用通常画像５２ｂとをＨＤＲ合成処理してＨＤＲ合成画像５４を得る。

図６（ａ），（ｂ）の比較から明らかなように、本実施の形態においては、ＨＤＲ合成画像の取得に必要な静止画撮影を一部省略することができ、この撮影に要する時間だけＨＤＲ撮影の撮影時間を短縮することができる。これにより、比較的動きが大きい被写体を撮影する場合でも、ぶれが少ないＨＤＲ合成画像を得ることができる。

なお、信号処理及び制御部１１は、スルー画中において、ＨＤＲ合成処理のために、スルー画画像を仮記録部１６ａに記録するようになっている。

また、信号処理及び制御部１１は、画像分析部１１ｂを備えている。画像分析部１１ｂは、撮像画像の画像分析が可能であり、撮像画像の各画像部分のコントラストや空間周波数を検出することができるようになっている。これにより、画像分析部１１ｂは、例えば背景部分のコントラストや空間周波数について判定が可能であり、ＨＤＲ合成処理に利用可能な画像であるか否かの判定が可能である。

次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７はカメラ制御を説明するためのフローチャートである。

撮影機器１の電源が投入されると、信号処理及び制御部１１は、図７のステップＳ１においてＨＤＲ撮影モードが指示されたか否かを判定する。ＨＤＲ撮影モードが指示されていない場合には、信号処理及び制御部１１は、ステップＳ３１において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１１は、ステップＳ３２において選択画像の再生を行う。ユーザが再生画像の変更を指示すると、信号処理及び制御部１１は、ステップＳ３３から処理をステップＳ３４に移行して画像の変更を行う。なお、信号処理及び制御部１１は、ステップＳ３１において再生モードが指定されていないと判定した場合には、ステップＳ３５において撮影画像を送信する画像通信モードに移行する。

ＨＤＲ撮影モードが指示されると、信号処理及び制御部１１は、ステップＳ２において、レンズ交換が行われたか否かを判定して、レンズ交換が行われた場合には、交換レンズ２０の制御部２３との間で通信を行ってレンズ情報を取得する（ステップＳ８）。

次に、信号処理及び制御部１１は、ステップＳ３において、スルー画の表示を開始する。信号処理及び制御部１１は、撮像部１２からの撮像画像を取り込み、所定の信号処理を施す。表示制御部１１ａは、撮像画像を表示画面のサイズに応じてリサイズして表示部１８に与えて表示画面上にスルー画を表示させる。

本実施の形態においては、露出変更部１１ｄは、スルー画表示においてＨＤＲ合成画像を表示させるために、フレーム毎に露出を変更する。例えば、露出変更部１１ｄは、露出値を顔に合わせた露出（以下、顔基準露出という）と露出値を背景に合わせた露出（以下、背景基準露出という）を設定する（ステップＳ４，Ｓ５）。

本実施の形態においては、これらの露出値に応じて撮影された撮像画像をスルー画表示に用いると共に、スルー画表示に用いたリサイズ後の画像（スルー画画像）をＨＤＲ画像合成に利用するために仮記録部１６ａに記録する（ステップＳ６）。なお、仮記録部１６ａの容量の制限から、新たなスルー画画像を記録する毎に、仮記録部１６ａに記録されている古いスルー画画像は順次削除される。また、信号処理及び制御部１１は、複数種類の露出値で得られたスルー画画像のうち、ＨＤＲ画像合成に用いる合成用スルー画画像のみを記録させるようにしてもよい。例えば、被写体の顔部分については十分な画質を確保するために、ＨＤＲ画像合成には静止画撮影した画像を用いるものとすると、顔基準露出で得たスルー画画像はＨＤＲ画像合成には用いられない。従ってこの場合には、背景基準露出で撮影されたスルー画画像のみを記録するようにしてもよい。

次のステップＳ７では、信号処理及び制御部１１は、画像分析部１１ｂは、２つの露出値で撮像したスルー画画像がＨＤＲ合成に有効であるか否か判定し、有効な場合にはＨＤＲ画像合成して、表示部１８にスルー画表示させる。なお、有効でない場合には、合成することなくそのまま表示する。

次のステップＳ１２では、信号処理及び制御部１１は、ＨＤＲ撮影操作が行われたか否かを判定する。例えば、信号処理及び制御部１１は、撮影者がレリーズボタンを操作した場合に、ＨＤＲ撮影操作が行われたものと判定する。

露出変更部１１ｄは、ステップＳ１３において、顔基準露出を設定する。撮像部１２は、被写体の顔に合った露出で撮像を行う。撮像部１２からの撮像画像は合成用通常画像として信号処理及び制御部１１において信号処理される。信号処理及び制御部１１は、仮記録部１６ａに記録されている合成用スルー画画像と、静止画撮影して得た合成用通常画像とを用いたＨＤＲ合成処理が有効であるか否かを判定する（ステップＳ１３）。有効でない場合には、信号処理及び制御部１１は、合成用通常画像を合成することなくそのまま記録部１６に与えて記録させる（ステップＳ１９）。

信号処理及び制御部１１は、ＨＤＲ合成処理が有効であると判定した場合には、仮記録部１６ａから背景基準露出で得られた合成用スルー画画像を読み出す。この合成用スルー画画像は、スルー画表示のためにリサイズ処理されているので、画像合成部１１ｅは、ＨＤＲ合成のために先ず画像の拡大，補間処理等を行う（ステップＳ１５）。次に、画像合成部１１ｅは、拡大処理された合成用スルー画画像と合成用通常画像とをＨＤＲ合成する（ステップＳ１６）。また、画像合成部１１ｅは、合成処理に際して、画質を向上させるために補正処理を行い（ステップＳ１７）、補正後のＨＤＲ合成画像を記録部１６に記録する（ステップＳ１８）。

図８は画像合成部１１ｅによる具体的なＨＤＲ合成処理の一例を説明するための説明図である。図８では、説明を簡略化するために、図８（ａ）に示す２×２画素の合成用スルー画画像と、図８（ｃ）に示す８×８画素の合成用通常画像とを用いる例を示している。図８では各枠が画素を示し、各枠の塗りつぶし又はハッチングによって、各画素レベルを示している。図８（ａ）に示す合成用スルー画画像は背景基準露出で撮像されたものであり、比較的暗い１画素と比較的明るい３画素により構成されることを示している。また、図８（ｃ）に示す合成用通常画像は顔基準露出で撮像されたものであり、左上端側の１０個の画素が最も暗い画素で、太枠で囲った無地の領域は白飛びした画素を示している。

図８（ａ）の合成用スルー画画像は、補間拡大されて図８（ｂ）の８×８の画像に変換される。画像の左端の１／４の領域を占めた暗い画素は、補間処理によって左上端側から右下端側に向かって明るさが比較的滑らかに変化する画像に変換される。図８（ｃ）の合成用通常画像と図８（ｂ）に示す補間拡大された合成用スルー画画像とがレベル調整された後合成される。図８（ｄ）はこの合成画像を示している。図８（ｄ）に示すように、白飛びした領域は図８（ｂ）に示す合成用スルー画画像の同一領域の画素によって置き換えられ、更に、白飛びした領域の境界近傍の画素については、合成用通常画像及びスルー画画像の両方の画素の画素値を用いて滑らかに変化するように補正が行われている。

こうして、画素数が通常画像よりも少ないスルー画画像を用いて、高画質のＨＤＲ合成画像が生成される。

このように本実施の形態においては、スルー画時に複数種類の露出でスルー画画像を取得してＨＤＲ合成したスルー画を表示すると共に、スルー画画像を記録しておくことで、ＨＤＲ撮影時にＨＤＲ画像合成に用いる画像として記録したスルー画画像を流用する。これにより、ＨＤＲ撮影操作後において、ＨＤＲ画像合成に必要な撮像画像の撮影枚数を低減することができ、ＨＤＲ撮影に要する時間を短縮して高速なＨＤＲ撮影を可能にすることができる。これにより、被写体に動きがある場合等においても、ＨＤＲ合成画像の画像部分にぶれが生じることを抑制することができ、高画質のＨＤＲ合成画像を得ることができる。

（第２の実施の形態）
図９、図１０Ａ及び図１０Ｂは本発明の第２の実施の形態に係り、図９は第２の実施の形態において採用されるＨＤＲ撮影を説明するための説明図であり、図１０Ａ及び図１０Ｂは第２の実施の形態の動作を説明するためのフローチャートである。なお、図１０Ａ及び図１０Ｂにおいて、丸英字は対応する英字によって処理の連結を示している。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

本実施の形態はＨＤＲ合成処理の仕方が第１の実施の形態と異なるのみである。上記実施の形態においては、主に２枚の画像によってＨＤＲ合成画像を作成する例について説明した。本実施の形態は、３枚以上の画像を用いてＨＤＲ合成画像を生成するものである。この場合において、ＨＤＲ合成処理において用いるスルー画画像の枚数及び通常画像の枚数は適宜設定可能である。例えば、図９は２枚のスルー画画像と１枚の通常画像とを用いて、ＨＤＲ合成画像を得る場合の例を示している。

また、図９の例は、合成用通常画像として、例えば、顔基準露出で撮影された通常画像を用い、合成用スルー画画像としては、露出オーバーで撮像した画像（以下、明画像ともいう）と、露出アンダーで撮像した画像（以下、暗画像ともいう）を用いる例を示している。

図９に示すように、スルー画時には、明画像と暗画像とを交互に撮影する。撮影された明画像及び暗画像は、画像処理されリサイズされる。これらの明画像及び暗画像がＨＤＲ合成処理されて、スルー画が作成される。また、ＨＤＲ合成処理に用いられた明画像（以下、合成用スルー画明画像という）と暗画像（以下、合成用スルー画暗画像）とは、それぞれ仮記録部１６ａの明用又は暗用の記録領域に記録される。なお、仮記録部１６ａの記録領域は、合成用スルー画明画像及び合成用スルー画暗画像が撮像される毎に、 順次更新される。

ここで、例えば図９の撮影指示の位置において、ＨＤＲ撮影のための撮影操作が行われるものとする。そうすると、露出変更部１１ｄは、顔基準露出を設定して、通常撮影を行う。これにより、合成用通常画像が得られる。この合成用通常画像も仮記録部１６ａの適正用の記録領域に記録される。次いで、画像合成部１１ｅは、仮記録部１６ａに記録されたＨＤＲ合成用の３つの画像を読み出して、ＨＤＲ合成処理を行う。

なお、スルー画時のＨＤＲ合成処理では、処理時間を短縮するために明画像と暗画像の２枚の画像のみを用いているが、処理能力によってはスルー画時においても適正露出によって撮像した画像（以下、適正露出画像という）を含む３枚の画像を用いたＨＤＲ合成処理を行うようにしてもよい。

また、撮像画像を表示画面のサイズに応じてリサイズすることでスルー画画像が生成されるものとして説明したが、撮像部１２からの読み出しに際して間引き等の処理を行うことによって、表示画面に対応したサイズのスルー画画像（合成用スルー画画像）を読み出すようにしてもよい。更に、処理能力上の制約がない場合等においては、スルー画についても通常画像と同様の画素数のまま記録及びＨＤＲ合成処理するようにしてもよい。

図１０Ａ及び図１０Ｂは以上の動作を示すものであり、信号処理及び制御部１１の各部の処理を示している。図１０ＡのステップＳ４１において、撮影モードが設定されているか否かが判定される。撮影モードが指定されていない場合には、ステップＳ４２において再生モードが指定されているか否かが判定される。再生モードが指示されると、ステップＳ４３において表示部１８の表示画面上にファイル一覧が表示される。

ユーザが操作判定部１５の操作によってファイルを選択すると（ステップＳ４４）、この選択操作に応じたファイルが選択されて再生される（ステップＳ４５）。ステップＳ４６，Ｓ４７において終了操作を検出すると、再生モードを終了する。

撮影モードが指定されると、信号処理及び制御部１１は、ステップＳ５１において取り込みフラグを間引きに設定し、ステップＳ５２において露出フラグを適正に設定する。図１０Ａ及び図１０Ｂの例では、取り込みフラグを間引きに設定することによって、撮像部１２からの撮像画像の取り込みに際して、表示画面のサイズに応じたサイズでスルー画画像を取り込むようになっている。なお、取り込みフラグを全画素に設定することによって、撮像部１２から全画素の画像（通常撮像画像）を取り込むことが可能である。取り込みフラグの設定に応じて撮像部１２からの取り込みが設定される（ステップＳ５３）。

ステップＳ５４では、露出変更部１１ｄは、露出フラグに応じて露光時間を設定する（ステップＳ５４）。例えば、露出フラグが適正の場合には、露出変更部１１ｄは適正露出となるように露光時間を設定することになる。なお、露出フラグが明に設定されている場合には露出変更部１１ｄは露出を露出オーバーに設定し、露出フラグが暗に設定されている場合には露出変更部１１ｄは露出を露出アンダーに設定する。

また、ステップＳ５５では、露出フラグに応じて撮像画像の仮記録部１６ａの記録領域が設定される。スルー画明画像は明用の記録領域、スルー画暗画像は暗用の記録領域、適正露出による通常画像は適正用の記録領域が指定される。

ステップＳ５６では、露光が行われ、撮像部１２からの撮像画像の転送（取り込み）が行われる（ステップＳ５７）。

次に、ステップＳ５８において、露出フラグが適正か否かが判定される。露出フラグが適正でない場合には、次のステップＳ５９において、仮記録部１６ａの記録状態（取り込み状態）が判定され、露出オーバーによる明画像及び露出アンダーによる暗画像の両方が取り込まれて仮記録部１６ａに記録されている場合には、処理はステップＳ６０に移行して、これらの明画像及び暗画像を用いたＨＤＲ合成処理が行われる。ＨＤＲ合成画像はスルー画表示される（ステップＳ６１）。

また、ステップＳ５８において露出フラグが適正と判定された場合には、撮像画像はスルー画用の画像ではないので、スルー画表示のためのＨＤＲ画像合成は行われない。また、仮記録部１６ａに明画像又は暗画像の一方のみが記録されている場合にも、ＨＤＲ合成処理を行うことなく、撮像画像を用いたスルー画表示が行われる（ステップＳ６１）。

次のステップＳ６２において、ユーザによる撮影操作が行われたか否かが判定される。ユーザが撮影操作を行わない場合には、次のステップＳ６３において、露出フラグが明であるか否かが判定され、明の場合には露出フラグを暗に（ステップＳ６５）、明以外の場合には露出フラグを明にして（ステップＳ６４）、処理をステップＳ５３に戻す。こうして、以後、撮影操作が行われるまで、露出フラグが明又は暗に交互に切り替えられながら、スルー画用の画像が撮像される。

撮影操作が行われると、処理がステップＳ６２からステップＳ７１に移行して、取り込みフラグが全画素に設定され（ステップＳ７１）、露出フラグが適正に設定される（ステップＳ７２）。次に、取り込みフラグに応じて、撮像部１２から全画素の画像（通常撮像画像）を取り込むための設定が行われ（ステップＳ７３）、露出フラグに基づいて、露出変更部１１ｄは適正露出となるように露光時間を設定する（ステップＳ７４）。次に、ステップＳ７５においいて、露出フラグに応じた記録領域として適正用の記録領域を設定する。

ステップＳ７６では、スルー画用ではなく記録画像を生成するための露光（以下、本露光ともいう）が行われ、遮光（ステップＳ７７）後に撮像部１２から撮像画像の転送（取り込み）が行われる（ステップＳ７８）。

次に、図１０ＢのステップＳ８１において、仮記録部１６ａに合成用スルー画明画像及び合成用スルー画暗画像が記録されているか否かが判定される。合成用スルー画明画像及び合成用スルー画暗画像が記録されていない場合には、ＨＤＲ合成処理を行うことなく通常の画像処理が行われ（ステップＳ８２）、処理後の撮像画像がそのまま記録される（ステップＳ８９）。

露出オーバーによる明画像及び露出アンダーによる暗画像の両方が仮記録部１６ａに記録されている場合には、ステップＳ８３〜ステップＳ８８において、これらの明画像及び暗画像を用いたＨＤＲ合成処理が行われる。

即ち、ステップＳ８３において露出オーバー部分がローコントラストであるか否かが判定され、ステップＳ８６において露出アンダー部分がローコントラストか否かが判定される。画像合成部１１ｅは、露出オーバー部分がローコントラスト、即ち、白飛び部分については、この露出オーバー部分を露出アンダーで撮影された合成用スルー画暗画像によって置き換える（ステップＳ８４）。また、画像合成部１１ｅは、ステップＳ８５において、置き換えた境界部分を滑らかに変化させるように境界部分のぼかし処理（境界処理）を施す。

同様に、露出アンダー部分がローコントラスト、即ち、黒つぶれ部分については、この露出アンダー部分は露出オーバーで撮影された合成用スルー画明画像によって置き換えられる（ステップＳ８７）。また、置き換えた境界部分が滑らかに変化させるように境界部分のぼかし処理が施される（ステップＳ８８）。

こうして生成されたＨＤＲ合成画像は記録部１６に与えられて記録される（ステップＳ８９）。ステップＳ９１では、レックビュー表示が設定されているか否かが判定され、設定が行われている場合には、レックビュー表示を行う（ステップＳ９２）。

信号処理及び制御部１１は、ステップＳ９３において取り込みフラグを間引きに設定し、ステップＳ９４において露出フラグを適正に設定して、処理をステップＳ５３に戻す。こうして、スルー画表示のための明画像及び暗画像の撮像が繰り返される。

このように本実施の形態においては、露出が異なる複数枚のスルー画を用いて、適正露出の通常画像と共にＨＤＲ合成画像を生成することができ、第１の実施の形態と同様に、ＨＤＲ撮影に要する時間を短縮することができる。

なお、ステップＳ８１では、合成用スルー画明画像及び合成用スルー画暗画像の両方が記録されていることを判定してＨＤＲ合成処理を行うようになっているが、合成用スルー画明画像又は合成用スルー画暗画像のいずれか一方のみが記録されいる場合でも、露出オーバー部分又は露出アンダー部分の補正が可能な場合には、記録されているスルー画画像を用いてＨＤＲ合成処理を実施するようにしてもよい。また、合成用スルー画明画像及び合成用スルー画暗画像が記録されている場合であっても、被写体に動きがある場合には、ＨＤＲ合成処理を停止するようにしてもよい。

また、本実施の形態においては、露出が異なる２枚のスルー画画像のみによってＨＤＲ合成処理を行っており、比較的高速な表示処理が可能であるが、適正露出によるスルー画画像を得て、スルー画のＨＤＲ合成処理に利用してもよい。また、合成用通常画像についても、適正露出だけでなく、露出オーバーや露出アンダーで撮像を行って得た撮像画像を用いてＨＤＲ合成画像を得るようにしてもよい。

（第３の実施の形態）
図１１Ａ及び図１１Ｂは本発明の第３の実施の形態に係るフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

図１１Ａ及び図１１Ｂは第２の実施の形態を示す図１０Ａ及び図１０Ｂのフローに追加するフローを示している。第２の実施の形態においては、合成用スルー画画像と合成用通常画像とを用いたＨＤＲ合成処理を行った。これに対し、本実施の形態は、ＨＤＲ合成処理にスルー画画像を利用できない場合には、撮像部からの全画素を用いた通常画像のみによってＨＤＲ合成画像を作成することを可能にしたものである。

また、一般的には、ＨＤＲ画像合成に用いる撮像画像の枚数は固定されている。これに対し、本実施の形態においては、通常画像のみを用いてＨＤＲ合成処理を行う場合には、撮像画像の絵柄によってはＨＤＲ画像合成に用いる通常画像の枚数を制限することで、通常画像のみを用いる場合でも比較的高速なＨＤＲ撮影を可能にしている。

図１１Ａは図１０ＡのステップＳ６２，Ｓ６３相互間に挿入されるフローを示している。また、図１１Ｂは図１０ＡのステップＳ７８と図１０ＢのステップＳ８１との間に挿入されるフローを示している。

図１１ＡのステップＳ１０１において、信号処理及び制御部１１は、画像分析部１１ｂの解析結果によって、撮像画像の１／３以上の画像部分が所定の閾値よりも明るい画素であるか否かを判定する。例えば、撮像画像に空や海の絵柄が含まれる場合には、ステップＳ１０１においてＹＥＳ判定となることがある。このＹＥＳ判定の場合には、記録用の画像撮影時の露光（本露光）を設定するためのフラグ（以下、本露光制御フラグという）中の明をオンに設定する（ステップＳ１０２）。また、撮像画像の１／３以上の画像部分が所定の閾値よりも明るい画素でない場合には、ステップＳ１０３において本露光制御フラグ中の明をオフに設定する。

また、ステップＳ１０４においては、撮像画像の１／３以上の画像部分が所定の閾値よりも暗い画素であるか否かが判定される。ステップＳ１０４がＹＥＳ判定の場合には本露光制御フラグ中の暗をオンに設定し（ステップＳ１０５）、ＮＯ判定の場合には本露光制御フラグ中の暗設定をオフにする（ステップＳ１０６）。

図１１ＢのステップＳ１１０においては、信号処理及び制御部１１は、画像分析部１１ｂの解析結果によって、ＨＤＲ合成処理にスルー画を利用可能であるか否かを判定する。例えば、撮像画像中の背景部分のコントラストが高い場合や背景部分の空間周波数が高い場合等においては、スルー画の解像度が低いことからＨＤＲ合成画像の画質が低下することが考えられる。そこで、信号処理及び制御部１１は、画像分析部１１ｂの解析結果によって、これらの場合等においては、仮記録部１６ａに記録した合成用スルー画画像はＨＤＲ合成処理に利用することができないものと判定する。

信号処理及び制御部１１は、ＨＤＲ合成処理にスルー画画像を利用することができるものと判定した場合には、処理をステップＳ８１に移行して、第２の実施の形態と同様の動作を行う。また、信号処理及び制御部１１は、ＨＤＲ合成処理にスルー画画像を利用することができないものと判定した場合には、処理をステップＳ１１１に移行して、ステップＳ１１１〜Ｓ１２２において通常画像のみを用いたＨＤＲ合成処理を行う。なお、ステップＳ１１１〜Ｓ１２２の処理が終了すると、処理を図１０ＢのステップＳ８９に移行する。

ステップＳ１１１においては、本露光制御フラグ中の暗設定がオンであるか否かが判定される。本露光制御フラグの暗設定がオフの場合には処理をステップＳ１１７に移行し、暗設定がオンの場合には処理をステップＳ１１２に移行する。

信号処理及び制御部１１は、本露光制御フラグの暗設定がオンの場合には露出フラグを暗に設定し（ステップＳ１１２）、露出フラグに応じて露光時間を設定する（ステップＳ１１３）。また、ステップＳ１１４では、露出フラグに応じて撮像画像の仮記録部１６ａの記録領域が設定される。次に、ステップＳ１１５において本露光が行われ、ステップＳ１１６において撮像部１２からの撮像画像の転送（取り込み）が行われる。

信号処理及び制御部１１は、ステップＳ１１７において、本露光制御フラグ中の明設定がオンであるか否かを判定する。本露光制御フラグの明設定がオンの場合には露出フラグは明に設定される（ステップＳ１１８）。信号処理及び制御部１１は、露出フラグに応じて露光時間を設定し（ステップＳ１１９）、露出フラグに応じて撮像画像の仮記録部１６ａの記録領域が設定される（ステップＳ１２０）。なお、この場合には、ステップＳ１１４において設定した記録領域とは異なる記録領域が設定される。次に、ステップＳ１２１において本露光が行われ、ステップＳ１２２において撮像部１２からの撮像画像の転送（取り込み）が行われる。

こうして、撮像部１２からの全画素を用いる通常撮影においては、画像の１／３以上の領域が明るい又は暗い場合に、露出オーバー又は露出アンダーによる撮影が行われる。ステップＳ１８１では、このような露出オーバー又は露出アンダーで通常撮影された画像が仮記録部１６ａに記録されているか否かが判定される。記録されていない場合には、ステップＳ１８２において、通常の画像処理が行われる。

記録されている場合には、ステップＳ１８３〜Ｓ１８８においてＨＤＲ合成処理が行われる。ステップＳ１８３〜Ｓ１８８の処理は、図１０ＢのステップＳ８３〜Ｓ８８の処理と同様であり、ＨＤＲ合成処理に用いる画像が撮像部１２からの全画素を用いた通常画像である点が異なるのみである。

このように本実施の形態においては、上記各実施の形態と同様の効果が得られると共に、スルー画画像をＨＤＲ合成処理に利用することができない場合には、通常画像を用いたＨＤＲ合成処理が行われる。この場合には、最大で３枚の通常画像によってＨＤＲ合成処理が行われることになり、比較的高速なＨＤＲ撮影が可能であり、画像にぶれが生じることを防止することができる。

なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

１…撮影機器、１０…本体部、１１…信号処理及び制御部、１１ａ…表示制御部、１１ｂ…画像分析部、１１ｃ…顔検出部、１１ｄ…露出変更部、１１ｅ…画像合成部、１２…撮像部、１８…表示部、１９…タッチパネル、２０…交換レンズ。

Claims (4)

1. 被写体を連続的に確認する第１の撮像処理と上記被写体を静止画記録するための第２の撮像処理とが可能な撮像部と、
   上記第１の撮像処理と上記第２の撮像処理とで露出を変更可能な露出変更部と、
   上記第１の撮像処理による撮像画像と上記第２の撮像処理による撮像画像とを合成可能な合成制御部と、
   を具備したことを特徴する撮影機器。
2. 上記合成制御部は、上記第１の撮像処理の撮像結果に従って、上記合成する撮像画像を決定する
   ことを特徴とする請求項１に記載の撮影機器。
3. 上記合成制御部は、上記第１の撮像処理の撮像結果に従って、合成する枚数を決定する
   ことを特徴する請求項１又は２に記載の撮影機器。
4. 上記合成制御部は、上記第１の撮像処理の撮像結果に従って、第２の撮像処理による撮像画像のみを合成に用いる
   ことを特徴する請求項１乃至３に記載の撮影機器。

Images