JP2013258654A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】背景の電飾ライトが点滅する場合にも、視覚的に自然な合成画像を生成できるようにする。
【解決手段】撮像装置１００は、所定のタイミング、例えばユーザによる撮影指示があったとき、背景の電飾ライト２１２が白飛びしないように露出を低く調整して撮影する。その後、撮像装置１００は、現在の画像の明るさが、前記所定のタイミングで撮影した画像について検出した明るさと一致するときに、主被写体である人物２１３の明るさが適正となるように露出を高く調整して撮影する。そして、撮像装置１００は、これら露出値を異ならせて撮影した２枚の画像を合成する。
【選択図】図２

Description

本発明は、撮影した複数枚の画像を合成する機能を有する撮像装置、その制御方法及びプログラムに関する。

近年、撮影した複数枚の画像を合成し、合成画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、被写体の明るさが適正となる露出よりも低い露出で撮影した画像と高い露出で撮影した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれている。一般的に、撮像素子のダイナミックレンジは自然界のダイナミックレンジよりも狭く、例えば逆光シーンで撮影すると、白飛びが発生してしまう場合がある。より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、暗部のノイズ感が悪化してしまう。また、より高い露出で撮影すると、全体的に明るく撮像されるため、白飛びは発生してしまうが、暗部のノイズ感は改善する。ＨＤＲ機能では、低い露出と高い露出といった複数枚の画像を用い、明るい領域（白飛び等）は低露出画像に重みを掛け、逆に、暗い領域は高露出画像に重みを掛けて合成することにより、白飛びや暗部のノイズ感を改善することができる。

ここで、夜の遊園地のような、夜景の中で様々な電飾ライトが背景に存在するシーンで人物を撮影した場合を考える。通常の撮影では、人物の明るさが適正となるように露出を制御して撮影すると、電飾ライトの領域が白飛びする。一方、電飾ライトの領域の明るさが適正となるように露出を制御して撮影すると、人物領域が黒潰れする。
これに対し、ＨＤＲ機能を利用し、人物領域が黒潰れしないよう露出を制御して撮影した画像と、電飾ライトの領域が白飛びしないよう露出を制御して撮影した画像を合成することで、撮影画像中の白飛び、黒潰れを解消することが可能である。
しかしながら、遊園地等に存在する電飾ライトは点滅する場合が多く、撮影した２枚の画像で、同じ位置に存在する電飾ライトが、一方は点灯しており、もう一方は消灯している、という状況が考えられる。このような画像を合成すると、複数の電飾ライトが同じ明るさで点灯していたにも関わらず、合成後の明るさが電飾ライトの位置によってばらばらになり、不自然な画像となってしまう。

特許文献１では、照明器具の照度明暗周期の正整数倍の時間間隔で、被写体の撮影が行われるように撮影タイミングを制御することが開示されている。
また、特許文献２では、高速で点滅するＬＥＤ（Light Emitting Diode）情報表示装置の点灯時を撮影できる十分に長い電子シャッター速度で読み出した映像信号を取り込むことで、消灯状態の画像を合成しないようにすることが開示されている。

特開２００２−０６４７４３号公報 特開２００８−２８８７４３号公報

しかしながら、特許文献１では、照度明暗周期が予め分かっている照明器具が対象であり、照度明暗周期が不確定の電飾ライトに対しては適用できない。
また、特許文献２では、点滅周期が非常に短時間のＬＥＤが対象であり、例えば１秒に１回点滅を繰り返すような電飾ライトに上記方法を適用すると、撮影時の露光時間が長過ぎるために電飾ライト領域が白飛びしてしまう。

本発明は、上記の問題点を鑑みてなされたものであり、背景の電飾ライトが点滅する場合にも、視覚的に自然な合成画像を生成できるようにすることを目的とする。

本発明の撮像装置は、撮像手段と、前記撮像手段で取得される画像の明るさ又は色を検出する検出手段と、所定のタイミングで前記撮像手段により撮影した後、前記検出手段により検出する画像の明るさ又は色が、前記所定のタイミングで撮影した画像について前記検出手段により検出した明るさ又は色と一致するときに、前記撮像手段により撮影するよう制御する制御手段と、前記所定のタイミングで撮影した画像と前記制御手段によるタイミングで撮影した画像とを合成する合成手段とを備えたことを特徴とする。

本発明によれば、背景の電飾ライトが点滅する場合にも、視覚的に自然な合成画像を生成することができる。

第１の実施形態に係る撮像装置の構成例を示すブロック図である。 第１の実施形態を説明するための図であり、（ａ）は撮像装置の動作概要を示すフローチャート、（ｂ）は電飾ライトの明るさが適正となる露出値で撮影した画像の一例を示す図である。 第１の実施形態において図２（ａ）のフローチャートの各ステップの詳細を示すフローチャートであり、（ａ）は低露出画像撮影処理の流れを示すフローチャート、（ｂ）は明るさ判定・高露出画像撮影処理の流れを示すフローチャート、（ｃ）は合成処理の流れを示すフローチャートである。 高露出で撮影した画像と低露出で撮影した画像の、被写体の明るさに対する出力画素強度を表す図である。 第２の実施形態における低露出画像撮影処理の流れを示すフローチャートである。 第３の実施形態を説明するための図であり、（ａ）は電飾ライトの明るさが適正となる露出値で撮影した画像の一例を示す図、（ｂ）は明るさ変化領域を示す図である。 第３の実施形態を説明するための図であり、（ａ）は低露出画像撮影処理の流れを示すフローチャート、（ｂ）は明るさ変化領域取得の流れを示すフローチャート、（ｃ）は明るさが最大となる画像の取得の流れを示すフローチャートである。 第３の実施形態における明るさ判定・高露出画像撮影処理の流れを示すフローチャートである。 複数の電飾ライトが異なる周期で点滅する例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
＜撮像装置の構成の説明＞
図１は、第１の実施形態に係る撮像装置１００の構成例を示すブロック図である。
１０１は撮像装置１００全体の制御を司るシステム制御コントローラである。システム制御コントローラ１０１は、後述する各ユニットを制御して、ユーザの設定と操作に応じて画像を処理する。

１０２は絞り・ズーム・フォーカス機能を備えた光学レンズユニットである。１０３は光学制御部であり、システム制御コントローラ１０１からの指示に従い、光学レンズユニット１０２を制御する。具体的には、光学レンズユニット１０２の絞り・ズーム・フォーカスを変更することができる。
１０４は撮像素子であり、光学レンズユニットを経て導入された光（映像）を電気信号に変換する。撮像素子１０４としては、一般的に、ＣＣＤを利用したＣＣＤ撮像素子（ＣＣＤイメージセンサ）か、ＣＭＯＳを利用したＣＭＯＳ撮像素子（ＣＭＯＳイメージセンサ）が用いられる。１０５は撮像制御部であり、システム制御コントローラ１０１からの指示に従い、撮像素子１０４を制御する。具体的には、撮像素子１０４の感度調整（ゲインコントロール）、シャッター時間に従った撮像素子１０４からのデータの読み取り等を行う。
システム制御コントローラ１０１の制御下、光学制御部１０３や撮像制御部１０５により、絞りやシャッタースピードを変更することで露出を制御する。

１０６は記録媒体であり、システム制御コントローラ１０１からの指示に従い、データを保持する。記録媒体１０６としては、ＳＤメモリカード、コンパクトフラッシュカード（登録商標）、メモリスティック等のカード型で取り外し可能なメモリが用いられる。記録媒体１０６には、撮像制御部１０５が出力する画像データ（ＲＡＷデータ）か、その画像データからシステム制御コントローラ１０１が生成した画像データ（ＪＰＥＧデータ）が格納される。
１０７はメモリ（ＲＯＭ）であり、撮像装置１００を制御するプログラムとプログラムが使用するデータを格納する。撮像装置１００に電源が投入されると、システム制御コントローラ１０１はＲＯＭ１０７からプログラムを読み込み、撮像装置１００の制御を開始する。
１０８は書き換え可能なメモリ（ＲＡＭ）であり、撮像装置１００を制御するプログラムの作業領域として使用される。また、撮像制御部１０５の出力する画像データを一時的に保存するバッファとしても使用される。
１０９は書き換え可能な不揮発性メモリ（ＮＶＲＡＭ）であり、後述するＵＩユニット１１０でユーザの指定した設定値や、撮像装置１００がパワーサイクルを超えて保持する必要のあるパラメータを保持する。

１１０はユーザの指示を撮像装置１００に伝えるためのＵＩユニットであり、撮影ボタン、メニューボタン等を含む複数のボタン、ダイヤル、タッチパネルにより構成される。
１１１は表示部であり、システム制御コントローラ１０１からの指示に従い、画像を表示する。表示部１１１は、液晶表示装置（ＬＣＤ）のような薄型ディスプレイとそのディスプレイをコントロールするディスプレイドライバユニットで構成される。表示部１１１には、撮像装置１００の各種設定を行うためのメニュー、撮像制御部１０５が出力する画像（構図決定用のファインダとしての利用）、撮影した画像（撮影画像の確認としての利用）、記録媒体１０６に格納された画像（画像ビューアとしての利用）が表示される。また、それぞれの画像に任意のグラフィクス画像を重畳して表示することが可能である。

＜撮像装置の動作の説明＞
図２に、第１の実施形態に係る撮像装置１００の動作概要を示す。
図２（ａ）は、第１の実施形態に係る撮像装置１００の動作概要のフローチャートである。ここでは、電飾ライト２１２が設置された建物２１１を背景にして人物２１３を撮影するシーンを想定する（図２（ｂ）を参照）。電飾ライト２１２は、全て一定周期（１秒間隔）で点滅を繰り返し、全ての電飾ライト２１２の点灯タイミングと消灯タイミングが一致しているものとする。

ステップＳ２０１で、撮像装置１００は、所定のタイミングで、背景の電飾ライト２１２が白飛びしないように露出を低く調整して撮影する（低露出画像撮影）。図２（ｂ）の２１０はこのとき撮影された画像である。

ステップＳ２０２で、撮像装置１００は、現在の画像の明るさが、ステップＳ２０１において所定のタイミングで撮影した画像について検出した明るさと一致するときに、主被写体である人物２１３の明るさが適正となるように露出を高く調整して撮影する（明るさ判定・高露出画像撮影）。

ステップＳ２０３で、撮像装置１００は、ステップＳ２０１とステップＳ２０２において露出値を異ならせて撮影した２枚の画像を合成する。

以下、各ステップＳ２０１〜Ｓ２０３について詳述する。
まず、ステップＳ２０１の低露出画像撮影処理について、図３（ａ）のフローチャートに基づいて説明する。
ステップＳ３０１で、光学レンズユニット１０２から入力された映像を撮像素子１０４で電子データ化し、その電子データを撮像制御部１０５がシステム制御コントローラ１０１に画像データとして出力する。
ステップＳ３０２で、システム制御コントローラ１０１は、ステップＳ３０１において取得した画像データを表示部１１１に構図決定用（プレビュー用）の映像として表示する。このとき、ステップＳ３０１において撮像制御部１０５から出力した画像データは、表示部１１１の解像度に調整して表示することになる。
ステップＳ３０３で、システム制御コントローラ１０１は、シャッタースピードや絞りを調節して、電飾ライト２１２が白飛びしないよう露出を決定する（露出値算出）。
ステップＳ３０４で、システム制御コントローラ１０１は、合焦指示の有無を確認する。具体的には、ユーザが撮影ボタンを半押しした場合を合焦指示とみなす。合焦指示がされた場合はステップＳ３０５に進み、合焦指示がない場合はステップＳ３０１に戻り、構図決定用（プレビュー）の映像を更新する。
ステップＳ３０５で、システム制御コントローラ１０１の制御下、光学制御部１０３は、光学レンズユニット１０２内のレンズを移動させ、主被写体である人物２１３に対し合焦する。
ステップＳ３０６で、システム制御コントローラ１０１は、現在のシーンの明るさを検出する。ここでは、ステップＳ３０１において取得した画像データの平均輝度を明るさとする。
ステップＳ３０７で、システム制御コントローラ１０１は、撮影指示の有無を確認する。具体的には、ユーザが撮影ボタンを押下した場合を撮影指示とみなす。ここでは、背景の電飾ライト２１２が全て点灯しているタイミングでユーザが撮影ボタンを押下したとする。撮影指示がなされた場合はステップＳ３０８に進み、撮影指示がない場合はステップＳ３０１に戻り、構図決定用（プレビュー）の映像を更新する。
ステップＳ３０８で、システム制御コントローラ１０１は、撮像制御部１０５を介して撮影指示時の画像データを取得し、ＲＡＭ１０８に格納する。
ステップＳ３０９で、システム制御コントローラ１０１の制御下で、ステップＳ３０３において決定した露出値に対するシャッタースピード及び絞りの値と、ステップＳ３０６において検出した明るさをそれぞれＲＡＭ１０８に保存する。
以上により本フローチャートを終了する。

次に、ステップＳ２０２の明るさ判定・高露出画像撮影処理について、図３（ｂ）のフローチャートに基づいて説明する。
ステップＳ３１１で、システム制御コントローラ１０１は、ステップＳ３０９においてＲＡＭ１０８に格納したシャッタースピード及び絞り値を読み出し、撮像装置１００に設定する。
ステップＳ３１２で、システム制御コントローラ１０１は、ステップＳ３０１と同様にして画像データを取得する。
ステップＳ３１３で、システム制御コントローラ１０１は、現在のシーンの明るさを検出する。ここでは、ステップＳ３１２において取得した画像データの平均輝度を明るさとする。
ステップＳ３１４で、システム制御コントローラ１０１は、ステップＳ３１３において検出した明るさと、ステップＳ３０９においてＲＡＭ１０８に格納した明るさとを比較する。ここで、明るさが一致した場合はステップＳ３１５に進み、明るさが一致しない場合はステップＳ３１２に戻る。なお、明るさの差分が所定値以内であることを以て、一致したと判定してよいものとする。
ステップＳ３１５で、システム制御コントローラ１０１は、シャッタースピードや絞りを調節して、主被写体である人物２１３の明るさが適正になるよう露出を決定する（露出値算出）。
ステップＳ３１６で、システム制御コントローラ１０１は、ステップＳ３１２と同様にして画像データを取得する。
ステップＳ３１７で、ステップＳ３１６において取得した画像データをＲＡＭ１０８に格納する。
以上により、本フローチャートを終了する。

次に、ステップＳ２０３の合成処理について、図３（ｃ）のフローチャートに基づいて説明する。
ステップＳ３２１で、システム制御コントローラ１０１は、２枚の画像の明るさのレベル合わせを行う。明るさのレベル合わせ方法について図４を用いて説明する。
図４は、高露出で撮影した画像と低露出で撮影した画像の、被写体の明るさに対する出力画素強度を表す図である。横軸Ｌｘ１〜Ｌｘ４は、等間隔に区切った撮像された被写体の明るさとする。また、縦軸は、合成後の出力画素強度とする。図４では、高露出で撮像した画像は、Ｌｘ１の時点で出力画素強度が飽和している。一方、低露出で撮像した画像は、Ｌｘ４まで出力画素強度が飽和していない。ここで、高露出で撮影した画像の出力画素強度が飽和している領域（Ｌｘ１〜Ｌｘ４）に低露出で撮影した画像を適用することで、飽和していないＬｘ１以降の出力画素強度を得ることができる。その際、低露出で撮影した画像に、高露出値と低露出値の間の露出値の倍率２^(Lx4/Lx1)を掛け合わせることで、画像間の明るさのレベル合わせが可能である。
ステップＳ３２２で、システム制御コントローラ１０１は、ステップＳ３２１において明るさのレベルを合わせた２枚の画像を合成する。具体的には、高露出画像の出力画素強度が飽和していない領域（図４の区間Ａ）では、高露出画像に重みを掛け、高露出画像の出力画素強度が飽和している領域（図４の区間Ｂ）では、レベル合わせ後の低露出画像に重みを掛けて合成する。
ステップＳ３２３で、システム制御コントローラ１０１は、トーンマッピング処理により、ステップＳ３２２において得られた合成画像のダイナミックレンジを標準のダイナミックレンジ幅（例えば８ビット）に圧縮する。
ステップＳ３２４で、システム制御コントローラ１０１は、ステップＳ３２３において得られた画像を記録媒体１０６に保存する。
以上により、本フローチャートを終了する。

以上述べた第１の実施形態では、背景の電飾ライトが点灯した状態で、かつ人物等の主被写体が黒潰れしないＨＤＲ合成画像を生成することができる。

なお、第１の実施形態では、ステップＳ３０６及びステップＳ３１３の明るさ検出において画像データの平均輝度を算出したが、撮像装置１００のＡＥ（自動露出）機能により算出された露出値を明るさとして用いても良い。
また、２枚の画像の露出値を、主被写体である人物２１３の明るさが適正となる露出値と、その露出値よりも低い露出値（電飾ライト２１２の明るさが適正となる露出値）に設定したが、それに限られるものではない。例えば主被写体の背景に存在する被写体の明るさをより明るくする必要がある場合には、背景に存在する被写体の露出値を主被写体の露出値よりも高い露出値に設定して撮影してもよい。
また、ステップＳ２０２とステップＳ２０３の間に、ステップＳ２０２と同様にして、露出の異なる画像を複数枚撮影し、合成に用いる画像枚数を増やすことで、より美しいＨＤＲ合成画像を生成することができる。また、低露出画像撮影処理と高露出画像撮影処理の順番は逆としてもよい。
また、ステップＳ３０６の明るさ検出において、シーンが同じ明るさになる周期を同時に検出する（周期検出）ことで、シーンの明るさ以外に周期も利用して高露出画像の撮影タイミングを決定することが可能である。

（第２の実施形態）
第１の実施形態では、一定周期で点滅を繰り返す電飾ライト２１２に対し、ユーザが撮影ボタンを押下したタイミング（電飾ライトが全て点灯しているタイミング）で低露出画像を撮影する場合について説明した。
ここで、実際の電飾ライト２１２の中には、輝度が徐々に変化するものが存在する。第２の実施形態では、そのような電飾ライト２１２が背景に存在するシーンにおいて、電飾ライト２１２が所定の明るさ（例えば電飾ライト２１２の輝度が最も明るい状態）となったタイミングで画像を撮影する場合について説明する。

撮像装置１００の構成は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明し、第１の実施形態と同様の処理についての説明は省略する。
第２の実施形態に係る撮像装置１００の動作概要は、第１の実施形態における図２（ａ）と同様である。
また、第２の実施形態において、電飾ライト２１２は、全て１秒周期で輝度が徐々に変化するものであり、全ての電飾ライト２１２の任意の時点における輝度は一致しているものとする。

第２の実施形態における、ステップＳ２０１の低露出画像撮影処理について、図５のフローチャートに基づいて説明する。
ステップＳ５０１〜Ｓ５０５は、第１の実施形態のステップＳ３０１〜Ｓ３０５と同様である。
ステップＳ５０６で、システム制御コントローラ１０１は、撮影指示の有無を確認する。具体的には、ユーザが撮影ボタンを押下した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ５０７に進み、撮影指示がない場合にはステップＳ５０１に戻り、構図決定用（プレビュー）の映像を更新する。
ステップＳ５０７で、システム制御コントローラ１０１は、現在のシーンの明るさを検出する。ここでは、ステップＳ５０１において取得した画像データの平均輝度を明るさとする。
ステップＳ５０８で、システム制御コントローラ１０１は、ステップＳ５０７において検出した明るさが、所定の明るさ（例えば電飾ライト２１２の輝度が最も明るい状態）と一致したか否かを判定する。明るさが一致した場合はステップＳ５１０に進み、一致していない場合にはステップＳ５０９に戻る。
ステップＳ５０９で、システム制御コントローラ１０１は、ステップＳ５０１と同様にして、最新の画像データを取得し、ステップＳ５０７に戻る。なお、ステップＳ５０８とステップＳ５０９の処理の間に、電飾ライト２１２が白飛びしないよう露出値を調整してもよい。
ステップＳ５１０で、システム制御コントローラ１０１は、撮像制御部１０５を介して、シーンが所定の明るさとなった時点の画像データを取得し、ＲＡＭ１０８に格納する。
ステップＳ５１１で、ステップＳ５０３（もしくは、ステップＳ５０８とステップＳ５０９の処理の間の露出調整）において決定した露出値に対するシャッタースピード及び絞りの値と、ステップＳ５０７において検出した明るさをそれぞれＲＡＭ１０８に保存する。
以上により本フローチャートを終了する。

ステップＳ２０２の明るさ判定・高露出画像撮影処理、及びステップＳ２０３の合成処理はそれぞれ第１の実施形態と同様である。
以上述べた第２の実施形態では、輝度が徐々に変化する電飾ライトが背景に存在する場合に、シーンが所定の明るさになった状態で、かつ人物等の主被写体が黒潰れしないＨＤＲ合成画像を生成することができる。

（第３の実施形態）
シーンに電飾ライト２１２が複数存在するとき、すべての電飾ライト２１２の点滅のタイミングが一致するとは限らない。
第３の実施形態では、背景に存在する複数の電飾ライト２１２の点滅周期が異なっている状況で、点灯している電飾ライト２１２の数が最も多いタイミングで画像を撮影する場合について説明する。

撮像装置１００の構成は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明し、第１の実施形態と同様の処理についての説明は省略する。
第３の実施形態に係る撮像装置１００の動作概要は、第１の実施形態における図２（ａ）と同様である。
また、第３の実施形態において、電飾ライト２１２は点滅周期がそれぞれ異なっており、あるタイミングで撮影した画像は、図６（ａ）に示すように、一部は点灯し、一部は消灯している場合があるものとする。各電飾ライト２１２の点灯時の輝度は同一であるとする。

第３の実施形態における、ステップＳ２０１の低露出画像撮影処理について、図７のフローチャートに基づいて説明する。
ステップＳ７０１〜Ｓ７０５は、第１の実施形態のステップＳ３０１〜Ｓ３０５と同様である。
ステップＳ７０６で、システム制御コントローラ１０１は、撮影指示の有無を確認する。具体的には、ユーザが撮影ボタンを押下した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ７０７に進み、撮影指示がない場合にはステップＳ７０１に戻り、構図決定用（プレビュー）の映像を更新する。

ステップＳ７０７で、システム制御コントローラ１０１は、現在のシーンにおいて、明るさが変化する領域（以下、明るさ変化領域と記す）を取得する。本工程を、図７（ｂ）のフローチャートに基づいて説明する。なお、本実施形態では、シーンに移動体や、電飾ライト以外に明るさの変化する物体は存在しないものとする。
図７（ｂ）において、ステップＳ７０８で、明るさ変化領域取得ステップを開始して、一定時間経過したか否かを判定する。一定時間経過した場合は、本フローチャートを終了する。一定時間経過していない場合は、ステップＳ７０９に進む。上記一定時間は、予め定めておいてもよいし、ＵＩユニット１１０を利用してユーザに入力させるようにしてもよい。
ステップＳ７０９で、システム制御コントローラ１０１は、ステップＳ７０１と同様にして画像データを取得する。
ステップＳ７１０で、システム制御コントローラ１０１は、ＲＡＭ１０８に明るさ比較用の画像データが格納されているか否かを判定する。画像データが格納されている場合はステップＳ７１１に進み、格納されていない場合はステップＳ７１３に進む。
ステップＳ７１１で、システム制御コントローラ１０１は、ステップＳ７０９において取得した画像データとＲＡＭ１０８に格納している画像データの各画素値を比較し、画素値に差がある、すなわち画素値が変化した画素が存在するか否かを判定する。画素値に差がある画素が存在する場合はステップＳ７１２に進み、存在しない場合はステップＳ７１３に進む。
ステップＳ７１２で、システム制御コントローラ１０１は、画素値に差がある画素の座標をＲＡＭ１０８に保存する。ここで、ＲＡＭ１０８に保存された座標の中で、隣り合う座標は１つの領域として管理し、領域毎にＩＤ番号を割り振っておく。
ステップＳ７１３で、システム制御コントローラ１０１は、ステップＳ７０９において取得した画像データをＲＡＭ１０８に格納し、ステップＳ７０８に戻る。ＲＡＭ１０８に既に画像データが格納されていれば、その画像データを上書きする。
以上により、明るさ変化領域が取得される。ここでは、電飾ライト２１２の領域が明るさ変化領域として取得される。
最終的に取得された明るさ変化領域は、図６（ｂ）の白色の領域となる。図６（ｂ）に示すように、独立した領域毎にＩＤが割り振られている（ＩＤ１〜ＩＤ１５）。

図７（ａ）に戻って、ステップＳ７１４で、システム制御コントローラ１０１は、ステップＳ７０７において取得した明るさ変化領域の明るさが所定の明るさとなる（例えば明るさが最大となる）画像を取得する。本工程を、図７（ｃ）のフローチャートに基づいて説明する。
図７（ｃ）において、ステップＳ７１５で、明るさ最大画像取得ステップを開始して、一定時間経過したか否かを判定する。一定時間経過した場合は、本フローチャートを終了する。一定時間経過していない場合は、ステップＳ７１６に進む。上記一定時間は、予め定めておいてもよいし、ＵＩユニット１１０を利用してユーザに入力させるようにしてもよい。また、ステップＳ７０８で定めた時間と同一にしてもよい。
ステップＳ７１６で、システム制御コントローラ１０１は、ステップＳ７０１と同様にして画像データを取得する。
ステップＳ７１７で、システム制御コントローラ１０１は、ステップＳ７０７において取得した明るさ変化領域における明るさを検出する。具体的には、ステップＳ７１６において取得した画像データにおいて、独立した明るさ変化領域（ＩＤ１〜ＩＤ１５）毎に画素値の輝度平均を算出する。次に、前記輝度平均の平均値を求め、これを画像全体の明るさ変化領域における明るさとする。点灯している電飾ライトの数が多いほど、明るさの値は大きくなる。
ステップＳ７１８で、システム制御コントローラ１０１は、ステップＳ７１７において検出した明るさが過去に検出した明るさよりも大きいか否かを判定する。大きい場合はステップＳ７１９に進み、そうでない場合はステップＳ７１５に戻る。
ステップＳ７１９で、システム制御コントローラ１０１は、ステップＳ７１６において取得した画像をＲＡＭ１０８に格納し、ステップＳ７１５に戻る。ＲＡＭ１０８に既に画像データが格納されていれば、その画像データを上書きする。
以上により、一定時間の中で、明るさ変化領域の明るさが最大、すなわち点灯している電飾ライト２１２の数が最大となる画像データが取得できる。

図７（ａ）に戻って、ステップＳ７２０で、ステップＳ７０３において決定した露出値に対するシャッタースピード及び絞りの値と、ステップＳ７１７において取得した、明るさが最大となるときの、独立した明るさ変化領域（ＩＤ１〜ＩＤ１５）毎の明るさを、それぞれＲＡＭ１０８に保存する。
以上により本フローチャートを終了する。

次に、ステップＳ２０２の高露出画像撮影処理について、図８のフローチャートに基づいて説明する。
ステップＳ８０１で、システム制御コントローラ１０１は、ステップＳ７２０においてＲＡＭ１０８に格納したシャッタースピード及び絞り値を読み出し、撮像装置１００に設定する。
ステップＳ８０２で、システム制御コントローラ１０１は、ステップＳ７０１と同様にして画像データを取得する。
ステップＳ８０３で、システム制御コントローラ１０１は、ステップＳ７１７と同様にして、ステップＳ７０７において取得した明るさ変化領域における明るさを、独立した領域毎に取得する。
ステップＳ８０４で、システム制御コントローラ１０１は、ステップＳ８０３において取得した明るさと、ステップＳ７２０においてＲＡＭ１０８に格納した明るさとを、独立した領域毎に比較し、全ての領域で明るさが一致するか否かを判定する。明るさが一致した場合はステップＳ８０５に進み、明るさが一致しない場合はステップＳ８０２に戻る。
ステップＳ８０５で、撮像装置１００は、シャッタースピードや絞りを調節して、主被写体である人物２１３の明るさが適正になるよう露出を決定する（露出値算出）。
ステップＳ８０６で、システム制御コントローラ１０１は、ステップＳ８０２と同様にして画像データを取得する。
ステップＳ８０７で、ステップＳ８０６において取得した画像データをＲＡＭ１０８に格納する。
以上により、本フローチャートを終了する。

ステップＳ２０３の合成処理は第１の実施形態と同様である。
以上述べた第３の実施形態では、点滅周期が異なる複数の電飾ライトが背景に存在する場合に、点灯している電飾ライトの数が最も多い状態で、かつ人物等の主被写体が黒潰れしないＨＤＲ合成画像を生成することができる。

なお、第３の実施形態のステップＳ８０４の判定において、一定時間経過しても、前記判定で明るさが一致しなかった場合は本フローチャートを終了し、表示部１１１を通じてユーザにＨＤＲ合成ができなかった旨を通知するようにしてもよい。このとき、ステップＳ２０１で撮影した低露出画像のみを記録媒体１０６に保存する。
また、高露出画像撮影では露光時間が長いために、撮影タイミングによっては、露光中に点滅周期の短い電飾ライトが消灯する可能性がある。図９に、各電飾ライトの点滅周期の例を示す。図９において、ＩＤ１〜ＩＤ３が同時に点灯するタイミングから高露出画像撮影を行った場合、点滅周期の短いＩＤ２の電飾ライトが露光中に消灯してしまう場合があることがわかる。このため、低露出画像撮影時に点灯していた複数の電飾ライトの、同時点灯する最長時間を検出しておき、その最長時間が高露出画像の露光時間よりも短ければ、ＨＤＲ合成を行わないようにする。この場合にも、表示部１１１を通じてユーザにＨＤＲ合成できない旨を通知し、ステップＳ２０１で撮影した低露出画像のみを記録媒体１０６に保存するようにしてもよい。一方、最長時間が高露出画像の露光時間よりも長い場合には、最長時間の検出時に、最長時間同時点灯する周期を検出しておくことで、明るさ以外に周期も利用して高露出画像の撮影タイミングを決定することが可能である。

以上述べた実施形態では、画像データの画素の平均輝度を取得して、明るさを検出する例を説明したが、画像データの画素のＲＧＢ値を取得することにより、色が検出するようにしてもよい。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０１：システム制御コントローラ、１０２：光学レンズユニット、１０３：光学制御部、１０４：撮像素子、１０５：撮像制御部、１０６：記録媒体、１０７：ＲＯＭ、１０８：ＲＡＭ、１０９：ＮＶＲＡＭ、１１０：ＵＩユニット、１１１：表示部

Claims (11)

1. 撮像手段と、
   前記撮像手段で取得される画像の明るさ又は色を検出する検出手段と、
   所定のタイミングで前記撮像手段により撮影した後、前記検出手段により検出する画像の明るさ又は色が、前記所定のタイミングで撮影した画像について前記検出手段により検出した明るさ又は色と一致するときに、前記撮像手段により撮影するよう制御する制御手段と、
   前記所定のタイミングで撮影した画像と前記制御手段によるタイミングで撮影した画像とを合成する合成手段とを備えたことを特徴とする撮像装置。
2. 露出値を算出する露出値算出手段を備え、
   前記露出値算出手段は、前記所定のタイミングでの撮影と、前記制御手段によるタイミングでの撮影とで露出値を異ならせることを特徴とする請求項１に記載の撮像装置。
3. 前記露出値算出手段は、主被写体の明るさが適正となる露出値と、それよりも低い露出値を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記所定のタイミングは、ユーザによる撮影指示があったときであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記所定のタイミングは、ユーザによる撮影指示があった後、前記検出手段により検出する明るさ又は色が所定の明るさ又は色となったときであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 明るさ又は色が変化する領域を取得する領域取得手段を備え、
   前記所定のタイミングは、ユーザによる撮影指示があった後、前記領域取得手段により取得する領域の明るさ又は色が所定の明るさ又は色となったときであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記領域取得手段により取得する各領域の明るさ又は色が、前記所定のタイミングで撮影した画像の各領域の明るさ又は色と一致するときに、前記撮像手段により撮影するよう制御することを特徴とする請求項６に記載の撮像装置。
8. 前記検出手段により検出する明るさ又は色が同じになる周期を検出する周期検出手段を備え、
   前記制御手段は、前記所定のタイミングで前記撮像手段により撮影した後、前記周期検出手段により検出した周期で、前記撮像手段により撮影するよう制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、露光中に被写体の明るさ又は色が変化しないタイミングで前記撮像手段により撮影するよう制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮像手段を備えた撮像装置の制御方法であって、
    前記撮像手段で取得される画像の明るさ又は色を検出する検出ステップと、
    所定のタイミングで前記撮像手段により撮影した後、前記検出ステップにより検出する画像の明るさ又は色が、前記所定のタイミングで撮影した画像について前記検出ステップにより検出した明るさ又は色と一致するときに、前記撮像手段により撮影するよう制御する制御ステップと、
    前記所定のタイミングで撮影した画像と前記制御ステップによるタイミングで撮影した画像とを合成する合成ステップとを有することを特徴とする撮像装置の制御方法。
11. 撮像手段を備えた撮像装置を制御するためのプログラムであって、
    前記撮像手段で取得される画像の明るさ又は色を検出する検出手段と、
    所定のタイミングで前記撮像手段により撮影した後、前記検出手段により検出する画像の明るさ又は色が、前記所定のタイミングで撮影した画像について前記検出手段により検出した明るさ又は色と一致するときに、前記撮像手段により撮影するよう制御する制御手段と、
    前記所定のタイミングで撮影した画像と前記制御手段によるタイミングで撮影した画像とを合成する合成手段としてコンピュータを機能させるためのプログラム。

Images