JP2016139876A - 画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】異なる時点に異なる露出で撮像された複数枚画像を合成する際に、移動体の動きが検出された領域の飽和度に基づいて、合成する画像の合成比率を決定することを目的とする。
【解決手段】異なる時点に異なる露出で撮影された複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける対応付手段と、前記対応付手段により対応付けられた前記同一の被写体の領域における前記複数の画像の飽和度を取得する取得手段と、前記取得手段により取得された前記飽和度に基づいて、前記同一の被写体の領域における前記複数の画像の合成比率を決定する決定手段と、を有する。
【選択図】図２

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

近年、複数枚の画像を合成し、合成した画像を記録するデジタルカメラ等の撮影装置が数多く製品化されている。これらの撮影装置の中には、被写体の明るさが適正となる露出よりも低い露出で撮影した画像と高い露出で撮影した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮影装置がある。そのような機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれている。一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭く、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。撮影の際の露出が低いほど全体的に暗く撮像されるため、白飛びは抑制することはできるが、暗部におけるノイズの影響は、大きくなってしまう。また、撮影の際の露出が高いほど全体的に明るく撮像されるため、白飛びは発生してしまうが、暗部におけるノイズの影響は、改善する。ハイダイナミックレンジ機能では、撮影装置は、相対的に低い露出で撮影された画像と相対的に高い露出で撮影された画像といった複数の画像を用い、以下の処理を行う。即ち、撮影装置は、明るい領域（白飛び等）については、低露出画像に重みを掛け、逆に、暗い領域については、高露出画像に重みを掛け、前記複数の画像を合成することにより、白飛びや暗部におけるノイズの影響を改善することができる。
また、異なる時点に異なる露出で画像を複数枚撮影している期間に被写体が移動した場合、合成処理により被写体が２重像になってしまうことがある。２重像を抑制するため、被写体の移動が検出された領域に対して合成処理を禁止する技術が開示されている。一般的に、被写体の移動が検出された領域は、合成画像として低い露出の画像として出力される。高い露出で撮像した画像は、移動体が白飛びしている可能性があるためである。
特許文献１では、被写体の移動が検出された領域に対して、高い露出の画像における注目画素近傍の画素が白飛びしていれば、低い露出の画像を出力し、白飛びしていなければ、高い露出の画像を出力する技術が開示されている。

特許第３７３１７２９号公報

上述のように、複数の画像の合成の際に、被写体の動きが検出された領域について、合成処理を禁止し、低露出画像を出力することにより２重像のような移動体の変形を抑制することができる。しかしながら、動きが検出された領域に対して、低露出画像を出力してしまうと、高露出画像に比べてノイズの影響が大きくなってしまうといった課題がある。
特許文献１のように、注目画素の近傍画素のみで白飛びを検出する方法では、次のような問題がある。即ち、注目画素の近傍画素で白飛びを検出した場合、注目画素の近傍以外に存在する移動体の領域について白飛びがなくても低露出画像を出力してしまうことになり、前記領域でのノイズの影響が高露出画像に比べて大きくなるという問題がある。前記問題が生じるのは、注目画素の近傍画素のみに基づいて出力する画像を選択しているためである。
そこで、本発明は、異なる時点に異なる露出で撮像された複数枚画像を合成する際に、移動体の動きが検出された領域の飽和度に基づいて、合成する画像の合成比率を決定することを目的とする。

そこで、本発明の画像処理装置は、異なる時点に異なる露出で撮影された複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける対応付手段と、前記対応付手段により対応付けられた前記同一の被写体の領域における前記複数の画像の飽和度を取得する取得手段と、前記取得手段により取得された前記飽和度に基づいて、前記同一の被写体の領域における前記複数の画像の合成比率を決定する決定手段と、を有する。

本発明によれば、異なる時点に異なる露出で撮像された複数枚画像を合成する際に、移動体の動きが検出された領域の飽和度に基づいて、合成する画像の合成比率を決定することができる。

撮影装置のハードウェア構成の一例を示す図である。 撮影装置の機能構成及び処理の一例を示す図である。 画像合成部の機能構成及び処理の一例を示す図である。 撮影画像の入射光量と信号レベルとの関係の一例を示す図である。 動領域情報の一例を示す図である。 動領域対応付け部の機能構成及び処理の一例を示す図である。 対となる動領域情報の一例を示す図である。 移動体の位置情報の一例を示す図である。 合成比率算出部の機能構成及び処理の一例を示す図である。 複数の移動体が存在する場合の合成画像の一例を示す図である。 合成比率を算出する処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、本実施形態における撮影装置のハードウェア構成の一例を示す図である。
撮影装置は、ＣＰＵ１１１、メモリ１０６、記憶装置１１２、撮像素子１１３、表示装置１１４等を含む。
ＣＰＵ１１１は、撮影装置を制御するための中央演算装置である。メモリ１０６は、高速アクセス可能な記憶装置であり、ＣＰＵ１１１が処理する画像データやＣＰＵ１１１が実行するプログラム等が展開される。記憶装置１１２は、不揮発性の記憶装置であり、撮影された画像データ、種々の閾値データ、プログラム等を格納する。

撮像素子１１３は、光を電気信号として蓄える素子である。表示装置１１４は、液晶パネル等で構成され、撮影された画像等を表示する。
ＣＰＵ１１１が、メモリ１０６又は記憶装置１１２に記憶されたプログラムに基づき処理を実行することによって、後述する撮影装置の機能及び後述するフローチャートの処理が実現される。
撮影装置は、種々の設定された閾値を設定ファイル等として、記憶装置１１２に保存しているものとする。また、撮影装置は、ユーザによる撮影装置のユーザインターフェースを介した操作に基づいて、前記設定ファイル等に保存された前記種々の設定された閾値の内容を変更できるものとする。

図２は、本実施形態における撮影装置の機能構成及び処理の一例を示す図である。
本実施形態における撮像装置は、レンズ１０１、撮像部１０２、Ａ／Ｄ変換部１０３、カメラ信号処理部１０４、露出制御部１０５、メモリ１０６、画像合成部１０７、トーンマッピング部１０８、画像記録部１０９、画像表示部１１０等を含む。

続いて、撮影装置の各機能構成要素の処理について説明する。
レンズ１０１は、被写体光を撮像部１０２に導く。
撮像部１０２は、ＣＣＤやＣＭＯＳ等の撮像素子を介して被写体を撮影する。撮像部１０２は、レンズ１０１から得た被写体光を電気信号に変換してＡ／Ｄ変換部１０３に出力する。
Ａ／Ｄ変換部１０３は、アナログ信号である撮像部１０２からの電気信号をディジタル信号に変換し、変換したディジタル信号をカメラ信号処理部１０４に出力する。

カメラ信号処理部１０４は、Ａ／Ｄ変換部１０３より出力されたディジタル信号に対して、ホワイトバランスや輪郭強調等の画像処理を施し、画像処理を施した映像信号を露出制御部１０５、メモリ１０６に出力する。
露出制御部１０５は、カメラ信号処理部１０４から出力された映像信号の明るさに応じて、露光期間、絞り及びＩＳＯ感度を調整することで、露出を制御する。撮像部１０２は、露出制御部１０５により決められた露光期間及びＩＳＯ感度に従い、露光及びアナログ信号を増幅する。また、レンズ１０１は、露出制御部１０５により決められた絞り値に従い、絞りを開閉し、撮像部に導く光量を変更する。本実施形態では、撮影装置は、少なくとも２以上の異なる露出で異なる時点に撮像する。
画像合成部１０７は、メモリ１０６に記録された異なる露出で撮影された複数画像を合成し、合成した画像をトーンマッピング部１０８へ出力する。

トーンマッピング部１０８は、例えば、ガンマ処理のような非線形処理により、合成画像の階調圧縮を行い、会長圧縮を行った合成画像を画像記録部１０９、画像表示部１１０に出力する。
画像記録部１０９は、トーンマッピング部１０８によりトーンマッピングされた画像を記憶装置１１２等に記録する。
画像表示部１１０は、例えば、トーンマッピング部１０８によりトーンマッピングされた画像を表示装置１１４等に表示する。
以上、本実施形態における撮影装置の処理について説明した。

次に、画像合成部１０７の詳細について説明する。
画像合成部１０７は、メモリ１０６に記録された異なる露出の複数画像を合成する。本実施形態では、相対的に低い露出で撮影した画像と相対的に高い露出で撮影した画像の二枚を合成して一枚の合成画像を出力する例について説明する。

図３は、画像合成部１０７の機能構成及び処理の一例を示す図である。
画像合成部１０７は、画素レベル合わせ部２０１、動領域検出部２０２、動領域対応付け部２０３、合成比率算出部２０４及び加重加算部２０５等を含む。
続いて、画像合成部１０７の処理について説明する。

（低露出画像と高露出画像）
まず、画像合成部１０７が入力する低露出画像と高露出画像について、図４を参照して説明する。
図４に、異なる露出で撮像した場合の入射光量と撮像部１０２の信号レベルとの関係を示す。図４において、実線ＥＨは、低露出画像よりも露出が高い高露出画像における入射光量と信号レベルとの関係を示す。また、一点鎖線ＥＬは、高露出画像よりも露出が低い低露出画像における入射光量と信号レベルとの関係を示す。図４の例では、高露出画像と低露出画像とが撮影された際の露出の差は、一段であるとする。
実線ＥＨに表されているように、高露出画像では、入射光量が小さくて暗い被写体の場合、信号レベルは、低露出画像よりも高い。しかし、ＬＨ以上の明るい被写体の場合、入射光量は、信号レベル（Ｖｓ）が飽和してしまう。つまり、高露出画像は、低露出画像よりも白飛びし易く、黒潰れし難いといった階調特性がある。

一方、一点鎖線ＥＬに表されているように、低露出画像では、入射光量が小さくて暗い被写体の場合、信号レベルは、高露出画像よりも低い。しかし、信号レベルが飽和する入射光量は、ＬＬでありＬＨよりも大きい。つまり、低露出画像は、高露出画像よりも白飛びし難く、黒潰れし易いといった階調特性がある。
画像合成部１０７は、そのような階調特性が異なる低露出画像と高露出画像とを合成し、合成（ＨＤＲ）画像を出力する。
以上、画像合成部１０７に入力される低露出画像と高露出画像について説明した。

（画素レベル合わせ部２０１）
次に、画素レベル合わせ部２０１について、図４を参照して説明する。
画素レベル合わせ部２０１は、低露出画像の画素値を露出差に応じて増幅し、高露出画像と画素レベルを合わせた低露出ｌｖ画像を出力する。例えば、図４の例のように、低露出画像と高露出画像とが撮影された際の露出の差が一段の場合、低露出画像の画素値を２倍することにより、高露出画像と画素レベルの合った低露出ｌｖ画像を出力する。図４の一点鎖線ＥＬ'は、低露出ｌｖ画像における入射光量と信号レベルとの関係を示す。それにより、入射光量ＬＨ以下の静止領域における低露出ｌｖ画像と高露出画像との画素レベルは、合うことになる。
以上、画素レベル合わせ部２０１について説明した。

（動領域検出部２０２）
次に、動領域検出部２０２について、図５を参照して説明する。
図５（ａ）は、高露出画像と画素レベルを合わせた低露出ｌｖ画像を示す。図５（ｂ）は、高露出画像を示す。図５（ｃ）は、動領域情報を示す。また、図５の例は、図５（ａ）の低露出ｌｖ画像において、左端に存在する野球ボールとサッカーボールとが、図５（ｂ）の高露出画像においては右端に移動している場合を示している。
動領域検出部２０２は、１画素単位に、図５（ａ）の低露出ｌｖ画像と図５（ｂ）の高露出画像との同一座標における画素差分絶対値を算出する。前記画素差分絶対値は、動いている野球ボールとサッカーボールとの領域において、大きい値を示す。

続いて、動領域検出部２０２は、算出した１画素単位の画素差分絶対値のうち、設定された閾値以上の画素差分絶対値を有する領域を移動元及び移動先の移動体が占める領域である動領域であると特定し、図５（ｃ）のような動領域情報を出力する。（のグループ化を行い、領域ごとに動きを判断し、図５（ｃ）のような動領域情報を出力する。）図５（ｃ）の動領域情報は、野球ボール及びサッカーボールの移動元である動領域ａ４０１及び動領域ａ４０２と、移動先である動領域ａ４０３及び動領域ａ４０４と、のそれぞれが画素差分絶対値が前記閾値よりも大きいため、動領域として特定されている。
以上、動領域検出部２０２について説明した。

（動領域対応付け部２０３）
次に、動領域対応付け部２０３について、図６、図７及び図８を参照して説明する。
動領域対応付け部２０３は、動領域検出部２０２で検出した動領域のうち、同一被写体であると判定した動領域を対応付け、対応付けられた複数の動領域を対となる動領域とする。そして、動領域対応付け部２０３は、対となる動領域の情報を対となる動領域情報として出力する。
図６に動領域対応付け部２０３の機能構成及び処理の一例を示す。
動領域対応付け部２０３は、動きベクトル検出部５０１、被写体認識部５０２、類似形状動領域判定部５０３、位置情報選択部５０４、対となる動領域設定部５０５等を含む。

続いて、動領域対応付け部２０３の処理について図７及び図８を参照して説明する。
図７（ａ）は、低露出ｌｖ画像と高露出画像とから算出された動きベクトルを示す。図７（ｂ）は、低露出ｌｖ画像と高露出画像とから認識された被写体認識結果を示す。図７（ｃ）は、動領域情報から判定された類似形状判定結果を示す。図７（ｄ）は、対となる動領域情報を示す。また、図８は、同一移動体の低露出ｌｖ画像と高露出画像とにおける位置情報を示す。

動きベクトル検出部５０１は、公知のブロックマッチング技術等の動きベクトル検出技術を用い、図７（ａ）のように、低露出ｌｖ画像と高露出画像とから移動体の動きベクトルをブロックごとに算出する。図７（ａ）中のサッカーボール、野球ボール上の矩形で囲まれた領域は、ブロックである。そして、動きベクトル検出部５０１は、例えば、図８のような動きベクトルの始点領域の位置情報（低露出ｌｖ画像）と終点領域の位置情報（高露出画像）とを動きベクトル位置情報として出力する。
動きベクトル検出部５０１は、それぞれの動きベクトルの始点と終点とを、同一被写体の移動位置を示す情報として扱うことができる。例えば、図７（ａ）において、動きベクトルｖ６０１の始点領域ａ６０１と終点領域ａ６０１'とは、野球ボールという同一被写体が始点領域ａ６０１から終点領域ａ６０１'に移動したことを表している。動きベクトル検出部５０１は、動きベクトルの始点領域と終点領域といった２つの位置情報を対応づけて出力する。また、動きベクトル検出部５０１は、動きベクトルの確からしさを示す動きベクトル信頼度を出力する。動きベクトル検出部５０１は、ベクトル信頼度として、例えば、ブロックマッチング処理を行う際の画素差分絶対値のブロック内積分値等を出力する。動きベクトル検出部５０１の処理は、ベクトル取得処理の一例である。
なお、図７（ａ）のサッカーボールのように被写体が動きベクトル算出ブロックサイズよりも大きい場合、動きベクトル検出部５０１は、まず、サッカーボールの近傍の動きベクトルのうち、長さ、方向が類似している動きベクトルを抽出する。そして、動きベクトル検出部５０１は、抽出した類似している複数の動きベクトルの始点領域を統合した領域と、前記複数の動きベクトルの終点領域を統合した領域と、の２つの位置情報を対応付けて出力する。

被写体認識部５０２は、公知の被写体認識技術を用い、低露出ｌｖ画像と高露出画像とにおける被写体（例えば、ボールや顔等）を認識する。そして、被写体認識部５０２は、例えば、図８のように、低露出ｌｖ画像と高露出画像とにおける同一被写体領域といった２つの位置情報を対応づけ、被写体認識位置情報として出力する。また、被写体認識部５０２は、認識の確からしさを示す被写体認識信頼度を出力する。被写体認識部５０２は、被写体認識信頼度として、例えば、同一の被写体であると認識された領域内における低露出ｌｖ画像と高露出画像との画素差分絶対値の積分値等を出力する。

類似形状動領域判定部５０３は、公知のブロックマッチング技術等を用い、動領域情報から類似形状を持つ動領域を探索する。そして、類似形状動領域判定部５０３は、図８のように、探索した類似形状を持つ２つの動領域の位置情報を対応付け、類似形状動領域位置情報として出力する。例えば、図７（ｃ）において、類似形状動領域判定部５０３は、まず、動領域ａ４０２と他の動領域ａ４０１、ａ４０３、ａ４０４とをブロックマッチングする。そして、類似形状動領域判定部５０３は、最もマッチングしている動領域の位置情報と動領域ａ４０２の位置情報とを対応付けて出力する。
より具体的には、類似形状動領域判定部５０３は、動領域ａ４０２と他の動領域ａ４０１、ａ４０３、ａ４０４とにおける類似度を取得し、最も高く且つ設定された閾値以上である類似度に対応する動領域を動領域ａ４０２と対応付ける。類似度には、Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）、 Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）等がある。類似形状動領域判定部５０３は、図７（ｃ）の場合、動領域ａ４０２と形状が類似している動領域を動領域ａ４０４であると判断し、動領域ａ４０２と動領域ａ４０４との２つの位置情報を対応づけて出力する。類似形状動領域判定部５０３は、更に類似形状の確からしさを示す類似形状動領域信頼度を出力する。類似形状動領域判定部５０３は、類似形状動領域信頼度として、例えば、ブロックマッチングを行う際の、画素差分絶対値のブロック内積分値等を出力する。

位置情報選択部５０４は、動きベクトル信頼度、被写体認識信頼度、類似形状動領域信頼度の信頼度を比較し、動きベクトル信頼度、被写体認識信頼度、類似形状動領域信頼度のうち最も高い信頼度を取得する。そして、位置情報選択部５０４は、取得した信頼度に対応する位置情報を選択する。位置情報選択部５０４は、例えば、動きベクトル信頼度が最も高い場合、動きベクトル位置情報を選択する。なお、位置情報選択部５０４は、重み付けを行った各信頼度を用いて信頼度の相対評価を行い、最も信頼度が高い位置情報を選択してもよい。位置情報選択部５０４は、選択した位置情報を対となる動領域設定部５０５へ出力する。
対となる動領域設定部５０５は、位置情報選択部５０４から出力された位置情報に応じて、図７（ｄ）のように、動領域検出部２０２で検出した動領域のうち前記位置情報に対応する位置に存在する領域を対応づけ、対となる動領域情報として出力する。
以上、動領域対応付け部２０３の処理について説明した。

（合成比率算出部２０４）
次に、合成比率算出部２０４の詳細について、図９を参照して説明する。
図９は、合成比率算出部２０４の機能構成及び処理の一例を示す図である。
合成比率算出部２０４は、飽和面積割合算出部８０１、飽和度算出部８０２、動領域合成比率算出部８０３、明るさ算出部８０４、静止領域合成比率算出部８０５及び合成比率選択部８０６等を含む。

続いて、合成比率算出部２０４の処理について、図９を参照して説明する。
飽和面積割合算出部８０１は、低露出ｌｖ画像と高露出画像との対となる動領域において、画素値が設定された閾値以上である領域が対となる動領域全体の面積に占める割合を算出する。画素値が前記閾値以上であることは、画素値が飽和していることの一例である。以下では、画素値が飽和している領域の面積を飽和面積とする。以下では、飽和面積が動領域全体の面積に占める割合のことを飽和面積割合とする。
飽和面積割合算出部８０１は、対となる動領域が複数存在する場合、同様の飽和面積割合算出処理を繰り返し、対となる動領域ごとに低露出ｌｖ画像と高露出画像との飽和面積割合を出力する。飽和面積割合算出部８０１は、例えば、図７（ｄ）の例では、低露出ｌｖ画像と高露出画像とについて、対となる動領域である動領域Ａ及び動領域Ａ'における飽和面積割合を算出する。飽和面積割合算出部８０１は、動領域Ｂ及び動領域Ｂ'に関しても同様に、低露出ｌｖ画像と高露出画像について飽和面積割合を算出する。
飽和度算出部８０２は、飽和面積割合算出部８０１が対となる動領域ごとに算出した低露出ｌｖ画像と高露出画像との飽和面積割合を補正し、飽和度を算出する。

動領域合成比率算出部８０３は、飽和度算出部８０２が対となる動領域ごとに算出した飽和度に基づいて、対となる動領域ごとに動領域合成比率を算出する。より具体的には、動領域合成比率算出部８０３は、高露出画像の動領域の飽和度が低露出ｌｖ画像の前記動領域と対になる動領域の飽和度以下であれば、高露出画像の合成比率を低露出ｌｖ画像の合成比率よりも高くする。逆に、動領域合成比率算出部８０３は、高露出画像の動領域の飽和度が低露出ｌｖ画像の前記動領域と対になる動領域の飽和度よりも大きければ、低露出画像の合成比率を高露出画像の合成比率よりも高くする。
また、動領域合成比率算出部８０３は、通常、動領域における高露出画像と低露出ｌｖ画像とのどちらか一方の合成比率を１００％まで高くし、２重像を抑制するよう制御する。動領域合成比率算出部８０３は、図７（ｄ）の例では、対となる動領域である動領域Ａ及び動領域Ａ'についての高露出画像と低露出ｌｖ画像との合成比率を同一にする。また同様に、動領域合成比率算出部８０３は、動領域Ｂ及び動領域Ｂ'についての高露出画像と低露出ｌｖ画像との合成比率を同一にする。
明るさ算出部８０４は、低露出ｌｖ画像の明るさを１画素ごとに算出する。明るさとは、例えば、輝度値である。

静止領域合成比率算出部８０５は、明るさ算出部８０４により算出された明るさに応じて、２枚の画像を合成する比率を算出する。より具体的には、静止領域合成比率算出部８０５は、相対的に明るい領域について低露出画像の合成比率を高露出画像の合成比率よりも高くし、相対的に暗い領域について高露出画像の合成比率を低露出画像の合成比率よりも高くする。
合成比率選択部８０６は、合成比率算出対象の画素の位置が対となる動領域に含まれていれば、動領域合成比率を選択し、対となる動領域に含まれていなければ、静止領域合成比率を選択する。合成比率選択部８０６は、合成対象の全画素について合成比率を選択し、選択した合成比率を出力する。
以上、合成比率算出部２０４の処理について説明した。
続いて、飽和面積割合算出部８０１、飽和度算出部８０２、動領域合成比率算出部８０３の詳細について説明する。

（飽和面積割合算出部８０１）
飽和面積割合算出部８０１の詳細について、説明する。
飽和面積割合算出部８０１は、低露出ｌｖ画像と高露出画像との対となる動領域において、画素値が設定された閾値以上である領域が対となる動領域全体の面積に占める割合を算出する。より具体的には、飽和面積割合算出部８０１は、図７（ｄ）の例において、低露出ｌｖ画像内の、対となる動領域である動領域Ａ、動領域Ａ'の２つの領域において、設定された閾値以上の画素値を有する領域の面積（飽和面積）を算出する。

そして、飽和面積割合算出部８０１は、低露出ｌｖ画像の飽和面積割合として、算出した飽和面積が対となる動領域である動領域Ａ、動領域Ａ'の２つの領域全体の面積に占める割合を飽和度算出部８０２に出力する。飽和面積割合算出部８０１は、同様の処理により、対となる動領域である動領域Ｂ、動領域Ｂ'についても、低露出ｌｖ画像の飽和面積割合を算出し、算出した飽和面積割合を飽和度算出部８０２に出力する。また、飽和面積割合算出部８０１は、同様の処理により高露出画像内の対となる動領域における飽和面積割合も算出し、算出した飽和面積割合を飽和度算出部８０２に出力する。
飽和面積割合算出部８０１は、対となる動領域ごとに低露出ｌｖ画像と高露出画像との飽和面積割合を算出し、算出した飽和面積割合を飽和度算出部８０２に出力する。
以上、飽和面積割合算出部８０１の詳細について説明した。

（飽和度算出部８０２）
次に、飽和度算出部８０２の詳細について、説明する。
飽和度算出部８０２は、飽和面積割合算出部８０１が対となる動領域ごとに算出した飽和面積割合を、低露出ｌｖ画像と高露出画像との画質の差に応じて補正を施し、補正を施した飽和度を算出し、動領域合成比率算出部８０３に出力する。
低露出ｌｖ画像と高露出画像との画質差に応じた飽和度の算出方法には、以下にあげる方法等がある。
・低露出と高露出の露出差に応じた飽和度算出方法
・ＩＳＯ感度に応じた飽和度算出方法
・露光期間に応じた飽和度算出方法

（低露出と高露出との露出差に応じた飽和度算出方法）
低露出と高露出との露出差に応じた飽和度の算出方法について説明する。
画素レベル合わせ部２０１により明るさが増幅され高露出画像と明るさを合わせられた低露出ｌｖ画像は、撮影の際の露出が高露出画像に比べて低いため、高露出画像に比べノイズの影響が大きい。逆に、高露出画像は、撮影の際の露出が低露出ｌｖ画像に比べて高いため、低露出ｌｖ画像に比べノイズの影響が少ない。低露出画像と高露出画像との撮影の際の露出差が大きいほど、低露出ｌｖ画像の露出は高露出画像に比べ低くなる。つまり、露出差が大きいほど低露出ｌｖ画像におけるノイズの影響は、高露出画像に比べ大きくなる。そのため、低露出ｌｖ画像の飽和面積割合が高露出画像の飽和面積割合よりも小さく、その差が設定された閾値以下である場合、撮影装置は、対となる動領域として、ノイズの影響の少ない高露出画像を出力した方が、画質が向上する場合がある。

例えば、低露出ｌｖ画像の飽和面積割合が１０％、高露出画像の飽和面積割合が１１％、前記閾値が２％の場合、撮影装置は、飽和していない領域のノイズの影響を減少させるために、合成画像として高露出画像を出力した方がよい。そこで、飽和度算出部８０２は、低露出ｌｖ画像の飽和面積割合に対し、低露出画像と高露出画像と撮影の際の露出の差に比例して大きくなる補正量を加算し、低露出ｌｖ画像飽和度を算出する。また、飽和度算出部８０２は、高露出画像飽和度を、高露出飽和面積割合とする。飽和度算出部８０２は、低露出ｌｖ画像飽和度、高露出画像飽和度を以下の式で算出する。
露出差による補正量 ＝ Ｋ１×露出差（Ｋ１は定数）
低露出ｌｖ画像飽和度 ＝ 低露出ｌｖ画像飽和面積割合＋露出差による補正量
高露出画像飽和度 ＝ 高露出飽和面積割合

飽和度算出部８０２は、低露出ｌｖ画像飽和度を低露出ｌｖ画像飽和面積割合よりも大きくなるように補正する。そのため、動領域合成比率算出部８０３は、低露出ｌｖ画像飽和度の補正前に比べて、高露出画像が出力されやすい合成比率を算出する。
以上のように、撮影装置は、飽和面積割合を低露出画像と高露出画像との撮影の際の露出差に基づいて補正し、飽和度を算出する。それにより、撮影装置は、飽和面積と、露出差による低露出ｌｖ画像と高露出画像との画質差と、基づいて、低露出ｌｖ画像と高露出画像と合成することができる。そして、撮影装置は、合成画像の画質を向上させることができる。

（ＩＳＯ感度に応じた飽和度算出方法）
次に、ＩＳＯ感度に応じた飽和度算出方法について説明する。
例えば、夜景シーンにおいてＨＤＲ撮影を行う場合に、昼間に比べて光が非常に少ないため、露出制御部１０５は、ＩＳＯ感度を通常よりも高く設定する。ＩＳＯ感度が高ければ高いほど、ノイズの影響は、大きくなる。そのため、露出が低い低露出ｌｖ画像は、高露出画像に比べ著しく画質が劣化する。そのため、撮影装置は、低露出ｌｖ画像の飽和面積割合が高露出画像の飽和面積割合よりも小さく、その差が設定された閾値以下である場合、対となる動領域として、ノイズの影響が低露出ｌｖ画像より少ない高露出画像を出力した方が、画質が向上する場合がある。

例えば、低露出ｌｖ画像の飽和面積割合が１０％、高露出画像の飽和面積割合が１１％、設定された閾値が２％の場合、撮影装置は、飽和していない領域のノイズの影響を減少させるため、合成画像として高露出画像を出力した方がよい。そのため、飽和度算出部８０２は、低露出ｌｖ画像の飽和面積割合に対し、ＩＳＯ感度に比例して大きくなる補正量を加算し、低露出ｌｖ画像飽和度を算出する。また、飽和度算出部８０２は、高露出画像飽和度は高露出飽和面積割合とする。飽和度算出部８０２は、低露出ｌｖ画像飽和度、高露出画像飽和度を次の式で算出する。
ＩＳＯ感度による補正量 ＝ Ｋ２×ＩＳＯ感度（Ｋ２は定数）
低露出ｌｖ画像飽和度 ＝ 低露出ｌｖ画像飽和面積割合＋ＩＳＯ感度による補正量
高露出画像飽和度 ＝ 高露出飽和面積割合

飽和度算出部８０２は、低露出ｌｖ画像飽和度を低露出ｌｖ画像飽和面積割合よりも大きくなるように補正する。そのため、動領域合成比率算出部８０３は、高露出画像を出力し易い合成比率を算出する。
以上のように、飽和度算出部８０２は、飽和面積割合をＩＳＯ感度によって補正し、飽和度を算出する。それにより、撮影装置は、飽和面積と、ＩＳＯ感度による低露出ｌｖ画像と高露出画像との画質差と、に基づいて、高露出画像と低露出ｌｖ画像とを合成することができ、合成画像の画質を向上させることができる。

（露光期間に応じた飽和度算出方法）
次に、露光期間に応じた飽和度算出方法について説明する。
露出制御部１０５が露光期間を変更し、異なる露出の画像を撮像する場合、撮影装置は、高露出画像の方を長秒露光とするため、高露出画像の方が低露出画像よりも移動体のブレが大きくなる。そのため、高露出画像の飽和面積割合が低露出ｌｖ画像の飽和面積割合よりも小さく、その差が設定された閾値以下である場合、撮影装置は、対となる動領域として、移動体ブレの小さい低露出ｌｖ画像を出力した方が、画質が向上する場合がある。

撮影装置は、例えば、高露出画像の飽和面積割合が１０％、低露出ｌｖ画像の飽和面積割合が１１％、設定された閾値が２％の場合、撮影装置は、移動体ブレを小さくするため、対となる動領域として低露出ｌｖ画像を出した方がよい。そのため、飽和度算出部８０２は、高露出画像の飽和面積割合に対し、高露出画像の撮影の際の露光期間に比例して大きくなる補正量を加算し、高露出画像飽和度を算出する。また、飽和度算出部８０２は、低露出ｌｖ画像飽和度は低露出ｌｖ画像飽和面積割合とする。飽和度算出部８０２は、低露出ｌｖ画像飽和度、高露出画像飽和度を次の式によって算出する。
露光期間による補正量 ＝ Ｋ３×露光期間（Ｋ３は定数）
低露出ｌｖ画像飽和度 ＝ 低露出ｌｖ画像飽和面積割合
高露出画像飽和度 ＝ 高露出飽和面積割合＋高露出の露光期間による補正量
飽和度算出部８０２は、高露出画像飽和度を高露出飽和面積割合よりも大きくなるように補正する。そのため、動領域合成比率算出部８０３は、対となる動領域に対して低露出ｌｖ画像を出力し易い合成比率を算出する。

なお、移動体ブレは、同じ露光期間だとしても移動体の移動量が大きいほど大きくなる。そこで、飽和度算出部８０２は、図８の位置情報に記載されている対となる動領域間の位置の差（距離）に比例して、露光期間による補正量を大きくしてもよい。飽和度算出部８０２は、例えば、対となる動領域の距離として、図８の低露出ｌｖ画像のｘ、ｙ座標と高露出画像のｘ、ｙ座標との距離を算出する。
露光期間による補正量 ＝ Ｋ３×露光期間（Ｋ３は定数）
移動量による補正量 ＝ Ｋ４×対となる動領域間の距離
低露出ｌｖ画像飽和度 ＝ 低露出ｌｖ画像飽和面積割合
高露出画像飽和度 ＝ 高露出飽和面積割合＋高露出の露光期間による補正量＋移動量による補正量

飽和度算出部８０２は、高露出画像飽和度を高露出飽和面積割合よりも大きくするように補正する。そのため、動領域合成比率算出部８０３は、対となる動領域として、低露出ｌｖ画像を出力し易い合成比率を算出する。
以上のように飽和度算出部８０２は、飽和面積割合を露光期間に基づいて補正し、飽和度を算出する。それにより、撮影装置は、飽和面積と、露光期間による低露出ｌｖ画像と高露出画像の移動体ブレの程度差と、に基づいて、高露出画像と低露出ｌｖ画像とを合成することが可能となり、合成画像の画質を向上させることができる。
なお、本実施形態では、飽和面積割合に画質差による補正量を加算する方法について説明をしたが、補正の方法は、前記方法に限ったものではない。例えば、飽和度算出部８０２は、飽和面積割合に画質差による補正ゲインを乗算する方法で飽和度を補正してもよい。
飽和度算出部８０２は、以上のような補正方法のうち、何れか１つ又は複数を用いて低露出ｌｖ画像と高露出画像との画質差に応じた飽和度の算出を行う。
以上、飽和度算出部８０２の詳細を説明した。

（動領域合成比率算出部８０３）
次に、動領域合成比率算出部８０３について詳しく説明する。
動領域合成比率算出部８０３は、飽和度算出部８０２により対となる動領域ごとに算出された低露出ｌｖ画像飽和度と高露出画像飽和度とに基づいて、対となる動領域ごとに動領域における低露出ｌｖ画像飽和度と高露出画像飽和度との合成比率を算出する。そして、動領域合成比率算出部８０３は、算出した合成比率を合成比率選択部８０６に出力する。より具体的には、動領域合成比率算出部８０３は、高露出画像飽和度が低露出ｌｖ画像飽和度以下であれば、高露出画像の合成比率を低露出ｌｖ画像の合成比率よりも高くする。逆に、動領域合成比率算出部８０３は、高露出画像飽和度が低露出ｌｖ画像飽和度よりも大きければ、低露出ｌｖ画像の合成比率を高露出画像の合成比率よりも高くする。

なお、合成画像は、対となる動領域について、複数の画像が合成されると、移動体が２重像となってしまう。そのため、動領域合成比率算出部８０３は、２重像を防ぐために、高露出画像飽和度が低露出ｌｖ画像飽和度以下であれば、対となる動領域について、高露出画像の合成比率を１００％にする。逆に、動領域合成比率算出部８０３は、高露出画像飽和度が低露出ｌｖ画像飽和度よりも大きければ、対となる動領域について、低露出ｌｖ画像の合成比率を１００％にする。例えば、撮影装置は、図７（ｄ）における対となる動領域である動領域Ａ及び動領域Ａ'について、高露出画像又は低露出ｌｖ画像のどちらかを出力することにより、２重像を防ぐことができる。
以上、動領域合成比率算出部８０３の詳細について説明した。

次に、画像合成部１０７が行う画像合成の処理について、図１１を参照して説明する。
Ｓ１００１において、画素レベル合わせ部２０１は、低露出画像の画素値を露出差に応じて増幅し、高露出画像と画素レベルを合わせた低露出ｌｖ画像を出力する。
Ｓ１００２において、動領域検出部２０２は、Ｓ１００１で出力された低露出ｌｖ画像と高露出画像との画素差分絶対値に基づき、動領域を検出し、動領域情報を出力する。
Ｓ１００３において、動領域対応付け部２０３は、動領域検出部２０２により検出された動領域のうち、同一被写体であると判断する複数の動領域を対応付け、対となる動領域情報として出力する。

Ｓ１００４において、飽和度算出部８０２は、低露出ｌｖ画像と高露出画像とのそれぞれについて、対となる動領域の飽和度を算出し、算出した飽和度に基づいて、動領域合成比率算出部８０３に出力する。
Ｓ１００５において、合成比率選択部８０６は、合成画像の全画素について、対となる動領域情報に応じて飽和度に基づいて算出した動領域合成比率、又は、明るさから算出した静止領域合成比率のどちらか一方を選択する。そして、合成比率選択部８０６は、合成画像の全画素について、低露出ｌｖ画像と高露出画像との合成比率を算出する。
Ｓ１００６において、加重加算部２０５は、合成比率選択部８０６が選択した合成比率に応じて、低露出ｌｖ画像と高露出画像とを合成する。
以上、画像合成部１０７が画像合成を行う処理について説明した。

以上、本実施形態の処理により、撮影装置は、異なる時点に異なる露出で撮像した複数枚画像を合成する際に、移動体の動きが検出された領域の飽和度に基づいて、合成する画像の合成比率を決定することができる。それにより、撮影装置は、合成画像におけるノイズの影響、白飛びの影響等を軽減することができ、画質を向上することができる。

＜実施形態２＞
実施形態１では、動領域合成比率算出部８０３は、移動体の対となる動領域ごとに低露出ｌｖ画像と高露出画像との合成比率を算出した。そのため、図７の例のように複数の移動体が存在している場合、合成画像における複数の移動体の位置関係は、低露出ｌｖ画像、高露出画像における前記複数の移動体の位置関係と異なることがある。図７（ｄ）の例において、動領域合成比率算出部８０３は、対となる動領域である動領域Ａ及び動領域Ａ'について、高露出画像の合成比率を１００％にし、対となる動領域である動領域Ｂ及び動領域Ｂ'について、低露出ｌｖ画像の合成比率を１００％にしたとする。その場合の合成画像は、図１０（ｃ）のように、サッカーボールと野球ボールとが離れてしまい、図１０（ａ）低露出ｌｖ画像、図１０（ｂ）高露出画像におけるサッカーボールと野球ボールとの位置関係とずれてしまう。複数の移動体の位置関係がずれることがユーザにとって望ましくない場合もある。
そこで、本実施形態では、動領域合成比率算出部８０３は、複数の移動体の位置関係のずれが生じないように低露出ｌｖ画像と高露出画像との合成比率を算出する。
本実施形態の撮影装置のハードウェア構成、機能構成等の詳細については、実施形態１と同様である。

本実施形態において、動領域合成比率算出部８０３は、複数の移動体の位置関係のずれを防ぐため、サッカーボールと野球ボールとの対となる動領域について同じ低露出ｌｖ画像と高露出画像との合成比率を出力する。つまり、動領域合成比率算出部８０３は、設定された移動する被写体についての対となる動領域における合成比率と同じ合成比率を他の被写体の対となる動領域についても決定する。前記設定された移動する鵜被写体の情報は、予め記憶装置に設定ファイル等として保存されているものとする。また、撮影装置は、ユーザによる撮影装置のユーザインターフェース等を介した操作に基づいて、前記設定ファイルの内容を変更することができる。
例えば、図１０の例では、動領域合成比率算出部８０３は、サッカーボールと野球ボールとの対となる動領域の合成比率を同じにする。それにより、撮影装置は、図１０（ａ）の低露出ｌｖ画像又は図１０（ｂ）の高露出画像と同じ位置関係を持つ合成画像を得ることができる。例えば、動領域合成比率算出部８０３は、設定された移動する被写体を検出し、前記被写体の対となる動領域の合成比率と同じ合成比率を、他の移動する被写体の対となる動領域に設定する。

本実施形態の処理により、撮影装置は、設定された移動する被写体と他の移動する被写体との位置関係が、低露出ｌｖ画像又は高露出画像における移動する被写体の位置関係と同じである合成画像を得ることができる。

＜実施形態３＞
実施形態１、２では、処理の主体は、撮影装置であるとした。しかし、異なる時点に異なる露出で撮影された複数の画像を入力として受け付ける画像処理装置等の情報処理装置も、実施形態１、２の処理を実行することができる。
その場合、前記情報処理装置のハードウェア構成は、撮像素子１１３を含まない点が異なるだけで、あとは図１と同様である。前記情報処理装置の機能構成は、レンズ１０１、撮像部１０２、Ａ／Ｄ変換部１０３、カメラ信号処理部１０４、露出制御部１０５を含まない点が異なるだけで、あとは図２と同様である。

実施形態１では、画像合成部１０７は、相対的に低い露出で撮影した画像と相対的に高い露出で撮影した画像の二枚を合成して一枚の合成画像を出力することとした。しかし、画像合成部１０７が合成する画像数は、二枚に限定されない。画像合成部１０７は、例えば、三つの異なる露出で撮像した三枚の画像を合成し、一枚の合成画像を出力してもよい。

実施形態１では、位置情報選択部５０４は、動きベクトル信頼度、被写体認識信頼度、類似形状動領域信頼度の信頼度を比較し、動きベクトル信頼度、被写体認識信頼度、類似形状動領域信頼度のうち最も高い信頼度を取得する。そして、位置情報選択部５０４は、取得した信頼度に対応する位置情報を選択することとした。
しかし、位置情報選択部５０４は、信頼度の比較を行うことなく、動きベクトル検出部５０１、被写体認識部５０２、類似形状動領域判定部５０３、の何れか１つが出力した位置情報をそのまま選択してもよい。

実施形態１では、飽和度算出部８０２は、低露出と高露出の露出差に応じた飽和度算出方法、ＩＳＯ感度に応じた飽和度算出方法、露光期間に応じた飽和度算出方法等の飽和度の補正方法のうち何れか１つ又は複数を用いて飽和度の算出を行うこととした。しかし、飽和度算出部８０２は、補正を施していない飽和面積割合をそのまま飽和度として出力してもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０６ メモリ、１０７ 画像合成部、１１１ ＣＰＵ

Claims (22)

1. 異なる時点に異なる露出で撮影された複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける対応付手段と、
   前記対応付手段により対応付けられた前記同一の被写体の領域における前記複数の画像の飽和度を取得する取得手段と、
   前記取得手段により取得された前記飽和度に基づいて、前記同一の被写体の領域における前記複数の画像の合成比率を決定する決定手段と、
   を有する画像処理装置。
2. 前記決定手段により決定された前記複数の画像の合成比率に基づいて、複数の画像を合成する合成手段を更に有する請求項１記載の画像処理装置。
3. 前記決定手段は、前記同一の被写体の領域について、前記複数の画像のうち一つの画像が出力されるように合成比率を決定する請求項１又は２記載の画像処理装置。
4. 前記対応付手段は、前記複数の画像の全ての画像から前記移動する被写体の領域を特定し、前記移動する被写体の領域のうち前記同一の被写体の領域を対応付ける請求項１乃至３何れか１項記載の画像処理装置。
5. 前記取得手段は、前記対応付手段により対応付けられた前記同一の被写体の領域の中で色が飽和している領域の面積に基づいて、前記同一の被写体の領域における前記複数の画像の飽和度を取得する請求項１乃至４何れか１項記載の画像処理装置。
6. 前記取得手段は、前記対応付手段により対応付けられた前記同一の被写体の領域の中で色が飽和している領域の面積が前記同一の被写体の領域に占める割合に基づいて、前記同一の被写体の領域における前記複数の画像の飽和度を取得する請求項１乃至４何れか１項記載の画像処理装置。
7. 前記取得手段は、前記対応付手段により対応付けられた前記同一の被写体の領域における画素の画素値が閾値以上である場合、色が飽和しているとする請求項５又は６記載の画像処理装置。
8. 前記決定手段は、前記複数の画像のうち、前記同一の被写体の領域における飽和度が最も小さい画像の合成比率を最も高く決定する請求項１乃至７何れか１項記載の画像処理装置。
9. 前記取得手段は、前記複数の画像の画質差に基づいた補正を加えた飽和度を取得する請求項１乃至８何れか１項記載の画像処理装置。
10. 前記取得手段は、前記複数の画像の撮影の際の露出差に基づいた補正を加えた飽和度を取得する請求項１乃至８何れか１項記載の画像処理装置。
11. 前記取得手段は、前記複数の画像のＩＳＯ感度に基づいた補正を加えた飽和度を取得する請求項１乃至８何れか１項記載の画像処理装置。
12. 前記取得手段は、前記複数の画像が撮影された際の露光期間に基づいた補正を加えた飽和度を取得する請求項１乃至８何れか１項記載の画像処理装置。
13. 前記取得手段は、前記対応付手段により対応付けられた前記同一の被写体の移動量と前記露光期間とに基づいた補正を加えた飽和度を取得する請求項１２記載の画像処理装置。
14. 前記決定手段は、前記対応付手段により対応付けられた前記同一の被写体の領域のそれぞれの領域における前記複数の画像の合成比率を同一の値に決定する請求項１乃至１３何れか１項記載の画像処理装置。
15. 前記対応付手段は、前記複数の画像の明るさを合わせ、明るさを合わせた前記複数の画像の画素の差分の絶対値に基づいて前記複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける請求項１乃至１４何れか１項記載の画像処理装置。
16. 前記複数の画像から前記同一の被写体の動きベクトルを取得するベクトル取得手段を更に有し、
    前記対応付手段は、前記ベクトル取得手段により取得された前記動きベクトルの始点と終点とに位置する領域を対応付ける請求項１乃至１４何れか１項記載の画像処理装置。
17. 前記複数の画像から前記同一の被写体の領域を検出する検出手段を更に有し、
    前記対応付手段は、前記検出手段により検出された前記同一の被写体の領域を対応付ける請求項１乃至１４何れか１項記載の画像処理装置。
18. 前記複数の画像から移動する被写体の領域を抽出する抽出手段を更に有し、
    前記対応付手段は、前記抽出手段により抽出された前記移動する被写体の領域の形状の類似度に基づいて、前記移動する被写体の領域のうち前記同一の被写体の領域を対応付ける請求項１乃至１４何れか１項記載の画像処理装置。
19. 前記複数の画像から前記同一の被写体の動きベクトルを取得するベクトル取得手段と、
    前記複数の画像から前記同一の被写体の領域を検出する検出手段と、
    前記複数の画像から移動する被写体の領域を抽出する抽出手段と、
    を更に有し、
    前記対応付手段は、前記ベクトル取得手段により取得された前記動きベクトルの始点及び終点と、前記検出手段により検出された前記同一の被写体の領域の位置と、前記抽出手段により抽出された前記移動する被写体の領域の形状の類似度に基づいて決定した前記被写体の領域の位置と、のうち信頼度が最も高い位置に存在する領域を前記同一の被写体の領域として対応付ける請求項１乃至１４何れか１項記載の画像処理装置。
20. 前記決定手段は、前記取得手段により取得された前記飽和度に基づいて、前記同一の被写体のうち設定された被写体の領域における前記複数の画像の合成比率を決定し、他の被写体の領域における前記複数の画像の合成比率を前記設定された被写体の領域における前記複数の画像の合成比率と同じ値に決定する請求項１乃至１９何れか１項記載の画像処理装置。
21. 画像処理装置が実行する情報処理方法であって、
    異なる時点に異なる露出で撮影された複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける対応付ステップと、
    前記対応付ステップで対応付けられた前記同一の被写体の領域における前記複数の画像の飽和度を取得する取得ステップと、
    前記取得ステップで取得された前記飽和度に基づいて、前記同一の被写体の領域における前記複数の画像の合成比率を決定する決定ステップと、
    を含む情報処理方法。
22. コンピュータに、
    異なる時点に異なる露出で撮影された複数の画像から移動する被写体の領域を特定し、前記移動する被写体の領域のうち同一の被写体の領域を対応付ける対応付ステップと、
    前記対応付ステップで対応付けられた前記同一の被写体の領域における前記複数の画像の飽和度を取得する取得ステップと、
    前記取得ステップで取得された前記飽和度に基づいて、前記同一の被写体の領域における前記複数の画像の合成比率を決定する決定ステップと、
    を実行させるためのプログラム。

Images