JP2018098583A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供すること。【解決手段】 画像に発生している被写体の影領域を検出する検出手段と、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第１の補正処理を行う第１の補正手段と、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第２の補正処理を行う第２の補正手段と、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正処理と、前記第２の補正処理のいずれかを選択する選択手段とを有する。【選択図】 図２

Description

本発明は、画像処理装置及び方法、及び撮像装置に関する。

従来、暗いシーンや逆光時などの場合において、露出時の補助光として被写体にフラッシュ光を投射して撮影を行う技術が知られている。しかし、主要被写体の背景が壁などの場合などにフラッシュを用いて撮影を行うと、主要被写体の後ろに影が生じてしまうことがあった。そこで、主要被写体の後ろに影が生じた場合に、画像処理によって影を軽減する方法が開示されている。

特許文献１では、影を検出する影検出手段と、影検出手段によって検出された影を除去する影除去手段が開示されている。

特開２００３−１６９２４６号公報

しかし、上述の特許文献１に開示された従来技術では、影検出手段によって検出された影領域を、影除去手段によって影領域の周辺の影領域と同じ被写体で置き換えることで影の除去を行う。そのため、影領域の被写体が複雑なパターンを有する場合、影領域の周辺のどの位置の画像データを用いて影領域の画像データを置き換えればよいかを判定せねばならず、装置の構成が複雑になるという問題点がある。

また、影領域を影領域の周辺の領域と同様の明るさになるようにゲインアップ処理を行うことで影を除去した場合、影領域の被写体が複雑なパターンを有する場合でも、比較的簡易な方法で影を除去することが可能である。しかしながら、ゲインアップ処理により画像データのノイズ成分も増幅されてしまうため、影除去処理を行った領域のみノイズが目立ってしまうという問題がある。

本発明は上記問題点を鑑みてなされたものであり、比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像に発生している被写体の影領域を検出する検出手段と、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第１の補正処理を行う第１の補正手段と、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第２の補正処理を行う第２の補正手段と、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正処理と、前記第２の補正処理のいずれかを選択する選択手段とを有する。

本発明によれば、比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供することができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における影消し処理部の構成を示すブロック図。 第１の実施形態における影消し処理の手順を示すフローチャート。 第１の実施形態における影領域の検出処理を説明するための図。 第２の実施形態における補正方法判定部の構成を示すブロック図。 第２の実施形態におけるフィルタ処理部のフィルタ係数の一例を示す図。 第３の実施形態における影消し処理部の構成を示すブロック図。 第３の実施形態における影消し処理の手順を示すフローチャート。 第３の実施形態における輝度係数取得部の入出力特性の一例を示す図。 第３の実施形態におけるエッジ係数取得部の入出力特性の一例を示す図。 第４の実施形態における影消し処理部の構成を示すブロック図。 第４の実施形態における影消し処理の手順を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。図１は、本発明の実施形態に係る撮像装置２００の概略構成の一例を示すブロック図である。

図１に示す撮像装置２００は、撮像部２０１、Ａ／Ｄ変換部２０２、信号処理部２０３、スイッチ部２０４、画像メモリ部２０５、影消し処理部１００、記録部２０６、システム制御部２０７、フラッシュ部２０８を有する。

次に、上記構成を有する撮像装置による本実施形態における撮像動作について説明する。まず、システム制御部２０７により、フラッシュ部２０８を発光した状態で、撮像部２０１により撮像を行う。撮像部２０１から出力される画像信号は、Ａ／Ｄ変換部２０２でデジタルデータに変換され、信号処理部２０３に入力される。信号処理部２０３では、入力されたデジタル画像データに対して、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス補正等の処理を行った後、輝度（Ｙ）成分と色差（Ｕ、Ｖ）成分を有するＹＵＶフォーマットの画像データに変換して出力する。

以後、フラッシュ部２０８を発光した状態で撮像した際に信号処理部２０３から出力されるＹＵＶフォーマットの画像データを「本画像データ」と呼ぶ。信号処理部２０３から出力された本画像データは、スイッチ部２０４を介して、画像メモリ部２０５に格納される。

次に、システム制御部２０７により、フラッシュ部２０８を発光しない状態で、撮像部２０１により撮像を行う。撮像部２０１から出力される画像信号は、Ａ／Ｄ変換部２０２でデジタルデータに変換され、信号処理部２０３に入力される。信号処理部２０３では、同様に色分離、アパーチャ補正、ガンマ補正、ホワイトバランス補正等の処理を行った後、輝度（Ｙ）成分と色差（Ｕ、Ｖ）成分を有するＹＵＶフォーマットの画像データに変換され出力される。

以後フラッシュ部２０８を発光しない状態で撮像した際に信号処理部２０３から出力されるＹＵＶフォーマットの画像データを「影検出用画像データ」と呼ぶ。信号処理部２０３から出力された影検出用画像データは、スイッチ部２０４を介して、影消し処理部１００に入力される。

影消し処理部１００では、画像メモリ部２０５に格納されている本画像データに対して、スイッチ部２０４を介して信号処理部２０３から入力された影検出用画像データに基づいて、影領域検出処理及び影消し処理を行う。そして、影消し処理後のＹＵＶフォーマットの画像データを記録部２０６に出力する。なお、影消し処理部１００で行われる処理の詳細は後述する。

記録部２０６では、入力されたＹＵＶフォーマットの画像データを、ＪＰＥＧ等のフォーマットに変換する圧縮処理を行った後、ＳＤカードなどの記録媒体に記録する。

次に、第１の実施形態で影消し処理部１００で行われる処理の流れを、図２及び図３を参照して説明する。図２は、第１の実施形態における影消し処理部１００の構成を示すブロック図、図３は、第１の実施形態における影消し処理の手順を示すフローチャートである。

まず、Ｓ３００において、画像メモリ部２０５に格納されている本画像データが、影消し処理部１００の影領域検出部１０１、第一の補正処理部１０２、第二の補正処理部１０３、補正方法判定部１０４にそれぞれ入力される。また、スイッチ部２０４を介して、信号処理部２０３から影検出用画像データが、影領域検出部１０１に入力される。

Ｓ３０１では、影領域検出部１０１において、影領域の有無を判定する。具体的には、入力された本画像データと影検出用画像データとを比較し、背景領域に差分がない場合に影領域が存在しないと判定する。これは、主被写体以外の背景領域がフラッシュ光の届かない遠方に存在する場合には、背景にフラッシュ光が届かないため、フラッシュ光による影が発生しないためである。Ｓ３０１で、影領域があると判定された場合にはＳ３０２へ進み、影領域が無いと判定された場合には影消し処理を終了し、図２では不図示の経路を介して、影消し処理部１００から本画像データを出力する。

Ｓ３０２では、影領域検出部１０１において、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。具体的には、影検出用画像データに対して、影検出用画像データの主要被写体と本画像データの主要被写体の輝度（Ｙ）成分が同等のレベルになるように影領域用画像データをゲインアップしたのち、本画像データとの差分をとることで検出する。この時、ゲインアップ後の影領域用画像データと本画像データとの差分が所定の閾値より大きい場合に影領域と判定される。

ここで、図４を参照して、影領域の検出処理について更に説明する。図４（ａ）は、影領域検出部１０１に入力される本画像データの一例であり、主要被写体４００である人物の左側のグレーの領域４０１がフラッシュによって発生した影領域を示す。また、同様に図４（ｂ）は、影領域検出部１０１に入力される影検出用画像データの一例であり、フラッシュを発光させず撮像している分、主要被写体及びその背景が暗くなっている。図４（ｃ）に示す画像データは、この図４（ｂ）に示す影検出用画像データに対して、主要被写体である人物が図４（ａ）に示す本画像データと同様の輝度レベルになるようにゲインアップした画像データである。この図４（ｃ）に示す画像データと図４（ａ）に示す画像データの差分をとると、図４（ｄ）に示す様な画像データとなり、所定の閾値と比較することで主要被写体である人物の左側の影領域４０１を検出することができる。

影領域検出部１０１において検出された影領域の影領域データは、第一の補正処理部１０２、第二の補正処理部１０３、補正方法判定部１０４にそれぞれ入力される。

Ｓ３０３では、第一の補正処理部１０２において、影領域検出部１０１で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理（第１の補正処理）を行う。ここでは、特許文献１に記載されている公知の手法と同様に、本画像データの影領域の画像データを、影領域の周辺領域における影領域と同様の被写体の画像データで置き換える。

このように、第一の補正処理部１０２では本画像データの影領域を、影領域の周辺領域の画像データ、つまりフラッシュ光が投射されている画像データで置き換えることで、ノイズ成分を増加することなく影を抑制する、影消し補正処理を行う。ただし、影領域にテクスチャが存在する場合には、影領域の周辺領域の画像データで置き換えてしまうことでテクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害が発生する可能性がある。

Ｓ３０４では、第二の補正処理部１０３において、影領域検出部１０１で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理（第２の補正処理）を行う。ここでは、本画像データの影領域の画像データを、影領域の周辺領域の画像データと同等の輝度レベルとなるようにゲインアップすることで、影消し補正処理を行う。例えば、影領域の画像データの輝度（Ｙ）成分の輝度レベルをＹｄ、周辺領域の画像データの輝度（Ｙ）成分の輝度レベルをＹｈとしたとき、ゲインアップ処理に用いるゲイン量Ｇａｉｎは次式（１）によって算出される。
Ｇａｉｎ ＝ Ｙｈ／Ｙｄ …（１）
つまり、このゲイン量Ｇａｉｎを影領域の画像データの輝度（Ｙ）成分の輝度レベルＹｄに乗算した場合、周辺領域の画像データの輝度（Ｙ）成分の輝度レベルＹｈと同じになるため、影が消えたような画像データを得ることができる。

また、このとき影領域と影領域の周辺領域とでフラッシュが当たっているか否かによる光源の違いが発生しており、ホワイトバランス係数が異なることによる色差（Ｕ、Ｖ）成分の差分も発生している。ため、輝度（Ｙ）成分のみならず色差（Ｕ、Ｖ）成分に対しても、光源が異なることによる色差成分の差分を軽減するためのゲインを乗算する必要がある。

このように、第二の補正処理部１０３では影領域の画像データを影領域の周辺領域の画像データと同等の輝度レベルとなるようにゲインアップする。これにより、影領域にテクスチャが存在する場合でも、テクスチャの情報を消失することなく、影消し補正処理を行う。ただし、例えば影領域の画像データが周辺領域の画像データに対して著しく暗く、ゲインアップ量が大きくなる場合には、ゲインアップ量に応じて画像データに含まれるノイズ成分も増幅する。そのため、影消し補正処理を行った影領域のみノイズ成分が目立つ弊害が発生する可能性がある。

Ｓ３０５では、補正方法判定部１０４において、影領域検出部１０１で検出された影領域データと画像メモリ部２０５から入力される本画像データとに基づいて、第１の補正処理を行った画像データと第２の補正処理を行った画像データのいずれを最終的な影消し処理後の画像データとして選択するかを判定する。ここでは、影領域検出部１０１で検出された影領域データに基づいて、本画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較する。そして、輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第１の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。一方、輝度レベルの差分の絶対値が所定の閾値以下の場合には、第２の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。補正方法判定部１０４の判定結果は補正方法選択部１０５に入力される。

Ｓ３０６では、補正方法選択部１０５において、補正方法判定部１０４から入力される判定結果に基づいて、第１の補正処理を行った画像データと、第２の補正処理を行った画像データの何れか一方を選択する。そして、選択した画像データを記録部２０６に出力し、影消し処理を終了する。

このように、本第１の実施形態では、補正方法判定部１０４において、本画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較する。輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第２の補正処理を行うと、影領域の画像データに対するゲインアップ量が大きくなるため、第１の補正処理を行った画像データを選択する。このようにすることで、影消し補正処理を行った領域のみノイズ成分が目立ってしまうといった弊害を軽減することが可能となる。また、輝度レベルの差分の絶対値が所定の閾値以下の場合、つまり第２の補正処理による影領域の画像データに対するゲインアップ量がそれほど大きくない場合には、第２の補正処理を行った画像データを選択する。これにより、影領域にテクスチャが存在する場合に、影領域の周辺の画像データで置き換えてしまうことでテクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害を軽減することができる。

なお、図３に示す処理では、Ｓ３０３で第１の補正処理を行い、Ｓ３０４で第２の補正処理を行い、Ｓ３０５で補正方法を判定するものとして説明したが、処理の順番が異なっていても、並行して行っても良い。

また、上述した第１の実施形態では、本画像データに対し、第１の補正処理と第２の補正処理を両方行ってから、一方の処理結果を選択する場合について説明したが、本発明はこれに限るものではない。補正方法判定部１０４により補正方法が選択されてから、第１の補正処理と第２の補正処理のいずれか一方を行うようにしても良い。

また、上述した第１の実施形態では、補正方法判定部１０４において、影領域の画像データと、影領域の周辺領域の画像データの輝度レベルの差分絶対値を所定の閾値と比較したが、本発明はこれに限るものではない。例えば、輝度レベルの比を閾値と比較することで、より厳密にゲインアップ量に応じた制御をしても良い。また、例えば補正方法判定部１０４においてより簡易的に影領域の輝度レベルを直接閾値と比較することで処理の簡易化を図ってもよい。ただし、その場合には、影領域の輝度レベルが閾値よりも大きい場合、小さいゲインアップ量で済むことが予測されるため、第２の補正処理を行った画像データを選択する。一方、閾値以下の場合には、ゲインアップ量が大きくなることが予測されるため、第１の補正処理を行った画像データを選択する。また、補正方法判定部１０４の判定に用いる閾値を撮像部２０１の感度等のノイズ特性に応じて変えることで、最終的な影消し処理後の画像データのノイズレベルを鑑みた処理を行ってもよい。

更に、第１の実施形態ではフラッシュを発光した状態で撮像した画像データを本画像データとしたが、本発明はこれに限られるものではない。例えば、フラッシュを発光していない状態で撮像した画像データを本画像データとし、各種光源下で撮影した画像データに発生している影情報に対して本画像データの輝度情報のみから影領域を検出することで、同様に影消し処理を行ってもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。第２の実施形態は、第１の実施形態における影消し処理部１００の補正方法判定部１０４における判定処理を変更したものである。なお、それ以外の装置の構成及び処理は、第１の実施形態で説明したものと同様であるため、説明を省略する。

図５は、第２の実施形態に係る補正方法判定部１０４の構成を示すブロック図である。図５において、フィルタ処理部５００は、図６に示す係数を有するラプラシアンフィルタ等のエッジ検出用のフィルタ処理回路からなる。フィルタ処理部５００は、影領域検出部１０１から入力される影領域データに基づいて、画像メモリ部２０５から入力された本画像データの影領域の画像データの輝度（Ｙ）成分に対してフィルタ処理を行い、エッジ情報を出力する。

フィルタ処理部５００から出力されるエッジ情報に対して、ＡＢＳ処理部５０１により絶対値算出処理が実行され、エッジの振幅情報に変換される。ＡＢＳ処理部５０１によって変換されたエッジの振幅情報は、閾値判定部５０２に入力される。閾値判定部５０２ではＡＢＳ処理部５０１から入力されるエッジの振幅情報を所定の閾値と比較する。

そして、エッジの振幅情報が閾値より大きい場合には、影領域に存在するテクスチャが多いため、第２の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。これにより、影領域に存在するテクスチャが多い場合、つまり影領域の被写体にエッジが存在する場合でもテクスチャの情報を消失することなく、影消し補正処理を行うことができる。

一方、エッジの振幅情報が所定の閾値以下の場合には、影領域に存在するテクスチャが少ないか無いため、第１の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。これにより、ノイズ成分を増加させることなく、影消し補正処理を行うことができる。

閾値判定部５０２の判定結果は補正方法選択部１０５に入力され、補正方法選択部１０５は、判定結果に基づいて、第１の補正処理を行った画像データまたは第２の補正処理を行った画像データを最終的な影消し補正処理後の画像データとして選択して出力する。

上述した第１の実施形態では、被写体に存在するテクスチャが多い場合であっても、画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第１の補正処理を行った画像データを最終的な補正処理後の画像データとして選択していた。この処理では、テクスチャが消失するなどの弊害が発生する可能性があった。これに対し、第２の実施形態では、第２の補正処理を行った画像データが最終的な補正処理後の画像データとして選択されるため、テクスチャが消失する弊害を軽減することができる。

また、閾値判定部５０２で判定に用いる閾値を、例えば撮像部の感度等のノイズ特性に応じて変えることにより、ノイズをテクスチャと判断することによる誤判定を軽減することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。第３の実施形態は、第１の実施形態における影消し処理部１００を変更したものである。以下、第３の実施形態における影消し処理部１００’で行われる処理の流れを、図７及び図８を参照して説明する。図７は、影消し処理部１００’の構成を示すブロック図、図８は、影消し処理の手順を示すフローチャートである。

まず、Ｓ８００において、画像メモリ部２０５に格納されている本画像データが、影消し処理部１００’の影領域検出部７０１、第一の補正処理部７０２、第二の補正処理部７０３、輝度係数取得部７０４、エッジ係数取得部７０５にそれぞれ入力される。また、スイッチ部２０４を介して信号処理部２０３から影検出用画像データが、影領域検出部７０１に入力される。

Ｓ８０１では、影領域検出部７０１において、第１の実施形態と同様にして影領域の有無を判定する。Ｓ８０１で、影領域があると判定された場合にはＳ８０２へ進み、影領域が無いと判定された場合には影消し処理を終了し、図７では不図示の経路を介して、影消し処理部１００’から本画像データを出力する。

Ｓ８０２では、影領域検出部７０１において、第１の実施形態と同様に、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。影領域検出部７０１において検出された影領域データは、第一の補正処理部７０２、第二の補正処理部７０３、輝度係数取得部７０４、エッジ係数取得部７０５にそれぞれ入力される。

Ｓ８０３では、第一の補正処理部７０２において、第１の実施形態の第一の補正処理部１０２と同様の処理により、影領域検出部７０１で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理（第１の補正処理）を行う。第１の補正処理が行われた画像データは、合成部７０７に入力される。

Ｓ８０４では、第二の補正処理部７０３において、第１の実施形態の第二の補正処理部１０３と同様の処理により、影領域検出部７０１で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理（第２の補正処理）を行う。第２の補正処理が行われた画像データは、合成部７０７に入力される。

Ｓ８０５では、輝度係数取得部７０４において、影領域検出部７０１で検出された影領域データと画像メモリ部２０５から入力される本画像データとに基づいて、輝度係数αを取得する。具体的には、影領域検出部７０１で検出された影領域データに基づいて、本画像データの影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較し、輝度レベルの差分の絶対値Ｙｓに基づいて輝度係数αを取得する。

図９は、輝度係数取得部７０４において、本画像データの影領域の画像データと、影領域の周辺領域の画像データの輝度レベルの差分の絶対値Ｙｓから輝度係数αを取得する際の変換テーブルの一例を示す図である。

図９において、横軸を入力される輝度レベルの差分の絶対値Ｙｓとし、縦軸を輝度係数αとする。輝度係数αは、輝度レベルの差分の絶対値Ｙｓに応じた、第１の補正処理を行った画像データと、第２の補正処理を行った画像データとの合成率を示す。第２の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は０．０、第１の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は１．０となる。また、第１の補正処理を行った画像データと、第２の補正処理を行った画像データを合成する場合には、その合成率に応じて０．０〜１．０の間の値を取る。

この時、図９に示す閾値Ｔｈ１は、輝度レベルの差分の絶対値Ｙｓが小さく、第２の補正処理を行った場合でも、ゲインアップによるノイズの劣化が無視できるような場合に、輝度係数αが０．０となるように設定する。また、閾値Ｔｈ２は、輝度レベルの差分の絶対値Ｙｓが大きく、第２の補正処理を行った場合にゲインアップによるノイズ増幅が許容できなくなった場合に、輝度係数αが１．０となるように設定する。また、傾き９０１は、輝度レベルの差分の絶対値Ｙｓが閾値Ｔｈ１と閾値Ｔｈ２との間である場合に設定される輝度係数αの値を示す。

Ｓ８０６では、エッジ係数取得部７０５において、影領域検出部７０１で検出された影領域データと、画像メモリ部２０５から入力される本画像データに基づいて、エッジ係数βを取得する。具体的には、影領域検出部７０１で検出された影領域データに基づいて、本画像データの影領域の画像データから、第２の実施形態と同様にしてエッジの振幅情報Ｅｓを取得し、エッジの振幅情報Ｅｓに基づいてエッジ係数βを取得する。

図１０は、エッジ係数取得部７０５において、エッジの振幅情報Ｅｓからエッジ係数βを取得する際の変換テーブルの一例を示す図である。

図１０において、横軸を入力されるエッジの振幅情報Ｅｓとし、縦軸をエッジ係数βとする。エッジ係数βは、エッジの振幅情報Ｅｓ応じた、第１の補正処理を行った画像データと、第２の補正処理を行った画像データとの合成率を示す。第２の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は０．０、第２の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は１．０となる。また、第１の補正処理を行った画像データと、第２の補正処理を行った画像データを合成する場合には、その合成率に応じて０．０〜１．０の間の値を取る。

この時、図１０に示す閾値Ｔｈ３は、エッジの振幅情報Ｅｓが小さく、第２の補正処理を行った場合でも、テクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害が無視できるような場合に、エッジ係数βが１．０となるように設定する。また、閾値Ｔｈ４は、エッジの振幅情報Ｅｓが大きく、第１の補正処理を行った場合にテクスチャの情報が消失したり、テクスチャが不連続となった場合に、エッジ係数βが１．０となるように設定する。また、傾き１００１は、エッジの振幅情報Ｅｓが閾値Ｔｈ３と閾値Ｔｈ４との間である場合に設定されるエッジ係数βの値を示す。

Ｓ８０７では、合成率算出部７０６において、輝度係数取得部７０４で取得した輝度係数αと、エッジ係数取得部７０５で取得したエッジ係数βから、第１の補正処理を行った画像データと、第２の補正処理を行った画像データの最終的な合成率γを算出する。合成率γは次式（２）によって算出される。
γ＝α×β …（２）
合成率算出部７０６において算出された合成率γは、合成部７０７に入力される。

Ｓ８０８では、合成部７０７において合成率算出部７０６から入力された合成率γに基づいて、第１の補正処理を行った画像データと、第２の補正処理を行った画像データとを合成する。このとき、第１の補正処理が行われた画像データをＩＭＧ１、第２の補正処理が行われた画像データをＩＭＧ２とすると、最終的な影消し処理後の補正画像データＩＭＧは、
ＩＭＧ=（（１．０−γ）×ＩＭＧ１）+（γ×ＩＭＧ２） …（３）
により表される。そして、最終的な影消し処理後の画像である補正画像データＩＭＧが、記録部２０６に出力され、影消し処理を終了する。

上記の通り第３の実施形態によれば、本画像データの影領域の画像データと影領域の周辺領域の画像データの輝度レベルの差分の絶対値情報と、本画像データの影領域のエッジの振幅情報とを両方参照する。そして、第１の補正処理を行った画像データと、第２の補正処理を行った画像データを合成することで、より被写体の特性に応じた影消し処理を提供することができる。

なお、図８に示すＳ８０３からＳ８０６で行う処理は、処理の順番が異なっていても、並行して行っても良い。

また、輝度係数取得部７０４における閾値Ｔｈ１，Ｔｈ２及び傾き９０１、またエッジ係数取得部７０５における閾値Ｔｈ３，Ｔｈ４及び傾き１００１を、撮像部２０１の感度等のノイズ特性に応じて変えるなどしてもよい。

＜第４の実施形態＞
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。第４の実施形態は、第１の実施形態における影消し処理部１００を変更したものである。以下、第４の実施形態における影消し処理部１００”で行われる処理の流れを、図１１及び図１２を参照して説明する。図１１は、影消し処理部１００”の構成を示すブロック図、図１２は、影消し処理の手順を示すフローチャートである。

まず、Ｓ１２００において、画像メモリ部２０５に格納されている本画像データが、影消し処理部１００”の影領域検出部１１０１、ＬＰＦ１１００、減算器１１０４にそれぞれ入力される。また、スイッチ部２０４を介して信号処理部２０３から影検出用画像データが、影領域検出部１１０１に入力される。

Ｓ１２０１では、影領域検出部１１０１において、第１の実施形態と同様にして影領域の有無を判定する。Ｓ１１０１で、影領域があると判定された場合にはＳ１１０２へ進み、影領域が無いと判定された場合には影消し処理を終了し、図１１では不図示の経路を介して、影消し処理部１００”から本画像データを出力する。

Ｓ１２０２では、影領域検出部１１０１において、第１の実施形態と同様に、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。影領域検出部１１０１において検出された影領域データは、第一の補正処理部１１０２及び第二の補正処理部１１０３にそれぞれ入力される。

一方、Ｓ１２０３において、本画像データを低周波成分と高周波成分に分離する。ここでは一例として、本画像データからＬＰＦ１１００により低周波成分を抽出すると共に、減算器１１０４において、本画像データから、抽出した低周波成分を差し引くことにより、高周波成分を抽出する。抽出した低周波成分の画像データは第一の補正処理部１１０２に、また、高周波成分の画像データは第二の補正処理部１１０３にそれぞれ入力される。

Ｓ１２０４では、第一の補正処理部１１０２において、第１の実施形態の第一の補正処理部１０２と同様の処理により、影領域検出部１１０１で検出された影領域データに基づいて、入力された低周波成分の画像データの影領域に対して、影消し補正処理（第１の補正処理）を行う。第１の補正処理が行われた画像データは、合成部１１０５に入力される。低周波成分の画像データでは、影領域の画像データを影領域の周辺領域の画像データと同様の被写体の画像データで置き換えても、テクスチャの情報が消失することによる画質への影響は少ない。

Ｓ１２０５では、第二の補正処理部１１０３において、第１の実施形態の第二の補正処理部１０３と同様の処理により、影領域検出部１１０１で検出された影領域データに基づいて、入力された高周波成分の画像データの影領域に対して、影消し補正処理（第２の補正処理）を行う。第２の補正処理が行われた画像データは、合成部１１０５に入力される。高周波成分の画像データでは、影領域にテクスチャが存在するため、ゲインアップによる影消し補正処理を行うことにより、テクスチャの情報の消失を防ぐことができる。

Ｓ１２０６では、合成部１１０５において、第１の補正処理が行われた画像データと、第２の補正処理が行われた画像データとを合成し、記録部２０６に出力して、影消し処理を終了する。

上記の通り本第４の実施形態によれば、ゲインアップによるノイズの劣化等の弊害を抑制すると共に、テクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害を抑制することができる。また、低周波成分の影消し補正処理後の画像データと高周波成分の影消し補正処理後の画像データを帯域合成することで、周波数毎に最適な影消し処理を行った影消し補正後の画像を生成することができる。

なお、図１２に示す処理では、Ｓ１２０２で影領域検出処理を行い、Ｓ１２０３で本画像データの高周波成分と低周波成分への分離処理を行うものとして説明したが、処理の順番が異なっていても、並行して行っても良い。また、Ｓ１２０４で第１の補正処理を行い、Ｓ１２０５で第２の補正処理を行うものとして説明したが、処理の順番が異なっていても、並行して行っても良い。

また、ＬＰＦ１１００の代わりにＨＰＦを用いて高周波成分と低周波成分を分離しても良い。

また、上述した第１及び第４の実施形態では、撮像装置２００において影消し処理を行うものとして説明したが、撮像装置で得られた画像データを入力することのできる画像処理装置により行ってもよい。

このように、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，１００’，１００”：影消し処理部、１０１，７０１，１１０１：影領域検出部、１０２，７０２，１１０２：第一の補正処理部、１０３，７０３，１１０３：第二の補正処理部、１０４：補正方法判定部、１０５：補正方法選択部、２００：撮像装置、２０１：撮像部、２０７：システム制御部、５００：フィルタ処理部、５０１：ＡＢＳ処理部、５０２：閾値判定部、７０４：輝度係数取得部、７０５：エッジ係数取得部、７０６：合成率算出部、７０７，１１０５：合成部、１１００：ＬＰＦ、１１０４：減算部

Claims (16)

1. 画像に発生している被写体の影領域を検出する検出手段と、
   前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第１の補正処理を行う第１の補正手段と、
   前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第２の補正処理を行う第２の補正手段と、
   前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正処理と、前記第２の補正処理のいずれかを選択する選択手段と
   を有することを特徴とする画像処理装置。
2. 前記選択手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの差の絶対値が予め決められた閾値以下の場合に、前記第２の補正処理を選択し、前記閾値より大きい場合に、前記第１の補正処理を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの比が予め決められた閾値以下の場合に、前記第２の補正処理を選択し、前記閾値より大きい場合に、前記第１の補正手段による処理結果を選択することを特徴とする請求項１に記載の画像処理装置。
4. 前記選択手段は、前記影領域の輝度レベルが予め決められた閾値以下の場合に、前記第１の補正処理を選択し、前記閾値より大きい場合に、前記第２の補正処理を選択することを特徴とする請求項１に記載の画像処理装置。
5. 前記選択手段は、前記影領域のエッジの振幅が予め決められた閾値以下の場合に前記第１の補正処理を選択し、前記閾値より大きい場合に、前記第２の補正処理を選択することを特徴とする請求項１に記載の画像処理装置。
6. 前記閾値は、前記画像を出力した撮像手段のノイズ特性に応じて設定されることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 画像に発生している被写体の影領域を検出する検出手段と、
   前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第１の補正手段と、
   前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第２の補正手段と、
   前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正手段による処理結果と、前記第２の補正手段による処理結果とを合成する合成率を設定する設定手段と、
   前記設定手段により設定された前記合成率に応じて、前記第１の補正手段による処理結果と、前記第２の補正手段による処理結果とを合成する合成手段と
   を有することを特徴とする画像処理装置。
8. 前記設定手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの差の絶対値が、予め決められた第１の値よりも小さい第２の値の場合に、前記第１の値の場合よりも、前記第２の補正手段による処理結果の合成率を大きくすることを特徴とする請求項７に記載の画像処理装置。
9. 前記設定手段は、前記影領域のエッジの振幅が、予め決められた第３の値よりも大きい第４の値の場合に、前記第３の値の場合よりも、前記第２の補正手段による処理結果の合成率を大きくすることを特徴とする請求項７または８に記載の画像処理装置。
10. 画像に発生している被写体の影領域を検出する検出手段と、
    前記画像の画像データを高周波成分と低周波成分に分離する分離手段と、
    前記低周波成分の画像データに対して、前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第１の補正手段と、
    前記高周波成分の画像データに対して、前記影領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第２の補正手段と、
    前記第１の補正手段による処理結果と、前記第２の補正手段による処理結果とを合成する合成手段と
    を有することを特徴とする画像処理装置。
11. 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
    第１の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第１の補正工程と、
    第２の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第２の補正工程と、
    選択手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正工程における処理結果と、前記第２の補正工程における処理結果のいずれかを選択する選択工程と
    を有することを特徴とする画像処理方法。
12. 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
    第１の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第１の補正工程と、
    第２の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第２の補正工程と、
    選択手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正工程と、前記第２の補正工程のいずれかを実行させる選択工程と
    を有することを特徴とする画像処理方法。
13. 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
    第１の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第１の補正工程と、
    第２の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第２の補正工程と、
    設定手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第１の補正工程における処理結果と、前記第２の補正工程における処理結果とを合成する合成率を設定する設定工程と、
    合成手段が、前記設定手段により設定された前記合成率に応じて、前記第１の補正工程における処理結果と、前記第２の補正工程における処理結果とを合成する合成工程と
    を有することを特徴とする画像処理方法。
14. 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
    分離手段が、前記画像の画像データを高周波成分と低周波成分に分離する分離工程と、
    第１の補正手段が、前記低周波成分の画像データに対して、前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第１の補正工程と、
    第２の補正手段が、前記高周波成分の画像データに対して、前記影領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第２の補正工程と、
    合成手段が、前記第１の補正工程における処理結果と、前記第２の補正工程における処理結果とを合成する合成工程と
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images