JP2018098583A - 画像処理装置及び方法、及び撮像装置 - Google Patents
画像処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2018098583A JP2018098583A JP2016239775A JP2016239775A JP2018098583A JP 2018098583 A JP2018098583 A JP 2018098583A JP 2016239775 A JP2016239775 A JP 2016239775A JP 2016239775 A JP2016239775 A JP 2016239775A JP 2018098583 A JP2018098583 A JP 2018098583A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correction
- shadow
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供すること。【解決手段】 画像に発生している被写体の影領域を検出する検出手段と、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第1の補正処理を行う第1の補正手段と、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第2の補正処理を行う第2の補正手段と、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正処理と、前記第2の補正処理のいずれかを選択する選択手段とを有する。【選択図】 図2
Description
本発明は、画像処理装置及び方法、及び撮像装置に関する。
従来、暗いシーンや逆光時などの場合において、露出時の補助光として被写体にフラッシュ光を投射して撮影を行う技術が知られている。しかし、主要被写体の背景が壁などの場合などにフラッシュを用いて撮影を行うと、主要被写体の後ろに影が生じてしまうことがあった。そこで、主要被写体の後ろに影が生じた場合に、画像処理によって影を軽減する方法が開示されている。
特許文献1では、影を検出する影検出手段と、影検出手段によって検出された影を除去する影除去手段が開示されている。
しかし、上述の特許文献1に開示された従来技術では、影検出手段によって検出された影領域を、影除去手段によって影領域の周辺の影領域と同じ被写体で置き換えることで影の除去を行う。そのため、影領域の被写体が複雑なパターンを有する場合、影領域の周辺のどの位置の画像データを用いて影領域の画像データを置き換えればよいかを判定せねばならず、装置の構成が複雑になるという問題点がある。
また、影領域を影領域の周辺の領域と同様の明るさになるようにゲインアップ処理を行うことで影を除去した場合、影領域の被写体が複雑なパターンを有する場合でも、比較的簡易な方法で影を除去することが可能である。しかしながら、ゲインアップ処理により画像データのノイズ成分も増幅されてしまうため、影除去処理を行った領域のみノイズが目立ってしまうという問題がある。
本発明は上記問題点を鑑みてなされたものであり、比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、画像に発生している被写体の影領域を検出する検出手段と、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第1の補正処理を行う第1の補正手段と、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第2の補正処理を行う第2の補正手段と、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正処理と、前記第2の補正処理のいずれかを選択する選択手段とを有する。
本発明によれば、比較的簡易な方法で影消し処理を行った場合でも、より被写体の特性に応じた影消し処理を提供することができる。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
<第1の実施形態>
以下、本発明の第1の実施形態について説明する。図1は、本発明の実施形態に係る撮像装置200の概略構成の一例を示すブロック図である。
以下、本発明の第1の実施形態について説明する。図1は、本発明の実施形態に係る撮像装置200の概略構成の一例を示すブロック図である。
図1に示す撮像装置200は、撮像部201、A/D変換部202、信号処理部203、スイッチ部204、画像メモリ部205、影消し処理部100、記録部206、システム制御部207、フラッシュ部208を有する。
次に、上記構成を有する撮像装置による本実施形態における撮像動作について説明する。まず、システム制御部207により、フラッシュ部208を発光した状態で、撮像部201により撮像を行う。撮像部201から出力される画像信号は、A/D変換部202でデジタルデータに変換され、信号処理部203に入力される。信号処理部203では、入力されたデジタル画像データに対して、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス補正等の処理を行った後、輝度(Y)成分と色差(U、V)成分を有するYUVフォーマットの画像データに変換して出力する。
以後、フラッシュ部208を発光した状態で撮像した際に信号処理部203から出力されるYUVフォーマットの画像データを「本画像データ」と呼ぶ。信号処理部203から出力された本画像データは、スイッチ部204を介して、画像メモリ部205に格納される。
次に、システム制御部207により、フラッシュ部208を発光しない状態で、撮像部201により撮像を行う。撮像部201から出力される画像信号は、A/D変換部202でデジタルデータに変換され、信号処理部203に入力される。信号処理部203では、同様に色分離、アパーチャ補正、ガンマ補正、ホワイトバランス補正等の処理を行った後、輝度(Y)成分と色差(U、V)成分を有するYUVフォーマットの画像データに変換され出力される。
以後フラッシュ部208を発光しない状態で撮像した際に信号処理部203から出力されるYUVフォーマットの画像データを「影検出用画像データ」と呼ぶ。信号処理部203から出力された影検出用画像データは、スイッチ部204を介して、影消し処理部100に入力される。
影消し処理部100では、画像メモリ部205に格納されている本画像データに対して、スイッチ部204を介して信号処理部203から入力された影検出用画像データに基づいて、影領域検出処理及び影消し処理を行う。そして、影消し処理後のYUVフォーマットの画像データを記録部206に出力する。なお、影消し処理部100で行われる処理の詳細は後述する。
記録部206では、入力されたYUVフォーマットの画像データを、JPEG等のフォーマットに変換する圧縮処理を行った後、SDカードなどの記録媒体に記録する。
次に、第1の実施形態で影消し処理部100で行われる処理の流れを、図2及び図3を参照して説明する。図2は、第1の実施形態における影消し処理部100の構成を示すブロック図、図3は、第1の実施形態における影消し処理の手順を示すフローチャートである。
まず、S300において、画像メモリ部205に格納されている本画像データが、影消し処理部100の影領域検出部101、第一の補正処理部102、第二の補正処理部103、補正方法判定部104にそれぞれ入力される。また、スイッチ部204を介して、信号処理部203から影検出用画像データが、影領域検出部101に入力される。
S301では、影領域検出部101において、影領域の有無を判定する。具体的には、入力された本画像データと影検出用画像データとを比較し、背景領域に差分がない場合に影領域が存在しないと判定する。これは、主被写体以外の背景領域がフラッシュ光の届かない遠方に存在する場合には、背景にフラッシュ光が届かないため、フラッシュ光による影が発生しないためである。S301で、影領域があると判定された場合にはS302へ進み、影領域が無いと判定された場合には影消し処理を終了し、図2では不図示の経路を介して、影消し処理部100から本画像データを出力する。
S302では、影領域検出部101において、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。具体的には、影検出用画像データに対して、影検出用画像データの主要被写体と本画像データの主要被写体の輝度(Y)成分が同等のレベルになるように影領域用画像データをゲインアップしたのち、本画像データとの差分をとることで検出する。この時、ゲインアップ後の影領域用画像データと本画像データとの差分が所定の閾値より大きい場合に影領域と判定される。
ここで、図4を参照して、影領域の検出処理について更に説明する。図4(a)は、影領域検出部101に入力される本画像データの一例であり、主要被写体400である人物の左側のグレーの領域401がフラッシュによって発生した影領域を示す。また、同様に図4(b)は、影領域検出部101に入力される影検出用画像データの一例であり、フラッシュを発光させず撮像している分、主要被写体及びその背景が暗くなっている。図4(c)に示す画像データは、この図4(b)に示す影検出用画像データに対して、主要被写体である人物が図4(a)に示す本画像データと同様の輝度レベルになるようにゲインアップした画像データである。この図4(c)に示す画像データと図4(a)に示す画像データの差分をとると、図4(d)に示す様な画像データとなり、所定の閾値と比較することで主要被写体である人物の左側の影領域401を検出することができる。
影領域検出部101において検出された影領域の影領域データは、第一の補正処理部102、第二の補正処理部103、補正方法判定部104にそれぞれ入力される。
S303では、第一の補正処理部102において、影領域検出部101で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理(第1の補正処理)を行う。ここでは、特許文献1に記載されている公知の手法と同様に、本画像データの影領域の画像データを、影領域の周辺領域における影領域と同様の被写体の画像データで置き換える。
このように、第一の補正処理部102では本画像データの影領域を、影領域の周辺領域の画像データ、つまりフラッシュ光が投射されている画像データで置き換えることで、ノイズ成分を増加することなく影を抑制する、影消し補正処理を行う。ただし、影領域にテクスチャが存在する場合には、影領域の周辺領域の画像データで置き換えてしまうことでテクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害が発生する可能性がある。
S304では、第二の補正処理部103において、影領域検出部101で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理(第2の補正処理)を行う。ここでは、本画像データの影領域の画像データを、影領域の周辺領域の画像データと同等の輝度レベルとなるようにゲインアップすることで、影消し補正処理を行う。例えば、影領域の画像データの輝度(Y)成分の輝度レベルをYd、周辺領域の画像データの輝度(Y)成分の輝度レベルをYhとしたとき、ゲインアップ処理に用いるゲイン量Gainは次式(1)によって算出される。
Gain = Yh/Yd …(1)
つまり、このゲイン量Gainを影領域の画像データの輝度(Y)成分の輝度レベルYdに乗算した場合、周辺領域の画像データの輝度(Y)成分の輝度レベルYhと同じになるため、影が消えたような画像データを得ることができる。
Gain = Yh/Yd …(1)
つまり、このゲイン量Gainを影領域の画像データの輝度(Y)成分の輝度レベルYdに乗算した場合、周辺領域の画像データの輝度(Y)成分の輝度レベルYhと同じになるため、影が消えたような画像データを得ることができる。
また、このとき影領域と影領域の周辺領域とでフラッシュが当たっているか否かによる光源の違いが発生しており、ホワイトバランス係数が異なることによる色差(U、V)成分の差分も発生している。ため、輝度(Y)成分のみならず色差(U、V)成分に対しても、光源が異なることによる色差成分の差分を軽減するためのゲインを乗算する必要がある。
このように、第二の補正処理部103では影領域の画像データを影領域の周辺領域の画像データと同等の輝度レベルとなるようにゲインアップする。これにより、影領域にテクスチャが存在する場合でも、テクスチャの情報を消失することなく、影消し補正処理を行う。ただし、例えば影領域の画像データが周辺領域の画像データに対して著しく暗く、ゲインアップ量が大きくなる場合には、ゲインアップ量に応じて画像データに含まれるノイズ成分も増幅する。そのため、影消し補正処理を行った影領域のみノイズ成分が目立つ弊害が発生する可能性がある。
S305では、補正方法判定部104において、影領域検出部101で検出された影領域データと画像メモリ部205から入力される本画像データとに基づいて、第1の補正処理を行った画像データと第2の補正処理を行った画像データのいずれを最終的な影消し処理後の画像データとして選択するかを判定する。ここでは、影領域検出部101で検出された影領域データに基づいて、本画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較する。そして、輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第1の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。一方、輝度レベルの差分の絶対値が所定の閾値以下の場合には、第2の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。補正方法判定部104の判定結果は補正方法選択部105に入力される。
S306では、補正方法選択部105において、補正方法判定部104から入力される判定結果に基づいて、第1の補正処理を行った画像データと、第2の補正処理を行った画像データの何れか一方を選択する。そして、選択した画像データを記録部206に出力し、影消し処理を終了する。
このように、本第1の実施形態では、補正方法判定部104において、本画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較する。輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第2の補正処理を行うと、影領域の画像データに対するゲインアップ量が大きくなるため、第1の補正処理を行った画像データを選択する。このようにすることで、影消し補正処理を行った領域のみノイズ成分が目立ってしまうといった弊害を軽減することが可能となる。また、輝度レベルの差分の絶対値が所定の閾値以下の場合、つまり第2の補正処理による影領域の画像データに対するゲインアップ量がそれほど大きくない場合には、第2の補正処理を行った画像データを選択する。これにより、影領域にテクスチャが存在する場合に、影領域の周辺の画像データで置き換えてしまうことでテクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害を軽減することができる。
なお、図3に示す処理では、S303で第1の補正処理を行い、S304で第2の補正処理を行い、S305で補正方法を判定するものとして説明したが、処理の順番が異なっていても、並行して行っても良い。
また、上述した第1の実施形態では、本画像データに対し、第1の補正処理と第2の補正処理を両方行ってから、一方の処理結果を選択する場合について説明したが、本発明はこれに限るものではない。補正方法判定部104により補正方法が選択されてから、第1の補正処理と第2の補正処理のいずれか一方を行うようにしても良い。
また、上述した第1の実施形態では、補正方法判定部104において、影領域の画像データと、影領域の周辺領域の画像データの輝度レベルの差分絶対値を所定の閾値と比較したが、本発明はこれに限るものではない。例えば、輝度レベルの比を閾値と比較することで、より厳密にゲインアップ量に応じた制御をしても良い。また、例えば補正方法判定部104においてより簡易的に影領域の輝度レベルを直接閾値と比較することで処理の簡易化を図ってもよい。ただし、その場合には、影領域の輝度レベルが閾値よりも大きい場合、小さいゲインアップ量で済むことが予測されるため、第2の補正処理を行った画像データを選択する。一方、閾値以下の場合には、ゲインアップ量が大きくなることが予測されるため、第1の補正処理を行った画像データを選択する。また、補正方法判定部104の判定に用いる閾値を撮像部201の感度等のノイズ特性に応じて変えることで、最終的な影消し処理後の画像データのノイズレベルを鑑みた処理を行ってもよい。
更に、第1の実施形態ではフラッシュを発光した状態で撮像した画像データを本画像データとしたが、本発明はこれに限られるものではない。例えば、フラッシュを発光していない状態で撮像した画像データを本画像データとし、各種光源下で撮影した画像データに発生している影情報に対して本画像データの輝度情報のみから影領域を検出することで、同様に影消し処理を行ってもよい。
<第2の実施形態>
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。第2の実施形態は、第1の実施形態における影消し処理部100の補正方法判定部104における判定処理を変更したものである。なお、それ以外の装置の構成及び処理は、第1の実施形態で説明したものと同様であるため、説明を省略する。
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。第2の実施形態は、第1の実施形態における影消し処理部100の補正方法判定部104における判定処理を変更したものである。なお、それ以外の装置の構成及び処理は、第1の実施形態で説明したものと同様であるため、説明を省略する。
図5は、第2の実施形態に係る補正方法判定部104の構成を示すブロック図である。図5において、フィルタ処理部500は、図6に示す係数を有するラプラシアンフィルタ等のエッジ検出用のフィルタ処理回路からなる。フィルタ処理部500は、影領域検出部101から入力される影領域データに基づいて、画像メモリ部205から入力された本画像データの影領域の画像データの輝度(Y)成分に対してフィルタ処理を行い、エッジ情報を出力する。
フィルタ処理部500から出力されるエッジ情報に対して、ABS処理部501により絶対値算出処理が実行され、エッジの振幅情報に変換される。ABS処理部501によって変換されたエッジの振幅情報は、閾値判定部502に入力される。閾値判定部502ではABS処理部501から入力されるエッジの振幅情報を所定の閾値と比較する。
そして、エッジの振幅情報が閾値より大きい場合には、影領域に存在するテクスチャが多いため、第2の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。これにより、影領域に存在するテクスチャが多い場合、つまり影領域の被写体にエッジが存在する場合でもテクスチャの情報を消失することなく、影消し補正処理を行うことができる。
一方、エッジの振幅情報が所定の閾値以下の場合には、影領域に存在するテクスチャが少ないか無いため、第1の補正処理を行った画像データを最終的な補正処理後の画像データとして選択すると判定する。これにより、ノイズ成分を増加させることなく、影消し補正処理を行うことができる。
閾値判定部502の判定結果は補正方法選択部105に入力され、補正方法選択部105は、判定結果に基づいて、第1の補正処理を行った画像データまたは第2の補正処理を行った画像データを最終的な影消し補正処理後の画像データとして選択して出力する。
上述した第1の実施形態では、被写体に存在するテクスチャが多い場合であっても、画像データにおける影領域の画像データと影領域の周辺領域の画像データの輝度レベルの差分の絶対値が所定の閾値より大きい場合には、第1の補正処理を行った画像データを最終的な補正処理後の画像データとして選択していた。この処理では、テクスチャが消失するなどの弊害が発生する可能性があった。これに対し、第2の実施形態では、第2の補正処理を行った画像データが最終的な補正処理後の画像データとして選択されるため、テクスチャが消失する弊害を軽減することができる。
また、閾値判定部502で判定に用いる閾値を、例えば撮像部の感度等のノイズ特性に応じて変えることにより、ノイズをテクスチャと判断することによる誤判定を軽減することができる。
<第3の実施形態>
次に、本発明の第3の実施形態について図面を参照して詳細に説明する。第3の実施形態は、第1の実施形態における影消し処理部100を変更したものである。以下、第3の実施形態における影消し処理部100’で行われる処理の流れを、図7及び図8を参照して説明する。図7は、影消し処理部100’の構成を示すブロック図、図8は、影消し処理の手順を示すフローチャートである。
次に、本発明の第3の実施形態について図面を参照して詳細に説明する。第3の実施形態は、第1の実施形態における影消し処理部100を変更したものである。以下、第3の実施形態における影消し処理部100’で行われる処理の流れを、図7及び図8を参照して説明する。図7は、影消し処理部100’の構成を示すブロック図、図8は、影消し処理の手順を示すフローチャートである。
まず、S800において、画像メモリ部205に格納されている本画像データが、影消し処理部100’の影領域検出部701、第一の補正処理部702、第二の補正処理部703、輝度係数取得部704、エッジ係数取得部705にそれぞれ入力される。また、スイッチ部204を介して信号処理部203から影検出用画像データが、影領域検出部701に入力される。
S801では、影領域検出部701において、第1の実施形態と同様にして影領域の有無を判定する。S801で、影領域があると判定された場合にはS802へ進み、影領域が無いと判定された場合には影消し処理を終了し、図7では不図示の経路を介して、影消し処理部100’から本画像データを出力する。
S802では、影領域検出部701において、第1の実施形態と同様に、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。影領域検出部701において検出された影領域データは、第一の補正処理部702、第二の補正処理部703、輝度係数取得部704、エッジ係数取得部705にそれぞれ入力される。
S803では、第一の補正処理部702において、第1の実施形態の第一の補正処理部102と同様の処理により、影領域検出部701で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理(第1の補正処理)を行う。第1の補正処理が行われた画像データは、合成部707に入力される。
S804では、第二の補正処理部703において、第1の実施形態の第二の補正処理部103と同様の処理により、影領域検出部701で検出された影領域データに基づいて、入力された本画像データの影領域に対して、影消し補正処理(第2の補正処理)を行う。第2の補正処理が行われた画像データは、合成部707に入力される。
S805では、輝度係数取得部704において、影領域検出部701で検出された影領域データと画像メモリ部205から入力される本画像データとに基づいて、輝度係数αを取得する。具体的には、影領域検出部701で検出された影領域データに基づいて、本画像データの影領域の画像データと影領域の周辺領域の画像データの輝度レベルを比較し、輝度レベルの差分の絶対値Ysに基づいて輝度係数αを取得する。
図9は、輝度係数取得部704において、本画像データの影領域の画像データと、影領域の周辺領域の画像データの輝度レベルの差分の絶対値Ysから輝度係数αを取得する際の変換テーブルの一例を示す図である。
図9において、横軸を入力される輝度レベルの差分の絶対値Ysとし、縦軸を輝度係数αとする。輝度係数αは、輝度レベルの差分の絶対値Ysに応じた、第1の補正処理を行った画像データと、第2の補正処理を行った画像データとの合成率を示す。第2の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は0.0、第1の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は1.0となる。また、第1の補正処理を行った画像データと、第2の補正処理を行った画像データを合成する場合には、その合成率に応じて0.0〜1.0の間の値を取る。
この時、図9に示す閾値Th1は、輝度レベルの差分の絶対値Ysが小さく、第2の補正処理を行った場合でも、ゲインアップによるノイズの劣化が無視できるような場合に、輝度係数αが0.0となるように設定する。また、閾値Th2は、輝度レベルの差分の絶対値Ysが大きく、第2の補正処理を行った場合にゲインアップによるノイズ増幅が許容できなくなった場合に、輝度係数αが1.0となるように設定する。また、傾き901は、輝度レベルの差分の絶対値Ysが閾値Th1と閾値Th2との間である場合に設定される輝度係数αの値を示す。
S806では、エッジ係数取得部705において、影領域検出部701で検出された影領域データと、画像メモリ部205から入力される本画像データに基づいて、エッジ係数βを取得する。具体的には、影領域検出部701で検出された影領域データに基づいて、本画像データの影領域の画像データから、第2の実施形態と同様にしてエッジの振幅情報Esを取得し、エッジの振幅情報Esに基づいてエッジ係数βを取得する。
図10は、エッジ係数取得部705において、エッジの振幅情報Esからエッジ係数βを取得する際の変換テーブルの一例を示す図である。
図10において、横軸を入力されるエッジの振幅情報Esとし、縦軸をエッジ係数βとする。エッジ係数βは、エッジの振幅情報Es応じた、第1の補正処理を行った画像データと、第2の補正処理を行った画像データとの合成率を示す。第2の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は0.0、第2の補正処理を行った画像データを最終的な影消し処理後の画像データとして選択する場合は1.0となる。また、第1の補正処理を行った画像データと、第2の補正処理を行った画像データを合成する場合には、その合成率に応じて0.0〜1.0の間の値を取る。
この時、図10に示す閾値Th3は、エッジの振幅情報Esが小さく、第2の補正処理を行った場合でも、テクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害が無視できるような場合に、エッジ係数βが1.0となるように設定する。また、閾値Th4は、エッジの振幅情報Esが大きく、第1の補正処理を行った場合にテクスチャの情報が消失したり、テクスチャが不連続となった場合に、エッジ係数βが1.0となるように設定する。また、傾き1001は、エッジの振幅情報Esが閾値Th3と閾値Th4との間である場合に設定されるエッジ係数βの値を示す。
S807では、合成率算出部706において、輝度係数取得部704で取得した輝度係数αと、エッジ係数取得部705で取得したエッジ係数βから、第1の補正処理を行った画像データと、第2の補正処理を行った画像データの最終的な合成率γを算出する。合成率γは次式(2)によって算出される。
γ=α×β …(2)
合成率算出部706において算出された合成率γは、合成部707に入力される。
γ=α×β …(2)
合成率算出部706において算出された合成率γは、合成部707に入力される。
S808では、合成部707において合成率算出部706から入力された合成率γに基づいて、第1の補正処理を行った画像データと、第2の補正処理を行った画像データとを合成する。このとき、第1の補正処理が行われた画像データをIMG1、第2の補正処理が行われた画像データをIMG2とすると、最終的な影消し処理後の補正画像データIMGは、
IMG=((1.0−γ)×IMG1)+(γ×IMG2) …(3)
により表される。そして、最終的な影消し処理後の画像である補正画像データIMGが、記録部206に出力され、影消し処理を終了する。
IMG=((1.0−γ)×IMG1)+(γ×IMG2) …(3)
により表される。そして、最終的な影消し処理後の画像である補正画像データIMGが、記録部206に出力され、影消し処理を終了する。
上記の通り第3の実施形態によれば、本画像データの影領域の画像データと影領域の周辺領域の画像データの輝度レベルの差分の絶対値情報と、本画像データの影領域のエッジの振幅情報とを両方参照する。そして、第1の補正処理を行った画像データと、第2の補正処理を行った画像データを合成することで、より被写体の特性に応じた影消し処理を提供することができる。
なお、図8に示すS803からS806で行う処理は、処理の順番が異なっていても、並行して行っても良い。
また、輝度係数取得部704における閾値Th1,Th2及び傾き901、またエッジ係数取得部705における閾値Th3,Th4及び傾き1001を、撮像部201の感度等のノイズ特性に応じて変えるなどしてもよい。
<第4の実施形態>
次に、本発明の第4の実施形態について図面を参照して詳細に説明する。第4の実施形態は、第1の実施形態における影消し処理部100を変更したものである。以下、第4の実施形態における影消し処理部100”で行われる処理の流れを、図11及び図12を参照して説明する。図11は、影消し処理部100”の構成を示すブロック図、図12は、影消し処理の手順を示すフローチャートである。
次に、本発明の第4の実施形態について図面を参照して詳細に説明する。第4の実施形態は、第1の実施形態における影消し処理部100を変更したものである。以下、第4の実施形態における影消し処理部100”で行われる処理の流れを、図11及び図12を参照して説明する。図11は、影消し処理部100”の構成を示すブロック図、図12は、影消し処理の手順を示すフローチャートである。
まず、S1200において、画像メモリ部205に格納されている本画像データが、影消し処理部100”の影領域検出部1101、LPF1100、減算器1104にそれぞれ入力される。また、スイッチ部204を介して信号処理部203から影検出用画像データが、影領域検出部1101に入力される。
S1201では、影領域検出部1101において、第1の実施形態と同様にして影領域の有無を判定する。S1101で、影領域があると判定された場合にはS1102へ進み、影領域が無いと判定された場合には影消し処理を終了し、図11では不図示の経路を介して、影消し処理部100”から本画像データを出力する。
S1202では、影領域検出部1101において、第1の実施形態と同様に、入力された本画像データと影検出用画像データとを比較することで影領域を検出する。影領域検出部1101において検出された影領域データは、第一の補正処理部1102及び第二の補正処理部1103にそれぞれ入力される。
一方、S1203において、本画像データを低周波成分と高周波成分に分離する。ここでは一例として、本画像データからLPF1100により低周波成分を抽出すると共に、減算器1104において、本画像データから、抽出した低周波成分を差し引くことにより、高周波成分を抽出する。抽出した低周波成分の画像データは第一の補正処理部1102に、また、高周波成分の画像データは第二の補正処理部1103にそれぞれ入力される。
S1204では、第一の補正処理部1102において、第1の実施形態の第一の補正処理部102と同様の処理により、影領域検出部1101で検出された影領域データに基づいて、入力された低周波成分の画像データの影領域に対して、影消し補正処理(第1の補正処理)を行う。第1の補正処理が行われた画像データは、合成部1105に入力される。低周波成分の画像データでは、影領域の画像データを影領域の周辺領域の画像データと同様の被写体の画像データで置き換えても、テクスチャの情報が消失することによる画質への影響は少ない。
S1205では、第二の補正処理部1103において、第1の実施形態の第二の補正処理部103と同様の処理により、影領域検出部1101で検出された影領域データに基づいて、入力された高周波成分の画像データの影領域に対して、影消し補正処理(第2の補正処理)を行う。第2の補正処理が行われた画像データは、合成部1105に入力される。高周波成分の画像データでは、影領域にテクスチャが存在するため、ゲインアップによる影消し補正処理を行うことにより、テクスチャの情報の消失を防ぐことができる。
S1206では、合成部1105において、第1の補正処理が行われた画像データと、第2の補正処理が行われた画像データとを合成し、記録部206に出力して、影消し処理を終了する。
上記の通り本第4の実施形態によれば、ゲインアップによるノイズの劣化等の弊害を抑制すると共に、テクスチャの情報が消失したり、テクスチャが不連続となってしまう等の弊害を抑制することができる。また、低周波成分の影消し補正処理後の画像データと高周波成分の影消し補正処理後の画像データを帯域合成することで、周波数毎に最適な影消し処理を行った影消し補正後の画像を生成することができる。
なお、図12に示す処理では、S1202で影領域検出処理を行い、S1203で本画像データの高周波成分と低周波成分への分離処理を行うものとして説明したが、処理の順番が異なっていても、並行して行っても良い。また、S1204で第1の補正処理を行い、S1205で第2の補正処理を行うものとして説明したが、処理の順番が異なっていても、並行して行っても良い。
また、LPF1100の代わりにHPFを用いて高周波成分と低周波成分を分離しても良い。
また、上述した第1及び第4の実施形態では、撮像装置200において影消し処理を行うものとして説明したが、撮像装置で得られた画像データを入力することのできる画像処理装置により行ってもよい。
このように、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,100’,100”:影消し処理部、101,701,1101:影領域検出部、102,702,1102:第一の補正処理部、103,703,1103:第二の補正処理部、104:補正方法判定部、105:補正方法選択部、200:撮像装置、201:撮像部、207:システム制御部、500:フィルタ処理部、501:ABS処理部、502:閾値判定部、704:輝度係数取得部、705:エッジ係数取得部、706:合成率算出部、707,1105:合成部、1100:LPF、1104:減算部
Claims (16)
- 画像に発生している被写体の影領域を検出する検出手段と、
前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する第1の補正処理を行う第1の補正手段と、
前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する第2の補正処理を行う第2の補正手段と、
前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正処理と、前記第2の補正処理のいずれかを選択する選択手段と
を有することを特徴とする画像処理装置。 - 前記選択手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの差の絶対値が予め決められた閾値以下の場合に、前記第2の補正処理を選択し、前記閾値より大きい場合に、前記第1の補正処理を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの比が予め決められた閾値以下の場合に、前記第2の補正処理を選択し、前記閾値より大きい場合に、前記第1の補正手段による処理結果を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記影領域の輝度レベルが予め決められた閾値以下の場合に、前記第1の補正処理を選択し、前記閾値より大きい場合に、前記第2の補正処理を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記影領域のエッジの振幅が予め決められた閾値以下の場合に前記第1の補正処理を選択し、前記閾値より大きい場合に、前記第2の補正処理を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記閾値は、前記画像を出力した撮像手段のノイズ特性に応じて設定されることを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。
- 画像に発生している被写体の影領域を検出する検出手段と、
前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第1の補正手段と、
前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第2の補正手段と、
前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正手段による処理結果と、前記第2の補正手段による処理結果とを合成する合成率を設定する設定手段と、
前記設定手段により設定された前記合成率に応じて、前記第1の補正手段による処理結果と、前記第2の補正手段による処理結果とを合成する合成手段と
を有することを特徴とする画像処理装置。 - 前記設定手段は、前記影領域の輝度レベルと前記周辺領域の輝度レベルとの差の絶対値が、予め決められた第1の値よりも小さい第2の値の場合に、前記第1の値の場合よりも、前記第2の補正手段による処理結果の合成率を大きくすることを特徴とする請求項7に記載の画像処理装置。
- 前記設定手段は、前記影領域のエッジの振幅が、予め決められた第3の値よりも大きい第4の値の場合に、前記第3の値の場合よりも、前記第2の補正手段による処理結果の合成率を大きくすることを特徴とする請求項7または8に記載の画像処理装置。
- 画像に発生している被写体の影領域を検出する検出手段と、
前記画像の画像データを高周波成分と低周波成分に分離する分離手段と、
前記低周波成分の画像データに対して、前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第1の補正手段と、
前記高周波成分の画像データに対して、前記影領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第2の補正手段と、
前記第1の補正手段による処理結果と、前記第2の補正手段による処理結果とを合成する合成手段と
を有することを特徴とする画像処理装置。 - 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
第1の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第1の補正工程と、
第2の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第2の補正工程と、
選択手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正工程における処理結果と、前記第2の補正工程における処理結果のいずれかを選択する選択工程と
を有することを特徴とする画像処理方法。 - 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
第1の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第1の補正工程と、
第2の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第2の補正工程と、
選択手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正工程と、前記第2の補正工程のいずれかを実行させる選択工程と
を有することを特徴とする画像処理方法。 - 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
第1の補正手段が、前記画像における前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第1の補正工程と、
第2の補正手段が、前記画像における前記影領域の画像データを用いて、前記影領域の画像データを補正する処理を行う第2の補正工程と、
設定手段が、前記影領域の輝度レベル及びエッジの振幅の少なくともいずれかに基づいて、前記第1の補正工程における処理結果と、前記第2の補正工程における処理結果とを合成する合成率を設定する設定工程と、
合成手段が、前記設定手段により設定された前記合成率に応じて、前記第1の補正工程における処理結果と、前記第2の補正工程における処理結果とを合成する合成工程と
を有することを特徴とする画像処理方法。 - 検出手段が、画像に発生している被写体の影領域を検出する検出工程と、
分離手段が、前記画像の画像データを高周波成分と低周波成分に分離する分離工程と、
第1の補正手段が、前記低周波成分の画像データに対して、前記影領域の周辺領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第1の補正工程と、
第2の補正手段が、前記高周波成分の画像データに対して、前記影領域の画像データを用いて、前記影領域の画像データを補正する補正処理を行う第2の補正工程と、
合成手段が、前記第1の補正工程における処理結果と、前記第2の補正工程における処理結果とを合成する合成工程と
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項15に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016239775A JP2018098583A (ja) | 2016-12-09 | 2016-12-09 | 画像処理装置及び方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016239775A JP2018098583A (ja) | 2016-12-09 | 2016-12-09 | 画像処理装置及び方法、及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018098583A true JP2018098583A (ja) | 2018-06-21 |
Family
ID=62634776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016239775A Pending JP2018098583A (ja) | 2016-12-09 | 2016-12-09 | 画像処理装置及び方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018098583A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102201A (zh) * | 2020-09-24 | 2020-12-18 | 深圳市赛为智能股份有限公司 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
WO2023280080A1 (zh) * | 2021-07-07 | 2023-01-12 | 同方威视技术股份有限公司 | 阴影消除装置和方法、空盘识别装置和方法 |
KR20230105405A (ko) * | 2022-01-04 | 2023-07-11 | 주식회사 큐에스택 | 진단용 영상 보정 시스템 및 방법 |
-
2016
- 2016-12-09 JP JP2016239775A patent/JP2018098583A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102201A (zh) * | 2020-09-24 | 2020-12-18 | 深圳市赛为智能股份有限公司 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
CN112102201B (zh) * | 2020-09-24 | 2024-05-28 | 深圳市赛为智能股份有限公司 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
WO2023280080A1 (zh) * | 2021-07-07 | 2023-01-12 | 同方威视技术股份有限公司 | 阴影消除装置和方法、空盘识别装置和方法 |
KR20230105405A (ko) * | 2022-01-04 | 2023-07-11 | 주식회사 큐에스택 | 진단용 영상 보정 시스템 및 방법 |
KR102597459B1 (ko) * | 2022-01-04 | 2023-11-02 | 주식회사 큐에스택 | 진단용 영상 보정 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6081726B2 (ja) | 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法 | |
US9681026B2 (en) | System and method for lens shading compensation | |
US9390482B2 (en) | Image processing apparatus and method of processing image | |
US8982232B2 (en) | Image processing apparatus and image processing method | |
US8681187B2 (en) | Image processing apparatus, non-transitory storage medium storing image processing program and image processing method | |
US9692985B2 (en) | Image processing apparatus and image processing method for tone control by applying different gain | |
US11328679B2 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium | |
US20120301050A1 (en) | Image processing apparatus and method | |
US8189947B2 (en) | Image edge correction apparatus and method | |
JP2017138647A (ja) | 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体 | |
JP6525543B2 (ja) | 画像処装置および画像処理方法、並びにプログラム | |
US9712797B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable medium | |
JP2018041380A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2018098583A (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN114418879A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2020090176A1 (ja) | 画像処理装置および画像処理方法 | |
JP4856262B2 (ja) | 動き検出装置及び動き検出方法 | |
US9754362B2 (en) | Image processing apparatus, image processing method, and program | |
JP6423668B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6742231B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2013179549A (ja) | 適応的階調補正装置および方法 | |
KR102282464B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2009296210A (ja) | 画像処理装置及び画像処理方法 | |
JP5693647B2 (ja) | 画像処理方法、画像処理装置、及び撮像装置 |