JP2013201500A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】不自然な画像が合成されることを避けつつ、適正露出領域の階調を損なわずに暗部に対する補正を行うことが可能な技術を提供する。
【解決手段】ステレオカメラにより撮像された左画像と右画像との間における左画像基準の視差と右画像基準の視差とをブロック毎に検出する視差検出部と、左画像および右画像の各々の輝度を補正することにより左補正画像および右補正画像を生成する輝度補正部と、左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、右画像基準の視差に基づいて右画像混合用の混合比率を算出する混合比率算出部と、左画像混合用の混合比率に基づいて左画像および左補正画像を混合するとともに、右画像混合用の混合比率に基づいて右画像および右補正画像を混合する混合部と、を備えることを特徴とする、画像処理装置が提供される。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、撮像シーンの明るさを考慮した撮像画像の補正技術としては様々な技術が開示されている。例えば、露出アンダーで撮影しておき、撮影により得られた画像に対してガンマ処理を施すことで暗部を持ち上げる技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、簡易に暗部補正ができる。

また、例えば、露出を変えて複数枚撮影し（いわゆるブラケット撮影を行い）、撮影により得られた複数枚の画像を合成する技術が開示されている（例えば、特許文献２参照）。かかる技術によれば、高い暗部補正効果を享受することが可能である。また、１枚の画像から照明光を推定し、推定した照明光に基づいて暗部を補正する技術も開示されている（例えば、同公報参照）。

また、例えば、ステレオ画像から視差を検出し、視差の大きい近景を暗くするとともに視差の小さい遠景を明るくする技術が開示されている（例えば、特許文献３参照）。かかる技術によれば、フラッシュ撮影時に手前の被写体が明るくなってしまう現象と背景が暗くなってしまう現象を補正することが可能である。

特開２００８−１６０１９０号公報 特開２００８−１０４０１０号公報 特開２０１０−２６０１８号公報

しかしながら、特許文献１に開示された技術では、暗部（例えば、前景部）以外にも影響が及んでしまうことで適正露出領域（例えば、背景部）の階調が失われ、白飛びしてしまうという現象も生じ得る点が短所である。

また、特許文献２に開示された技術では、動きの速い物体が撮影された場合には、物体の位置のずれが大きくなるため合成後の画像が不自然な画像となってしまうという欠点がある。さらに、撮影時にモード設定してから複数枚撮影を行う必要があるという点も煩雑である。また、暗部と黒い物体との区別や明部と白い物体との区別がつかないため、合成後の画像が照明光の誤推定により不自然な画像になることがある点も短所である。

また、特許文献３に開示された技術では、フラッシュ撮影された画像にのみ処理を適用するものである。したがって、フラッシュを焚かずともスポットライト等が当たった被写体を撮影する等、フラッシュ撮影された画像に似た画像が撮影された場合でも、画像内容を判定して同じ処理を適用することはできない。また、逆光補正にはこの処理は適用できない。

そこで、本発明は、不自然な画像が合成されることを避けつつ、適正露出領域の階調を損なわずに暗部に対する補正を行うことが可能な技術を提供しようとするものである。

本発明のある実施形態によれば、ステレオカメラにより撮像された左画像と右画像との間における左画像基準の視差と右画像基準の視差とをブロック毎に検出する視差検出部と、前記左画像および前記右画像の各々の輝度を補正することにより左補正画像および右補正画像を生成する輝度補正部と、前記左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、前記右画像基準の視差に基づいて右画像混合用の混合比率を算出する混合比率算出部と、前記左画像混合用の混合比率に基づいて前記左画像および前記左補正画像を混合するとともに、前記右画像混合用の混合比率に基づいて前記右画像および前記右補正画像を混合する混合部と、を備えることを特徴とする、画像処理装置が提供される。

かかる構成によれば、ステレオ画像から検出した視差に基づいて画像の輝度を補正するため、適正露出領域には影響を与えずに暗部補正を行うことができる。また、かかる構成によれば、補正後の画像と補正前の元画像とにおいて輝度のみが異なるため、動きのある物体が撮影された場合であっても、合成後の画像が不自然になるといった現象が生じることを防ぐことができる。さらに、かかる構成によれば、ステレオ画像から検出した距離情報を基に補正を行えばよいため、暗部補正を行うためのモード設定を撮影時に行う必要はなく、撮影後から必要に応じて補正処理を行えば暗部補正が可能である。

さらに、本実施形態に係る技術は、逆光時のみならず、スポットライトやフラッシュが当たって被写体の背景が暗く沈んでしまう状況にも対応可能である。すなわち、暗部に影響を与えない正確な暗部補正を行うことが可能であるという点である。例えば、逆光時には手前に位置する被写体のみを明るく補正することで、適正露出となっている背景領域には影響を与えずに暗部を補正することができる。また、手前に明るい被写体がある場合には、背景のみを明るく補正することで適正露出となっている被写体には影響を与えずに暗部を補正することができる。本実施形態に係る技術によれば、手前を補正する手法を採用するか、奥を補正する手法を採用するかという判定を行って処理を切り換えるため、両方のパターンに対応することができる。

前記混合比率算出部は、ブロック毎に検出された前記左画像基準の視差に基づいて左画像混合用の混合比率をブロック毎に算出するとともに、ブロック毎に検出された前記右画像基準の視差に基づいて右画像混合用の混合比率をブロック毎に算出してもよい。かかる構成によれば、ブロック毎に検出された視差に基づいて混合比率もブロック毎に算出することが可能である。

前記視差検出部は、ブロック毎に検出された前記左画像基準の視差に対するブロック間の線形補間により前記左画像基準の視差を画素毎に算出するとともに、ブロック毎に検出された前記右画像基準の視差に対するブロック間の線形補間により前記右画像基準の視差を画素毎に算出し、前記混合比率算出部は、画素毎に算出された前記左画像基準の視差に基づいて左画像混合用の混合比率を画素毎に算出するとともに、画素毎に算出された前記右画像基準の視差に基づいて右画像混合用の混合比率を画素毎に算出してもよい。かかる構成によれば、ブロック間の線形補間により画素毎の視差に基づいて混合比率を画素毎に算出することが可能である。

前記輝度補正部は、前記左画像および前記右画像の各々の輝度を高めることにより前記左補正画像および前記右補正画像を生成してもよい。かかる構成によれば、画像に対して暗部を持ち上げる補正を行うことができる。

前記混合比率算出部は、前記視差が所定の範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を大きく算出してもよい。かかる構成によれば、例えば、輝度を高める補正がなされることにより補正画像が生成されている場合には、手前にある被写体領域に対して輝度を高める補正がなされるため、適切に逆光補正を行うことが可能である。

前記画像処理装置は、前記左画像および前記右画像の少なくともいずれか一方の画像の輝度と当該画像基準の視差との組み合わせの分布に基づいて混合比率算出手法を判定する判定部をさらに備え、前記混合比率算出部は、前記混合比率算出手法を用いて、前記左画像混合用の混合比率および前記右画像混合用の混合比率を算出してもよい。かかる構成によれば、例えば、逆光時には手前に位置する被写体のみを明るく補正することで適正露出となっている背景領域には影響を与えずに暗部を補正することができる。また、手前に明るい被写体がある場合には、背景のみを明るく補正することで適正露出となっている被写体には影響を与えずに暗部を補正することができる。

前記判定部は、第１の混合比率算出手法および第２の混合比率算出手法のいずれかを判定し、前記混合比率算出部は、前記第１の混合比率算出手法を用いる場合には、前記視差が所定の第１範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を大きく算出し、前記第２の混合比率算出手法を用いる場合には、前記視差が所定の第２範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を小さく算出してもよい。かかる構成によれば、例えば、輝度を高める補正がなされることにより補正画像が生成されている場合には、逆光時には手前にある被写体領域に対して輝度を高める補正がなされ、手前に明るい被写体がある場合には、背景に対して輝度を高める補正がなされる。

また、本発明の別の実施形態によれば、ステレオカメラにより撮像された左画像と右画像との間における左画像基準の視差と右画像基準の視差とをブロック毎に検出するステップと、前記左画像および前記右画像の各々の輝度を補正することにより左補正画像および右補正画像を生成するステップと、前記左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、前記右画像基準の視差に基づいて右画像混合用の混合比率を算出するステップと、前記左画像混合用の混合比率に基づいて前記左画像および前記左補正画像を混合するとともに、前記右画像混合用の混合比率に基づいて前記右画像および前記右補正画像を混合するステップと、を含むことを特徴とする、画像処理方法が提供される。

かかる方法によれば、ステレオ画像から検出した視差に基づいて画像の輝度を補正するため、適正露出領域には影響を与えずに暗部補正を行うことができる。また、かかる構成によれば、補正後の画像と補正前の元画像とにおいて輝度のみが異なるため、動きのある物体が撮影された場合であっても、合成後の画像が不自然になるといった現象が生じることを防ぐことができる。さらに、かかる構成によれば、ステレオ画像から検出した距離情報を基に補正を行えばよいため、暗部補正を行うためのモード設定を撮影時に行う必要はなく、撮影後から必要に応じて補正処理を行えば暗部補正が可能である。

以上説明したように、本発明によれば、不自然な画像が合成されることを避けつつ、適正露出領域の階調を損なわずに暗部に対する補正を行うことが可能である。

本発明の実施形態に係る画像処理装置の構成例を示す図である。 画像処理装置の算出部の構成例を示す図である。 ステレオカメラにより撮像された左画像および右画像の例を示す図である。 輝度補正部の機能を説明するための図である。 視差検出部の機能を説明するための図である。 輝度と視差との組み合わせに対する分類例を示す図である。 組み合わせの分布に応じて画像の性質を推定する例を示す図である。 画像の性質に応じた混合比率算出手法の例を示す図である。 画像処理装置の動作の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

図１は、本発明の実施形態に係る画像処理装置１０の構成例を示す図である。図１に示すように、画像処理装置１０は、カメラ２０Ａ、カメラ２０Ｂ、現像処理部１１０Ａ、現像処理部１１０Ｂ、輝度補正部１２０Ａ、輝度補正部１２０Ｂ、視差検出部１３０、輝度取得部１４０、算出部１５０、混合部１６０Ａおよび混合部１６０Ｂを含んでいる。また、図２は、画像処理装置１０の算出部１５０の構成例を示す図である。図２に示すように、算出部１５０は、判定部１５１および混合比率算出部１５２を含んでいる。以下、画像処理装置１０が備える各機能ブロックの機能について順次詳細に説明する。

カメラ２０Ａおよびカメラ２０Ｂは、ステレオカメラを構成している。すなわち、カメラ２０Ａおよびカメラ２０Ｂの各々は、撮像を行うことにより撮像画像を取得する。以下では、カメラ２０Ａによる撮像画像を左画像とし、カメラ２０Ｂによる撮像画像を右画像と称する。図３は、ステレオカメラにより撮像された左画像および右画像の例を示す図である。なお、本発明の実施形態においては、画像処理装置１０がステレオカメラを有することとしているが、ステレオカメラは画像処理装置１０の外部に備えられていてもよい。

現像処理部１１０Ａは、左画像に対して必要に応じて現像処理を施し、現像処理部１１０Ｂは、右画像に対して必要に応じて現像処理を施す。現像処理は、例えば、撮像素子がＢａｙｅｒセンサの場合には、撮像画像に対してデモザイク処理を行いＲＧＢ信号に変換する処理、カラーマトリックス演算処理、ＹＵＶ変換処理、ノイズリダクション処理などを含むものである。

輝度補正部１２０Ａは、左画像の輝度を補正することにより左補正画像を生成する機能を有し、輝度補正部１２０Ｂは、右画像の輝度を補正することにより右補正画像を生成する。ここで、左画像および右画像それぞれの輝度補正の手法は特に限定されない。例えば、輝度補正部１２０Ａは、左画像の輝度を高めることにより左補正画像を生成し、輝度補正部１２０Ｂは、右画像の輝度を高めることにより右補正画像を生成する。

図４は、輝度補正部１２０の機能を説明するための図である。図４に示すように、例えば、輝度補正部１２０Ａは、左画像のＹ信号（輝度信号）に対してガンマ処理を施すことによって左画像の輝度を高めることができる。同様に、例えば、輝度補正部１２０Ｂは、左画像のＹ（輝度）信号に対してガンマ処理を施すことによって右画像の輝度を高めることができる。このような輝度を高める補正により撮像画像内の暗部を持ち上げる処理が実現される。

なお、ここでは、具体例として、Ｙ（輝度）信号に対してガンマ処理を施すことにより輝度の補正がなされることとしたが、ＲＧＢ信号に対してガンマ処理を施すことにより輝度の補正がなされても構わないし、ＲＧＢ信号に対してゲインを乗ずることによって輝度の補正がなされてもよい。

図５は、視差検出部１３０の機能を説明するための図である。図５に示すように、例えば、視差検出部１３０は、ステレオカメラにより撮像された左画像と右画像との間における左画像を基準とした視差（以下、「左画像基準の視差」と言う）と右画像を基準とした視差（以下、「右画像基準の視差」と言う）とをブロック毎に検出する。各ブロックのサイズや形状は特に限定されない。視差の検出は、例えば、矩形マクロブロック単位のブロックマッチング法により行ってもよいし、オプティカルフローなどを用いて行ってもよい。

また、視差検出部１３０は、ブロック単位の視差をさらにブロック間の線形補間により内挿して１画素単位に視差を与えてもよい。すなわち、視差検出部１３０は、ブロック毎に検出された左画像基準の視差に対するブロック間の線形補間により左画像基準の視差を画素毎に算出してもよい。また、視差検出部１３０は、ブロック毎に検出された右画像基準の視差に対するブロック間の線形補間により右画像基準の視差を画素毎に算出してもよい。

輝度取得部１４０は、左画像および右画像の少なくともいずれか一方の画像の輝度を取得する。輝度取得部１４０により取得される輝度は、画素毎の輝度であってもよいし、ブロック毎の輝度であってもよい。例えば、輝度取得部１４０により取得される輝度がブロック毎の輝度である場合には、各ブロックを構成する複数の画素の平均輝度をブロック毎の輝度としてもよい。ここでのブロックは、視差検出時に使用されるブロックと同じである。左画像と右画像とのいずれから輝度を取得するかはあらかじめ決められてもよいし、ユーザやアプリケーションによって決められてもよい。

判定部１５１は、輝度取得部１４０によって取得された輝度と当該画像基準の視差との組み合わせの分布に基づいて混合比率算出手法を判定する。例えば、判定部１５１は、各ブロックについての輝度と視差との組み合わせを分類し、その分類結果に基づいて混合比率算出手法を判定してもよい。

図６は、輝度と視差との組み合わせに対する分類例を示す図である。図６に示すように、例えば、視差に関して閾値ＴＨＤ１および閾値ＴＨＤ２が設けられている場合、判定部１５１は、閾値ＴＨＤ１よりも小さい視差（以下、「小視差」とも言う）、閾値ＴＨＤ１よりも大きくて閾値ＴＨＤ２よりも小さい視差（以下、「中視差」とも言う）および閾値ＴＨＤ２よりも大きい視差（以下、「大視差」とも言う）のいずれかに各ブロックを分類する。

小視差は、被写体までの距離が遠い場合に検出される視差であり、中視差は、被写体までの距離が中程度の場合に検出される視差であり、大視差は、被写体までの距離が近い場合に検出される視差である。視差が閾値ＴＨＤ１と等しい場合には、小視差および中視差のいずれに分類されてもよく、視差が閾値ＴＨＤ２と等しい場合には、中視差および大視差のいずれに分類されてもよい。

さらに、輝度に関して閾値ＴＨＬ１および閾値ＴＨＬ２が設けられている場合、判定部１５１は、閾値ＴＨＬ１よりも小さい輝度（以下、「低輝度」とも言う）、閾値ＴＨＬ１よりも大きくて閾値ＴＨＬ２よりも小さい輝度（以下、「中輝度」とも言う）および閾値ＴＨＬ２よりも大きい輝度（以下、「高輝度」とも言う）のいずれかに各ブロックを分類する。

輝度が閾値ＴＨＬ１と等しい場合には、低輝度および中輝度のいずれに分類されてもよく、輝度が閾値ＴＨＬ２と等しい場合には、中輝度および高輝度のいずれに分類されてもよい。このような分類がなされた場合、各ブロックは、例えば、図６に示した区分Ｃ１〜Ｃ９のいずれかに分類される。判定部１５１は、各区分に分類されるブロックの頻度を頻度分布として生成する。この頻度分布により画像の性質が推定される。

図７は、組み合わせの分布に応じて画像の性質を推定する例を示す図である。例えば、被写体に対して光を手前から照射するような場合（例えば、スポットライト使用時あるいはフラッシュ使用時などが該当する。以下、この場合を単に「スポットライト時」と言う場合もある。）、被写体が明るく映り、背景が暗く映る傾向にある。このような場合には、被写体は、大視差・高輝度となるため、図６に示した区分Ｃ１に属し、背景は、小視差・低輝度となるため、区分Ｃ９に属する。その結果、例えば、図７に示した「スポットライト時」に示すような頻度分布を取る。

一方、例えば、被写体に対して光を奥から照射するような場合（例えば、逆光の場合）、被写体が暗く映る傾向にある。このような場合には、被写体は、大視差・低輝度なので図６に示した区分Ｃ７に属し、背景は、小視差・中輝度〜高輝度となるため、区分Ｃ３や区分Ｃ６に属する。その結果、例えば、図７に示した「逆光時」に示すような輝度分布を取る。このように、視差と輝度の相関関係を見ることで、画像の性質を推定することができる。

より詳細には、例えば、判定部１５１は、区分Ｃ３および区分Ｃ７に属するブロックの頻度を第１の頻度とし、区分Ｃ１および区分Ｃ９に属するブロックを第２の頻度とした場合、第１の頻度の方が第２の頻度よりも多い場合には、その画像は「逆光時」に撮影されたと推定してもよい。また、判定部１５１は、第２の頻度の方が第１の頻度よりも多い場合には、その画像は「スポットライト時」に撮影されたと推定してもよい。判定部１５１は、例えば、「逆光時」に撮影されたと推定した場合には、第１の混合比率算出手法を判定する。また、判定部１５１は、例えば、「スポットライト時」に撮影されたと推定した場合には、第２の混合比率算出手法を判定する。

混合比率算出部１５２は、左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、右画像基準の視差に基づいて右画像混合用の混合比率を算出する。例えば、混合比率算出部１５２は、ブロック毎に検出された左画像基準の視差に基づいて左画像混合用の混合比率をブロック毎に算出するとともに、ブロック毎に検出された前記右画像基準の視差に基づいて右画像混合用の混合比率をブロック毎に算出する。

また、混合比率算出部１５２は、画素毎に算出された視差に基づいて混合比率を算出してもよい。すなわち、混合比率算出部１５２は、画素毎に算出された左画像基準の視差に基づいて左画像混合用の混合比率を画素毎に算出するとともに、画素毎に算出された前記右画像基準の視差に基づいて右画像混合用の混合比率を画素毎に算出してもよい。したがって、ブロック毎になされる混合比率の算出は、画素毎になされる混合比率の算出であってもよい。

混合比率算出部１５２は、判定部１５１により判定された混合比率算出手法を用いて、左画像混合用の混合比率および右画像混合用の混合比率を算出してもよい。例えば、判定部１５１によって画像が「逆光時」に撮影されたと推定された場合には、第１の混合比率算出手法が判定されるため、当該手法を用いて混合比率を算出すればよい。また、例えば、判定部１５１によって画像が「スポットライト時」に撮影されたと推定された場合には、第２の混合比率算出手法が判定されるため、当該手法を用いて混合比率を算出すればよい。

図８は、画像の性質に応じた混合比率算出手法の例を示す図である。図８に示すように、例えば、「逆光時」に撮影されたと推定された場合には、混合比率算出部１５２は、視差が閾値ＴＨ３から閾値ＴＨ４の間に収まる場合、視差が大きいほど左補正画像および右補正画像に乗じられる混合比率を大きく算出してもよい。これは、「逆光時」には、視差が小さいほど暗く映ってしまうことが想定されるため、輝度を高める補正がなされた補正画像の混合比率を大きくするのが好ましいからである。閾値ＴＨ３および閾値ＴＨ４は適宜変更されてもよい。

なお、混合比率算出部１５２は、閾値ＴＨ３より視差が小さい場合には、左補正画像および右補正画像に乗じられる混合比率を「０」とし、閾値ＴＨ４より視差が大きい場合には、左補正画像および右補正画像に乗じられる混合比率を「１」としてもよい。また、図８に示すように、視差が閾値ＴＨ３より大きく閾値ＴＨ４より小さい区間では、混合比率が線形的に変化してもよい。

また、混合比率算出部１５２は、例えば、「スポットライト時」に撮影されたと推定された場合には、視差が閾値ＴＨ１から閾値ＴＨ２の間に収まる場合、視差が大きいほど左補正画像および右補正画像に乗じられる混合比率を小さく算出してもよい。これは、「スポットライト時」には、視差が大きいほど明るく映ることが想定されるため、輝度を高める補正がなされた補正画像の混合比率を小さくするのが好ましいからである。閾値ＴＨ１および閾値ＴＨ２は適宜変更されてもよい。

なお、判定部１５１が設けられていない形態も想定される。その場合、「逆光時」に撮影されたか「スポットライト時」に撮影されたかを推定する機能がないため、どちらの場合に撮影されるのかがあらかじめ決められてもよいし、ユーザやアプリケーションによって決められてもよい。

混合部１６０Ａは、左画像混合用の混合比率に基づいて左画像および左補正画像を混合する。また、混合部１６０Ｂは、右画像混合用の混合比率に基づいて右画像および右補正画像を混合する。より詳細には、例えば、補正画像の画素値をＰ（補正画像）とし、補正前の撮像画像をＰ（元画像）とし、補正画像に乗じられる混合比率をＫとした場合、以下の（式１）に基づいて混合される。

Ｐ（補正画像）ｘＫ＋Ｐ（元画像）ｘ（１−Ｋ）・・・（式１）

なお、（式１）に基づく混合の手法は、混合部１６０Ａおよび混合部１６０Ｂによる混合の手法の一例に過ぎないため、混合部１６０Ａおよび混合部１６０Ｂによる混合の手法は、かかる例に限定されない。

以上、画像処理装置１０が有する機能について説明した。以下では、画像処理装置１０の動作の流れについて説明する。図９は、画像処理装置１０の動作の流れを示すフローチャートである。なお、図９に示した動作の流れでは、説明の簡便さのため、左画像および右画像の各々を区別していない。すなわち、実際には、左画像および右画像の双方に対する画像処理がなされるが、図９には、左画像および右画像の一方に対する画像処理の流れが示されている。

まず、カメラ２０により撮像画像（左画像および右画像）が取得され（ステップＳ１）、現像処理部１１０により必要に応じて撮像画像（左画像および右画像）に対して現像処理が施された後、輝度補正部１２０は、撮像画像（左画像および右画像）の輝度を補正することにより補正画像（左補正画像および右補正画像）を生成する（ステップＳ２）。続いて、視差検出部１３０は、撮像画像（左画像および右画像）に基づいて視差（左画像基準の視差および右画像基準の視差）を検出する（ステップＳ３）。続いて、判定部１５１は、左画像および右画像の少なくともいずれか一方の画像の輝度と当該画像基準の視差との組み合わせの分布に基づいて、撮像画像（左画像および右画像）の性質を判定する（ステップ４）。撮像画像（左画像および右画像）の性質の判定では、例えば、判定部１５１により、撮像画像（左画像および右画像）が「逆光時」に撮影されたのか、「スポットライト時」に撮影されたのかが推定される。

判定部１５１は、撮像画像（左画像および右画像）が「逆光時」に撮影されたと推定した場合には、第１の混合比率算出手法を用いて、混合比率を算出する（ステップＳ６）。一方、判定部１５１は、撮像画像（左画像および右画像）が「スポットライト時」に撮影されたと推定した場合には、第２の混合比率算出手法を用いて、混合比率を算出する（ステップＳ７）。第１の混合比率算出手法および第２の混合比率算出手法の各々については、既に述べた通りである。

続いて、混合部１６０は、混合比率算出部１５２により算出された混合比率に基づいて、補正画像（左補正画像および右補正画像）と撮像画像（左画像および右画像）とを混合する（ステップＳ８）。以上に示したような動作によって、混合された後の画像が提供される。

以上、画像処理装置１０の動作の流れについて説明した。なお、本実施形態に係る技術は、既に開示されている先行技術文献に記載された技術とは異なっている。特開平１１−３２２３６号公報に開示された技術は、例えば、撮影により得られた画像に対してガンマ処理を施すことで暗部を持ち上げる技術である。かかる技術によれば、簡易に逆光補正を行うことができる。しかし、当該公報に開示された技術によれば、基本的に単一のガンマカーブを全画面に適用するため、暗部（例えば、前景部）以外にも影響が及んでしまうため適正露出領域（例えば、背景部）の階調が失われ、白飛びしてしまうという現象も生じ得る。また、画像の内容を見てガンマカーブを画像内の位置に応じて適応的に変化させる等の関連技術も存在するが、誤判定により画像が不自然になることが避けられない。

特開２０００−９２３７８号公報に開示された技術では、露出を変えて撮影した２枚の画像を合成する技術であり、高い逆光補正効果を享受することができる。しかし、動きの速い物体が撮影された場合には、物体の位置のずれが大きくなるため合成後の画像が不自然な画像となってしまう。また、撮影時にモード設定してから２枚撮影を行う必要がある点が煩雑である。

本実施形態に係る技術によれば、ステレオカメラで撮影された画像を対象とした逆光補正処理を行うことができ、処理対象のみを正確に補正する（非補正領域には影響を与えずに補正する）ことによって自然な処理結果を得ることが可能となる。また、本実施形態に係る技術によれば、撮影時にモード設定などを行う必要がなく、撮影後でも後処理によって逆光補正効果を享受することが可能である。

さらに、本実施形態に係る技術によれば、逆光時の暗部補正だけではなく画像の性質に応じた暗部補正を行うことも可能である。例えば、逆光時に被写体が暗くなってしまう状況やスポットライトやフラッシュが当たって被写体の背景が暗く沈んでしまう状況のいずれにも対応する幅広い暗部補正を行うことが可能である。

本実施形態に係る技術が奏する効果は、例えば、以下に示す通りである。まず、第１の効果としては、背景に影響を与えない逆光補正を行うことが可能であるという点が挙げられる。逆光時というのは、奥に光源のような明物体があり、その手前に被写体があることで、被写体が暗く沈んでしまうという状況である。本実施形態に係る技術では、ステレオ画像から取得した距離情報を基に、手前に位置する被写体のみを明るく補正することで、適正露出となっている背景領域には影響を与えずに逆光補正を行うことができる。

さらに、本実施形態に係る技術は、逆光時のみならず、スポットライトやフラッシュが当たって被写体の背景が暗く沈んでしまう状況にも対応可能である。すなわち、暗部に影響を与えない正確な暗部補正を行うことが可能であるという点である。例えば、逆光時には手前に位置する被写体のみを明るく補正することで適正露出となっている背景領域には影響を与えずに暗部を補正することができる。また、手前に明るい被写体がある場合には、背景のみを明るく補正することで適正露出となっている被写体には影響を与えずに暗部を補正することができる。本実施形態に係る技術によれば、手前を補正する手法を採用するか、奥を補正する手法を採用するかという判定を行って処理を切り換えるため、両方のパターンに対応することができる。

また、第２の効果としては、動きのある物体が撮影された場合でも自然な暗部補正を行うことが可能であるという点が挙げられる。２枚の画像を合成するという点においては、特開２０００−９２３７８号公報に開示された技術と変わりない。しかし、本発明の実施形態に係る技術では、補正後の画像と補正前の元画像とにおいて輝度のみが異なるため、動きのある物体が撮影された場合であっても、合成後の画像が不自然になるといった現象が生じることを防ぐことができる。すなわち、本発明の実施形態に係る技術は、撮影される物体の動きの有無に無関係に適用することができる。

また、第３の効果としては、撮影時のモード設定が不要であり、撮影後からでも補正を可能である点が挙げられる。本実施形態に係る技術においては、ステレオ画像から検出した距離情報を基に補正を行うので、暗部補正を行うか否かに関わらず、撮影時のモードは通常通りの設定のままでよい。そして、撮影後から必要に応じて補正処理を行えば暗部補正が可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 画像処理装置
２０（２０Ａ，２０Ｂ） カメラ
１１０（１１０Ａ，１１０Ｂ） 現像処理部
１２０（１２０Ａ，１２０Ｂ） 輝度補正部
１３０ 視差検出部
１４０ 輝度取得部
１５０ 算出部
１５１ 判定部
１５２ 混合比率算出部
１６０（１６０Ａ，１６０Ｂ） 混合部

Claims (8)

1. ステレオカメラにより撮像された左画像と右画像との間における左画像基準の視差と右画像基準の視差とをブロック毎に検出する視差検出部と、
   前記左画像および前記右画像の各々の輝度を補正することにより左補正画像および右補正画像を生成する輝度補正部と、
   前記左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、前記右画像基準の視差に基づいて右画像混合用の混合比率を算出する混合比率算出部と、
   前記左画像混合用の混合比率に基づいて前記左画像および前記左補正画像を混合するとともに、前記右画像混合用の混合比率に基づいて前記右画像および前記右補正画像を混合する混合部と、
   を備えることを特徴とする、画像処理装置。
2. 前記混合比率算出部は、ブロック毎に検出された前記左画像基準の視差に基づいて左画像混合用の混合比率をブロック毎に算出するとともに、ブロック毎に検出された前記右画像基準の視差に基づいて右画像混合用の混合比率をブロック毎に算出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記視差検出部は、ブロック毎に検出された前記左画像基準の視差に対するブロック間の線形補間により前記左画像基準の視差を画素毎に算出するとともに、ブロック毎に検出された前記右画像基準の視差に対するブロック間の線形補間により前記右画像基準の視差を画素毎に算出し、
   前記混合比率算出部は、画素毎に算出された前記左画像基準の視差に基づいて左画像混合用の混合比率を画素毎に算出するとともに、画素毎に算出された前記右画像基準の視差に基づいて右画像混合用の混合比率を画素毎に算出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
4. 前記輝度補正部は、前記左画像および前記右画像の各々の輝度を高めることにより前記左補正画像および前記右補正画像を生成する、
   ことを特徴とする、請求項１に記載の画像処理装置。
5. 前記混合比率算出部は、前記視差が所定の範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を大きく算出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
6. 前記画像処理装置は、
   前記左画像および前記右画像の少なくともいずれか一方の画像の輝度と当該画像基準の視差との組み合わせの分布に基づいて混合比率算出手法を判定する判定部をさらに備え、
   前記混合比率算出部は、前記混合比率算出手法を用いて、前記左画像混合用の混合比率および前記右画像混合用の混合比率を算出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
7. 前記判定部は、第１の混合比率算出手法および第２の混合比率算出手法のいずれかを判定し、
   前記混合比率算出部は、前記第１の混合比率算出手法を用いる場合には、前記視差が所定の第１範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を大きく算出し、前記第２の混合比率算出手法を用いる場合には、前記視差が所定の第２範囲内に収まる場合、前記視差が大きいほど前記左補正画像および前記右補正画像に乗じられる混合比率を小さく算出する、
   ことを特徴とする、請求項６に記載の画像処理装置。
8. ステレオカメラにより撮像された左画像と右画像との間における左画像基準の視差と右画像基準の視差とをブロック毎に検出するステップと、
   前記左画像および前記右画像の各々の輝度を補正することにより左補正画像および右補正画像を生成するステップと、
   前記左画像基準の視差に基づいて左画像混合用の混合比率を算出するとともに、前記右画像基準の視差に基づいて右画像混合用の混合比率を算出するステップと、
   前記左画像混合用の混合比率に基づいて前記左画像および前記左補正画像を混合するとともに、前記右画像混合用の混合比率に基づいて前記右画像および前記右補正画像を混合するステップと、
   を含むことを特徴とする、画像処理方法。
   

Images