JP2016081149A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ぼかし処理を行う領域に飽和画素が存在しても、被写体の明るさに対応した自然なぼかし処理を行った画像を取得する。【解決手段】入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置。【選択図】図１

Description

本発明は画像処理技術に関する。

現在、デジタル画像を撮影する装置としてデジタルカメラが普及している。ユーザーは撮影したい被写体に対して自動または手動でフォーカスを合わせ、撮影操作を行うことで画像を取得する。フォーカスが合わされた被写体は鮮明に撮影され、フォーカスが合わされなかった被写体はぼけて撮影される。ぼけの度合いは撮像装置により決定され、ユーザーは絞りを変化させることで調整することができる。しかし、スマートフォンなどに搭載されるカメラモジュールやコンパクトデジタルカメラなどでは、絞りを調整できなかったり、被写界深度が深かったりするため、ユーザーが所望とするぼけ量が得られない場合がある。

そこで、主要被写体の背景を画像処理によりぼかすことで、撮影画像よりもぼけ度合いが大きい画像を得る技術が開発されている。例えば、フォーカス位置の異なる複数の画像を連続的に撮影して、各被写体の合焦度合いを判定して距離を推定し、合焦した主要被写体との距離が離れた被写体を平均化することで、背景をぼかした画像を生成する。

ところが、撮影した画像にはガンマ補正処理が行われており、明るさとの関係が非線形であるため、撮影画像をそのまま平均化すると、実際の被写体をぼかして撮影したときとは異なる明るさのぼかし画像となってしまう。また、被写体が明るい場合には、撮影画像の階調値が飽和してしまう可能性があり、撮影画像をそのまま平均化すると、実際の被写体をぼかして撮影したときとは異なる明るさのぼかし画像となってしまう。

そこで、高画質なぼかし処理を行う方法として、撮影画像の階調値を変換した後で、平均化処理をする技術が提案されており、例えば、特許文献１がある。特許文献１では、各画素における背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換を行い、ぼかし処理をした後に前記変換の逆変換を行う。これにより、高階調部分の明るさを強調したぼかし処理を実現している。

特開２００９−２１８７０４号公報

しかし、上記方法は以下のような課題を有する。
特許文献１で開示されているような技術で、ぼかし処理を行ってしまうと、過度に高階調が強調された画像を生成してしまい、シーンによっては画質が劣化してしまう可能性がある。

例えば、特許文献１では、飽和領域だけでなく高階調領域を増幅しているため、被写体を飽和せずに撮影できていた正常な領域まで明るくなり、過度に明るいぼかし画像となる可能性がある。さらに、注目画素の階調にのみ依存した変換となっているため、階調が飽和した領域では、実際の被写体の明るさを考慮せずに一様な変換となっている。つまり、最大階調が２５５の画像において、階調値を５１１として撮影したかった画素を２５５に飽和させた画素と、階調値を２５６として撮影したかった画素を２５５に飽和させた画素と、を同じ階調値に変換することになり、被写体とは異なる不自然な生成画像となる可能性がある。

また、特許文献１では、中階調領域および低階調領域の階調変換も行うため、実際の被写体とは異なる明るさの被写体をぼかして撮影したことになるため、不自然な画像が生成される可能性がある。

さらに、特許文献１の逆変換は、階調値を伸長する変換の逆変換を行うため、十分な明るさのぼかし処理をした画像を生成することができない。例えば、８ビットのデータを１２ビットのデータに変換する場合、飽和した画素である階調値２５５の画素は、階調値４０９５に変換される。この後、ぼかし処理である平均化処理を行うと、飽和した画素は必ず４０９５以下となる。この画素に対して逆変換を行うと、少なくとも２５５以下の画素となる。つまり、飽和した画素がぼかし処理によって飽和領域ではなくなり、目的である高輝度なぼかし画像を得られない可能性がある。

本発明は、ぼかし処理を行う領域に飽和画素が存在しても、被写体の明るさに対応した自然なぼかし処理を行った画像を提供することを目的とする。

本発明の一観点によれば、入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置が提供される。

本発明の画像処理装置および画像撮像装置によれば、実際の被写体をぼかして撮影したような、自然な画質となるぼかし画像を画像処理で合成することが可能となる。

本発明の実施の形態による画像処理装置の一構成例を示す機能ブロック図である。 注目画素と周辺画素の階調値の例を示す図である。 注目画素と周辺画素の階調値の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画像情報の例を示す図である。 画像情報に対応した距離情報の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 階調変換特性の例を示す図である。 本実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第２の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第３の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第４の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第５の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第７の実施の形態による画像撮像装置の一構成例を示す図である。

以下、図面を使って本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。

（実施形態１）
図１は、本実施形態による画像処理装置の一構成例を示す機能ブロック図である。図１８は、画像処理方法の処理の流れを示すフローチャート図である。本実施形態の画像処理装置１００は、飽和度判定部１０１、第一階調変換部１０２、ぼかし処理部１０３、第二階調変換部１０４、を備える。画像処理装置１００には入力画像情報が入力され、画像処理を行った結果を出力画像情報として出力する。飽和度判定部１０１は、入力画像情報の飽和画素の飽和度を判定する。第一階調変換部１０２は、飽和度判定部１０１で判定された結果に基づいて、入力画像情報の階調変換を行う。ぼかし処理部１０３は、第一階調変換部１０２で階調変換された画像情報に対してぼかし処理を行う。第二階調変換部１０４は、ぼかし処理部１０３でぼかし処理が行われた画像情報の階調変換を行い出力画像情報として出力する。

ステップＳ１では、入力画像情報を取得する。ステップＳ２では、飽和度判定部１０１が、飽和画素に対する飽和度を算出する。飽和度は、飽和画素の飽和度合いを判定するものであり、飽和度が大きいほど飽和度合いが大きい。ステップＳ３では、第一階調変換部１０２が、算出した飽和度を使用して第一階調変換を行う。飽和度が大きいほど、変換により出力される階調値が大きくなるように変換する。ステップＳ４において、ぼかし処理部１０３が、第一階調変換が行われた画像情報に対してぼかし処理をする。ぼかし処理は、注目画素と周辺画素を特定範囲で平均化することで実現される。また、特定範囲は、合焦被写体とぼかす被写体との距離に応じて変化させることで、距離に応じた自然なぼかし処理ができる。ステップＳ５において、第二階調変換部１０４が、ぼかし処理が行われた画像情報に対して階調変換をする。飽和領域の画素を出力画像情報の最大階調値に飽和させるように階調変換を行う。ステップＳ６では、画像処理が行われた画像情報が出力される（図１８）。

画像処理装置１００の各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

入力された画像情報は飽和度判定部１０１によって、各画素の飽和画素の飽和度合いを判定する。例えば、８ビットデータである０から２５５階調の画像情報であれば、２５５階調である画素が飽和画素となる。ただし、撮影条件や保存条件によって飽和する階調値が異なる場合には、飽和した階調値とみなすことが可能な階調値を、飽和階調値として適宜設定しても良い。例えば、ノイズが大きい場合等は２５４を飽和階調値としたり、１６から２３５の階調値を使用している画像情報であれば２３５を飽和階調値としたりすることができる。

飽和度判定部１０１が判定する飽和度合いは、飽和画素の階調値が本来どの程度の明るさであったかを示す、被写体の明るさ度合いである。すなわち、飽和階調値２５５に対して、本来であれば２５６階調であった画素が２５５となった僅かに飽和した画素か、本来であれば５１１階調であった画素が２５５となった大きく飽和した画素か、を判定する。

注目画素の飽和度合いは、注目画素が飽和しているかだけでなく、周囲の画素の明るさを利用して判定するのが好適である。例えば、注目画素の周囲の画素の飽和画素の数や注目画素を含む特定領域の平均階調値を飽和度として算出し、飽和度合いを判定することができる。つまり、明るい被写体の面積が大きい方を、より明るい被写体と推定して飽和度合いを判定する。

図２は、注目画素と周辺画素の階調値を示す例であり、図２（ａ）では中央に配置されている注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている周辺画素の飽和画素は８画素中４画素である。一方、図２（ｂ）では中央に配置されている注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている８個の周辺画素も全ての画素が飽和画素となっている。

このとき、図２（ｂ）の画像は図２（ａ）の画像よりも飽和度が高く、実際の被写体の明るさが明るかったと判定することができる。これは、明るい被写体の周辺部分は他の被写体からの光と合わさって明るさが低下するので、明るい被写体の中央部分は周辺よりも明るいと推定できるためである。したがって、図２（ｂ）は、図２（ａ）よりも周辺画素が明るく飽和しているため、図２（ｂ）は、図２（ａ）よりも明るい被写体であったと推定することができる。周辺画素の明るさの算出は、周辺画素の飽和画素の数を算出したり、周辺画素の階調値の和を算出したり、周辺画素の階調値の平均値を算出したり、することで算出することができる。ここで、各周辺画素の明るさの算出に注目画素の値が含まれていても構わない。

また、図３は、注目画素と周辺画素の階調値を示す他の例で、図２とは周辺画素の範囲が異なっている。図３（ａ）は、図２（ｂ）と同様に、中央に配置している注目画素の階調値が２５５で飽和しており、注目画素に周辺に配置されている周辺画素のうち、近くに配置されている８画素が飽和画素で、その他の１６画素のうち１１画素が飽和画素となっている。一方、図３（ｂ）では中央に配置している注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている２４個の周辺画素も全ての画素が飽和画素となっている。

このとき、図３（ｂ）は図３（ａ）よりも飽和度が高く、実際の被写体の明るさが明るかったと判定する。これは、図３（ｂ）の方が、図３（ａ）よりも広範囲で飽和画素が配置されているためである。したがって、図２と図３の関係から、周辺画素の範囲を変えることによって、注目画素の飽和度を判定することもできる。すなわち、図３（ｂ）は図３（ａ）または図２（ｂ）よりも飽和度が高く、図３（ａ）または図２（ｂ）は図２（ａ）よりも飽和度が高いと判定することができる。このようにして算出した飽和度は、第一階調変換部１０２に伝達される。
第一階調変換部１０２では、飽和度判定部１０１で判定した飽和度を考慮して階調変換を行う。

階調変換は、例えば、図４に示した特性によって行うことができる。ここで、図４における入力画像情報の階調値は０から２５５であり、飽和度判定部１０１で算出した飽和度は０から７までの８段階としている。入力画像情報の注目画素の階調値が２５５である場合には、飽和度が算出されており、本実施形態の一例では、階調値２５５に飽和度を加算して階調変換の入力階調とする。例えば、飽和度が５であった場合には、階調変換の入力階調は２６０となる。このような処理により、飽和画素の明るさを推定した結果を反映した入力画像情報の階調値を得ることができる。出力階調値は０から４０９５としているが、これはぼかし処理による階調値の精度を向上するためであり、他の階調範囲でも構わない。このような階調変換は、入力階調値と出力階調値を関連付けたＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）により実現することができる。また、上記では、入力画像情報の階調値に飽和度を加算した値を入力として階調を変換したが、０から２５４は図４の対応領域を使用し、階調値が２５５である場合は飽和度にしたがって出力階調値を割り当てるようにしても同様の結果となる。

ここで、被写体の明るさと画像情報の階調値の関係が線形であれば図４の変換が好ましいが、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ファイルなどの圧縮された画像情報を入力画像情報とした場合、ガンマ補正が行われて、被写体の明るさと画像情報の階調値の関係が線形では無い場合がある。その場合には、被写体の明るさと画像情報の階調値の関係が線形となるよう、第一階調変換部１０２で階調変換を行う。図５に階調変換の例を示す。入力階調値が０から２５４の場合には、ガンマ補正を逆補正して明るさと階調値が線形になるような変換処理が行われる。入力画像情報のガンマ補正が不明な場合などは、入力画像情報がｓＲＧＢであると仮定して行うことも可能である。

さらに、ガンマ補正に対応した変換を行うときに、入力画像情報の低階調部分では量子化の影響で分解能が低下する可能性が有る。このとき、図６に示すように、低階調部分は線形関係の階調変換を行うことで、階調の劣化を防ぐことができる。

第一階調変換部１０２により階調変換された画像情報は、飽和画素が被写体の明るさに応じて推定されている。図７（ａ）は入力画像情報であり、図７（ｂ）は第一階調変換部１０２により階調変換された画像情報の例を示しており、入力画像情報の階調値と被写体の明るさは線形関係である。図７（ａ）では、画像の明るさが一部飽和している。一方、図７（ｂ）では、図７（ａ）で飽和していた領域について、被写体の明るさを推定して階調値が与えられている。これは、飽和度判定部１０１により、特定範囲の飽和画素の量などによって飽和度を算出したためである。

図８は、図７（ａ）の状態を従来の方法で階調変換したときの状態を示しており、図８（ａ）は、入力画像情報の階調値に応じて階調値を伸長する変換をする場合を、図８（ｂ）は、飽和画素だけを伸長する変換をする場合を示している。図８（ａ）では、入力画像情報の階調値のみに基づいて階調を変換しているため、０から２５４の明るさと階調値の関係が歪み、飽和画素は飽和したままとなってしまう。一方、図８（ｂ）では、飽和画素の階調のみを伸長する階調変換であるため、飽和画素のみが明るくなり過ぎ、飽和画素も飽和したままとなってしまう。本実施形態のように、飽和度に応じて階調変換を行うことにより、図７（ｂ）のように被写体の明るさを、滑らかで自然な階調として飽和画素の階調値を推定することができる。

図９には、図７とは異なる画像情報の階調値の例を示す。図９（ａ）は、図７（ａ）と比べて、飽和画素の範囲が狭くなっている。図９（ｂ）は第一階調変換部１０２で階調変換された画像情報を示している。図９（ａ）の飽和画素の範囲が狭いため、飽和度判定部１０１で算出された飽和度が最大とならず、階調変換後の階調値も最大とならないため、自然な明るさ変化として被写体の明るさが推定できている。

図１０には図９（ａ）の状態を従来の方法で階調変換したときの状態を示しており、図１０（ａ）は、入力画像情報の階調値に応じて階調値を伸長する変換をする場合を、図１０（ｂ）は、飽和画素だけを伸長する変換をする場合を示している。図１０（ａ）では、入力画像情報の階調値のみに基づいて階調を変換しているため、０から２５４の明るさと階調値の関係が歪み、飽和画素は飽和したままとなってしまう。一方、図１０（ｂ）では、飽和画素の階調のみを伸長する階調変換であるため、飽和画素のみが明るくなり過ぎ、飽和画素も飽和したままとなってしまう。

したがって、本実施形態のように、飽和度に応じて階調変換を行うことにより、図９（ｂ）のように被写体の明るさを、滑らかで自然な階調として飽和画素の階調値を推定することができる。

第一階調変換部１０２により階調変換された画像情報は、ぼかし処理部１０３によりぼかし処理が行われる。ぼかし処理は、注目画素と周辺画素との平均化によって実現することが可能である。平均化処理としては、各画素の重みを同一とする方法、注目画素からの距離に応じて重み付けをする方法、など適宜選択することができる。

どの程度ぼかし処理を行うかに関するぼかし処理の強度は、平均化する範囲を変化させることで調整することが可能である。平均化する範囲が大きい場合には、ぼかし強度が大きくなり、平均化する範囲が小さい場合には、ぼかし強度が小さくなる。

また、ぼかしの形状に関しては、平均化する範囲の形状に基づき、例えば、四角形、六角形、八角形、など平均化する範囲の形状を調整することで、ぼかしの形状も変化させることが可能である。したがって、ぼかしの形状をユーザーが調整できるように設定しておくと、ユーザーが好むぼかしの形状を得ることが可能となる。

図１１は、画像情報の例であり、撮影した場所から近い順番に、被写体Ａ、被写体Ｂ、被写体Ｃの順に配置されている。

図１２は、図１１に示す画像情報に対応した距離情報を示す図である。図１２では濃淡により示される距離情報は従来の技術により取得することができ、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）やステレオカメラなどから算出することができる。また、距離情報は、異なる焦点位置で撮影された画像からも算出することができ、注目画素における各画像の合焦度を比較することで、距離情報を算出することができる。このような距離情報は、入力画像情報と対応して画像処理装置１００に画像情報とともに入力される。

ぼかし処理部１０３は、距離情報に基づいてぼかし処理を行う。例えば、近景合焦領域である被写体Ａを合焦させ背景をぼかす場合には、被写体Ａの距離と、各被写体の距離と、の差に基づいてぼかし強度を変化させてぼかし処理を行う。つまり、被写体Ａはぼかし処理を行わず、被写体Ｂはぼかし処理を行い、被写体Ｃは被写体Ｂよりも大きいぼかし強度でぼかし処理をする。ここで、ぼかし処理強度が複数ある場合の処理方法は、距離情報に基づいて平均化範囲を距離が遠いほど範囲を広くするように変化させて平均化処理を行っても良いし、平均化範囲が異なる画像を作成して距離情報に基づいて、平均化範囲が異なる画像の中から画素を選択するようにしても良い。

被写体Ａとは異なる他の被写体を合焦させてぼかし処理をすることも可能であり、例えば、被写体Ｂを合焦させて、他の被写体をぼかす場合には、被写体Ｂの距離と、他の被写体の距離と、の差に基づいて、ぼかし処理のぼかし強度を変化させてぼかし処理を行う。したがって、ユーザーが合焦する被写体を指定できるようにしておくと、ユーザーが好むぼかし処理を行った画像を得ることができる。

尚、本実施形態では距離情報に基づいてぼかし処理を行う例について説明したが、他のぼかし処理を用いることもできる。例えば、ユーザーが指定した領域、または、ユーザーが指定しなかった領域をぼかすぼかし処理を行うことも可能である。

ぼかし処理部１０３においてぼかし処理が行われた画像情報は、第二階調変換部１０４に伝達され階調変換が行われる。例えば、図１３のような特性に基づいて階調変換処理を行うことができる。図４の特性を利用して第一階調変換を行い、次いでぼかし処理が行われた画像情報の階調値は０から４０９５となっており、画像処理装置１００からの出力画像情報を０から２５５の階調として出力する場合を例示している。

図１３における入力階調値が１０２３以上の階調は、画像処理装置１００の入力画像情報では飽和画素であったため、１０２３から４０９５までの階調を２５５として出力する。１０２３より小さい階調は、線形関係を保って０から２５５の間の階調へ変換される。

尚、ガンマ補正を考慮して出力画像情報を出力する場合には、図１４に示す特性のように、１０２３より小さい値を変換するときに、ガンマ補正を考慮した変換を行うと良い。さらに、第一階調変換部１０２において、図６のような特性で階調変換を行っている場合には、線形関係で変換された低階調領域は、線形関係を保持して変換し、その他の領域でガンマ補正を考慮した変換とすることで、入力画像情報の明るさと対応した出力画像を生成することができる。このような変換を行うことにより、入力画像情報に対する出力画像情報の明るさの関係を維持することができ、自然なぼかし処理を行った画像情報を出力することが可能となる。

第二階調変換部１０４により階調変換された画像情報は、画像処理装置１００に入力されたときに飽和画素であった階調を飽和画素として出力している。

図１５（ａ）は、第二階調変換部１０４に入力される画像情報であり、図１５（ｂ）は、第二階調変換部１０４から出力される画像情報の例を示しており、画像情報の階調値と被写体の明るさは線形関係である。図１５（ａ）では、飽和画素の階調値に対応していた１０２３以上の階調値を有している画素が存在している。一方、図１５（ｂ）では、２５５以下の階調値に変換されるとともに、１０２３より大きい階調を有する画素が、２５５の階調値に飽和して変換されている。これにより、飽和度によって被写体の明るさが推定されて伸長されていた階調値が、伸長前の階調に戻る変換が行われ、入力画像情報の明るさに対応した出力画像情報を出力することができる。

図１６には、従来の方法を使って、階調値のみに基づいて階調変換をした場合の例を示す。例えば、図８や図１０のような従来の方法で階調変換した後でぼかし処理を行った結果が図１６（ａ）であり、階調値のみに基づいて図８および図１０の逆変換をした場合が図１６（ｂ）となる。図１６（ｂ）のように、階調を伸長する階調変換の前には飽和画素であった領域が、出力画像情報となったときに飽和画素とならず、画像が暗くなってしまう。つまり、従来の方法では、入力画像情報の明るさに対応した出力画像情報を出力することができていない。このように、図１５のような変換をすることにより、入力画像情報の明るさに対応した出力画像情報を出力することができる。

上記で説明したように、本実施の形態によれば、入力画像情報の飽和画素の飽和度を算出して、階調変換をした後にぼかし処理をすることで、被写体の明るさを考慮した自然なぼかし画像を得ることができる。さらに、入力画像の飽和階調を考慮して、ぼかし画像を階調変換することにより、入力画像情報の明るさに対応した出力画像情報を得ることができる。

上記実施形態では、１枚の画像情報の処理について説明したが、連続的した画像情報として入力し、各画像情報がフレームに対させることで、動画の画像処理としても適用することも可能である。

（実施形態２）
本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。

本実施形態における画像処理装置１００は、実施形態１の画像処理装置１００と比較して、第一階調変換部１０２での階調変換の方法が異なる。実施形態２での入力画像情報はカラー画像を対象とし、第一階調変換部１０２における階調変換を、白色での飽和と特定色での飽和とで異なる処理とする。

図１９は、実施形態２における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ１の処理は、図１８と同様である。

例えば、赤色、緑色、青色、の３チャネルで構成されるカラー画像において、白色での飽和は、赤色、緑色、青色の階調が飽和している状態で、特定色での飽和は、赤色、緑色、青色のうち少なくとも１チャネルの階調が飽和し、少なくとも１チャネルが飽和していない状態である。

飽和画素の階調値の推定は、白色の飽和、および、色の飽和、の両方で行うことが可能であるが、白色の飽和は、色の飽和よりも明るい被写体であるので、異なる明るさとして推定する必要がある。つまり、白色の飽和度と色の飽和度を別々に算出して階調変換を行う。

飽和度判定部１０１では、実施形態１と同様の動作で実現できるが、白色飽和画素と色飽和画素のそれぞれで飽和度を算出する（ステップＳ１２）。例えば、注目画素のチャネルの最小階調値を算出して、最小階調値が２５５で飽和していれば白色飽和画素として処理を行い、白色飽和画素でなく、かつ、注目画素のチャネルの最大階調値を算出して、最大階調値が２５５で飽和していれば色飽和画素として処理をする。このように飽和画素を定義することで、白色飽和と色飽和の飽和度を算出することができる。

飽和度判定部１０１で算出した飽和度に基づいて、第一階調変換部１０２において階調変換を行う（ステップＳ１３）。

図１７は、第一階調変換部１０２の階調変換の特性の例を示している。図１７（ａ）は白色飽和画素の階調変換の特性であり、図１７（ｂ）は色飽和画素の階調変換の特性である。白色飽和画素は色飽和画素よりも明るいと被写体であったと推定されるため、図１７では、被写体の明るさと対応させるために、階調変換の最大値を、白色飽和画素の場合と色飽和画素の場合とで異ならせている。図１７（ａ）は白色飽和画素の階調変換特性で、出力階調値の最大値を４０９５としている。一方、図１７（ｂ）は色飽和画素の階調変換特性で、飽和度が同じでも白色飽和画素より暗くなるように、出力階調値の最大値を２０４７としている。第一階調変換部１０２から出力された画像情報は、実施形態１と同様に、ぼかし処理部１０３（ステップＳ１４）と第二階調変換部１０４（ステップＳ１５）にて処理され出力画像情報とされる（ステップＳ１６）。各部における処理は、チャネル毎に独立して処理をすることで実現可能である。つまり、赤色であれば、赤色のチャネル内で平均化され、入力画像情報において飽和であった階調領域を、赤色のチャネルにおいて飽和画素として階調変換し出力する。他のチャネルも同様である。

以上で説明した処理を行うことにより、飽和画素を被写体の明るさに応じて自然なぼかし処理を実現できるとともに、白色飽和画素と色飽和画素とで異なる階調変換を行うことにより、色飽和より白色飽和の方が明るく、被写体の明るさに対応した出力画像を得ることが可能となる。

ここで、本実施形態では、図１７（ａ）および図１７（ｂ）の２種類の階調変換特性で説明したが、例えば、飽和画素を白色飽和、２チャネル色飽和、１チャネル色飽和の３種類とし、階調変換特性を３種類としても良い。つまり、白色飽和、２チャネル色飽和、１チャネル色飽和の順で、被写体の明るさが大きいと推定するように階調変換を行う。

また、２種類の階調変換特性は、入力階調が０から２５４までは共通であるので、色飽和領域の変換値を白色飽和の階調特性を使って算出するようにしても良い。例えば、図１７（ａ）において、飽和画素の最小値である１０２３と、飽和度に応じて与えられる変換値との差分を算出し、その１／２を飽和画素の最小値である１０２３に加算して色飽和画素の階調変換値とする。このとき、色飽和画素の階調変換値の最大値は２５５９となる。つまり、白色飽和の階調特性で変換値を算出し、その値に基づいて、白色飽和より小さい値が変換値として変換されるようにする。

本実施の形態によれば、カラー画像において、入力画像情報の飽和画素の飽和度をチャネル毎に算出して、それぞれのチャネル毎に階調変換をした後にぼかし処理をすることで、カラー画像において、被写体の明るさと色を考慮した、より自然なぼかし画像を得ることができる。さらに、入力画像の飽和階調を考慮して、ぼかし画像を階調変換することにより、入力画像情報の明るさに対応した出力画像情報を得ることができる。

（実施形態３）
本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。

図２０は、実施形態３における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ２３の処理としている。

本実施形態における画像処理装置１００は、実施形態１の画像処理装置１００と比較して、ぼかし処理部１０３における平均化の範囲によって、第一階調変換部の階調変換を異ならせるようにする（ステップＳ２３）。

実施形態１において、平均化をする範囲を異ならせるとぼかし強度が変化することを説明した。このとき、飽和画素の明るさ推定値の大きさによって、ぼかし処理後の画像の明るさが変化する。これは、平均化する範囲が異なると飽和画素の影響度合いが変化するためである。例えば、飽和画素が１つで、階調値が２５５から４０９５に変換されるとき、平均化する範囲が３×３の９画素の範囲か、９×９の８１画素の範囲か、によって、影響度合いが異なる。９画素中の１画素が伸長された階調である場合と、８１画素中の１画素が伸長された階調である場合とでは、前者の方が平均化した値が大きくなる。

したがって、飽和画素の推定値が過度に大きすぎると明るくぼかし過ぎてしまう可能性があるため、平均化する範囲が小さくなる場合には、第一階調変換部１０２で変換する階調値の最大値を小さくし、平均化する範囲が大きくなる場合には、第一階調変換部１０２で変換する階調値の最大値を大きくすると、適切なぼかし処理が可能となる。

このように、本実施形態では、画像情報に対応した距離情報に基づいてぼかし処理を行うときに、合焦被写体とぼかし対象の被写体との距離に基づいて平均化する範囲が変化するので、距離に応じて階調変換の最大値を変化させることで、適切なぼかし処理が可能となる。

（実施形態４）
本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。

図２１は、実施形態４における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ３３の処理としている。

本実施形態における画像処理装置１００は、ぼかし処理部１０３のぼかし強度によって第一階調変換部１０２の階調変換値の最大値を異なるように調整する（ステップＳ３３）。ぼかし処理部１０３のぼかし強度は、ぼかし処理の強さを表し、強度が強いほどぼけが大きくなり、強度が弱いほどぼけが小さくなる。また、ぼかし強度は、入力画像情報のシーン、合焦被写体までの距離、近景被写体から遠景被写体までの距離、などによって自動で設定する場合と、ユーザーが撮影前、または、撮影後に手動で設定する場合がある。

ぼかし強度を変化させるためには、各距離で設定されている平均化する範囲を調整する。例えば、ぼかし強度を強くする場合、合焦被写体から対象被写体のまでの距離に基づいて設定されている平均化する範囲を、それぞれ１段階広く設定する。一方、ぼかし強度を弱くする場合、合焦被写体から対象被写体のまでの距離に基づいて設定されている平均化する範囲を、それぞれ１段階狭く設定する。

ここで、実施形態３で説明したように、平均化する範囲に基づいて階調変換値の最大値を変化させると、自然な明るさでぼかし処理が行える。したがって、ぼかし処理の強度を強くする設定であれば、平均化範囲がより広く設定されるので、変換階調値の最大値を大きくし、ぼかし処理の強度を弱くする設定であれば、平均化範囲がより狭く設定されるので、変換階調値の最大値を小さくする。例えば、ぼかし強度が強い場合には、図１７（ａ）のように変換階調値の最大値を４０９５とし、ぼかし強度が弱い場合には、図１７（ｂ）のように変換階調値の最大値を２０４７とする。このように、設定されたぼかし強度によって、階調変換値の最大値を変化させることにより、適切な明るさで自然なぼかし処理が可能となる。

（実施形態５）
本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。

図２２は、実施形態５における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ４３の処理としている。

本実施形態における画像処理装置１００は、入力画像情報の解像度によって、第一階調変換部１０２の階調変換値の最大値を異なるように調整する（ステップＳ４３）。ぼかし処理部１０３で、ぼかし処理のために平均化する範囲は、被写体を基準とした範囲で設定されている。つまり、同じシーンを同じ画角で撮影した場合における任意の平均化する範囲の画素数は、解像度が高い画像情報の方が、解像度が低い画像上よりも多くなる。これは、同一の被写体の範囲の画素分解能が異なるためである。したがって、解像度が高い入力画像情報をぼかし処理する場合には、解像度が低い入力画像情報をぼかし処理する場合より、平均化する注目画素と周辺画素の合計画素数が多くなる。

ここで、実施形態３で説明したように、平均化する範囲に基づいて階調変換値の最大値を変化させると、自然な明るさでぼかし処理が行える。したがって、入力画像情報の解像度が高い場合には、第一階調変換部１０２で階調変換する階調変換出力値の最大値を大きくし、入力画像情報の解像度が低い場合には、第一階調変換部１０２で階調変換する階調変換出力値の最大値を小さくすることで、自然な明るさでぼかし処理を行うことが可能となる。例えば、入力画像情報の解像度が大きい場合には、図１７（ａ）のような階調変換特性とし、入力画像情報の解像度が小さい場合には、図１７（ｂ）のような階調変換特性とすることで実現可能である。

（実施形態６）
本実施形態では、図１８から図２２までのように上記実施形態で示した機能を実現する画像処理方法を、例えば、機能を実現する画像処理方法をプログラムとして記憶媒体に記録しておく。コンピュータにより記憶媒体に記録されたプログラムを読み込み、実行させることで実現できる。記憶媒体としては、光ディスク、磁気ディスク、フラッシュメモリ、などが使用可能である。また、上記プログラムをインターネットなどのネットワーク回線を利用して提供することも可能である。さらに、ＦＰＧＡで使用可能な回路情報として画像処理方法を記録しておくこともできる。回路情報は記録媒体やネットワークを介して提供され、ＦＰＧＡにダウンロードして画像処理を実現する。

上記図１８から図２２までのようなフローにより、本実施形態の画像処理方法を実現することが可能であり、被写体の明るさに対応し、自然なぼかし処理を行った画像情報を得ることが可能となる。

（実施形態７）
本実施形態の画像撮像装置２００は、画像処理装置１００を備え、実施形態１と共通する各部の詳細な説明は省略する。

本実施形態における画像撮像装置２００の構成例を図２３に示す。画像撮像装置２００は、画像処理装置１００に加え、撮像部２０１、記憶部２０２、画像表示部２０３を備える。撮像部２０１は、被写体を撮影して画像情報を取得し、画像処理装置１００に画像情報を入力する。このとき、画像情報と対応した距離情報も入力する。距離情報は、撮像部２０１でＴＯＦなどの距離センサにより取得しても良いし、ステレオ画像を撮影して視差情報を算出して距離情報を算出しても良いし、異なる焦点位置で撮影した複数の画像から合焦度を算出して距離情報を算出しても良い。

画像処理装置１００では、飽和画素の飽和度を判定して階調変換した後で、ぼかし処理が行われる。画像処理装置１００から出力された画像情報は、任意の形式で記憶部２０２に保存される。また、画像処理が行われた画像情報は、画像表示部に表示することができる。

以上で説明したように、画像処理装置１００を備えた画像撮像装置２００により、被写体が飽和して撮影された場合でも、飽和画素の飽和度により被写体の明るさを推定し、被写体の明るさに対応し、自然なぼかし処理が行われた画像情報を取得することが可能な、画像撮像装置を実現することができる。

処理および制御は、ＣＰＵやＧＰＵによるソフトウェア処理、ＡＳＩＣやＦＰＧＡによるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

１００ 画像処理装置
１０１ 飽和度判定部
１０２ 第一階調変換部
１０３ ぼかし処理部
１０４ 第二階調変換部
２００ 画像撮像装置
２０１ 撮像部
２０２ 記憶部
２０３ 画像表示部

Claims (13)

1. 入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、
   前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、
   前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、
   前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置。
2. 前記飽和度は、注目画素の周辺画素の明るさに基づいて算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記飽和度は、注目画素の周辺画素のうち、飽和している画素の数に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記飽和度は、注目画素の周辺画素の階調値の和に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記第一階調変換部は、
   前記飽和度判定部により算出された飽和度が大きいほど、変換により出力される階調値が大きくなるように変換することを特徴とする請求項１または請求項２に記載の画像処理装置。
6. 前記入力画像情報の解像度が大きいほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
7. 前記第一階調変換部が、前記入力画像情報の白色飽和画素と色飽和画素との階調変換を異ならせることを特徴とする、請求項１または請求項２に記載の画像処理装置。
8. 前記飽和度が同じ程度である場合には、前記白色飽和画素の出力階調値が前記色飽和画素の出力階調値よりも大きくなるように階調変換を行うことを特徴とする、請求項７に記載の画像処理装置。
9. 前記ぼかし処理部は、
   設定されたぼかし強度によってぼかし処理の強度を変化させ、
   前記ぼかし強度が強いほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
10. 前記ぼかし処理部は、
    前記入力画像情報に対応した距離情報に基づいて、ぼかし処理をする範囲を変化させ、前記ぼかし処理の範囲が広いほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
11. 画像情報を取得する撮像部を備えた撮像装置において、
    請求項１から請求項１０までのいずれか１項に記載の画像処理装置を備えたことを特徴とする、撮像装置。
12. 入力される入力画像情報に対してぼかし処理をするぼかし処理ステップを備えた画像処理方法において、
    前記入力画像情報の飽和画素の飽和度を算出する飽和度判定ステップと、
    前記飽和度判定ステップで算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換ステップと、
    前記ぼかし処理ステップは、前記第一階調変換ステップで階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換ステップと、を備えたことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images