JP2007272555A - 画像処理装置 - Google Patents

Abstract

【課題】フォーカスを合わせて撮像した画像において、フォーカスの合った部分のみを高域強調補正して鮮明な画像を得る画像処理装置を提供する。
【解決手段】２次元画像を高域周波数成分とコントラスト比成分と輝度成分と彩度成分との合成からなる距離成分毎に区分けして距離成分が高いほど２次元画像を撮影した撮影者からの距離が近いとする複数の距離別画像を生成する距離別画像生成部２と高域周波数成分の最も大きい距離別画像を選択するフィルタ部３とフィルタ部３で選択された高域周波数成分の最も大きい距離別画像の輪郭を強調する処理を行う画像処理部４と画像処理部４で強調処理された高域周波数成分の最も大きい距離別画像を高域周波数成分の最も大きい距離別画像に置き換えてフィルタ部で選択されなかった高域周波数成分の最も大きい距離別画像以外の画像と合成して２次元鮮明画像を生成する画像合成部５とを有する。
【選択図】 図１

Description

本発明は、２次元画像の画質処理装置において、特に画像の製作者の意図するフォーカスの最も合った部分の画質を鮮明にする画質処理装置に関するものである。

従来、特許文献１に記載されているように、ＴＶやデジタルカメラ等から得られる画像の改善を行う方法として、画像の高域周波数成分を増加させることにより鮮明な画像とする画像処理装置があった。
図１１に特許文献１に記載されている従来の画像処理装置のブロック図を示す。

図１１に示すように、従来の画像処理装置１００は、バッファメモリ１０１と、プリフィルタ１０２と、線形補間フィルタ１０３と、制御回路１０４と、入力端子１０５と、出力端子１０６と、入力端子１０７と、から構成されている。

バッファメモリ１０１は、入力端子１０５から入力された画像を一時的に記憶するためのメモリである。このバッファメモリ１０１は、制御回路１０４から入力される制御信号により、後段のプリフィルタ１０２へと画像を出力する。
プリフィルタ１０２は、バッファメモリ１０１から入力された画像の全体の高域を強調補正する。

線形補間フィルタ１０３は、プリフィルタ１０２から入力された高域を強調された画像を線形補間法により補間し、補間された画像を出力端子１０６へと出力する。
制御端子１０４は、入力端子１０７から入力される制御パラメータにより、バッファメモリ１０１と、プリフィルタ１０２と、線形補間フィルタ１０３と、を制御する。

次に、従来の画像処理装置１００の動作について図１１を用いて説明する。
図１１において、入力端子１０７からあらかじめ制御パラメータを制御回路１０４に送り、バッファメモリ１０１と、プリフィルタ１０２と、線形補間フィルタ１０３と、の制御内容を設定しておく。
そして、入力端子１０５から画像を入力しバッファメモリ１０１に記憶する。次にバッファメモリ１０１に記憶された画像を取り出しプリフィルタ１０２で画像全体の高域を強調補正した後、線形補間フィルタ１０３で高域強調によるノイズを低減して滑らかになるよう補正した画像を出力端子１０６に出力する。

このようにして画像をプリフィルタ１０２で画像全体の高域を強調補正した後、線形補間フィルタ１０３で高域強調によるノイズを低減することにより、鮮明な画像を得ることが出来た。
特開２００５−１２７４０号公報

しかしながら、上述したように、画像全体の高域を強調補正するため、例えば人物を中心にフォーカスを合わせて撮像した画像において、人物のフォーカスの合った部分のみが高域の強調補正をされる訳ではなく、高域成分を含む背景の風景や或いは人物の手前にある花等も高域の強調補正がなされてしまい、この高域の強調補正を行ったために却って人物は目立たなくなってしまうという問題点があった。

そこで、本発明は、上記のような問題点を解消するためになされたもので、フォーカスを合わせて撮像した画像において、フォーカスの合った部分のみを高域の強調補正をして鮮明な画像を得る画像処理装置を提供することを目的とする。

本願発明における第１の発明は、２次元画像中に含まれる高周波成分の画像を強調して２次元鮮明画像を生成する画像処理装置において、前記２次元画像中に含まれる部分画像を高域周波数成分とコントラスト比成分と輝度成分と彩度成分との合成からなる距離成分毎に区分けして、前記距離成分が高いほど前記２次元画像を撮影した撮影者からの距離が近いとする複数の距離別画像を生成する距離別画像生成部と、前記複数の距離別画像から高域周波数成分の最も大きい距離別画像を選択するフィルタ部と、前記フィルタ部で選択された前記高域周波数成分の最も大きい距離別画像の輪郭を強調する処理を行う画像処理部と、前記画像処理部で強調処理された前記高域周波数成分の最も大きい距離別画像を前記高域周波数成分の最も大きい距離別画像に置き換えて、前記フィルタ部で選択されなかった前記高域周波数成分の最も大きい距離別画像以外の画像と合成して前記２次元鮮明画像を生成する画像合成部と、を有することを特徴とする画像処理装置を提供するものである。
本願発明における第２の発明は、前記高域周波数成分の最も大きい距離画像以外の画像は、前記高域周波数成分の最も大きい距離画像からの距離が遠くなるほど暫時低域周波数成分の画像となるように構成されていることを特徴とする請求項１記載の画像処理装置を提供するものである。

本発明の画像処理装置によれば、２次元画像中に含まれる高周波成分の画像を強調して２次元鮮明画像を生成する画像処理装置において、２次元画像中に含まれる部分画像を高域周波数成分とコントラスト比成分と輝度成分と彩度成分との合成からなる距離成分毎に区分けして、距離成分が高いほど２次元画像を撮影した撮影者からの距離が近いとする複数の距離別画像を生成する距離別画像生成部と、複数の距離別画像から高域周波数成分の最も大きい距離別画像を選択するフィルタ部と、フィルタ部で選択された高域周波数成分の最も大きい距離別画像の輪郭を強調する処理を行う画像処理部と、画像処理部で強調処理された高域周波数成分の最も大きい距離別画像を高域周波数成分の最も大きい距離別画像に置き換えて、フィルタ部で選択されなかった高域周波数成分の最も大きい距離別画像以外の画像と合成して２次元鮮明画像を生成する画像合成部と、を有する、ことにより、例えば人物を中心にフォーカスを合わせて撮像した画像において、フォーカスの合った人物の中心部分のみを高域の強調補正をして鮮明な画像を得ることが出来る。

以下に本発明の実施形態に係る画像処理装置について図１〜図１０を用いて説明する。
図１は、本発明の実施形態に係る画像処理装置に用いる画像処理装置の概要を示す図である。
図２は、本発明の実施形態に係る距離別画像生成部の構成を示す図である。
図３は、本発明の実施形態に係るフィルタ定数生成部の構成を示す図である。
図４は、画像例を示す図である。
図５は、図４に示す画像の各領域の画素配列を説明するための図である。
図６は、本発明の実施形態に係る画像処理装置の具体な構成例１を示す図である。
図７は、本発明の実施形態に係る画像処理装置の具体な構成例２を示す図である。
図８は、本発明の実施形態に係る画像処理装置の具体な構成例３を示す図である。
図９は、距離別画像を説明するための図であり、（Ａ）は２次元画像を示す図であり、（Ｂ）は距離別画像を示す図である。
図１０は、距離別画像のフィルタ例を示す図であり、（Ａ）は距離別画像を示す図であり、（Ｂ）は距離別画像の空間周波数特性を示す図であり、（Ｃ）は距離別のフィルタ特性を示す図である。

図１に示すように、本発明の実施形態に係る画像処理装置１は、距離別画像生成部２と、フィルタ定数生成部（フィルタ部）３と、画像処理部４と、画像合成部５と、から構成される。

距離別画像生成部２は、図２に示すように、画像領域設定部６と、高域周波数成分抽出部７と、コントラスト比抽出部８と、輝度積算部９と、彩度積算部１０と、正規化部１１〜１４と、乗算部１５〜１８と、加算部１９と、距離情報付加部２０と、からなる。
距離別画像処理選択部３は、図３に示すように、距離別画像高域周波数成分比較部３ａと、フィルタ情報生成部３ｂと、からなる。

次に、図６に示すように、本発明の実施形態に係る画像処理装置の具体な構成例１は、映像入力３１と、２D−３D変換３２と、フレームメモリ３３と、距離別画像生成３４と、距離別データフレームメモリ３５と、フォーカス度算出３６と、フィルタ係数算出３７と、フィルタ係数選択３８と、フィルタ演算３９と、映像出力４０と、から構成される。

図７に示すように、本発明の実施形態に係る画像処理装置の具体な構成例２は、映像入力４１と、２D−３D変換４２と、距離データフレームメモリ４３と、距離別画像生成４４と、フォーカス度算出４５と、フィルタ演算４６と、フィルタ係数算出４７と、映像選択４８と、映像出力５０と、から構成される。

図８に示すように、本発明の実施形態に係る画像処理装置の具体な構成例３は、映像入力５１と、２D−３D変換５２と、フレームメモリ５３と、距離別画像生成５４と、距離別データフレームメモリ５５と、フォーカス度算出５６と、フィルタ係数算出５７と、映像選択５８と、フィルタ演算５９と、映像出力６０と、から構成される。

距離別画像生成部２では、例えば、後述する図４に示す画像の複数の領域毎に距離情報を算出して所定の距離区間毎に領域を分割した複数の距離別画像情報を生成する。
フィルタ定数生成部３では、距離別画像生成部２で生成された複数の距離別画像情報の高域周波数成分を比較して高域周波数成分（以下高域成分と略す）の最も大きい距離別画像情報をフォーカスが最も合っているものとして、高域成分を強調するフィルタを指定し、その他の距離別画像情報は高域成分を低下させるフィルタを指定する、距離別画像のフィルタ情報として生成する。

画像処理部４では、距離別画像生成部２で生成された距離別画像情報を入力し、この距離別画像情報をフィルタ定数生成部３で生成されたフィルタ情報により、フォーカスが最も合っている距離別画像情報に高域成分を強調したフィルタをかけた１枚の高域距離別画像と、その他の距離別画像情報は高域成分を低下させたフィルタをかけた複数枚の低域距離別画像と、を生成する。
画像合成部５では、距離別画像処理部４で生成された、１枚の高域距離別画像と複数の低域距離画像とを合成して１枚の２次元画像に合成する。

画像領域設定部６では、例えば図４に示すような２次元画像を、輝度レベルと彩度レベルの分布とで識別した複数の領域に分ける。精度良く分けるためには色相も用いる。
高域周波数成分抽出部７では、画像領域設定部６で分けられた領域毎に高域成分を抽出する。
コントラスト比抽出部８では、画像領域設定部６で分けられた領域毎にコントラスト比を抽出する。
輝度積算部９では、画像領域設定部６で分けられた領域毎に輝度を積算する。
彩度積算部１０では、画像領域設定部６で分けられた領域毎に彩度を積算する。

正規化部１１では、高域周波数成分抽出部７で抽出した高域成分を正規化する。最大値は１．０（１００％、以下同様）となる。
正規化部１２では、コントラスト比抽出部８で抽出したコントラスト比を正規化する。最大値は１．０となる。
正規化部１３では、輝度積算部９で積算した輝度を正規化する。最大値は１．０となる。
正規化部１４では、彩度積算部１０で積算した彩度を正規化する。最大値は１．０となる。

乗算部１５では、正規化部１１で正規化した高域周波数成分情報に乗数Ｋ１を乗ずる。
乗算部１６では、正規化部１２で正規化したコントラスト比情報に乗数Ｋ２を乗ずる。
乗算部１７では、正規化部１３で正規化した輝度情報に乗数Ｋ３を乗ずる。
乗算部１８では、正規化部１４で正規化した彩度情報に乗数Ｋ４を乗ずる。
乗数Ｋ１〜Ｋ４は画像によって最適値を０から２５５（８ビット）に設定する。出来るだけ情報の多い部分の乗数を大きくする。

加算部１９では、乗算部１５〜１８で得た情報を加算して合計値を領域毎に算出する。算出した合計値が大きいものが近い距離の領域を示し、少なくなるほど遠い距離となる。
距離情報付加部２０では、領域毎に距離情報を付加した距離別画像情報を生成する。

映像入力３１、４１、５１は、撮像カメラやデジタルカメラ等で２次元の画像を生成する画像生成部である。
２Ｄ−３Ｄ変換３２、４２，５２は、２次元の画像を３次元の画像に変換する。３次元画像に変換する際に距離情報を算出する。
フレームメモリ３３、３５は、２次元の画像を１フレーム以上記憶する半導体メモリである。

距離別画像生成３４、４４、５４は、２次元画像から距離情報によって複数の距離別画像(２次元)を生成する。
距離データフレームメモリ３５、４３、５５は、１フレームの２次元画像の画素毎の距離データを記憶する。

フォーカス度算出３６、４５、５６は、複数の距離別画像の高域成分を比較して最も高域成分の大きい距離別画像のフォーカス度を最大とし、高域成分の量に応じてそれぞれの距離別画像のフォーカス度を設定する。

フィルタ係数算出３７、４７，５７は、距離別画像のフォーカス度から距離別画像にかけるフィルタ係数を算出する。
フィルタ演算３９、４６、５９は、距離別画像ごとのフィルタを有し、フィルタ係数により高域成分の増減が設定される。
映像選択４８、５８は、距離情報に応じた映像を選択する。
映像出力４０、５０、６０は、選択された映像を外部に出力する。

次に本発明の実施形態に係る画像処理装置の動作について説明する。
まず、図１に示す画像処理装置１に２次元の画像入力を加える。
そうすると、画像処理装置１の距離別画像生成部２では、画像入力に距離情報を付加された複数の距離別画像情報が生成される。

次に、フィルタ定数生成部３では、この距離別画像生成部２で生成された複数の距離別画像情報から高域成分の最も大きい距離別画像情報を選択して、この選択された距離別画像情報における高域成分をさらに強調させるフィルタを選択し、他の選択されなかった距離別画像情報では高域成分を低下させるフィルタを選択するフィルタ情報を生成する。

そして、画像処理部４では、距離別画像生成部２で生成された距離別画像情報と、フィルタ定数生成部３で生成されたフィルタ情報とにより、フォーカスが最も合っている距離別画像情報の高域成分を強調した１枚の高域距離別画像と、その他の距離別画像情報は高域成分を低下させた複数枚の低域距離別画像と、を生成する。
次に、画像合成部５では、画像処理部４で生成された、１枚の高域距離別画像と複数の低域距離画像とを１枚の２次元画像に合成して画像処理装置１から出力する。

このようにすれば、フォーカスが最も合っている領域のみの高域成分が強調され、他のフォーカスの合っていない領域の高域成分は低下されるので、例えば、人物を中心にフォーカスを合わせて撮像した画像において、フォーカスの合った人物の部分のみを高域強調した鮮明な画像を得ることが出来る。

次に、本発明の実施形態における距離別画像情報についてより詳細に説明する。
図２に示すように、画像入力が距離別画像生成部１に入力されると、まず画像領域設定部６により、図４に示すような２次元画像においては、輝度レベル及び彩度レベルの積算値の略等しい４つの領域ａ、ｂ、ｃ、ｄに分割される。
これは、実験的に、照射光が等しい領域、撮像位置からの距離が等しい領域、撮像される被写体が同質な領域、等により輝度レベル及び彩度レベルの積算値がそれぞれ複数の領域に分割されるからである。
輝度レベルもしくは彩度レベルのいずれか一方のみを用いてもよいのはもちろんである。

そして、高域周波数成分抽出部７では、画像領域設定部６で分けられた領域毎に高域成分を抽出し、コントラスト比抽出部８では、画像領域設定部６で分けられた領域毎にコントラスト比を抽出し、輝度積算部９では、画像領域設定部６で分けられた領域毎に輝度を積算し、彩度積算部１０では、画像領域設定部６で分けられた領域毎に彩度を積算する。 この高域成分、コントラスト比、輝度の積算値、彩度の積算値は２次元画像から３次元情報としての距離情報を得るために用いるもので、いずれも大きいほど距離が近く、小さいほど距離が遠くなる情報を示す。

従って正規化部１１〜１４でそれぞれの情報を正規化した後、乗算部１５〜１８で２次元画像に応じた定数K１〜Ｋ４をそれぞれ乗じて加算部１９で加算すれば、画像領域設定部６で分けられた２次元画像の領域毎に距離情報が算出される。
すなわち、図５に示すように領域ａ〜ｄのそれぞれを構成する画素毎の信号成分から各領域の距離情報をそれぞれ算出する。
この距離情報を距離情報付加部２０で領域別画像に付加すれば、それぞれの領域別画像に応じた距離別画像情報が得られる。

図３に示すように、距離別画像生成部２で得られた距離情報を付加された複数の距離別画像情報を、フィルタ定数生成部３に入力すれば、距離別画像高域周波数成分比較部３ａでこの複数の距離別画像情報をそれぞれ比較して高域成分の最も大きい距離別画像情報を抽出し、フィルタ情報生成部３ｂでは、この抽出された高域成分の最も大きい距離別画像情報における高域成分をさらに強調させるフィルタを選択し、他の選択されなかった距離別画像情報は高域成分を低下させるフィルタを選択するフィルタ情報が生成される。

次に、本発明の実施形態に係る画像処理装置の具体な構成例１〜３について図６〜図８を用いて説明する。
図６に示すように、構成例１においては、映像入力３１から入力された２次元画像を２D−３D変換３２で距離情報を生成する。そして距離別画像生成３４に距離情報と２次元画像を入力し２次元距離別画像を生成する。

そして、２次元距離別画像をフォーカス度算出３６に入力し、コントラストや空間周波数の分布などを調べ、どの距離別画像にフォーカスが合っているかを求める。求めた結果をフィルタ係数算出３７に渡し、フォーカスが合っていると判定された距離別画像を強調し、フォーカスが合っている所から外れていくに従って、ぼかすフィルタ係数を求める。

距離別画像ごとのフィルタ係数をフィルタ係数選択３８に渡す。フィルタ係数選択３８では、距離データフレームメモリに記憶しておいた２D−３D変換３２で生成された距離情報に応じてフィルタ係数を選択してフィルタ演算３９に渡す。
フィルタ演算３９ではフレームメモリ３３に記憶しておいた映像入力３１から入力された２次元画像に対して選択したフィルタ係数を適用して演算を行い、映像出力４０に渡す。

このように、構成例１においては、フォーカスの合った距離の距離別画像のみ高域成分が強調されるから撮影者の意図したフォーカス位置の画像が鮮明に得られる。

図７に示すように、構成例２においては、映像入力４１から入力された２次元画像を２D−３D変換４２で距離情報を生成する。そして距離別画像生成４４に距離情報と２次元画像を入力し２次元距離別画像を生成する。

そして、２次元距離別画像をフォーカス度算出４５に入力し、コントラストや空間周波数の分布などを調べ、どの距離別画像にフォーカスが合っているかを求める。求めた結果をフィルタ係数算出４７に渡し、フォーカスが合っていると判定された距離別画像を強調し、フォーカスが合っている所から外れていくに従って、ぼかすフィルタ係数を求める。

次に距離別画像ごとのフィルタ係数をフィルタ演算４６に渡す。
フィルタ演算４６では距離別画像生成４４で生成された２次元距離別画像を距離別画像ごとのフィルタ係数で演算して距離ごとにフィルタ係数の異なる画像を得る。この画像を映像選択４８に渡して、距離データフレームメモリに記憶しておいた２D−３D変換３２で生成された距離情報に応じた２次元画像を選択して映像出力部５０に渡す。

このように、構成例２においては、フォーカスの合った距離の距離別画像のみが得られるから、この画像を背景のいらないクロマキー等の特殊効果として用いてもよいのはもちろんである。

図８に示すように、構成例３においては、映像入力５１から入力された２次元画像を２D−３D変換５２で距離情報を生成する。そして距離別画像生成５４に距離情報と２次元画像を入力し２次元距離別画像を生成する。

そして、２次元距離別画像をフォーカス度算出５６に入力し、コントラストや空間周波数の分布などを調べ、どの距離別画像にフォーカスが合っているかを求める。求めた結果をフィルタ係数算出５７に渡し、フォーカスが合っていると判定された距離別画像を強調し、フォーカスが合っている所から外れていくに従って、ぼかすフィルタ係数を求める。

距離別画像ごとのフィルタ係数をフィルタ演算５９に渡す。フィルタ演算５９では、フレームメモリ５３に記憶しておいた映像入力とフィルタ係数とから距離別画像の数だけフィルタ後の画像を生成する。映像選択５８では、距離データフレームメモリに記憶しておいた２D−３D変換３２で生成された距離情報に応じて、フィルタ後の画像を選択して映像出力部６０に渡す。

このように、構成例３においては、フォーカスの合った距離の距離別画像と、フォーカスをぼかした画像とを距離別に選択することが出来る。

以上述べてきたように、本発明の実施形態によれば、図９に示すように２次元画像から３次元情報としての距離情報を得ることにより、この距離情報からフォーカスを合わせて撮像した画像において、フォーカスの合った部分のみを図１０に示すように高域強調したのち、１枚の２次元画像に合成すれば、鮮明な２次元画像を得ることが出来る。

本発明の実施形態に係る画像処理装置に用いる画像処理装置の概要を示す図である。 本発明の実施形態に係る距離別画像生成部の構成を示す図である。 本発明の実施形態に係るフィルタ定数生成部の構成を示す図である。 画像例を示す図である。 図４に示す画像の各領域の画素配列を説明するための図である。 本発明の実施形態に係る画像処理装置の具体な構成例１を示す図である。 本発明の実施形態に係る画像処理装置の具体な構成例２を示す図である。 本発明の実施形態に係る画像処理装置の具体な構成例３を示す図である。 距離別画像を説明するための図であり、（Ａ）は２次元画像を示す図であり、（Ｂ）は距離別画像を示す図である。 距離別画像のフィルタ例を示す図であり、（Ａ）は距離別画像を示す図であり、（Ｂ）は距離別画像の空間周波数特性を示す図であり、（Ｃ）は距離別のフィルタ特性を示す図である。 従来の画像処理の概要を示す図である。

符号の説明

１・・・画像処理装置、２・・・距離別画像生成部、３・・・フィルタ定数生成部（フィルタ部）、３ａ・・・距離別画像高域周波数成分比較部、３ｂ・・・距離別画像処理情報生成部、４・・・画像処理部、５・・・画像合成部、６・・・画像領域設定部、７・・・高域周波数成分抽出部、８・・・コントラスト比抽出部、９・・・輝度積算部、１０・・・彩度積算部、１１〜１４・・・正規化部、１５〜１８・・・乗算部、１９・・・加算部、２０・・・距離情報付加部、３１、４１、５１・・・映像入力、３２、４２，５２・・・２Ｄ−３Ｄ変換、３３、３５・・・フレームメモリ、３４、４４、５４・・・距離別画像生成、３５、４３、５５・・・距離データフレームメモリ、３６、４５、５６・・・フォーカス度算出、３７、４７，５７・・・フィルタ係数算出、３９、４６、５９・・・フィルタ演算、４８、５８・・・映像選択、４０、５０、６０・・・映像出力

Claims (2)

1. ２次元画像中に含まれる高周波成分の画像を強調して２次元鮮明画像を生成する画像処理装置において、
   前記２次元画像中に含まれる部分画像を高域周波数成分とコントラスト比成分と輝度成分と彩度成分との合成からなる距離成分毎に区分けして、前記距離成分が高いほど前記２次元画像を撮影した撮影者からの距離が近いとする複数の距離別画像を生成する距離別画像生成部と、
   前記複数の距離別画像から高域周波数成分の最も大きい距離別画像を選択するフィルタ部と、
   前記フィルタ部で選択された前記高域周波数成分の最も大きい距離別画像の輪郭を強調する処理を行う画像処理部と、
   前記画像処理部で強調処理された前記高域周波数成分の最も大きい距離別画像を前記高域周波数成分の最も大きい距離別画像に置き換えて、前記フィルタ部で選択されなかった前記高域周波数成分の最も大きい距離別画像以外の画像と合成して前記２次元鮮明画像を生成する画像合成部と、
   を有することを特徴とする画像処理装置。
2. 前記高域周波数成分の最も大きい距離画像以外の画像は、前記高域周波数成分の最も大きい距離画像からの距離が遠くなるほど暫時低域周波数成分の画像となるように構成されていることを特徴とする請求項１記載の画像処理装置。
   
   

Images