JP2008182638A

JP2008182638A - 画像処理装置および画像処理プログラム

Info

Publication number: JP2008182638A
Application number: JP2007016083A
Authority: JP
Inventors: Toru Iwane; 透岩根
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-01-26
Filing date: 2007-01-26
Publication date: 2008-08-07
Anticipated expiration: 2027-01-26
Also published as: JP4992438B2

Abstract

【課題】画像データが有するコントラストを保存しつつ、好ましい階調変換を行うこと。
【解決手段】画像データを複数の領域に分割する分割部と、領域におけるコントラストの方向を検出する検出部と、コントラストの方向に基づいて、領域内の画素を合成する合成部と、検出部による検出と、合成部による合成とを再帰的に所定回数実施させる制御部とを備える。
【選択図】図１

Description

本発明は、画像データの階調を変換する画像処理装置および処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに関する。

従来より、画像データにおける階調分布を演算によって変化させる技術が考えられている。階調分布を変化させることにより、銀塩カメラにおける「覆い焼き」と同様の効果をデジタル技術により実現することができる。
階調分布を演算によって変化させる際には、いわゆるローパスフィルタ処理を行い、画像データの細部を有する高周波画像と大まかなグラデーションを有する低周波画像（ボケ像）とに分割して階調分布を変化させる処理がよく知られている。しかし、ローパスフィルタ処理は、明確な境界を有し、その境界に差異がある画像データにおいては、境界付近にハローと呼ばれる光輪や境界線に沿った太い輪郭などが形成されることがある。

そこで、例えば、特許文献１の発明では、画像データの大きな変動を、ローパスフィルタ処理の過程で排除する非線形なフィルタであるイプシロンフィルタが考えられている。イプシロンフィルタでは、画素値の強度の差異から荷重を求めて、ローパスフィルタ処理による低周波画像に相当する平滑化像を得ている。
特開２００１−２７５０１５号公報

しかし、イプシロンフィルタを使用した処理では、演算が非常に負荷の高いものになるとともに、望ましいボケ像が得られない場合がある。
本発明は、画像データが有するコントラストを保存しつつ、好ましい階調変換を行うことを目的とする。

本発明の画像処理装置は、画像データを複数の領域に分割する分割部と、前記領域におけるコントラストの方向を検出する検出部と、前記コントラストの方向に基づいて、前記領域内の画素を合成する合成部と、前記検出部による検出と、前記合成部による合成とを再帰的に所定回数実施させる制御部とを備える。
なお、好ましくは、前記検出部は、第１の方向と、前記第１の方向と直交する第２の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、前記合成部は、前記検出部により検出された前記コントラストの方向と直交する方向に位置する画素を合成しても良い。

また、好ましくは、前記検出部は、第１の方向と、前記第１の方向と直交する第２の方向と、前記第１の方向と略４５度の角度を成す第３の方向と、前記第３の方向と直交する第４の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、前記合成部は、前記検出部により検出された前記コントラストの方向と直交する方向に位置する画素を合成しても良い。

なお、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。

本発明によれば、画像データが有するコントラストを保存しつつ、好ましい階調変換を行うことができる。

以下、本発明の実施形態について説明する。
図１は、本発明の実施形態の画像処理装置１の機能ブロック図である。画像処理装置１は、例えば、コンピュータなどにより構成される。このコンピュータは、後述する本実施形態の処理を実現するためのプログラムを予め記録している。
画像処理装置１は、図１に示すように、画像バッファ２、画像処理部３、制御部４の各部を備える。画像バッファ２の出力は、画像処理部３に接続される。また、制御部４は、画像バッファ２からの画像の読み出しおよび画像処理部３の制御を行う。

画像処理部３は、図１に示すように、平滑化フィルタ５、階調圧縮部６、減算器７、加算器８の各部を有する。
画像バッファ２の出力は、平滑化フィルタ５および減算器７に接続される。また、平滑化フィルタ５の出力は、階調圧縮部６および減算器７に接続される。また、階調圧縮部６および減算器７の出力は、加算器８に接続される。

画像バッファ２には、水平垂直方向に配列された画素からなる信号（以下、「画像データ」と称する）が、デジタル信号として格納されている。画像バッファ２に格納されている画像データは、ＹＣｒＣｂ信号、ＲＧＢ信号、モノクロームの信号など、どのようなものであっても良い。
以下では、画像データの一例として、輝度信号Ｙが水平方向にＭ行、垂直方向にＮ列配置された信号を例に挙げて説明する。

まず、図１を用いて画像処理の全体的な流れについて説明する。
まず、画像バッファ２に格納された画像データから、平滑化フィルタ５において、コントラストが保存された低周波画像が生成される。低周波画像は、大まかなグラデーションを有する画像である。低周波画像の生成の詳細は後述する。平滑化フィルタ５により生成された低周波画像は、階調圧縮部６および減算器７に出力される。

出力された低周波画像には、階調圧縮部６において、コントラストを保存しつつ階調圧縮処理が施される。階調圧縮部６では、ルックアップテーブルを用いるなどして、公知技術と同様のγ変換を行うことにより、階調圧縮処理が施される。階調圧縮部６において階調圧縮処理が施された低周波画像は、加算器８に出力される。
減算器７では、画像バッファ２に格納された画像データから、平滑化フィルタ５により生成された低周波画像が減算される。この結果、高周波画像が生成される。高周波画像は、画像データの細部を有する画像である。減算器７により生成された高周波画像は、加算器８に出力される。

加算器８では、減算器７により生成された高周波画像と、階調圧縮部６において階調圧縮処理が施された低周波画像とが加算される。加算器８の出力は、画像処理部３の外に出力される。
次に、平滑化フィルタ５における低周波画像の生成の詳細について、図２のフローチャートを用いて説明する。制御部４は、平滑化フィルタ５により再帰的にｋ回の処理を行う。

ステップＳ１において、制御部４は、画像バッファ２に格納された画像データを複数の領域に分割する。領域の大きさは、予め定められている。以下では、縦方向、横方向にそれぞれ３画素を含む領域に分割する例を示す。
ステップＳ２において、制御部４は、領域内において、縦方向、横方向のコントラストを検出する。ある画素ａ_i,jを中心とする領域における縦方向（垂直方向）のコントラストの大きさを示す値をＡｖ、横方向（水平方向）のコントラストの大きさを示す値をＡｈとすると、Ａｖ、Ａｈは、次式により求められる。

なお、図３Ａは、画素ａ_i,jを中心とする領域を示す図であり、制御部４は、斜線で示した画素を用いてコントラストを求める。
ステップＳ３において、制御部４は、ステップＳ２で求めたＡｖ、Ａｈと、所定の閾値とを比較し、縦方向と横方向との少なくとも一方にコントラストがあるか否かを判定する。そして、コントラストがあると判定するとステップＳ４に進み、コントラストがないと判定すると後述するステップＳ５に進む。

ステップＳ４において、制御部４は、ステップＳ２で求めたＡｖ、Ａｈの差を、次式により求める。

制御部４は、上述した式により、縦方向と横方向との何れのコントラストがより支配的であるかを判定し、コントラストが最大である方向と直交する方向を合成方向とする。すなわち、縦方向のコントラストが最大である場合には、横方向を合成方向とし、横方向のコントラストが最大である場合には、縦方向を合成方向とする。そして、制御部４は、後述するステップＳ９に進む。

ステップＳ５において、制御部４は、領域内において、斜め方向（１／４π方向および−１／４π方向）のコントラストを検出する。図３Ｂは、画素ａ_i,jを中心とする領域を示す図であり、制御部４は、斜線で示した画素を用いて、ステップＳ２と同様に斜め方向のコントラストを求める。
ステップＳ６において、制御部４は、ステップＳ３と同様に、斜め方向にコントラストがあるか否かを判定する。そして、コントラストがあると判定するとステップＳ７に進み、コントラストがないと判定すると後述するステップＳ８に進む。

ステップＳ７において、制御部４は、ステップＳ４と同様に、何れの方向のコントラストがより支配的であるかを判定し、コントラストが最大である方向と直交する方向を合成方向とする。すなわち、１／４π方向のコントラストが最大である場合には、−１／４π方向を合成方向とし、−１／４π方向のコントラストが最大である場合には、１／４π方向を合成方向とする。そして、制御部４は、後述するステップＳ９に進む。

ステップＳ８において、制御部４は、公知技術と同様に画素を合成する。例えば、図４Ａに示すようなフィルタを用いて領域内の画素を合成する。すなわち、縦方向の画素、横方向の画素それぞれに、「１，２，１」の比重をかけて合算して平均を取る。
ステップＳ８の処理は、縦方向、横方向、斜め方向の何れにもコントラストがない画像に対する処理である。したがって、明確な境界を有さないので、境界付近にハローと呼ばれる光輪や境界線に沿った太い輪郭などが形成されるおそれがなく、公知技術と同様の処理を施すことができる。

ステップＳ９において、制御部４は、ステップＳ４またはステップＳ７において決定した合成方向に基づいて、領域内の画素を合成する。例えば、合成方向が縦方向である場合には、縦方向の画素を１，２，１の比重をかけて合算して平均をとる。また、合成方向が横方向である場合には、横方向の画素を１，２，１の比重をかけて合算して平均をとる。合成方向が斜め方向である場合も同様である。

制御部４は、ステップＳ２からステップＳ９で説明した処理を、全ての領域に対して行うと、ステップＳ１０に進む。
ステップＳ１０において、制御部４は、ｋ回の処理を終了したか否かを判定する。そして、ｋ回の処理を終了したと判定すると一連の処理を終了する。一方、ｋ回の処理を終了していないと判定すると、ステップＳ１に戻る。そして、ｋ回の処理を終了するまでステップＳ１からステップＳ１０の処理を再帰的に行う。

なお、２回目以降の処理においては、ステップＳ１において、前回の処理と同様に画像データを分割しても良いし、毎回異なる領域に分割しても良い。
また、２回目以降の処理においては、前回の処理において、ステップＳ８またはステップＳ９で合成された画像データを処理の対象とする。すなわち、ｎ回目の処理により得られた画像データをＡ_nとすると、ｎ＋１回目の処理においては、Ａ_nを処理対象としてステップＳ１からステップＳ９の処理を行い、Ａ_n+1を生成する。そして、ｋ回の処理の後に、Ａ_kを生成することになる。

仮に、上述したステップＳ３およびステップＳ６においてコントラストが検出されないまま、全ての要素を合成し続けたとすると、Ａ_kの要素は次式であらわされる。

なお、ｂは係数の合計を１に正規化する定数である。
上述したＡ_kの要素は、縦方向、横方向それぞれ独立に二項分布の係数を乗じた要素の合計である。二項分布は正規分布ｅｘｐ（−ｘ²）に近づくことから、もとの画像データに対して、ガウスボケのローパスフィルタを縦方向、横方向それぞれに作用させた場合と同様である。すなわち、何れの方向におけるコントラストも所定値より低い場合には、図４Ａに示したフィルタは、ガウスボケフィルタの効果を持つ。

一方、上述したステップＳ３において、横方向にコントラストがあると判定された領域について考える。例えば、図５に示すように、横方向に矩形のコントラスト特性を有する画像データにおける領域Ｅ１を例に挙げる。
領域Ｅ１においては、横方向のコントラストが、縦方向のコントラストよりも明らかに大きい。したがって、まず、縦方向の画素を１，２，１の比重をかけて合成した画像が出力される。さらにこの出力に対して同様の処理を行う場合、前回の処理で横方向のコントラストは弱められておらず、また縦方向のコントラストは前回と同様に存在しないので、さらに縦方向にだけ画素の合成が行われる。図５に示す画像データでは何度この処理を行っても、縦方向と横方向との関係は変わらない。したがって、ｋ回の処理を再帰的に行うと、縦方向にｋ回合成が行われ、横方向のコントラストは維持されることになる。

したがって、ｋ回の処理を再帰的に行った際の平滑化フィルタ５の出力は、次式であらわされる。

なお、ｋ回の処理よりも細かい縦方向または横方向のコントラストを画像データが有し、処理のたびに合成方向が切り替わるとすると、ｋ回の処理を再帰的に行った際の平滑化フィルタ５の出力は、次式であらわされる。

すなわち、この場合には、平滑化フィルタ５は、縦方向と横方向との広がりが異なるガウスボケフィルタとして作用する。
なお、図２のフローチャートでは、ステップＳ９において、合成方向の画素を１，２，１の比重をかけて合成し、ステップＳ８において、図４Ａに示すフィルタを用いて画素を合成する例を示したが、これらの比重およびフィルタの係数を変更することにより、平滑化フィルタ５の特性を変更することができる。

例えば、ステップＳ９において、合成方向の画素を１，１，１の比重をかけて合成し、ステップＳ８において、図４Ｂに示すフィルタを用いて画素を合成することにより、平滑化フィルタ５によるローパス効果を高めることができる。
さらに、ステップＳ９において、合成方向の画素を１，０，１の比重をかけて合成し、ステップＳ８において、図４Ｃに示すフィルタを用いて画素を合成することにより、平滑化フィルタ５によるローパス効果をさらに高めることができる。

また、平滑化フィルタ５により再帰的に処理を行う回数（ｋ）を変更することにより、低周波画像において施されるフィルタ処理の分布（範囲）を変更することができる。また、平滑化フィルタ５により再帰的に処理を行うと、縦方向および横方向に画像が縮小する。したがって、処理を行うたびに、外挿などにより外周を補完するのが好ましい。
また、図２のフローチャートでは、ステップＳ２において縦方向、横方向のコントラストを検出し、ステップＳ５において斜め方向のコントラストを検出する例を示したが、縦方向、横方向、斜め方向のコントラストを同時に検出しても良い。この場合、検出した全てのコントラストのうち、最大のコントラストを有する方向と直交する方向を合成方向とすれば良い。

以上説明したように、本実施形態によれば、画像データを複数の領域に分割する分割部と、領域におけるコントラストの方向を検出する検出部と、コントラストの方向に基づいて、領域内の画素を合成する合成部とを備え、分割部による分割と、検出部による検出と、合成部による合成とを再帰的に所定回数実施する。したがって、階調強度を決定するのに好ましい低周波画像を得ることができるので、画像データが有するコントラストを保存しつつ、好ましい階調変換を行うことができる。また、境界付近にハローと呼ばれる光輪や境界線に沿った太い輪郭などが形成されるのを防ぐことができる。

また、本実施形態によれば、演算を複雑化することなく好ましい階調変換を行うことができる。また、単純な処理により階調変換を行うことができるので、処理を高速化することができる。
また、本実施形態によれば、検出部は、第１の方向と、第１の方向と直交する第２の方向とにおけるコントラストを検出して比較することにより、領域におけるコントラストの方向を検出し、合成部は、検出部により検出されたコントラストの方向と直交する方向に位置する画素を合成する。したがって、画像データが有するコントラストに応じた合成処理を行うことにより、画像データが有するコントラストを保存しつつ、好ましい階調変換を行うことができる。

また、本実施形態によれば、検出部は、第１の方向と第２の方向とに加え、第１の方向と略４５度の角度を成す第３の方向と、第３の方向と直交する第４の方向とにおけるコントラストを検出して比較することにより、領域におけるコントラストの方向を検出する。したがって、画像データが有するコントラストをより正確に検出することができる。
なお、本実施形態で説明した発明を、マルチスケールレチネックスの手法にも同様に適用することができる。すなわち、平滑化フィルタ５に代えて、空間周波数ごとに複数の平滑化フィルタを備えるとともに、階調圧縮部６に代えて、複数の平滑化フィルタにそれぞれ最適化した複数の階調圧縮部を備える。そして、複数の階調圧縮部により階調圧縮を施した低周波画像に一定の係数を乗じて合成した上で、高周波画像と合成しても良い。

本発明の実施形態の画像処理装置１の機能ブロック図である。本発明の実施形態の画像処理装置１の動作を示すフローチャートである。コントラストの検出について説明する図である。フィルタの一例を示す図である。横方向に矩形のコントラスト特性を有する画像データを示す図である。

符号の説明

１…画像処理装置，３…画像処理部，４…制御部，５…平滑化フィルタ，６…階調圧縮部

Claims

画像データを複数の領域に分割する分割部と、
前記領域におけるコントラストの方向を検出する検出部と、
前記コントラストの方向に基づいて、前記領域内の画素を合成する合成部と、
前記検出部による検出と、前記合成部による合成とを再帰的に所定回数実施させる制御部と
を備えたことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記検出部は、第１の方向と、前記第１の方向と直交する第２の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、
前記合成部は、前記検出部により検出された前記コントラストの方向と直交する方向に位置する画素を合成する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記検出部は、第１の方向と、前記第１の方向と直交する第２の方向と、前記第１の方向と略４５度の角度を成す第３の方向と、前記第３の方向と直交する第４の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、
前記合成部は、前記検出部により検出された前記コントラストの方向と直交する方向に位置する画素を合成する
ことを特徴とする画像処理装置。
処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
前記処理対象の画像データを複数の領域に分割する分割手順と、
前記領域におけるコントラストの方向を検出する検出手順と、
前記コントラストの方向に基づいて、前記領域内の画素を合成する合成手順とを備え、
前記検出手順と、前記合成手順とを再帰的に所定回数実施する
ことを特徴とする画像処理プログラム。
請求項４に記載の画像処理プログラムにおいて、
前記検出手順では、第１の方向と、前記第１の方向と直交する第２の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、
前記合成手順では、前記検出手順において検出された前記コントラストの方向と直交する方向に位置する画素を合成する
ことを特徴とする画像処理プログラム。
請求項４に記載の画像処理プログラムにおいて、
前記検出手順では、第１の方向と、前記第１の方向と直交する第２の方向と、前記第１の方向と略４５度の角度を成す第３の方向と、前記第３の方向と直交する第４の方向とにおけるコントラストを検出して比較することにより、前記領域におけるコントラストの方向を検出し、
前記合成手順では、前記検出手順において検出された前記コントラストの方向と直交する方向に位置する画素を合成する
ことを特徴とする画像処理プログラム。