JP2011091540A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】 Retinexを利用して画像データを出力する場合、補正効果の有効性に関わらず補正量計算と補正を行うため、あまり補正効果のない画像へ処理を実施してしまうとに、パフォーマンスやメモリ使用量の観点から非効率となる問題があった。
【解決手段】 入力画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分を縮小し縮小輝度成分を生成する画像縮小手段と、前記縮小輝度成分にフィルタ処理を行い縮小低周波輝度成分を生成するフィルタ手段と、前記縮小低周波輝度成分の分散を算出し、これについて閾値による判定を行う分散判定手段と、前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布を改善する輝度分布改善手段とを備えた画像処理装置または方法において、前記分散がある閾値を超えた場合には前記輝度成分の分布の改善を行い、超えない場合には行わないことを特徴とすることにより、前記課題を解決する。
【選択図】 図１

Description

本発明は、デジタル画像データの輝度分布を改善する技術に関する。

Retinexは写真画像における輝度の偏りを補正する処理で、ダイナミックレンジを圧縮し、色再現範囲の狭い電子写真などの出力物における「見え」を改善する効果を持つ。逆光画像など、ダイナミックレンジの広い画像に特に効果がある。

このRetinex処理を実現する方法として、例えば、非特許文献１がある。これは、原画像データの低周波成分をガウシアンフィルタによって抽出し、その低周波成分によって原画像データを除算することによって、周囲が明るい画素は暗く、周囲が暗い画素は明るくすることにより、画像の「見え」を改善するものである。

特開2005-39457号公報

"Ａ Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ ｆｏｒ Ｂｒｉｄｇｉｎｇ ｔｈｅ Ｇａｐ Ｂｅｔｗｅｅｎ Ｃｏｌｏｒ Ｉｍａｇｅｓ ａｎｄ ｔｈｅ Ｈｕｍａｎ Ｏｂｓｅｒｖａｔｉｏｎ ｏｆ Ｓｃｅｎｅｓ" ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮＩＭＡＧＥＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ．６， Ｎｏ．７， ＪＵＬＹ １９９７

Retinex処理では各画素の補正量計算のため、ガウス関数の畳込み処理（ガウシアンフィルタ処理）を行う必要がある。

しかしながら、Retinexを利用して画像データを出力する場合、有効性に関わらず補正量計算と補正を行うため、あまり補正効果のない画像へ処理を実施してしまうことにより、パフォーマンスやメモリ使用量の観点から非効率となる問題があった。

画像データの輝度成分の分布を改善する画像処理装置または方法であって、
画像の入力を受け付ける画像入力手段またはステップ（１０１，３０１）と、
前記入力画像データから輝度成分を抽出する輝度抽出手段またはステップ（１０２，３０２）と、
前記輝度成分を縮小し縮小輝度成分を生成する画像縮小手段またはステップ（１０３，３０３）と、
前記縮小輝度成分にフィルタ処理を行い縮小低周波輝度成分を生成するフィルタ手段またはステップ（１０４，３０４）と、
前記縮小低周波輝度成分の分散を算出し、これについて閾値による判定を行う分散判定手段またはステップ（１０５，３０５，３０６）と、
前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布を改善する輝度分布改善手段またはステップ（１０６，３０７）と
を備えた画像処理装置または方法において、
前記分散がある閾値を超えた場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布の改善を行い、
超えない場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いての前記輝度成分の改善を行わないことを特徴とする画像処理装置または方法。

わずかな演算量で、Ｒｅｔｉｎｅｘ処理の有効性を自動判定することが可能となり、有効性が低い場合にＲｅｔｉｎｅｘ処理を省略することによってパフォーマンスの向上を図ることができる。

第１の実施形態に係る画像形成装置の概略ブロック図。 第１の実施形態に係る輝度分布改善部の概略ブロック図の一例。 第１の実施形態に係るフローチャート。 第１の実施形態に係る輝度分布改善処理のフローチャートの一例。 第２の実施形態に係る画像形成装置の概略ブロック図。 第２の実施形態に係る輝度分布改善部の概略ブロック図の一例。 第２の実施形態に係るフローチャート。 第２の実施形態に係る輝度分布改善処理のフローチャートの一例。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

＜第１の実施形態＞
第１の実施形態では、Ｒｅｔｉｎｅｘ処理において、単一の低周波輝度成分を用いるＳｉｎｇｌｅＳｃａｌｅＲｅｔｉｎｅｘ（ＳＳＲ）法によって輝度分布を改善する場合に、本発明を適用してパフォーマンスを向上させる方法について説明する。

図１は、本実施例に係る画像処理装置の概略ブロック図である。画像入力部１０１、輝度抽出部１０２、画像縮小部１０３、フィルタ処理部１０４、分散判定部１０５、輝度分布改善部１０６、色空間変換部１０７、画像出力部１０８を備える。以降、本発明に係るブロック図では画像信号の流れを実践で、判定信号の流れを点線で示す。

以上のような構成の画像処理システムは、アプリケーションプログラムとして汎用の計算機においても実行可能であるし、カメラやプリンタ用の組み込み画像処理装置としても実現可能である。以後、本実施形態では、アプリケーションプログラムとして実現される画像処理装置について説明する。

図１に示す画像処理装置の各構成の働きについて、図３のフローチャートを用いて説明する。ステップ３０１において、画像入力部１０１は、デジタル画像データの入力を受け付ける。ここで入力された画像データを、例えばＲＧＢの３チャンネルカラー画像とする。次に、ステップ３０２において、輝度抽出部１０２は、送られてきた画像データより輝度成分を抽出する。輝度成分の抽出は、例えばＲＧＢからＹＣｂＣｒへの変換を用いる場合、次式によりＹを輝度成分として抽出する。

Ｙ＝０．２９９×ｒ＋０．５８７×ｇ＋０．１１４×ｂ
ここではＲＧＢからＬ＊ａ＊ｂ＊への変換、ＲＧＢからＨＳＶへの変換、ＲＧＢからＸＹＺの変換等を用いてもよい。

ステップ３０３において、画像縮小部１０３は、ステップ３０２で抽出した輝度成分画像のサイズを縮小し、縮小輝度成分を生成する。ここでの縮小倍率は任意であるが、縮小後のサイズが小さいほど、この後に行うフィルタ処理、分散判定処理の処理量が少なくなる。本実施例では、縮小後のサイズを、縮小画像短辺がフィルタ処理部で畳み込むフィルタサイズと同等になる程度とする。例えば、フィルタサイズが３０×３０画素の場合、縮小後のサイズを４０×３０とする。縮小方法も問わないが、ここでは簡単のため単純間引きとする。

ステップ３０４において、フィルタ処理部１０４は、ステップ３０３で生成された縮小輝度成分に対しガウス関数の畳込み処理を行い、縮小低周波輝度成分を生成する。ここで、縮小輝度成分の画素（ｘ、ｙ）における輝度値をＬ（ｘ，ｙ）とすると、縮小低周波成分の画素 (x, y)における輝度値Ｌ_Ｓ（ｘ、ｙ）は次式で表される。

Ｌ_s(x,y) = Ｌ(x,y) ＊G(x,y)
ここで、＊は畳み込み演算（Convolution）を表す。Ｇ（ｘ，ｙ）は次式で表されるガウス関数である。

Kはガウス関数のレベルを、σはガウス関数の標準偏差を表す。

ステップ３０５において、分散判定部１０５は、ステップ３０４で生成された縮小低周波輝度成分の輝度平均Ｅとその分散Ｖを算出し、ステップ３０６において、分散判定部１０５は、ステップ３０５で求めた分散Ｖに対し閾値処理を行う。Ｖは次式により求められる。

Ｖ＝Σ^Ｎ _ｉ＝１（Ｅ−Ｙ_ｉ）２／Ｎ（ｉ：整数、Ｎ：画像データ内の画素数）
ここでＶが所定の閾値より低い場合は、ステップ３０９において画像出力部１０８は入力画像を出力する。Ｖが所定の閾値より高い場合、ステップ３０７において、輝度分布改善部３０６は、ステップ３０４で生成された縮小低周波輝度成分を用いて、ステップ３０２で抽出された輝度成分に対して輝度分布改善処理を行う。

ここでステップ３０７における輝度分布改善処理について詳述する。本ステップにおける処理は一般的にはＲｅｔｉｎｅｘ処理と呼ばれ、種々の実現方法があるが、先に述べた通り、ここでは一例として最も単純なＳＳＲと呼ばれる方法について、図２・図４を用いて説明する。

まず、ステップ３０７−１において、画像拡大部１０６−１は、ステップ３０４で生成された縮小低周波輝度成分を原画像のサイズまで拡大する。拡大方法は任意である。例えばニアレストネイバー法、バイキュービック法、アダマール変換等を用いてもよい。

次に、ステップ３０７−２において、輝度補正部１０６−２は、ステップ３０７−１において生成された原画像と同サイズの低周波輝度成分を用いて、ステップ３０２で抽出された輝度成分を除算することで輝度補正を行った後、レンジ調整を行う。レンジ調整とは除算後の値を所定の出力ビット数（例えば８ビット）に割り振るための処理で、例えばクリッピング処理やゲイン処理等がある。クリッピング処理とは、ヒストグラム分布の上下３％前後の画素値をクリッピングしてから、線形変換によって出力ビット数に応じたデジタル値に割り振る処理である。またゲイン処理とは、全ての画素値に一律の値（例えばステップ３０５で求めた輝度平均Ｅ等）を積算する処理である。

以上がステップ３０７における輝度分布改善処理の詳細である。

次に、ステップ３０８では、色空間変換部１０７が、ステップ３０７において改善された輝度成分と、ステップ３０２で変換された色成分とを用いて色空間変換を行い、ＲＧＢ画像データを再構成する。本ステップの出力画像データが、ステップ３０９において、画像出力部３０９により出力される。

＜第２の実施形態＞
第２の実施形態では、Ｒｅｔｉｎｅｘ処理において、複数の低周波輝度成分を用いるＭｕｌｔｉＳｃａｌｅＲｅｔｉｎｅｘ（ＭＳＲ）法によって輝度分布を改善する場合に、本発明を適用してパフォーマンスを向上させる方法について説明する。ＭＳＲはぼけ度合いの違う複数の低周波画像を用いることにより、エッジ情報を残した低周波画像が得られるため、第１の実施形態で説明したＳＳＲで処理を行った場合よりも、エッジ部においてオーバーシュート／アンダーシュートの抑制された自然な出力画像を得ることができる。

図５に示す画像処理装置の本実施形態における各構成の働きについて、図７のフローチャートを用いて説明する。なお、本実施形態の画像形成装置において、上述した第１の実施形態と同様の構成には同一の番号を付し、説明を省略する。

ステップ７０１において、画像縮小部５０１は、ステップ３０２で抽出した輝度成分画像のサイズを長辺、短辺がそれぞれ１／ａとなるように縮小し、第１の縮小輝度成分を生成する。次にステップ７０２において、画像縮小部５０１は、ステップ７０１で生成した第１の縮小輝度成分のサイズを長辺、短辺がそれぞれ１／ｂとなるように縮小し、第２の縮小輝度成分を生成する。ここで、縮小倍率ａ，ｂは定数としてもよいし、縮小後の目標サイズを決めて入力画像サイズに応じて可変値としてもよい。第２の縮小輝度成分のサイズは、ステップ３０２で抽出した輝度成分と比較して、長辺、短辺がそれぞれ１／ａｂとなる。

ステップ７０３において、フィルタ処理部５０２は、ステップ７０２で生成された第２の縮小輝度成分に対しガウス関数の畳込み処理を行い、第２の縮小低周波輝度成分を生成する。

ステップ７０４において、分散判定部５０３は、ステップ７０３で生成された第２の縮小低周波輝度成分の輝度平均Ｅとその分散Ｖを算出し、ステップ７０５において、分散判定部５０３は、ステップ７０４で求めた分散Ｖに対し閾値処理を行う。ここでＶが所定の閾値より低い場合は、ステップ３０９において画像出力部１０８は入力画像を出力する。Ｖが所定の閾値より高い場合は、ステップ７０６において、輝度分布改善部５０４は、ステップ３０２で抽出された輝度成分に対して輝度分布改善処理を行う。その際、ステップ７０２で生成された第２の縮小低周波輝度成分と、ステップ７０１で生成された第１の縮小輝度成分とを用いる。

ここでステップ７０６における輝度分布改善処理について詳述する。本実施例ではＭＳＲと呼ばれるＲｅｔｉｎｅｘ処理方法について、図６・図８を用いて説明する。

まず、ステップ７０６−１において、フィルタ処理部５０２は、ステップ７０１で生成された第１の縮小輝度成分に対しガウス関数の畳込み処理を行い、第１の縮小低周波輝度成分を生成する。次にステップ７０６−２において、画像拡大部５０４−１は、ステップ７０６−１で生成された第１の縮小低周波輝度成分をａ倍し、原画像のサイズまで拡大する。さらにステップ７０６−３において、画像拡大部５０４−１は、ステップ７０２で生成された第２の縮小低周波輝度成分をａｂ倍し、原画像のサイズまで拡大する。

ステップ７０６−４において、低周波成分合成部５０４−２は、ステップ７０６−２、７０６−３にて原画像と同サイズに拡大された第１、第２の低周波輝度成分を所定の重み付けのもとで合成し、合成低周波輝度成分を生成する。

ステップ７０６−５において、輝度補正部５０４−３は、ステップ７０６−４において生成された合成低周波輝度成分を用いて、ステップ３０２で抽出された輝度成分を除算することで輝度補正を行った後、レンジ調整を行う。

以上がステップ７０６における輝度分布改善処理の詳細である。

Claims (2)

1. 画像データの輝度成分の分布を改善する画像処理装置であって、
   画像の入力を受け付ける画像入力手段（１０１，３０１）と、
   前記入力画像データから輝度成分を抽出する輝度抽出手段（１０２，３０２）と、
   前記輝度成分を縮小し縮小輝度成分を生成する画像縮小手段（１０３，３０３）と、
   前記縮小輝度成分にフィルタ処理を行い縮小低周波輝度成分を生成するフィルタ手段（１０４，３０４）と、
   前記縮小低周波輝度成分の分散を算出し、これについて閾値による判定を行う分散判定手段（１０５，３０５，３０６）と、
   前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布を改善する輝度分布改善手段（１０６，３０７）と
   を備えた画像処理装置において、
   前記分散がある閾値を超えた場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布の改善を行い、
   超えない場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いての前記輝度成分の改善を行わないことを特徴とする画像処理装置。
2. 画像データの輝度成分の分布を改善する画像処理方法であって、
   画像の入力を受け付ける画像入力ステップ（１０１，３０１）と、
   前記入力画像データから輝度成分を抽出する輝度抽出ステップ（１０２，３０２）と、
   前記輝度成分を縮小し縮小輝度成分を生成する画像縮小ステップ（１０３，３０３）と、
   前記縮小輝度成分にフィルタ処理を行い縮小低周波輝度成分を生成するフィルタステップ（１０４，３０４）と、
   前記縮小低周波輝度成分の分散を算出し、これについて閾値による判定を行う分散判定ステップ（１０５，３０５，３０６）と、
   前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布を改善する輝度分布改善ステップ（１０６，３０７）と
   を備えた画像処理方法において、
   前記分散がある閾値を超えた場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いて前記輝度成分の分布の改善を行い、
   超えない場合には前記縮小輝度成分と前記縮小低周波輝度成分とを用いての前記輝度成分の改善を行わないことを特徴とする画像処理方法。

Images