JP2013242817A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP2013242817A JP2013242817A JP2012117035A JP2012117035A JP2013242817A JP 2013242817 A JP2013242817 A JP 2013242817A JP 2012117035 A JP2012117035 A JP 2012117035A JP 2012117035 A JP2012117035 A JP 2012117035A JP 2013242817 A JP2013242817 A JP 2013242817A
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- edge detection
- obtaining
- smoothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title abstract description 40
- 238000009499 grossing Methods 0.000 claims abstract description 35
- 238000003708 edge detection Methods 0.000 claims abstract description 30
- 238000005286 illumination Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 230000002146 bilateral effect Effects 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 10
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 101100513046 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) eth-1 gene Proteins 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】入力画像に対してRetinexモデルに基づくコントラストを補正を行うとき、BilateralフィルタやMSRでは演算負荷が高く高速な処理が困難である。特に平滑化処理の負荷が高く、この部分の改良が必要である。
【解決手段】入力画像データをエッジ検出フィルタによりエッジ検出を行い、エッジ量に応じてサイズの変わる平滑フィルタで画像を平滑化して平滑化画像を得る工程と、かかる平滑化画像を推定照明光として反射率分布を求め、かかる反射率分布にガンマ変換を与えてRetinex値を得る工程と、かかるRetinex値と入力画像を混合して補正画像を得る工程からなり、平滑化画像を得る工程におけるエッジ検出フィルタと、平滑化フィルタはともに1次元のフィルタから構成され、エッジ検出フィルタのサイズF1と、平滑化フィルタのサイズF2とは、F1≧F2 となるように構成され、画像データをx方向とy方向に分けてそれぞれフィルタ演算する。
【選択図】図1
【解決手段】入力画像データをエッジ検出フィルタによりエッジ検出を行い、エッジ量に応じてサイズの変わる平滑フィルタで画像を平滑化して平滑化画像を得る工程と、かかる平滑化画像を推定照明光として反射率分布を求め、かかる反射率分布にガンマ変換を与えてRetinex値を得る工程と、かかるRetinex値と入力画像を混合して補正画像を得る工程からなり、平滑化画像を得る工程におけるエッジ検出フィルタと、平滑化フィルタはともに1次元のフィルタから構成され、エッジ検出フィルタのサイズF1と、平滑化フィルタのサイズF2とは、F1≧F2 となるように構成され、画像データをx方向とy方向に分けてそれぞれフィルタ演算する。
【選択図】図1
Description
本発明は、入力画像データをコントラスト補正処理し、コントラストの良好な画像を生成し出力する画像処理装置および方法に関するものである。
写真のコントラストを改善する方法として,古くからガンマ補正やヒストグラム均等化等の手法が用いられている。しかしながら,この方法は画像全体の特徴量ヒストグラムから得られた同一の変換曲線から一括処理による大局的(Global)な画像処理を行うため,部分的な偏りのある画像では逆に画質劣化を招く事がある。このため,局所的(Local)に補正可能な適応的処理が求められてきた。
1964年にLandらは人間の視覚特性である色恒常性をモデル化したRetinex理論を提案した。この理論では視覚は各物体の反射率の比によって色を知覚し,反射率は照明に依存しない被写体の画像成分であり,従って原画像から照明光を分離して反射光を得ることによって,画像のコントラストの補正が可能になるとしている。
その後,Jobsonらによって提案されたCenter/Surround Retinex理論では画像のコントラストは注視点(Center)と周辺領域(Surround)との相対比として知覚され,視覚系の順応現象とも相まって,コントラストの改善に非常に有効な手法として知られている。
C/S理論では,周辺領域は推定照明光として原画像の平滑化画像が用いられ,原画像からこの推定照明光の分布で割る事、あるいは濃度として引くことにより照明光に依存しない分布を得ることができる。SSR(Single Scale Retinex)と呼ばれる方法では,推定照明光部分は画像の低周波数成分としてGaussフィルタによる平滑化画像を用いる。しかしながらこの場合画像のエッジが保存されないため,原画像のエッジ部分との境界に帯状妨害(Halo)と呼ばれるアーティファクトが生じる。このアーティファクトを防ぐために,複数の大きさのフィルタスケールを用いるMSR(Multi Scale Retinex)と呼ばれる方法や,MSRの加重係数を統計的手法により制御する方法等が提案されている。更に、エッジを保存するBilateralフィルタを用いる方法も提案されている。
E. H. Land , J. J. McCann, J. of the Optical Society of America, 61(1),1-11(1971).
D. J. Jobson, Z. Rahman, G. A. Woodell, IEEE Trans. on Image Processing, 6 ( 3 ), 451-462 (1997).
これらの方法は,Haloを回避し良好なコントラスト変換を行うことができるが,共に処理の負荷が大きいという問題がある。特に照明光分布である平滑化画像の生成には極めて大きなサイズの平滑化フィルタをひつようとし、処理の大半の時間を費やす。特にBilateralフィルタではフィルタのカーネル値を毎回算出する為この負荷は大きい。このためBilateralフィルタの高速化法として種々のアルゴリズムや,高速化実装法が提案されているが,それでも非常に重い処理である。コントラスト改善を高速に行うためには、この処理の時間短縮が課題である。このため、デジタルカメラ等で撮影された画像データを、高画質でコントラスト補正された画像出力を行うラボでの画像サービス等では、生産性を向上からこの課題は重要課題となっている。
本発明は上記問題を解決し、入力画像のコントラストを良好に補正し、処理時間を極めて短くするものである。
上記課題を解決するため、本発明は以下の工程からなる手段を備える。
1.画像の平滑化処理工程
2.Retinex分布を得る工程
3.Retinex分布と入力画像を混合して補正画像を作成する工程
1.画像の平滑化処理工程
2.Retinex分布を得る工程
3.Retinex分布と入力画像を混合して補正画像を作成する工程
本発明によれば、かかる工程において入力画像を画像処理を行い、コントラスト補正された高画質な画像を高速に得ることが出来る。特に、逆光で撮影された画像や露光不足の暗い画像、明るすぎて露光オーバーな画像などに対して、適切なコントラスト補正を高速に行うことが出来る。
以下、本発明を図面を参照しながら説明する。図2は本発明の装置構成を示したものである。スキャナー1、電子写真をベースとしたプリンタ2からなる複写機やMFP(Multi-Functional Printer)は、内蔵されたコントローラ3によりその機能が制御される。コントローラ3はROM 4、RAM 5、プログラムメモリや画像データを記憶するHDD 6、ディスプレイ 8、キーボード9、通信機能10、CPU 7が全体のコントロールおよび画像処理の演算処理を行う。処理対象となる画像データは入力インターフェース(図示せず)を介して、一旦HDD6に蓄積され、ソフトウェアおよび専用ハードウェアにより処理される。
図3は本発明によるコントラスト補正処理結果の出力画像をプリントする構成図で、プリンタ2からの水平・垂直の同期信号15は出力ラスター画像のH-Sync, V-Sync信号と画素クロックにより構成され、画像メモリ13に記憶された画像データをレーザドライバー14を経てビーム変調された出力信号16を得る。かかる変調光ビームは図示はされていないが、電子写真ベースの記録装置に導かれ、光露光→現像→転写→定着の電子写真プロセスを経て画像出力される。
図4は本発明を搭載している画像記録装置の光学系の構成図を示す。半導体レーザ等による光源17からの出射光ビームは、球面系あるいはアナモフィック光学系によるコリメータレンズ18により回転多面鏡21の反射面に入射する。回転多面鏡の回転により反射ビームは光偏向を受けfθレンズ等の結像レンズ19へ入射する。結像レンズ19により結像した光スポットは感光ドラム20上を光ビーム走査を行う。かかる光ビームによる画像形成後、前述の電子写真プロセスによる画像出力が行われる。
図1は本発明におけるコントラスト補正をした画像を生成するための処理フローを示す。本発明は、大きく分けて以下の3つの工程から構成される。
1.画像の平滑化処理工程 (ステップ23)
2.Retinex分布を得る工程 (ステップ24)
3.Retinex分布と入力画像を混合して補正画像を作成する工程 (ステップ25)
1.画像の平滑化処理工程 (ステップ23)
2.Retinex分布を得る工程 (ステップ24)
3.Retinex分布と入力画像を混合して補正画像を作成する工程 (ステップ25)
次に、本発明におけるRetinexモデルについて説明する。Retinexモデルでは、画像から照明光分布を抽出する必要がある。照明光成分と反射率成分を正確に分離するのは困難であるが,通常,空間周波数成分で分離する。照明光成分は緩やかに変化している場合が多く反射率成分に比べて低周波であるとして,周辺画素の平均値がその付近の照明光であると推定する。つまり注目画素を中心とした周辺領域の画素平均値を照明光の成分とする。
すなわち,推定照明光L(x,y)は,
L(x,y)=J(x,y) (1)
であるとする。ここでJ(x,y)は中心画素I(x,y)に対してその周辺画素を平滑化フィルタ(以降LPFと略す)F(x,y)で平滑化したものである。SSR では,通常LPFとしてGaussianフィルタを用いる。従って,
J(x,y)=F(x,y)*I(x,y) (2)
となる。ここで*はconvolutionを表す。
L(x,y)=J(x,y) (1)
であるとする。ここでJ(x,y)は中心画素I(x,y)に対してその周辺画素を平滑化フィルタ(以降LPFと略す)F(x,y)で平滑化したものである。SSR では,通常LPFとしてGaussianフィルタを用いる。従って,
J(x,y)=F(x,y)*I(x,y) (2)
となる。ここで*はconvolutionを表す。
従って,この推定照明光J(x,y)を用いて反射率分布R(x,y)は
R(x,y)=I(x,y)/J(x,y)=I(x,y)/(F(x,y)*I(x,y)) (3)
となる。引き続きダイナミックレンジを圧縮するために対数圧縮を行い,以下のRetinex値 S(x,y)が得られる。
S(x,y)=log{R(x,y)}=log{I(x,y)}-log{F(x,y)*I(x,y)} (4)
R(x,y)=I(x,y)/J(x,y)=I(x,y)/(F(x,y)*I(x,y)) (3)
となる。引き続きダイナミックレンジを圧縮するために対数圧縮を行い,以下のRetinex値 S(x,y)が得られる。
S(x,y)=log{R(x,y)}=log{I(x,y)}-log{F(x,y)*I(x,y)} (4)
対数圧縮は濃度変換に対応し,式(4)は濃度差を表す。線形に濃度差を取っているためWeber則が破綻し局所的な視覚的コントラストが保存されない。Weber則を満たすことにより良好なるコントラストが維持できるため,Retinex値にγ変換を与え補正する。
S’(x,y)=γ{S(x,y)} (5)
ここでγ{}は,高輝度で圧縮される非線形変換である。この補正されたRetinex値を用いて,コントラスト補正された出力濃度は,原画像濃度と混合され,
I’out = α・log{I(x,y)} +β・S’(x,y) (6)
で与えられる。但しα ,βは各々の混合量を与える係数で,0≦α , β≦ 1 である。最後に輝度に戻して,
Iout = 10^{−I’out(x,y)} (7)
としてコントラスト補正処理輝度画像が得られる。但し、^はべき乗を表す。
S’(x,y)=γ{S(x,y)} (5)
ここでγ{}は,高輝度で圧縮される非線形変換である。この補正されたRetinex値を用いて,コントラスト補正された出力濃度は,原画像濃度と混合され,
I’out = α・log{I(x,y)} +β・S’(x,y) (6)
で与えられる。但しα ,βは各々の混合量を与える係数で,0≦α , β≦ 1 である。最後に輝度に戻して,
Iout = 10^{−I’out(x,y)} (7)
としてコントラスト補正処理輝度画像が得られる。但し、^はべき乗を表す。
これら一連の処理において,大きなGaussフィルタをLPFとして用いた場合,Haloの問題が生じる。このため,MSRでは,1つの画素に対して大きさの異なるN個のフィルタを使い,それぞれのフィルタにより得られた値を加算し平均化することでRetinex値を修正する。即ち,MSRではNをフィルタの個数,Sn(x,y)をn番目のSSR出力,ωnをn番目のフィルタの重みとすれば式(4)は,
Rmsr= Σωn・Sn(x,y)=Σωn・[log{I(x,y)}-log{F(x,y)*I(x,y)}] (4)’
と表すことができる。ここでΣはnで加算する。
Rmsr= Σωn・Sn(x,y)=Σωn・[log{I(x,y)}-log{F(x,y)*I(x,y)}] (4)’
と表すことができる。ここでΣはnで加算する。
一方,Bilateralフィルタでは,注目画素に対して平滑化を施すとき,周辺にある画素のフィルタ係数は両者の距離Δrと両者の輝度差Δdとによって決まるフィルタであるとする。つまり,距離が離れるほどフィルタ係数は低下し,輝度差が大きいほどフィルタ係数が低下する。LPFをGauss関数で構成した場合,以下の式で表される。
F(r,d)=A・exp{-Δr^2/2σr^2}・exp{-Δd^2/2σd^2} (8)
これらMSRやBilateralフィルタを用いることにより,Halo の発生は抑えられる。かかるRetinexモデルでは,通常,出力画質はこれら平滑化フィルタのサイズに影響される。フィルタのサイズが小さいと,抽出した照明光成分は大局的な照明光ではないため,全体の階調性が崩れてしまう。そのため,フィルタサイズは通常極めて大きいサイズが用いられ,演算負荷は非常に大きく,高速に出力するアプリケーションでの実用化において大きな障害となっている。
F(r,d)=A・exp{-Δr^2/2σr^2}・exp{-Δd^2/2σd^2} (8)
これらMSRやBilateralフィルタを用いることにより,Halo の発生は抑えられる。かかるRetinexモデルでは,通常,出力画質はこれら平滑化フィルタのサイズに影響される。フィルタのサイズが小さいと,抽出した照明光成分は大局的な照明光ではないため,全体の階調性が崩れてしまう。そのため,フィルタサイズは通常極めて大きいサイズが用いられ,演算負荷は非常に大きく,高速に出力するアプリケーションでの実用化において大きな障害となっている。
演算処理では照明光分布である平滑化画像の生成に大半の時間を費やす。Bilateralフィルタでの高速化法として種々のアルゴリズムや,実装法が提案されているが,それでも画素毎にカーネルの算出が必要なことから非常に重い処理である。高速化ではこの部分の時間短縮が重要である。そこで本検討ではMSR, Bilateralに代わる高速化手法を求めたものである。
以下、高速化のためのアルゴリズムについて説明する。高速演算のためには以下の方法が有効である。
(1).推定照明光の算出は,カラー画像を輝度と色差成分に分離し輝度信号のみに適用する。即ち,入力画像信号は輝度信号(Y)と色差信号(Cb,Cr)に分離する。
Y=0.2126R+0.7152G+0.0722B
Cb=-0.1146R-0.3854G+0.5B (9)
Cr=0.5R-0.4542G-0.0458B
Retinex値の計算は輝度(Y)データに対して行う。このため1チャンネル分の計算量で済み,且つ輝度に対する色相変化が無い。
(1).推定照明光の算出は,カラー画像を輝度と色差成分に分離し輝度信号のみに適用する。即ち,入力画像信号は輝度信号(Y)と色差信号(Cb,Cr)に分離する。
Y=0.2126R+0.7152G+0.0722B
Cb=-0.1146R-0.3854G+0.5B (9)
Cr=0.5R-0.4542G-0.0458B
Retinex値の計算は輝度(Y)データに対して行う。このため1チャンネル分の計算量で済み,且つ輝度に対する色相変化が無い。
(2).LPFによる畳み込みは1次元のLPFを直交2方向に対してそれぞれ行う。n×nのフィルタにおける各画素での乗算数n^2 は1次元化により2nに減少する。
本発明手法は,上記平滑化画像を得る工程において,画像のエッジ強度に応じてLPFのサイズを可変とする1次元可変フィルタによるエッジ保存型平滑化法を用いる。エッジ強度の抽出は,以下に示す平滑化2次微分フィルタであるLOG(Laplacian of Gaussian)フィルタ,あるいはGauss関数のみを用いたDOG(Difference of Gaussian)の1次元フィルタを使用する。
LOG: D(σ,x)=(x^2-σ^2)/(2πσ^6)exp{-x^2/(2σ^2)}
DOG: D(σ1,σ2 x)=(1/√2πσ1^2)exp{-x^2/(2σ1^2)}-(1/√2πσ2^2)exp{-x^2/(2σ2^2)} (10)
LOG: D(σ,x)=(x^2-σ^2)/(2πσ^6)exp{-x^2/(2σ^2)}
DOG: D(σ1,σ2 x)=(1/√2πσ1^2)exp{-x^2/(2σ1^2)}-(1/√2πσ2^2)exp{-x^2/(2σ2^2)} (10)
エッジ強度は次式であらわされる。
E(x)= D(x) * I(x) (11)
このエッジ強度に応じて1次元Gauss平滑フィルタF(x)を次式により表す。
F(x,Σ)=A・exp{-2x^2/Σ^2} (12)
但し,Aは積分値が1になるようにした定数である。式(12)から平滑化フィルタはΣの関数となっている。
E(x)= D(x) * I(x) (11)
このエッジ強度に応じて1次元Gauss平滑フィルタF(x)を次式により表す。
F(x,Σ)=A・exp{-2x^2/Σ^2} (12)
但し,Aは積分値が1になるようにした定数である。式(12)から平滑化フィルタはΣの関数となっている。
ここでΣはGauss分布の幅を与える整数値で,次のように決められる。
Σmin Eth1≦E
Σ= round{f(E)} Eth2<E<Eth1 (13)
Σmax E≦Eth2
但し、
f(E)= Σmax-(Σmax-Σmin)・(E-Eth2)/(Eth1-Eth2) (14)
ここで、round{ }は整数化を表し、Eth1, Eth2 はエッジ強度のダイナミックレンジを表し,適宜決められる。
Σmin Eth1≦E
Σ= round{f(E)} Eth2<E<Eth1 (13)
Σmax E≦Eth2
但し、
f(E)= Σmax-(Σmax-Σmin)・(E-Eth2)/(Eth1-Eth2) (14)
ここで、round{ }は整数化を表し、Eth1, Eth2 はエッジ強度のダイナミックレンジを表し,適宜決められる。
Σminは通常1画素幅以下に設定され,δ関数としてふるまう。Σmaxは後述のようにエッジ検出1次元フィルタのカーネルサイズ以下となるように設定される。この1次元フィルタFはΣの各値に対して予め求めておき,エッジ強度により選択され、x,y軸の2方向への畳み込みにより平滑化を行う。
通常,Retinex値を求める平滑化フィルタサイズは,SVGサイズの画像で40画素以上必要で,大きなサイズの画像では更に大きなものが必要である。また,画像の内容によっても更に大きなフィルタサイズを必要とする。一方,後述のようにエッジ検出フィルタサイズは平滑化フィルタサイズと同程度のサイズが必要となり,このような大きなエッジ検出フィルタでは画像の高周波成分を抽出することが困難であり,且つフィルタサイズを画像サイズごとに変更することは応答特性が変化し不便である。
そこで本発明では周波数応答特性の良好なる小さなカーネルサイズのエッジ検出および平滑化フィルタを用い,これを複数回繰り返して適用する反復法を採用する。n画素幅の平滑化フィルタをN回かけたものは,N(n-1)+1サイズのフィルタに相当し、反復回数Nを可変とすることにより,画像サイズに応じた平滑度の制御が可能となる。
以上の事をベースとした全体の処理のフローを図1に示す。入力画像データは式(9)により輝度と色度に分離され(ステップ22)、輝度信号により平滑化画像を生成する(ステップ23)。その後、平滑化画像と現画像からRetinex分布を求め(ステップ24)、コントラストを補正された輝度データが求まる(ステップ25)。しかる後、元の色空間信号に戻され(ステップ26)、最終的な補正画像を得る。
エッジ強度の検出としてのLOG/DOGフィルタ分布と空間周波数特性を図5、図6に示す。エッジ検出フィルタと平滑化フィルタとはサイズを合わせる必要がある。このため大きなサイズのLOGフィルタはピーク周波数が低周波側に移動したバンドパスフィルタになるため適さない。図の(1)はLOGフィルタを,(2)〜(5)はDOGフィルタのσ1を変化させたときの周波数特性を示したものである。DOGフィルタではσ1 が大きいほどピーク周波数は低周波側に移動するが高周波側は0には落ちない。またσ1 が大きいほどフィルタのサイズは大きくなり,正の部分はフラットになる。
図7は整数演算による高速処理を可能とするため,DOGフィルタのカーネルを整数化した時の周波数特性を示す。フィルタサイズが長くなると低周波数側に移動し,中・高域で波打つが,高周波成分も検出可能のため,(4),(5)のフィルタを候補とした。この時フィルタのサイズは9画素と11画素になる。
平滑化Gaussフィルタは,カーネル係数がe^(-2) となるサイズをフィルタサイズとする。Gaussフィルタの広がりを示すΣは,エッジ強度により式(13)により与えられ,最小値は,Σmin→0となりδ関数として畳み込まれた値は注目画素値となる。
最大値Σmaxはエッジ検出1次元フィルタのサイズと同等かそれ以下となるように設定する。その理由は注目画素x0に対してエッジ検出フィルタのカーネルサイズより広い平滑化フィルタサイズを用いた場合,図8に示すように領域外のエッジの影響が出るからである。以上から512x512の画像に対して次式に示す11画素幅の1次元フィルタを用いた。
D(i)=1/10{1,1,1,1,1,-10,1,1,1,1,1} (15)
D(i)=1/10{1,1,1,1,1,-10,1,1,1,1,1} (15)
かかるフィルタでconvolutionするが,高速化のためにi画素におけるエッジ量E(i) は以下のように求める。
S(i)=ΣI(i+j) ;j=-5〜5
E(i)=S(i)-11×I(i)
S(i+1)=S(i)+I(i+6)-I(i-5) (16)
E(i+1)=S(i+1)- 11×I(i+1)
かかる方法でi+1 画素におけるエッジ量計算は,I(i+1),I(i+6),I(i-5) の3画素の画素値入力で済む。繰り返し回数3回の処理で31画素幅の平滑化に匹敵する処理画像を得る。更に広い平滑化が要求される場合は反復回数を増やすことにより対応可能である。
S(i)=ΣI(i+j) ;j=-5〜5
E(i)=S(i)-11×I(i)
S(i+1)=S(i)+I(i+6)-I(i-5) (16)
E(i+1)=S(i+1)- 11×I(i+1)
かかる方法でi+1 画素におけるエッジ量計算は,I(i+1),I(i+6),I(i-5) の3画素の画素値入力で済む。繰り返し回数3回の処理で31画素幅の平滑化に匹敵する処理画像を得る。更に広い平滑化が要求される場合は反復回数を増やすことにより対応可能である。
図9に平滑化画像の生成部分の処理フローを示す。画像データは、まずx方向にスキャンされ(ステップ30)、x方向のエッジを式(11)により求められる。そのあと式(13)によりΣが求められ(ステップ32)、平滑化フィルタが決定される(ステップ33)。その後、式(2)に示すように畳み込み演算を行いx方向の平滑化画像を得る(ステップ34)。X方向が終了後、引き続きy方向で同様の処理を行う(ステップ37)。
図10にBilateralと本発明の手法の平滑化画像を示す。(A)は原画で,(B)はBilateralフィルタによる出力,(C)は本発明のアルゴリズムの手法であるが,7画素幅のエッジ検出フィルタと最大11画素幅の平滑化フィルタによる出力を,(D)は本発明でともに11画素幅のフィルタによる出力を示す。
(C)の平滑画像は,エッジ検出フィルタのサイズが平滑化フィルタの最大サイズよりも小さいためにアーティファクトが発生している。図11には(C)の画像の下部の一部を拡大したものであるが、画像のエッジ周辺にアーティファクトが発生していることが分かる。
(D)の本発明の平滑画像はBilateralフィルタとほぼ同程度の出力画像を得ていることが分かる。
(D)の本発明の平滑画像はBilateralフィルタとほぼ同程度の出力画像を得ていることが分かる。
図12に画像出力結果を示す。(A)は原画,(B)は本発明の方式による出力画像を示す。式(15)の11画素幅のエッジ検出フィルタと最大11画素の平滑化フィルタを用いて,繰り返し回数3回の処理を行ったものである。式(6)のα,βは共に0.6が最適であった。また,式(5)の非線形変換は対数変換を行った。
(B)の処理画像から分かるように、逆光による原画の人物の顔が、コントラスト補正されて出力されていることが分かる。これはBilateral による出力画像とほぼ同じである。
図13処理時間を示す。(A)は2次元Bilateralフィルタ,(B)は1次元Bilateralフィルタ,(C)は本発明における平均計算時間を,(C)を1とした時の相対値で示す。Bilateral(2次元)は,31 x31の2次元Bilateralフィルタを用い,Bilateral (1次元)は31画素幅の1次元のフィルタをx,y 2方向で行った。本発明の手法は11画素幅のエッジ検出フィルタと最大11画素幅の平滑化Gaussフィルタを用い,反復計算を3回適用した。各方式共カラー画像の輝度信号のみに適用して処理を行った。
図13から分かるように本発明による手法は圧倒的に処理時間が短い。本手法の高速化の大きな理由は,フィルタ係数を毎回計算する必要が無いことと, エッジの強い領域は小サイズの平滑フィルタを用いるため処理量が減少すること、式(16)による処理のため画素信号が少ない事などである。
本発明は、以上のようにしてRetinexモデルに基づくコントラスト改善の演算負荷の問題を解決するために、1次元エッジ検出フィルタと1次元平滑化フィルタの最適連携によりエッジを保存した平滑化画像を得ることが出来,C/S理論に基づくコントラスト補正を高画質・高速に実現できたものである。この方式は,フィルタ操作の繰り返し回数を変えることにより平滑度を可変に出来,種々の画像サイズや画質に対応できるため,様々な画像サービスや応用に利用できる。
なお、本発明は、複数の機器(例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
なお、本発明は、複数の機器(例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
本発明は、入力画像データを最適なコントラストに変換し出力する上で、高速に処理する事が可能で、画素数の大きい高解像画像で生産性を重視したプリントサービスやフォトサービス、フォトアルバム等の制作に利用が可能である。
1 スキャナー、 2 プリンタ、 3 コントローラ、 4 ROM、 5 RAM、 6 ハードディスク、 7 CPU, 8 ディスプレイ、 9 キーボード、 10 通信機能、 18 コリメータレンズ、 19 結像レンズ、 20 感光ドラム
Claims (5)
- 入力画像データに対して、入力画像データを輝度データと色差データとに分離し、輝度データに対してエッジ検出フィルタによりエッジ検出を行い、かかるエッジ量に応じてサイズの変わる平滑フィルタで画像を平滑化して平滑化画像を得る工程と、かかる平滑化画像を推定照明光として反射率分布を求めてRetinex値を得る工程と、かかるRetinex値と入力画像を混合して補正画像を得る工程とからなる画像のコントラスト補正処理装置において、平滑化画像を得る工程におけるエッジ検出フィルタおよび平滑化フィルタはともに1次元のフィルタから構成され、エッジ検出フィルタのサイズF1と、平滑化フィルタのサイズF2とは、F1≧F2 となるように構成され、画像データをx方向とy方向に対して1次元フィルタ演算することを特徴とする画像処理装置。
- 前記平滑化画像を得る工程は、前記x方向とy方向におけるフィルタ演算をN回(N≧1)繰り返して平滑化画像を得ることを特徴とする特許請求項1に記載された画像処理装置。
- 前記1次元エッジ検出フィルタの1次元配列は、配列の中心を除いたカーネル値が同じ値であり、前記1次元平滑化フィルタの配列はGauss分布となるカーネル値から構成されたことを特徴とする特許請求項2に記載された画像処理装置。
- 前記1次元エッジ検出フィルタによるエッジ検出演算は、i番目の画素からi+1番目の画素に移る際、エッジ検出フィルタの各カーネルに対応する画素のうち、一部の画素値のみを入力対象とすることを特徴とする特許請求項3に記載された画像処理装置。
- 前記Retinex値を得る工程は、画像データの濃度分布と推定反射光の濃度分布の差分により得られたRetinex値に,更に高輝度で圧縮される非線形ガンマ変換を施すことを特徴とする特許請求項1に記載された画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117035A JP2013242817A (ja) | 2012-05-22 | 2012-05-22 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117035A JP2013242817A (ja) | 2012-05-22 | 2012-05-22 | 画像処理装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013242817A true JP2013242817A (ja) | 2013-12-05 |
Family
ID=49843622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012117035A Pending JP2013242817A (ja) | 2012-05-22 | 2012-05-22 | 画像処理装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013242817A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330433A (zh) * | 2017-05-17 | 2017-11-07 | 北京捷通华声科技股份有限公司 | 图像处理方法和装置 |
-
2012
- 2012-05-22 JP JP2012117035A patent/JP2013242817A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330433A (zh) * | 2017-05-17 | 2017-11-07 | 北京捷通华声科技股份有限公司 | 图像处理方法和装置 |
CN107330433B (zh) * | 2017-05-17 | 2020-01-07 | 北京捷通华声科技股份有限公司 | 图像处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4210577B2 (ja) | 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法 | |
JP5223702B2 (ja) | 画像処理装置、ノイズ低減方法、プログラム、記憶媒体 | |
JP7104575B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
US7983511B1 (en) | Methods and apparatus for noise reduction in digital images | |
US11153552B2 (en) | Image processing apparatus, image processing method and non-transitory computer-readable storage medium | |
US20110285871A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP6781406B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
JP6443050B2 (ja) | 画像処理装置、及び、画像処理方法 | |
JP2017092872A (ja) | 画像処理装置、画像処理方法 | |
US9571697B2 (en) | Image processing device setting sharpness adjustment degrees for object regions and performing unsharp masking process | |
JP2004127064A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
US20110216968A1 (en) | Smart image resizing with color-based entropy and gradient operators | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
WO2011016375A1 (en) | Image processing apparatus, image processing method, and computer program | |
US8942477B2 (en) | Image processing apparatus, image processing method, and program | |
US9911060B2 (en) | Image processing apparatus, image processing method, and storage medium for reducing color noise in an image | |
WO2016051716A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
US9646367B2 (en) | Image processing apparatus and image processing method each with a function of applying edge enhancement to input image data | |
JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2017098832A1 (ja) | 画像処理装置及びプログラム | |
JP2013242817A (ja) | 画像処理装置およびその方法 | |
US8781242B2 (en) | Image processing apparatus, image processing method, and program | |
US10861137B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5832095B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20160069452A (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 |