JP2005004582A - Image processing apparatus, image processing program, and electronic camera - Google Patents
Image processing apparatus, image processing program, and electronic camera Download PDFInfo
- Publication number
- JP2005004582A JP2005004582A JP2003168862A JP2003168862A JP2005004582A JP 2005004582 A JP2005004582 A JP 2005004582A JP 2003168862 A JP2003168862 A JP 2003168862A JP 2003168862 A JP2003168862 A JP 2003168862A JP 2005004582 A JP2005004582 A JP 2005004582A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing apparatus
- image processing
- unit
- differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007480 spreading Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 11
- 230000003252 repetitive effect Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、入力画像の階調を修正する画像処理装置、画像処理プログラム、および電子カメラに関する。
【0002】
【従来の技術】
従来、画面内に極端な明暗箇所を有する画像は、その階調修正が非常に困難であった。
すなわち、画面内の明るい箇所に合わせて階調を修正すると、暗い箇所が黒く潰れてしまう。その結果、黒い箇所ばかりが目立つ、階調の乏しい画像になってしまう。
【0003】
逆に、画面内の暗い箇所に合わせて階調を修正すると、明るい箇所の色や階調が白く飛んでしまう。その結果、明るい箇所の色や階調が不足して、階調の乏しい画像になってしまう。
従来、このような明暗差を和らげるために、軟調カーブの階調変換を施す処理がよく知られている。しかしながら、極端な明暗差を劇的に和らげることは難しく、逆に中間階調域において明暗差が縮小するなどの弊害が生じやすい。
【0004】
また従来、階調に偏りがある画像を修正するために、画像の階調ヒストグラムの分布を均等化する処理が知られている。この処理では、階調ヒストグラムの集中域において明暗差を拡大することができる。しかしながら、階調ヒストグラムの過疎域では逆に明暗差が縮小されるため、画面内の所々に階調潰れが目立つおそれがある。
なお、従来技術としては、下記の特許文献1も知られている。この特許文献1では、画像の低域空間周波数成分を基準にして画像を領域区分し、これらの領域ごとに階調補正を個別に実行する。
【0005】
【特許文献1】
特開2000−149014号公報(段落0001,段落0017)
【0006】
【発明が解決しようとする課題】
上述のように、画面内に極端な明暗が混在する画像の場合、その階調修正は非常に困難であった。
【0007】
また、上述した特許文献1の従来技術においても、明るさがなだらかに変化する箇所において領域が区分されると、その領域境界において画素値の大小関係が逆転し、不自然な画像になってしまう。
そこで、本発明では、局所的な明暗の大小関係をよく保ちながら、階調情報の豊かな画像を得るための画像処理技術を提供することを目的とする。
【0008】
【課題を解決するための手段】
以下、本発明について説明する。
《請求項1》
請求項1に記載の発明は、入力画像の階調修正を行う画像処理装置であって、微分処理部、および波及演算部を備える。
この微分処理部は、入力画像を空間微分して、微分画像を得る。
一方、波及演算部は、微分画像に含まれる微分値を局所的に波及させる反復演算を実施することによって、
(1)局所的に明暗の大小関係が再現され、
(2)画像全体の明暗レベルを再現しない、
といった状態の処理画像を生成する。
【0009】
《請求項2》
請求項2に記載の発明は、請求項1に記載の画像処理装置において、レベル調整部を備える。このレベル調整部は、波及演算部で生成された処理画像の信号レンジを、画像信号の信号レンジに再配置するようにレベル調整する。
【0010】
《請求項3》
請求項3に記載の発明は、請求項1または請求項2に記載の画像処理装置において、加算調整部を備える。
この加算調整部は、処理画像と入力画像とを所定比率で加算して加算画像を生成する。
なお、加算調整部は、この所定比率を調整することによって、階調修正の強弱を調整することが好ましい。
【0011】
《請求項4》
請求項4に記載の発明は、請求項3に記載の画像処理装置において、合成調整部を備える。
この合成調整部は、加算画像と入力画像とを画素値比較に基づいて選択して合成することにより、合成画像を生成する。
【0012】
《請求項5》
請求項5に記載の発明は、請求項1ないし請求項4のいずれか1項に記載の画像処理装置において、HSV変換部、およびコンポーネント処理部を備える。
このHSV変換部は、カラーの入力画像をHSV変換する。
また、微分処理および波及演算部は、この入力画像のV信号について階調修正を実施する。
一方、コンポーネント処理部は、階調修正後のV信号と、入力画像のHS信号とに基づいて、カラーの出力画像を生成する。
(なお、ここでのHSV成分は、狭義のHSV成分に限定されず、HSL成分およびHSI成分などを含む広義の意味である。)
【0013】
《請求項6》
請求項6に記載の発明は、請求項1ないし請求項5のいずれか1項に記載の画像処理装置において、波及演算部は、反復演算中の処理画像の信号レンジに基づいて終点判定を行い、反復演算をストップする。
【0014】
《請求項7》
請求項7に記載の画像処理プログラムは、コンピュータを、請求項1ないし請求項6のいずれか1項に記載の画像処理装置として機能させるためのプログラムコードを含む。
【0015】
《請求項8》
請求項8に記載の電子カメラは、被写体を撮像して入力画像を生成する撮像部と、請求項1ないし請求項6のいずれか1項に記載の画像処理装置とを備える。この画像処理装置は、撮像部で生成された入力画像に対して、上述した本発明の階調修正を実施することができる。
【0016】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【0017】
[本実施形態の構成説明]
図1は、本実施形態の電子カメラ11(画像処理装置13を含む)の構成を示す図である。
図1において、電子カメラ11は、被写体を撮像して入力画像を生成する撮像部12と、画像処理装置13とを備える。
この画像処理装置13は、下記のような構成要素を備える。
【0018】
(1)HSV変換部14
(2)微分処理部15
(3)波及演算部16
(4)レベル調整部17
(5)加算調整部18
(6)合成調整部19
(7)コンポーネント処理部20
なお、画像処理装置13によって処理された出力画像は、モニタ表示部21によって、電子カメラ11のモニタ画面に表示される。
また、画像処理装置13によって処理された出力画像は、記録部22によって記録媒体に保存記録される。
【0019】
[本実施形態の動作説明]
図2は、本実施形態の動作を説明する図である。
図3〜図10は、画像処理の効果を示すための中間調画像の写真である。なお、本図の元となる画像ファイルを格納したCD−ROMを物件として特許庁に別途提出している。このCD−ROM内の『INDEX.HTML』に、各図面の画像ファイルをリンク付けているので、このINDEX.HTMLをブラウザソフトで開くことによって、図3〜図10に対応する画像ファイルをモニタ上で簡単に観ることができる。
以下、これらの図を参照しながら、本実施形態の動作を順番に説明する。
【0020】
ステップS1:
撮像部12は、被写体を撮像してカラーの入力画像を生成する。図3は、この入力画像の一例を示す中間調画像の写真である。この入力画像は、人物の左肩部分に強い光が射していて、シャツのストライプ模様がかなり見えづらくなっている。一方、人物の顔と右胸にかけて暗い影が発生し、顔の表情もかなり見えづらい。
HSV変換部14は、この入力画像を、H信号(色相成分),S信号(彩度成分),およびV信号(明度成分)に変換する。図4は、この入力画像のV信号を示す中間調画像の写真である。このV信号も、上述した入力画像の特徴をそのまま残している。
【0021】
ステップS2:
微分処理部15は、入力画像のV信号を取り込み、下式の空間微分を実行し、微分画像Pを得る。
【数1】
なお、本実施形態では、下記のラプラシアンフィルタAによる局所積和演算を、V信号に施す。
【数2】
図5は、このように求めた微分画像Pを示す中間調画像の写真である。この微分画像Pは、画像の絶対的な明暗レベルが無くなり、局所的な明暗差のみを保存する画像となっている。
【0022】
ステップS3:
ここでは、微分画像Pに基づいて、局所的な明暗差を保存した処理画像Unを生成する。まず、波及演算部16は、処理画像Unの初期値Uo(x,y)を全て定数Cに初期化した後、下記の漸化式の反復演算を実行する。なお、この定数Cは、V信号の平均値に設定しておくことが好ましい。
【数3】
ちなみに、(1)式の数値解法として、(3)式の収束計算を行うこと自体は、数学としては既に周知である。ただし、後述するように、収束不十分な段階の処理画像Unを、階調伸張の元画像に使用するという技術は非公知である。
この(3)式では、右辺の微分値P(x,y)の項により、処理画像Unの局所的な明暗差が、微分前のV信号と等しく保たれる。さらに、漸化式の反復により、この局所的な明暗差が周囲へ徐々に波及する。
なお、この反復演算では、桁落ちや誤差累積などの影響を受けないよう、浮動小数点演算などを用いてなるべく高精度に実行することが好ましい。
【0023】
ステップS4:
ここでは、画像として認知できる程度まで微分値Pの波及サイズが広がり、かつ画像全体の明暗レベルを完全に再現する前の段階(収束の不十分な段階)で、反復演算をストップする。
このような終点検出としては、反復回数の閾値判定によって行う方法が簡易である。すなわち、(3)式の漸化式では、微分値Pの波及サイズを、反復回数によって正確にコントロールできる。そこで、反復回数が閾値(例えば10回程度)に達すると、反復演算をストップすることにより、微分値Pの波及サイズを適切にコントロールできる。
【0024】
なお、微分値Pの適正な波及サイズは、入力画像の縦横画素数によっても変化する。そのため、この縦横画素数の増減に応じて、反復回数の閾値を増減調整することが更に好ましい。
もちろん、この反復回数の閾値を、階調修正の調整パラメータの一つとして使用することも可能である。
【0025】
なお、処理画像Unの信号レンジ(最大値−最小値など)を閾値判定して、反復演算の終点判定を行うことも好ましい。この場合、信号レベルの閾値を小さくするほど、後述のレベル調整(ステップS5)における局所的な明暗差の伸張効果が高くなる。すなわち、反復演算中の処理画像Unの信号レンジに基づいて終点判定を行うことにより、局所的な階調変化の強調度合いを正確にコントロールすることができる。
【0026】
さらに、処理画像Unのヒストグラムを求めて、入力画像のヒストグラムと、分布形状比較を行い、その比較結果に応じて反復演算の終点判断を行ってもよい。
また、処理画像Un(この場合は、後述するレベル調整を施した方が好ましい)と入力画像との画素差分を二乗加算するなどして両画像の近似度をモニタし、この両画像の近似度に基づいて反復演算の終点判断を行ってもよい。
このようにして、反復演算の終点が検出されるまでの間、波及演算部16は、ステップS3に動作を戻して、反復演算を継続する。
一方、この反復演算の終点を検出すると、波及演算部16は、反復演算をストップして、ステップS5に動作を移行する。
【0027】
ステップS5:
反復演算を終えた処理画像Unの信号レンジは、画像全体の明暗レベルが完全再現されていないために、もともとの画像信号の信号レンジよりも狭い。そこで、レベル調整部17は、処理画像Unの信号レンジを、画像信号の信号レンジに再配置するように、レベル調整を行う。このレベル調整を経て、処理画像Uを得る。
例えば、下式に従って、処理画像Unのレベル調整を行い、レベル調整後の処理画像Uを得る。
【数4】
(ただし、maxは処理画像Unの最大レベル、minは処理画像Unの最小レベル、Rは画像信号の信号レンジの幅)
図6は、このレベル調整後の処理画像Uを示す中間調画像の写真である。この処理画像Uは、局所的な明暗の大小関係が入力画像とほぼ同じ状態に保たれる。さらに、レベル調整によって局所的な明暗差が伸張されているため、局所的な階調が豊かな画像となる。
【0028】
さらに、図7は、この処理画像Uと入力画像のHS信号とを合わせてカラー化した中間調画像の写真である。このカラー画像は、全体としてカラーバランスの自然な画像となる。
通常、人間の視覚は、絶対的な明暗レベルよりも、局所的な明暗差やその大小関係に敏感である。すなわち、人間が、視野内の明領域を注視すれば、明領域における局所的な明暗差が顕著に見えてくる。また、暗領域を注視すれば、暗領域における局所的な明暗差が顕著に見えてくる。
【0029】
したがって、上述した処理画像Uは、明暗領域どちらにおいても局所的な明暗差を強調しているという点で、人間の視覚特性を経た状態に近く、人間が脳内の視覚野で認知しているような印象の画像となる。
さらに、この処理画像Uは、局所的な明暗の大小関係がよく保たれているため、視覚的に違和感の少ない画像となっている。
【0030】
ステップS6:
加算調整部18は、ユーザーによる階調修正の強弱設定に基づいて、所定比率C1:C2を設定する。
【0031】
ステップS7:
加算調整部18は、下式に基づいて、処理画像Uと、入力画像のV信号とを所定比率で画素単位に加算する。この加算処理によって加算画像Sが得られる。
【数5】
ここで、処理画像Uの加算係数C1を大きくすれば、階調修正を強めることができる。一方、入力画像の加算係数C2を大きくすれば、階調修正を弱めにかけることができる。
図8は、所定比率1:1で求めた加算画像Sである。この加算画像Sは、入力画像の絶対的な明暗レベルが適度に加味される。そのため、加算画像Sは、明暗領域の階調を豊かに再現しつつ、明暗レベルに違和感を感じない自然な印象の画像となる。
【0032】
ステップS8:
合成調整部19は、予めユーザー選択されている階調修正の動作モードを判定する。
ここで、コントラスト柔和モードが選択されている場合、合成調整部19は、ステップS9に動作を移行する。
デジタル日中シンクロモードが選択されている場合、合成調整部19は、ステップS10に動作を移行する。
一方、ハイライト階調復元モードが選択されている場合、合成調整部19は、ステップS11に動作を移行する。
【0033】
ステップS9:
コントラスト柔和モードがモード選択されている場合、合成調整部19は、加算画像Sをそのまま合成画像Sとして出力する。このような動作の後、ステップS12に移行する。
【0034】
ステップS10:
デジタル日中シンクロモードが選択されている場合、合成調整部19は、下式に基づいて画像合成を実行する。
【数6】
ここでは、入力画像のV信号と、加算画像Sとを画素値比較し、明るい方の画素値を選択して合成し、合成画像Dを生成する。
図9は、このデジタル日中シンクロモードで合成された合成画像Dの写真である。このような合成処理では、日中シンクロ撮影を行ったような擬似的な画像(つまり、暗領域を明るくして、階調の黒潰れを防いだ画像)を生成できる。このような動作の後、ステップS12に移行する。
【0035】
ステップS11:
ハイライト階調復元モードが選択されている場合、合成調整部19は、下式に基づいて画像合成を実行する。
【数7】
ここでは、入力画像のV信号と、加算画像Sとを画素値比較し、暗い方の画素値を選択して合成し、合成画像Hを生成する。
図10は、ハイライト階調復元モードで合成された合成画像Hの写真である。このような合成処理では、明領域の階調潰れを防いだ画像を生成できる。
このような動作の後、ステップS12に移行する。
【0036】
ステップS12:
コンポーネント処理部20は、階調修正を終えた『合成画像のV信号』と、入力画像のHS信号とに基づいて、カラーの出力画像を生成する。
【0037】
[本実施形態の効果など]
以上説明したように、本実施形態では、微分画像Pに含まれる微分値を局所的に波及させる反復演算を実施することによって、処理画像Unを求める。この処理画像Unは、局所的な明暗の大小関係をよく保つが、画像全体の明暗レベル(絶対値)を充分に再現しない画像である。
【0038】
通常、人間の視覚は、絶対的な明るさよりも、近傍の明暗の大小関係に敏感である。したがって、本実施形態では、この視覚感覚に近い階調特性の画像を得ることができる。
【0039】
また、このように反復演算によって処理画像Unは、局所的な明暗関係はよく再現されているが、全体的な明暗レベルは階調圧縮されている。そこで、この処理画像Unの信号レンジを、画像信号の信号レンジまでレベル伸張することによって、局所的な明暗差を拡大伸張することができる。その結果、局所的な明暗の大小関係をよく保ちつつ、局所的に階調が豊かな処理画像Uを得ることができる。
【0040】
さらに、本実施形態では、処理画像Uと入力画像とを所定比率で加算して加算画像Sを生成する。その結果、本来の明暗レベル(絶対値)を加味した、階調豊かな加算画像Sを得ることができる。なお、この所定比率を変更することによって、階調修正の強弱具合を柔軟に調整することもできる。
また、本実施形態は、加算画像Sと入力画像とを、画素値比較に基づいて合成することにより、デジタル日中シンクロモードおよびハイライト階調復元モードといった多様な合成画像を生成できる。
【0041】
さらに、本実施形態では、階調修正後のV信号と、入力画像のHS信号とに基づいて、カラーの出力画像を生成する。本実施形態の階調修正では、局所的な明暗の大小関係はよく保たれているが、明暗レベルの絶対値は変化する。そのため、YCbCrその他の表色系で処理すると、輝度Yが大きく変化した分だけ色再現性が劣化するなどの問題を生じやすい。しかしながら、本実施形態のようにHSV表色系での処理は、明度信号Vが大きく変化しても、色相や彩度の変化が小さく、色再現性を高く保つことができる。
【0042】
また、本実施形態では、反復演算中の処理画像Unの信号レンジを閾値判定して、反復演算をストップする。この場合、信号レンジの閾値設定によって、後段のレベル調整における階調強調の効果を正確にコントロールすることができる。
なお、本実施形態では、階調ヒストグラムに基づいて反復演算の終点判定を行うこともできる。この場合、ヒストグラム分布の形状から処理画像Unの状態を正確に把握して、正確な終点判定を行うことができる。
【0043】
さらに、本実施形態では、電子カメラ11に画像処理装置13を搭載している。そのため、画像処理装置13で階調修正した出力画像をモニタ表示したり、記録保存することができる。特に、この階調修正した出力画像をモニタ表示した場合には、モニタ画面上における画像の黒潰れや白飛びを改善できるため、モニタ表示の見やすい電子カメラを実現できる。
【0044】
なお、本実施形態は、電子カメラ11として実現するケースについて説明したが、本発明はこれに限定されるものではない。フィルムスキャナーなどのスキャナー装置で本発明を実現してもよい。また、画像処理機能付きのDPE装置などで本発明を実現してもよい。
また、図2に示す動作をコンピュータで実行するための画像処理プログラムを作成してもよい。
【0045】
なお、本実施形態では、二次微分(ラプラシアン)により空間微分値を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、一次微分により空間微分値を求めてもよい。
さらに、本実施形態では、(3)式の反復演算により処理画像Unを求めている。しかしながら、本発明はこれに限定されるものではない。一般的には、空間微分値を局所的に波及させる反復演算を実施することにより処理画像Unを求めればよい。例えば、(3)式の右辺に登場する処理画像Unの各値を、処理画像Un−1の各値に置き換えてもよい。また例えば、『空間微分値の求め方』や『空間微分値を波及させる距離』などを変更した場合には、(3)式とは異なる漸化式を得ることも可能である。
【0046】
【発明の効果】
以上説明したように、本発明は、空間微分値を局所的に波及させる反復演算を実施することによって、局所的な明暗の大小関係をよく保つが、画像全体の明暗レベル(絶対値)を保たない処理画像を生成する。このような処理画像は、人間が明暗領域をそれぞれ注視した場合に知覚する画像に近く、豊かな階調を含む画像となる。
【図面の簡単な説明】
【図1】本実施形態の電子カメラ11(画像処理装置13を含む)の構成を示す図である。
【図2】本実施形態の動作を説明する図である。
【図3】入力画像の一例を示す中間調画像の写真である。
【図4】入力画像のV信号を示す中間調画像の写真である。
【図5】微分画像Pを示す中間調画像の写真である。
【図6】レベル調整後の処理画像Uを示す中間調画像の写真である。
【図7】処理画像Uと入力画像のHS信号とを合わせてカラー化した中間調画像の写真である。
【図8】加算画像Sを示す中間調画像の写真である。
【図9】デジタル日中シンクロモードで合成された中間調画像(合成画像D)の写真である。
【図10】ハイライト階調復元モードで合成された中間調画像(合成画像H)の写真である。
【符号の説明】
11 電子カメラ
12 撮像部
13 画像処理装置
14 HSV変換部
15 微分処理部
16 波及演算部
17 レベル調整部
18 加算調整部
19 合成調整部
20 コンポーネント処理部
21 モニタ表示部
22 記録部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device, an image processing program, and an electronic camera for correcting the gradation of an input image.
[0002]
[Prior art]
Conventionally, it has been very difficult to correct the gradation of an image having an extremely bright and dark portion in the screen.
In other words, when the gradation is corrected in accordance with the bright part in the screen, the dark part is crushed in black. As a result, the image is poor in gradation, with only the black spots conspicuous.
[0003]
On the contrary, if the gradation is corrected in accordance with a dark spot on the screen, the color and gradation of the bright spot will be white. As a result, the color and gradation of the bright part are insufficient, resulting in an image with poor gradation.
Conventionally, a process for performing gradation conversion of a soft tone curve is well known in order to reduce such a difference in brightness. However, it is difficult to drastically reduce the extreme light / dark difference, and adverse effects such as reduction of the light / dark difference in the intermediate gradation range tend to occur.
[0004]
Conventionally, a process for equalizing the distribution of the gradation histogram of an image is known in order to correct an image having a biased gradation. In this processing, it is possible to enlarge the contrast between light and dark in the concentrated area of the gradation histogram. However, on the contrary, the contrast of the gradation is reduced in the sparse region of the gradation histogram, and there is a possibility that gradation collapse will be conspicuous in various places in the screen.
In addition, the following
[0005]
[Patent Document 1]
JP 2000-149014 A (paragraph 0001, paragraph 0017)
[0006]
[Problems to be solved by the invention]
As described above, in the case of an image in which extreme brightness and darkness are mixed in the screen, the gradation correction is very difficult.
[0007]
Also in the prior art of
Accordingly, an object of the present invention is to provide an image processing technique for obtaining an image rich in gradation information while maintaining a local light / dark relationship.
[0008]
[Means for Solving the Problems]
The present invention will be described below.
<
The invention described in
The differential processing unit spatially differentiates the input image to obtain a differential image.
On the other hand, the ripple calculation unit performs an iterative calculation for locally spreading the differential value included in the differential image,
(1) The light / dark relationship is reproduced locally,
(2) Do not reproduce the brightness level of the entire image.
A processed image in such a state is generated.
[0009]
<
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, a level adjusting unit is provided. The level adjustment unit adjusts the level so that the signal range of the processed image generated by the propagation calculation unit is rearranged in the signal range of the image signal.
[0010]
<
A third aspect of the present invention is the image processing apparatus according to the first or second aspect, further comprising an addition adjusting unit.
The addition adjustment unit adds the processed image and the input image at a predetermined ratio to generate an added image.
Note that the addition adjustment unit preferably adjusts the strength of gradation correction by adjusting the predetermined ratio.
[0011]
<Claim 4>
According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, a synthesis adjustment unit is provided.
The synthesis adjustment unit generates a synthesized image by selecting and synthesizing the added image and the input image based on the pixel value comparison.
[0012]
<Claim 5>
According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, an HSV conversion unit and a component processing unit are provided.
The HSV conversion unit performs HSV conversion on a color input image.
Further, the differential processing and spreading calculation unit performs gradation correction on the V signal of the input image.
On the other hand, the component processing unit generates a color output image based on the V signal after gradation correction and the HS signal of the input image.
(The HSV component here is not limited to the HSV component in a narrow sense, but has a broad meaning including an HSL component, an HSI component, etc.)
[0013]
<Claim 6>
According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the ripple calculation unit performs end point determination based on the signal range of the processed image being iteratively calculated. , Stop the iterative operation.
[0014]
<
An image processing program according to a seventh aspect includes a program code for causing a computer to function as the image processing apparatus according to any one of the first to sixth aspects.
[0015]
<Claim 8>
An electronic camera according to an eighth aspect includes an imaging unit that captures an image of a subject and generates an input image, and the image processing apparatus according to any one of the first to sixth aspects. This image processing apparatus can perform the above-described gradation correction of the present invention on the input image generated by the imaging unit.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments according to the present invention will be described below with reference to the drawings.
[0017]
[Description of Configuration of this Embodiment]
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including an image processing device 13) according to the present embodiment.
In FIG. 1, the
The image processing apparatus 13 includes the following components.
[0018]
(1) HSV converter 14
(2) Differential processing unit 15
(3) Ripple calculation unit 16
(4) Level adjustment unit 17
(5)
(6) Composite adjustment unit 19
(7)
The output image processed by the image processing device 13 is displayed on the monitor screen of the
The output image processed by the image processing device 13 is stored and recorded on a recording medium by the recording unit 22.
[0019]
[Description of operation of this embodiment]
FIG. 2 is a diagram for explaining the operation of the present embodiment.
3 to 10 are photographs of halftone images for showing the effect of image processing. In addition, a CD-ROM storing the image file that is the basis of this figure is separately submitted to the JPO as a property. The “INDEX. Since the image file of each drawing is linked to “HTML”, this INDEX. By opening HTML with browser software, image files corresponding to FIGS. 3 to 10 can be easily viewed on a monitor.
Hereinafter, the operation of this embodiment will be described in order with reference to these drawings.
[0020]
Step S1:
The
The HSV conversion unit 14 converts the input image into an H signal (hue component), an S signal (saturation component), and a V signal (lightness component). FIG. 4 is a photograph of a halftone image showing the V signal of this input image. This V signal also retains the characteristics of the input image described above.
[0021]
Step S2:
The differentiation processing unit 15 takes in the V signal of the input image and executes the spatial differentiation of the following expression to obtain the differentiated image P.
[Expression 1]
In the present embodiment, the local product-sum operation by the following Laplacian filter A is performed on the V signal.
[Expression 2]
FIG. 5 is a photograph of a halftone image showing the differential image P thus obtained. This differential image P is an image in which the absolute contrast level of the image is eliminated and only the local contrast is preserved.
[0022]
Step S3:
Here, based on the differential image P, the processed image Un which preserve | saved the local brightness difference is produced | generated. First, the ripple calculation unit 16 initializes all the initial values Uo (x, y) of the processed image Un to a constant C, and then executes the following recurrence formula iterative calculation. The constant C is preferably set to the average value of the V signal.
[Equation 3]
Incidentally, it is already well known in mathematics that the convergence calculation of equation (3) itself is performed as a numerical solution of equation (1). However, as will be described later, the technique of using the processed image Un at the stage of insufficient convergence as the original image for gradation expansion is not known.
In the equation (3), the local contrast of the processed image Un is kept equal to the V signal before differentiation by the term of the differential value P (x, y) on the right side. Furthermore, this local contrast is gradually spread to the surroundings by repeating the recurrence formula.
It should be noted that this iterative operation is preferably executed as accurately as possible by using a floating-point operation so as not to be affected by digits dropping or error accumulation.
[0023]
Step S4:
Here, the ripple size of the differential value P spreads to the extent that it can be recognized as an image, and the iterative calculation is stopped at a stage before the brightness level of the entire image is completely reproduced (an insufficiently convergent stage).
As such an end point detection, a method of performing a threshold value determination of the number of iterations is simple. That is, in the recurrence formula (3), the ripple size of the differential value P can be accurately controlled by the number of iterations. Therefore, when the number of iterations reaches a threshold value (for example, about 10), the ripple size of the differential value P can be appropriately controlled by stopping the iteration operation.
[0024]
Note that the appropriate spread size of the differential value P also varies depending on the number of vertical and horizontal pixels of the input image. For this reason, it is more preferable to increase or decrease the threshold of the number of iterations according to the increase or decrease in the number of vertical and horizontal pixels.
Of course, this threshold value for the number of iterations can also be used as one of the adjustment parameters for gradation correction.
[0025]
It is also preferable to determine the end point of the iterative calculation by determining the threshold value of the signal range (maximum value−minimum value, etc.) of the processed image Un. In this case, the smaller the signal level threshold, the higher the local light / dark difference expansion effect in level adjustment (step S5) described later. That is, by performing the end point determination based on the signal range of the processed image Un during the iterative calculation, it is possible to accurately control the degree of local gradation change enhancement.
[0026]
Furthermore, the histogram of the processed image Un may be obtained, the histogram of the input image may be compared with the distribution shape, and the end point of the iterative calculation may be determined according to the comparison result.
Further, the degree of approximation of both images is monitored by, for example, square addition of the pixel difference between the processed image Un (in this case, it is preferable to perform level adjustment described later) and the input image. The end point of the iterative calculation may be determined based on the above.
In this way, until the end point of the iterative operation is detected, the ripple operation unit 16 returns the operation to step S3 and continues the iterative operation.
On the other hand, when the end point of this iterative calculation is detected, the spreading calculation unit 16 stops the iterative calculation and shifts the operation to Step S5.
[0027]
Step S5:
The signal range of the processed image Un after completing the iterative calculation is narrower than the signal range of the original image signal because the brightness level of the entire image is not completely reproduced. Therefore, the level adjustment unit 17 performs level adjustment so as to rearrange the signal range of the processed image Un to the signal range of the image signal. A processed image U is obtained through this level adjustment.
For example, the level of the processed image Un is adjusted according to the following formula, and the processed image U after level adjustment is obtained.
[Expression 4]
(Where, max is the maximum level of the processed image Un, min is the minimum level of the processed image Un, and R is the width of the signal range of the image signal)
FIG. 6 is a photograph of a halftone image showing the processed image U after the level adjustment. The processed image U is maintained in a state in which the local light / dark relationship is almost the same as that of the input image. Furthermore, since the local light / dark difference is expanded by the level adjustment, the image has a rich local gradation.
[0028]
Further, FIG. 7 is a photograph of a halftone image obtained by colorizing the processed image U and the HS signal of the input image. This color image is a natural image with a color balance as a whole.
In general, human vision is more sensitive to local contrast and magnitude relationships than to absolute contrast levels. That is, if a human gazes at a bright area in the field of view, a local light / dark difference in the bright area becomes noticeable. Further, when the dark region is watched, a local light / dark difference in the dark region becomes noticeable.
[0029]
Therefore, the above-described processed image U is close to a state that has undergone human visual characteristics in that it emphasizes local light and dark differences in both the light and dark regions, and humans recognize in the visual cortex in the brain. The image looks like this.
Furthermore, this processed image U is an image that is visually less uncomfortable because the local contrast of brightness is well maintained.
[0030]
Step S6:
The
[0031]
Step S7:
The
[Equation 5]
Here, if the addition coefficient C1 of the processed image U is increased, tone correction can be enhanced. On the other hand, if the addition coefficient C2 of the input image is increased, the gradation correction can be weakened.
FIG. 8 shows the added image S obtained at a predetermined ratio of 1: 1. In this added image S, the absolute brightness level of the input image is appropriately added. For this reason, the added image S is an image having a natural impression that does not give a sense of incongruity to the light / dark level while reproducing the gradation of the light / dark region richly.
[0032]
Step S8:
The composition adjustment unit 19 determines the gradation correction operation mode selected in advance by the user.
Here, when the contrast soft mode is selected, the composition adjustment unit 19 shifts the operation to step S9.
When the digital daytime synchronization mode is selected, the composition adjustment unit 19 shifts the operation to step S10.
On the other hand, when the highlight gradation restoration mode is selected, the composition adjustment unit 19 shifts the operation to step S11.
[0033]
Step S9:
When the contrast soft mode is selected, the synthesis adjustment unit 19 outputs the added image S as it is as the synthesized image S. After such an operation, the process proceeds to step S12.
[0034]
Step S10:
When the digital daytime synchronization mode is selected, the composition adjustment unit 19 performs image composition based on the following equation.
[Formula 6]
Here, the V value of the input image and the added image S are compared in pixel value, and the brighter pixel value is selected and combined to generate a combined image D.
FIG. 9 is a photograph of a composite image D synthesized in this digital daytime sync mode. In such a composition process, a pseudo image (that is, an image in which a dark area is brightened to prevent blackout of a gradation) that can be obtained during daytime synchro shooting can be generated. After such an operation, the process proceeds to step S12.
[0035]
Step S11:
When the highlight tone restoration mode is selected, the composition adjustment unit 19 performs image composition based on the following equation.
[Expression 7]
Here, the pixel value of the V signal of the input image and the added image S are compared, and the darker pixel value is selected and combined to generate a combined image H.
FIG. 10 is a photograph of the synthesized image H synthesized in the highlight gradation restoration mode. In such a composition process, an image in which the gradation in the bright area is prevented from being lost can be generated.
After such an operation, the process proceeds to step S12.
[0036]
Step S12:
The
[0037]
[Effects of this embodiment, etc.]
As described above, in the present embodiment, the processed image Un is obtained by performing an iterative operation for locally spreading the differential value included in the differential image P. This processed image Un is an image that maintains the local light / dark relationship well but does not sufficiently reproduce the light / dark level (absolute value) of the entire image.
[0038]
In general, human vision is more sensitive to the magnitude relationship between nearby light and dark rather than absolute brightness. Therefore, in this embodiment, an image having gradation characteristics close to this visual sense can be obtained.
[0039]
Further, as described above, the local brightness relationship is well reproduced in the processed image Un by iterative calculation, but the overall brightness level is tone-compressed. Therefore, the local light / dark difference can be expanded and expanded by extending the signal range of the processed image Un to the signal range of the image signal. As a result, it is possible to obtain a processed image U with locally rich gradation while maintaining a good local light intensity contrast.
[0040]
Furthermore, in the present embodiment, the processed image U and the input image are added at a predetermined ratio to generate the added image S. As a result, it is possible to obtain an added image S rich in gradation that takes into account the original brightness level (absolute value). Note that, by changing the predetermined ratio, it is possible to flexibly adjust the strength of gradation correction.
Further, in the present embodiment, various synthesized images such as the digital daytime sync mode and the highlight gradation restoration mode can be generated by synthesizing the addition image S and the input image based on the pixel value comparison.
[0041]
Furthermore, in this embodiment, a color output image is generated based on the V signal after gradation correction and the HS signal of the input image. In the gradation correction according to the present embodiment, the local light / dark relationship is well maintained, but the absolute value of the light / dark level changes. For this reason, if processing is performed with YCbCr or other color systems, problems such as deterioration in color reproducibility are likely to occur due to the large change in luminance Y. However, the processing in the HSV color system as in this embodiment can keep the color reproducibility high with little change in hue and saturation even if the lightness signal V changes greatly.
[0042]
In the present embodiment, the threshold value is determined for the signal range of the processed image Un during the iterative calculation, and the iterative calculation is stopped. In this case, the tone emphasis effect in the subsequent level adjustment can be accurately controlled by setting the threshold value of the signal range.
In the present embodiment, it is possible to determine the end point of the iterative calculation based on the gradation histogram. In this case, it is possible to accurately grasp the state of the processed image Un from the shape of the histogram distribution and perform accurate end point determination.
[0043]
Furthermore, in this embodiment, the image processing apparatus 13 is mounted on the
[0044]
In addition, although this embodiment demonstrated the case implement | achieved as the
Further, an image processing program for executing the operation shown in FIG. 2 by a computer may be created.
[0045]
In the present embodiment, the spatial differential value is obtained by secondary differentiation (Laplacian). However, the present invention is not limited to this. For example, the spatial differential value may be obtained by primary differentiation.
Furthermore, in the present embodiment, the processed image Un is obtained by the iterative calculation of equation (3). However, the present invention is not limited to this. In general, the processed image Un may be obtained by performing an iterative operation that locally spreads the spatial differential value. For example, each value of the processed image Un that appears on the right side of the expression (3) may be replaced with each value of the processed image Un -1 . For example, when “how to obtain the spatial differential value”, “distance to propagate the spatial differential value”, or the like is changed, a recurrence formula different from the formula (3) can be obtained.
[0046]
【The invention's effect】
As described above, according to the present invention, by performing an iterative operation that locally spreads the spatial differential value, the local light / dark relationship is well maintained, but the light / dark level (absolute value) of the entire image is maintained. Generate a processed image. Such a processed image is close to an image perceived when a human gazes at a light and dark area, and is an image including rich gradations.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including an image processing apparatus 13) according to an embodiment.
FIG. 2 is a diagram illustrating the operation of the present embodiment.
FIG. 3 is a photograph of a halftone image showing an example of an input image.
FIG. 4 is a photograph of a halftone image showing a V signal of an input image.
5 is a photograph of a halftone image showing a differential image P. FIG.
FIG. 6 is a photograph of a halftone image showing a processed image U after level adjustment.
FIG. 7 is a photograph of a halftone image obtained by colorizing a processed image U and an HS signal of an input image.
FIG. 8 is a photograph of a halftone image showing an added image S.
FIG. 9 is a photograph of a halftone image (synthesized image D) synthesized in the digital daytime sync mode.
FIG. 10 is a photograph of a halftone image (synthesized image H) synthesized in the highlight tone restoration mode.
[Explanation of symbols]
DESCRIPTION OF
Claims (8)
入力画像を空間微分して、微分画像を得る微分処理部と、
前記微分画像に含まれる微分値を局所的に波及させる反復演算を実施することによって、局所的に明暗の大小関係が再現され、かつ画像全体の明暗レベルを再現する前の段階の処理画像を得る波及演算部と
を備えたことを特徴とする画像処理装置。An image processing apparatus for correcting gradation of an input image,
A differential processing unit for spatially differentiating the input image to obtain a differential image;
By performing an iterative operation that locally propagates the differential value included in the differential image, the magnitude relationship between light and dark is reproduced locally, and a processed image before the light and dark level of the entire image is reproduced is obtained. An image processing apparatus comprising: a ripple calculation unit.
前記波及演算部で生成された前記処理画像の信号レンジをレベル調整して、画像信号の信号レンジに再配置するレベル調整部を備えた
ことを特徴とする画像処理装置。The image processing apparatus according to claim 1.
An image processing apparatus, comprising: a level adjustment unit that adjusts a level of a signal range of the processed image generated by the propagation calculation unit and rearranges the signal range in the signal range of the image signal.
前記処理画像と前記入力画像とを所定比率で加算して加算画像を生成する加算調整部を備えた
ことを特徴とする画像処理装置。The image processing apparatus according to claim 1 or 2,
An image processing apparatus comprising: an addition adjusting unit that generates an added image by adding the processed image and the input image at a predetermined ratio.
前記加算画像と前記入力画像とを画素値比較に基づいて選択して合成し、合成画像を生成する合成調整部を備えた
ことを特徴とする画像処理装置。The image processing apparatus according to claim 3.
An image processing apparatus comprising: a synthesis adjustment unit that selects and synthesizes the added image and the input image based on pixel value comparison to generate a synthesized image.
HSV変換部およびコンポーネント処理部を備え、
前記HSV変換部は、カラーの前記入力画像をHSV変換し、
前記微分処理部および前記波及演算部は、前記HSV変換後のV信号について前記階調修正を実施し、
前記コンポーネント処理部は、前記階調修正後のV信号と、前記入力画像のHS信号とに基づいて、カラーの出力画像を生成する
ことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 4,
An HSV conversion unit and a component processing unit,
The HSV conversion unit performs HSV conversion on the color input image,
The differential processing unit and the spreading calculation unit perform the gradation correction on the V signal after the HSV conversion,
The component processing unit generates a color output image based on the V signal after gradation correction and the HS signal of the input image.
前記波及演算部は、前記反復演算中の前記処理画像の信号レンジに基づいて終点判定を行い、前記反復演算をストップする
ことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 5,
The ripple processing unit performs end point determination based on a signal range of the processed image during the iterative calculation, and stops the iterative calculation.
請求項1ないし請求項6のいずれか1項に記載の画像処理装置とを備え、
前記画像処理装置が、前記撮像部で生成された前記入力画像に前記階調修正を実施する
ことを特徴とする電子カメラ。An imaging unit for imaging an object and generating an input image;
An image processing apparatus according to any one of claims 1 to 6,
The electronic camera, wherein the image processing device performs the gradation correction on the input image generated by the imaging unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003168862A JP2005004582A (en) | 2003-06-13 | 2003-06-13 | Image processing apparatus, image processing program, and electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003168862A JP2005004582A (en) | 2003-06-13 | 2003-06-13 | Image processing apparatus, image processing program, and electronic camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005004582A true JP2005004582A (en) | 2005-01-06 |
Family
ID=34094172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003168862A Pending JP2005004582A (en) | 2003-06-13 | 2003-06-13 | Image processing apparatus, image processing program, and electronic camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005004582A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006106750A1 (en) * | 2005-03-30 | 2006-10-12 | Nec Corporation | Image processing device, image processing method, and image processing program |
JP2007221654A (en) * | 2006-02-20 | 2007-08-30 | Iwasaki Electric Co Ltd | Photography system, moving picture processing method, and moving picture processor |
KR20120075693A (en) * | 2010-12-29 | 2012-07-09 | 엘지이노텍 주식회사 | Camera enhancing image sharpness, enhancement method for camera image and recording medium thereof |
-
2003
- 2003-06-13 JP JP2003168862A patent/JP2005004582A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006106750A1 (en) * | 2005-03-30 | 2006-10-12 | Nec Corporation | Image processing device, image processing method, and image processing program |
JP2007221654A (en) * | 2006-02-20 | 2007-08-30 | Iwasaki Electric Co Ltd | Photography system, moving picture processing method, and moving picture processor |
JP4677924B2 (en) * | 2006-02-20 | 2011-04-27 | 岩崎電気株式会社 | Imaging system, moving image processing method, and moving image processing apparatus |
KR20120075693A (en) * | 2010-12-29 | 2012-07-09 | 엘지이노텍 주식회사 | Camera enhancing image sharpness, enhancement method for camera image and recording medium thereof |
KR101714641B1 (en) | 2010-12-29 | 2017-03-09 | 엘지이노텍 주식회사 | Camera enhancing image sharpness, enhancement method for camera image and recording medium thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3668014B2 (en) | Image processing method and apparatus | |
US7778478B2 (en) | Image processing device, image processing program, image processing method, and electronic camera for controlling degree of noise reduction in image data | |
EP2750101B1 (en) | Endoscopic video system with dynamic contrast and detail enhancement | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
TWI511559B (en) | Image processing method | |
JP3584389B2 (en) | Image processing method and image processing apparatus | |
JP5392560B2 (en) | Image processing apparatus and image processing method | |
JP2004158006A (en) | Method for emphasizing tonal and spatial characteristics of digital image | |
JP2010039758A (en) | Image processor and image processing method | |
KR102221116B1 (en) | A device and method for removing the noise on the image using cross-kernel type median filter | |
JP4639037B2 (en) | Image processing method and apparatus | |
JP4066803B2 (en) | Image processing apparatus, image processing program, image processing method, and electronic camera | |
JP2006115444A (en) | Method, device, program for image processing, and electronic camera | |
JP7199849B2 (en) | Image processing device, image processing method, and program | |
JP2005130484A (en) | Gradation correction apparatus and gradation correction program | |
JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
JP2003309859A (en) | Image processing apparatus, image processing method, and image processing program | |
JP5932392B2 (en) | Image processing apparatus and image processing method | |
JP2008118462A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2002281312A (en) | Device, method and program for processing image | |
JP3731741B2 (en) | Color moving image processing method and processing apparatus | |
JP2002140700A (en) | Method and device for processing color image | |
JP5365881B2 (en) | Image processing apparatus and image processing method | |
JP2005004582A (en) | Image processing apparatus, image processing program, and electronic camera | |
JP2006186983A (en) | Exposure correction method for color image |