JP2004078652A - Image processor and its method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a clearer image by automatically controlling the contrast and color balance of a digital image obtained with a digital camera or the like. <P>SOLUTION: A contrast improvement means 12 applies contrast improvement utilizing a human visual model to an input image obtained with an image input means 10. That is, the means 12 calculates the contrast improvement quantity VRPij of a target pixel Pij by a relative comparison between the pixel value VPij of the target pixel Pij and the weighted mean pixel value VAPij of pixel values included in the peripheral visual field of the target pixel Pij, extracts a value supposed to be effective from the calculated value and generates a contrast enhanced image 3. Since a combination coefficient of the enhanced image 3 and the input image 1 is adaptively changed on the basis of the edge information of the input image which is obtained by an edge information detection means 11 and the luminance of the target pixel Pij, contrast improvement in which a problem of density between a highlight part and a shadow part is solved and the influence of illumination light is reduced can be attained. <P>COPYRIGHT: (C)2004,JPO

Description

【００１７】
そして、Ｆ（ｘ，ｙ）が（数２）の条件を満足するように正規化係数Ｋが決定されており、これにより（数１）の第２項は、周辺視野における画素値の平均値に相当する。つまり、（数１）は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数Ｆ（ｉ，ｊ）は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、（数３）のようなガウス関数が適用される。ここでｃは各画素値Ｉ（ｉ，ｊ）の調整画素値Ｉ’（ｉ，ｊ）をコントロールするための定数である。
【００１８】
【数２】

【００１９】
【数３】

【００２０】
以上のように、この従来の発明では、周辺視野での平均画素値に対する対象画素値を調整された画素値Ｉ’（ｉ，ｊ）として算出し、この値に対して、ディスプレイ３１３によって使用されるレティネックス出力Ｒ（ｉ，ｊ）を生成するためのフィルタ処理がフィルタ３１２により行われる。フィルタ３１２はＩ’（ｉ，ｊ）を対数領域からディスプレイ３１３で扱われるＲ（ｉ，ｊ）の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセットおよび利得変換関数を適用する処理が用いられる。
【００２１】
しかしながら、この手法の場合、周辺視野関数を制御するｃによる影響を大きく受ける。例えば、このｃが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このｃが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。
【００２２】
このように扱う画像内の画素値のダイナミックスレンジに応じて適切なｃを考慮する必要があり画像依存性の問題が挙げられる。これを改善する技術として、複数の周辺視野領域を設ける手法も同じ文献内に提案されているが、いくつ周辺視野領域を用意するかが明確になっておらず、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。
【００２３】
次に、フィルタ３１２では、ディスプレイ３１３で使用される実際の画素値に変換する処理が行われているが、この発明ではどの画像に対しても同一のオフセットおよび利得変換関数処理をするように設定されており、この最適なオフセットおよび利得変換関数の設定には経験的知見を要する点も問題として挙げられる。さらに、複数の定数ｃにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値Ｉ’（ｉ，ｊ）は複数領域を用意してもＩ（ｉ，ｊ）に関係なく１．０近傍になる。このような場合、画素値変動の小さい対象画素でのＩ’（ｉ，ｊ）はその入力画像全体におけるＩ’（ｉ，ｊ）の平均近傍に位置する場合が多く、フィルタ３１２におけるオフセットおよび利得変換関数の如何を問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。
【００２４】
また、デジタルカメラで撮影された画像の問題点として、色かぶり現象が指摘されている。これは、撮影などの条件によって、適正状態よりも特定色が強く出すぎている状態を示すものである。人間の目の場合、光に順応できるので光源の違いによって色が異なって見えることはありえないが、デジタルカメラで撮影された写真では撮影時の光源によって微妙に色かぶりが生じることがよく起こる。例えば、色かぶりは晴天の日陰はやや青みがかり、朝日や夕日のもとでは赤みがかり、蛍光灯下では緑っぽい色に写る傾向がある。また、プールの水の反射で青かぶり、草木の色の反射で緑かぶり、など被写体周囲の物体の色が反射して色かぶりが生じることもある。
【００２５】
このような色かぶりの除去手段としては、緑（Ｇ＝Ｃ＋Ｙ）が強すぎる場合にはＣとＹの信号を弱めるようにトーンカーブや濃度レベル補正を行うことがマニュアルで行われる。
【００２６】
自動処理としては、例えば図３２のような構成が用いられる。この処理の基本は入力画像全体の平均がグレー（無彩色）になるように各色のバランスを調整するものであり、エバンスの原理といって、世の中の被写体を全て加算すると無彩色になるという仮説に基づくものである。入力画像分布検出手段３２０は画像入力手段１０から入力された入力画像１内のレッド、ブルー、グリーンの各信号の平均値を求めるものであり、基準色設定手段３２１は入力画像１内の輝度の平均値を導出し、この値を基準色とする。そして色バランス修正手段３２２において、入力画像分布検出手段３２０で得られたレッド、ブルー、グリーンの各信号の平均値が基準色になるように入力画像内のレッド、ブルー、グリーン信号を修正する。このようにすることで、入力画像全体の平均色はグレーになり、色かぶりが軽減される。この処理をオートホワイトバランス処理とも呼ぶ。
【００２７】
しかし、このような処理を用いた場合、色彩の鮮やかな色をもつ物体が大きな領域を占めた場合、その色が平均色になる傾向が強くなり、この色が無彩色に近づくような問題が生じる。つまり、芝生の緑が画像の大半を占めているような場合、従来処理では芝生の緑を無彩色にしてしまう（カラーフェイリア）現象を生じることが問題として発生する。
【００２８】
【発明が解決しようとする課題】
このように、従来のヒストグラムに基づくコントラスト強調処理技術は、特定の部分のコントラストが強調されすぎたり、局所的に隣接する矩形領域境界で不連続性を示すことがあった。
また、複数の絞り条件等で撮像された複数画像を合成した場合、原理的には同じ被写体を撮像することができず、合成画像細部のぼけや色ずれを生じる可能性があった。さらに、デジタル撮影時の照明による色かぶりは何ら改善することができなかった。
【００２９】
従来の人間の視覚モデルをもとにしたコントラスト改善技術では、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。そのうえ、特に輝度の高く広い領域では、調整後の輝度が下がる方向に調整されやすい。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。単純に入力画像と強調画像の平均画像を導出することでこれらはある程度改善できるが、この視覚モデルの特徴の１つである不均一照明による色かぶりの低減を抑止してしまう問題があった。単純に照明の色かぶりを落とす手法として従来のように画像内の平均輝度にレッド、グリーン、ブルー信号の平均値を合わせた場合、一様に鮮やかな色彩が大きな領域を占めた場合、その色がグレー方向に修正されることで彩度が落ちることがあった。
【００３０】
そこで、本発明は、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができる画像処理技術を提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。そして入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行うことで、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるようにしたものである。
【００３２】
上記課題を解決するために、本発明の第２の画像処理技術は、第１の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させるものである。
【００３３】
上記課題を解決するために、本発明の第３の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。そして入力画像と強調画像の加重平均合成を行う際に、強調画像内の輝度分布を入力画像に合わせ合成することで、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。
【００３４】
上記課題を解決するために、本発明の第４の画像処理技術は、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された１つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求める。そして、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行うようにしたものであり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えるようにしたものである。
【００３５】
上記課題を解決するために、本発明の第５の画像処理技術は、第４の画像処理技術において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。
【００３６】
上記課題を解決するために、本発明の第６の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができる。
【００３７】
上記課題を解決するために、本発明の第７の画像処理技術は、第６の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができる。
【００３８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、コントラスト改善手段で得られた強調画像と入力画像の合成を、エッジ情報検出手段で得られたエッジ情報をもとに行う画像合成手段と、画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００３９】
本発明の請求項２に記載の発明は、請求項１記載の発明において、コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００４０】
本発明の請求項３に記載の発明は、請求項１記載の発明において、コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００４１】
本発明の請求項４に記載の発明は、請求項１記載の発明において、画像合成手段が、入力画像より得られたエッジ情報と入力画像を使ってコントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出する結合係数導出手段と、結合係数導出手段で得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成する加重平均合成手段と、加重平均合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有する画像処理装置であり、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるという作用を有する。
【００４２】
本発明の請求項５に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、コントラスト改善手段で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段と、濃度修正手段で得られた修正画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【００４３】
本発明の請求項６に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第２コントラスト改善手段と、第２コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることができるという作用を有する。
【００４４】
本発明の請求項７に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第２コントラスト改善手段と、入力画像のエッジ情報と入力画像を使って第２コントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し合成処理を行う画像合成手段と、画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００４５】
本発明の請求項８に記載の発明は、請求項６または７記載の発明において、第２コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、領域判定手段で得られた領域をもとに、画素比較範囲を選択する比較範囲設定手段と、比較範囲設定手段で選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求める強調量導出手段と、比較範囲選択手段で得られた画素比較範囲に応じて強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、調整係数導出手段で得られた調整係数により強調量導出手段で得られたコントラスト改善量を補正する調整手段と、調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【００４６】
本発明の請求項９に記載の発明は、請求項６または７記載の発明において、第２コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、領域判定手段で得られた領域をもとに、強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量を調整係数導出手段で得られた調整係数で補正する調整手段と、調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【００４７】
本発明の請求項１０に記載の発明は、請求項５、６、８または９記載の発明において、簡易画像合成手段が、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段と、加重合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有する画像処理装置であり、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという作用を有する。
【００４８】
本発明の請求項１１に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行う第３コントラスト改善手段と、第３コントラスト改善手段で得られた強調画像を出力する画像出力手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００４９】
本発明の請求項１２に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行う第３コントラスト改善手段と、第３コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００５０】
本発明の請求項１３に記載の発明は、請求項１１または１２記載の発明において、第３コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００５１】
本発明の請求項１４に記載の発明は、請求項１１または１２記載の発明において、第３コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【００５２】
本発明の請求項１５に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力された画像のエッジ情報を検出し、入力画像のコントラスト改善を行うとともに、入力画像のエッジ情報をもとにコントラスト改善された強調画像と入力画像の画像合成を行い、得られた合成後の画像を出力する画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００５３】
本発明の請求項１６に記載の発明は、請求項１５記載の発明において、対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量を実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００５４】
本発明の請求項１７に記載の発明は、請求項１５記載の発明において、対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求める際の画素比較範囲をまず設定し、設定された画素比較範囲内での周囲画素との比較で対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【００５５】
本発明の請求項１８に記載の発明は、請求項１５記載の発明において、強調画像と入力画像の画像合成処理が、入力画像より得られたエッジ情報と入力画像を使ってコントラスト改善処理で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し、得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得る画像処理方法であり、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるという作用を有する。
【００５６】
本発明の請求項１９に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像のコントラスト改善処理を行い、コントラスト改善処理で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正し、得られた修正画像と入力画像の簡易画像合成を行い、得られた合成後の画像を出力する画像処理方法であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【００５７】
本発明の請求項２０に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像のエッジ情報を抽出し、得られたエッジ情報と入力画像内の輝度をもとに入力画像の第２コントラスト改善処理を行い、得られた強調画像と入力画像の簡易画像合成処理もしくは画像合成処理を行い、得られた合成後の画像を出力する画像処理方法であり、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることができるという作用を有する。
【００５８】
本発明の請求項２１に記載の発明は、請求項２０記載の発明において、第２コントラスト改善処理として、入力画像のエッジ情報をもとに対象画素の領域判定を行い、判定された領域をもとに、画素比較範囲を選択し、選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求め、選択された画素比較範囲に応じて得られたコントラスト改善量を補正するための調整係数を導出し、導出された調整係数によりコントラスト改善量を補正し、補正後のコントラスト改善量より有効となる範囲を限定し抽出処理を行い、抽出選択されたコントラスト改善量を実際の画素値に変換する画像処理方法であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【００５９】
本発明の請求項２２に記載の発明は、請求項２０記載の発明において、第２コントラスト改善処理として、エッジ情報をもとに対象画素の領域を判定し、判定された対象画素の領域をもとに、コントラスト改善量を補正するための調整係数を導出し、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求め、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行い、終了判定されなかった場合、画素比較範囲を変更し、画素比較範囲内をもとに対象画素のコントラスト改善量を求め、終了判定された場合、複数の画素比較範囲より得られたコントラスト改善量を調整係数で補正し、調整係数で補正後のコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量より実際の画素値に変換する画像処理方法であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【００６０】
本発明の請求項２３に記載の発明は、請求項１９から請求項２２の何れか一項に記載の発明において、簡易画像合成処理として、得られた強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得る画像処理方法であり、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという作用を有する。
【００６１】
本発明の請求項２４に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像に第３コントラスト改善処理を行い、第３コントラスト改善処理で得られた強調画像を出力する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００６２】
本発明の請求項２５に記載の発明は、デジタル画像データを扱う画像処理方法であって、得られ入力画像のコントラスト改善のための第３コントラスト改善処理を行い、第３コントラスト改善処理で得られた強調画像と入力画像の簡易合成を行い、得られた合成後の画像を出力する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００６３】
本発明の請求項２６に記載の発明は、請求項２４または２５記載の発明において、第３コントラスト改善処理として、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束し、拘束された周囲の画素濃度をもとに対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定・抽出し、抽出されたコントラスト改善量を実際の画素値に変換する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【００６４】
本発明の請求項２７に記載の発明は、請求項２４または２５記載の発明において、第３コントラスト改善処理として、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、対象画素のコントラスト改善量を求める際に、設定された対象画素周囲の画素濃度を拘束し、設定された画素比較範囲内で、拘束された周囲画素濃度をもとに対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【００６５】
以下、本発明の実施の形態について、図１から図２８を用いて説明する。なお、これらの図面において同一の部材には同一の符号を付しており、重複した説明は省略されている。また、これ以降では、画素位置（ｉ，ｊ）の単位には全て画素単位が用いられることする。
【００６６】
（実施の形態１）
図１は本発明の実施の形態１である画像処理装置の全体構成を示すブロック図である。
【００６７】
図１に示すように、画像処理装置は、入力画像１を得るためのＣＣＤ素子のような画像入力手段１０、入力画像１よりエッジ情報４を検出するためのエッジ情報検出手段１１、画像入力手段１０で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段１２、デジタル入力画像１とコントラスト改善手段１２で得られた強調画像３を合成する画像合成手段１３、画像合成手段１３で得られた合成画像を最終処理後の出力画像２として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段１４を備えている。
【００６８】
図２は本発明の実施の形態１である画像処理装置におけるコントラスト改善手段の構成を示すブロック図である。
【００６９】
コントラスト改善手段１２は、図２に示すように、対象画素Ｐｉｊにおけるカラー３成分値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を広さｃのＰｉｊ周囲画素との比較によりコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する強調量導出手段２０、強調量導出手段２０で得られたコントラスト改善量ＶＲＰｉｊより有効となる範囲を限定し抽出する抽出手段２１、抽出手段２１で選択されたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２２からなる。
【００７０】
図４は本発明の実施の形態１である画像処理装置における画像合成手段の構成を示すブロック図である。画像合成手段１３は、図４に示すように、入力画像１内の輝度とエッジ情報検出手段１１で得られたエッジ情報４をもとに入力画像１とコントラスト改善手段１２で得られた強調画像３に掛かる結合係数ｗｓ（ｓ＝１，３；ここでｗ１は入力画像１に掛かる結合係数であり、ｗ３は強調画像３に掛かる結合係数を示す）を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数ｗ０、ｗ１を使って、入力画像１とコントラスト改善手段１２で得られた強調画像３の加重平均画像を生成する加重平均合成手段４１、そして加重平均合成手段４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。
【００７１】
以上のように構成された実施の形態１である画像処理装置の動作について図５および図６に従い説明する。
【００７２】
図５は本発明の実施の形態１である画像処理方法における全体の動作を示すフローチャート（図５（ａ））とエッジ情報導出処理を示すフローチャート（図５（ｂ））である。図６は本発明の実施の形態１である画像処理方法おけるコントラスト改善処理を示すフローチャート（図６（ａ））と画像合成処理を示すフローチャート（図６（ｂ））である。
【００７３】
図５（ａ）において、先ず、画像入力手段１０を介して、カラーの入力画像１がデジタル入力される。画像入力手段１０では、カラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。そして、画像入力手段１０ではこの値を０．０から１．０の値に正規化する。
【００７４】
次に、デジタル入力画像１に対して、エッジ情報を検出する処理がエッジ情報検出手段１１で行われる。
【００７５】
この処理は、図５（ｂ）に示すように、まず入力画像全ての画素Ｐｉｊに対して輝度ｙ（ｉ，ｊ）を計算する。このように処理簡略化等の理由でエッジ情報検出は輝度成分に対してのみ行われる。
【００７６】
図７は本発明の実施の形態１である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図であり、本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。
【００７７】
エッジ情報の検出としては様々な方法があるが、ここでは図７のような５画素×５画素のサイズをもつフィルタを適用する。画素Ｐｉｊを中心としてこのフィルタを適用して得られたｘ方向での成分量ｅｘ（ｉ，ｊ）とｙ方向での成分量ｅｙ（ｉ，ｊ）の二乗和の平方根を画素Ｐｉｊのエッジ情報ｅｄ（ｉ，ｊ）とする。
【００７８】
この定義は一義的ではなく、３画素×３画素サイズのソーベルフィルタと呼ばれるフィルタでも可能である。また、エッジ情報も輝度成分のみだけでなく、カラー３成分で図７のフィルタを適用して得られるベクトルとして取り扱うことも可能である。このようにして得られた全画素に対するエッジ情報ａｖｅ＿ｅｄと輝度の平均値ａｖｅ＿ｙを求める。
【００７９】
次に、デジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。
【００８０】
図９は本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。コントラスト改善手段１２では図９のように行われる。
【００８１】
すなわち、人間の視覚では、図９に模式的に示されるように対象画素Ｐｉｊに対して知覚された画素値のみでＰｉｊの画素情報（色、コントラストなど）を認知するのではなく、対象画素Ｐｉｊをその周囲にある画素の情報との相対的な関係により、対象画素値Ｐｉｊの画素値を調整することでＰｉｊの画素情報を知覚している。
【００８２】
これは、従来例で説明したようにＥｄｗｉｎ　Ｌａｎｄ　により紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。
本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
【００８３】
つまり、図６（ａ）において、まず、対象画素Ｐｉｊの画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））をＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。
そして、周辺視野における画素値の加重平均画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を求めるとともに、このＶＰｉｊとＶＰｉｊの間の相対的関係につながるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。
【００８４】
このＶＡＰｉｊとして、従来例のように（数１）の第２項におけるｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と（数２）、（数３）のようにガウス関数で定義された周辺視野関数Ｆ（ｘ，ｙ）の畳み込み積分値で定義することも可能であり、コントラスト改善量ＶＲＰｉｊも（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。
【００８５】
その例として、（数４）のようにＶＡＰｉｊはｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の平均値を定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））も（数５）のように各成分ごとの画素値ＶＰｉｊの加重平均画素値ＶＡＰｉｊに対する比として定義することができる。
【００８６】
【数４】

【００８７】
【数５】

【００８８】
また、（数６）、（数７）のようにｃ画素の周辺視野内における輝度ｙ（ｉ，ｊ）の平均値をＶＡＰｉｊの３成分として定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））は（数７）のように画素Ｐｉｊにおける各成分値の加重平均画素値ＶＡＰｉｊに対する比として定義することも可能である。
【００８９】
【数６】

【００９０】
【数７】

【００９１】
このようにすることで、比較対象となる周辺視野の画素値の加重平均画素値ＶＡＰｉｊは各成分とも同じ値になるため、（数４）、（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できる。そこで本発明では（数６）、（数７）による定義を採用することとした。
【００９２】
以上のような対象画素Ｐｉｊに対するコントラスト改善量ＶＲＰｉｊを入力画像内の全ての画像に対して行う。その後、コントラスト改善量ＶＲＰｉｊの成分ごとの平均値ＶａＲ（ａＲｒ，ａＲｇ，ａＲｂ）と標準偏差量ＶｄＲ（ｄＲｒ，ｄＲｇ，ｄＲｂ）を求め、その値を使ってコントラスト改善量ＶＲＰｉｊより抽出される際の最小値ｅｍｉｎと最大値ｅｍａｘを導出する。
【００９３】
この導出としても多くの方法があるが、ここでは、ｅｍａｘの候補としてａＲｒ＋α×ｄＲｒ、ａＲｇ＋α×ｄＲｇ、ａＲｂ＋α×ｄＲｂを求め、この３値の内の最大値をｅｍａｘとする。そして、ｅｍｉｎの候補としてａＲｒ−β×ｄＲｒ、ａＲｇ−β×ｄＲｇ、ａＲｂ−β×ｄＲｂを求め、この３値の内の最小値をｅｍｉｎとする。このようにすることで、抽出されたコントラスト改善量ＶＲＰｉｊの各成分のバランスが崩れないように、必要とする領域を抽出することとした。
【００９４】
次に、このｅｍａｘとｅｍｉｎを使って、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分は０．０から１．０の範囲内の値に変換される処理が行われる。このようにして得られたコントラスト改善量ＶＲＰｉｊを対象画素Ｐｉｊにおけるコントラスト改善で得られた強調画像３の画素値と見なされ、コントラスト改善処理が終了する。
【００９５】
このような一連の処理により、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみは取り出され中心からの変動量は強調されるとともに、中心付近から大きく外れた比の値を持つ画素のコントラスト改善量ＶＲＰｉｊは１．０もしくは０．０になりやすくなる。そのため、中心視野である対象画素Ｐｉｊとその周辺視野における画素の差が少しでもある領域はその差が強調されやすくなりコントラスト強調が行われ、影内の細部や入力機器のレンジ不足で埋もれてしまった色情報を強調して表現することができるようになる。
【００９６】
この発明の場合、各画素におけるコントラスト調整量の導出が従来のレティネックス概念による手法よりも簡易な形で構成されている。そして、従来のレティネックス概念による手法では、各画素におけるコントラスト調整量から実際の画素値成分へ変換する際のフィルタ処理（オフセット、利得変換関数）の設定が経験的知識を要することが問題とされていたが、本発明ではその必要がないことが利点として挙げられる。
一方、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみを抽出し、その前後の領域を０．０もしくは１．０で飽和させることにより、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせるようなことがあった。
【００９７】
図１０は本発明の実施の形態１または２である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図である。図１１は本発明の実施の形態１または２である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図である。
【００９８】
本発明では、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで（図１０）、入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとしたのである。その手法としては多くの手法が考えられるが、ここでは入力画像のエッジ情報と輝度に注目して、入力画像１に掛かる結合係数ｗ１と強調画像３に掛かる結合係数ｗ３を制御することとした。
【００９９】
図６（ｂ）に画像合成手段における処理フローを表し、結合係数の制御関数を（数８）と図１１に示す。
【０１００】
【数８】

【０１０１】
強調画像３における輝度低下と輝度の急激な上昇による画質劣化が生じるのは、主に大きな領域で一律な色を持つハイライト部や大きな領域で一律な色を持つシャドウ部で見受けられる。
【０１０２】
一方、単純に入力画像１と強調画像３を合成した場合、入力画像１で問題とされている照明光の影響で生じる色かぶりをそのまま引きずることになり、本来強調画像で低減されていた照明光による色かぶりの改善を阻害することになってしまうため、できるかぎり強調画像を優先した方が照明光による色かぶりの低減につながることとなる。
【０１０３】
以上のような考察より、一様に色変化の小さいハイライト部とシャドウ部では、強調画像３よりも入力画像１の画素値を優先するようにし、それ以外の部分では強調画像３を優先するようにした方が出力画像の改善に効果的と思われる。
【０１０４】
そこで、エッジ部分では強調画像を優先し、エッジ部分でなく輝度の高い部分と低い部分では入力画像を優先するように結合係数を制御するような手法を用いることとした。
【０１０５】
その手法としては多くがあるが、本発明では（数８）のようなファジィルール１と２を用いることとした。その際に適用されるファジィ関数は図１１のようになる。
【０１０６】
ルール１が入力画像でエッジでない部分で輝度の高い部分と低い部分に含まれる画素に対する合成出力画素値を決めるルールを表し、ルール２が入力画像でエッジ部分に含まれる画素に対する合成出力画素値を決めるルールを表す。
【０１０７】
まず対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）とエッジ情報ｅｄ（ｉ，ｊ）をもとに、ルール１に対する信頼度ｍ１とルール２に対する信頼度ｍ２を計算する。ルール１に対する信頼度ｍ１は、図１１より明らかなように、エッジ情報が小さくて輝度の高い点と低い点に２つのピークを持つ山型関数（ガウス関数）で定義されており、ルール２に対する信頼度ｍ２はエッジ情報、輝度とも入力画像のエッジ情報の平均値ａｖｅ＿ｅｄと輝度の平均値ａｖｅ＿ｙを中心とした山型をしているガウス関数で定義されている。
【０１０８】
このｍ１をｍ２をもとに強調画像３に掛かる結合係数ｗ３はｗ３＝ｍ２／（ｍ１＋ｍ２）で決定され、入力画像１にかかる結合係数ｗ１はｗ１＝１．０−ｗ３で決定される。このようにすることで、エッジでなく輝度の高い部分と低い部分における強調画像の影響を低減されるとともに、それ以外の部分での入力画像内の色かぶりを低減されるようにした。
【０１０９】
そして、それとともに、単純にエッジ情報と輝度のしきい値関数処理でｗ１をｗ３を決定した際に発生する可能性のある合成画像内の不連続部分を抑えることも目的としている。この処理を結合係数導出手段４０が行い、このｗ１とｗ３に従い、対象画素Ｐｉｊの合成画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を加重平均合成手段４１が行う。
【０１１０】
しかし、このようにして合成画像の画素値を決めても入力画像の対応する画素値と比較して輝度が低下する可能性がある。そこで、対象画素Ｐｉｊの入力画像における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と合成画像における画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を比較して、ＶＷＰｉｊがＶＰｉｊより小さい場合にはＶＷＰｉｊをＶＰｉｊで置き換える処理を出力値決定手段４２が行う。
【０１１１】
以上の処理が全画素に対して終了した後、画像出力手段１４で出力画像２の画素値としてＶＷＰｉｊを所定の出力デバイスに出力することでコントラスト改善処理が終了する。
【０１１２】
なお、結合係数導出手段４０の処理で、入力画像１の画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊを比較して、ＶＰｉｊが３成分ともＶＲＰｉｊより大きい場合にはｗ１＝１．０、ｗ３＝０．０とし、それ以外にはｗ１＝ｗ３＝０．５として合成画像の画素値ＶＷＰｉｊを求める手法も可能である。
【０１１３】
この場合、処理の簡略化にはなるが、特にエッジでない部分において（数８）の場合よりもｗ１の値が大きくなり入力画像１が合成画像で占める割合が大きくなるため、より入力画像の持つ照明光の影響（色かぶり）を受けることになる。そのため、それを低減させる手段を別に考慮する必要がある。
【０１１４】
以上のような構成や処理を行うことで、本発明の実施の形態１である画像処理装置および画像処理方法は、従来例の視覚モデルの利点を有効に生かすことで照明光による色かぶりを低減することができるとともに、ハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。
【０１１５】
なお、これらの処理は、本発明の実施の形態１である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１１６】
また、本発明の実施の形態１である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１１７】
（実施の形態２）
本発明の実施の形態２である画像処理装置の全構成は本発明の実施の形態１と同様に図１のように構成されており、コントラスト改善手段１２は図３のような構成になる。
【０１１８】
つまり、図３において、３０は強調量を導出する際の初期条件を設定する初期設定手段であり、主に中央視野である対象画素Ｐｉｊと比較する周辺視野部の大きさｃに初期周辺領域サイズｃ０を設定する処理を行う。
【０１１９】
２０、２１、２２は本発明の実施の形態１と同様に強調量導出手段、抽出手段、画素値変換手段である。３１は、予め用意された複数の周辺視野領域すべてでコントラスト改善量が算出されたかどうかを判定する終了判定手段であり、３２は終了判定手段３１で終了判定と見なされなかった場合に現在処理している周辺視野の大きさｃを次の候補に変更する比較範囲変更手段である。なお、画像合成手段１３については本発明の実施の形態１と同様に図４のように構成されている。
【０１２０】
以上のように構成された実施の形態２である画像処理装置の動作について説明する。図８は本発明の実施の形態２である画像処理方法におけるコントラスト改善処理を示すフローチャートである。
【０１２１】
画像入力手段１０を介して、カラー画像１がデジタル入力される。画像入力手段１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。画像入力手段１０ではこの値を０．０から１．０の値に正規化する。
【０１２２】
次に、デジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図８のように行われる。この発明の特徴は、本発明の実施の形態１に、複数用意された周辺視野領域でのコントラスト改善を行うことで、画像内に存在する暗部（影）の大きさによる影響を低減するようにした点である。エッジ情報検出手段１１、画像合成手段１３、そして画像出力手段１４は本発明の実施の形態１である画像処理装置と同様であるのでここでは省略する。
【０１２３】
図８において、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。
【０１２４】
その際、初期設定手段３０でまずｃ＝ｃ０というように、予め用意された複数の周辺視野領域サイズｃ［ｓ］（ｓ＝０，１，，，，Ｃｎｕｍ−１）のｃ０を周辺視野領域に設定する。この場合、ｃ［ｓ］は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。
【０１２５】
ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。強調量導出手段２０では、現在設定されているｃ＝ｃｋの矩形域の周辺視野に対して、周辺視野における画素値の加重平均画素値ＶＡＰｉｊ［ｓ］（Ａｒ＿ｓ（ｉ，ｊ），Ａｇ＿ｓ（ｉ，ｊ），Ａｂ＿ｓ（ｉ，ｊ））が算出される。
【０１２６】
そして、すべてのｃ［ｓ］で強調量導出手段２０での画素Ｐｉｊ周辺視野における加重平均画素値計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には比較範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域ｃをつぎの候補に変更し再び強調量導出手段２０での加重平均画素値算出が行われる。
【０１２７】
一方、終了判定手段３１で終了判定された場合には、各周辺視野領域ｃ［ｓ］に対するＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］（Ａｒ＿ｓ（ｉ，ｊ），Ａｇ＿ｓ（ｉ，ｊ），Ａｂ＿ｓ（ｉ，ｊ））の重み付き平均値を求め、その値をＰｉｊの全加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））と設定する。
【０１２８】
その際、周辺視野領域ｃ［ｓ］の大きさに応じた重み付けを各ｃ［ｓ］によるＰｉｊの加重平均画素値に付加することが考えられるが、ここでは簡易化のために、各ｃ［ｓ］による加重平均画素値ＶＡＰｉｊ［ｓ］の平均画素値をＰｉｊの全加重平均画素値として採用する。
【０１２９】
これ以外にも、ｃ［ｓ］による加重平均画素値ＶＡＰｉｊ［ｓ］を各成分別に比較して最大値となる加重平均画素値をＰｉｊの全加重平均画素値とすることも可能である。
【０１３０】
こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。そして、Ｐｉｊにおける各成分ごとの画素値Ｖｐｉｊの全加重平均画素値ＶＡＰｉｊに対する比をコントラスト調整量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））として算出する。
【０１３１】
これ以降の処理は本発明の実施の形態１と同様に、まず、コントラスト改善量ＶＲＰｉｊより抽出される際の最小値ｅｍｉｎと最大値ｅｍａｘを導出する。
次に、このｅｍａｘとｅｍｉｎを使って、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分を０．０から１．０の範囲内の値に変換して得られたコントラスト改善量ＶＲＰｉｊを対象画素Ｐｉｊにおけるコントラスト改善後の画素値と見なして、コントラスト改善処理が終了する。
【０１３２】
また、画像合成処理部１３も本発明の実施の形態１と同様に入力画像１のＰｉｊにおける輝度値ｙ（ｉ，ｊ）とエッジ情報ｅｄ（ｉ，ｊ）をもとに、強調画像３に掛かる結合係数ｗ３と入力画像１に掛かる結合係数ｗ１を導出する。
【０１３３】
そして、この値を使って、Ｐｉｊにおける入力画像１の画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊの加重平均画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））が求められ、出力値決定手段４２で入力画像１の画素値と比較処理が行われ、出力画像２におけるＰｉｊの画素値ＶＷＰｉｊをして決定される。このような処理が全画素に対して行うことで、最終的に画像出力手段１４で出力される出力画像２が生成される。
【０１３４】
以上のような構成や処理を行うことで、本発明の実施の形態２である画像処理装置および画像処理方法は、本発明の実施の形態１である画像処理装置および画像処理方法の特徴を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【０１３５】
なお、これらの処理は、本発明の実施の形態２である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１３６】
また、本発明の実施の形態２である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１３７】
（実施の形態３）
図１２は本発明の実施の形態３である画像処理装置の全体構成を示すブロック図である。図１３は本発明の実施の形態３である画像処理装置における簡易画像合成手段の構成を示すブロック図である。
【０１３８】
図１２に示すように、画像処理装置は、入力画像１を得るための画像入力手段１０、画像入力手段１０で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段１２、コントラスト改善手段１２で得られた強調画像３内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段１２１、濃度修正手段１２１で得られた修正画像５と入力画像１の合成を行う簡易画像合成手段１２０、簡易画像合成手段１２０で得られた合成画像を最終処理後の出力画像２として所望のデバイスで出力するための画像出力手段１４を備えている。
【０１３９】
ここで、簡易画像合成手段１２０は、図１３に示すように、修正画像内の対象画素信号をもとに、入力画像と強調画像に掛かる結合係数を決定する簡易結合係数導出手段１３０、簡易結合係数導出手段で得られた各画像の結合係数を使って、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段４１、加重平均合成手段４１で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段４２より構成される。
【０１４０】
この実施の形態３での特徴は、本発明の実施の形態１と同様な方法で算出された強調画像３の輝度分布を入力画像１に合わせて補正することで、入力画像１と強調画像３の合成時に発生するハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。
【０１４１】
以上のように構成された実施の形態３である画像処理装置の動作について図１４および図１５に従い説明する。
【０１４２】
ここで、図１４が本発明の実施の形態３である画像処理方法における全体の動作を示すフローチャート（図１４（ａ））と強調画像の濃度修正処理を示すフローチャート（図１４（ｂ））を表し、図１５が本発明の実施の形態３である画像処理方法における簡易画像合成手段の動作を示すフローチャートを表す。コントラスト改善処理におけるフローチャートは本発明の実施の形態１における図６（ａ）もしくは本発明の実施の形態２における図８と同様である。図１６は本発明の実施の形態３である画像処理方法における強調画像３の濃度修正処理の概要を示す図である。
【０１４３】
画像入力手段１０、コントラスト改善手段１２、画像出力手段１３は本発明の実施の形態１もしくは本発明の実施の形態２と同様の動作を行うためここでは省略する。
【０１４４】
濃度修正処理は図１４（ａ）のように行われる。つまり、強調画像３では、陰影で覆われた細部のコントラストを改善するだけでなく変動が少なく広範囲にわたるハイライト部の輝度低下と変動が少なく広範囲にわたるシャドウ部の急激な輝度上昇が生じてしまう。
【０１４５】
この場合、問題とされる領域は広範囲にわたることで強調画像内の画像分布を検討した場合、平均輝度ａｖｅ＿Ｒｙに大きな影響をきたすことが考えられる。そこで、強調画像３の平均輝度ａｖｅ＿Ｒｙを入力画像の平均輝度ａｖｅ＿ｙに一致するように強調画像３内の画素値を変換させることで、上記問題を改善することができる。
【０１４６】
図１４（ｂ）において、強調画像３に対して、Ｐｉｊにおける輝度Ｒｙ（ｉ，ｊ）、色差Ｒｕ（ｉ，ｊ），Ｒｖ（ｉ，ｊ）を算出する。次に、強調画像３の平均輝度ａｖｅ＿Ｒｙと入力画像１の平均輝度ａｖｅ＿ｙを算出する。
【０１４７】
そして、各画素ごとに差分量ａｖｅ＿ｙ−ａｖｅ＿Ｒｙを強調画像３の画素Ｐｉｊの輝度値Ｒｙ（ｉ，ｊ）に加え改めて輝度Ｒｙ（ｉ，ｊ）とする。最後にこの補正後の輝度Ｒｙ（ｉ，ｊ）と色差Ｒｕ（ｉ，ｊ），Ｒｖ（ｉ，ｊ）より補正後の画素値ＶＤＰｉｊ（Ｄｒ（ｉ，ｊ），Ｄｇ（ｉ，ｊ），Ｄｂ（ｉ，ｊ））を算出することで処理を終える。
【０１４８】
簡易画像合成手段１２１では、図１５に示すように、まず入力画像１と修正画像５の輝度より各々画像に掛かる結合係数ｗ１、ｗ３が導出される。前述した実施の形態１および２では、この導出に入力画像１のエッジ情報４も利用されているが、本実施の形態では濃度修正手段１２０である程度広範囲におけるハイライト部の輝度低下等が改善されていることを考え、ｗ１＝０．３、ｗ３＝０．７のように強調画像３を優先するような結合係数を設定した。
【０１４９】
そして、加重平均合成手段４１がこの結合係数をもとに合成画像を生成し、出力値決定手段４２で対象画素Ｐｉｊの入力画像における画素値ＶＰｉｊと合成画像における画素値ＶＷＰｉｊの比較処理を行うのである。
【０１５０】
このように強調画像３の濃度修正を行う処理を加えることで、実施の形態３である画像処理技術では、図１６に示すように、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、結果として出力される出力画像における問題をより簡易な方法で改善することができる。
【０１５１】
また、入力画像の占める割合が小さくなることで、強調画像で改善された色かぶり現象の特性もある程度出力画像に引き継がれ、色かぶりを低減したコントラスト改善が実現できる。
【０１５２】
なお、これらの処理は、本発明の実施の形態３である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１５３】
また、本発明の実施の形態３である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１５４】
（実施の形態４）
図１７は本発明の実施の形態４である画像処理装置の全体構成を示すブロック図である。図１８は本発明の実施の形態４である画像処理装置における第２コントラスト改善手段の構成を示すブロック図である。図１９は本発明の実施の形態４である画像処理方法における全体の動作を示すフローチャート（図１９（ａ））と第２コントラスト改善処理を示すフローチャート（図１９（ｂ））である。
【０１５５】
図１７に示すように、画像処理装置は、入力画像１を得るための画像入力手段１０、入力画像１よりエッジ情報４を検出するためのエッジ情報検出手段１１、第２コントラスト改善手段１７０、第２コントラスト改善手段１７０で得られた強調画像３と入力画像１の合成を行う簡易画像合成手段１２０、簡易画像合成手段１２０で得られた合成画像を最終処理後の出力画像２として所望のデバイスで出力するための画像出力手段１４を備えている。
【０１５６】
ここで、第２コントラスト改善手段１７０は、図１８に示すように、エッジ情報４より対象画素Ｐｉｊの属する領域が判定される領域判定手段１８０、領域判定手段１８０で判定された領域に従い画素比較範囲を選択する比較範囲選択手段１８１、コントラスト改善量を導出する強調量導出手段２０、判定された領域に応じて強調量導出手段２０のコントラスト改善量を調整するための調整係数を求める調整係数導出手段１８２、調整係数導出手段１８２で得られた係数をもとに強調量導出手段２０のＰｉｊにおけるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を調整する調整手段１８３、および抽出手段２１と画素値変換手段２２より構成されている。
【０１５７】
ここでのポイントは、エッジ情報をもとに対象画素Ｐｉｊの属する領域を判定しその領域に応じて画素比較範囲を選択する点にある。
【０１５８】
図１７および図１８のように構成された実施の形態４である画像処理装置における全体の処理の流れおよび第２コントラスト改善処理の流れは図１９（ａ）、（ｂ）のようになる。
【０１５９】
つまり、画像入力手段１０で入力された入力画像１の画素Ｐｉｊに対してエッジ情報ｅｄ（ｉ，ｊ）が求められる。次に、領域判定手段１８０でｅｄ（ｉ，ｊ）と輝度ｙ（ｉ，ｊ）をもとにこの画素の属する領域が判定され、この判定に応じて１８１が比較範囲選択を行う。この画素比較範囲選択方法の概要を図２０に表す。図２０は本発明の実施の形態４である画像処理方法における比較領域の選択方法を示す概念図である。
この図２０で示すように、なだらかで輝度の低いシャドウ部では過剰強調を避けるために、画素比較範囲を大きくとるようにする。それに対し、エッジ付近ではそのエッジ部で埋もれているであろう変化を強調するために、対象画素近傍での比較によりコントラスト改善量を求めるようにする。一方、なだらかな変化で輝度の高い部分については、画素周囲の平均画素値に変化を生じさせることができるような大きな比較範囲を設けるか、それが不明の場合は中間での画素比較範囲を適用することとする。
【０１６０】
次に、調整係数導出手段１８２では、判定された領域に応じて調整係数を決める。これは、領域判定手段１８０の領域判定に応じて予想されるコントラスト改善量を見越し、その調整を行うための係数を求めるものである。
【０１６１】
なだらかに変化する輝度の高い領域では、強調量導出手段２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が１．０付近になりやすく入力画像よりも低い値になることが多いことを見越して、この値を大きくするように調整係数ｋ（ｉ，ｊ）が設定される。
ここでは、２０％増にするとしてｋ（ｉ，ｊ）＝１．２とする。エッジ付近では、コントラスト改善量は十分強調された値になるため、ｋ（ｉ，ｊ）＝１．０と設定される。
【０１６２】
一方、なだらかに変化する輝度の低い領域では、２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が１．０付近になりやすく、入力画像よりも急激に高い値になることが多いことを見越して、この値を小さくするように調整係数ｋ（ｉ，ｊ）が設定される。
【０１６３】
ここでは、２０％減にするとしてｋ（ｉ，ｊ）＝０．８とする。調整手段１８３では、この調整係数ｋ（ｉ，ｊ）を２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分に乗算して改めてコントラスト改善量ＶＲＰｉｊとする。
【０１６４】
こうした処理が全画素に対して行われ、この後、本発明の実施の形態１と同様に抽出処理と画素値変換処理が行われ、強調画像３が生成されるのである。そして、この強調画像３と入力画像１の合成処理が簡易画像合成手段１３０で行われ、画像出力手段１４で出力画像として出力される。合成処理については本発明の実施の形態３と同様である。
【０１６５】
以上のように、本実施の形態の画像処理技術では、エッジ情報で予め対象画素の属する領域を判定しその領域に応じた比較範囲と調整係数を設定する。そして、この画素比較範囲内の周囲画素の平均画素値との比較でコントラスト改善量を求めるとともに、その値の調整を行うことで強調画像３におけるハイライト部とシャドウ部の問題点を解消することをねらったものである。そのため、画像合成処理も単純に強調画像の占める割合を大きくする処理でも成果を得ることができる。そして、入力画像の占める割合が小さくなることで、出力画像でも色かぶり現象を改善することができる。
【０１６６】
なお、よりハイライト部とシャドウ部の問題点を改善するために簡易画像合成手段１２０の代わりに本発明の実施の形態１もしくは実施の形態２で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段１１で得られたエッジ情報４がこの画像合成手段に加えられる。
【０１６７】
さらに、これらの処理は本発明の実施の形態４であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１６８】
また、本発明の実施の形態４である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１６９】
（実施の形態５）
本発明の実施の形態５である画像処理装置の全構成は本発明の実施の形態４と同様に図１７のように構成されており、第２コントラスト改善手段１７０は図２１のような構成になる。図２１は本発明の実施の形態５である画像処理装置における第２コントラスト改善手段の構成を示すブロック図である。図２２は本発明の実施の形態５である画像処理方法における第２コントラスト改善処理を示すフローチャートである。
【０１７０】
つまり、本発明の実施の形態４と異なる点は、図２１において、本実施の形態の第２コントラスト改善手段１７０では複数の画素比較範囲で得られたコントラスト改善量の平均値を導出され、第２コントラスト改善手段１７０の領域判定手段１８０で得られた領域情報はこのコントラスト改善量の平均値に掛かる調整係数を推定するために使用される点である。
【０１７１】
これは、本発明の実施の形態４のように領域ごとに比較範囲を設定した場合、処理速度は速くなる。しかし、領域判定ミスによる比較範囲選択の誤りの影響を受ける可能性があること、エッジ部分において差を強調するために近傍のみの比較を行った場合、エッジ程度によっては過剰強調によりホワイト色による色とびが発生すること、陰影サイズによってはあまり近傍過ぎると周囲画素の平均画素値が対象画素値に近づいてしまい強調できないことがあること等の問題が考えられる。
【０１７２】
そこで、本発明の実施の形態２と同様に複数の比較範囲を用意して各範囲で得られたコントラスト改善量の平均値で対象画素のコントラスト改善量ＶＲＰｉｊを導出するようにしたものである。
【０１７３】
第２コントラスト改善処理の流れを表す図２２より明らかなように、まずエッジ情報４をもとに画素Ｐｉｊが一様に広いハイライト部分か一様に広いシャドウ部分かそれ以外の部分に属するかの判定を領域判定手段１８０が行う。
次に、この判定結果をもとに、各比較範囲で得られたコントラスト改善量の平均値と調整するための調整係数を調整係数導出手段１８１が決定する。この決め方については、例えば本発明の実施の形態４と同じようにすることができる。
【０１７４】
また、初期設定手段３０から比較範囲変更手段３２では、本発明の実施の形態２と同様に、初期設定手段３０で初期設定された条件でまず強調量導出手段２０がコントラスト改善量ＶＲＰｉｊを求め、終了判定手段３１で全ての比較範囲で２０の処理が完了したかどうかの判定がされる。
【０１７５】
この終了判定が満足されていない場合には、次に用意された画素比較範囲に設定し直して強調量導出手段２０での強調量導出処理が行われ、終了判定が満足された場合には、各比較範囲におけるコントラスト改善量の平均値を改めてこの画素におけるコントラスト改善量ＶＲＰｉｊと設定し、これに調整手段１８３が調整係数導出手段１８２で得られた調整係数と設定し、これに調整手段１８２が調整係数導出手段１８２で得られた調整係数ｋ（ｉ，ｊ）を乗算することでコントラスト改善量ＶＲＰｉｊを補正する。
【０１７６】
その後、必要と思われる領域を抽出手段２１が抽出し画素値変換手段２２が実際の画素値（レッド、ブルー、グリーン信号）に変換することで強調画像３を生成するのである。
【０１７７】
そして、この強調画像３と入力画像１の合成画像を簡易画像合成手段が生成する。この際、色かぶり解消を保つために強調画像の占める割合が大きくなるように、例えば、強調画像３に掛かる結合係数結合係数ｗ３＝０．７、入力画像１に掛かる結合係数ｗ１＝０．３のようにすることで画像合成を行い、画像出力手段１４で出力画像として出力デバイスに出力する。
【０１７８】
以上のように、本実施の形態の画像処理技術では、実施の形態４において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、実施の形態２と同様に複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。
【０１７９】
また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となる。
【０１８０】
なお、簡易画像合成手段１２０の代わりに本発明の実施の形態１もしくは実施の形態２で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段１１で得られたエッジ情報４がこの画像合成手段に加えられる。
【０１８１】
さらに、これらの処理は本発明の実施の形態５である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１８２】
また、本発明の実施の形態５である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１８３】
（実施の形態６）
図２３は本発明の実施の形態６である画像処理装置の全体構成を示すブロック図であり、図示するように、本実施の形態の画像処理装置では、入力画像１と強調画像３の合成処理をしない場合（図２３（ａ））と、入力画像１と強調画像３の合成処理を経て出力画像２を生成する場合（図２３（ｂ））とがある。図２４は本発明の実施の形態６である画像処理装置における第３コントラスト改善手段の構成を示すブロック図である。図２５は本発明の実施の形態７である画像処理装置における第３コントラスト改善手段の構成を示すブロック図である。
【０１８４】
どちらも、強調画像３の生成は第３コントラスト改善手段２３０が行い、この第３コントラスト改善手段２３０の構成は、入力画像１と強調画像３の合成処理をしない場合は図２４のようになり、入力画像１と強調画像３の合成処理を経て出力画像２を生成する場合は図２５のようになる。
【０１８５】
まず図２３（ａ）の場合について説明する。
【０１８６】
図２３（ａ）の場合は、画像入力手段１０、視覚モデルによりコントラスト改善量を導出する第３コントラスト改善手段２３０、そして第３コントラスト改善手段２３０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））をそのまま出力画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））とする画像出力手段１４より構成される。
【０１８７】
そして、図２４に示すように、第３コントラスト改善手段２３０は、強調量導出手段２０、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段２４０、強調量導出手段２０で得られたコントラスト改善量から必要な部分を抽出する抽出手段２１、そして抽出手段２１で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段２２より構成される。
【０１８８】
この場合の処理の流れは図２６のようになる。図２６（ａ）は本発明の実施の形態６である画像処理方法における全体の動作を示すフローチャートであり、第３コントラスト改善処理を示すフローチャートは図２６（ｂ）のようになる。
【０１８９】
図示するように、本発明の実施の形態１におけるコントラスト改善処理とほぼ同じ処理がされるが、対象画素Ｐｉｊの周囲範囲内の画素値の上下限を抑制することが異なる点である。ここでは、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を（数６）、（数７）で計算する場合を考える。
【０１９０】
その場合、強調量導出濃度拘束手段２４０では、対象画素Ｐｉｊの周囲範囲内の輝度値ｙ（ｉ，ｊ）をｔｈＬｏｗ＿ｙ≦ｙ（ｉ，ｊ）≦ｔｈＨｉｇｈ＿ｙのように上下限を抑えることとなる。この処理の概要は図２８で示される。図２８は本発明の実施の形態６または７の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図である。
【０１９１】
このように上限を抑えることで、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際に、（数６）による周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））はＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））より抑えられ、結果としてＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））はコントラスト改善量の中心付近になる１．０より大きな値となる。
【０１９２】
そのため、この値を画素値変換手段２２で実際の画素値に変換した場合、そのＶＲＰｉｊは輝度の高い値に戻るようになる。一方、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際には（数６）による周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））はＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））より上昇させられ、結果としてＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））はコントラスト改善量の中心付近になる１．０より小さい値となる。そのため、この値を画素値変換手段２２で実際の画素値に変換した場合、そのＶＲＰｉｊは輝度の低い値に戻るようになる。
【０１９３】
本発明のポイントは、このように強調量導出手段２０のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにあり、非常に単純な処理である程度の効果を得ることができる。
【０１９４】
次に、図２３（ｂ）の場合について説明する。
【０１９５】
図２３（ｂ）の場合は、画像入力手段１０、視覚モデルによりコントラスト改善量を導出する第３コントラスト改善手段２３０、そして第３コントラスト改善手段２３０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））と入力画像１の対応する画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の合成画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を求める簡易画像合成手段１２０、簡易画像合成手段１２０で得られた画素値ＶＷＰｉｊを出力する画像出力手段１４より構成される。
【０１９６】
図２３（ａ）の場合では、一様に広いハイライト部での輝度低下と、一様に広いシャドウ部での輝度の急激な上昇を十分改善できない場合が考えられるので、図２３（ｂ）では入力画像１との合成をすることでさらにその改善を図ったものである。その際、入力画像１に掛かる結合係数を抑え強調画像３にかかる結合係数を優先することで、出力画像２における色かぶりの低減も実現できるように簡易画像合成手段を適用した。
【０１９７】
以上のように、本実施の形態６の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となる。
【０１９８】
なお、この発明ではコントラスト改善量として（数６）、（数７）による場合で説明したが、（数４）、（数５）の場合でも適用できる。この場合、３成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。
【０１９９】
さらに、これらの処理は本発明の実施の形態６である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０２００】
また、本発明の実施の形態６である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０２０１】
（実施の形態７）
本発明の実施の形態７である画像処理装置の全構成は本発明の実施の形態６と同様に図２３のように構成されており、第３コントラスト改善手段２３０は図２５のような構成になる。
【０２０２】
つまり、図２５において、第３コントラスト調整手段２３０は、初期設定手段３０、強調量導出手段２０、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段２４０、全比較範囲での処理が終了したかどうかの判定を行う終了判定手段３１、終了判定されない場合には比較範囲を変更する比較範囲変更手段３２、強調量導出手段２０で得られたコントラスト改善量から必要な部分を抽出する抽出手段２１、そして抽出手段２１で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段２２より構成される。
【０２０３】
本発明の実施の形態７である画像処理装置および画像処理方法における全体の処理の流れは本発明の実施の形態６と同様である。第３コントラスト改善処理における処理の流れは図２７のようになる。図２７は本発明の実施の形態７である画像処理方法における第３コントラスト改善処理を示すフローチャートである。
【０２０４】
この図より明らかなように、本発明の第３コントラスト改善処理のポイントは、本発明の実施の形態１であるコントラスト改善処理のフローチャート図（図６（ａ））に各画素比較範囲で計算される各周辺視野領域ｃ［ｓ］に対するＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］の上下限を抑制することにある。
【０２０５】
対象画素Ｐｉｊに対して、初期比較範囲ｃ［０］でまずＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］を（数６）、（数７）に従い求める。その際に、周囲範囲内の輝度値ｙ（ｉ，ｊ）をｔｈＬｏｗ＿ｙ≦ｙ（ｉ，ｊ）≦ｔｈＨｉｇｈ＿ｙのように上下限を抑えるが、このようにすることで本発明の実施の形態６と同様に、強調量導出手段２０のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値ＶＡＰｉｊ［ｓ］を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにある。
【０２０６】
終了判定手段３１では、Ｐｉｊに対して用意された全画素比較範囲ｃ［ｓ］に対して強調量導出手段２０の処理が終了したかどうかの判定を行う。この終了判定がされていない場合には比較範囲変更手段３２で次の画素比較範囲ｃ［ｓ］に変更して強調量導出手段２０へ処理が移る。
【０２０７】
一方、終了判定された場合には、ＶＡＰｉｊ［ｓ］の重み付き平均値を求め、その値をＰｉｊの全加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））と設定する。
【０２０８】
そして、この値をもとにＰｉｊにおけるコントラスト改善量ＶＲＰｉｊを（数７）で計算する。抽出手段２１はそのＶＲＰｉｊより必要とする領域を抽出し、画素値変換手段２２で実際のレッド、ブルー、グリーンの画素値に変換する処理を行うのである。この処理を全画素に対して行うことで第３コントラスト改善処理は完了する。
【０２０９】
この処理の後、図２３（ａ）の場合はここで得られた強調画像３をそのまま出力画像の画素Ｐｉｊにおける画素値ＶＷＰｉｊとして画像出力手段１４が所定のデバイスに出力する。図２３（ｂ）の場合は、強調画像３と入力画像１の合成処理を簡易画像合成手段１２０が行う。その際、強調画像の持つ色かぶり低減の特徴をできるだけ生かすために、強調画像３にかかる結合係数を優先し、入力画像１にかかる結合係数を小さい値にすることで画像合成処理を行い、得られた合成画像を画像出力手段１４が出力するのである。
【０２１０】
以上のように本実施の形態の画像処理技術は、実施の形態６で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができる利点を持つ。
【０２１１】
なお、この発明ではコントラスト改善量として（数６）、（数７）による場合で説明したが、（数４）、（数５）の場合でも適用できる。この場合、３成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。
【０２１２】
また、これらの処理は本発明の実施の形態７である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０２１３】
また、本発明の実施の形態７である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０２１４】
【発明の効果】
以上のように、本発明の第１の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行っているので、一様なハイライト部での濃度レベル低下やシャドウ部における濃度レベルの急激な上昇を抑えることができるとともに、それ以外での領域における強調画像の占める割合を多くすることで、本来視覚モデルの特徴の１つである不均一照明成分を低減したコントラスト改善が可能となるという有効な効果が得られる。
【０２１５】
以上のように、本発明の第２の画像処理技術では、第１の発明で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに影響されることなく自動的に入力画像のコントラスト改善や色かぶりの低減化を行うことができるという有効な効果が得られる。
【０２１６】
以上のように、本発明の第３の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、強調画像内の輝度分布を入力画像に合わせて修正しているので、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、この修正された強調画像と入力画像の加重平均合成画像である出力画像においてもハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることが可能となるという有効な効果が得られる。
【０２１７】
以上のように、本発明の第４の画像処理技術では、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された１つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求め、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行っているので、エッジ領域部をより鮮明化するとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることが可能となるとともに、処理回数の削減を図ることが可能となるという有効な効果が得られる。
【０２１８】
以上のように、本発明の第５の画像処理技術では、第４の画像処理技術において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更しているので、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという有効な効果が得られる。また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となるという有効な効果が得られる。
【０２１９】
以上のように、本発明の第６の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えているので、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となるという有効な効果が得られる。
【０２２０】
この場合、入力画像との合成を行う装置と行わない装置が考えられ、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりの影響を受けることなく視覚モデルで低減された強調画像が出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。
【０２２１】
以上のように、本発明の第７の画像処理技術では、第６の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができるという有効な効果が得られる。
【０２２２】
そして、第６の画像処理技術と同様に、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりが低減された強調画像のみが出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１である画像処理装置の全体構成を示すブロック図
【図２】本発明の実施の形態１である画像処理装置におけるコントラスト改善手段の構成を示すブロック図
【図３】本発明の実施の形態２である画像処理装置におけるコントラスト改善手段の構成を示すブロック図
【図４】本発明の実施の形態１である画像処理装置における画像合成手段の構成を示すブロック図
【図５】（ａ）本発明の実施の形態１である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態１である画像処理方法におけるエッジ情報導出処理を示すフローチャート
【図６】（ａ）本発明の実施の形態１である画像処理方法おけるコントラスト改善処理を示すフローチャート（ｂ）本発明の実施の形態１である画像処理方法おける画像合成処理を示すフローチャート
【図７】本発明の実施の形態１である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図
【図８】本発明の実施の形態２である画像処理方法におけるコントラスト改善処理を示すフローチャート
【図９】本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図
【図１０】本発明の実施の形態１または２である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図
【図１１】本発明の実施の形態１または２である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図
【図１２】本発明の実施の形態３である画像処理装置の全体構成を示すブロック図
【図１３】本発明の実施の形態３である画像処理装置における簡易画像合成手段の構成を示すブロック図
【図１４】（ａ）本発明の実施の形態３である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態３である画像処理方法における強調画像の濃度修正処理を示すフローチャート
【図１５】本発明の実施の形態３である画像処理方法における簡易画像合成手段の動作を示すフローチャート
【図１６】本発明の実施の形態３である画像処理方法における強調画像３の濃度修正処理の概要を示す図
【図１７】本発明の実施の形態４である画像処理装置の全体構成を示すブロック図
【図１８】本発明の実施の形態４である画像処理装置における第２コントラスト改善手段の構成を示すブロック図
【図１９】（ａ）本発明の実施の形態４である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態４である画像処理方法における第２コントラスト改善処理を示すフローチャート
【図２０】本発明の実施の形態４である画像処理方法における比較領域の選択方法を示す概念図
【図２１】本発明の実施の形態５である画像処理装置における第２コントラスト改善手段の構成を示すブロック図
【図２２】本発明の実施の形態５である画像処理方法における第２コントラスト改善処理を示すフローチャート
【図２３】本発明の実施の形態６である画像処理装置の全体の構成を示すブロック図であり、（ａ）は入力画像と強調画像の重ね合わせを行わない場合の図（ｂ）は入力画像と強調画像の重ね合わせを行う場合の図
【図２４】本発明の実施の形態６である画像処理装置における第３コントラスト改善手段の構成を示すブロック図
【図２５】本発明の実施の形態７である画像処理装置における第３コントラスト改善手段の構成を示すブロック図
【図２６】（ａ）本発明の実施の形態６である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態６である画像処理方法における第３コントラスト改善処理を示すフローチャート
【図２７】本発明の実施の形態７である画像処理方法における第３コントラスト改善処理を示すフローチャート
【図２８】本発明の実施の形態６または７の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図
【図２９】従来の画像処理装置の一例におけるコントラスト改善部を示すブロック図
【図３０】従来の画像処理装置の他の一例を示すブロック図
【図３１】従来の画像処理装置のさらに他の一例を示すブロック図
【図３２】従来の画像処理装置のさらに他の一例を示すブロック図
【符号の説明】
１　入力画像
２　出力画像
３　強調画像
４　エッジ情報
５　修正画像
１０　画像入力手段
１１　エッジ情報検出手段
１２　コントラスト改善手段
１３　画像合成手段
１４　画像出力手段
２０　強調量導出手段
２１　抽出手段
２２　画素値変換手段
３０　初期設定手段
３１　終了判定手段
３２　比較範囲変更手段
４０　結合係数導出手段
４１　加重平均合成手段
４２　出力値決定手段
１２０　簡易画像合成手段
１２１　濃度修正手段
１７０　第２コントラスト改善手段
１８０　領域判定手段
１８１　比較範囲選択手段
１８２　調整係数導出手段
１８３　調整手段
２３０　第３コントラスト改善手段
２４０　強調量導出基準拘束手段
２９０　画像データ入力手段
２９１　画像データ分割手段
２９２　ヒストグラム作成手段
２９３　コントラスト伸張手段
２９４　画像データ出力手段
３００　ＣＣＤ
３０１　メモリ
３０２　乗算手段
３０３　レベル重み付加手段Ｈ
３０４　加算手段
３０５　速度変換手段
３０６　レベル圧縮手段
３０７　タイミング制御手段
３０８　レベル重み付加手段Ｌ
３０９　画像合成部
３１０　ディジタル撮像装置
３１１　プロセッサ
３１２　フィルタ
３１３　ディスプレイ
３２０　入力画像分布検出手段
３２１　基準色設定手段
３２２　色バランス修正手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique for automatically adjusting the contrast and color cast phenomenon of a digital image obtained by a digital camera or the like to obtain a clearer image.
[0002]
[Prior art]
A color image captured by a digital camera is actually captured due to the SN level representing the noise ratio in the analog value obtained by the CCD device serving as an image sensor and the conversion accuracy when converting an analog value to a digital value. Since the range is limited to a range smaller than the dynamic range of the pixel density of the natural image, the phenomenon of losing information in shadowed details tends to occur. In particular, the tendency is large when an attempt is made to photograph a sample in which a bright area and a dark area are mixed in an image.
[0003]
As an improvement, a method of performing contrast enhancement so as to widen the range of the luminance and the like of the digital image from an image part having a higher luminance to an image part having a lower luminance can be considered. As a conventional method of the contrast enhancement, a histogram indicating a distribution state of luminance values of all pixels forming an original image is created, and a luminance curve of a pixel in the original image is newly calculated by using a cumulative curve of the histogram as a luminance conversion curve. There is a histogram equalization method for converting into a luminance value and enhancing the contrast of an image. In this method, since the luminance of the pixels in the entire area of the original image is converted to new luminance with the same luminance conversion curve, there may be a part where the contrast is reduced rather partially. Therefore, when it is desired to perform contrast enhancement on the entire image, it is necessary to perform contrast enhancement processing suitable for the region.
[0004]
As a further improvement of this method, many local histogram equalization methods that divide an image into a plurality of rectangular regions and apply the above-described histogram equalization method to each region have been proposed (for example, Japanese Patent Application Laid-Open No. 2000-285230). ), And the configuration is as shown in FIG.
[0005]
FIG. 29 is a block diagram showing a contrast improving unit in an example of a conventional image processing apparatus. The illustrated image processing apparatus includes an image data dividing unit 291 that divides an image input from the image data input unit 290 into rectangles, a histogram creating unit 292 that creates a histogram for each rectangle, and expands the contrast for each rectangle. It comprises a contrast expansion unit 293 for outputting to the image data output unit 294.
[0006]
However, when this method is used, problems have been pointed out, such as a rectangular region where contrast is excessively enhanced, and a possibility that the contrast becomes discontinuous at a boundary between adjacent rectangular regions.
[0007]
On the other hand, as a technique for solving such a problem without using a histogram, a shutter time and an aperture of a digital camera are changed for each field, a bright part and a dark part are separately imaged, and each piece of obtained information is stored in one field. A method has been proposed in which a halftone density is realized by synthesizing a single image to approximate the dynamic range of the pixel density of an actually captured natural image.
[0008]
As an example, there is a technique referred to in JP-A-6-141229, and the configuration of the apparatus is as shown in FIG.
[0009]
FIG. 30 is a block diagram showing another example of the conventional image processing apparatus. The illustrated image processing apparatus includes an image sensor 300 for performing a photoelectric effect on a subject, a memory 301 for recording an image signal, a multiplying unit 302 for multiplying the signal level by a constant number, and a level weighting unit 303 for adding a weight according to the level of the image signal. 308, an adding means 304 for adding the signals, a speed converting means 305 for converting the speed of the image signal, a level compressing means 306 for compressing the level of the image signal, and a timing control means 307 for controlling the timing of each block. Note that an image synthesizing unit 309 is constituted by the memory 301, the multiplying unit 302, the level weighting units 303 and 308, and the adding unit 304.
[0010]
This apparatus performs weighted synthesis in accordance with the signal levels of two or more images having different charge accumulation periods in an image sensor, converts the obtained synthesized image output into the speed of a standard TV signal, and outputs a reference signal based on the TV signal. Since the present invention relates to a television image pickup apparatus that compresses to a level, it has a speed conversion unit, a level compression unit and the like. Therefore, when applied to a digital camera, the speed conversion means and the level compression means are not necessary components.
[0011]
However, in the case of the method based on image synthesis obtained in a plurality of charge accumulation periods as in the present invention, discontinuity in contrast in the synthesized image is unlikely to occur, but since at least two images are continuously taken, the principle Can not take the same image. Therefore, when these images are combined, there is a possibility that an image may be created in which the details of the combined image are blurred or shifted, though the shutter speed is also affected. If the density range for photographing a bright part and the density range for photographing a dark part cannot cover the entire density range of the image, there is a risk that discontinuity may occur in the two intermediate density ranges. is there.
[0012]
By the way, when humans observe the details and colors in such shadowed areas, the human visual perception of the wide-density dynamics and colors of the image without causing the above problems. Can be. The concept of the central vision / peripheral vision Retinex centering on human vision is described by Edwin Land in "An Alternative Technique for the Computation of the Designator in the Retirement Society of the Physiological Association of the Physiological Association of the Philippines." Vol. 3078 to pp. 3080 (1986).
[0013]
Among them, the concept of Retinex in human vision describes an inverse square function in which the central visual field has a diameter of 2 to 4 basic units and the peripheral visual field has a diameter of about 200 to 250 times the central visual field. ing. Then, the spatial average of the signal intensities in the central visual field and the peripheral visual field is defined as related to the perceived intensity. In accordance with these principles, techniques for improving the color and brightness expression in dark areas as described above have been recently proposed.
FIG. 31 is a block diagram showing still another example of the conventional image processing apparatus. The above example is described in International Publication No. WO97 / 45809 (JP-T-2000-511315), and FIG. 31 shows the configuration. Although a grayscale image is described here as an example, the present invention can be extended to a color image.
[0014]
The pixel value I (i, j) in the image (i, j) of the image acquired by the digital imaging device 310 is adjusted by the processor 311 and the filter 312 to perform a filtering process.
[0015]
For each pixel, the processor 311 calculates an adjustment pixel value I ′ (i, j) as in (Equation 1). Here, F (x, y) is a peripheral visual field function representing a peripheral visual field, and “*” indicates a convolution operation process.
[0016]
(Equation 1)

[0017]
Then, the normalization coefficient K is determined such that F (x, y) satisfies the condition of (Equation 2), whereby the second term of (Equation 1) is the average value of the pixel values in the peripheral visual field. Is equivalent to That is, (Equation 1) corresponds to a result of logarithmic conversion of the ratio of the pixel value of each pixel to the average pixel value in a large area. The peripheral visual field function F (i, j) is designed so that the contribution ratio becomes higher as approaching the target pixel from the correspondence with the human visual model, and a Gaussian function as shown in Expression 3 is applied. Here, c is a constant for controlling the adjustment pixel value I ′ (i, j) of each pixel value I (i, j).
[0018]
(Equation 2)

[0019]
[Equation 3]

[0020]
As described above, in this conventional invention, the target pixel value with respect to the average pixel value in the peripheral visual field is calculated as the adjusted pixel value I ′ (i, j), and this value is used by the display 313. Filter processing for generating a Retinex output R (i, j) is performed by the filter 312. The filter 312 converts I ′ (i, j) from a logarithmic area to a pixel value area of R (i, j) handled by the display 313, and is the same for all pixels for simplification of processing. The process of applying the offset and gain conversion functions is used.
[0021]
However, this method is greatly affected by c that controls the peripheral visual field function. For example, when this c becomes a large value, the peripheral field of view contributing to the target pixel becomes large, so that only color compensation in a large shadow can be performed. On the other hand, when this c is a small value, only the vicinity of the target pixel becomes And only improvement in small shadow areas can be seen.
[0022]
It is necessary to consider an appropriate c according to the dynamic range of the pixel values in the image to be treated in this way, and there is a problem of image dependency. As a technique for improving this, a method of providing a plurality of peripheral visual field regions is also proposed in the same document, but it is not clear how many peripheral visual field regions are prepared, and in order to improve the accuracy of the improvement. There is a problem that the processing time becomes enormous by preparing many small peripheral regions from large peripheral regions.
[0023]
Next, in the filter 312, a process of converting to an actual pixel value used in the display 313 is performed. According to the present invention, the same offset and gain conversion function process is performed for any image. The problem is that empirical knowledge is required to set the optimum offset and gain conversion functions. Further, when the pixel value fluctuation is very small within the maximum peripheral field of view set by the plurality of constants c, the adjusted pixel value I ′ (i, j) is I (i, j) even if a plurality of regions are prepared. ) Is close to 1.0 regardless of). In such a case, I ′ (i, j) at the target pixel having a small pixel value variation is often located near the average of I ′ (i, j) in the entire input image. Regardless of the conversion function, there is a tendency that the pixel value tends to be near the center of the actual pixel value. In particular, in a uniformly wide image area having highlight luminance, there is a problem that the luminance after adjustment is easily adjusted in a decreasing direction and visually deteriorates.
[0024]
In addition, a color cast phenomenon is pointed out as a problem of an image photographed by a digital camera. This indicates a state in which the specific color is too strong than the proper state due to conditions such as shooting. The human eye can adapt to light, so it is unlikely that the color looks different depending on the light source. However, in a photograph taken with a digital camera, a slight color cast often occurs due to the light source at the time of photographing. For example, the color cast tends to be slightly bluish in the shade on sunny days, reddish in the morning sun or sunset, and greenish under fluorescent lights. In addition, the color of an object around the subject such as blue cast due to the reflection of the water in the pool and green cast due to the reflection of the vegetation and the like may cause a color cast.
[0025]
As a means for removing such a color cast, when green (G = C + Y) is too strong, a tone curve or density level correction is performed manually so as to weaken the C and Y signals.
[0026]
As the automatic processing, for example, a configuration as shown in FIG. 32 is used. The basis of this process is to adjust the balance of each color so that the average of the entire input image is gray (achromatic). According to Evans's principle, the hypothesis that adding all subjects in the world will result in an achromatic color It is based on. The input image distribution detecting means 320 calculates the average value of each of the red, blue, and green signals in the input image 1 input from the image input means 10, and the reference color setting means 321 calculates the luminance of the input image 1. An average value is derived, and this value is used as a reference color. Then, the color balance correction unit 322 corrects the red, blue, and green signals in the input image so that the average value of the red, blue, and green signals obtained by the input image distribution detection unit 320 becomes the reference color. By doing so, the average color of the entire input image becomes gray, and the color cast is reduced. This process is also called an auto white balance process.
[0027]
However, when such a process is used, when an object having a vivid color occupies a large area, the color tends to be an average color, and this color approaches an achromatic color. Occurs. In other words, when the green color of the lawn occupies the majority of the image, the conventional processing causes a problem that the green color of the lawn becomes achromatic (color failure).
[0028]
[Problems to be solved by the invention]
As described above, in the conventional contrast enhancement processing technique based on the histogram, the contrast of a specific portion may be excessively enhanced, or discontinuity may be exhibited at a locally adjacent rectangular region boundary.
In addition, when a plurality of images captured under a plurality of aperture conditions and the like are combined, in principle, the same subject cannot be captured, and there is a possibility that blurring or color shift of the details of the combined image may occur. Furthermore, the color cast due to lighting during digital photography could not be improved at all.
[0029]
Conventional contrast improvement technology based on the human visual model uses empirical knowledge to design constants for defining the human peripheral visual field and filter processing when converting to actual pixel values for final treatment. Has the problem of containing many. In addition, particularly in a wide area where the luminance is high, the luminance after the adjustment is easily adjusted in a direction to decrease. On the other hand, in a wide area with low luminance, such as a night view, color noise or compression noise generated at the time of shooting may appear due to excessive emphasis. These can be improved to some extent by simply deriving the average image of the input image and the emphasized image, but there is a problem in that reduction of color cast due to non-uniform illumination, which is one of the features of this visual model, is suppressed. As a method of simply removing the color cast of the lighting, when the average value of the red, green, and blue signals is combined with the average brightness in the image as in the past, if the bright colors occupy a large area uniformly, the color Was corrected in the gray direction, causing the saturation to drop.
[0030]
Therefore, an object of the present invention is to provide an image processing technique that can easily improve the contrast of a captured image and reduce color fogging by using only the captured image having bright and dark portions.
[0031]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, a first image processing technique of the present invention obtains a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral area thereof, and among the contrast improvement amounts considered to be effective. Is extracted. Then, based on edge information and luminance in the input image, the ratio of the emphasized image and the ratio of the input image are adaptively controlled to perform weighted average synthesis, so that the density of uniform highlights and shadows can be reduced. In addition to solving the problem, it is possible to reduce the illumination component of the input image at the time of shooting.
[0032]
In order to solve the above-mentioned problem, a second image processing technique according to the present invention uses a first image processing technique to compare a contrast improvement amount calculated by comparing a target pixel value and an average pixel value in a peripheral area thereof with a plurality of peripheral areas. Is expanded to a weighted average value of the contrast improvement amount in the above, and by doing so, the influence of the setting of the constant indicating the size of the input image and the peripheral visual field is reduced.
[0033]
In order to solve the above-mentioned problem, a third image processing technique of the present invention obtains a contrast improvement amount from a comparison between a pixel value of a target pixel and an average pixel value in a peripheral area thereof. Is extracted. When performing weighted average synthesis of the input image and the emphasized image, the luminance distribution in the emphasized image is synthesized according to the input image, thereby lowering the density in the highlight portion and the excess in the shadow portion, which have occurred in the output image. This is to suppress an increase in concentration.
[0034]
In order to solve the above-described problem, a fourth image processing technique according to the present invention determines an area to which a target pixel belongs based on edge information and luminance information of an input image, and compares one area prepared for the area with the target pixel. The contrast improvement amount is obtained by comparing the pixel value of the target pixel and the average pixel value in the surrounding area within the area size. At the same time, an adjustment component of the contrast improvement amount is obtained for each region, and the adjustment process is performed. The sharpening of the edge region and the enhancement of noise existing in a uniform shadow portion and the high level are performed. This is to suppress a decrease in density in the light portion.
[0035]
In order to solve the above problem, in a fifth image processing technique of the present invention, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination in the fourth image processing technique. By changing the average value of the contrast improvement amounts obtained for a plurality of comparison area sizes, it is possible to reduce the effect of using an inappropriate comparison area size due to an area determination error.
[0036]
In order to solve the above-described problem, a sixth image processing technique of the present invention provides a method of calculating a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral region thereof. The upper and lower limits are limited, and a means for suppressing the range is set. In this way, when the actual pixel value is compressed to the contrast improvement amount, the contrast improvement amount of the pixels in the highlight portion in the uniformly wide area decreases, and the pixels in the shadow part in the uniform wide area occur. Can be suppressed from increasing sharply.
[0037]
In order to solve the above problem, a seventh image processing technique according to the present invention uses a sixth image processing technique to calculate a contrast improvement amount calculated by comparing a target pixel value and an average pixel value in a peripheral area thereof with a plurality of peripheral areas. Is expanded to a weighted average value of the contrast improvement amount in the above. In this way, it is possible to reduce the influence of the setting of the constant indicating the size of the input image and the peripheral visual field region.
[0038]
BEST MODE FOR CARRYING OUT THE INVENTION
The invention according to claim 1 of the present invention is obtained by image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on an input image obtained by the image input means, and image input means. Edge information detecting means for extracting edge information of the input image; image synthesizing means for synthesizing the enhanced image and the input image obtained by the contrast improving means based on the edge information obtained by the edge information detecting means; An image output unit that outputs an image after synthesis obtained by the image synthesis unit. The image processing device simply improves the contrast of the captured image using only the captured image having bright and dark portions, and performs color casting. Also has the effect of being able to reduce.
[0039]
According to a second aspect of the present invention, in the first aspect of the invention, the contrast improving means includes an enhancement amount deriving means for obtaining a contrast improvement amount of the target pixel, and a contrast improvement amount obtained by the enhancement amount deriving means. An image processing apparatus having an extraction unit that limits and extracts a more effective range, and a pixel value conversion unit that converts a contrast improvement amount selected by the extraction unit into an actual pixel value. This has the effect that the contrast of the captured image can be easily improved using only the image that the user has, and the color cast can be reduced.
[0040]
According to a third aspect of the present invention, in the first aspect of the present invention, the contrast improving means includes an initial setting means for initializing an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel. Enhancement amount deriving means for obtaining a contrast improvement amount of a target pixel based on the set pixel comparison range, end determination means for determining whether the contrast improvement processing has been completed for all pixel comparison ranges, and end determination If the end is not determined by the means, the pixel comparison range is changed, and the comparison range changing means that passes the processing to the emphasis amount derivation and derivation means is obtained. Extraction means for limiting and extracting a range that is more effective than the contrast improvement amount, and pixel value conversion means for converting the contrast improvement amount selected by the extraction means into an actual pixel value An image processing apparatus having, an effect that color fog can also be reduced as well as improve the contrast of the captured image easily by using only images with the captured light and dark portion.
[0041]
According to a fourth aspect of the present invention, in the first aspect of the invention, the image synthesizing unit uses the edge image obtained from the input image and the enhanced image obtained by the contrast improving unit using the input image and the input image. Coupling coefficient deriving means for deriving a coupling coefficient representing a proportion of each image, and weighting of the enhanced image and the input image based on the coupling coefficient occupied by the enhanced image and the coupling coefficient occupied by the input image obtained by the coupling coefficient deriving means. An image processing apparatus comprising: a weighted average synthesizing unit that generates an average image; and an output value determining unit that determines a pixel value in an output image based on the synthesized image and the input image obtained by the weighted average synthesizing unit. In addition, it has the effect of solving the problem of the density in uniform highlights and shadows and reducing the illumination components of the input image during shooting.
[0042]
According to a fifth aspect of the present invention, there is provided an image input unit for inputting digital image data, a contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and an enhancement obtained by the contrast improvement unit. Density correction means for correcting the density distribution in the image so as to match the density distribution in the input image; simple image synthesis means for synthesizing the corrected image obtained by the density correction means with the input image; and simple image synthesis means. An image processing apparatus including an image output unit that outputs an obtained synthesized image, and has an effect that an effect of setting a constant indicating the size of an input image and a peripheral visual field can be reduced.
[0043]
According to a sixth aspect of the present invention, there is provided an image input unit for inputting digital image data, an edge information detecting unit for extracting edge information of an input image obtained by the image input forming unit, and an edge information detecting unit. Second contrast improving means for performing a contrast improving process of the input image based on the obtained edge information and luminance in the input image, and a simplified image for synthesizing the enhanced image obtained by the second contrast improving means and the input image An image processing apparatus having a synthesizing unit and an image output unit that outputs an image after synthesis obtained by the simple image synthesizing unit. It has the effect of suppressing an increase in concentration.
[0044]
According to a seventh aspect of the present invention, there is provided an image input unit for inputting digital image data, an edge information detecting unit for extracting edge information of an input image obtained by the image input forming unit, and an edge information detecting unit. A second contrast improvement unit that performs a contrast improvement process on the input image based on the obtained edge information and luminance in the input image, and a second contrast improvement unit that uses the edge information of the input image and the input image. An image processing apparatus comprising: an image synthesizing unit that derives a coupling coefficient indicating a ratio of each of an enhanced image and an input image and performs a synthesizing process; This has the effect that the contrast of the captured image can be easily improved using only the captured image having the light and dark portions and the color cast can be reduced.
[0045]
According to an eighth aspect of the present invention, in the invention of the sixth or seventh aspect, the second contrast improving means determines the area of the target pixel based on the edge information, and the area determining means. A comparison range setting means for selecting a pixel comparison range based on the region obtained in the step (a), and an enhancement amount deriving means for obtaining a contrast improvement amount of a target pixel based on the pixel comparison range selected by the comparison range setting means. And an adjustment coefficient deriving unit that derives an adjustment coefficient for correcting the contrast improvement amount obtained by the enhancement amount deriving unit according to the pixel comparison range obtained by the comparison range selection unit. Adjusting means for correcting the contrast improvement amount obtained by the enhancement amount deriving means using the adjusted adjustment coefficient, and an extracting means for limiting and extracting a range effective from the corrected contrast improvement amount obtained by the adjusting means. And a pixel value converting means for converting the contrast improvement amount selected by the extracting means into an actual pixel value. The image processing apparatus has a sharper edge area and a uniform shadow. This has the effect of suppressing noise emphasis and suppressing a decrease in density in a highlight portion.
[0046]
According to a ninth aspect of the present invention, in the invention of the sixth or seventh aspect, the second contrast improving means determines the area of the target pixel based on the edge information; An adjustment coefficient deriving unit for deriving an adjustment coefficient for correcting the contrast improvement amount obtained by the enhancement amount deriving unit based on the region obtained in the above, and an initial condition for calculating the contrast improvement amount of the target pixel. Initializing means for initializing the comparison area range, enhancement amount deriving means for obtaining the contrast improvement amount of the target pixel based on the set pixel comparison range, and whether the contrast improvement processing has been completed for all the pixel comparison ranges. An end determination unit for determining whether the end determination unit determines the end, a comparison range change unit that changes the pixel comparison range and passes processing to the enhancement amount derivation and derivation unit, and an end determination unit. An adjusting means for correcting the contrast improvement amount obtained from the plurality of pixel comparison ranges with an adjustment coefficient obtained by the adjustment coefficient deriving means when the end is determined by the means; and a contrast improvement after correction obtained by the adjustment means. An image processing apparatus having an extraction unit that limits and extracts a range that is more effective than the amount, and a pixel value conversion unit that converts the contrast improvement amount selected by the extraction unit into an actual pixel value. This has the effect of enhancing the sharpness and suppressing the noise existing in the uniform shadow portion and suppressing the density reduction in the highlight portion.
[0047]
According to a tenth aspect of the present invention, in the invention of the fifth, sixth, eighth or ninth aspect, the simplified image combining means generates a weighted average image of the input image and the emphasized image or the corrected image. And an output value determining means for determining a pixel value in an output image based on the combined image obtained by the weighted combining means and the input image. This has the effect that the effect when the region size is used can be reduced.
[0048]
According to an eleventh aspect of the present invention, there is provided an image input unit for inputting digital image data, a third contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and a third contrast improvement unit. Image output means for outputting the obtained emphasized image, wherein the contrast improvement amount of a pixel in a highlight portion in a uniformly wide area generated when an actual pixel value is compressed to a contrast improvement amount. And a sharp increase in the contrast improvement amount of the pixels in the shadow portion in a uniformly wide area can be suppressed.
[0049]
According to a twelfth aspect of the present invention, there is provided an image input unit for inputting digital image data, a third contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and a third contrast improvement unit. An image processing apparatus having a simple image synthesizing unit for synthesizing the obtained enhanced image and the input image, and an image output unit for outputting an image after synthesis obtained by the simple image synthesizing unit, and It is possible to suppress a decrease in the contrast improvement amount of pixels in a highlight portion in a uniformly wide area and a sharp increase in a contrast improvement amount of pixels in a shadow part in a uniformly wide area, which occur when the image is compressed to a contrast improvement amount. Has the effect of being able to.
[0050]
According to a thirteenth aspect of the present invention, in the eleventh or twelfth aspect of the present invention, the third contrast improving means includes an emphasis amount deriving means for obtaining a contrast improvement amount of the target pixel, and An enhancement amount deriving density constraining unit that constrains the pixel density around the target pixel when determining the contrast improvement amount of the target pixel; and an extraction unit that limits and extracts a range that is more effective than the contrast improvement amount obtained by the enhancement amount deriving unit. A pixel value conversion means for converting the contrast improvement amount selected by the extraction means into an actual pixel value, and a uniform wide area generated when the actual pixel value is compressed into the contrast improvement amount. To suppress a decrease in the amount of contrast improvement of the pixels in the highlight part in the area and a sharp increase in the amount of contrast improvement of the pixels in the shadow part in the uniformly wide area. It has the effect that it can be.
[0051]
According to a fourteenth aspect of the present invention, in the eleventh or twelfth aspect, the third contrast improving means initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel. Initial setting means, enhancement amount deriving means for obtaining the contrast improvement amount of the target pixel based on the set pixel comparison range, and emphasis amount deriving means, when calculating the contrast improvement amount of the target pixel, An emphasis amount deriving density constraining means for constraining the pixel density, an end judging means for judging whether or not the contrast improvement processing has been completed in all the pixel comparison ranges; And a comparison range changing unit that passes processing to the enhancement amount deriving unit, and a contrast obtained from a plurality of pixel comparison ranges when the end determination unit determines the end. An image processing apparatus comprising: an extraction unit that limits and extracts a range that is more effective than an improvement amount; and a pixel value conversion unit that converts an amount of contrast improvement selected by the extraction unit into an actual pixel value. This has the effect that the influence of the setting of the constant indicating the size of the visual field region can be reduced.
[0052]
According to a fifteenth aspect of the present invention, there is provided an image processing method for handling digital image data, comprising detecting edge information of an input image, improving contrast of the input image, and converting edge information of the input image. An image processing method that combines an enhanced image with an improved contrast based on the input image and the input image, and outputs the resulting combined image. Has the effect of improving the contrast and reducing the color cast.
[0053]
According to a sixteenth aspect of the present invention, in the invention according to the fifteenth aspect, the contrast improvement amount of the target pixel is obtained by a relative comparison with the surrounding pixels of the target pixel, and the contrast improvement amount is more effective than the obtained contrast improvement amount. This is an image processing method that improves the contrast of an input image by limiting and extracting a certain range, and converting the extracted contrast improvement amount to an actual pixel value. This has the effect of improving the contrast of the captured image and reducing the color cast.
[0054]
According to a seventeenth aspect of the present invention, in the invention according to the fifteenth aspect, first, a pixel comparison range when a contrast improvement amount of a target pixel is obtained by a relative comparison with surrounding pixels of the target pixel is set, The contrast improvement amount of the target pixel is obtained by comparing with the surrounding pixels within the set pixel comparison range, and it is determined whether or not the contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance. If not, the pixel comparison range is changed, the contrast improvement amount of the target pixel is calculated again by comparison with surrounding pixels, and if the end is determined, a plurality of pixel comparisons obtained so far are compared. The effective range is limited and extracted from the weighted average value of the contrast improvement amount according to the range, and converted to the actual pixel value from the selected contrast improvement amount. An image processing method for performing bets improved, an effect that color fog can also be reduced as well as improve the contrast of the captured image easily by using only images with the captured light and dark portion.
[0055]
According to an eighteenth aspect of the present invention, in the image processing apparatus according to the fifteenth aspect, the image combining process of the enhanced image and the input image is performed by a contrast improvement process using edge information obtained from the input image and the input image. Calculates the weighted average of the enhanced image and the input image based on the obtained weighted image and the weighted ratio of the input image, and derives the weighted average of the weighted average image of the weighted image and the input image. This is an image processing method for obtaining a contrast-improved image of the input image by determining pixel values in the output image based on the obtained combined image and the input image. In addition to solving the problem of the density in the above, the illumination component of the input image at the time of shooting can be reduced.
[0056]
According to a nineteenth aspect of the present invention, there is provided an image processing method for handling digital image data, comprising: performing a contrast improvement process on an input image; and a density distribution in the enhanced image obtained by the contrast improvement process. This is an image processing method that corrects to fit the density distribution of the image, performs simple image synthesis of the obtained corrected image and the input image, and outputs the obtained synthesized image. Has the effect of reducing the effect of the setting of the constant indicating
[0057]
The invention according to claim 20 of the present invention is an image processing method for handling digital image data, wherein edge information of an input image is extracted, and the input image is extracted based on the obtained edge information and luminance in the input image. Is an image processing method for performing a simple image synthesis process or an image synthesis process of the obtained enhanced image and the input image, and outputting the obtained synthesized image. This has the effect of suppressing a decrease in density in a highlight portion and an excessive increase in density in a shadow portion.
[0058]
According to a twenty-first aspect of the present invention, in the twentieth aspect, as the second contrast improvement processing, the area of the target pixel is determined based on the edge information of the input image, and the determined area is also determined. To select a pixel comparison range, determine the contrast improvement amount of the target pixel based on the selected pixel comparison range, and correct the contrast improvement amount obtained according to the selected pixel comparison range. The adjustment coefficient is derived, the contrast improvement amount is corrected by the derived adjustment coefficient, the range that is more effective than the corrected contrast improvement amount is limited, an extraction process is performed, and the extracted and selected contrast improvement amount is calculated as an actual pixel value. This is an image processing method that converts the image to a sharper image.It also aims to sharpen the edge area and suppress the noise existing in the uniform shadow area and suppress the density reduction in the highlight area. It has the effect that it is.
[0059]
According to a twenty-second aspect of the present invention, in the twentieth aspect, as the second contrast improvement processing, the area of the target pixel is determined based on the edge information, and the area of the determined target pixel is also determined. In addition, an adjustment coefficient for correcting the contrast improvement amount is derived, initial conditions and a comparison area range when calculating the contrast improvement amount of the target pixel are initialized, and the target pixel is set based on the set pixel comparison range. It is determined whether or not the contrast improvement processing has been completed in all the pixel comparison ranges, and if not, the pixel comparison range is changed, and the target pixel is determined based on the pixel comparison range. The contrast improvement amount obtained from the plurality of pixel comparison ranges is corrected by the adjustment coefficient when the termination is determined, and the contrast improvement after the correction by the adjustment coefficient is determined. This is an image processing method that limits and extracts a more effective range, and converts the extracted contrast improvement amount to an actual pixel value. And a reduction in density in highlight portions can be suppressed.
[0060]
According to a twenty-third aspect of the present invention, in the invention according to any one of the nineteenth to twenty-second aspects, a weighted average image of the obtained enhanced image and the input image is generated as a simple image synthesis process. An image processing method for obtaining a contrast-improved image of an input image by determining a pixel value in an output image based on the obtained combined image and the input image. Has the effect of reducing the effect when used.
[0061]
An image processing method according to claim 24 of the present invention is an image processing method for handling digital image data, wherein an image for performing a third contrast improvement process on an input image and outputting an enhanced image obtained by the third contrast improvement process is provided. This is a processing method that reduces the amount of contrast improvement in the pixels in the highlight portion that is in a uniformly wide area that occurs when the actual pixel value is compressed into the amount of contrast improvement, and that the pixels in the shadow area that are in the uniformly wide area are reduced. This has the effect that a sharp increase in the contrast improvement amount can be suppressed.
[0062]
An invention according to claim 25 of the present invention is an image processing method for handling digital image data, wherein a third contrast improvement process for improving the contrast of an obtained input image is performed, and the third contrast improvement process is performed. This is an image processing method that performs a simple synthesis of the emphasized image and the input image, and outputs the obtained synthesized image, which is generated in a uniformly wide area generated when an actual pixel value is compressed to a contrast improvement amount. This has the effect of suppressing a decrease in the contrast improvement amount of the pixels in the highlight portion and a sharp increase in the contrast improvement amount of the pixels in the shadow portion in a uniformly wide area.
[0063]
According to a twenty-sixth aspect of the present invention, in the invention of the twenty-fourth or twenty-fifth aspect, as the third contrast improvement processing, when calculating the contrast improvement amount of the target pixel, the pixel density around the target pixel is restricted, Calculate the contrast improvement amount of the target pixel based on the constrained surrounding pixel density, limit and extract the effective range from the obtained contrast improvement amount, and convert the extracted contrast improvement amount to the actual pixel value This is an image processing method that reduces the amount of improvement in the contrast of pixels in highlight areas that are in a uniformly wide area and that occurs in shadow areas that are in a uniformly wide area when the actual pixel value is compressed to the amount of contrast improvement. This has an effect that a sharp increase in the contrast improvement amount of the pixel can be suppressed.
[0064]
According to a twenty-seventh aspect of the present invention, in the invention of the twenty-fourth or twenty-fifth aspect, as a third contrast improvement process, initial conditions and a comparison area range for calculating a contrast improvement amount of a target pixel are initialized. When calculating the contrast improvement amount of the target pixel, the pixel density around the set target pixel is restricted, and within the set pixel comparison range, the contrast improvement amount of the target pixel is determined based on the restricted peripheral pixel density. It is determined whether or not this contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance, and if the completion determination has not been made, the pixel comparison range is changed, and comparison with surrounding pixels is performed again. The contrast improvement amount of the target pixel is obtained, and when the termination is determined, the contrast improvement amount obtained from the plurality of pixel comparison ranges obtained up to that time is calculated based on the weighted average value of the contrast improvement amount. This is an image processing method for improving the contrast of an input image by limiting and extracting the effective range and converting the selected amount of contrast improvement into an actual pixel value, which indicates the size of the input image and the peripheral visual field area. This has the effect that the effect of setting the constant can be reduced.
[0065]
Hereinafter, embodiments of the present invention will be described with reference to FIGS. 1 to 28. In these drawings, the same members are denoted by the same reference numerals, and redundant description is omitted. Hereinafter, the pixel unit (i, j) is assumed to be a pixel unit.
[0066]
(Embodiment 1)
FIG. 1 is a block diagram showing the overall configuration of the image processing apparatus according to the first embodiment of the present invention.
[0067]
As shown in FIG. 1, the image processing apparatus includes an image input unit 10 such as a CCD device for obtaining an input image 1, an edge information detecting unit 11 for detecting edge information 4 from the input image 1, and an image input unit. A contrast improving unit 12 for performing a contrast improving process for enhancing details of the digital input image obtained in 10; an image combining unit 13 for combining the digital input image 1 and the enhanced image 3 obtained by the contrast improving unit 12; An image output unit 14 is provided for outputting the combined image obtained by the combining unit 13 as an output image 2 after the final processing by a desired device (printer, display, or the like).
[0068]
FIG. 2 is a block diagram showing a configuration of the contrast improving means in the image processing apparatus according to the first embodiment of the present invention.
[0069]
As shown in FIG. 2, the contrast improving unit 12 converts the three color component values VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij into a Pij having a width c. The contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is obtained by comparison with surrounding pixels. Extraction means 21 for limiting and extracting a range effective from the contrast improvement amount VRPij, and a pixel value conversion means 22 for converting the contrast improvement amount VRPij selected by the extraction means 21 into a pixel value of the actual pixel Pij after the contrast improvement. Become.
[0070]
FIG. 4 is a block diagram illustrating a configuration of an image synthesizing unit in the image processing device according to the first embodiment of the present invention. As shown in FIG. 4, the image synthesizing unit 13, based on the luminance in the input image 1 and the edge information 4 obtained by the edge information detecting unit 11, enhances the input image 1 and the enhanced image obtained by the contrast improving unit 12. A coupling coefficient deriving unit 40 for determining a coupling coefficient ws (s = 1, 3; w1 is a coupling coefficient applied to the input image 1 and w3 is a coupling coefficient applied to the enhanced image 3) applied to the input image 1; A weighted average synthesizing unit 41 for generating a weighted average image of the input image 1 and the enhanced image 3 obtained by the contrast improving unit 12 using the coupling coefficients w0 and w1 obtained by the coefficient deriving unit 40, and a weighted average synthesizing unit An output value determining unit 42 determines the pixel value of the output image by comparing the weighted average combined image obtained in 41 with the input image 1 and the enhanced image 3.
[0071]
The operation of the image processing apparatus according to the first embodiment configured as described above will be described with reference to FIGS.
[0072]
FIG. 5 is a flowchart (FIG. 5A) showing the entire operation in the image processing method according to the first embodiment of the present invention, and a flowchart (FIG. 5B) showing the edge information deriving process. FIG. 6 is a flowchart (FIG. 6A) showing a contrast improvement process in the image processing method according to the first embodiment of the present invention, and a flowchart (FIG. 6B) showing an image synthesis process.
[0073]
In FIG. 5A, first, a color input image 1 is digitally input through the image input unit 10. In the case of a color image, the image input means 10 can normally obtain the component data of red r, green g, and blue b by the accuracy of the input means (0 to 255 in the case of 8 bits). Then, the image input means 10 normalizes this value from 0.0 to 1.0.
[0074]
Next, a process for detecting edge information is performed on the digital input image 1 by the edge information detecting means 11.
[0075]
In this process, as shown in FIG. 5B, first, luminance y (i, j) is calculated for all pixels Pij of the input image. As described above, edge information detection is performed only on the luminance component for the reason of processing simplification and the like.
[0076]
FIG. 7 is an explanatory diagram showing an example of a filter coefficient used in the information detecting means of the image processing apparatus according to the first embodiment of the present invention. It is a key map showing the human visual model used for contrast improvement processing in a method.
[0077]
There are various methods for detecting the edge information. Here, a filter having a size of 5 pixels × 5 pixels as shown in FIG. 7 is applied. The square root of the sum of squares of the component amount ex (i, j) in the x direction and the component amount ey (i, j) in the y direction obtained by applying this filter with the pixel Pij as the center is the edge information of the pixel Pij. Let ed (i, j).
[0078]
This definition is not unique, and a filter called a Sobel filter having a size of 3 pixels × 3 pixels can be used. Further, the edge information can be handled as a vector obtained by applying the filter of FIG. 7 using not only the luminance component but also the three color components. The edge information ave_ed and the average luminance value ave_y for all the pixels thus obtained are obtained.
[0079]
Next, contrast improvement processing is performed on the digital input image 1 by contrast improvement means 12 to improve the contrast in the dark part of the input image.
[0080]
FIG. 9 is a conceptual diagram showing a human visual model used for the contrast improvement processing in the image processing method according to any one of the first to seventh embodiments of the present invention. The contrast improving means 12 performs the processing as shown in FIG.
[0081]
That is, in human vision, as shown schematically in FIG. 9, the pixel information (color, contrast, etc.) of Pij is not recognized only by the pixel value perceived with respect to the target pixel Pij, but the target pixel Pij Is adjusted by adjusting the pixel value of the target pixel value Pij based on the relative relationship with the information of the surrounding pixels.
[0082]
This is referred to as the Retinex concept introduced by Edwin Land as described in the conventional example. Even in a scene where the intensity of the pixel value changes, the color of the object can be recognized with high accuracy.
The present invention also clarifies the color and detailed information in a dark part such as a shadow by utilizing this concept.
[0083]
That is, in FIG. 6A, first, the pixel value VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij is regarded as the central visual field in Land, and the surrounding area is determined. The area belonging to the rectangular area of c pixels is regarded as the peripheral visual field.
Then, a weighted average pixel value VPij (r (i, j), g (i, j), b (i, j)) of the pixel value in the peripheral visual field is obtained, and the relative relationship between VPij and VPij is calculated. A connected contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated.
[0084]
As this VAPij, as in the conventional example, the pixel value VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of the c pixel in the second term of (Equation 1) And (Equation 2) and (Equation 3), it is also possible to define the convolution integral value of the peripheral visual field function F (x, y) defined by the Gaussian function, and the contrast improvement amount VRPij is also (Equation 1) Can be defined independently for the three components, but in the present invention, the definition is made in consideration of simplification and high-speed processing.
[0085]
As an example, VAPij defines an average value of pixel values VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of c pixels as in (Equation 4). The contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is also equal to the weighted average pixel value VAPij of the pixel value VPij for each component as shown in (Equation 5). It can be defined as a ratio.
[0086]
(Equation 4)

[0087]
(Equation 5)

[0088]
Also, as shown in (Equation 6) and (Equation 7), the average value of the luminance y (i, j) in the peripheral visual field of the c pixel is defined as three components of VAPij, and the contrast improvement amount VRPij (Rr (i, j) ), Rg (i, j), Rb (i, j)) can also be defined as the ratio of each component value at the pixel Pij to the weighted average pixel value VAPij as in (Equation 7).
[0089]
(Equation 6)

[0090]
(Equation 7)

[0091]
By doing so, the weighted average pixel value VAPij of the pixel values of the peripheral field of view to be compared has the same value for each component, so that the contrast is improved independently for each component as shown in (Equation 4) and (Equation 5). It is possible to better maintain the balance of the obtained contrast improvement amount than to calculate the amount. Therefore, in the present invention, the definitions based on (Equation 6) and (Equation 7) are adopted.
[0092]
The contrast improvement amount VRPij for the target pixel Pij as described above is performed for all the images in the input image. Thereafter, an average value VaR (aRr, aRg, aRb) and a standard deviation amount VdR (dRr, dRg, dRb) for each component of the contrast improvement amount VRPij are obtained, and the values are used to extract the contrast improvement amount VRPij. A minimum value emin and a maximum value emax are derived.
[0093]
There are many methods for this derivation. Here, aRr + α × dRr, aRg + α × dRg, and aRb + α × dRb are obtained as emax candidates, and the maximum value among these three values is set to emax. Then, aRr−β × dRr, aRg−β × dRg, and aRb−β × dRb are obtained as candidates for emin, and the minimum value among these three values is defined as emin. In this way, a necessary region is extracted so that the balance of the components of the extracted contrast improvement amount VRPij is not lost.
[0094]
Next, using the emax and the emin, each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) ranges from 0.0 to 1.0. Is performed to convert the value into The contrast improvement amount VRPij thus obtained is regarded as the pixel value of the emphasized image 3 obtained by the contrast improvement in the target pixel Pij, and the contrast improvement processing ends.
[0095]
By such a series of processing, only the portion near the center is extracted in the distribution of the ratio of the target pixel value to the weighted average pixel value in the peripheral visual field, and the variation amount from the center is emphasized, and the deviation from the center is greatly deviated. The contrast improvement amount VRPij of the pixel having the ratio value tends to be 1.0 or 0.0. Therefore, in a region where the difference between the target pixel Pij, which is the central visual field, and the pixel in the peripheral visual field is small, the difference is easily emphasized, and the contrast is enhanced. Color information can be emphasized and expressed.
[0096]
In the case of the present invention, the derivation of the contrast adjustment amount for each pixel is configured in a simpler form than the conventional method based on the Retinex concept. In the conventional method based on the Retinex concept, it is problematic that setting of the filter processing (offset, gain conversion function) when converting the contrast adjustment amount of each pixel into an actual pixel value component requires empirical knowledge. However, there is an advantage that the present invention does not need to do so.
On the other hand, only the portion near the center is extracted in the distribution of the ratio of the target pixel value to the weighted average pixel value in the peripheral visual field, and the area around the center is saturated with 0.0 or 1.0, thereby explaining the conventional example. In a very large area, a luminance level is reduced in a highlight portion having a uniform color. Similarly, in a shadow portion having a uniform color in a very large area, the luminance level in the emphasized image sharply increases, so that color noise in the shadow portion generated at the time of input by a CCD or the like may be emphasized. .
[0097]
FIG. 10 is a conceptual diagram showing the relationship between edge information and image synthesis processing in the image processing method according to the first or second embodiment of the present invention. FIG. 11 is a conceptual diagram showing a fuzzy rule for determining a weight coefficient applied to an input image and an enhanced image in the image processing method according to the first or second embodiment of the present invention.
[0098]
In the present invention, in order to solve these problems, by adaptively combining the input image 1 and the enhanced image 3 obtained by the visual model (FIG. 10), it is possible to reduce the luminance level inherent in the input image 1, They decided to suppress the rise. Although many methods can be considered as the method, here, the coupling coefficient w1 applied to the input image 1 and the coupling coefficient w3 applied to the enhanced image 3 are controlled by paying attention to edge information and luminance of the input image.
[0099]
FIG. 6B shows a processing flow in the image synthesizing means, and the control function of the coupling coefficient is shown in (Equation 8) and FIG.
[0100]
(Equation 8)

[0101]
The deterioration of the image quality due to the luminance drop and the sharp rise in the luminance of the emphasized image 3 is mainly observed in a highlight part having a uniform color in a large area and a shadow part having a uniform color in a large area.
[0102]
On the other hand, if the input image 1 and the enhanced image 3 are simply synthesized, the color cast caused by the influence of the illumination light which is a problem in the input image 1 is dragged as it is, and the illumination light originally reduced by the enhanced image is used. Therefore, prioritizing the emphasized image as much as possible leads to a reduction in the color cast due to the illumination light.
[0103]
From the above considerations, the pixel value of the input image 1 is prioritized over the emphasized image 3 in the highlight portion and the shadow portion where the color change is small uniformly, and the emphasized image 3 is prioritized in other portions. This seems to be more effective for improving the output image.
[0104]
Therefore, a method of controlling the coupling coefficient such that the emphasized image is prioritized in the edge portion and the input image is prioritized in the high and low luminance portions instead of the edge portion is used.
[0105]
Although there are many methods, the present invention uses fuzzy rules 1 and 2 as shown in (Equation 8). The fuzzy function applied at that time is as shown in FIG.
[0106]
Rule 1 represents a rule for determining a composite output pixel value for a pixel included in a high-luminance portion and a low-luminance portion in a non-edge portion of an input image, and Rule 2 represents a composite output pixel value for a pixel included in an edge portion of the input image. Represents the rule to decide.
[0107]
First, a reliability m1 for rule 1 and a reliability m2 for rule 2 are calculated based on the luminance y (i, j) and the edge information ed (i, j) at the target pixel Pij. As is clear from FIG. 11, the reliability m1 for rule 1 is defined by a mountain-shaped function (Gaussian function) having small edge information and two peaks at high and low luminance points. The reliability m2 is defined by a Gaussian function having a mountain shape centered on the average value ave_ed of the edge information of the input image and the average value ave_y of the luminance of both the edge information and the luminance of the input image.
[0108]
The coupling coefficient w3 applied to the enhanced image 3 is determined by w3 = m2 / (m1 + m2) based on m1 based on m2, and the coupling coefficient w1 applied to the input image 1 is determined by w1 = 1.0-w3. By doing so, the influence of the emphasized image in the high and low luminance portions, not the edges, is reduced, and the color cast in the input image in other portions is reduced.
[0109]
In addition, it is also an object to suppress a discontinuous portion in the composite image which may occur when w1 and w3 are determined simply by the threshold function processing of the edge information and the luminance. This processing is performed by the coupling coefficient deriving means 40, and the pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the composite image of the target pixel Pij is calculated according to w1 and w3. The weighted average combining means 41 performs the processing.
[0110]
However, even if the pixel value of the composite image is determined in this way, there is a possibility that the brightness may be lower than the corresponding pixel value of the input image. Thus, the pixel value VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij in the input image and the pixel value VWPij (Wr (i, j), Wg) of the composite image (I, j), Wb (i, j)), and if VWPij is smaller than VPij, the output value determining means 42 performs a process of replacing VWPij with VPij.
[0111]
After the above processing is completed for all the pixels, the image output unit 14 outputs VWPij as the pixel value of the output image 2 to a predetermined output device, thereby completing the contrast improvement processing.
[0112]
In the processing of the coupling coefficient deriving means 40, the pixel value VPij of the input image 1 is compared with the pixel value VRPij of the emphasized image 3, and if VPij is larger than VRPij in all three components, w1 = 1.0 and w3 = A method of determining the pixel value VWPij of the composite image by setting 0.0 and w1 = w3 = 0.5 is also possible.
[0113]
In this case, although the processing is simplified, the value of w1 is larger and the ratio of the input image 1 in the composite image is larger than in the case of (Equation 8) especially in the non-edge portion, so that the input image has more It will be affected by the illumination light (color cast). Therefore, it is necessary to separately consider a means for reducing it.
[0114]
By performing the above configuration and processing, the image processing apparatus and the image processing method according to the first embodiment of the present invention can effectively reduce the color cast caused by the illumination light by effectively utilizing the advantages of the conventional visual model. In addition to the above, it is possible to easily and accurately perform the contrast improvement in which the noise reduction for the luminance decrease in the highlight portion and the sharp increase in the luminance in the shadow portion is suppressed.
[0115]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the first embodiment of the present invention. can do.
[0116]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the first embodiment of the present invention.
[0117]
(Embodiment 2)
The entire configuration of the image processing apparatus according to the second embodiment of the present invention is configured as shown in FIG. 1 similarly to the first embodiment of the present invention, and the contrast improving unit 12 has a configuration as shown in FIG.
[0118]
That is, in FIG. 3, reference numeral 30 denotes initial setting means for setting initial conditions for deriving the enhancement amount. The initial peripheral area size is mainly set to the size c of the peripheral visual field portion to be compared with the target pixel Pij which is the central visual field. A process for setting c0 is performed.
[0119]
Reference numerals 20, 21, and 22 denote emphasis amount deriving means, extracting means, and pixel value converting means as in the first embodiment of the present invention. Reference numeral 31 denotes an end determination unit that determines whether or not the contrast improvement amount has been calculated for all of a plurality of prepared peripheral visual field regions. Reference numeral 32 denotes a current process when the end determination unit 31 does not consider the end determination. This is a comparison range changing unit that changes the size c of the peripheral visual field in question to the next candidate. The image synthesizing means 13 is configured as shown in FIG. 4, similarly to the first embodiment of the present invention.
[0120]
The operation of the image processing apparatus according to the second embodiment configured as described above will be described. FIG. 8 is a flowchart showing the contrast improvement processing in the image processing method according to the second embodiment of the present invention.
[0121]
The color image 1 is digitally input via the image input means 10. In the case of a color image, the image input unit 10 can normally obtain the component data of red r, green g, and blue b by the accuracy of the input unit (0 to 255 in the case of 8 bits). The image input means 10 normalizes this value from 0.0 to 1.0.
[0122]
Next, contrast improvement processing is performed on the digital input image 1 by contrast improvement means 12 to improve the contrast in the dark part of the input image. The contrast improving means 12 performs the processing as shown in FIG. A feature of the present invention is that the effect of the first embodiment of the present invention is improved by performing contrast improvement in a plurality of prepared peripheral visual field regions, thereby reducing the influence of the size of a dark portion (shadow) present in an image. It is a point that did. The edge information detecting means 11, the image synthesizing means 13, and the image output means 14 are the same as those of the image processing apparatus according to the first embodiment of the present invention, and therefore will not be described here.
[0123]
In FIG. 8, first, the pixel value VPij of the pixel Pij in the input image is regarded as the central visual field in Land, and the area surrounding the rectangular area of c pixels is regarded as the peripheral visual field.
[0124]
At this time, the initial setting means 30 first sets c0 of a plurality of prepared peripheral visual field sizes c [s] (s = 0, 1,..., Cnum-1) such that c = c0. Set to. In this case, c [s] may be prepared in ascending order from the minimum size area, or may be prepared in descending order from the maximum size, but it is better to arrange the size change directions.
[0125]
Here, assuming that the peripheral image is prepared in descending order from the maximum size, it is assumed that the detail in the input image is improved while the peripheral visual field region is sequentially reduced. In the emphasis amount deriving means 20, the weighted average pixel value VAPij [s] (Ar_s (i, j), Ag_s (i) of the pixel value in the peripheral field of view is set for the currently set peripheral field of the rectangular area of c = ck. , J), Ab_s (i, j)) are calculated.
[0126]
Then, the end determination unit 31 determines whether or not the weighted average pixel value calculation in the pixel Pij peripheral visual field by the enhancement amount derivation unit 20 has been completed for all c [s]. If it is determined that the processing has not been completed, the processing moves to the comparison range changing means 32, the currently set peripheral visual field area c is changed to the next candidate, and the weighted average pixel value calculation by the enhancement amount deriving means 20 is performed again. Is performed.
[0127]
On the other hand, when the end determination unit 31 determines the end, the weighted average pixel value VAPij [s] of Pij for each peripheral visual field region c [s] (Ar_s (i, j), Ag_s (i, j), Ab_s) A weighted average value of (i, j)) is obtained, and the value is set as a total weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) of Pij. .
[0128]
At this time, it is conceivable to add a weight according to the size of the peripheral visual field region c [s] to the weighted average pixel value of Pij by each c [s]. Here, for the sake of simplicity, each c [ s] is used as the total weighted average pixel value of Pij.
[0129]
In addition, the weighted average pixel value VAPij [s] based on c [s] may be compared for each component, and the weighted average pixel value having the maximum value may be used as the total weighted average pixel value of Pij.
[0130]
In such a case, although the processing time is increased by the comparison processing rather than the addition processing, the pixel value of the image generated as the emphasized image 3 fluctuates slowly, and there is an advantage that a sharp rise in the edge portion can be suppressed. Then, the ratio of the pixel value Vpij of each component in Pij to the total weighted average pixel value VAPij is calculated as the contrast adjustment amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). .
[0131]
In the subsequent processing, as in the first embodiment of the present invention, first, a minimum value emin and a maximum value emax to be extracted from the contrast improvement amount VRPij are derived.
Next, using the emax and the emin, each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is set in the range of 0.0 to 1.0. Then, the contrast improvement amount VRPij obtained by converting the values into the values within is regarded as the pixel value of the target pixel Pij after the contrast improvement, and the contrast improvement processing ends.
[0132]
Further, similarly to the first embodiment of the present invention, the image synthesis processing unit 13 converts the emphasized image 3 based on the luminance value y (i, j) and the edge information ed (i, j) in Pij of the input image 1. A coupling coefficient w3 to be applied and a coupling coefficient w1 to be applied to the input image 1 are derived.
[0133]
Using this value, the weighted average pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, Wb) of the pixel value VPij of the input image 1 and the pixel value VRPij of the enhanced image 3 in Pij j)) is obtained, the output value determining means 42 performs a comparison process with the pixel value of the input image 1, and determines the pixel value VWPij of Pij in the output image 2. By performing such processing on all pixels, an output image 2 that is finally output by the image output unit 14 is generated.
[0134]
By performing the above configuration and processing, the image processing apparatus and the image processing method according to the second embodiment of the present invention make use of the features of the image processing apparatus and the image processing method according to the first embodiment of the present invention. However, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel values in the input image or the size of a dark portion such as a shadow, and the efficiency of image contrast adjustment can be improved.
[0135]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the second embodiment of the present invention. can do.
[0136]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the second embodiment of the present invention.
[0137]
(Embodiment 3)
FIG. 12 is a block diagram showing the overall configuration of the image processing apparatus according to the third embodiment of the present invention. FIG. 13 is a block diagram illustrating a configuration of a simple image synthesizing unit in the image processing device according to the third embodiment of the present invention.
[0138]
As shown in FIG. 12, the image processing apparatus includes an image input unit 10 for obtaining an input image 1, and a contrast improvement unit for performing a contrast improvement process for enhancing details of a digital input image obtained by the image input unit 10. 12. density correcting means 121 for correcting the density distribution in the emphasized image 3 obtained by the contrast improving means 12 so as to match the density distribution in the input image; the corrected image 5 obtained by the density correcting means 121 and the input image 1 And an image output unit 14 for outputting the synthesized image obtained by the simple image synthesis unit 120 as an output image 2 after the final processing by a desired device.
[0139]
Here, as shown in FIG. 13, the simple image synthesizing unit 120 includes a simple coupling coefficient deriving unit 130 that determines a coupling coefficient applied to the input image and the enhanced image based on the target pixel signal in the corrected image. A weighted average synthesizing unit 41 for generating a weighted average image of the input image and the emphasized image or the corrected image by using a combination coefficient of each image obtained by the coefficient deriving unit, and an image after synthesis obtained by the weighted average synthesizing unit 41 And output value determining means 42 for determining pixel values in the output image based on the input image.
[0140]
The feature of the third embodiment is that the luminance distribution of the enhanced image 3 calculated by the same method as that of the first embodiment of the present invention is corrected according to the input image 1 so that the input image 1 and the enhanced image 3 are corrected. In this case, a decrease in density in a highlight portion and an excessive increase in density in a shadow portion, which occur when the image is synthesized, are suppressed.
[0141]
The operation of the image processing apparatus according to the third embodiment configured as described above will be described with reference to FIGS.
[0142]
Here, FIG. 14 shows a flowchart (FIG. 14A) showing the overall operation in the image processing method according to the third embodiment of the present invention, and a flowchart (FIG. 14B) showing the density correction processing of the emphasized image. FIG. 15 is a flowchart showing the operation of the simple image synthesizing means in the image processing method according to the third embodiment of the present invention. The flowchart in the contrast improvement processing is the same as FIG. 6A in the first embodiment of the present invention or FIG. 8 in the second embodiment of the present invention. FIG. 16 is a diagram showing an outline of the density correction processing of the emphasized image 3 in the image processing method according to the third embodiment of the present invention.
[0143]
The image input unit 10, the contrast improvement unit 12, and the image output unit 13 perform the same operations as those in the first embodiment or the second embodiment of the present invention, and thus the description is omitted here.
[0144]
The density correction processing is performed as shown in FIG. That is, in the emphasized image 3, not only the contrast of the details covered by the shadows is improved, but also the brightness decreases in the highlight portion over a wide range with little variation, and the brightness rises sharply in the shadow portion over a wide range with little variation.
[0145]
In this case, since the region in question is wide, when the image distribution in the emphasized image is examined, the average luminance ave_Ry may be greatly affected. Therefore, the above problem can be improved by converting the pixel value in the emphasized image 3 so that the average luminance ave_Ry of the emphasized image 3 matches the average luminance ave_y of the input image.
[0146]
In FIG. 14B, the luminance Ry (i, j) and the color differences Ru (i, j), Rv (i, j) at Pij are calculated for the emphasized image 3. Next, the average luminance ave_Ry of the emphasized image 3 and the average luminance ave_y of the input image 1 are calculated.
[0147]
Then, the difference amount ave_y-ave_Ry is added to the luminance value Ry (i, j) of the pixel Pij of the emphasized image 3 for each pixel, and the difference is set as the luminance Ry (i, j). Finally, the corrected pixel values VDPij (Dr (i, j), Dg (i, j), and Rg (i, j) and the color differences Ru (i, j) and Rv (i, j)) are used. Db (i, j)) is calculated, and the process ends.
[0148]
In the simple image synthesizing means 121, first, as shown in FIG. 15, coupling coefficients w1 and w3 applied to the respective images are derived from the luminances of the input image 1 and the corrected image 5. In the above-described first and second embodiments, the edge information 4 of the input image 1 is also used for the derivation. However, in the present embodiment, the density correction unit 120 improves the brightness of the highlight portion in a wide range to some extent. In consideration of the above, a coupling coefficient that gives priority to the emphasized image 3 such as w1 = 0.3 and w3 = 0.7 is set.
[0149]
Then, the weighted average synthesizing unit 41 generates a synthesized image based on the coupling coefficient, and the output value determining unit 42 compares the pixel value VPij in the input image of the target pixel Pij with the pixel value VWPij in the synthesized image. is there.
[0150]
By adding the process of correcting the density of the emphasized image 3 in this manner, in the image processing technique according to the third embodiment, as shown in FIG. Can be adjusted to some extent with the input image, such as an excessive increase in density, and the problem in the output image that is output as a result can be improved by a simpler method.
[0151]
In addition, since the ratio of the input image occupied is reduced, the characteristics of the color fogging phenomenon improved in the emphasized image are carried over to the output image to some extent, and the contrast improvement in which the color fog is reduced can be realized.
[0152]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the third embodiment of the present invention. can do.
[0153]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the third embodiment of the present invention.
[0154]
(Embodiment 4)
FIG. 17 is a block diagram showing an overall configuration of an image processing apparatus according to Embodiment 4 of the present invention. FIG. 18 is a block diagram showing a configuration of the second contrast improving means in the image processing device according to the fourth embodiment of the present invention. FIG. 19 is a flowchart (FIG. 19A) showing the overall operation in the image processing method according to the fourth embodiment of the present invention, and a flowchart (FIG. 19B) showing the second contrast improvement processing.
[0155]
As shown in FIG. 17, the image processing apparatus includes an image input unit 10 for obtaining an input image 1, an edge information detecting unit 11 for detecting edge information 4 from the input image 1, a second contrast improving unit 170, 2 A simple image synthesizing unit 120 for synthesizing the enhanced image 3 obtained by the contrast improving unit 170 and the input image 1, and a composite image obtained by the simple image synthesizing unit 120 is output as a final processed output image 2 by a desired device. An image output unit 14 for outputting is provided.
[0156]
Here, as shown in FIG. 18, the second contrast improving unit 170 determines the region to which the target pixel Pij belongs from the edge information 4 by using the pixel comparison range according to the region determined by the region determining unit 180. Range selection means 181 for selecting a contrast amount, an enhancement amount derivation means 20 for deriving a contrast improvement amount, and an adjustment coefficient derivation means for obtaining an adjustment coefficient for adjusting the contrast improvement amount of the enhancement amount derivation means 20 according to the determined area. 182, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) in Pij of the enhancement amount deriving means 20 based on the coefficient obtained by the adjustment coefficient deriving means 182 , And an extraction unit 21 and a pixel value conversion unit 22.
[0157]
The point here is that the region to which the target pixel Pij belongs is determined based on the edge information, and the pixel comparison range is selected according to the region.
[0158]
FIGS. 19A and 19B show the overall processing flow and the flow of the second contrast improvement processing in the image processing apparatus according to the fourth embodiment configured as shown in FIGS. 17 and 18.
[0159]
That is, the edge information ed (i, j) is obtained for the pixel Pij of the input image 1 input by the image input unit 10. Next, the area to which this pixel belongs is determined by the area determining means 180 based on ed (i, j) and luminance y (i, j), and the comparison area is selected by the 181 according to this determination. FIG. 20 shows an outline of this pixel comparison range selection method. FIG. 20 is a conceptual diagram showing a method for selecting a comparison area in the image processing method according to the fourth embodiment of the present invention.
As shown in FIG. 20, the pixel comparison range is set large in a gentle and low-brightness shadow portion in order to avoid over-emphasis. On the other hand, in order to emphasize a change that may be buried in the vicinity of the edge, a contrast improvement amount is obtained by comparison in the vicinity of the target pixel. On the other hand, for a portion with a high luminance due to a gentle change, a large comparison range that can cause a change in the average pixel value around the pixel is provided, or if it is unknown, a middle pixel comparison range is applied. I decided to.
[0160]
Next, the adjustment coefficient deriving unit 182 determines an adjustment coefficient according to the determined area. This is to obtain a coefficient for performing the adjustment in anticipation of the expected contrast improvement amount according to the region determination by the region determination unit 180.
[0161]
In a high-luminance region that changes gradually, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained by the emphasis amount deriving means 20 is around 1.0. The adjustment coefficient k (i, j) is set so as to increase this value in anticipation that the value tends to be lower than the input image in many cases.
Here, it is assumed that k (i, j) = 1.2 assuming that the increase is 20%. In the vicinity of the edge, since the contrast improvement amount is a sufficiently emphasized value, k (i, j) = 1.0 is set.
[0162]
On the other hand, in the low-luminance region where the luminance changes gradually, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained in step 20 is close to 1.0. The adjustment coefficient k (i, j) is set to reduce this value in anticipation that the value is likely to be rapidly higher than the input image in many cases.
[0163]
Here, it is assumed that k (i, j) = 0.8 assuming that the reduction is 20%. The adjusting means 183 applies the adjustment coefficient k (i, j) to each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained at 20. The result is multiplied to obtain the contrast improvement amount VRPij.
[0164]
Such processing is performed on all the pixels, and thereafter, the extraction processing and the pixel value conversion processing are performed as in the first embodiment of the present invention, and the emphasized image 3 is generated. Then, the process of synthesizing the enhanced image 3 and the input image 1 is performed by the simple image synthesizing unit 130, and is output by the image output unit 14 as an output image. The synthesizing process is the same as in the third embodiment of the present invention.
[0165]
As described above, in the image processing technique according to the present embodiment, the area to which the target pixel belongs is determined in advance based on the edge information, and the comparison range and the adjustment coefficient according to the area are set. Then, the contrast improvement amount is obtained by comparing with the average pixel value of the surrounding pixels in the pixel comparison range, and the value is adjusted to solve the problem of the highlight portion and the shadow portion in the emphasized image 3. It is aimed at. Therefore, a result can be obtained even in the image synthesizing process simply by increasing the ratio of the emphasized image. Since the ratio of the input image is reduced, the color cast phenomenon can be improved even in the output image.
[0166]
Note that the image combining means used in the first or second embodiment of the present invention can be used instead of the simple image combining means 120 in order to further improve the problem of the highlight portion and the shadow portion. In this case, the edge information 4 obtained by the edge information detecting means 11 is added to the image synthesizing means.
[0167]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the color image processing method according to the fourth embodiment of the present invention. can do.
[0168]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fourth embodiment of the present invention.
[0169]
(Embodiment 5)
The entire configuration of the image processing apparatus according to the fifth embodiment of the present invention is configured as shown in FIG. 17 similarly to the fourth embodiment of the present invention, and the second contrast improving unit 170 is configured as shown in FIG. Become. FIG. 21 is a block diagram showing a configuration of the second contrast improving means in the image processing device according to the fifth embodiment of the present invention. FIG. 22 is a flowchart showing a second contrast improvement process in the image processing method according to the fifth embodiment of the present invention.
[0170]
That is, the difference from the fourth embodiment of the present invention is that in FIG. 21, the second contrast improving unit 170 of the present embodiment derives the average value of the contrast improvement amounts obtained in a plurality of pixel comparison ranges, (2) The point that the area information obtained by the area determination means 180 of the contrast improvement means 170 is used to estimate an adjustment coefficient applied to the average value of the contrast improvement amount.
[0171]
This is because the processing speed increases when the comparison range is set for each area as in the fourth embodiment of the present invention. However, there is a possibility of being affected by an error in the selection of a comparison range due to an area determination error. There may be problems such as the occurrence of jumps and the fact that if the distance is too close depending on the shadow size, the average pixel value of the surrounding pixels may approach the target pixel value and may not be emphasized.
[0172]
Therefore, as in the second embodiment of the present invention, a plurality of comparison ranges are prepared, and the contrast improvement amount VRPij of the target pixel is derived from the average value of the contrast improvement amounts obtained in each range.
[0173]
As is clear from FIG. 22 showing the flow of the second contrast improvement processing, first, based on the edge information 4, whether the pixel Pij belongs to a uniformly wide highlight portion, a uniformly wide shadow portion, or any other portion Is determined by the area determining means 180.
Next, based on the determination result, the adjustment coefficient deriving means 181 determines an average value of the contrast improvement amounts obtained in the respective comparison ranges and an adjustment coefficient for adjustment. This determination can be made, for example, in the same manner as in Embodiment 4 of the present invention.
[0174]
Further, in the initial setting means 30 to the comparison range changing means 32, similarly to the second embodiment of the present invention, the emphasis amount deriving means 20 first obtains the contrast improvement amount VRPij under the condition initially set by the initial setting means 30, The end determination means 31 determines whether or not the 20 processes have been completed in all the comparison ranges.
[0175]
If the end determination is not satisfied, the pixel comparison range prepared next is reset and the enhancement amount deriving process is performed by the enhancement amount deriving means 20. If the end determination is satisfied, The average value of the contrast improvement amount in each comparison range is set again as the contrast improvement amount VRPij for this pixel, and the adjusting means 183 sets the adjustment coefficient obtained by the adjustment coefficient deriving means 182, and the adjusting means 182 sets The contrast improvement amount VRPij is corrected by multiplying the adjustment coefficient k (i, j) obtained by the adjustment coefficient deriving unit 182.
[0176]
After that, the extraction unit 21 extracts a region deemed necessary, and the pixel value conversion unit 22 converts it into actual pixel values (red, blue, and green signals) to generate the emphasized image 3.
[0177]
Then, the combined image of the enhanced image 3 and the input image 1 is generated by the simple image combining unit. At this time, for example, a coupling coefficient w3 = 0.7 applied to the enhanced image 3 and a coupling coefficient w1 = 0.3 applied to the input image 1 so that the proportion of the emphasized image increases so as to maintain the color fog elimination. Then, image synthesis is performed, and the image output unit 14 outputs the image to the output device as an output image.
[0178]
As described above, according to the image processing technique of the present embodiment, in the fourth embodiment, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination. By changing the average value of the contrast improvement amounts obtained for a plurality of comparison area sizes as in the second embodiment, it is possible to reduce the effect of using an inappropriate comparison area size due to an area determination error.
[0179]
Further, when the contrast improvement amount is derived only in the vicinity of the pixels in the edge region, white color jump may occur near the edge depending on the degree of enhancement, but the contrast improvement amount obtained from a plurality of comparison regions may be reduced. By changing the weighted average to the contrast improvement amount for this pixel, it is also possible to reduce color skipping near the edge.
[0180]
It is also possible to use the image synthesizing means used in the first or second embodiment of the present invention instead of the simple image synthesizing means 120. In this case, the edge obtained by the edge information detecting means 11 is used. Information 4 is added to this image combining means.
[0181]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used for a computer or the like according to the image processing method according to the fifth embodiment of the present invention. be able to.
[0182]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fifth embodiment of the present invention.
[0183]
(Embodiment 6)
FIG. 23 is a block diagram showing the overall configuration of an image processing apparatus according to the sixth embodiment of the present invention. As shown in the figure, in the image processing apparatus according to the sixth embodiment, the input image 1 and the emphasized image 3 are combined. (FIG. 23 (a)) and a case where the output image 2 is generated through the synthesis processing of the input image 1 and the emphasized image 3 (FIG. 23 (b)). FIG. 24 is a block diagram showing a configuration of the third contrast improving means in the image processing device according to the sixth embodiment of the present invention. FIG. 25 is a block diagram showing a configuration of a third contrast improving unit in the image processing device according to the seventh embodiment of the present invention.
[0184]
In both cases, the generation of the emphasized image 3 is performed by the third contrast improving unit 230, and the configuration of the third contrast improving unit 230 is as shown in FIG. 24 when the combining process of the input image 1 and the emphasized image 3 is not performed. FIG. 25 shows a case where the output image 2 is generated through the synthesis processing of the input image 1 and the emphasized image 3.
[0185]
First, the case of FIG.
[0186]
In the case of FIG. 23A, the image input unit 10, the third contrast improving unit 230 that derives the contrast improvement amount based on the visual model, and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) as the pixel values VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the output image It is composed of output means 14.
[0187]
Then, as shown in FIG. 24, the third contrast improving unit 230 includes an enhancement amount deriving unit 20, an enhancement amount deriving density limiting unit 240 that restricts surrounding pixel values when calculating the enhancement amount, and an enhancement amount deriving unit 20. And a pixel value converting means 22 for converting the value extracted by the extracting means 21 into actual red, blue and green pixel values. .
[0188]
The flow of the process in this case is as shown in FIG. FIG. 26A is a flowchart showing the overall operation in the image processing method according to the sixth embodiment of the present invention, and the flowchart showing the third contrast improvement processing is as shown in FIG. 26B.
[0189]
As shown in the drawing, substantially the same processing as the contrast improvement processing according to the first embodiment of the present invention is performed, except that the upper and lower limits of the pixel value in the surrounding range of the target pixel Pij are suppressed. Here, a case is considered in which the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated by (Equation 6) and (Equation 7).
[0190]
In this case, the emphasis amount deriving density constraint unit 240 suppresses the upper and lower limits of the luminance value y (i, j) in the surrounding range of the target pixel Pij as in thLow_y ≦ y (i, j) ≦ thHigh_y. An outline of this processing is shown in FIG. FIG. 28 is an explanatory diagram showing an outline of the processing performed by the emphasis amount deriving reference restricting means in the image processing apparatus according to the sixth or seventh embodiment of the present invention.
[0191]
By suppressing the upper limit in this manner, when obtaining the contrast improvement amount of the pixel value in the uniformly wide highlight portion, the weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) are suppressed more than VPij (r (i, j), g (i, j), b (i, j)), and as a result, VRPij (Rr (I, j), Rg (i, j), Rb (i, j)) are larger than 1.0 near the center of the contrast improvement amount.
[0192]
Therefore, when this value is converted into an actual pixel value by the pixel value conversion means 22, the VRPij returns to a value with high luminance. On the other hand, when obtaining the contrast improvement amount of the pixel value in the uniformly wide highlight portion, the weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) are raised above VPij (r (i, j), g (i, j), b (i, j)), resulting in VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) are smaller than 1.0 near the center of the contrast improvement amount. Therefore, when this value is converted into an actual pixel value by the pixel value conversion means 22, the VRPij returns to a value with low luminance.
[0193]
The point of the present invention is that the weighted average pixel value VAPij (Ar (i, j), Ag (i, j) of the pixel value in the peripheral visual field corresponding to the denominator when the enhancement amount deriving means 20 obtains the contrast improvement amount is described. ), Ab (i, j)) is consciously suppressed or raised to control the pixel value obtained from the contrast improvement amount, and a very simple process can obtain a certain effect. it can.
[0194]
Next, the case of FIG. 23B will be described.
[0195]
In the case of FIG. 23 (b), the image input unit 10, the third contrast improving unit 230 for deriving the contrast improvement amount based on the visual model, and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) and the corresponding pixel value VPij (r (i, j), g (i, j), b (i, j)) of the input image 1 The simple image synthesizing unit 120 for obtaining the pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the synthesized image, and outputs the pixel value VWPij obtained by the simple image synthesizing unit 120 And an image output unit 14.
[0196]
In the case of FIG. 23 (a), it is conceivable that it is not possible to sufficiently improve the brightness decrease in a uniformly wide highlight portion and the sharp increase in brightness in a uniformly wide shadow portion. In this example, the combination with the input image 1 is further improved. At this time, a simple image synthesizing unit is applied so that the coupling coefficient applied to the input image 1 is suppressed and the coupling coefficient applied to the emphasized image 3 is prioritized so that the color cast in the output image 2 can be reduced.
[0197]
As described above, according to the image processing technique of the sixth embodiment, when calculating the contrast improvement amount by comparing the pixel value of the target pixel and the average pixel value in the peripheral region, the upper and lower limits of the average pixel value in the peripheral region are determined. , And a means for suppressing it within the range is added. In this way, when the actual pixel value is compressed to the contrast improvement amount, the contrast improvement amount of the pixels in the highlight portion in the uniformly wide area decreases, and the shadow improvement in the shadow portion in the uniformly wide area occurs. It is possible to suppress a sharp increase in the contrast improvement amount of the pixel.
[0198]
Although the present invention has been described with reference to (Equation 6) and (Equation 7) as the contrast improvement amount, the present invention can be applied to the cases of (Equation 4) and (Equation 5). In this case, it is possible to make the upper and lower limits coincide for all three components, but it is more effective to set the upper and lower limits for each pixel value in the peripheral visual field so as not to lose the balance of the finally obtained output image. It is a target.
[0199]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the sixth embodiment of the present invention. be able to.
[0200]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the sixth embodiment of the present invention.
[0201]
(Embodiment 7)
The entire configuration of the image processing apparatus according to the seventh embodiment of the present invention is configured as shown in FIG. 23 similarly to the sixth embodiment of the present invention, and the third contrast improving unit 230 is configured as shown in FIG. Become.
[0202]
That is, in FIG. 25, the third contrast adjusting unit 230 includes an initial setting unit 30, an emphasis amount deriving unit 20, an emphasis amount deriving density constraining unit 240 that constrains surrounding pixel values when calculating an emphasis amount, and a whole comparison range. Determining unit 31 for determining whether or not the processing has been completed, a comparison range changing unit 32 for changing the comparison range if the determination is not completed, and a necessary part based on the contrast improvement amount obtained by the enhancement amount deriving unit 20. And pixel value conversion means 22 for converting the values extracted by the extraction means 21 into actual red, blue and green pixel values.
[0203]
The overall processing flow in the image processing device and the image processing method according to the seventh embodiment of the present invention is the same as that in the sixth embodiment of the present invention. The processing flow in the third contrast improvement processing is as shown in FIG. FIG. 27 is a flowchart showing a third contrast improvement process in the image processing method according to the seventh embodiment of the present invention.
[0204]
As is clear from this figure, the point of the third contrast improvement processing of the present invention is calculated in each pixel comparison range in the flowchart of the contrast improvement processing according to the first embodiment of the present invention (FIG. 6A). The object of the present invention is to suppress the upper and lower limits of the weighted average pixel value VAPij [s] of Pij for each peripheral visual field region c [s].
[0205]
First, for the target pixel Pij, a weighted average pixel value VAPij [s] of Pij is obtained according to (Equation 6) and (Equation 7) in the initial comparison range c [0]. At this time, the upper and lower limits of the luminance value y (i, j) in the surrounding range are suppressed as in thLow_y ≦ y (i, j) ≦ thHigh_y. Similarly, the contrast improvement amount is obtained by intentionally suppressing or increasing the weighted average pixel value VAPij [s] of the pixel values in the peripheral visual field corresponding to the denominator when the enhancement amount deriving means 20 calculates the contrast improvement amount. The purpose is to control the pixel values obtained.
[0206]
The end determination unit 31 determines whether or not the processing of the enhancement amount derivation unit 20 has been completed for the entire pixel comparison range c [s] prepared for Pij. If this end determination has not been made, the comparison range changing unit 32 changes the pixel comparison range to the next pixel comparison range c [s], and the process proceeds to the emphasis amount deriving unit 20.
[0207]
On the other hand, when the termination is determined, the weighted average value of VAPij [s] is obtained, and the value is used as the total weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab ( i, j)).
[0208]
Then, based on this value, the contrast improvement amount VRPij in Pij is calculated by (Equation 7). The extracting means 21 extracts a necessary area from the VRPij, and the pixel value converting means 22 performs a process of converting it into actual red, blue and green pixel values. By performing this process for all pixels, the third contrast improvement process is completed.
[0209]
After this processing, in the case of FIG. 23A, the image output unit 14 outputs the emphasized image 3 obtained here as it is to the predetermined device as the pixel value VWPij in the pixel Pij of the output image. In the case of FIG. 23B, the simple image synthesizing unit 120 performs the synthesizing process of the enhanced image 3 and the input image 1. At this time, in order to make the best use of the color fogging reduction characteristic of the enhanced image as much as possible, the image synthesis processing is performed by giving priority to the coupling coefficient of the enhanced image 3 and reducing the coupling coefficient of the input image 1 to a small value. The image output means 14 outputs the combined image thus obtained.
[0210]
As described above, according to the image processing technique of the present embodiment, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral region in the sixth embodiment is weighted by the contrast improvement amount in a plurality of peripheral regions. This is an extension to the average value. By doing so, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel value in the input image or the size of a dark portion such as a shadow. With benefits.
[0211]
Although the present invention has been described with reference to (Equation 6) and (Equation 7) as the contrast improvement amount, the present invention can be applied to the cases of (Equation 4) and (Equation 5). In this case, it is possible to make the upper and lower limits coincide for all three components, but it is more effective to set the upper and lower limits for each pixel value in the peripheral visual field so as not to lose the balance of the finally obtained output image. It is a target.
[0212]
In addition, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the seventh embodiment of the present invention. be able to.
[0213]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the seventh embodiment of the present invention.
[0214]
【The invention's effect】
As described above, in the first image processing technique of the present invention, the contrast improvement amount is obtained by comparing the pixel value of the target pixel and the average pixel value in the surrounding area, and the contrast improvement amount considered to be effective is extracted. Because the weighted average synthesis is performed by adaptively controlling the proportion of the emphasized image and the proportion of the input image based on the edge information and luminance in the input image, the density level in the uniform highlight area is reduced. In addition to suppressing the sharp rise in the density level in shadows and shadows, the non-uniform illumination component, which is one of the features of the visual model, is reduced by increasing the proportion of the emphasized image in other areas. An effective effect that the improved contrast can be obtained is obtained.
[0215]
As described above, in the second image processing technique of the present invention, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral region in the first invention is used as the contrast improvement amount in a plurality of peripheral regions. Weighted average value, so that the input image can be automatically improved in contrast and reduced in color cast without being affected by the dynamic range of pixel values in the input image or the size of dark areas such as shadows. An effective effect that can be obtained is obtained.
[0216]
As described above, in the third image processing technique of the present invention, the contrast improvement amount is obtained from the comparison between the pixel value of the target pixel and the average pixel value in the surrounding area, and the contrast improvement amount that is considered to be effective is extracted. Since the luminance distribution in the emphasized image is corrected in accordance with the input image, the part of the input image that has significantly changed, such as a density decrease in a highlight portion or an excessive density increase in a shadow portion, which has occurred in the emphasized image. It is possible to match to some extent, and it is possible to suppress the density decrease in the highlight portion and the excessive density increase in the shadow portion even in the output image which is a weighted average composite image of the corrected enhanced image and the input image. Effects can be obtained.
[0217]
As described above, in the fourth image processing technique of the present invention, the area to which the target pixel belongs is determined based on the edge information and the luminance information of the input image, and the size of one comparison area prepared for the area is determined. Since the contrast improvement amount is obtained by comparing the pixel value of the target pixel with the average pixel value in the surrounding area, and the adjustment component of the contrast improvement amount is obtained for each area and the adjustment processing is performed, the edge area is used. This makes it possible to enhance the sharpness of the area, to suppress the noise existing in the uniform shadow area, to suppress the density reduction in the highlight area, and to reduce the number of processing. can get.
[0218]
As described above, according to the fifth image processing technique of the present invention, in the fourth image processing technique, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination. Since the average value of the contrast improvement amounts obtained for a plurality of comparison region sizes has been changed, the effect of using an inappropriate comparison region size due to a region determination error can be reduced. can get. Further, when the contrast improvement amount is derived only in the vicinity of the pixels in the edge region, white color jump may occur near the edge depending on the degree of enhancement, but the contrast improvement amount obtained from a plurality of comparison regions may be reduced. By setting the weighted average again as the contrast improvement amount in this pixel, it is possible to obtain an effective effect that it is possible to reduce the color jump near the edge.
[0219]
As described above, according to the sixth image processing technique of the present invention, when calculating the contrast improvement amount by comparing the pixel value of the target pixel with the average pixel value in the peripheral region, the upper and lower limits of the average pixel value in the peripheral region are determined. And a means for suppressing the value within the range is added, so that the contrast improvement amount of the pixels in the highlight portion in a uniformly wide area generated when the actual pixel value is compressed to the contrast improvement amount is added. It is possible to obtain an effective effect that it is possible to suppress the decrease and the sharp increase in the contrast improvement amount of the pixels in the shadow portion in the uniformly wide area.
[0220]
In this case, a device that performs synthesis with the input image and a device that does not perform synthesis are conceivable.In the case of a device that does not perform synthesis with the input image, reduction is achieved by a visual model without being affected by color cast due to an illumination component of the input image. Since the emphasized image is output, an effective effect of reducing the color cast in the input image can be obtained.
[0221]
As described above, according to the seventh image processing technique of the present invention, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral area by the sixth image processing technique is calculated based on the contrast in a plurality of peripheral areas. Since it is expanded to the weighted average value of the improvement amount, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel value in the input image or the size of a dark portion such as a shadow. Effects can be obtained.
[0222]
As in the case of the sixth image processing technique, in the case of an apparatus that does not perform synthesis with an input image, only an enhanced image in which color cast due to an illumination component of the input image is reduced is output. An effective effect that fog can be reduced can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of an image processing apparatus according to a first embodiment of the present invention;
FIG. 2 is a block diagram illustrating a configuration of a contrast improving unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 3 is a block diagram illustrating a configuration of a contrast improving unit in the image processing apparatus according to the second embodiment of the present invention;
FIG. 4 is a block diagram showing a configuration of an image synthesizing unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 5A is a flowchart illustrating an overall operation in the image processing method according to the first embodiment of the present invention; FIG. 5B is a flowchart illustrating edge information deriving processing in the image processing method according to the first embodiment of the present invention;
6A is a flowchart illustrating a contrast improvement process in the image processing method according to the first embodiment of the present invention; FIG. 6B is a flowchart illustrating an image combining process in the image processing method according to the first embodiment of the present invention;
FIG. 7 is an explanatory diagram showing an example of a filter coefficient used in the information detecting means of the image processing device according to the first embodiment of the present invention;
FIG. 8 is a flowchart showing contrast improvement processing in the image processing method according to the second embodiment of the present invention;
FIG. 9 is a conceptual diagram showing a human visual model used for contrast improvement processing in the image processing method according to any one of Embodiments 1 to 7 of the present invention.
FIG. 10 is a conceptual diagram showing the relationship between edge information and image synthesis processing in the image processing method according to the first or second embodiment of the present invention.
FIG. 11 is a conceptual diagram showing a fuzzy rule for determining a weight coefficient applied to an input image and an enhanced image in the image processing method according to the first or second embodiment of the present invention;
FIG. 12 is a block diagram illustrating an overall configuration of an image processing apparatus according to a third embodiment of the present invention;
FIG. 13 is a block diagram illustrating a configuration of a simple image synthesizing unit in the image processing apparatus according to the third embodiment of the present invention;
FIG. 14A is a flowchart illustrating an overall operation of the image processing method according to the third embodiment of the present invention; FIG. 14B is a flowchart illustrating density correction processing of an emphasized image in the image processing method according to the third embodiment of the present invention; flowchart
FIG. 15 is a flowchart showing the operation of the simple image synthesizing means in the image processing method according to the third embodiment of the present invention;
FIG. 16 is a diagram showing an outline of a density correction process of an emphasized image 3 in the image processing method according to the third embodiment of the present invention;
FIG. 17 is a block diagram illustrating an overall configuration of an image processing apparatus according to a fourth embodiment of the present invention;
FIG. 18 is a block diagram illustrating a configuration of a second contrast improving unit in the image processing apparatus according to the fourth embodiment of the present invention;
FIG. 19A is a flowchart illustrating an entire operation of the image processing method according to the fourth embodiment of the present invention. FIG. 19B is a flowchart illustrating a second contrast improvement process in the image processing method according to the fourth embodiment of the present invention.
FIG. 20 is a conceptual diagram showing a comparison area selection method in the image processing method according to the fourth embodiment of the present invention;
FIG. 21 is a block diagram illustrating a configuration of a second contrast improving unit in the image processing apparatus according to the fifth embodiment of the present invention;
FIG. 22 is a flowchart illustrating a second contrast improvement process in the image processing method according to the fifth embodiment of the present invention;
FIG. 23 is a block diagram illustrating the overall configuration of an image processing apparatus according to a sixth embodiment of the present invention. FIG. 23 (a) illustrates a case where an input image and an enhanced image are not superimposed, and FIG. Image of superimposing images and enhanced images
FIG. 24 is a block diagram illustrating a configuration of a third contrast improving unit in the image processing apparatus according to the sixth embodiment of the present invention;
FIG. 25 is a block diagram illustrating a configuration of a third contrast improving unit in the image processing apparatus according to the seventh embodiment of the present invention;
FIG. 26A is a flowchart showing an overall operation in an image processing method according to the sixth embodiment of the present invention; FIG. 26B is a flowchart showing a third contrast improving process in the image processing method according to the sixth embodiment of the present invention;
FIG. 27 is a flowchart illustrating a third contrast improvement process in the image processing method according to the seventh embodiment of the present invention;
FIG. 28 is an explanatory diagram showing an outline of processing by an emphasis amount deriving reference restricting unit in the image processing apparatus according to the sixth or seventh embodiment of the present invention;
FIG. 29 is a block diagram showing a contrast improving unit in an example of a conventional image processing apparatus.
FIG. 30 is a block diagram showing another example of the conventional image processing apparatus.
FIG. 31 is a block diagram showing still another example of the conventional image processing apparatus.
FIG. 32 is a block diagram showing still another example of the conventional image processing apparatus.
[Explanation of symbols]
1 Input image
2 Output image
3 emphasized image
4 Edge information
5 Modified images
10 Image input means
11 Edge information detecting means
12 Contrast improvement means
13 Image synthesis means
14 Image output means
20 Emphasis amount derivation means
21 Extraction means
22 Pixel value conversion means
30 Initial setting means
31 Termination determination means
32 Comparison range changing means
40 Coupling coefficient derivation means
41 Weighted average synthesis means
42 Output value determination means
120 Simple image synthesis means
121 Concentration correction means
170 Second Contrast Improvement Means
180 area determination means
181 Comparison range selection means
182 Adjustment coefficient deriving means
183 adjustment means
230 Third contrast improving means
240 Enhancement amount derivation reference constraint means
290 Image data input means
291 Image data division means
292 Histogram creation means
293 Contrast extension means
294 Image data output means
300 CCD
301 memory
302 Multiplication means
303 Level weighting means H
304 addition means
305 Speed conversion means
306 level compression means
307 Timing control means
308 Level weighting means L
309 Image synthesis unit
310 Digital imaging device
311 processor
312 Filter
313 display
320 Input image distribution detecting means
321 Reference color setting means
322 Color balance correction means

Claims (27)

Image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on an input image obtained by the image input means, and edge information for extracting edge information of the input image obtained by the image input means Detecting means, image synthesizing means for synthesizing the enhanced image obtained by the contrast improving means and the input image based on the edge information obtained by the edge information detecting means, and image synthesizing means obtained by the image synthesizing means. An image processing apparatus comprising: an image output unit that outputs an image after synthesis. The contrast improvement means includes an enhancement amount derivation means for obtaining a contrast improvement amount of a target pixel, an extraction means for limiting and extracting a range effective from the contrast improvement amount obtained by the enhancement amount derivation means, and the extraction means. 2. The image processing apparatus according to claim 1, further comprising a pixel value conversion unit configured to convert the selected contrast improvement amount into an actual pixel value. An initial setting unit that initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel, and a contrast improvement amount of the target pixel based on the set pixel comparison range. The enhancement amount deriving means to be obtained, the end determination means for determining whether or not the contrast improvement processing has been completed in all the pixel comparison ranges, and if the end determination means has not determined the end, the pixel comparison range is changed. A comparison range changing unit that passes processing to an enhancement amount deriving unit; and an extraction unit that limits and extracts a range that is more effective than a contrast improvement amount obtained from a plurality of pixel comparison ranges when the end determination unit determines the end. 2. The apparatus according to claim 1, further comprising: a pixel value conversion unit configured to convert the contrast improvement amount selected by the extraction unit into an actual pixel value. An image processing device. A coupling coefficient deriving means for deriving a coupling coefficient representing a ratio of each of the enhanced image and the input image obtained by the contrast improving means using the edge information and the input image obtained from the input image, A weighted average synthesizing unit that generates a weighted average image of the enhanced image and the input image based on a coupling coefficient occupied by the enhanced image and a coupling coefficient occupied by the input image obtained by the coupling coefficient deriving unit; and 2. The image processing apparatus according to claim 1, further comprising output value determination means for determining a pixel value in an output image based on the obtained combined image and the input image. Image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on the input image obtained by the image input means, and density distribution in the enhanced image obtained by the contrast improvement means in the input image. Density correction means for correcting the density distribution to match the density distribution, a simplified image synthesis means for synthesizing the corrected image obtained by the density correction means and the input image, and a synthesized image obtained by the simple image synthesis means. An image processing apparatus comprising: an image output unit that outputs an image. Image input means for inputting digital image data, edge information detecting means for extracting edge information of the input image obtained by the image input forming means, edge information obtained by the edge information detecting means and A second contrast improving unit for performing a contrast improving process on the input image based on the luminance, a simple image combining unit for combining the enhanced image obtained by the second contrast improving unit with the input image, and the simple image combining unit And an image output means for outputting the combined image obtained in (1). Image input means for inputting digital image data, edge information detecting means for extracting edge information of the input image obtained by the image input forming means, edge information obtained by the edge information detecting means and A second contrast improving unit for performing a contrast improving process on the input image based on the luminance, and a ratio of each of the enhanced image and the input image obtained by the second contrast improving unit using the edge information of the input image and the input image. An image processing apparatus, comprising: an image synthesizing unit that derives a coupling coefficient representing a combination and performs a synthesizing process; The second contrast improving means for determining an area of a target pixel based on edge information; and a comparison range setting means for selecting a pixel comparison range based on the area obtained by the area determining means. And an emphasis amount deriving means for obtaining a contrast improvement amount of the target pixel based on the pixel comparison range selected by the comparison range setting means; and the emphasis according to the pixel comparison range obtained by the comparison range selection means. Adjustment coefficient deriving means for deriving an adjustment coefficient for correcting the contrast improvement amount obtained by the amount deriving means; and a contrast improvement amount obtained by the enhancement amount deriving means by the adjustment coefficient obtained by the adjustment coefficient deriving means. Adjusting means for correcting the contrast, an extracting means for limiting and extracting a range effective from the corrected contrast improvement amount obtained by the adjusting means, and a controller selected by the extracting means. The image processing apparatus according to claim 6 or 7, wherein the and a pixel value converting means for converting the actual pixel value from the list improvement amount. The second contrast improving means determines an area of the target pixel based on edge information; and a contrast obtained by the emphasis amount deriving means based on the area obtained by the area determining means. An adjustment coefficient deriving unit that derives an adjustment coefficient for correcting the improvement amount; an initial setting unit that initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel; The emphasis amount deriving means for obtaining the contrast improvement amount of the target pixel based on the range, the end judgment means for judging whether the contrast improvement processing has been completed in all the pixel comparison ranges, and the end judgment means judging the end. If not, the pixel comparison range is changed, and a comparison range changing unit that passes processing to the emphasis amount deriving unit; Adjusting means for correcting the contrast improvement amount obtained from the surroundings with the adjustment coefficient obtained by the adjustment coefficient deriving means; and limiting and extracting a range more effective than the corrected contrast improvement amount obtained by the adjustment means. 8. The image processing apparatus according to claim 6, further comprising: an extraction unit; and a pixel value conversion unit configured to convert the contrast improvement amount selected by the extraction unit into an actual pixel value. A weighted average synthesizing unit configured to generate a weighted average image of the input image and the emphasized image or the corrected image; and an output image based on the synthesized image and the input image obtained by the weighted synthesizing unit. 10. The image processing apparatus according to claim 5, further comprising: an output value determining unit that determines a pixel value of the image data. Image input means for inputting digital image data, third contrast improvement means for performing a contrast improvement process on the input image obtained by the image input means, and image output for outputting an enhanced image obtained by the third contrast improvement means And an image processing apparatus. Image input means for inputting digital image data, third contrast improvement means for performing contrast improvement processing on the input image obtained by the image input means, and synthesis of the enhanced image obtained by the third contrast improvement means and the input image An image processing apparatus comprising: a simple image synthesizing unit for performing the image processing; and an image output unit for outputting an image after synthesis obtained by the simple image synthesizing unit. The third contrast improvement means includes an enhancement amount deriving means for obtaining a contrast improvement amount of the target pixel, and an enhancement amount for restricting a pixel density around the target pixel when the enhancement amount derivation means obtains the contrast improvement amount of the target pixel. Derived density constraining means, extracting means for limiting and extracting a range effective from the contrast improvement amount obtained by the emphasis amount deriving means, and converting the contrast improvement amount selected by the extracting means into an actual pixel value The image processing apparatus according to claim 11, further comprising a pixel value conversion unit. An initial setting unit for initializing an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel, the third contrast improving unit; and a contrast improving unit for the target pixel based on the set pixel comparison range. The emphasis amount deriving means for obtaining the amount, the emphasis amount deriving means, when the contrast improvement amount of the target pixel is obtained, the emphasis amount deriving density restricting means for constraining the pixel density around the target pixel, End determination means for determining whether or not the processing has ended in the pixel comparison range, and a comparison range changing means for changing the pixel comparison range and not passing the processing to the emphasis amount derivation means when the end determination means has not determined the end. Extracting means for limiting and extracting a range that is more effective than a contrast improvement amount obtained from a plurality of pixel comparison ranges when the end determination means determines the end; The image processing apparatus according to claim 11 or 12, wherein the and a pixel value converting means for converting the actual pixel value from the contrast improvement amount selected by the extracting unit. An image processing method for handling digital image data, comprising detecting edge information of an input image, improving the contrast of the input image, and enhancing and enhancing the contrast of the input image based on the edge information of the input image. An image processing method comprising: synthesizing an image; and outputting an obtained synthesized image. The contrast improvement amount of the target pixel is obtained by a relative comparison with the surrounding pixels of the target pixel, a range effective from the obtained contrast improvement amount is limited and extracted, and the extracted contrast improvement amount is converted to an actual pixel value. 16. The image processing method according to claim 15, wherein the conversion improves the contrast of the input image. First, set a pixel comparison range when calculating the contrast improvement amount of the target pixel by relative comparison with the surrounding pixels of the target pixel, and compare the surrounding pixels within the set pixel comparison range to improve the contrast of the target pixel. It is determined whether or not this contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance.If the completion determination has not been made, the pixel comparison range is changed, and the comparison with surrounding pixels is performed again. The contrast improvement amount of the target pixel is obtained by comparison, and when the end is determined, the range effective from the weighted average value of the contrast improvement amount by the plurality of pixel comparison ranges obtained so far is limited and extracted, 16. The image processing method according to claim 15, wherein the input image is improved in contrast by converting the selected contrast improvement amount into an actual pixel value. The image combining process of the enhanced image and the input image derives a coupling coefficient representing a ratio of each of the enhanced image obtained by the contrast improvement process and the input image using the edge information obtained from the input image and the input image, and A weighted average image of the emphasized image and the input image is generated based on the combined coefficient occupied by the emphasized image and the combined coefficient occupied by the input image, and based on the obtained combined image and the input image, 16. The image processing method according to claim 15, wherein a contrast-improved image of the input image is obtained by determining a pixel value. An image processing method for handling digital image data, in which a contrast improvement process of an input image is performed, and a density distribution in an enhanced image obtained by the contrast improvement process is corrected to match a density distribution in the input image. An image processing method for performing simple image synthesis of the corrected image and the input image, and outputting the obtained synthesized image. An image processing method for handling digital image data, wherein edge information of an input image is extracted, and a second contrast improvement process of the input image is performed based on the obtained edge information and luminance in the input image. An image processing method characterized by performing a simple image combining process or an image combining process of an enhanced image and an input image, and outputting the obtained combined image. As a second contrast improvement process, a region of the target pixel is determined based on the edge information of the input image, a pixel comparison range is selected based on the determined region, and a region within the selected pixel comparison range is determined. Calculate the contrast improvement amount of the target pixel, derive an adjustment coefficient for correcting the contrast improvement amount obtained according to the selected pixel comparison range, correct the contrast improvement amount with the derived adjustment coefficient, and perform correction. 21. The image processing method according to claim 20, wherein an extraction process is performed by limiting a range that is more effective than a later contrast improvement amount, and the extracted and selected contrast improvement amount is converted into an actual pixel value. As a second contrast improvement process, an area of the target pixel is determined based on the edge information, and an adjustment coefficient for correcting the contrast improvement amount is derived based on the determined area of the target pixel. Initialize the initial conditions and the comparison area range when calculating the contrast improvement amount, determine the contrast improvement amount of the target pixel based on the set pixel comparison range, and determine whether the contrast improvement processing has been completed for all the pixel comparison ranges If the end is not determined, the pixel comparison range is changed, the contrast improvement amount of the target pixel is obtained based on the pixel comparison range, and if the end is determined, it is obtained from a plurality of pixel comparison ranges. The obtained contrast improvement amount is corrected by the adjustment coefficient, and the range that is more effective than the corrected contrast improvement amount is limited and extracted by the adjustment coefficient, and the extracted contrast improvement amount is extracted. The image processing method according to claim 20, wherein the converting the actual pixel value Ri. As a simple image synthesizing process, a weighted average image of the obtained enhanced image and the input image is generated, and a pixel value of the output image is determined based on the obtained synthesized image and the input image, thereby determining a pixel value of the output image. 23. The image processing method according to claim 19, wherein a contrast-improved image is obtained. An image processing method for handling digital image data, comprising: performing a third contrast improvement process on an input image, and outputting an enhanced image obtained by the third contrast improvement process. An image processing method for handling digital image data, comprising: performing a third contrast improvement process for improving the contrast of an obtained input image; performing a simple synthesis of the enhanced image obtained by the third contrast improvement process with the input image; An image processing method characterized by outputting the obtained synthesized image. As the third contrast improvement processing, when obtaining the contrast improvement amount of the target pixel, the pixel density around the target pixel is constrained, and the contrast improvement amount of the target pixel is obtained based on the constrained peripheral pixel density. 26. The image processing method according to claim 24, wherein a range effective from the obtained contrast improvement amount is limited and extracted, and the extracted contrast improvement amount is converted into an actual pixel value. As a third contrast improvement process, initial conditions and a comparison area range for calculating the contrast improvement amount of the target pixel are initialized, and when the contrast improvement amount of the target pixel is obtained, the pixel density around the set target pixel is restricted. Then, within the set pixel comparison range, the contrast improvement amount of the target pixel is obtained based on the constrained peripheral pixel density, and it is determined whether or not this contrast improvement process has been completed in all the prepared pixel comparison ranges. A judgment is made, and if the end is not determined, the pixel comparison range is changed, and the contrast improvement amount of the target pixel is obtained again by comparison with the surrounding pixels. The effective range is limited and extracted from the weighted average value of the contrast improvement amount obtained by the plurality of pixel comparison ranges, and the actual pixel value is obtained from the selected contrast improvement amount. The image processing method according to claim 24 or 25, wherein the performing contrast enhancement of an input image by converting.

Images