JP2004078652A - Image processor and its method - Google Patents

Image processor and its method Download PDF

Info

Publication number
JP2004078652A
JP2004078652A JP2002239134A JP2002239134A JP2004078652A JP 2004078652 A JP2004078652 A JP 2004078652A JP 2002239134 A JP2002239134 A JP 2002239134A JP 2002239134 A JP2002239134 A JP 2002239134A JP 2004078652 A JP2004078652 A JP 2004078652A
Authority
JP
Japan
Prior art keywords
image
contrast improvement
contrast
pixel
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002239134A
Other languages
Japanese (ja)
Other versions
JP4013699B2 (en
JP2004078652A5 (en
Inventor
Tatsumi Watanabe
渡辺 辰巳
▲桑▼原 康浩
Yasuhiro Kuwabara
Toshiharu Kurosawa
黒沢 俊晴
Akio Kojima
小嶋 章夫
Yuusuke Monobe
物部 祐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002239134A priority Critical patent/JP4013699B2/en
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to PCT/JP2003/001450 priority patent/WO2003069557A1/en
Priority to CN2007100038189A priority patent/CN1992782B/en
Priority to CNB038020203A priority patent/CN1303570C/en
Priority to US10/500,597 priority patent/US7386185B2/en
Priority to EP10189322.0A priority patent/EP2280376B1/en
Priority to EP03703336.2A priority patent/EP1475745B1/en
Publication of JP2004078652A publication Critical patent/JP2004078652A/en
Publication of JP2004078652A5 publication Critical patent/JP2004078652A5/ja
Application granted granted Critical
Publication of JP4013699B2 publication Critical patent/JP4013699B2/en
Priority to US12/117,343 priority patent/US7773826B2/en
Priority to US12/827,264 priority patent/US8098953B2/en
Priority to US13/315,580 priority patent/US8494303B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a clearer image by automatically controlling the contrast and color balance of a digital image obtained with a digital camera or the like. <P>SOLUTION: A contrast improvement means 12 applies contrast improvement utilizing a human visual model to an input image obtained with an image input means 10. That is, the means 12 calculates the contrast improvement quantity VRPij of a target pixel Pij by a relative comparison between the pixel value VPij of the target pixel Pij and the weighted mean pixel value VAPij of pixel values included in the peripheral visual field of the target pixel Pij, extracts a value supposed to be effective from the calculated value and generates a contrast enhanced image 3. Since a combination coefficient of the enhanced image 3 and the input image 1 is adaptively changed on the basis of the edge information of the input image which is obtained by an edge information detection means 11 and the luminance of the target pixel Pij, contrast improvement in which a problem of density between a highlight part and a shadow part is solved and the influence of illumination light is reduced can be attained. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、デジタルカメラ等で得られたデジタル画像のコントラストや色かぶり現象を自動的に調整して、より鮮明な画像を得る技術に関するものである。
【0002】
【従来の技術】
デジタルカメラで撮影されたカラー画像は、撮像素子であるCCD素子で得られたアナログ値におけるノイズ割合を表すSNレベルやアナログ値をデジタル値に変換する際の変換精度等の影響で、実際に撮影された自然画像の持つ画素濃度のダイナミックレンジよりも狭いレンジに制限されるため、影がかかった細部での情報が損失する現象が発生する傾向がある。特に、画像内に明るい領域と暗い領域が混在するようなサンプルを撮影しようとした場合にその傾向は大きい。
【0003】
その改善として、デジタル画像の輝度等の範囲をより輝度の高い画像部分からより輝度の低い画像部分までに拡げるように、コントラスト強調を行う手法がまず考えられる。そのコントラスト強調の従来における手法としては、原画像を構成する全画素の輝度値の分布状態を示すヒストグラムを作成し、ヒストグラムの累積曲線を輝度変換曲線として原画像中の画素の輝度値を新な輝度値に変換し、画像のコントラストを強調するヒストグラム均等化手法がある。この手法は、原画像全領域の画素の輝度を同一の輝度変換曲線で新たな輝度に変換するために、部分的にはかえってコントラストが低下してしまう部分が生じることがある。このため、画像全体にわたってコントラスト強調を行いたい場合には、その領域に合ったコントラスト強調処理を行う必要がある。
【0004】
この手法のさらなる改善として、画像を複数の矩形領域に分割し、各々の領域毎に上記ヒストグラム均等手法を適用する局所的ヒストグラム均等化手法も多く提案されており(例えば、特開2000−285230公報)、その構成は図29のようになる。
【0005】
図29は従来の画像処理装置の一例におけるコントラスト改善部を示すブロック図である。図示する画像処理装置は、画像データ入力手段290から入力された画像を矩形に分割する画像データ分割手段291、矩形ごとにヒストグラムを作成するヒストグラム作成手段292、および矩形ごとにコントラストの伸張を行って画像データ出力手段294へ出力するコントラスト伸張部293よりなる。
【0006】
しかしながら、この手法を用いた場合、コントラストが強調されすぎる矩形領域が発生したり、隣接する矩形領域間の境界でコントラストが不連続になる可能性があるなどの問題点が指摘されている。
【0007】
一方、ヒストグラムを利用しないでこのような問題を解決する技術として、フィールドごとにデジタルカメラのシャッタ時間や絞りを変えて、明るい部分と暗い部分を別々に撮像し、得られた各々の情報を1枚の画像に合成して中間調濃度を実現することで、実際に撮影された自然画像の持つ画素濃度度のダイナミックレンジに近づける手法も提案されている。
【0008】
その例として、特開平6−141229号公報に参照されている技術があり、装置の構成は図30のようになる。
【0009】
図30は従来の画像処理装置の他の一例を示すブロック図である。図示する画像処理装置は、被写体の光電効果を行う撮像素子300、画像信号を記録するメモリ301、信号レベルを常数倍する乗算手段302、画像信号のレベルに応じて重みを付加するレベル重み手段303,308、信号を加算する加算手段304、画像信号の速度を変換する速度変換手段305、画像信号のレベルを圧縮するレベル圧縮手段306、各ブロックのタイミングを制御するタイミング制御手段307である。なお、メモリ301、乗算手段302、レベル重み手段303,308および加算手段304で画像合成部309が構成されている。
【0010】
この装置は、撮像素子における電荷蓄積期間の異なる2枚以上の画像の信号レベルに応じて重み付け合成を行い、得られた合成画像出力を標準テレビ信号の速度に変換するとともに、テレビ信号での基準レベルに圧縮するテレビ撮像装置に関するものであるため、速度変換手段、レベル圧縮手段等を有する。そのため、デジタルカメラに当てはめる場合、速度変換手段やレベル圧縮手段は必要な構成要素ではない。
【0011】
しかし、この発明のように複数の電荷蓄積期間で得られた画像合成による手法の場合、合成された画像におけるコントラストの不連続性は生じにくいが、最低2枚の画像を続けて取るため、原理的に同じ画像を取ることができない。そのため、これらの画像を合成した場合、シャッタ速度にも影響されるが合成画像の細部がぼけたりずれたりする画像が作成される可能性がある。また、明るい部分を撮影する際の濃度レンジと暗い部分を撮影する際の濃度レンジで画像内の持つ濃度レンジ全域をカバーできていない場合、その2つの中間濃度レンジで不連続性が生じる危険もある。
【0012】
ところで、このような影のかかった領域での細部および色を人間が観察した場合、人間の視覚は上記のような問題を発生させることなく、画像の持つ広い濃度のダイナミクスや色を知覚することができる。このような人間の視覚を中心とした中央視野/周辺視野レティネックスの概念は、Edwin Land により「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」,National Academy of Science,第84巻、pp.3078からpp.3080(1986)の中で紹介されている。
【0013】
この中では、人間の視覚のレティネックスの概念では、中央視野が2から4基礎単位分の直径を持ち、周辺視野が中央視野の約200から250倍の直径を有する逆2乗関数で記述されている。そして、中央視野、周辺視野各々の視野内での信号強度の空間的平均が知覚される強度に関係するとして定義されている。これらの原理に従い、上記のような暗部における色と明度表現を改善する手法が近年提案されている。
図31は従来の画像処理装置のさらに他の一例を示すブロック図である。上記の例は国際公開番号WO97/45809(特表2000−511315公報)で記述されており、図31はその構成を示す。なお、ここではグレースケール画像を例に説明するが、カラー画像に対しても拡張することができる。
【0014】
ディジタル撮像装置310で取得された画像の(i,j)における画素値I(i,j)はプロセッサ311およびフィルタ312によって調整されフィルタリング処理が行われる。
【0015】
画素ごとに、プロセッサ311は、(数1)のような調整画素値I’(i,j)を算出する。ここで、F(x,y)は周辺視野を表す周辺視野関数であり、「*」は畳み込み演算処理を示す。
【0016】
【数1】

Figure 2004078652
【0017】
そして、F(x,y)が(数2)の条件を満足するように正規化係数Kが決定されており、これにより(数1)の第2項は、周辺視野における画素値の平均値に相当する。つまり、(数1)は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数F(i,j)は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、(数3)のようなガウス関数が適用される。ここでcは各画素値I(i,j)の調整画素値I’(i,j)をコントロールするための定数である。
【0018】
【数2】
Figure 2004078652
【0019】
【数3】
Figure 2004078652
【0020】
以上のように、この従来の発明では、周辺視野での平均画素値に対する対象画素値を調整された画素値I’(i,j)として算出し、この値に対して、ディスプレイ313によって使用されるレティネックス出力R(i,j)を生成するためのフィルタ処理がフィルタ312により行われる。フィルタ312はI’(i,j)を対数領域からディスプレイ313で扱われるR(i,j)の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセットおよび利得変換関数を適用する処理が用いられる。
【0021】
しかしながら、この手法の場合、周辺視野関数を制御するcによる影響を大きく受ける。例えば、このcが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このcが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。
【0022】
このように扱う画像内の画素値のダイナミックスレンジに応じて適切なcを考慮する必要があり画像依存性の問題が挙げられる。これを改善する技術として、複数の周辺視野領域を設ける手法も同じ文献内に提案されているが、いくつ周辺視野領域を用意するかが明確になっておらず、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。
【0023】
次に、フィルタ312では、ディスプレイ313で使用される実際の画素値に変換する処理が行われているが、この発明ではどの画像に対しても同一のオフセットおよび利得変換関数処理をするように設定されており、この最適なオフセットおよび利得変換関数の設定には経験的知見を要する点も問題として挙げられる。さらに、複数の定数cにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値I’(i,j)は複数領域を用意してもI(i,j)に関係なく1.0近傍になる。このような場合、画素値変動の小さい対象画素でのI’(i,j)はその入力画像全体におけるI’(i,j)の平均近傍に位置する場合が多く、フィルタ312におけるオフセットおよび利得変換関数の如何を問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。
【0024】
また、デジタルカメラで撮影された画像の問題点として、色かぶり現象が指摘されている。これは、撮影などの条件によって、適正状態よりも特定色が強く出すぎている状態を示すものである。人間の目の場合、光に順応できるので光源の違いによって色が異なって見えることはありえないが、デジタルカメラで撮影された写真では撮影時の光源によって微妙に色かぶりが生じることがよく起こる。例えば、色かぶりは晴天の日陰はやや青みがかり、朝日や夕日のもとでは赤みがかり、蛍光灯下では緑っぽい色に写る傾向がある。また、プールの水の反射で青かぶり、草木の色の反射で緑かぶり、など被写体周囲の物体の色が反射して色かぶりが生じることもある。
【0025】
このような色かぶりの除去手段としては、緑(G=C+Y)が強すぎる場合にはCとYの信号を弱めるようにトーンカーブや濃度レベル補正を行うことがマニュアルで行われる。
【0026】
自動処理としては、例えば図32のような構成が用いられる。この処理の基本は入力画像全体の平均がグレー(無彩色)になるように各色のバランスを調整するものであり、エバンスの原理といって、世の中の被写体を全て加算すると無彩色になるという仮説に基づくものである。入力画像分布検出手段320は画像入力手段10から入力された入力画像1内のレッド、ブルー、グリーンの各信号の平均値を求めるものであり、基準色設定手段321は入力画像1内の輝度の平均値を導出し、この値を基準色とする。そして色バランス修正手段322において、入力画像分布検出手段320で得られたレッド、ブルー、グリーンの各信号の平均値が基準色になるように入力画像内のレッド、ブルー、グリーン信号を修正する。このようにすることで、入力画像全体の平均色はグレーになり、色かぶりが軽減される。この処理をオートホワイトバランス処理とも呼ぶ。
【0027】
しかし、このような処理を用いた場合、色彩の鮮やかな色をもつ物体が大きな領域を占めた場合、その色が平均色になる傾向が強くなり、この色が無彩色に近づくような問題が生じる。つまり、芝生の緑が画像の大半を占めているような場合、従来処理では芝生の緑を無彩色にしてしまう(カラーフェイリア)現象を生じることが問題として発生する。
【0028】
【発明が解決しようとする課題】
このように、従来のヒストグラムに基づくコントラスト強調処理技術は、特定の部分のコントラストが強調されすぎたり、局所的に隣接する矩形領域境界で不連続性を示すことがあった。
また、複数の絞り条件等で撮像された複数画像を合成した場合、原理的には同じ被写体を撮像することができず、合成画像細部のぼけや色ずれを生じる可能性があった。さらに、デジタル撮影時の照明による色かぶりは何ら改善することができなかった。
【0029】
従来の人間の視覚モデルをもとにしたコントラスト改善技術では、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。そのうえ、特に輝度の高く広い領域では、調整後の輝度が下がる方向に調整されやすい。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。単純に入力画像と強調画像の平均画像を導出することでこれらはある程度改善できるが、この視覚モデルの特徴の1つである不均一照明による色かぶりの低減を抑止してしまう問題があった。単純に照明の色かぶりを落とす手法として従来のように画像内の平均輝度にレッド、グリーン、ブルー信号の平均値を合わせた場合、一様に鮮やかな色彩が大きな領域を占めた場合、その色がグレー方向に修正されることで彩度が落ちることがあった。
【0030】
そこで、本発明は、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができる画像処理技術を提供することを目的とする。
【0031】
【課題を解決するための手段】
上記課題を解決するために、本発明の第1の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。そして入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行うことで、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるようにしたものである。
【0032】
上記課題を解決するために、本発明の第2の画像処理技術は、第1の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させるものである。
【0033】
上記課題を解決するために、本発明の第3の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。そして入力画像と強調画像の加重平均合成を行う際に、強調画像内の輝度分布を入力画像に合わせ合成することで、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。
【0034】
上記課題を解決するために、本発明の第4の画像処理技術は、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された1つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求める。そして、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行うようにしたものであり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えるようにしたものである。
【0035】
上記課題を解決するために、本発明の第5の画像処理技術は、第4の画像処理技術において領域判定後に各領域に応じて用意された1つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。
【0036】
上記課題を解決するために、本発明の第6の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができる。
【0037】
上記課題を解決するために、本発明の第7の画像処理技術は、第6の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができる。
【0038】
【発明の実施の形態】
本発明の請求項1に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、コントラスト改善手段で得られた強調画像と入力画像の合成を、エッジ情報検出手段で得られたエッジ情報をもとに行う画像合成手段と、画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0039】
本発明の請求項2に記載の発明は、請求項1記載の発明において、コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0040】
本発明の請求項3に記載の発明は、請求項1記載の発明において、コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0041】
本発明の請求項4に記載の発明は、請求項1記載の発明において、画像合成手段が、入力画像より得られたエッジ情報と入力画像を使ってコントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出する結合係数導出手段と、結合係数導出手段で得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成する加重平均合成手段と、加重平均合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有する画像処理装置であり、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるという作用を有する。
【0042】
本発明の請求項5に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、コントラスト改善手段で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段と、濃度修正手段で得られた修正画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【0043】
本発明の請求項6に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第2コントラスト改善手段と、第2コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることができるという作用を有する。
【0044】
本発明の請求項7に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第2コントラスト改善手段と、入力画像のエッジ情報と入力画像を使って第2コントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し合成処理を行う画像合成手段と、画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0045】
本発明の請求項8に記載の発明は、請求項6または7記載の発明において、第2コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、領域判定手段で得られた領域をもとに、画素比較範囲を選択する比較範囲設定手段と、比較範囲設定手段で選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求める強調量導出手段と、比較範囲選択手段で得られた画素比較範囲に応じて強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、調整係数導出手段で得られた調整係数により強調量導出手段で得られたコントラスト改善量を補正する調整手段と、調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【0046】
本発明の請求項9に記載の発明は、請求項6または7記載の発明において、第2コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、領域判定手段で得られた領域をもとに、強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量を調整係数導出手段で得られた調整係数で補正する調整手段と、調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【0047】
本発明の請求項10に記載の発明は、請求項5、6、8または9記載の発明において、簡易画像合成手段が、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段と、加重合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有する画像処理装置であり、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという作用を有する。
【0048】
本発明の請求項11に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行う第3コントラスト改善手段と、第3コントラスト改善手段で得られた強調画像を出力する画像出力手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0049】
本発明の請求項12に記載の発明は、デジタル画像データを入力する画像入力手段と、画像入力手段で得られ入力画像にコントラスト改善処理を行う第3コントラスト改善手段と、第3コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0050】
本発明の請求項13に記載の発明は、請求項11または12記載の発明において、第3コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0051】
本発明の請求項14に記載の発明は、請求項11または12記載の発明において、第3コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、強調量導出手段で、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、強調量導出手段へ処理を渡す比較範囲変更手段と、終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有する画像処理装置であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【0052】
本発明の請求項15に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力された画像のエッジ情報を検出し、入力画像のコントラスト改善を行うとともに、入力画像のエッジ情報をもとにコントラスト改善された強調画像と入力画像の画像合成を行い、得られた合成後の画像を出力する画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0053】
本発明の請求項16に記載の発明は、請求項15記載の発明において、対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量を実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0054】
本発明の請求項17に記載の発明は、請求項15記載の発明において、対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求める際の画素比較範囲をまず設定し、設定された画素比較範囲内での周囲画素との比較で対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。
【0055】
本発明の請求項18に記載の発明は、請求項15記載の発明において、強調画像と入力画像の画像合成処理が、入力画像より得られたエッジ情報と入力画像を使ってコントラスト改善処理で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し、得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得る画像処理方法であり、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるという作用を有する。
【0056】
本発明の請求項19に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像のコントラスト改善処理を行い、コントラスト改善処理で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正し、得られた修正画像と入力画像の簡易画像合成を行い、得られた合成後の画像を出力する画像処理方法であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【0057】
本発明の請求項20に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像のエッジ情報を抽出し、得られたエッジ情報と入力画像内の輝度をもとに入力画像の第2コントラスト改善処理を行い、得られた強調画像と入力画像の簡易画像合成処理もしくは画像合成処理を行い、得られた合成後の画像を出力する画像処理方法であり、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることができるという作用を有する。
【0058】
本発明の請求項21に記載の発明は、請求項20記載の発明において、第2コントラスト改善処理として、入力画像のエッジ情報をもとに対象画素の領域判定を行い、判定された領域をもとに、画素比較範囲を選択し、選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求め、選択された画素比較範囲に応じて得られたコントラスト改善量を補正するための調整係数を導出し、導出された調整係数によりコントラスト改善量を補正し、補正後のコントラスト改善量より有効となる範囲を限定し抽出処理を行い、抽出選択されたコントラスト改善量を実際の画素値に変換する画像処理方法であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【0059】
本発明の請求項22に記載の発明は、請求項20記載の発明において、第2コントラスト改善処理として、エッジ情報をもとに対象画素の領域を判定し、判定された対象画素の領域をもとに、コントラスト改善量を補正するための調整係数を導出し、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求め、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行い、終了判定されなかった場合、画素比較範囲を変更し、画素比較範囲内をもとに対象画素のコントラスト改善量を求め、終了判定された場合、複数の画素比較範囲より得られたコントラスト改善量を調整係数で補正し、調整係数で補正後のコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量より実際の画素値に変換する画像処理方法であり、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。
【0060】
本発明の請求項23に記載の発明は、請求項19から請求項22の何れか一項に記載の発明において、簡易画像合成処理として、得られた強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得る画像処理方法であり、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという作用を有する。
【0061】
本発明の請求項24に記載の発明は、デジタル画像データを扱う画像処理方法であって、入力画像に第3コントラスト改善処理を行い、第3コントラスト改善処理で得られた強調画像を出力する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0062】
本発明の請求項25に記載の発明は、デジタル画像データを扱う画像処理方法であって、得られ入力画像のコントラスト改善のための第3コントラスト改善処理を行い、第3コントラスト改善処理で得られた強調画像と入力画像の簡易合成を行い、得られた合成後の画像を出力する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0063】
本発明の請求項26に記載の発明は、請求項24または25記載の発明において、第3コントラスト改善処理として、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束し、拘束された周囲の画素濃度をもとに対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定・抽出し、抽出されたコントラスト改善量を実際の画素値に変換する画像処理方法であり、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。
【0064】
本発明の請求項27に記載の発明は、請求項24または25記載の発明において、第3コントラスト改善処理として、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、対象画素のコントラスト改善量を求める際に、設定された対象画素周囲の画素濃度を拘束し、設定された画素比較範囲内で、拘束された周囲画素濃度をもとに対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行う画像処理方法であり、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
【0065】
以下、本発明の実施の形態について、図1から図28を用いて説明する。なお、これらの図面において同一の部材には同一の符号を付しており、重複した説明は省略されている。また、これ以降では、画素位置(i,j)の単位には全て画素単位が用いられることする。
【0066】
(実施の形態1)
図1は本発明の実施の形態1である画像処理装置の全体構成を示すブロック図である。
【0067】
図1に示すように、画像処理装置は、入力画像1を得るためのCCD素子のような画像入力手段10、入力画像1よりエッジ情報4を検出するためのエッジ情報検出手段11、画像入力手段10で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段12、デジタル入力画像1とコントラスト改善手段12で得られた強調画像3を合成する画像合成手段13、画像合成手段13で得られた合成画像を最終処理後の出力画像2として所望のデバイス(プリンタ、ディスプレイ等)で出力するための画像出力手段14を備えている。
【0068】
図2は本発明の実施の形態1である画像処理装置におけるコントラスト改善手段の構成を示すブロック図である。
【0069】
コントラスト改善手段12は、図2に示すように、対象画素Pijにおけるカラー3成分値VPij(r(i,j),g(i,j),b(i,j))を広さcのPij周囲画素との比較によりコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する強調量導出手段20、強調量導出手段20で得られたコントラスト改善量VRPijより有効となる範囲を限定し抽出する抽出手段21、抽出手段21で選択されたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段22からなる。
【0070】
図4は本発明の実施の形態1である画像処理装置における画像合成手段の構成を示すブロック図である。画像合成手段13は、図4に示すように、入力画像1内の輝度とエッジ情報検出手段11で得られたエッジ情報4をもとに入力画像1とコントラスト改善手段12で得られた強調画像3に掛かる結合係数ws(s=1,3;ここでw1は入力画像1に掛かる結合係数であり、w3は強調画像3に掛かる結合係数を示す)を決定する結合係数導出手段40と、結合係数導出手段40で得られた結合係数w0、w1を使って、入力画像1とコントラスト改善手段12で得られた強調画像3の加重平均画像を生成する加重平均合成手段41、そして加重平均合成手段41で得られた加重平均合成画像と入力画像1、そして強調画像3を比較して出力画像の画素値を決定する出力値決定手段42より構成される。
【0071】
以上のように構成された実施の形態1である画像処理装置の動作について図5および図6に従い説明する。
【0072】
図5は本発明の実施の形態1である画像処理方法における全体の動作を示すフローチャート(図5(a))とエッジ情報導出処理を示すフローチャート(図5(b))である。図6は本発明の実施の形態1である画像処理方法おけるコントラスト改善処理を示すフローチャート(図6(a))と画像合成処理を示すフローチャート(図6(b))である。
【0073】
図5(a)において、先ず、画像入力手段10を介して、カラーの入力画像1がデジタル入力される。画像入力手段10では、カラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度(8ビットならば0から255の値で)得られる。そして、画像入力手段10ではこの値を0.0から1.0の値に正規化する。
【0074】
次に、デジタル入力画像1に対して、エッジ情報を検出する処理がエッジ情報検出手段11で行われる。
【0075】
この処理は、図5(b)に示すように、まず入力画像全ての画素Pijに対して輝度y(i,j)を計算する。このように処理簡略化等の理由でエッジ情報検出は輝度成分に対してのみ行われる。
【0076】
図7は本発明の実施の形態1である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図であり、本発明の実施の形態1〜7の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。
【0077】
エッジ情報の検出としては様々な方法があるが、ここでは図7のような5画素×5画素のサイズをもつフィルタを適用する。画素Pijを中心としてこのフィルタを適用して得られたx方向での成分量ex(i,j)とy方向での成分量ey(i,j)の二乗和の平方根を画素Pijのエッジ情報ed(i,j)とする。
【0078】
この定義は一義的ではなく、3画素×3画素サイズのソーベルフィルタと呼ばれるフィルタでも可能である。また、エッジ情報も輝度成分のみだけでなく、カラー3成分で図7のフィルタを適用して得られるベクトルとして取り扱うことも可能である。このようにして得られた全画素に対するエッジ情報ave_edと輝度の平均値ave_yを求める。
【0079】
次に、デジタル入力画像1に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段12で行われる。
【0080】
図9は本発明の実施の形態1〜7の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。コントラスト改善手段12では図9のように行われる。
【0081】
すなわち、人間の視覚では、図9に模式的に示されるように対象画素Pijに対して知覚された画素値のみでPijの画素情報(色、コントラストなど)を認知するのではなく、対象画素Pijをその周囲にある画素の情報との相対的な関係により、対象画素値Pijの画素値を調整することでPijの画素情報を知覚している。
【0082】
これは、従来例で説明したようにEdwin Land により紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。
本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
【0083】
つまり、図6(a)において、まず、対象画素Pijの画素値VPij(r(i,j),g(i,j),b(i,j))をLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。
そして、周辺視野における画素値の加重平均画素値VPij(r(i,j),g(i,j),b(i,j))を求めるとともに、このVPijとVPijの間の相対的関係につながるコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。
【0084】
このVAPijとして、従来例のように(数1)の第2項におけるc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))と(数2)、(数3)のようにガウス関数で定義された周辺視野関数F(x,y)の畳み込み積分値で定義することも可能であり、コントラスト改善量VRPijも(数1)を3成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。
【0085】
その例として、(数4)のようにVAPijはc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))の平均値を定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))も(数5)のように各成分ごとの画素値VPijの加重平均画素値VAPijに対する比として定義することができる。
【0086】
【数4】
Figure 2004078652
【0087】
【数5】
Figure 2004078652
【0088】
また、(数6)、(数7)のようにc画素の周辺視野内における輝度y(i,j)の平均値をVAPijの3成分として定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))は(数7)のように画素Pijにおける各成分値の加重平均画素値VAPijに対する比として定義することも可能である。
【0089】
【数6】
Figure 2004078652
【0090】
【数7】
Figure 2004078652
【0091】
このようにすることで、比較対象となる周辺視野の画素値の加重平均画素値VAPijは各成分とも同じ値になるため、(数4)、(数5)のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できる。そこで本発明では(数6)、(数7)による定義を採用することとした。
【0092】
以上のような対象画素Pijに対するコントラスト改善量VRPijを入力画像内の全ての画像に対して行う。その後、コントラスト改善量VRPijの成分ごとの平均値VaR(aRr,aRg,aRb)と標準偏差量VdR(dRr,dRg,dRb)を求め、その値を使ってコントラスト改善量VRPijより抽出される際の最小値eminと最大値emaxを導出する。
【0093】
この導出としても多くの方法があるが、ここでは、emaxの候補としてaRr+α×dRr、aRg+α×dRg、aRb+α×dRbを求め、この3値の内の最大値をemaxとする。そして、eminの候補としてaRr−β×dRr、aRg−β×dRg、aRb−β×dRbを求め、この3値の内の最小値をeminとする。このようにすることで、抽出されたコントラスト改善量VRPijの各成分のバランスが崩れないように、必要とする領域を抽出することとした。
【0094】
次に、このemaxとeminを使って、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分は0.0から1.0の範囲内の値に変換される処理が行われる。このようにして得られたコントラスト改善量VRPijを対象画素Pijにおけるコントラスト改善で得られた強調画像3の画素値と見なされ、コントラスト改善処理が終了する。
【0095】
このような一連の処理により、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみは取り出され中心からの変動量は強調されるとともに、中心付近から大きく外れた比の値を持つ画素のコントラスト改善量VRPijは1.0もしくは0.0になりやすくなる。そのため、中心視野である対象画素Pijとその周辺視野における画素の差が少しでもある領域はその差が強調されやすくなりコントラスト強調が行われ、影内の細部や入力機器のレンジ不足で埋もれてしまった色情報を強調して表現することができるようになる。
【0096】
この発明の場合、各画素におけるコントラスト調整量の導出が従来のレティネックス概念による手法よりも簡易な形で構成されている。そして、従来のレティネックス概念による手法では、各画素におけるコントラスト調整量から実際の画素値成分へ変換する際のフィルタ処理(オフセット、利得変換関数)の設定が経験的知識を要することが問題とされていたが、本発明ではその必要がないことが利点として挙げられる。
一方、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみを抽出し、その前後の領域を0.0もしくは1.0で飽和させることにより、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、CCD等で入力時発生したシャドウ部における色ノイズを際立たせるようなことがあった。
【0097】
図10は本発明の実施の形態1または2である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図である。図11は本発明の実施の形態1または2である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図である。
【0098】
本発明では、これらの問題を解決するために、入力画像1と視覚モデルで得られた強調画像3を適応的に合成することで(図10)、入力画像1が本来持つ輝度レベルの低減や上昇を抑えることとしたのである。その手法としては多くの手法が考えられるが、ここでは入力画像のエッジ情報と輝度に注目して、入力画像1に掛かる結合係数w1と強調画像3に掛かる結合係数w3を制御することとした。
【0099】
図6(b)に画像合成手段における処理フローを表し、結合係数の制御関数を(数8)と図11に示す。
【0100】
【数8】
Figure 2004078652
【0101】
強調画像3における輝度低下と輝度の急激な上昇による画質劣化が生じるのは、主に大きな領域で一律な色を持つハイライト部や大きな領域で一律な色を持つシャドウ部で見受けられる。
【0102】
一方、単純に入力画像1と強調画像3を合成した場合、入力画像1で問題とされている照明光の影響で生じる色かぶりをそのまま引きずることになり、本来強調画像で低減されていた照明光による色かぶりの改善を阻害することになってしまうため、できるかぎり強調画像を優先した方が照明光による色かぶりの低減につながることとなる。
【0103】
以上のような考察より、一様に色変化の小さいハイライト部とシャドウ部では、強調画像3よりも入力画像1の画素値を優先するようにし、それ以外の部分では強調画像3を優先するようにした方が出力画像の改善に効果的と思われる。
【0104】
そこで、エッジ部分では強調画像を優先し、エッジ部分でなく輝度の高い部分と低い部分では入力画像を優先するように結合係数を制御するような手法を用いることとした。
【0105】
その手法としては多くがあるが、本発明では(数8)のようなファジィルール1と2を用いることとした。その際に適用されるファジィ関数は図11のようになる。
【0106】
ルール1が入力画像でエッジでない部分で輝度の高い部分と低い部分に含まれる画素に対する合成出力画素値を決めるルールを表し、ルール2が入力画像でエッジ部分に含まれる画素に対する合成出力画素値を決めるルールを表す。
【0107】
まず対象画素Pijにおける輝度y(i,j)とエッジ情報ed(i,j)をもとに、ルール1に対する信頼度m1とルール2に対する信頼度m2を計算する。ルール1に対する信頼度m1は、図11より明らかなように、エッジ情報が小さくて輝度の高い点と低い点に2つのピークを持つ山型関数(ガウス関数)で定義されており、ルール2に対する信頼度m2はエッジ情報、輝度とも入力画像のエッジ情報の平均値ave_edと輝度の平均値ave_yを中心とした山型をしているガウス関数で定義されている。
【0108】
このm1をm2をもとに強調画像3に掛かる結合係数w3はw3=m2/(m1+m2)で決定され、入力画像1にかかる結合係数w1はw1=1.0−w3で決定される。このようにすることで、エッジでなく輝度の高い部分と低い部分における強調画像の影響を低減されるとともに、それ以外の部分での入力画像内の色かぶりを低減されるようにした。
【0109】
そして、それとともに、単純にエッジ情報と輝度のしきい値関数処理でw1をw3を決定した際に発生する可能性のある合成画像内の不連続部分を抑えることも目的としている。この処理を結合係数導出手段40が行い、このw1とw3に従い、対象画素Pijの合成画像の画素値VWPij(Wr(i,j),Wg(i,j),Wb(i,j))を加重平均合成手段41が行う。
【0110】
しかし、このようにして合成画像の画素値を決めても入力画像の対応する画素値と比較して輝度が低下する可能性がある。そこで、対象画素Pijの入力画像における画素値VPij(r(i,j),g(i,j),b(i,j))と合成画像における画素値VWPij(Wr(i,j),Wg(i,j),Wb(i,j))を比較して、VWPijがVPijより小さい場合にはVWPijをVPijで置き換える処理を出力値決定手段42が行う。
【0111】
以上の処理が全画素に対して終了した後、画像出力手段14で出力画像2の画素値としてVWPijを所定の出力デバイスに出力することでコントラスト改善処理が終了する。
【0112】
なお、結合係数導出手段40の処理で、入力画像1の画素値VPijと強調画像3の画素値VRPijを比較して、VPijが3成分ともVRPijより大きい場合にはw1=1.0、w3=0.0とし、それ以外にはw1=w3=0.5として合成画像の画素値VWPijを求める手法も可能である。
【0113】
この場合、処理の簡略化にはなるが、特にエッジでない部分において(数8)の場合よりもw1の値が大きくなり入力画像1が合成画像で占める割合が大きくなるため、より入力画像の持つ照明光の影響(色かぶり)を受けることになる。そのため、それを低減させる手段を別に考慮する必要がある。
【0114】
以上のような構成や処理を行うことで、本発明の実施の形態1である画像処理装置および画像処理方法は、従来例の視覚モデルの利点を有効に生かすことで照明光による色かぶりを低減することができるとともに、ハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。
【0115】
なお、これらの処理は、本発明の実施の形態1である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0116】
また、本発明の実施の形態1である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0117】
(実施の形態2)
本発明の実施の形態2である画像処理装置の全構成は本発明の実施の形態1と同様に図1のように構成されており、コントラスト改善手段12は図3のような構成になる。
【0118】
つまり、図3において、30は強調量を導出する際の初期条件を設定する初期設定手段であり、主に中央視野である対象画素Pijと比較する周辺視野部の大きさcに初期周辺領域サイズc0を設定する処理を行う。
【0119】
20、21、22は本発明の実施の形態1と同様に強調量導出手段、抽出手段、画素値変換手段である。31は、予め用意された複数の周辺視野領域すべてでコントラスト改善量が算出されたかどうかを判定する終了判定手段であり、32は終了判定手段31で終了判定と見なされなかった場合に現在処理している周辺視野の大きさcを次の候補に変更する比較範囲変更手段である。なお、画像合成手段13については本発明の実施の形態1と同様に図4のように構成されている。
【0120】
以上のように構成された実施の形態2である画像処理装置の動作について説明する。図8は本発明の実施の形態2である画像処理方法におけるコントラスト改善処理を示すフローチャートである。
【0121】
画像入力手段10を介して、カラー画像1がデジタル入力される。画像入力手段10ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度(8ビットならば0から255の値で)得られる。画像入力手段10ではこの値を0.0から1.0の値に正規化する。
【0122】
次に、デジタル入力画像1に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段12で行われる。コントラスト改善手段12では図8のように行われる。この発明の特徴は、本発明の実施の形態1に、複数用意された周辺視野領域でのコントラスト改善を行うことで、画像内に存在する暗部(影)の大きさによる影響を低減するようにした点である。エッジ情報検出手段11、画像合成手段13、そして画像出力手段14は本発明の実施の形態1である画像処理装置と同様であるのでここでは省略する。
【0123】
図8において、まず、入力画像内における画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。
【0124】
その際、初期設定手段30でまずc=c0というように、予め用意された複数の周辺視野領域サイズc[s](s=0,1,,,,Cnum−1)のc0を周辺視野領域に設定する。この場合、c[s]は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。
【0125】
ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。強調量導出手段20では、現在設定されているc=ckの矩形域の周辺視野に対して、周辺視野における画素値の加重平均画素値VAPij[s](Ar_s(i,j),Ag_s(i,j),Ab_s(i,j))が算出される。
【0126】
そして、すべてのc[s]で強調量導出手段20での画素Pij周辺視野における加重平均画素値計算が終了したかどうかの判定を終了判定手段31で行う。終了していないと判定された場合には比較範囲変更手段32へ処理が移り、現在設定されている周辺視野領域cをつぎの候補に変更し再び強調量導出手段20での加重平均画素値算出が行われる。
【0127】
一方、終了判定手段31で終了判定された場合には、各周辺視野領域c[s]に対するPijの加重平均画素値VAPij[s](Ar_s(i,j),Ag_s(i,j),Ab_s(i,j))の重み付き平均値を求め、その値をPijの全加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))と設定する。
【0128】
その際、周辺視野領域c[s]の大きさに応じた重み付けを各c[s]によるPijの加重平均画素値に付加することが考えられるが、ここでは簡易化のために、各c[s]による加重平均画素値VAPij[s]の平均画素値をPijの全加重平均画素値として採用する。
【0129】
これ以外にも、c[s]による加重平均画素値VAPij[s]を各成分別に比較して最大値となる加重平均画素値をPijの全加重平均画素値とすることも可能である。
【0130】
こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像3として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。そして、Pijにおける各成分ごとの画素値Vpijの全加重平均画素値VAPijに対する比をコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))として算出する。
【0131】
これ以降の処理は本発明の実施の形態1と同様に、まず、コントラスト改善量VRPijより抽出される際の最小値eminと最大値emaxを導出する。
次に、このemaxとeminを使って、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分を0.0から1.0の範囲内の値に変換して得られたコントラスト改善量VRPijを対象画素Pijにおけるコントラスト改善後の画素値と見なして、コントラスト改善処理が終了する。
【0132】
また、画像合成処理部13も本発明の実施の形態1と同様に入力画像1のPijにおける輝度値y(i,j)とエッジ情報ed(i,j)をもとに、強調画像3に掛かる結合係数w3と入力画像1に掛かる結合係数w1を導出する。
【0133】
そして、この値を使って、Pijにおける入力画像1の画素値VPijと強調画像3の画素値VRPijの加重平均画素値VWPij(Wr(i,j),Wg(i,j),Wb(i,j))が求められ、出力値決定手段42で入力画像1の画素値と比較処理が行われ、出力画像2におけるPijの画素値VWPijをして決定される。このような処理が全画素に対して行うことで、最終的に画像出力手段14で出力される出力画像2が生成される。
【0134】
以上のような構成や処理を行うことで、本発明の実施の形態2である画像処理装置および画像処理方法は、本発明の実施の形態1である画像処理装置および画像処理方法の特徴を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【0135】
なお、これらの処理は、本発明の実施の形態2である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0136】
また、本発明の実施の形態2である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0137】
(実施の形態3)
図12は本発明の実施の形態3である画像処理装置の全体構成を示すブロック図である。図13は本発明の実施の形態3である画像処理装置における簡易画像合成手段の構成を示すブロック図である。
【0138】
図12に示すように、画像処理装置は、入力画像1を得るための画像入力手段10、画像入力手段10で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段12、コントラスト改善手段12で得られた強調画像3内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段121、濃度修正手段121で得られた修正画像5と入力画像1の合成を行う簡易画像合成手段120、簡易画像合成手段120で得られた合成画像を最終処理後の出力画像2として所望のデバイスで出力するための画像出力手段14を備えている。
【0139】
ここで、簡易画像合成手段120は、図13に示すように、修正画像内の対象画素信号をもとに、入力画像と強調画像に掛かる結合係数を決定する簡易結合係数導出手段130、簡易結合係数導出手段で得られた各画像の結合係数を使って、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段41、加重平均合成手段41で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段42より構成される。
【0140】
この実施の形態3での特徴は、本発明の実施の形態1と同様な方法で算出された強調画像3の輝度分布を入力画像1に合わせて補正することで、入力画像1と強調画像3の合成時に発生するハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。
【0141】
以上のように構成された実施の形態3である画像処理装置の動作について図14および図15に従い説明する。
【0142】
ここで、図14が本発明の実施の形態3である画像処理方法における全体の動作を示すフローチャート(図14(a))と強調画像の濃度修正処理を示すフローチャート(図14(b))を表し、図15が本発明の実施の形態3である画像処理方法における簡易画像合成手段の動作を示すフローチャートを表す。コントラスト改善処理におけるフローチャートは本発明の実施の形態1における図6(a)もしくは本発明の実施の形態2における図8と同様である。図16は本発明の実施の形態3である画像処理方法における強調画像3の濃度修正処理の概要を示す図である。
【0143】
画像入力手段10、コントラスト改善手段12、画像出力手段13は本発明の実施の形態1もしくは本発明の実施の形態2と同様の動作を行うためここでは省略する。
【0144】
濃度修正処理は図14(a)のように行われる。つまり、強調画像3では、陰影で覆われた細部のコントラストを改善するだけでなく変動が少なく広範囲にわたるハイライト部の輝度低下と変動が少なく広範囲にわたるシャドウ部の急激な輝度上昇が生じてしまう。
【0145】
この場合、問題とされる領域は広範囲にわたることで強調画像内の画像分布を検討した場合、平均輝度ave_Ryに大きな影響をきたすことが考えられる。そこで、強調画像3の平均輝度ave_Ryを入力画像の平均輝度ave_yに一致するように強調画像3内の画素値を変換させることで、上記問題を改善することができる。
【0146】
図14(b)において、強調画像3に対して、Pijにおける輝度Ry(i,j)、色差Ru(i,j),Rv(i,j)を算出する。次に、強調画像3の平均輝度ave_Ryと入力画像1の平均輝度ave_yを算出する。
【0147】
そして、各画素ごとに差分量ave_y−ave_Ryを強調画像3の画素Pijの輝度値Ry(i,j)に加え改めて輝度Ry(i,j)とする。最後にこの補正後の輝度Ry(i,j)と色差Ru(i,j),Rv(i,j)より補正後の画素値VDPij(Dr(i,j),Dg(i,j),Db(i,j))を算出することで処理を終える。
【0148】
簡易画像合成手段121では、図15に示すように、まず入力画像1と修正画像5の輝度より各々画像に掛かる結合係数w1、w3が導出される。前述した実施の形態1および2では、この導出に入力画像1のエッジ情報4も利用されているが、本実施の形態では濃度修正手段120である程度広範囲におけるハイライト部の輝度低下等が改善されていることを考え、w1=0.3、w3=0.7のように強調画像3を優先するような結合係数を設定した。
【0149】
そして、加重平均合成手段41がこの結合係数をもとに合成画像を生成し、出力値決定手段42で対象画素Pijの入力画像における画素値VPijと合成画像における画素値VWPijの比較処理を行うのである。
【0150】
このように強調画像3の濃度修正を行う処理を加えることで、実施の形態3である画像処理技術では、図16に示すように、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、結果として出力される出力画像における問題をより簡易な方法で改善することができる。
【0151】
また、入力画像の占める割合が小さくなることで、強調画像で改善された色かぶり現象の特性もある程度出力画像に引き継がれ、色かぶりを低減したコントラスト改善が実現できる。
【0152】
なお、これらの処理は、本発明の実施の形態3である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0153】
また、本発明の実施の形態3である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0154】
(実施の形態4)
図17は本発明の実施の形態4である画像処理装置の全体構成を示すブロック図である。図18は本発明の実施の形態4である画像処理装置における第2コントラスト改善手段の構成を示すブロック図である。図19は本発明の実施の形態4である画像処理方法における全体の動作を示すフローチャート(図19(a))と第2コントラスト改善処理を示すフローチャート(図19(b))である。
【0155】
図17に示すように、画像処理装置は、入力画像1を得るための画像入力手段10、入力画像1よりエッジ情報4を検出するためのエッジ情報検出手段11、第2コントラスト改善手段170、第2コントラスト改善手段170で得られた強調画像3と入力画像1の合成を行う簡易画像合成手段120、簡易画像合成手段120で得られた合成画像を最終処理後の出力画像2として所望のデバイスで出力するための画像出力手段14を備えている。
【0156】
ここで、第2コントラスト改善手段170は、図18に示すように、エッジ情報4より対象画素Pijの属する領域が判定される領域判定手段180、領域判定手段180で判定された領域に従い画素比較範囲を選択する比較範囲選択手段181、コントラスト改善量を導出する強調量導出手段20、判定された領域に応じて強調量導出手段20のコントラスト改善量を調整するための調整係数を求める調整係数導出手段182、調整係数導出手段182で得られた係数をもとに強調量導出手段20のPijにおけるコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を調整する調整手段183、および抽出手段21と画素値変換手段22より構成されている。
【0157】
ここでのポイントは、エッジ情報をもとに対象画素Pijの属する領域を判定しその領域に応じて画素比較範囲を選択する点にある。
【0158】
図17および図18のように構成された実施の形態4である画像処理装置における全体の処理の流れおよび第2コントラスト改善処理の流れは図19(a)、(b)のようになる。
【0159】
つまり、画像入力手段10で入力された入力画像1の画素Pijに対してエッジ情報ed(i,j)が求められる。次に、領域判定手段180でed(i,j)と輝度y(i,j)をもとにこの画素の属する領域が判定され、この判定に応じて181が比較範囲選択を行う。この画素比較範囲選択方法の概要を図20に表す。図20は本発明の実施の形態4である画像処理方法における比較領域の選択方法を示す概念図である。
この図20で示すように、なだらかで輝度の低いシャドウ部では過剰強調を避けるために、画素比較範囲を大きくとるようにする。それに対し、エッジ付近ではそのエッジ部で埋もれているであろう変化を強調するために、対象画素近傍での比較によりコントラスト改善量を求めるようにする。一方、なだらかな変化で輝度の高い部分については、画素周囲の平均画素値に変化を生じさせることができるような大きな比較範囲を設けるか、それが不明の場合は中間での画素比較範囲を適用することとする。
【0160】
次に、調整係数導出手段182では、判定された領域に応じて調整係数を決める。これは、領域判定手段180の領域判定に応じて予想されるコントラスト改善量を見越し、その調整を行うための係数を求めるものである。
【0161】
なだらかに変化する輝度の高い領域では、強調量導出手段20で得られたコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))が1.0付近になりやすく入力画像よりも低い値になることが多いことを見越して、この値を大きくするように調整係数k(i,j)が設定される。
ここでは、20%増にするとしてk(i,j)=1.2とする。エッジ付近では、コントラスト改善量は十分強調された値になるため、k(i,j)=1.0と設定される。
【0162】
一方、なだらかに変化する輝度の低い領域では、20で得られたコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))が1.0付近になりやすく、入力画像よりも急激に高い値になることが多いことを見越して、この値を小さくするように調整係数k(i,j)が設定される。
【0163】
ここでは、20%減にするとしてk(i,j)=0.8とする。調整手段183では、この調整係数k(i,j)を20で得られたコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分に乗算して改めてコントラスト改善量VRPijとする。
【0164】
こうした処理が全画素に対して行われ、この後、本発明の実施の形態1と同様に抽出処理と画素値変換処理が行われ、強調画像3が生成されるのである。そして、この強調画像3と入力画像1の合成処理が簡易画像合成手段130で行われ、画像出力手段14で出力画像として出力される。合成処理については本発明の実施の形態3と同様である。
【0165】
以上のように、本実施の形態の画像処理技術では、エッジ情報で予め対象画素の属する領域を判定しその領域に応じた比較範囲と調整係数を設定する。そして、この画素比較範囲内の周囲画素の平均画素値との比較でコントラスト改善量を求めるとともに、その値の調整を行うことで強調画像3におけるハイライト部とシャドウ部の問題点を解消することをねらったものである。そのため、画像合成処理も単純に強調画像の占める割合を大きくする処理でも成果を得ることができる。そして、入力画像の占める割合が小さくなることで、出力画像でも色かぶり現象を改善することができる。
【0166】
なお、よりハイライト部とシャドウ部の問題点を改善するために簡易画像合成手段120の代わりに本発明の実施の形態1もしくは実施の形態2で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段11で得られたエッジ情報4がこの画像合成手段に加えられる。
【0167】
さらに、これらの処理は本発明の実施の形態4であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0168】
また、本発明の実施の形態4である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0169】
(実施の形態5)
本発明の実施の形態5である画像処理装置の全構成は本発明の実施の形態4と同様に図17のように構成されており、第2コントラスト改善手段170は図21のような構成になる。図21は本発明の実施の形態5である画像処理装置における第2コントラスト改善手段の構成を示すブロック図である。図22は本発明の実施の形態5である画像処理方法における第2コントラスト改善処理を示すフローチャートである。
【0170】
つまり、本発明の実施の形態4と異なる点は、図21において、本実施の形態の第2コントラスト改善手段170では複数の画素比較範囲で得られたコントラスト改善量の平均値を導出され、第2コントラスト改善手段170の領域判定手段180で得られた領域情報はこのコントラスト改善量の平均値に掛かる調整係数を推定するために使用される点である。
【0171】
これは、本発明の実施の形態4のように領域ごとに比較範囲を設定した場合、処理速度は速くなる。しかし、領域判定ミスによる比較範囲選択の誤りの影響を受ける可能性があること、エッジ部分において差を強調するために近傍のみの比較を行った場合、エッジ程度によっては過剰強調によりホワイト色による色とびが発生すること、陰影サイズによってはあまり近傍過ぎると周囲画素の平均画素値が対象画素値に近づいてしまい強調できないことがあること等の問題が考えられる。
【0172】
そこで、本発明の実施の形態2と同様に複数の比較範囲を用意して各範囲で得られたコントラスト改善量の平均値で対象画素のコントラスト改善量VRPijを導出するようにしたものである。
【0173】
第2コントラスト改善処理の流れを表す図22より明らかなように、まずエッジ情報4をもとに画素Pijが一様に広いハイライト部分か一様に広いシャドウ部分かそれ以外の部分に属するかの判定を領域判定手段180が行う。
次に、この判定結果をもとに、各比較範囲で得られたコントラスト改善量の平均値と調整するための調整係数を調整係数導出手段181が決定する。この決め方については、例えば本発明の実施の形態4と同じようにすることができる。
【0174】
また、初期設定手段30から比較範囲変更手段32では、本発明の実施の形態2と同様に、初期設定手段30で初期設定された条件でまず強調量導出手段20がコントラスト改善量VRPijを求め、終了判定手段31で全ての比較範囲で20の処理が完了したかどうかの判定がされる。
【0175】
この終了判定が満足されていない場合には、次に用意された画素比較範囲に設定し直して強調量導出手段20での強調量導出処理が行われ、終了判定が満足された場合には、各比較範囲におけるコントラスト改善量の平均値を改めてこの画素におけるコントラスト改善量VRPijと設定し、これに調整手段183が調整係数導出手段182で得られた調整係数と設定し、これに調整手段182が調整係数導出手段182で得られた調整係数k(i,j)を乗算することでコントラスト改善量VRPijを補正する。
【0176】
その後、必要と思われる領域を抽出手段21が抽出し画素値変換手段22が実際の画素値(レッド、ブルー、グリーン信号)に変換することで強調画像3を生成するのである。
【0177】
そして、この強調画像3と入力画像1の合成画像を簡易画像合成手段が生成する。この際、色かぶり解消を保つために強調画像の占める割合が大きくなるように、例えば、強調画像3に掛かる結合係数結合係数w3=0.7、入力画像1に掛かる結合係数w1=0.3のようにすることで画像合成を行い、画像出力手段14で出力画像として出力デバイスに出力する。
【0178】
以上のように、本実施の形態の画像処理技術では、実施の形態4において領域判定後に各領域に応じて用意された1つの比較領域サイズ内でコントラスト改善量を求めていたものを、実施の形態2と同様に複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。
【0179】
また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となる。
【0180】
なお、簡易画像合成手段120の代わりに本発明の実施の形態1もしくは実施の形態2で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段11で得られたエッジ情報4がこの画像合成手段に加えられる。
【0181】
さらに、これらの処理は本発明の実施の形態5である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0182】
また、本発明の実施の形態5である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0183】
(実施の形態6)
図23は本発明の実施の形態6である画像処理装置の全体構成を示すブロック図であり、図示するように、本実施の形態の画像処理装置では、入力画像1と強調画像3の合成処理をしない場合(図23(a))と、入力画像1と強調画像3の合成処理を経て出力画像2を生成する場合(図23(b))とがある。図24は本発明の実施の形態6である画像処理装置における第3コントラスト改善手段の構成を示すブロック図である。図25は本発明の実施の形態7である画像処理装置における第3コントラスト改善手段の構成を示すブロック図である。
【0184】
どちらも、強調画像3の生成は第3コントラスト改善手段230が行い、この第3コントラスト改善手段230の構成は、入力画像1と強調画像3の合成処理をしない場合は図24のようになり、入力画像1と強調画像3の合成処理を経て出力画像2を生成する場合は図25のようになる。
【0185】
まず図23(a)の場合について説明する。
【0186】
図23(a)の場合は、画像入力手段10、視覚モデルによりコントラスト改善量を導出する第3コントラスト改善手段230、そして第3コントラスト改善手段230で得られたコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))をそのまま出力画像の画素値VWPij(Wr(i,j),Wg(i,j),Wb(i,j))とする画像出力手段14より構成される。
【0187】
そして、図24に示すように、第3コントラスト改善手段230は、強調量導出手段20、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段240、強調量導出手段20で得られたコントラスト改善量から必要な部分を抽出する抽出手段21、そして抽出手段21で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段22より構成される。
【0188】
この場合の処理の流れは図26のようになる。図26(a)は本発明の実施の形態6である画像処理方法における全体の動作を示すフローチャートであり、第3コントラスト改善処理を示すフローチャートは図26(b)のようになる。
【0189】
図示するように、本発明の実施の形態1におけるコントラスト改善処理とほぼ同じ処理がされるが、対象画素Pijの周囲範囲内の画素値の上下限を抑制することが異なる点である。ここでは、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を(数6)、(数7)で計算する場合を考える。
【0190】
その場合、強調量導出濃度拘束手段240では、対象画素Pijの周囲範囲内の輝度値y(i,j)をthLow_y≦y(i,j)≦thHigh_yのように上下限を抑えることとなる。この処理の概要は図28で示される。図28は本発明の実施の形態6または7の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図である。
【0191】
このように上限を抑えることで、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際に、(数6)による周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))はVPij(r(i,j),g(i,j),b(i,j))より抑えられ、結果としてVRPij(Rr(i,j),Rg(i,j),Rb(i,j))はコントラスト改善量の中心付近になる1.0より大きな値となる。
【0192】
そのため、この値を画素値変換手段22で実際の画素値に変換した場合、そのVRPijは輝度の高い値に戻るようになる。一方、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際には(数6)による周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))はVPij(r(i,j),g(i,j),b(i,j))より上昇させられ、結果としてVRPij(Rr(i,j),Rg(i,j),Rb(i,j))はコントラスト改善量の中心付近になる1.0より小さい値となる。そのため、この値を画素値変換手段22で実際の画素値に変換した場合、そのVRPijは輝度の低い値に戻るようになる。
【0193】
本発明のポイントは、このように強調量導出手段20のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにあり、非常に単純な処理である程度の効果を得ることができる。
【0194】
次に、図23(b)の場合について説明する。
【0195】
図23(b)の場合は、画像入力手段10、視覚モデルによりコントラスト改善量を導出する第3コントラスト改善手段230、そして第3コントラスト改善手段230で得られたコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))と入力画像1の対応する画素値VPij(r(i,j),g(i,j),b(i,j))の合成画像の画素値VWPij(Wr(i,j),Wg(i,j),Wb(i,j))を求める簡易画像合成手段120、簡易画像合成手段120で得られた画素値VWPijを出力する画像出力手段14より構成される。
【0196】
図23(a)の場合では、一様に広いハイライト部での輝度低下と、一様に広いシャドウ部での輝度の急激な上昇を十分改善できない場合が考えられるので、図23(b)では入力画像1との合成をすることでさらにその改善を図ったものである。その際、入力画像1に掛かる結合係数を抑え強調画像3にかかる結合係数を優先することで、出力画像2における色かぶりの低減も実現できるように簡易画像合成手段を適用した。
【0197】
以上のように、本実施の形態6の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となる。
【0198】
なお、この発明ではコントラスト改善量として(数6)、(数7)による場合で説明したが、(数4)、(数5)の場合でも適用できる。この場合、3成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。
【0199】
さらに、これらの処理は本発明の実施の形態6である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0200】
また、本発明の実施の形態6である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0201】
(実施の形態7)
本発明の実施の形態7である画像処理装置の全構成は本発明の実施の形態6と同様に図23のように構成されており、第3コントラスト改善手段230は図25のような構成になる。
【0202】
つまり、図25において、第3コントラスト調整手段230は、初期設定手段30、強調量導出手段20、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段240、全比較範囲での処理が終了したかどうかの判定を行う終了判定手段31、終了判定されない場合には比較範囲を変更する比較範囲変更手段32、強調量導出手段20で得られたコントラスト改善量から必要な部分を抽出する抽出手段21、そして抽出手段21で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段22より構成される。
【0203】
本発明の実施の形態7である画像処理装置および画像処理方法における全体の処理の流れは本発明の実施の形態6と同様である。第3コントラスト改善処理における処理の流れは図27のようになる。図27は本発明の実施の形態7である画像処理方法における第3コントラスト改善処理を示すフローチャートである。
【0204】
この図より明らかなように、本発明の第3コントラスト改善処理のポイントは、本発明の実施の形態1であるコントラスト改善処理のフローチャート図(図6(a))に各画素比較範囲で計算される各周辺視野領域c[s]に対するPijの加重平均画素値VAPij[s]の上下限を抑制することにある。
【0205】
対象画素Pijに対して、初期比較範囲c[0]でまずPijの加重平均画素値VAPij[s]を(数6)、(数7)に従い求める。その際に、周囲範囲内の輝度値y(i,j)をthLow_y≦y(i,j)≦thHigh_yのように上下限を抑えるが、このようにすることで本発明の実施の形態6と同様に、強調量導出手段20のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値VAPij[s]を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにある。
【0206】
終了判定手段31では、Pijに対して用意された全画素比較範囲c[s]に対して強調量導出手段20の処理が終了したかどうかの判定を行う。この終了判定がされていない場合には比較範囲変更手段32で次の画素比較範囲c[s]に変更して強調量導出手段20へ処理が移る。
【0207】
一方、終了判定された場合には、VAPij[s]の重み付き平均値を求め、その値をPijの全加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))と設定する。
【0208】
そして、この値をもとにPijにおけるコントラスト改善量VRPijを(数7)で計算する。抽出手段21はそのVRPijより必要とする領域を抽出し、画素値変換手段22で実際のレッド、ブルー、グリーンの画素値に変換する処理を行うのである。この処理を全画素に対して行うことで第3コントラスト改善処理は完了する。
【0209】
この処理の後、図23(a)の場合はここで得られた強調画像3をそのまま出力画像の画素Pijにおける画素値VWPijとして画像出力手段14が所定のデバイスに出力する。図23(b)の場合は、強調画像3と入力画像1の合成処理を簡易画像合成手段120が行う。その際、強調画像の持つ色かぶり低減の特徴をできるだけ生かすために、強調画像3にかかる結合係数を優先し、入力画像1にかかる結合係数を小さい値にすることで画像合成処理を行い、得られた合成画像を画像出力手段14が出力するのである。
【0210】
以上のように本実施の形態の画像処理技術は、実施の形態6で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができる利点を持つ。
【0211】
なお、この発明ではコントラスト改善量として(数6)、(数7)による場合で説明したが、(数4)、(数5)の場合でも適用できる。この場合、3成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。
【0212】
また、これらの処理は本発明の実施の形態7である画像処理方法に従いコンピュータ等に使用される中央演算処理装置(CPU)およびデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0213】
また、本発明の実施の形態7である画像処理方法に従い生成されたLSIチップのような半導体チップを用いても同様に実現することができる。
【0214】
【発明の効果】
以上のように、本発明の第1の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行っているので、一様なハイライト部での濃度レベル低下やシャドウ部における濃度レベルの急激な上昇を抑えることができるとともに、それ以外での領域における強調画像の占める割合を多くすることで、本来視覚モデルの特徴の1つである不均一照明成分を低減したコントラスト改善が可能となるという有効な効果が得られる。
【0215】
以上のように、本発明の第2の画像処理技術では、第1の発明で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに影響されることなく自動的に入力画像のコントラスト改善や色かぶりの低減化を行うことができるという有効な効果が得られる。
【0216】
以上のように、本発明の第3の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、強調画像内の輝度分布を入力画像に合わせて修正しているので、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、この修正された強調画像と入力画像の加重平均合成画像である出力画像においてもハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることが可能となるという有効な効果が得られる。
【0217】
以上のように、本発明の第4の画像処理技術では、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された1つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求め、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行っているので、エッジ領域部をより鮮明化するとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることが可能となるとともに、処理回数の削減を図ることが可能となるという有効な効果が得られる。
【0218】
以上のように、本発明の第5の画像処理技術では、第4の画像処理技術において領域判定後に各領域に応じて用意された1つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更しているので、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという有効な効果が得られる。また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となるという有効な効果が得られる。
【0219】
以上のように、本発明の第6の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えているので、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となるという有効な効果が得られる。
【0220】
この場合、入力画像との合成を行う装置と行わない装置が考えられ、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりの影響を受けることなく視覚モデルで低減された強調画像が出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。
【0221】
以上のように、本発明の第7の画像処理技術では、第6の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができるという有効な効果が得られる。
【0222】
そして、第6の画像処理技術と同様に、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりが低減された強調画像のみが出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態1である画像処理装置の全体構成を示すブロック図
【図2】本発明の実施の形態1である画像処理装置におけるコントラスト改善手段の構成を示すブロック図
【図3】本発明の実施の形態2である画像処理装置におけるコントラスト改善手段の構成を示すブロック図
【図4】本発明の実施の形態1である画像処理装置における画像合成手段の構成を示すブロック図
【図5】(a)本発明の実施の形態1である画像処理方法における全体の動作を示すフローチャート(b)本発明の実施の形態1である画像処理方法におけるエッジ情報導出処理を示すフローチャート
【図6】(a)本発明の実施の形態1である画像処理方法おけるコントラスト改善処理を示すフローチャート(b)本発明の実施の形態1である画像処理方法おける画像合成処理を示すフローチャート
【図7】本発明の実施の形態1である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図
【図8】本発明の実施の形態2である画像処理方法におけるコントラスト改善処理を示すフローチャート
【図9】本発明の実施の形態1〜7の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図
【図10】本発明の実施の形態1または2である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図
【図11】本発明の実施の形態1または2である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図
【図12】本発明の実施の形態3である画像処理装置の全体構成を示すブロック図
【図13】本発明の実施の形態3である画像処理装置における簡易画像合成手段の構成を示すブロック図
【図14】(a)本発明の実施の形態3である画像処理方法における全体の動作を示すフローチャート(b)本発明の実施の形態3である画像処理方法における強調画像の濃度修正処理を示すフローチャート
【図15】本発明の実施の形態3である画像処理方法における簡易画像合成手段の動作を示すフローチャート
【図16】本発明の実施の形態3である画像処理方法における強調画像3の濃度修正処理の概要を示す図
【図17】本発明の実施の形態4である画像処理装置の全体構成を示すブロック図
【図18】本発明の実施の形態4である画像処理装置における第2コントラスト改善手段の構成を示すブロック図
【図19】(a)本発明の実施の形態4である画像処理方法における全体の動作を示すフローチャート(b)本発明の実施の形態4である画像処理方法における第2コントラスト改善処理を示すフローチャート
【図20】本発明の実施の形態4である画像処理方法における比較領域の選択方法を示す概念図
【図21】本発明の実施の形態5である画像処理装置における第2コントラスト改善手段の構成を示すブロック図
【図22】本発明の実施の形態5である画像処理方法における第2コントラスト改善処理を示すフローチャート
【図23】本発明の実施の形態6である画像処理装置の全体の構成を示すブロック図であり、(a)は入力画像と強調画像の重ね合わせを行わない場合の図(b)は入力画像と強調画像の重ね合わせを行う場合の図
【図24】本発明の実施の形態6である画像処理装置における第3コントラスト改善手段の構成を示すブロック図
【図25】本発明の実施の形態7である画像処理装置における第3コントラスト改善手段の構成を示すブロック図
【図26】(a)本発明の実施の形態6である画像処理方法における全体の動作を示すフローチャート(b)本発明の実施の形態6である画像処理方法における第3コントラスト改善処理を示すフローチャート
【図27】本発明の実施の形態7である画像処理方法における第3コントラスト改善処理を示すフローチャート
【図28】本発明の実施の形態6または7の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図
【図29】従来の画像処理装置の一例におけるコントラスト改善部を示すブロック図
【図30】従来の画像処理装置の他の一例を示すブロック図
【図31】従来の画像処理装置のさらに他の一例を示すブロック図
【図32】従来の画像処理装置のさらに他の一例を示すブロック図
【符号の説明】
1 入力画像
2 出力画像
3 強調画像
4 エッジ情報
5 修正画像
10 画像入力手段
11 エッジ情報検出手段
12 コントラスト改善手段
13 画像合成手段
14 画像出力手段
20 強調量導出手段
21 抽出手段
22 画素値変換手段
30 初期設定手段
31 終了判定手段
32 比較範囲変更手段
40 結合係数導出手段
41 加重平均合成手段
42 出力値決定手段
120 簡易画像合成手段
121 濃度修正手段
170 第2コントラスト改善手段
180 領域判定手段
181 比較範囲選択手段
182 調整係数導出手段
183 調整手段
230 第3コントラスト改善手段
240 強調量導出基準拘束手段
290 画像データ入力手段
291 画像データ分割手段
292 ヒストグラム作成手段
293 コントラスト伸張手段
294 画像データ出力手段
300 CCD
301 メモリ
302 乗算手段
303 レベル重み付加手段H
304 加算手段
305 速度変換手段
306 レベル圧縮手段
307 タイミング制御手段
308 レベル重み付加手段L
309 画像合成部
310 ディジタル撮像装置
311 プロセッサ
312 フィルタ
313 ディスプレイ
320 入力画像分布検出手段
321 基準色設定手段
322 色バランス修正手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique for automatically adjusting the contrast and color cast phenomenon of a digital image obtained by a digital camera or the like to obtain a clearer image.
[0002]
[Prior art]
A color image captured by a digital camera is actually captured due to the SN level representing the noise ratio in the analog value obtained by the CCD device serving as an image sensor and the conversion accuracy when converting an analog value to a digital value. Since the range is limited to a range smaller than the dynamic range of the pixel density of the natural image, the phenomenon of losing information in shadowed details tends to occur. In particular, the tendency is large when an attempt is made to photograph a sample in which a bright area and a dark area are mixed in an image.
[0003]
As an improvement, a method of performing contrast enhancement so as to widen the range of the luminance and the like of the digital image from an image part having a higher luminance to an image part having a lower luminance can be considered. As a conventional method of the contrast enhancement, a histogram indicating a distribution state of luminance values of all pixels forming an original image is created, and a luminance curve of a pixel in the original image is newly calculated by using a cumulative curve of the histogram as a luminance conversion curve. There is a histogram equalization method for converting into a luminance value and enhancing the contrast of an image. In this method, since the luminance of the pixels in the entire area of the original image is converted to new luminance with the same luminance conversion curve, there may be a part where the contrast is reduced rather partially. Therefore, when it is desired to perform contrast enhancement on the entire image, it is necessary to perform contrast enhancement processing suitable for the region.
[0004]
As a further improvement of this method, many local histogram equalization methods that divide an image into a plurality of rectangular regions and apply the above-described histogram equalization method to each region have been proposed (for example, Japanese Patent Application Laid-Open No. 2000-285230). ), And the configuration is as shown in FIG.
[0005]
FIG. 29 is a block diagram showing a contrast improving unit in an example of a conventional image processing apparatus. The illustrated image processing apparatus includes an image data dividing unit 291 that divides an image input from the image data input unit 290 into rectangles, a histogram creating unit 292 that creates a histogram for each rectangle, and expands the contrast for each rectangle. It comprises a contrast expansion unit 293 for outputting to the image data output unit 294.
[0006]
However, when this method is used, problems have been pointed out, such as a rectangular region where contrast is excessively enhanced, and a possibility that the contrast becomes discontinuous at a boundary between adjacent rectangular regions.
[0007]
On the other hand, as a technique for solving such a problem without using a histogram, a shutter time and an aperture of a digital camera are changed for each field, a bright part and a dark part are separately imaged, and each piece of obtained information is stored in one field. A method has been proposed in which a halftone density is realized by synthesizing a single image to approximate the dynamic range of the pixel density of an actually captured natural image.
[0008]
As an example, there is a technique referred to in JP-A-6-141229, and the configuration of the apparatus is as shown in FIG.
[0009]
FIG. 30 is a block diagram showing another example of the conventional image processing apparatus. The illustrated image processing apparatus includes an image sensor 300 for performing a photoelectric effect on a subject, a memory 301 for recording an image signal, a multiplying unit 302 for multiplying the signal level by a constant number, and a level weighting unit 303 for adding a weight according to the level of the image signal. 308, an adding means 304 for adding the signals, a speed converting means 305 for converting the speed of the image signal, a level compressing means 306 for compressing the level of the image signal, and a timing control means 307 for controlling the timing of each block. Note that an image synthesizing unit 309 is constituted by the memory 301, the multiplying unit 302, the level weighting units 303 and 308, and the adding unit 304.
[0010]
This apparatus performs weighted synthesis in accordance with the signal levels of two or more images having different charge accumulation periods in an image sensor, converts the obtained synthesized image output into the speed of a standard TV signal, and outputs a reference signal based on the TV signal. Since the present invention relates to a television image pickup apparatus that compresses to a level, it has a speed conversion unit, a level compression unit and the like. Therefore, when applied to a digital camera, the speed conversion means and the level compression means are not necessary components.
[0011]
However, in the case of the method based on image synthesis obtained in a plurality of charge accumulation periods as in the present invention, discontinuity in contrast in the synthesized image is unlikely to occur, but since at least two images are continuously taken, the principle Can not take the same image. Therefore, when these images are combined, there is a possibility that an image may be created in which the details of the combined image are blurred or shifted, though the shutter speed is also affected. If the density range for photographing a bright part and the density range for photographing a dark part cannot cover the entire density range of the image, there is a risk that discontinuity may occur in the two intermediate density ranges. is there.
[0012]
By the way, when humans observe the details and colors in such shadowed areas, the human visual perception of the wide-density dynamics and colors of the image without causing the above problems. Can be. The concept of the central vision / peripheral vision Retinex centering on human vision is described by Edwin Land in "An Alternative Technique for the Computation of the Designator in the Retirement Society of the Physiological Association of the Physiological Association of the Philippines." Vol. 3078 to pp. 3080 (1986).
[0013]
Among them, the concept of Retinex in human vision describes an inverse square function in which the central visual field has a diameter of 2 to 4 basic units and the peripheral visual field has a diameter of about 200 to 250 times the central visual field. ing. Then, the spatial average of the signal intensities in the central visual field and the peripheral visual field is defined as related to the perceived intensity. In accordance with these principles, techniques for improving the color and brightness expression in dark areas as described above have been recently proposed.
FIG. 31 is a block diagram showing still another example of the conventional image processing apparatus. The above example is described in International Publication No. WO97 / 45809 (JP-T-2000-511315), and FIG. 31 shows the configuration. Although a grayscale image is described here as an example, the present invention can be extended to a color image.
[0014]
The pixel value I (i, j) in the image (i, j) of the image acquired by the digital imaging device 310 is adjusted by the processor 311 and the filter 312 to perform a filtering process.
[0015]
For each pixel, the processor 311 calculates an adjustment pixel value I ′ (i, j) as in (Equation 1). Here, F (x, y) is a peripheral visual field function representing a peripheral visual field, and “*” indicates a convolution operation process.
[0016]
(Equation 1)
Figure 2004078652
[0017]
Then, the normalization coefficient K is determined such that F (x, y) satisfies the condition of (Equation 2), whereby the second term of (Equation 1) is the average value of the pixel values in the peripheral visual field. Is equivalent to That is, (Equation 1) corresponds to a result of logarithmic conversion of the ratio of the pixel value of each pixel to the average pixel value in a large area. The peripheral visual field function F (i, j) is designed so that the contribution ratio becomes higher as approaching the target pixel from the correspondence with the human visual model, and a Gaussian function as shown in Expression 3 is applied. Here, c is a constant for controlling the adjustment pixel value I ′ (i, j) of each pixel value I (i, j).
[0018]
(Equation 2)
Figure 2004078652
[0019]
[Equation 3]
Figure 2004078652
[0020]
As described above, in this conventional invention, the target pixel value with respect to the average pixel value in the peripheral visual field is calculated as the adjusted pixel value I ′ (i, j), and this value is used by the display 313. Filter processing for generating a Retinex output R (i, j) is performed by the filter 312. The filter 312 converts I ′ (i, j) from a logarithmic area to a pixel value area of R (i, j) handled by the display 313, and is the same for all pixels for simplification of processing. The process of applying the offset and gain conversion functions is used.
[0021]
However, this method is greatly affected by c that controls the peripheral visual field function. For example, when this c becomes a large value, the peripheral field of view contributing to the target pixel becomes large, so that only color compensation in a large shadow can be performed. On the other hand, when this c is a small value, only the vicinity of the target pixel becomes And only improvement in small shadow areas can be seen.
[0022]
It is necessary to consider an appropriate c according to the dynamic range of the pixel values in the image to be treated in this way, and there is a problem of image dependency. As a technique for improving this, a method of providing a plurality of peripheral visual field regions is also proposed in the same document, but it is not clear how many peripheral visual field regions are prepared, and in order to improve the accuracy of the improvement. There is a problem that the processing time becomes enormous by preparing many small peripheral regions from large peripheral regions.
[0023]
Next, in the filter 312, a process of converting to an actual pixel value used in the display 313 is performed. According to the present invention, the same offset and gain conversion function process is performed for any image. The problem is that empirical knowledge is required to set the optimum offset and gain conversion functions. Further, when the pixel value fluctuation is very small within the maximum peripheral field of view set by the plurality of constants c, the adjusted pixel value I ′ (i, j) is I (i, j) even if a plurality of regions are prepared. ) Is close to 1.0 regardless of). In such a case, I ′ (i, j) at the target pixel having a small pixel value variation is often located near the average of I ′ (i, j) in the entire input image. Regardless of the conversion function, there is a tendency that the pixel value tends to be near the center of the actual pixel value. In particular, in a uniformly wide image area having highlight luminance, there is a problem that the luminance after adjustment is easily adjusted in a decreasing direction and visually deteriorates.
[0024]
In addition, a color cast phenomenon is pointed out as a problem of an image photographed by a digital camera. This indicates a state in which the specific color is too strong than the proper state due to conditions such as shooting. The human eye can adapt to light, so it is unlikely that the color looks different depending on the light source. However, in a photograph taken with a digital camera, a slight color cast often occurs due to the light source at the time of photographing. For example, the color cast tends to be slightly bluish in the shade on sunny days, reddish in the morning sun or sunset, and greenish under fluorescent lights. In addition, the color of an object around the subject such as blue cast due to the reflection of the water in the pool and green cast due to the reflection of the vegetation and the like may cause a color cast.
[0025]
As a means for removing such a color cast, when green (G = C + Y) is too strong, a tone curve or density level correction is performed manually so as to weaken the C and Y signals.
[0026]
As the automatic processing, for example, a configuration as shown in FIG. 32 is used. The basis of this process is to adjust the balance of each color so that the average of the entire input image is gray (achromatic). According to Evans's principle, the hypothesis that adding all subjects in the world will result in an achromatic color It is based on. The input image distribution detecting means 320 calculates the average value of each of the red, blue, and green signals in the input image 1 input from the image input means 10, and the reference color setting means 321 calculates the luminance of the input image 1. An average value is derived, and this value is used as a reference color. Then, the color balance correction unit 322 corrects the red, blue, and green signals in the input image so that the average value of the red, blue, and green signals obtained by the input image distribution detection unit 320 becomes the reference color. By doing so, the average color of the entire input image becomes gray, and the color cast is reduced. This process is also called an auto white balance process.
[0027]
However, when such a process is used, when an object having a vivid color occupies a large area, the color tends to be an average color, and this color approaches an achromatic color. Occurs. In other words, when the green color of the lawn occupies the majority of the image, the conventional processing causes a problem that the green color of the lawn becomes achromatic (color failure).
[0028]
[Problems to be solved by the invention]
As described above, in the conventional contrast enhancement processing technique based on the histogram, the contrast of a specific portion may be excessively enhanced, or discontinuity may be exhibited at a locally adjacent rectangular region boundary.
In addition, when a plurality of images captured under a plurality of aperture conditions and the like are combined, in principle, the same subject cannot be captured, and there is a possibility that blurring or color shift of the details of the combined image may occur. Furthermore, the color cast due to lighting during digital photography could not be improved at all.
[0029]
Conventional contrast improvement technology based on the human visual model uses empirical knowledge to design constants for defining the human peripheral visual field and filter processing when converting to actual pixel values for final treatment. Has the problem of containing many. In addition, particularly in a wide area where the luminance is high, the luminance after the adjustment is easily adjusted in a direction to decrease. On the other hand, in a wide area with low luminance, such as a night view, color noise or compression noise generated at the time of shooting may appear due to excessive emphasis. These can be improved to some extent by simply deriving the average image of the input image and the emphasized image, but there is a problem in that reduction of color cast due to non-uniform illumination, which is one of the features of this visual model, is suppressed. As a method of simply removing the color cast of the lighting, when the average value of the red, green, and blue signals is combined with the average brightness in the image as in the past, if the bright colors occupy a large area uniformly, the color Was corrected in the gray direction, causing the saturation to drop.
[0030]
Therefore, an object of the present invention is to provide an image processing technique that can easily improve the contrast of a captured image and reduce color fogging by using only the captured image having bright and dark portions.
[0031]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, a first image processing technique of the present invention obtains a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral area thereof, and among the contrast improvement amounts considered to be effective. Is extracted. Then, based on edge information and luminance in the input image, the ratio of the emphasized image and the ratio of the input image are adaptively controlled to perform weighted average synthesis, so that the density of uniform highlights and shadows can be reduced. In addition to solving the problem, it is possible to reduce the illumination component of the input image at the time of shooting.
[0032]
In order to solve the above-mentioned problem, a second image processing technique according to the present invention uses a first image processing technique to compare a contrast improvement amount calculated by comparing a target pixel value and an average pixel value in a peripheral area thereof with a plurality of peripheral areas. Is expanded to a weighted average value of the contrast improvement amount in the above, and by doing so, the influence of the setting of the constant indicating the size of the input image and the peripheral visual field is reduced.
[0033]
In order to solve the above-mentioned problem, a third image processing technique of the present invention obtains a contrast improvement amount from a comparison between a pixel value of a target pixel and an average pixel value in a peripheral area thereof. Is extracted. When performing weighted average synthesis of the input image and the emphasized image, the luminance distribution in the emphasized image is synthesized according to the input image, thereby lowering the density in the highlight portion and the excess in the shadow portion, which have occurred in the output image. This is to suppress an increase in concentration.
[0034]
In order to solve the above-described problem, a fourth image processing technique according to the present invention determines an area to which a target pixel belongs based on edge information and luminance information of an input image, and compares one area prepared for the area with the target pixel. The contrast improvement amount is obtained by comparing the pixel value of the target pixel and the average pixel value in the surrounding area within the area size. At the same time, an adjustment component of the contrast improvement amount is obtained for each region, and the adjustment process is performed. The sharpening of the edge region and the enhancement of noise existing in a uniform shadow portion and the high level are performed. This is to suppress a decrease in density in the light portion.
[0035]
In order to solve the above problem, in a fifth image processing technique of the present invention, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination in the fourth image processing technique. By changing the average value of the contrast improvement amounts obtained for a plurality of comparison area sizes, it is possible to reduce the effect of using an inappropriate comparison area size due to an area determination error.
[0036]
In order to solve the above-described problem, a sixth image processing technique of the present invention provides a method of calculating a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral region thereof. The upper and lower limits are limited, and a means for suppressing the range is set. In this way, when the actual pixel value is compressed to the contrast improvement amount, the contrast improvement amount of the pixels in the highlight portion in the uniformly wide area decreases, and the pixels in the shadow part in the uniform wide area occur. Can be suppressed from increasing sharply.
[0037]
In order to solve the above problem, a seventh image processing technique according to the present invention uses a sixth image processing technique to calculate a contrast improvement amount calculated by comparing a target pixel value and an average pixel value in a peripheral area thereof with a plurality of peripheral areas. Is expanded to a weighted average value of the contrast improvement amount in the above. In this way, it is possible to reduce the influence of the setting of the constant indicating the size of the input image and the peripheral visual field region.
[0038]
BEST MODE FOR CARRYING OUT THE INVENTION
The invention according to claim 1 of the present invention is obtained by image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on an input image obtained by the image input means, and image input means. Edge information detecting means for extracting edge information of the input image; image synthesizing means for synthesizing the enhanced image and the input image obtained by the contrast improving means based on the edge information obtained by the edge information detecting means; An image output unit that outputs an image after synthesis obtained by the image synthesis unit. The image processing device simply improves the contrast of the captured image using only the captured image having bright and dark portions, and performs color casting. Also has the effect of being able to reduce.
[0039]
According to a second aspect of the present invention, in the first aspect of the invention, the contrast improving means includes an enhancement amount deriving means for obtaining a contrast improvement amount of the target pixel, and a contrast improvement amount obtained by the enhancement amount deriving means. An image processing apparatus having an extraction unit that limits and extracts a more effective range, and a pixel value conversion unit that converts a contrast improvement amount selected by the extraction unit into an actual pixel value. This has the effect that the contrast of the captured image can be easily improved using only the image that the user has, and the color cast can be reduced.
[0040]
According to a third aspect of the present invention, in the first aspect of the present invention, the contrast improving means includes an initial setting means for initializing an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel. Enhancement amount deriving means for obtaining a contrast improvement amount of a target pixel based on the set pixel comparison range, end determination means for determining whether the contrast improvement processing has been completed for all pixel comparison ranges, and end determination If the end is not determined by the means, the pixel comparison range is changed, and the comparison range changing means that passes the processing to the emphasis amount derivation and derivation means is obtained. Extraction means for limiting and extracting a range that is more effective than the contrast improvement amount, and pixel value conversion means for converting the contrast improvement amount selected by the extraction means into an actual pixel value An image processing apparatus having, an effect that color fog can also be reduced as well as improve the contrast of the captured image easily by using only images with the captured light and dark portion.
[0041]
According to a fourth aspect of the present invention, in the first aspect of the invention, the image synthesizing unit uses the edge image obtained from the input image and the enhanced image obtained by the contrast improving unit using the input image and the input image. Coupling coefficient deriving means for deriving a coupling coefficient representing a proportion of each image, and weighting of the enhanced image and the input image based on the coupling coefficient occupied by the enhanced image and the coupling coefficient occupied by the input image obtained by the coupling coefficient deriving means. An image processing apparatus comprising: a weighted average synthesizing unit that generates an average image; and an output value determining unit that determines a pixel value in an output image based on the synthesized image and the input image obtained by the weighted average synthesizing unit. In addition, it has the effect of solving the problem of the density in uniform highlights and shadows and reducing the illumination components of the input image during shooting.
[0042]
According to a fifth aspect of the present invention, there is provided an image input unit for inputting digital image data, a contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and an enhancement obtained by the contrast improvement unit. Density correction means for correcting the density distribution in the image so as to match the density distribution in the input image; simple image synthesis means for synthesizing the corrected image obtained by the density correction means with the input image; and simple image synthesis means. An image processing apparatus including an image output unit that outputs an obtained synthesized image, and has an effect that an effect of setting a constant indicating the size of an input image and a peripheral visual field can be reduced.
[0043]
According to a sixth aspect of the present invention, there is provided an image input unit for inputting digital image data, an edge information detecting unit for extracting edge information of an input image obtained by the image input forming unit, and an edge information detecting unit. Second contrast improving means for performing a contrast improving process of the input image based on the obtained edge information and luminance in the input image, and a simplified image for synthesizing the enhanced image obtained by the second contrast improving means and the input image An image processing apparatus having a synthesizing unit and an image output unit that outputs an image after synthesis obtained by the simple image synthesizing unit. It has the effect of suppressing an increase in concentration.
[0044]
According to a seventh aspect of the present invention, there is provided an image input unit for inputting digital image data, an edge information detecting unit for extracting edge information of an input image obtained by the image input forming unit, and an edge information detecting unit. A second contrast improvement unit that performs a contrast improvement process on the input image based on the obtained edge information and luminance in the input image, and a second contrast improvement unit that uses the edge information of the input image and the input image. An image processing apparatus comprising: an image synthesizing unit that derives a coupling coefficient indicating a ratio of each of an enhanced image and an input image and performs a synthesizing process; This has the effect that the contrast of the captured image can be easily improved using only the captured image having the light and dark portions and the color cast can be reduced.
[0045]
According to an eighth aspect of the present invention, in the invention of the sixth or seventh aspect, the second contrast improving means determines the area of the target pixel based on the edge information, and the area determining means. A comparison range setting means for selecting a pixel comparison range based on the region obtained in the step (a), and an enhancement amount deriving means for obtaining a contrast improvement amount of a target pixel based on the pixel comparison range selected by the comparison range setting means. And an adjustment coefficient deriving unit that derives an adjustment coefficient for correcting the contrast improvement amount obtained by the enhancement amount deriving unit according to the pixel comparison range obtained by the comparison range selection unit. Adjusting means for correcting the contrast improvement amount obtained by the enhancement amount deriving means using the adjusted adjustment coefficient, and an extracting means for limiting and extracting a range effective from the corrected contrast improvement amount obtained by the adjusting means. And a pixel value converting means for converting the contrast improvement amount selected by the extracting means into an actual pixel value. The image processing apparatus has a sharper edge area and a uniform shadow. This has the effect of suppressing noise emphasis and suppressing a decrease in density in a highlight portion.
[0046]
According to a ninth aspect of the present invention, in the invention of the sixth or seventh aspect, the second contrast improving means determines the area of the target pixel based on the edge information; An adjustment coefficient deriving unit for deriving an adjustment coefficient for correcting the contrast improvement amount obtained by the enhancement amount deriving unit based on the region obtained in the above, and an initial condition for calculating the contrast improvement amount of the target pixel. Initializing means for initializing the comparison area range, enhancement amount deriving means for obtaining the contrast improvement amount of the target pixel based on the set pixel comparison range, and whether the contrast improvement processing has been completed for all the pixel comparison ranges. An end determination unit for determining whether the end determination unit determines the end, a comparison range change unit that changes the pixel comparison range and passes processing to the enhancement amount derivation and derivation unit, and an end determination unit. An adjusting means for correcting the contrast improvement amount obtained from the plurality of pixel comparison ranges with an adjustment coefficient obtained by the adjustment coefficient deriving means when the end is determined by the means; and a contrast improvement after correction obtained by the adjustment means. An image processing apparatus having an extraction unit that limits and extracts a range that is more effective than the amount, and a pixel value conversion unit that converts the contrast improvement amount selected by the extraction unit into an actual pixel value. This has the effect of enhancing the sharpness and suppressing the noise existing in the uniform shadow portion and suppressing the density reduction in the highlight portion.
[0047]
According to a tenth aspect of the present invention, in the invention of the fifth, sixth, eighth or ninth aspect, the simplified image combining means generates a weighted average image of the input image and the emphasized image or the corrected image. And an output value determining means for determining a pixel value in an output image based on the combined image obtained by the weighted combining means and the input image. This has the effect that the effect when the region size is used can be reduced.
[0048]
According to an eleventh aspect of the present invention, there is provided an image input unit for inputting digital image data, a third contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and a third contrast improvement unit. Image output means for outputting the obtained emphasized image, wherein the contrast improvement amount of a pixel in a highlight portion in a uniformly wide area generated when an actual pixel value is compressed to a contrast improvement amount. And a sharp increase in the contrast improvement amount of the pixels in the shadow portion in a uniformly wide area can be suppressed.
[0049]
According to a twelfth aspect of the present invention, there is provided an image input unit for inputting digital image data, a third contrast improvement unit for performing a contrast improvement process on an input image obtained by the image input unit, and a third contrast improvement unit. An image processing apparatus having a simple image synthesizing unit for synthesizing the obtained enhanced image and the input image, and an image output unit for outputting an image after synthesis obtained by the simple image synthesizing unit, and It is possible to suppress a decrease in the contrast improvement amount of pixels in a highlight portion in a uniformly wide area and a sharp increase in a contrast improvement amount of pixels in a shadow part in a uniformly wide area, which occur when the image is compressed to a contrast improvement amount. Has the effect of being able to.
[0050]
According to a thirteenth aspect of the present invention, in the eleventh or twelfth aspect of the present invention, the third contrast improving means includes an emphasis amount deriving means for obtaining a contrast improvement amount of the target pixel, and An enhancement amount deriving density constraining unit that constrains the pixel density around the target pixel when determining the contrast improvement amount of the target pixel; and an extraction unit that limits and extracts a range that is more effective than the contrast improvement amount obtained by the enhancement amount deriving unit. A pixel value conversion means for converting the contrast improvement amount selected by the extraction means into an actual pixel value, and a uniform wide area generated when the actual pixel value is compressed into the contrast improvement amount. To suppress a decrease in the amount of contrast improvement of the pixels in the highlight part in the area and a sharp increase in the amount of contrast improvement of the pixels in the shadow part in the uniformly wide area. It has the effect that it can be.
[0051]
According to a fourteenth aspect of the present invention, in the eleventh or twelfth aspect, the third contrast improving means initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel. Initial setting means, enhancement amount deriving means for obtaining the contrast improvement amount of the target pixel based on the set pixel comparison range, and emphasis amount deriving means, when calculating the contrast improvement amount of the target pixel, An emphasis amount deriving density constraining means for constraining the pixel density, an end judging means for judging whether or not the contrast improvement processing has been completed in all the pixel comparison ranges; And a comparison range changing unit that passes processing to the enhancement amount deriving unit, and a contrast obtained from a plurality of pixel comparison ranges when the end determination unit determines the end. An image processing apparatus comprising: an extraction unit that limits and extracts a range that is more effective than an improvement amount; and a pixel value conversion unit that converts an amount of contrast improvement selected by the extraction unit into an actual pixel value. This has the effect that the influence of the setting of the constant indicating the size of the visual field region can be reduced.
[0052]
According to a fifteenth aspect of the present invention, there is provided an image processing method for handling digital image data, comprising detecting edge information of an input image, improving contrast of the input image, and converting edge information of the input image. An image processing method that combines an enhanced image with an improved contrast based on the input image and the input image, and outputs the resulting combined image. Has the effect of improving the contrast and reducing the color cast.
[0053]
According to a sixteenth aspect of the present invention, in the invention according to the fifteenth aspect, the contrast improvement amount of the target pixel is obtained by a relative comparison with the surrounding pixels of the target pixel, and the contrast improvement amount is more effective than the obtained contrast improvement amount. This is an image processing method that improves the contrast of an input image by limiting and extracting a certain range, and converting the extracted contrast improvement amount to an actual pixel value. This has the effect of improving the contrast of the captured image and reducing the color cast.
[0054]
According to a seventeenth aspect of the present invention, in the invention according to the fifteenth aspect, first, a pixel comparison range when a contrast improvement amount of a target pixel is obtained by a relative comparison with surrounding pixels of the target pixel is set, The contrast improvement amount of the target pixel is obtained by comparing with the surrounding pixels within the set pixel comparison range, and it is determined whether or not the contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance. If not, the pixel comparison range is changed, the contrast improvement amount of the target pixel is calculated again by comparison with surrounding pixels, and if the end is determined, a plurality of pixel comparisons obtained so far are compared. The effective range is limited and extracted from the weighted average value of the contrast improvement amount according to the range, and converted to the actual pixel value from the selected contrast improvement amount. An image processing method for performing bets improved, an effect that color fog can also be reduced as well as improve the contrast of the captured image easily by using only images with the captured light and dark portion.
[0055]
According to an eighteenth aspect of the present invention, in the image processing apparatus according to the fifteenth aspect, the image combining process of the enhanced image and the input image is performed by a contrast improvement process using edge information obtained from the input image and the input image. Calculates the weighted average of the enhanced image and the input image based on the obtained weighted image and the weighted ratio of the input image, and derives the weighted average of the weighted average image of the weighted image and the input image. This is an image processing method for obtaining a contrast-improved image of the input image by determining pixel values in the output image based on the obtained combined image and the input image. In addition to solving the problem of the density in the above, the illumination component of the input image at the time of shooting can be reduced.
[0056]
According to a nineteenth aspect of the present invention, there is provided an image processing method for handling digital image data, comprising: performing a contrast improvement process on an input image; and a density distribution in the enhanced image obtained by the contrast improvement process. This is an image processing method that corrects to fit the density distribution of the image, performs simple image synthesis of the obtained corrected image and the input image, and outputs the obtained synthesized image. Has the effect of reducing the effect of the setting of the constant indicating
[0057]
The invention according to claim 20 of the present invention is an image processing method for handling digital image data, wherein edge information of an input image is extracted, and the input image is extracted based on the obtained edge information and luminance in the input image. Is an image processing method for performing a simple image synthesis process or an image synthesis process of the obtained enhanced image and the input image, and outputting the obtained synthesized image. This has the effect of suppressing a decrease in density in a highlight portion and an excessive increase in density in a shadow portion.
[0058]
According to a twenty-first aspect of the present invention, in the twentieth aspect, as the second contrast improvement processing, the area of the target pixel is determined based on the edge information of the input image, and the determined area is also determined. To select a pixel comparison range, determine the contrast improvement amount of the target pixel based on the selected pixel comparison range, and correct the contrast improvement amount obtained according to the selected pixel comparison range. The adjustment coefficient is derived, the contrast improvement amount is corrected by the derived adjustment coefficient, the range that is more effective than the corrected contrast improvement amount is limited, an extraction process is performed, and the extracted and selected contrast improvement amount is calculated as an actual pixel value. This is an image processing method that converts the image to a sharper image.It also aims to sharpen the edge area and suppress the noise existing in the uniform shadow area and suppress the density reduction in the highlight area. It has the effect that it is.
[0059]
According to a twenty-second aspect of the present invention, in the twentieth aspect, as the second contrast improvement processing, the area of the target pixel is determined based on the edge information, and the area of the determined target pixel is also determined. In addition, an adjustment coefficient for correcting the contrast improvement amount is derived, initial conditions and a comparison area range when calculating the contrast improvement amount of the target pixel are initialized, and the target pixel is set based on the set pixel comparison range. It is determined whether or not the contrast improvement processing has been completed in all the pixel comparison ranges, and if not, the pixel comparison range is changed, and the target pixel is determined based on the pixel comparison range. The contrast improvement amount obtained from the plurality of pixel comparison ranges is corrected by the adjustment coefficient when the termination is determined, and the contrast improvement after the correction by the adjustment coefficient is determined. This is an image processing method that limits and extracts a more effective range, and converts the extracted contrast improvement amount to an actual pixel value. And a reduction in density in highlight portions can be suppressed.
[0060]
According to a twenty-third aspect of the present invention, in the invention according to any one of the nineteenth to twenty-second aspects, a weighted average image of the obtained enhanced image and the input image is generated as a simple image synthesis process. An image processing method for obtaining a contrast-improved image of an input image by determining a pixel value in an output image based on the obtained combined image and the input image. Has the effect of reducing the effect when used.
[0061]
An image processing method according to claim 24 of the present invention is an image processing method for handling digital image data, wherein an image for performing a third contrast improvement process on an input image and outputting an enhanced image obtained by the third contrast improvement process is provided. This is a processing method that reduces the amount of contrast improvement in the pixels in the highlight portion that is in a uniformly wide area that occurs when the actual pixel value is compressed into the amount of contrast improvement, and that the pixels in the shadow area that are in the uniformly wide area are reduced. This has the effect that a sharp increase in the contrast improvement amount can be suppressed.
[0062]
An invention according to claim 25 of the present invention is an image processing method for handling digital image data, wherein a third contrast improvement process for improving the contrast of an obtained input image is performed, and the third contrast improvement process is performed. This is an image processing method that performs a simple synthesis of the emphasized image and the input image, and outputs the obtained synthesized image, which is generated in a uniformly wide area generated when an actual pixel value is compressed to a contrast improvement amount. This has the effect of suppressing a decrease in the contrast improvement amount of the pixels in the highlight portion and a sharp increase in the contrast improvement amount of the pixels in the shadow portion in a uniformly wide area.
[0063]
According to a twenty-sixth aspect of the present invention, in the invention of the twenty-fourth or twenty-fifth aspect, as the third contrast improvement processing, when calculating the contrast improvement amount of the target pixel, the pixel density around the target pixel is restricted, Calculate the contrast improvement amount of the target pixel based on the constrained surrounding pixel density, limit and extract the effective range from the obtained contrast improvement amount, and convert the extracted contrast improvement amount to the actual pixel value This is an image processing method that reduces the amount of improvement in the contrast of pixels in highlight areas that are in a uniformly wide area and that occurs in shadow areas that are in a uniformly wide area when the actual pixel value is compressed to the amount of contrast improvement. This has an effect that a sharp increase in the contrast improvement amount of the pixel can be suppressed.
[0064]
According to a twenty-seventh aspect of the present invention, in the invention of the twenty-fourth or twenty-fifth aspect, as a third contrast improvement process, initial conditions and a comparison area range for calculating a contrast improvement amount of a target pixel are initialized. When calculating the contrast improvement amount of the target pixel, the pixel density around the set target pixel is restricted, and within the set pixel comparison range, the contrast improvement amount of the target pixel is determined based on the restricted peripheral pixel density. It is determined whether or not this contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance, and if the completion determination has not been made, the pixel comparison range is changed, and comparison with surrounding pixels is performed again. The contrast improvement amount of the target pixel is obtained, and when the termination is determined, the contrast improvement amount obtained from the plurality of pixel comparison ranges obtained up to that time is calculated based on the weighted average value of the contrast improvement amount. This is an image processing method for improving the contrast of an input image by limiting and extracting the effective range and converting the selected amount of contrast improvement into an actual pixel value, which indicates the size of the input image and the peripheral visual field area. This has the effect that the effect of setting the constant can be reduced.
[0065]
Hereinafter, embodiments of the present invention will be described with reference to FIGS. 1 to 28. In these drawings, the same members are denoted by the same reference numerals, and redundant description is omitted. Hereinafter, the pixel unit (i, j) is assumed to be a pixel unit.
[0066]
(Embodiment 1)
FIG. 1 is a block diagram showing the overall configuration of the image processing apparatus according to the first embodiment of the present invention.
[0067]
As shown in FIG. 1, the image processing apparatus includes an image input unit 10 such as a CCD device for obtaining an input image 1, an edge information detecting unit 11 for detecting edge information 4 from the input image 1, and an image input unit. A contrast improving unit 12 for performing a contrast improving process for enhancing details of the digital input image obtained in 10; an image combining unit 13 for combining the digital input image 1 and the enhanced image 3 obtained by the contrast improving unit 12; An image output unit 14 is provided for outputting the combined image obtained by the combining unit 13 as an output image 2 after the final processing by a desired device (printer, display, or the like).
[0068]
FIG. 2 is a block diagram showing a configuration of the contrast improving means in the image processing apparatus according to the first embodiment of the present invention.
[0069]
As shown in FIG. 2, the contrast improving unit 12 converts the three color component values VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij into a Pij having a width c. The contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is obtained by comparison with surrounding pixels. Extraction means 21 for limiting and extracting a range effective from the contrast improvement amount VRPij, and a pixel value conversion means 22 for converting the contrast improvement amount VRPij selected by the extraction means 21 into a pixel value of the actual pixel Pij after the contrast improvement. Become.
[0070]
FIG. 4 is a block diagram illustrating a configuration of an image synthesizing unit in the image processing device according to the first embodiment of the present invention. As shown in FIG. 4, the image synthesizing unit 13, based on the luminance in the input image 1 and the edge information 4 obtained by the edge information detecting unit 11, enhances the input image 1 and the enhanced image obtained by the contrast improving unit 12. A coupling coefficient deriving unit 40 for determining a coupling coefficient ws (s = 1, 3; w1 is a coupling coefficient applied to the input image 1 and w3 is a coupling coefficient applied to the enhanced image 3) applied to the input image 1; A weighted average synthesizing unit 41 for generating a weighted average image of the input image 1 and the enhanced image 3 obtained by the contrast improving unit 12 using the coupling coefficients w0 and w1 obtained by the coefficient deriving unit 40, and a weighted average synthesizing unit An output value determining unit 42 determines the pixel value of the output image by comparing the weighted average combined image obtained in 41 with the input image 1 and the enhanced image 3.
[0071]
The operation of the image processing apparatus according to the first embodiment configured as described above will be described with reference to FIGS.
[0072]
FIG. 5 is a flowchart (FIG. 5A) showing the entire operation in the image processing method according to the first embodiment of the present invention, and a flowchart (FIG. 5B) showing the edge information deriving process. FIG. 6 is a flowchart (FIG. 6A) showing a contrast improvement process in the image processing method according to the first embodiment of the present invention, and a flowchart (FIG. 6B) showing an image synthesis process.
[0073]
In FIG. 5A, first, a color input image 1 is digitally input through the image input unit 10. In the case of a color image, the image input means 10 can normally obtain the component data of red r, green g, and blue b by the accuracy of the input means (0 to 255 in the case of 8 bits). Then, the image input means 10 normalizes this value from 0.0 to 1.0.
[0074]
Next, a process for detecting edge information is performed on the digital input image 1 by the edge information detecting means 11.
[0075]
In this process, as shown in FIG. 5B, first, luminance y (i, j) is calculated for all pixels Pij of the input image. As described above, edge information detection is performed only on the luminance component for the reason of processing simplification and the like.
[0076]
FIG. 7 is an explanatory diagram showing an example of a filter coefficient used in the information detecting means of the image processing apparatus according to the first embodiment of the present invention. It is a key map showing the human visual model used for contrast improvement processing in a method.
[0077]
There are various methods for detecting the edge information. Here, a filter having a size of 5 pixels × 5 pixels as shown in FIG. 7 is applied. The square root of the sum of squares of the component amount ex (i, j) in the x direction and the component amount ey (i, j) in the y direction obtained by applying this filter with the pixel Pij as the center is the edge information of the pixel Pij. Let ed (i, j).
[0078]
This definition is not unique, and a filter called a Sobel filter having a size of 3 pixels × 3 pixels can be used. Further, the edge information can be handled as a vector obtained by applying the filter of FIG. 7 using not only the luminance component but also the three color components. The edge information ave_ed and the average luminance value ave_y for all the pixels thus obtained are obtained.
[0079]
Next, contrast improvement processing is performed on the digital input image 1 by contrast improvement means 12 to improve the contrast in the dark part of the input image.
[0080]
FIG. 9 is a conceptual diagram showing a human visual model used for the contrast improvement processing in the image processing method according to any one of the first to seventh embodiments of the present invention. The contrast improving means 12 performs the processing as shown in FIG.
[0081]
That is, in human vision, as shown schematically in FIG. 9, the pixel information (color, contrast, etc.) of Pij is not recognized only by the pixel value perceived with respect to the target pixel Pij, but the target pixel Pij Is adjusted by adjusting the pixel value of the target pixel value Pij based on the relative relationship with the information of the surrounding pixels.
[0082]
This is referred to as the Retinex concept introduced by Edwin Land as described in the conventional example. Even in a scene where the intensity of the pixel value changes, the color of the object can be recognized with high accuracy.
The present invention also clarifies the color and detailed information in a dark part such as a shadow by utilizing this concept.
[0083]
That is, in FIG. 6A, first, the pixel value VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij is regarded as the central visual field in Land, and the surrounding area is determined. The area belonging to the rectangular area of c pixels is regarded as the peripheral visual field.
Then, a weighted average pixel value VPij (r (i, j), g (i, j), b (i, j)) of the pixel value in the peripheral visual field is obtained, and the relative relationship between VPij and VPij is calculated. A connected contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated.
[0084]
As this VAPij, as in the conventional example, the pixel value VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of the c pixel in the second term of (Equation 1) And (Equation 2) and (Equation 3), it is also possible to define the convolution integral value of the peripheral visual field function F (x, y) defined by the Gaussian function, and the contrast improvement amount VRPij is also (Equation 1) Can be defined independently for the three components, but in the present invention, the definition is made in consideration of simplification and high-speed processing.
[0085]
As an example, VAPij defines an average value of pixel values VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of c pixels as in (Equation 4). The contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is also equal to the weighted average pixel value VAPij of the pixel value VPij for each component as shown in (Equation 5). It can be defined as a ratio.
[0086]
(Equation 4)
Figure 2004078652
[0087]
(Equation 5)
Figure 2004078652
[0088]
Also, as shown in (Equation 6) and (Equation 7), the average value of the luminance y (i, j) in the peripheral visual field of the c pixel is defined as three components of VAPij, and the contrast improvement amount VRPij (Rr (i, j) ), Rg (i, j), Rb (i, j)) can also be defined as the ratio of each component value at the pixel Pij to the weighted average pixel value VAPij as in (Equation 7).
[0089]
(Equation 6)
Figure 2004078652
[0090]
(Equation 7)
Figure 2004078652
[0091]
By doing so, the weighted average pixel value VAPij of the pixel values of the peripheral field of view to be compared has the same value for each component, so that the contrast is improved independently for each component as shown in (Equation 4) and (Equation 5). It is possible to better maintain the balance of the obtained contrast improvement amount than to calculate the amount. Therefore, in the present invention, the definitions based on (Equation 6) and (Equation 7) are adopted.
[0092]
The contrast improvement amount VRPij for the target pixel Pij as described above is performed for all the images in the input image. Thereafter, an average value VaR (aRr, aRg, aRb) and a standard deviation amount VdR (dRr, dRg, dRb) for each component of the contrast improvement amount VRPij are obtained, and the values are used to extract the contrast improvement amount VRPij. A minimum value emin and a maximum value emax are derived.
[0093]
There are many methods for this derivation. Here, aRr + α × dRr, aRg + α × dRg, and aRb + α × dRb are obtained as emax candidates, and the maximum value among these three values is set to emax. Then, aRr−β × dRr, aRg−β × dRg, and aRb−β × dRb are obtained as candidates for emin, and the minimum value among these three values is defined as emin. In this way, a necessary region is extracted so that the balance of the components of the extracted contrast improvement amount VRPij is not lost.
[0094]
Next, using the emax and the emin, each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) ranges from 0.0 to 1.0. Is performed to convert the value into The contrast improvement amount VRPij thus obtained is regarded as the pixel value of the emphasized image 3 obtained by the contrast improvement in the target pixel Pij, and the contrast improvement processing ends.
[0095]
By such a series of processing, only the portion near the center is extracted in the distribution of the ratio of the target pixel value to the weighted average pixel value in the peripheral visual field, and the variation amount from the center is emphasized, and the deviation from the center is greatly deviated. The contrast improvement amount VRPij of the pixel having the ratio value tends to be 1.0 or 0.0. Therefore, in a region where the difference between the target pixel Pij, which is the central visual field, and the pixel in the peripheral visual field is small, the difference is easily emphasized, and the contrast is enhanced. Color information can be emphasized and expressed.
[0096]
In the case of the present invention, the derivation of the contrast adjustment amount for each pixel is configured in a simpler form than the conventional method based on the Retinex concept. In the conventional method based on the Retinex concept, it is problematic that setting of the filter processing (offset, gain conversion function) when converting the contrast adjustment amount of each pixel into an actual pixel value component requires empirical knowledge. However, there is an advantage that the present invention does not need to do so.
On the other hand, only the portion near the center is extracted in the distribution of the ratio of the target pixel value to the weighted average pixel value in the peripheral visual field, and the area around the center is saturated with 0.0 or 1.0, thereby explaining the conventional example. In a very large area, a luminance level is reduced in a highlight portion having a uniform color. Similarly, in a shadow portion having a uniform color in a very large area, the luminance level in the emphasized image sharply increases, so that color noise in the shadow portion generated at the time of input by a CCD or the like may be emphasized. .
[0097]
FIG. 10 is a conceptual diagram showing the relationship between edge information and image synthesis processing in the image processing method according to the first or second embodiment of the present invention. FIG. 11 is a conceptual diagram showing a fuzzy rule for determining a weight coefficient applied to an input image and an enhanced image in the image processing method according to the first or second embodiment of the present invention.
[0098]
In the present invention, in order to solve these problems, by adaptively combining the input image 1 and the enhanced image 3 obtained by the visual model (FIG. 10), it is possible to reduce the luminance level inherent in the input image 1, They decided to suppress the rise. Although many methods can be considered as the method, here, the coupling coefficient w1 applied to the input image 1 and the coupling coefficient w3 applied to the enhanced image 3 are controlled by paying attention to edge information and luminance of the input image.
[0099]
FIG. 6B shows a processing flow in the image synthesizing means, and the control function of the coupling coefficient is shown in (Equation 8) and FIG.
[0100]
(Equation 8)
Figure 2004078652
[0101]
The deterioration of the image quality due to the luminance drop and the sharp rise in the luminance of the emphasized image 3 is mainly observed in a highlight part having a uniform color in a large area and a shadow part having a uniform color in a large area.
[0102]
On the other hand, if the input image 1 and the enhanced image 3 are simply synthesized, the color cast caused by the influence of the illumination light which is a problem in the input image 1 is dragged as it is, and the illumination light originally reduced by the enhanced image is used. Therefore, prioritizing the emphasized image as much as possible leads to a reduction in the color cast due to the illumination light.
[0103]
From the above considerations, the pixel value of the input image 1 is prioritized over the emphasized image 3 in the highlight portion and the shadow portion where the color change is small uniformly, and the emphasized image 3 is prioritized in other portions. This seems to be more effective for improving the output image.
[0104]
Therefore, a method of controlling the coupling coefficient such that the emphasized image is prioritized in the edge portion and the input image is prioritized in the high and low luminance portions instead of the edge portion is used.
[0105]
Although there are many methods, the present invention uses fuzzy rules 1 and 2 as shown in (Equation 8). The fuzzy function applied at that time is as shown in FIG.
[0106]
Rule 1 represents a rule for determining a composite output pixel value for a pixel included in a high-luminance portion and a low-luminance portion in a non-edge portion of an input image, and Rule 2 represents a composite output pixel value for a pixel included in an edge portion of the input image. Represents the rule to decide.
[0107]
First, a reliability m1 for rule 1 and a reliability m2 for rule 2 are calculated based on the luminance y (i, j) and the edge information ed (i, j) at the target pixel Pij. As is clear from FIG. 11, the reliability m1 for rule 1 is defined by a mountain-shaped function (Gaussian function) having small edge information and two peaks at high and low luminance points. The reliability m2 is defined by a Gaussian function having a mountain shape centered on the average value ave_ed of the edge information of the input image and the average value ave_y of the luminance of both the edge information and the luminance of the input image.
[0108]
The coupling coefficient w3 applied to the enhanced image 3 is determined by w3 = m2 / (m1 + m2) based on m1 based on m2, and the coupling coefficient w1 applied to the input image 1 is determined by w1 = 1.0-w3. By doing so, the influence of the emphasized image in the high and low luminance portions, not the edges, is reduced, and the color cast in the input image in other portions is reduced.
[0109]
In addition, it is also an object to suppress a discontinuous portion in the composite image which may occur when w1 and w3 are determined simply by the threshold function processing of the edge information and the luminance. This processing is performed by the coupling coefficient deriving means 40, and the pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the composite image of the target pixel Pij is calculated according to w1 and w3. The weighted average combining means 41 performs the processing.
[0110]
However, even if the pixel value of the composite image is determined in this way, there is a possibility that the brightness may be lower than the corresponding pixel value of the input image. Thus, the pixel value VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij in the input image and the pixel value VWPij (Wr (i, j), Wg) of the composite image (I, j), Wb (i, j)), and if VWPij is smaller than VPij, the output value determining means 42 performs a process of replacing VWPij with VPij.
[0111]
After the above processing is completed for all the pixels, the image output unit 14 outputs VWPij as the pixel value of the output image 2 to a predetermined output device, thereby completing the contrast improvement processing.
[0112]
In the processing of the coupling coefficient deriving means 40, the pixel value VPij of the input image 1 is compared with the pixel value VRPij of the emphasized image 3, and if VPij is larger than VRPij in all three components, w1 = 1.0 and w3 = A method of determining the pixel value VWPij of the composite image by setting 0.0 and w1 = w3 = 0.5 is also possible.
[0113]
In this case, although the processing is simplified, the value of w1 is larger and the ratio of the input image 1 in the composite image is larger than in the case of (Equation 8) especially in the non-edge portion, so that the input image has more It will be affected by the illumination light (color cast). Therefore, it is necessary to separately consider a means for reducing it.
[0114]
By performing the above configuration and processing, the image processing apparatus and the image processing method according to the first embodiment of the present invention can effectively reduce the color cast caused by the illumination light by effectively utilizing the advantages of the conventional visual model. In addition to the above, it is possible to easily and accurately perform the contrast improvement in which the noise reduction for the luminance decrease in the highlight portion and the sharp increase in the luminance in the shadow portion is suppressed.
[0115]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the first embodiment of the present invention. can do.
[0116]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the first embodiment of the present invention.
[0117]
(Embodiment 2)
The entire configuration of the image processing apparatus according to the second embodiment of the present invention is configured as shown in FIG. 1 similarly to the first embodiment of the present invention, and the contrast improving unit 12 has a configuration as shown in FIG.
[0118]
That is, in FIG. 3, reference numeral 30 denotes initial setting means for setting initial conditions for deriving the enhancement amount. The initial peripheral area size is mainly set to the size c of the peripheral visual field portion to be compared with the target pixel Pij which is the central visual field. A process for setting c0 is performed.
[0119]
Reference numerals 20, 21, and 22 denote emphasis amount deriving means, extracting means, and pixel value converting means as in the first embodiment of the present invention. Reference numeral 31 denotes an end determination unit that determines whether or not the contrast improvement amount has been calculated for all of a plurality of prepared peripheral visual field regions. Reference numeral 32 denotes a current process when the end determination unit 31 does not consider the end determination. This is a comparison range changing unit that changes the size c of the peripheral visual field in question to the next candidate. The image synthesizing means 13 is configured as shown in FIG. 4, similarly to the first embodiment of the present invention.
[0120]
The operation of the image processing apparatus according to the second embodiment configured as described above will be described. FIG. 8 is a flowchart showing the contrast improvement processing in the image processing method according to the second embodiment of the present invention.
[0121]
The color image 1 is digitally input via the image input means 10. In the case of a color image, the image input unit 10 can normally obtain the component data of red r, green g, and blue b by the accuracy of the input unit (0 to 255 in the case of 8 bits). The image input means 10 normalizes this value from 0.0 to 1.0.
[0122]
Next, contrast improvement processing is performed on the digital input image 1 by contrast improvement means 12 to improve the contrast in the dark part of the input image. The contrast improving means 12 performs the processing as shown in FIG. A feature of the present invention is that the effect of the first embodiment of the present invention is improved by performing contrast improvement in a plurality of prepared peripheral visual field regions, thereby reducing the influence of the size of a dark portion (shadow) present in an image. It is a point that did. The edge information detecting means 11, the image synthesizing means 13, and the image output means 14 are the same as those of the image processing apparatus according to the first embodiment of the present invention, and therefore will not be described here.
[0123]
In FIG. 8, first, the pixel value VPij of the pixel Pij in the input image is regarded as the central visual field in Land, and the area surrounding the rectangular area of c pixels is regarded as the peripheral visual field.
[0124]
At this time, the initial setting means 30 first sets c0 of a plurality of prepared peripheral visual field sizes c [s] (s = 0, 1,..., Cnum-1) such that c = c0. Set to. In this case, c [s] may be prepared in ascending order from the minimum size area, or may be prepared in descending order from the maximum size, but it is better to arrange the size change directions.
[0125]
Here, assuming that the peripheral image is prepared in descending order from the maximum size, it is assumed that the detail in the input image is improved while the peripheral visual field region is sequentially reduced. In the emphasis amount deriving means 20, the weighted average pixel value VAPij [s] (Ar_s (i, j), Ag_s (i) of the pixel value in the peripheral field of view is set for the currently set peripheral field of the rectangular area of c = ck. , J), Ab_s (i, j)) are calculated.
[0126]
Then, the end determination unit 31 determines whether or not the weighted average pixel value calculation in the pixel Pij peripheral visual field by the enhancement amount derivation unit 20 has been completed for all c [s]. If it is determined that the processing has not been completed, the processing moves to the comparison range changing means 32, the currently set peripheral visual field area c is changed to the next candidate, and the weighted average pixel value calculation by the enhancement amount deriving means 20 is performed again. Is performed.
[0127]
On the other hand, when the end determination unit 31 determines the end, the weighted average pixel value VAPij [s] of Pij for each peripheral visual field region c [s] (Ar_s (i, j), Ag_s (i, j), Ab_s) A weighted average value of (i, j)) is obtained, and the value is set as a total weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) of Pij. .
[0128]
At this time, it is conceivable to add a weight according to the size of the peripheral visual field region c [s] to the weighted average pixel value of Pij by each c [s]. Here, for the sake of simplicity, each c [ s] is used as the total weighted average pixel value of Pij.
[0129]
In addition, the weighted average pixel value VAPij [s] based on c [s] may be compared for each component, and the weighted average pixel value having the maximum value may be used as the total weighted average pixel value of Pij.
[0130]
In such a case, although the processing time is increased by the comparison processing rather than the addition processing, the pixel value of the image generated as the emphasized image 3 fluctuates slowly, and there is an advantage that a sharp rise in the edge portion can be suppressed. Then, the ratio of the pixel value Vpij of each component in Pij to the total weighted average pixel value VAPij is calculated as the contrast adjustment amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). .
[0131]
In the subsequent processing, as in the first embodiment of the present invention, first, a minimum value emin and a maximum value emax to be extracted from the contrast improvement amount VRPij are derived.
Next, using the emax and the emin, each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is set in the range of 0.0 to 1.0. Then, the contrast improvement amount VRPij obtained by converting the values into the values within is regarded as the pixel value of the target pixel Pij after the contrast improvement, and the contrast improvement processing ends.
[0132]
Further, similarly to the first embodiment of the present invention, the image synthesis processing unit 13 converts the emphasized image 3 based on the luminance value y (i, j) and the edge information ed (i, j) in Pij of the input image 1. A coupling coefficient w3 to be applied and a coupling coefficient w1 to be applied to the input image 1 are derived.
[0133]
Using this value, the weighted average pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, Wb) of the pixel value VPij of the input image 1 and the pixel value VRPij of the enhanced image 3 in Pij j)) is obtained, the output value determining means 42 performs a comparison process with the pixel value of the input image 1, and determines the pixel value VWPij of Pij in the output image 2. By performing such processing on all pixels, an output image 2 that is finally output by the image output unit 14 is generated.
[0134]
By performing the above configuration and processing, the image processing apparatus and the image processing method according to the second embodiment of the present invention make use of the features of the image processing apparatus and the image processing method according to the first embodiment of the present invention. However, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel values in the input image or the size of a dark portion such as a shadow, and the efficiency of image contrast adjustment can be improved.
[0135]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the second embodiment of the present invention. can do.
[0136]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the second embodiment of the present invention.
[0137]
(Embodiment 3)
FIG. 12 is a block diagram showing the overall configuration of the image processing apparatus according to the third embodiment of the present invention. FIG. 13 is a block diagram illustrating a configuration of a simple image synthesizing unit in the image processing device according to the third embodiment of the present invention.
[0138]
As shown in FIG. 12, the image processing apparatus includes an image input unit 10 for obtaining an input image 1, and a contrast improvement unit for performing a contrast improvement process for enhancing details of a digital input image obtained by the image input unit 10. 12. density correcting means 121 for correcting the density distribution in the emphasized image 3 obtained by the contrast improving means 12 so as to match the density distribution in the input image; the corrected image 5 obtained by the density correcting means 121 and the input image 1 And an image output unit 14 for outputting the synthesized image obtained by the simple image synthesis unit 120 as an output image 2 after the final processing by a desired device.
[0139]
Here, as shown in FIG. 13, the simple image synthesizing unit 120 includes a simple coupling coefficient deriving unit 130 that determines a coupling coefficient applied to the input image and the enhanced image based on the target pixel signal in the corrected image. A weighted average synthesizing unit 41 for generating a weighted average image of the input image and the emphasized image or the corrected image by using a combination coefficient of each image obtained by the coefficient deriving unit, and an image after synthesis obtained by the weighted average synthesizing unit 41 And output value determining means 42 for determining pixel values in the output image based on the input image.
[0140]
The feature of the third embodiment is that the luminance distribution of the enhanced image 3 calculated by the same method as that of the first embodiment of the present invention is corrected according to the input image 1 so that the input image 1 and the enhanced image 3 are corrected. In this case, a decrease in density in a highlight portion and an excessive increase in density in a shadow portion, which occur when the image is synthesized, are suppressed.
[0141]
The operation of the image processing apparatus according to the third embodiment configured as described above will be described with reference to FIGS.
[0142]
Here, FIG. 14 shows a flowchart (FIG. 14A) showing the overall operation in the image processing method according to the third embodiment of the present invention, and a flowchart (FIG. 14B) showing the density correction processing of the emphasized image. FIG. 15 is a flowchart showing the operation of the simple image synthesizing means in the image processing method according to the third embodiment of the present invention. The flowchart in the contrast improvement processing is the same as FIG. 6A in the first embodiment of the present invention or FIG. 8 in the second embodiment of the present invention. FIG. 16 is a diagram showing an outline of the density correction processing of the emphasized image 3 in the image processing method according to the third embodiment of the present invention.
[0143]
The image input unit 10, the contrast improvement unit 12, and the image output unit 13 perform the same operations as those in the first embodiment or the second embodiment of the present invention, and thus the description is omitted here.
[0144]
The density correction processing is performed as shown in FIG. That is, in the emphasized image 3, not only the contrast of the details covered by the shadows is improved, but also the brightness decreases in the highlight portion over a wide range with little variation, and the brightness rises sharply in the shadow portion over a wide range with little variation.
[0145]
In this case, since the region in question is wide, when the image distribution in the emphasized image is examined, the average luminance ave_Ry may be greatly affected. Therefore, the above problem can be improved by converting the pixel value in the emphasized image 3 so that the average luminance ave_Ry of the emphasized image 3 matches the average luminance ave_y of the input image.
[0146]
In FIG. 14B, the luminance Ry (i, j) and the color differences Ru (i, j), Rv (i, j) at Pij are calculated for the emphasized image 3. Next, the average luminance ave_Ry of the emphasized image 3 and the average luminance ave_y of the input image 1 are calculated.
[0147]
Then, the difference amount ave_y-ave_Ry is added to the luminance value Ry (i, j) of the pixel Pij of the emphasized image 3 for each pixel, and the difference is set as the luminance Ry (i, j). Finally, the corrected pixel values VDPij (Dr (i, j), Dg (i, j), and Rg (i, j) and the color differences Ru (i, j) and Rv (i, j)) are used. Db (i, j)) is calculated, and the process ends.
[0148]
In the simple image synthesizing means 121, first, as shown in FIG. 15, coupling coefficients w1 and w3 applied to the respective images are derived from the luminances of the input image 1 and the corrected image 5. In the above-described first and second embodiments, the edge information 4 of the input image 1 is also used for the derivation. However, in the present embodiment, the density correction unit 120 improves the brightness of the highlight portion in a wide range to some extent. In consideration of the above, a coupling coefficient that gives priority to the emphasized image 3 such as w1 = 0.3 and w3 = 0.7 is set.
[0149]
Then, the weighted average synthesizing unit 41 generates a synthesized image based on the coupling coefficient, and the output value determining unit 42 compares the pixel value VPij in the input image of the target pixel Pij with the pixel value VWPij in the synthesized image. is there.
[0150]
By adding the process of correcting the density of the emphasized image 3 in this manner, in the image processing technique according to the third embodiment, as shown in FIG. Can be adjusted to some extent with the input image, such as an excessive increase in density, and the problem in the output image that is output as a result can be improved by a simpler method.
[0151]
In addition, since the ratio of the input image occupied is reduced, the characteristics of the color fogging phenomenon improved in the emphasized image are carried over to the output image to some extent, and the contrast improvement in which the color fog is reduced can be realized.
[0152]
Note that these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the third embodiment of the present invention. can do.
[0153]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the third embodiment of the present invention.
[0154]
(Embodiment 4)
FIG. 17 is a block diagram showing an overall configuration of an image processing apparatus according to Embodiment 4 of the present invention. FIG. 18 is a block diagram showing a configuration of the second contrast improving means in the image processing device according to the fourth embodiment of the present invention. FIG. 19 is a flowchart (FIG. 19A) showing the overall operation in the image processing method according to the fourth embodiment of the present invention, and a flowchart (FIG. 19B) showing the second contrast improvement processing.
[0155]
As shown in FIG. 17, the image processing apparatus includes an image input unit 10 for obtaining an input image 1, an edge information detecting unit 11 for detecting edge information 4 from the input image 1, a second contrast improving unit 170, 2 A simple image synthesizing unit 120 for synthesizing the enhanced image 3 obtained by the contrast improving unit 170 and the input image 1, and a composite image obtained by the simple image synthesizing unit 120 is output as a final processed output image 2 by a desired device. An image output unit 14 for outputting is provided.
[0156]
Here, as shown in FIG. 18, the second contrast improving unit 170 determines the region to which the target pixel Pij belongs from the edge information 4 by using the pixel comparison range according to the region determined by the region determining unit 180. Range selection means 181 for selecting a contrast amount, an enhancement amount derivation means 20 for deriving a contrast improvement amount, and an adjustment coefficient derivation means for obtaining an adjustment coefficient for adjusting the contrast improvement amount of the enhancement amount derivation means 20 according to the determined area. 182, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) in Pij of the enhancement amount deriving means 20 based on the coefficient obtained by the adjustment coefficient deriving means 182 , And an extraction unit 21 and a pixel value conversion unit 22.
[0157]
The point here is that the region to which the target pixel Pij belongs is determined based on the edge information, and the pixel comparison range is selected according to the region.
[0158]
FIGS. 19A and 19B show the overall processing flow and the flow of the second contrast improvement processing in the image processing apparatus according to the fourth embodiment configured as shown in FIGS. 17 and 18.
[0159]
That is, the edge information ed (i, j) is obtained for the pixel Pij of the input image 1 input by the image input unit 10. Next, the area to which this pixel belongs is determined by the area determining means 180 based on ed (i, j) and luminance y (i, j), and the comparison area is selected by the 181 according to this determination. FIG. 20 shows an outline of this pixel comparison range selection method. FIG. 20 is a conceptual diagram showing a method for selecting a comparison area in the image processing method according to the fourth embodiment of the present invention.
As shown in FIG. 20, the pixel comparison range is set large in a gentle and low-brightness shadow portion in order to avoid over-emphasis. On the other hand, in order to emphasize a change that may be buried in the vicinity of the edge, a contrast improvement amount is obtained by comparison in the vicinity of the target pixel. On the other hand, for a portion with a high luminance due to a gentle change, a large comparison range that can cause a change in the average pixel value around the pixel is provided, or if it is unknown, a middle pixel comparison range is applied. I decided to.
[0160]
Next, the adjustment coefficient deriving unit 182 determines an adjustment coefficient according to the determined area. This is to obtain a coefficient for performing the adjustment in anticipation of the expected contrast improvement amount according to the region determination by the region determination unit 180.
[0161]
In a high-luminance region that changes gradually, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained by the emphasis amount deriving means 20 is around 1.0. The adjustment coefficient k (i, j) is set so as to increase this value in anticipation that the value tends to be lower than the input image in many cases.
Here, it is assumed that k (i, j) = 1.2 assuming that the increase is 20%. In the vicinity of the edge, since the contrast improvement amount is a sufficiently emphasized value, k (i, j) = 1.0 is set.
[0162]
On the other hand, in the low-luminance region where the luminance changes gradually, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained in step 20 is close to 1.0. The adjustment coefficient k (i, j) is set to reduce this value in anticipation that the value is likely to be rapidly higher than the input image in many cases.
[0163]
Here, it is assumed that k (i, j) = 0.8 assuming that the reduction is 20%. The adjusting means 183 applies the adjustment coefficient k (i, j) to each component of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained at 20. The result is multiplied to obtain the contrast improvement amount VRPij.
[0164]
Such processing is performed on all the pixels, and thereafter, the extraction processing and the pixel value conversion processing are performed as in the first embodiment of the present invention, and the emphasized image 3 is generated. Then, the process of synthesizing the enhanced image 3 and the input image 1 is performed by the simple image synthesizing unit 130, and is output by the image output unit 14 as an output image. The synthesizing process is the same as in the third embodiment of the present invention.
[0165]
As described above, in the image processing technique according to the present embodiment, the area to which the target pixel belongs is determined in advance based on the edge information, and the comparison range and the adjustment coefficient according to the area are set. Then, the contrast improvement amount is obtained by comparing with the average pixel value of the surrounding pixels in the pixel comparison range, and the value is adjusted to solve the problem of the highlight portion and the shadow portion in the emphasized image 3. It is aimed at. Therefore, a result can be obtained even in the image synthesizing process simply by increasing the ratio of the emphasized image. Since the ratio of the input image is reduced, the color cast phenomenon can be improved even in the output image.
[0166]
Note that the image combining means used in the first or second embodiment of the present invention can be used instead of the simple image combining means 120 in order to further improve the problem of the highlight portion and the shadow portion. In this case, the edge information 4 obtained by the edge information detecting means 11 is added to the image synthesizing means.
[0167]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the color image processing method according to the fourth embodiment of the present invention. can do.
[0168]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fourth embodiment of the present invention.
[0169]
(Embodiment 5)
The entire configuration of the image processing apparatus according to the fifth embodiment of the present invention is configured as shown in FIG. 17 similarly to the fourth embodiment of the present invention, and the second contrast improving unit 170 is configured as shown in FIG. Become. FIG. 21 is a block diagram showing a configuration of the second contrast improving means in the image processing device according to the fifth embodiment of the present invention. FIG. 22 is a flowchart showing a second contrast improvement process in the image processing method according to the fifth embodiment of the present invention.
[0170]
That is, the difference from the fourth embodiment of the present invention is that in FIG. 21, the second contrast improving unit 170 of the present embodiment derives the average value of the contrast improvement amounts obtained in a plurality of pixel comparison ranges, (2) The point that the area information obtained by the area determination means 180 of the contrast improvement means 170 is used to estimate an adjustment coefficient applied to the average value of the contrast improvement amount.
[0171]
This is because the processing speed increases when the comparison range is set for each area as in the fourth embodiment of the present invention. However, there is a possibility of being affected by an error in the selection of a comparison range due to an area determination error. There may be problems such as the occurrence of jumps and the fact that if the distance is too close depending on the shadow size, the average pixel value of the surrounding pixels may approach the target pixel value and may not be emphasized.
[0172]
Therefore, as in the second embodiment of the present invention, a plurality of comparison ranges are prepared, and the contrast improvement amount VRPij of the target pixel is derived from the average value of the contrast improvement amounts obtained in each range.
[0173]
As is clear from FIG. 22 showing the flow of the second contrast improvement processing, first, based on the edge information 4, whether the pixel Pij belongs to a uniformly wide highlight portion, a uniformly wide shadow portion, or any other portion Is determined by the area determining means 180.
Next, based on the determination result, the adjustment coefficient deriving means 181 determines an average value of the contrast improvement amounts obtained in the respective comparison ranges and an adjustment coefficient for adjustment. This determination can be made, for example, in the same manner as in Embodiment 4 of the present invention.
[0174]
Further, in the initial setting means 30 to the comparison range changing means 32, similarly to the second embodiment of the present invention, the emphasis amount deriving means 20 first obtains the contrast improvement amount VRPij under the condition initially set by the initial setting means 30, The end determination means 31 determines whether or not the 20 processes have been completed in all the comparison ranges.
[0175]
If the end determination is not satisfied, the pixel comparison range prepared next is reset and the enhancement amount deriving process is performed by the enhancement amount deriving means 20. If the end determination is satisfied, The average value of the contrast improvement amount in each comparison range is set again as the contrast improvement amount VRPij for this pixel, and the adjusting means 183 sets the adjustment coefficient obtained by the adjustment coefficient deriving means 182, and the adjusting means 182 sets The contrast improvement amount VRPij is corrected by multiplying the adjustment coefficient k (i, j) obtained by the adjustment coefficient deriving unit 182.
[0176]
After that, the extraction unit 21 extracts a region deemed necessary, and the pixel value conversion unit 22 converts it into actual pixel values (red, blue, and green signals) to generate the emphasized image 3.
[0177]
Then, the combined image of the enhanced image 3 and the input image 1 is generated by the simple image combining unit. At this time, for example, a coupling coefficient w3 = 0.7 applied to the enhanced image 3 and a coupling coefficient w1 = 0.3 applied to the input image 1 so that the proportion of the emphasized image increases so as to maintain the color fog elimination. Then, image synthesis is performed, and the image output unit 14 outputs the image to the output device as an output image.
[0178]
As described above, according to the image processing technique of the present embodiment, in the fourth embodiment, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination. By changing the average value of the contrast improvement amounts obtained for a plurality of comparison area sizes as in the second embodiment, it is possible to reduce the effect of using an inappropriate comparison area size due to an area determination error.
[0179]
Further, when the contrast improvement amount is derived only in the vicinity of the pixels in the edge region, white color jump may occur near the edge depending on the degree of enhancement, but the contrast improvement amount obtained from a plurality of comparison regions may be reduced. By changing the weighted average to the contrast improvement amount for this pixel, it is also possible to reduce color skipping near the edge.
[0180]
It is also possible to use the image synthesizing means used in the first or second embodiment of the present invention instead of the simple image synthesizing means 120. In this case, the edge obtained by the edge information detecting means 11 is used. Information 4 is added to this image combining means.
[0181]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used for a computer or the like according to the image processing method according to the fifth embodiment of the present invention. be able to.
[0182]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fifth embodiment of the present invention.
[0183]
(Embodiment 6)
FIG. 23 is a block diagram showing the overall configuration of an image processing apparatus according to the sixth embodiment of the present invention. As shown in the figure, in the image processing apparatus according to the sixth embodiment, the input image 1 and the emphasized image 3 are combined. (FIG. 23 (a)) and a case where the output image 2 is generated through the synthesis processing of the input image 1 and the emphasized image 3 (FIG. 23 (b)). FIG. 24 is a block diagram showing a configuration of the third contrast improving means in the image processing device according to the sixth embodiment of the present invention. FIG. 25 is a block diagram showing a configuration of a third contrast improving unit in the image processing device according to the seventh embodiment of the present invention.
[0184]
In both cases, the generation of the emphasized image 3 is performed by the third contrast improving unit 230, and the configuration of the third contrast improving unit 230 is as shown in FIG. 24 when the combining process of the input image 1 and the emphasized image 3 is not performed. FIG. 25 shows a case where the output image 2 is generated through the synthesis processing of the input image 1 and the emphasized image 3.
[0185]
First, the case of FIG.
[0186]
In the case of FIG. 23A, the image input unit 10, the third contrast improving unit 230 that derives the contrast improvement amount based on the visual model, and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) as the pixel values VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the output image It is composed of output means 14.
[0187]
Then, as shown in FIG. 24, the third contrast improving unit 230 includes an enhancement amount deriving unit 20, an enhancement amount deriving density limiting unit 240 that restricts surrounding pixel values when calculating the enhancement amount, and an enhancement amount deriving unit 20. And a pixel value converting means 22 for converting the value extracted by the extracting means 21 into actual red, blue and green pixel values. .
[0188]
The flow of the process in this case is as shown in FIG. FIG. 26A is a flowchart showing the overall operation in the image processing method according to the sixth embodiment of the present invention, and the flowchart showing the third contrast improvement processing is as shown in FIG. 26B.
[0189]
As shown in the drawing, substantially the same processing as the contrast improvement processing according to the first embodiment of the present invention is performed, except that the upper and lower limits of the pixel value in the surrounding range of the target pixel Pij are suppressed. Here, a case is considered in which the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated by (Equation 6) and (Equation 7).
[0190]
In this case, the emphasis amount deriving density constraint unit 240 suppresses the upper and lower limits of the luminance value y (i, j) in the surrounding range of the target pixel Pij as in thLow_y ≦ y (i, j) ≦ thHigh_y. An outline of this processing is shown in FIG. FIG. 28 is an explanatory diagram showing an outline of the processing performed by the emphasis amount deriving reference restricting means in the image processing apparatus according to the sixth or seventh embodiment of the present invention.
[0191]
By suppressing the upper limit in this manner, when obtaining the contrast improvement amount of the pixel value in the uniformly wide highlight portion, the weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) are suppressed more than VPij (r (i, j), g (i, j), b (i, j)), and as a result, VRPij (Rr (I, j), Rg (i, j), Rb (i, j)) are larger than 1.0 near the center of the contrast improvement amount.
[0192]
Therefore, when this value is converted into an actual pixel value by the pixel value conversion means 22, the VRPij returns to a value with high luminance. On the other hand, when obtaining the contrast improvement amount of the pixel value in the uniformly wide highlight portion, the weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) are raised above VPij (r (i, j), g (i, j), b (i, j)), resulting in VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) are smaller than 1.0 near the center of the contrast improvement amount. Therefore, when this value is converted into an actual pixel value by the pixel value conversion means 22, the VRPij returns to a value with low luminance.
[0193]
The point of the present invention is that the weighted average pixel value VAPij (Ar (i, j), Ag (i, j) of the pixel value in the peripheral visual field corresponding to the denominator when the enhancement amount deriving means 20 obtains the contrast improvement amount is described. ), Ab (i, j)) is consciously suppressed or raised to control the pixel value obtained from the contrast improvement amount, and a very simple process can obtain a certain effect. it can.
[0194]
Next, the case of FIG. 23B will be described.
[0195]
In the case of FIG. 23 (b), the image input unit 10, the third contrast improving unit 230 for deriving the contrast improvement amount based on the visual model, and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) and the corresponding pixel value VPij (r (i, j), g (i, j), b (i, j)) of the input image 1 The simple image synthesizing unit 120 for obtaining the pixel value VWPij (Wr (i, j), Wg (i, j), Wb (i, j)) of the synthesized image, and outputs the pixel value VWPij obtained by the simple image synthesizing unit 120 And an image output unit 14.
[0196]
In the case of FIG. 23 (a), it is conceivable that it is not possible to sufficiently improve the brightness decrease in a uniformly wide highlight portion and the sharp increase in brightness in a uniformly wide shadow portion. In this example, the combination with the input image 1 is further improved. At this time, a simple image synthesizing unit is applied so that the coupling coefficient applied to the input image 1 is suppressed and the coupling coefficient applied to the emphasized image 3 is prioritized so that the color cast in the output image 2 can be reduced.
[0197]
As described above, according to the image processing technique of the sixth embodiment, when calculating the contrast improvement amount by comparing the pixel value of the target pixel and the average pixel value in the peripheral region, the upper and lower limits of the average pixel value in the peripheral region are determined. , And a means for suppressing it within the range is added. In this way, when the actual pixel value is compressed to the contrast improvement amount, the contrast improvement amount of the pixels in the highlight portion in the uniformly wide area decreases, and the shadow improvement in the shadow portion in the uniformly wide area occurs. It is possible to suppress a sharp increase in the contrast improvement amount of the pixel.
[0198]
Although the present invention has been described with reference to (Equation 6) and (Equation 7) as the contrast improvement amount, the present invention can be applied to the cases of (Equation 4) and (Equation 5). In this case, it is possible to make the upper and lower limits coincide for all three components, but it is more effective to set the upper and lower limits for each pixel value in the peripheral visual field so as not to lose the balance of the finally obtained output image. It is a target.
[0199]
Further, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the sixth embodiment of the present invention. be able to.
[0200]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the sixth embodiment of the present invention.
[0201]
(Embodiment 7)
The entire configuration of the image processing apparatus according to the seventh embodiment of the present invention is configured as shown in FIG. 23 similarly to the sixth embodiment of the present invention, and the third contrast improving unit 230 is configured as shown in FIG. Become.
[0202]
That is, in FIG. 25, the third contrast adjusting unit 230 includes an initial setting unit 30, an emphasis amount deriving unit 20, an emphasis amount deriving density constraining unit 240 that constrains surrounding pixel values when calculating an emphasis amount, and a whole comparison range. Determining unit 31 for determining whether or not the processing has been completed, a comparison range changing unit 32 for changing the comparison range if the determination is not completed, and a necessary part based on the contrast improvement amount obtained by the enhancement amount deriving unit 20. And pixel value conversion means 22 for converting the values extracted by the extraction means 21 into actual red, blue and green pixel values.
[0203]
The overall processing flow in the image processing device and the image processing method according to the seventh embodiment of the present invention is the same as that in the sixth embodiment of the present invention. The processing flow in the third contrast improvement processing is as shown in FIG. FIG. 27 is a flowchart showing a third contrast improvement process in the image processing method according to the seventh embodiment of the present invention.
[0204]
As is clear from this figure, the point of the third contrast improvement processing of the present invention is calculated in each pixel comparison range in the flowchart of the contrast improvement processing according to the first embodiment of the present invention (FIG. 6A). The object of the present invention is to suppress the upper and lower limits of the weighted average pixel value VAPij [s] of Pij for each peripheral visual field region c [s].
[0205]
First, for the target pixel Pij, a weighted average pixel value VAPij [s] of Pij is obtained according to (Equation 6) and (Equation 7) in the initial comparison range c [0]. At this time, the upper and lower limits of the luminance value y (i, j) in the surrounding range are suppressed as in thLow_y ≦ y (i, j) ≦ thHigh_y. Similarly, the contrast improvement amount is obtained by intentionally suppressing or increasing the weighted average pixel value VAPij [s] of the pixel values in the peripheral visual field corresponding to the denominator when the enhancement amount deriving means 20 calculates the contrast improvement amount. The purpose is to control the pixel values obtained.
[0206]
The end determination unit 31 determines whether or not the processing of the enhancement amount derivation unit 20 has been completed for the entire pixel comparison range c [s] prepared for Pij. If this end determination has not been made, the comparison range changing unit 32 changes the pixel comparison range to the next pixel comparison range c [s], and the process proceeds to the emphasis amount deriving unit 20.
[0207]
On the other hand, when the termination is determined, the weighted average value of VAPij [s] is obtained, and the value is used as the total weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab ( i, j)).
[0208]
Then, based on this value, the contrast improvement amount VRPij in Pij is calculated by (Equation 7). The extracting means 21 extracts a necessary area from the VRPij, and the pixel value converting means 22 performs a process of converting it into actual red, blue and green pixel values. By performing this process for all pixels, the third contrast improvement process is completed.
[0209]
After this processing, in the case of FIG. 23A, the image output unit 14 outputs the emphasized image 3 obtained here as it is to the predetermined device as the pixel value VWPij in the pixel Pij of the output image. In the case of FIG. 23B, the simple image synthesizing unit 120 performs the synthesizing process of the enhanced image 3 and the input image 1. At this time, in order to make the best use of the color fogging reduction characteristic of the enhanced image as much as possible, the image synthesis processing is performed by giving priority to the coupling coefficient of the enhanced image 3 and reducing the coupling coefficient of the input image 1 to a small value. The image output means 14 outputs the combined image thus obtained.
[0210]
As described above, according to the image processing technique of the present embodiment, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral region in the sixth embodiment is weighted by the contrast improvement amount in a plurality of peripheral regions. This is an extension to the average value. By doing so, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel value in the input image or the size of a dark portion such as a shadow. With benefits.
[0211]
Although the present invention has been described with reference to (Equation 6) and (Equation 7) as the contrast improvement amount, the present invention can be applied to the cases of (Equation 4) and (Equation 5). In this case, it is possible to make the upper and lower limits coincide for all three components, but it is more effective to set the upper and lower limits for each pixel value in the peripheral visual field so as not to lose the balance of the finally obtained output image. It is a target.
[0212]
In addition, these processes are similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the seventh embodiment of the present invention. be able to.
[0213]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the seventh embodiment of the present invention.
[0214]
【The invention's effect】
As described above, in the first image processing technique of the present invention, the contrast improvement amount is obtained by comparing the pixel value of the target pixel and the average pixel value in the surrounding area, and the contrast improvement amount considered to be effective is extracted. Because the weighted average synthesis is performed by adaptively controlling the proportion of the emphasized image and the proportion of the input image based on the edge information and luminance in the input image, the density level in the uniform highlight area is reduced. In addition to suppressing the sharp rise in the density level in shadows and shadows, the non-uniform illumination component, which is one of the features of the visual model, is reduced by increasing the proportion of the emphasized image in other areas. An effective effect that the improved contrast can be obtained is obtained.
[0215]
As described above, in the second image processing technique of the present invention, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral region in the first invention is used as the contrast improvement amount in a plurality of peripheral regions. Weighted average value, so that the input image can be automatically improved in contrast and reduced in color cast without being affected by the dynamic range of pixel values in the input image or the size of dark areas such as shadows. An effective effect that can be obtained is obtained.
[0216]
As described above, in the third image processing technique of the present invention, the contrast improvement amount is obtained from the comparison between the pixel value of the target pixel and the average pixel value in the surrounding area, and the contrast improvement amount that is considered to be effective is extracted. Since the luminance distribution in the emphasized image is corrected in accordance with the input image, the part of the input image that has significantly changed, such as a density decrease in a highlight portion or an excessive density increase in a shadow portion, which has occurred in the emphasized image. It is possible to match to some extent, and it is possible to suppress the density decrease in the highlight portion and the excessive density increase in the shadow portion even in the output image which is a weighted average composite image of the corrected enhanced image and the input image. Effects can be obtained.
[0217]
As described above, in the fourth image processing technique of the present invention, the area to which the target pixel belongs is determined based on the edge information and the luminance information of the input image, and the size of one comparison area prepared for the area is determined. Since the contrast improvement amount is obtained by comparing the pixel value of the target pixel with the average pixel value in the surrounding area, and the adjustment component of the contrast improvement amount is obtained for each area and the adjustment processing is performed, the edge area is used. This makes it possible to enhance the sharpness of the area, to suppress the noise existing in the uniform shadow area, to suppress the density reduction in the highlight area, and to reduce the number of processing. can get.
[0218]
As described above, according to the fifth image processing technique of the present invention, in the fourth image processing technique, the contrast improvement amount is obtained within one comparison area size prepared for each area after the area determination. Since the average value of the contrast improvement amounts obtained for a plurality of comparison region sizes has been changed, the effect of using an inappropriate comparison region size due to a region determination error can be reduced. can get. Further, when the contrast improvement amount is derived only in the vicinity of the pixels in the edge region, white color jump may occur near the edge depending on the degree of enhancement, but the contrast improvement amount obtained from a plurality of comparison regions may be reduced. By setting the weighted average again as the contrast improvement amount in this pixel, it is possible to obtain an effective effect that it is possible to reduce the color jump near the edge.
[0219]
As described above, according to the sixth image processing technique of the present invention, when calculating the contrast improvement amount by comparing the pixel value of the target pixel with the average pixel value in the peripheral region, the upper and lower limits of the average pixel value in the peripheral region are determined. And a means for suppressing the value within the range is added, so that the contrast improvement amount of the pixels in the highlight portion in a uniformly wide area generated when the actual pixel value is compressed to the contrast improvement amount is added. It is possible to obtain an effective effect that it is possible to suppress the decrease and the sharp increase in the contrast improvement amount of the pixels in the shadow portion in the uniformly wide area.
[0220]
In this case, a device that performs synthesis with the input image and a device that does not perform synthesis are conceivable.In the case of a device that does not perform synthesis with the input image, reduction is achieved by a visual model without being affected by color cast due to an illumination component of the input image. Since the emphasized image is output, an effective effect of reducing the color cast in the input image can be obtained.
[0221]
As described above, according to the seventh image processing technique of the present invention, the contrast improvement amount calculated by comparing the target pixel value and the average pixel value in the peripheral area by the sixth image processing technique is calculated based on the contrast in a plurality of peripheral areas. Since it is expanded to the weighted average value of the improvement amount, the contrast of the input image can be automatically improved without being greatly affected by the dynamic range of the pixel value in the input image or the size of a dark portion such as a shadow. Effects can be obtained.
[0222]
As in the case of the sixth image processing technique, in the case of an apparatus that does not perform synthesis with an input image, only an enhanced image in which color cast due to an illumination component of the input image is reduced is output. An effective effect that fog can be reduced can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of an image processing apparatus according to a first embodiment of the present invention;
FIG. 2 is a block diagram illustrating a configuration of a contrast improving unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 3 is a block diagram illustrating a configuration of a contrast improving unit in the image processing apparatus according to the second embodiment of the present invention;
FIG. 4 is a block diagram showing a configuration of an image synthesizing unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 5A is a flowchart illustrating an overall operation in the image processing method according to the first embodiment of the present invention; FIG. 5B is a flowchart illustrating edge information deriving processing in the image processing method according to the first embodiment of the present invention;
6A is a flowchart illustrating a contrast improvement process in the image processing method according to the first embodiment of the present invention; FIG. 6B is a flowchart illustrating an image combining process in the image processing method according to the first embodiment of the present invention;
FIG. 7 is an explanatory diagram showing an example of a filter coefficient used in the information detecting means of the image processing device according to the first embodiment of the present invention;
FIG. 8 is a flowchart showing contrast improvement processing in the image processing method according to the second embodiment of the present invention;
FIG. 9 is a conceptual diagram showing a human visual model used for contrast improvement processing in the image processing method according to any one of Embodiments 1 to 7 of the present invention.
FIG. 10 is a conceptual diagram showing the relationship between edge information and image synthesis processing in the image processing method according to the first or second embodiment of the present invention.
FIG. 11 is a conceptual diagram showing a fuzzy rule for determining a weight coefficient applied to an input image and an enhanced image in the image processing method according to the first or second embodiment of the present invention;
FIG. 12 is a block diagram illustrating an overall configuration of an image processing apparatus according to a third embodiment of the present invention;
FIG. 13 is a block diagram illustrating a configuration of a simple image synthesizing unit in the image processing apparatus according to the third embodiment of the present invention;
FIG. 14A is a flowchart illustrating an overall operation of the image processing method according to the third embodiment of the present invention; FIG. 14B is a flowchart illustrating density correction processing of an emphasized image in the image processing method according to the third embodiment of the present invention; flowchart
FIG. 15 is a flowchart showing the operation of the simple image synthesizing means in the image processing method according to the third embodiment of the present invention;
FIG. 16 is a diagram showing an outline of a density correction process of an emphasized image 3 in the image processing method according to the third embodiment of the present invention;
FIG. 17 is a block diagram illustrating an overall configuration of an image processing apparatus according to a fourth embodiment of the present invention;
FIG. 18 is a block diagram illustrating a configuration of a second contrast improving unit in the image processing apparatus according to the fourth embodiment of the present invention;
FIG. 19A is a flowchart illustrating an entire operation of the image processing method according to the fourth embodiment of the present invention. FIG. 19B is a flowchart illustrating a second contrast improvement process in the image processing method according to the fourth embodiment of the present invention.
FIG. 20 is a conceptual diagram showing a comparison area selection method in the image processing method according to the fourth embodiment of the present invention;
FIG. 21 is a block diagram illustrating a configuration of a second contrast improving unit in the image processing apparatus according to the fifth embodiment of the present invention;
FIG. 22 is a flowchart illustrating a second contrast improvement process in the image processing method according to the fifth embodiment of the present invention;
FIG. 23 is a block diagram illustrating the overall configuration of an image processing apparatus according to a sixth embodiment of the present invention. FIG. 23 (a) illustrates a case where an input image and an enhanced image are not superimposed, and FIG. Image of superimposing images and enhanced images
FIG. 24 is a block diagram illustrating a configuration of a third contrast improving unit in the image processing apparatus according to the sixth embodiment of the present invention;
FIG. 25 is a block diagram illustrating a configuration of a third contrast improving unit in the image processing apparatus according to the seventh embodiment of the present invention;
FIG. 26A is a flowchart showing an overall operation in an image processing method according to the sixth embodiment of the present invention; FIG. 26B is a flowchart showing a third contrast improving process in the image processing method according to the sixth embodiment of the present invention;
FIG. 27 is a flowchart illustrating a third contrast improvement process in the image processing method according to the seventh embodiment of the present invention;
FIG. 28 is an explanatory diagram showing an outline of processing by an emphasis amount deriving reference restricting unit in the image processing apparatus according to the sixth or seventh embodiment of the present invention;
FIG. 29 is a block diagram showing a contrast improving unit in an example of a conventional image processing apparatus.
FIG. 30 is a block diagram showing another example of the conventional image processing apparatus.
FIG. 31 is a block diagram showing still another example of the conventional image processing apparatus.
FIG. 32 is a block diagram showing still another example of the conventional image processing apparatus.
[Explanation of symbols]
1 Input image
2 Output image
3 emphasized image
4 Edge information
5 Modified images
10 Image input means
11 Edge information detecting means
12 Contrast improvement means
13 Image synthesis means
14 Image output means
20 Emphasis amount derivation means
21 Extraction means
22 Pixel value conversion means
30 Initial setting means
31 Termination determination means
32 Comparison range changing means
40 Coupling coefficient derivation means
41 Weighted average synthesis means
42 Output value determination means
120 Simple image synthesis means
121 Concentration correction means
170 Second Contrast Improvement Means
180 area determination means
181 Comparison range selection means
182 Adjustment coefficient deriving means
183 adjustment means
230 Third contrast improving means
240 Enhancement amount derivation reference constraint means
290 Image data input means
291 Image data division means
292 Histogram creation means
293 Contrast extension means
294 Image data output means
300 CCD
301 memory
302 Multiplication means
303 Level weighting means H
304 addition means
305 Speed conversion means
306 level compression means
307 Timing control means
308 Level weighting means L
309 Image synthesis unit
310 Digital imaging device
311 processor
312 Filter
313 display
320 Input image distribution detecting means
321 Reference color setting means
322 Color balance correction means

Claims (27)

デジタル画像データを入力する画像入力手段と、前記画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、前記画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、前記コントラスト改善手段で得られた強調画像と入力画像の合成を、前記エッジ情報検出手段で得られたエッジ情報をもとに行う画像合成手段と、前記画像合成手段で得られた合成後の画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on an input image obtained by the image input means, and edge information for extracting edge information of the input image obtained by the image input means Detecting means, image synthesizing means for synthesizing the enhanced image obtained by the contrast improving means and the input image based on the edge information obtained by the edge information detecting means, and image synthesizing means obtained by the image synthesizing means. An image processing apparatus comprising: an image output unit that outputs an image after synthesis. 前記コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、前記強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項1記載の画像処理装置。The contrast improvement means includes an enhancement amount derivation means for obtaining a contrast improvement amount of a target pixel, an extraction means for limiting and extracting a range effective from the contrast improvement amount obtained by the enhancement amount derivation means, and the extraction means. 2. The image processing apparatus according to claim 1, further comprising a pixel value conversion unit configured to convert the selected contrast improvement amount into an actual pixel value. 前記コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、前記設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、前記終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、前記強調量導出手段へ処理を渡す比較範囲変更手段と、前記終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項1記載の画像処理装置。An initial setting unit that initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel, and a contrast improvement amount of the target pixel based on the set pixel comparison range. The enhancement amount deriving means to be obtained, the end determination means for determining whether or not the contrast improvement processing has been completed in all the pixel comparison ranges, and if the end determination means has not determined the end, the pixel comparison range is changed. A comparison range changing unit that passes processing to an enhancement amount deriving unit; and an extraction unit that limits and extracts a range that is more effective than a contrast improvement amount obtained from a plurality of pixel comparison ranges when the end determination unit determines the end. 2. The apparatus according to claim 1, further comprising: a pixel value conversion unit configured to convert the contrast improvement amount selected by the extraction unit into an actual pixel value. An image processing device. 前記画像合成手段が、入力画像より得られたエッジ情報と入力画像を使って前記コントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出する結合係数導出手段と、前記結合係数導出手段で得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成する加重平均合成手段と、前記加重平均合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有することを特徴とする請求項1記載の画像処理装置。A coupling coefficient deriving means for deriving a coupling coefficient representing a ratio of each of the enhanced image and the input image obtained by the contrast improving means using the edge information and the input image obtained from the input image, A weighted average synthesizing unit that generates a weighted average image of the enhanced image and the input image based on a coupling coefficient occupied by the enhanced image and a coupling coefficient occupied by the input image obtained by the coupling coefficient deriving unit; and 2. The image processing apparatus according to claim 1, further comprising output value determination means for determining a pixel value in an output image based on the obtained combined image and the input image. デジタル画像データを入力する画像入力手段と、前記画像入力手段で得られ入力画像にコントラスト改善処理を行うコントラスト改善手段と、前記コントラスト改善手段で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段と、前記濃度修正手段で得られた修正画像と入力画像の合成を行う簡易画像合成手段と、前記簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, contrast improvement means for performing contrast improvement processing on the input image obtained by the image input means, and density distribution in the enhanced image obtained by the contrast improvement means in the input image. Density correction means for correcting the density distribution to match the density distribution, a simplified image synthesis means for synthesizing the corrected image obtained by the density correction means and the input image, and a synthesized image obtained by the simple image synthesis means. An image processing apparatus comprising: an image output unit that outputs an image. デジタル画像データを入力する画像入力手段と、前記画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、前記エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第2コントラスト改善手段と、前記第2コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、前記簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, edge information detecting means for extracting edge information of the input image obtained by the image input forming means, edge information obtained by the edge information detecting means and A second contrast improving unit for performing a contrast improving process on the input image based on the luminance, a simple image combining unit for combining the enhanced image obtained by the second contrast improving unit with the input image, and the simple image combining unit And an image output means for outputting the combined image obtained in (1). デジタル画像データを入力する画像入力手段と、前記画像入力成手段で得られた入力画像のエッジ情報を抽出するエッジ情報検出手段と、前記エッジ情報検出手段で得られたエッジ情報と入力画像内の輝度をもとに入力画像のコントラスト改善処理を行う第2コントラスト改善手段と、入力画像のエッジ情報と入力画像を使って前記第2コントラスト改善手段で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し合成処理を行う画像合成手段と、前記画像合成手段で得られた合成後の画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, edge information detecting means for extracting edge information of the input image obtained by the image input forming means, edge information obtained by the edge information detecting means and A second contrast improving unit for performing a contrast improving process on the input image based on the luminance, and a ratio of each of the enhanced image and the input image obtained by the second contrast improving unit using the edge information of the input image and the input image. An image processing apparatus, comprising: an image synthesizing unit that derives a coupling coefficient representing a combination and performs a synthesizing process; 前記第2コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、前記領域判定手段で得られた領域をもとに、画素比較範囲を選択する比較範囲設定手段と、前記比較範囲設定手段で選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求める強調量導出手段と、前記比較範囲選択手段で得られた画素比較範囲に応じて前記強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、前記調整係数導出手段で得られた調整係数により前記強調量導出手段で得られたコントラスト改善量を補正する調整手段と、前記調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項6または7記載の画像処理装置。The second contrast improving means for determining an area of a target pixel based on edge information; and a comparison range setting means for selecting a pixel comparison range based on the area obtained by the area determining means. And an emphasis amount deriving means for obtaining a contrast improvement amount of the target pixel based on the pixel comparison range selected by the comparison range setting means; and the emphasis according to the pixel comparison range obtained by the comparison range selection means. Adjustment coefficient deriving means for deriving an adjustment coefficient for correcting the contrast improvement amount obtained by the amount deriving means; and a contrast improvement amount obtained by the enhancement amount deriving means by the adjustment coefficient obtained by the adjustment coefficient deriving means. Adjusting means for correcting the contrast, an extracting means for limiting and extracting a range effective from the corrected contrast improvement amount obtained by the adjusting means, and a controller selected by the extracting means. The image processing apparatus according to claim 6 or 7, wherein the and a pixel value converting means for converting the actual pixel value from the list improvement amount. 前記第2コントラスト改善手段が、エッジ情報をもとに対象画素の領域を判定する領域判定手段と、前記領域判定手段で得られた領域をもとに、前記強調量導出手段で得られたコントラスト改善量を補正するための調整係数を導出する調整係数導出手段と、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、前記設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、前記終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、前記強調量導出手段へ処理を渡す比較範囲変更手段と、前記終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量を前記調整係数導出手段で得られた調整係数で補正する調整手段と、前記調整手段で得られた補正後のコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項6または7記載の画像処理装置。The second contrast improving means determines an area of the target pixel based on edge information; and a contrast obtained by the emphasis amount deriving means based on the area obtained by the area determining means. An adjustment coefficient deriving unit that derives an adjustment coefficient for correcting the improvement amount; an initial setting unit that initializes an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel; The emphasis amount deriving means for obtaining the contrast improvement amount of the target pixel based on the range, the end judgment means for judging whether the contrast improvement processing has been completed in all the pixel comparison ranges, and the end judgment means judging the end. If not, the pixel comparison range is changed, and a comparison range changing unit that passes processing to the emphasis amount deriving unit; Adjusting means for correcting the contrast improvement amount obtained from the surroundings with the adjustment coefficient obtained by the adjustment coefficient deriving means; and limiting and extracting a range more effective than the corrected contrast improvement amount obtained by the adjustment means. 8. The image processing apparatus according to claim 6, further comprising: an extraction unit; and a pixel value conversion unit configured to convert the contrast improvement amount selected by the extraction unit into an actual pixel value. 前記簡易画像合成手段が、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段と、前記加重合成手段で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段とを有することを特徴とする請求項5、6、8または9記載の画像処理装置。A weighted average synthesizing unit configured to generate a weighted average image of the input image and the emphasized image or the corrected image; and an output image based on the synthesized image and the input image obtained by the weighted synthesizing unit. 10. The image processing apparatus according to claim 5, further comprising: an output value determining unit that determines a pixel value of the image data. デジタル画像データを入力する画像入力手段と、前記画像入力手段で得られ入力画像にコントラスト改善処理を行う第3コントラスト改善手段と、前記第3コントラスト改善手段で得られた強調画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, third contrast improvement means for performing a contrast improvement process on the input image obtained by the image input means, and image output for outputting an enhanced image obtained by the third contrast improvement means And an image processing apparatus. デジタル画像データを入力する画像入力手段と、前記画像入力手段で得られ入力画像にコントラスト改善処理を行う第3コントラスト改善手段と、前記第3コントラスト改善手段で得られた強調画像と入力画像の合成を行う簡易画像合成手段と、前記簡易画像合成手段で得られた合成後の画像を出力する画像出力手段とを有することを特徴とする画像処理装置。Image input means for inputting digital image data, third contrast improvement means for performing contrast improvement processing on the input image obtained by the image input means, and synthesis of the enhanced image obtained by the third contrast improvement means and the input image An image processing apparatus comprising: a simple image synthesizing unit for performing the image processing; and an image output unit for outputting an image after synthesis obtained by the simple image synthesizing unit. 前記第3コントラスト改善手段が、対象画素のコントラスト改善量を求める強調量導出手段と、前記強調量導出手段で対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、前記強調量導出手段で得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量を実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項11または12記載の画像処理装置。The third contrast improvement means includes an enhancement amount deriving means for obtaining a contrast improvement amount of the target pixel, and an enhancement amount for restricting a pixel density around the target pixel when the enhancement amount derivation means obtains the contrast improvement amount of the target pixel. Derived density constraining means, extracting means for limiting and extracting a range effective from the contrast improvement amount obtained by the emphasis amount deriving means, and converting the contrast improvement amount selected by the extracting means into an actual pixel value The image processing apparatus according to claim 11, further comprising a pixel value conversion unit. 前記第3コントラスト改善手段が、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化する初期設定手段と、前記設定された画素比較範囲をもとに対象画素のコントラスト改善量を求める強調量導出手段と、前記強調量導出手段で、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束する強調量導出濃度拘束手段と、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、前記終了判定手段で終了判定されなかった場合、画素比較範囲を変更し、前記強調量導出手段へ処理を渡す比較範囲変更手段と、前記終了判定手段で終了判定された場合に、複数の画素比較範囲より得られたコントラスト改善量より有効となる範囲を限定し抽出する抽出手段と、前記抽出手段で選択されたコントラスト改善量より実際の画素値に変換する画素値変換手段とを有することを特徴とする請求項11または12記載の画像処理装置。An initial setting unit for initializing an initial condition and a comparison area range when calculating the contrast improvement amount of the target pixel, the third contrast improving unit; and a contrast improving unit for the target pixel based on the set pixel comparison range. The emphasis amount deriving means for obtaining the amount, the emphasis amount deriving means, when the contrast improvement amount of the target pixel is obtained, the emphasis amount deriving density restricting means for constraining the pixel density around the target pixel, End determination means for determining whether or not the processing has ended in the pixel comparison range, and a comparison range changing means for changing the pixel comparison range and not passing the processing to the emphasis amount derivation means when the end determination means has not determined the end. Extracting means for limiting and extracting a range that is more effective than a contrast improvement amount obtained from a plurality of pixel comparison ranges when the end determination means determines the end; The image processing apparatus according to claim 11 or 12, wherein the and a pixel value converting means for converting the actual pixel value from the contrast improvement amount selected by the extracting unit. デジタル画像データを扱う画像処理方法であって、入力された画像のエッジ情報を検出し、入力画像のコントラスト改善を行うとともに、入力画像のエッジ情報をもとにコントラスト改善された強調画像と入力画像の画像合成を行い、得られた合成後の画像を出力することを特徴とする画像処理方法。An image processing method for handling digital image data, comprising detecting edge information of an input image, improving the contrast of the input image, and enhancing and enhancing the contrast of the input image based on the edge information of the input image. An image processing method comprising: synthesizing an image; and outputting an obtained synthesized image. 対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量を実際の画素値に変換することで入力画像のコントラスト改善を行うことを特徴とする請求項15記載の画像処理方法。The contrast improvement amount of the target pixel is obtained by a relative comparison with the surrounding pixels of the target pixel, a range effective from the obtained contrast improvement amount is limited and extracted, and the extracted contrast improvement amount is converted to an actual pixel value. 16. The image processing method according to claim 15, wherein the conversion improves the contrast of the input image. 対象画素の周囲画素との相対的な比較により対象画素のコントラスト改善量を求める際の画素比較範囲をまず設定し、設定された画素比較範囲内での周囲画素との比較で対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行うことを特徴とする請求項15記載の画像処理方法。First, set a pixel comparison range when calculating the contrast improvement amount of the target pixel by relative comparison with the surrounding pixels of the target pixel, and compare the surrounding pixels within the set pixel comparison range to improve the contrast of the target pixel. It is determined whether or not this contrast improvement processing has been completed in all the pixel comparison ranges prepared in advance.If the completion determination has not been made, the pixel comparison range is changed, and the comparison with surrounding pixels is performed again. The contrast improvement amount of the target pixel is obtained by comparison, and when the end is determined, the range effective from the weighted average value of the contrast improvement amount by the plurality of pixel comparison ranges obtained so far is limited and extracted, 16. The image processing method according to claim 15, wherein the input image is improved in contrast by converting the selected contrast improvement amount into an actual pixel value. 強調画像と入力画像の画像合成処理が、入力画像より得られたエッジ情報と入力画像を使ってコントラスト改善処理で得られた強調画像と入力画像各々の占める割合を表す結合係数を導出し、得られた強調画像の占める結合係数と入力画像の占める結合係数をもとに強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得ることを特徴とする請求項15記載の画像処理方法。The image combining process of the enhanced image and the input image derives a coupling coefficient representing a ratio of each of the enhanced image obtained by the contrast improvement process and the input image using the edge information obtained from the input image and the input image, and A weighted average image of the emphasized image and the input image is generated based on the combined coefficient occupied by the emphasized image and the combined coefficient occupied by the input image, and based on the obtained combined image and the input image, 16. The image processing method according to claim 15, wherein a contrast-improved image of the input image is obtained by determining a pixel value. デジタル画像データを扱う画像処理方法であって、入力画像のコントラスト改善処理を行い、コントラスト改善処理で得られた強調画像内の濃度分布を入力画像内の濃度分布に合うように修正し、得られた修正画像と入力画像の簡易画像合成を行い、得られた合成後の画像を出力することを特徴とする画像処理方法。An image processing method for handling digital image data, in which a contrast improvement process of an input image is performed, and a density distribution in an enhanced image obtained by the contrast improvement process is corrected to match a density distribution in the input image. An image processing method for performing simple image synthesis of the corrected image and the input image, and outputting the obtained synthesized image. デジタル画像データを扱う画像処理方法であって、入力画像のエッジ情報を抽出し、得られたエッジ情報と入力画像内の輝度をもとに入力画像の第2コントラスト改善処理を行い、得られた強調画像と入力画像の簡易画像合成処理もしくは画像合成処理を行い、得られた合成後の画像を出力することを特徴とする画像処理方法。An image processing method for handling digital image data, wherein edge information of an input image is extracted, and a second contrast improvement process of the input image is performed based on the obtained edge information and luminance in the input image. An image processing method characterized by performing a simple image combining process or an image combining process of an enhanced image and an input image, and outputting the obtained combined image. 第2コントラスト改善処理として、入力画像のエッジ情報をもとに対象画素の領域判定を行い、判定された領域をもとに、画素比較範囲を選択し、選択された画素比較範囲内をもとに対象画素のコントラスト改善量を求め、選択された画素比較範囲に応じて得られたコントラスト改善量を補正するための調整係数を導出し、導出された調整係数によりコントラスト改善量を補正し、補正後のコントラスト改善量より有効となる範囲を限定し抽出処理を行い、抽出選択されたコントラスト改善量を実際の画素値に変換することを特徴とする請求項20記載の画像処理方法。As a second contrast improvement process, a region of the target pixel is determined based on the edge information of the input image, a pixel comparison range is selected based on the determined region, and a region within the selected pixel comparison range is determined. Calculate the contrast improvement amount of the target pixel, derive an adjustment coefficient for correcting the contrast improvement amount obtained according to the selected pixel comparison range, correct the contrast improvement amount with the derived adjustment coefficient, and perform correction. 21. The image processing method according to claim 20, wherein an extraction process is performed by limiting a range that is more effective than a later contrast improvement amount, and the extracted and selected contrast improvement amount is converted into an actual pixel value. 第2コントラスト改善処理として、エッジ情報をもとに対象画素の領域を判定し、判定された対象画素の領域をもとに、コントラスト改善量を補正するための調整係数を導出し、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、設定された画素比較範囲をもとに対象画素のコントラスト改善量を求め、コントラスト改善処理が全ての画素比較範囲で終了したかどうかの判定を行い、終了判定されなかった場合、画素比較範囲を変更し、画素比較範囲内をもとに対象画素のコントラスト改善量を求め、終了判定された場合、複数の画素比較範囲より得られたコントラスト改善量を調整係数で補正し、調整係数で補正後のコントラスト改善量より有効となる範囲を限定し抽出し、抽出されたコントラスト改善量より実際の画素値に変換することを特徴とする請求項20記載の画像処理方法。As a second contrast improvement process, an area of the target pixel is determined based on the edge information, and an adjustment coefficient for correcting the contrast improvement amount is derived based on the determined area of the target pixel. Initialize the initial conditions and the comparison area range when calculating the contrast improvement amount, determine the contrast improvement amount of the target pixel based on the set pixel comparison range, and determine whether the contrast improvement processing has been completed for all the pixel comparison ranges If the end is not determined, the pixel comparison range is changed, the contrast improvement amount of the target pixel is obtained based on the pixel comparison range, and if the end is determined, it is obtained from a plurality of pixel comparison ranges. The obtained contrast improvement amount is corrected by the adjustment coefficient, and the range that is more effective than the corrected contrast improvement amount is limited and extracted by the adjustment coefficient, and the extracted contrast improvement amount is extracted. The image processing method according to claim 20, wherein the converting the actual pixel value Ri. 簡易画像合成処理として、得られた強調画像と入力画像の加重平均画像を生成し、得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定することで入力画像のコントラスト改善画像を得ることを特徴とする請求項19から請求項22の何れか一項に記載の画像処理方法。As a simple image synthesizing process, a weighted average image of the obtained enhanced image and the input image is generated, and a pixel value of the output image is determined based on the obtained synthesized image and the input image, thereby determining a pixel value of the output image. 23. The image processing method according to claim 19, wherein a contrast-improved image is obtained. デジタル画像データを扱う画像処理方法であって、入力画像に第3コントラスト改善処理を行い、第3コントラスト改善処理で得られた強調画像を出力することを特徴とする画像処理方法。An image processing method for handling digital image data, comprising: performing a third contrast improvement process on an input image, and outputting an enhanced image obtained by the third contrast improvement process. デジタル画像データを扱う画像処理方法であって、得られ入力画像のコントラスト改善のための第3コントラスト改善処理を行い、第3コントラスト改善処理で得られた強調画像と入力画像の簡易合成を行い、得られた合成後の画像を出力することを特徴とする画像処理方法。An image processing method for handling digital image data, comprising: performing a third contrast improvement process for improving the contrast of an obtained input image; performing a simple synthesis of the enhanced image obtained by the third contrast improvement process with the input image; An image processing method characterized by outputting the obtained synthesized image. 第3コントラスト改善処理として、対象画素のコントラスト改善量を求める際に、対象画素周囲の画素濃度を拘束し、拘束された周囲の画素濃度をもとに対象画素のコントラスト改善量を求め、得られたコントラスト改善量より有効となる範囲を限定・抽出し、抽出されたコントラスト改善量を実際の画素値に変換することを特徴とする請求項24または25記載の画像処理方法。As the third contrast improvement processing, when obtaining the contrast improvement amount of the target pixel, the pixel density around the target pixel is constrained, and the contrast improvement amount of the target pixel is obtained based on the constrained peripheral pixel density. 26. The image processing method according to claim 24, wherein a range effective from the obtained contrast improvement amount is limited and extracted, and the extracted contrast improvement amount is converted into an actual pixel value. 第3コントラスト改善処理として、対象画素のコントラスト改善量を算出する際の初期条件と比較領域範囲を初期化し、対象画素のコントラスト改善量を求める際に、設定された対象画素周囲の画素濃度を拘束し、設定された画素比較範囲内で、拘束された周囲画素濃度をもとに対象画素のコントラスト改善量を求め、このコントラスト改善処理が予め用意された全ての画素比較範囲で終了したかどうかの判定を行い、終了判定がされなかった場合には画素比較範囲を変更して、改めて周囲画素との比較で対象画素のコントラスト改善量を求め、終了判定がされた場合には、それまでに得られた複数の画素比較範囲によるコントラスト改善量の加重平均値より有効となる範囲を限定し抽出し、選択されたコントラスト改善量より実際の画素値に変換することで入力画像のコントラスト改善を行うことを特徴とする請求項24または25記載の画像処理方法。As a third contrast improvement process, initial conditions and a comparison area range for calculating the contrast improvement amount of the target pixel are initialized, and when the contrast improvement amount of the target pixel is obtained, the pixel density around the set target pixel is restricted. Then, within the set pixel comparison range, the contrast improvement amount of the target pixel is obtained based on the constrained peripheral pixel density, and it is determined whether or not this contrast improvement process has been completed in all the prepared pixel comparison ranges. A judgment is made, and if the end is not determined, the pixel comparison range is changed, and the contrast improvement amount of the target pixel is obtained again by comparison with the surrounding pixels. The effective range is limited and extracted from the weighted average value of the contrast improvement amount obtained by the plurality of pixel comparison ranges, and the actual pixel value is obtained from the selected contrast improvement amount. The image processing method according to claim 24 or 25, wherein the performing contrast enhancement of an input image by converting.
JP2002239134A 2002-02-12 2002-08-20 Image processing apparatus and image processing method Expired - Fee Related JP4013699B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2002239134A JP4013699B2 (en) 2002-08-20 2002-08-20 Image processing apparatus and image processing method
CN2007100038189A CN1992782B (en) 2002-02-12 2003-02-12 Image processing device and image processing method
CNB038020203A CN1303570C (en) 2002-02-12 2003-02-12 Image processing device and image processing method
US10/500,597 US7386185B2 (en) 2002-02-12 2003-02-12 Image processing device and image processing method
EP10189322.0A EP2280376B1 (en) 2002-02-12 2003-02-12 Image processing apparatus and image processing method
EP03703336.2A EP1475745B1 (en) 2002-02-12 2003-02-12 Image processing device and image processing method
PCT/JP2003/001450 WO2003069557A1 (en) 2002-02-12 2003-02-12 Image processing device and image processing method
US12/117,343 US7773826B2 (en) 2002-02-12 2008-05-08 Image processing apparatus and image processing method
US12/827,264 US8098953B2 (en) 2002-02-12 2010-06-30 Image processing apparatus and image processing method for adaptively processing an image using an enhanced image and edge data
US13/315,580 US8494303B2 (en) 2002-02-12 2011-12-09 Image processing apparatus and image processing method for adaptively processing an image using an enhanced image and pixel values of an original image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002239134A JP4013699B2 (en) 2002-08-20 2002-08-20 Image processing apparatus and image processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007098179A Division JP4539674B2 (en) 2007-04-04 2007-04-04 Image processing apparatus, image processing method, and processor used for image processing

Publications (3)

Publication Number Publication Date
JP2004078652A true JP2004078652A (en) 2004-03-11
JP2004078652A5 JP2004078652A5 (en) 2005-10-13
JP4013699B2 JP4013699B2 (en) 2007-11-28

Family

ID=32022316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002239134A Expired - Fee Related JP4013699B2 (en) 2002-02-12 2002-08-20 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4013699B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287689A (en) * 2005-04-01 2006-10-19 Matsushita Electric Ind Co Ltd Image processing method, image processor, image processing program and integrated circuit including the image processor
WO2007125732A1 (en) * 2006-04-28 2007-11-08 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit
US7554695B2 (en) 2005-03-18 2009-06-30 Kabushiki Kaisha Toshiba Apparatus and method for image forming
JP2010263423A (en) * 2009-05-07 2010-11-18 Canon Inc Method and device for processing image
JP2010273392A (en) * 2010-09-08 2010-12-02 Canon Inc Image processing method and image processing device
US7881549B2 (en) 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
US7894684B2 (en) 2006-04-19 2011-02-22 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
KR101183343B1 (en) 2004-03-23 2012-09-14 마이크로소프트 코포레이션 Radiometric calibration from a single image
JP2015211320A (en) * 2014-04-25 2015-11-24 キヤノン株式会社 Image processing apparatus, control method thereof and program
CN114339187A (en) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 Image processing method, image processing apparatus, and storage medium

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101183343B1 (en) 2004-03-23 2012-09-14 마이크로소프트 코포레이션 Radiometric calibration from a single image
US7554695B2 (en) 2005-03-18 2009-06-30 Kabushiki Kaisha Toshiba Apparatus and method for image forming
JP4499599B2 (en) * 2005-04-01 2010-07-07 パナソニック株式会社 Image processing method, image processing apparatus, image processing program, and integrated circuit including the image processing apparatus
JP2006287689A (en) * 2005-04-01 2006-10-19 Matsushita Electric Ind Co Ltd Image processing method, image processor, image processing program and integrated circuit including the image processor
US8311357B2 (en) 2005-10-12 2012-11-13 Panasonic Corporation Visual processing device, display device, visual processing method, program, and integrated circuit
US7881549B2 (en) 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
US7894684B2 (en) 2006-04-19 2011-02-22 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
US8406547B2 (en) 2006-04-19 2013-03-26 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
US8401324B2 (en) 2006-04-28 2013-03-19 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
US7903898B2 (en) 2006-04-28 2011-03-08 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
US7881550B2 (en) 2006-04-28 2011-02-01 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
WO2007125732A1 (en) * 2006-04-28 2007-11-08 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit
JP2010263423A (en) * 2009-05-07 2010-11-18 Canon Inc Method and device for processing image
JP2010273392A (en) * 2010-09-08 2010-12-02 Canon Inc Image processing method and image processing device
JP2015211320A (en) * 2014-04-25 2015-11-24 キヤノン株式会社 Image processing apparatus, control method thereof and program
CN114339187A (en) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 Image processing method, image processing apparatus, and storage medium

Also Published As

Publication number Publication date
JP4013699B2 (en) 2007-11-28

Similar Documents

Publication Publication Date Title
JP5105209B2 (en) Image processing apparatus and method, program, and recording medium
US8447132B1 (en) Dynamic range correction based on image content
US8385680B2 (en) Image processing apparatus and image processing method
KR100879536B1 (en) Method And System For Image Enhancement
US6825884B1 (en) Imaging processing apparatus for generating a wide dynamic range image
US8494303B2 (en) Image processing apparatus and image processing method for adaptively processing an image using an enhanced image and pixel values of an original image
JP5171434B2 (en) Imaging apparatus, imaging method, program, and integrated circuit
US7409083B2 (en) Image processing method and apparatus
US7889250B2 (en) Image-acquisition apparatus
JP4123724B2 (en) Image processing program, computer-readable recording medium storing image processing program, image processing apparatus, and image processing method
JP4021261B2 (en) Image processing device
JP5901667B2 (en) Image processing apparatus and method, image processing program, and imaging apparatus
JP2009010566A (en) Method for expanding dynamic range of photographic image and imaging apparatus
US10218953B2 (en) Image processing apparatus, image processing method, and storage medium
JP2012108898A (en) Image processing device and image processing method
JP4013699B2 (en) Image processing apparatus and image processing method
JP2004021374A (en) Image processing method, image processing device, program, and storage medium
JP4635975B2 (en) Image processing apparatus and image processing method
JP3870796B2 (en) Image processing apparatus and image processing method
JP5932392B2 (en) Image processing apparatus and image processing method
Asari et al. Nonlinear enhancement of extremely high contrast images for visibility improvement
JP4539674B2 (en) Image processing apparatus, image processing method, and processor used for image processing
JP4664938B2 (en) Image processing apparatus, image processing method, and program
CN116416175A (en) Image fusion method based on self-adaptive edge-preserving smooth pyramid
CN113284058B (en) Underwater image enhancement method based on migration theory

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050607

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4013699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees