JP2004509486A - 色かぶり検出及び除去方法 - Google Patents

色かぶり検出及び除去方法 Download PDF

Info

Publication number
JP2004509486A
JP2004509486A JP2002513194A JP2002513194A JP2004509486A JP 2004509486 A JP2004509486 A JP 2004509486A JP 2002513194 A JP2002513194 A JP 2002513194A JP 2002513194 A JP2002513194 A JP 2002513194A JP 2004509486 A JP2004509486 A JP 2004509486A
Authority
JP
Japan
Prior art keywords
color
bin
chromaticity
close
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002513194A
Other languages
English (en)
Inventor
クーパー、テッド、ジェー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of JP2004509486A publication Critical patent/JP2004509486A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【解決手段】カラー補正法は適応的セグメント化を使用する。無彩軸(12)を有する色空間にデフォルトグレー半径(60)を設けて色平面に中間色のビン(42)を設定する。ビン(42)にデジタルカラー画像(32)の画素を集める。デフォルトグレー半径(60)内部の画素についてカラーヒストグラム(44)を計算して色度ピーク(74、76、78)を求め、デフォルトグレー半径をグレー半径(64)に調整する。グレー半径(64)内部の支配的な色素ピーク(80)から色かぶりを検出すると共に、無彩軸(12)からの色かぶり距離を検出する。色空間におけるカラー画像(32)から色かぶり距離を減じることにより画素から色かぶりを除去し、色かぶりを除去したカラー画像(36)を出力する。

Description

【0001】
【発明の属する技術分野】
本発明はデジタル画像に関し、特に、デジタル画像における色かぶり(color cast)の検出と除去に関する。
【0002】
【従来の技術】
シーン撮影中のシーンの光源(scene illuminant)に関しては、全体の露出の測定値以外には殆ど何も分からないので、デジタルスチルカメラ(digital still camera:以下、DSCという。)は色表現に関して相当な制約がある。シーン光源を推測する多くの試みが文献に報告されている。最も簡単な方法は、グレーワールド近似(gray world approximation)と呼ばれ、シーンにおける全表面の反射特性の平均色は灰色であると仮定している。この仮定に従うと、平均灰色表面から反射した後に平均色が残るとすると、その平均色は光源の色に他ならない。グレーワールド近似が有効でないシーンの場合にグレーワールド近似を適用すると、典型的には色かぶりが画像に現れる。より良い画像を得るために、光源を推定するより洗練されたアルゴリズムが開発されている。最も広く使用されている色補正法(color correction method)は、フォンクリース変換(Von Kries transformation)である。画像の赤、緑、青、すなわちRGB値を光源の推測値で除算してから、標準光源のRGB値を乗算する。他の光源推測法は、集合平均色(ensemble average)が集まる特定の色領域を測定した後、種々の色度チャート(chromaticity chart)上に分類する。これらの光源推測法は、多数の色距離測定基準(color distance metric)を用いて、グレーワールド近似から外れた支配的な色スキュー(color skew)を検索してシーン光源を推定する。
【0003】
典型的には、DSCメーカは、ホワイトバランス(white balance:以下、WBという。)として知られている方法において、幾つかの方法から要素を引き出す。WBの目的は、白いオブジェクトが白く見えるような画像を生成することであり、不均等エネルギ光源(non equi−energy illuminants)の視覚上の影響が最小化される。WBが適切に取られていないときは、色かぶり(例えば、西日の下におけるデジタルスチル画像の黄色のかぶり)がはっきりと画像に現れる。WB法は、殆どの場合、フォンクリース補正(Von Kries correction)を画像の全画素に対して適用することから開始し、これにより、上述した方法の仮定による光源推測値に基づき、RGBセンサアレイの増幅利得をバランスさせる。また、臨時的な調整として、殆どの場合、画像の最大輝度値を真白(例えばR=G=B=1.0)に設定する。また、ある種のカメラでは、最小輝度値を調整して、黒色点(black point)を真黒でない等エネルギレベル(例えばR=G=B≒0.01)に設定する。殆どのDSCカメラでは、明るい光の屋外シーンに対しては、露出を考慮して、黒色点を真黒(R=G=B=0.0)に設定する。画像の白色点(white point)及び黒色点領域を予め設定した目標に向けて移動させる(通常、関連する階調制御(tone control)を伴う)ことにより、良好なピークハイライト領域(peak highlight area)及びシャドウ領域(shadow area)が得られる。しかしながら、これは、階調の1/4〜3/4に含まれる大部分の画素情報に対して補正(compensation)を加えるものではない。得られる画像は、画像の半分以上に相当な色かぶり(color cast)を示す。画像の白色点(及び黒色点についても言えるが)は、画像取込中に極めて非線形に変化するので、カメラデータの中には後処理で利用できる光源情報は殆ど残っていない。
【0004】
画像取込中に原画像の白色点と黒色点が変化しないのであれば、画像の色空間(color space)を回転させて、白色点と黒色点を結ぶコアライン(core line)を無彩軸(achromatic axis)に一致させることができる。
【0005】
従来の色かぶり検出及び除去方法としては、所謂「グレー軸再配置(gray axis realignment)」法10があり、グレー軸再配置法10は、図1(従来技術)に示すように、L色空間において、「L」をL輝度軸、すなわち無彩軸12上の輝度値とし、「a」と「b」をaの色度軸14とbの色度軸16上の各色度値とするものである。原画像は、白色点17、黒色点18及び白色点17から黒色点18に結ぶコアライン20を有する。矢印22は、コアライン20の回転を表しており、回転によりコアライン20を無彩軸12に揃えて再配置した白色点24と再配置した黒色点26とする。筒状の中間色コア(cylindrical neutral−color core)28は、コアライン20を回転した後のものを表している。
【0006】
【発明が解決しようとする課題】
このグレー軸再配置法は、シーンのピーク輝度領域(peak illuminant area)は無彩色のハイライトである仮定しており、この仮定は、大量の現実の写真から導き出されたものである。なお、ある種のプロ用カメラは、ピーク輝度画素を真白に調整しない特殊目的用の手動ホワイトバランスモードを備えている。マクベススペクタライトIIIブース(MacBeth Spectralight III booth)において様々な光源の条件(D50、D65、冷白色蛍光灯、日没前昼光色(horizon daylight)、U30蛍光灯、白熱灯)下で、この方法によりデータを収集した。簡単なデータ後捕捉アルゴリズムにより、L色空間において、白色点17から黒色点18を結ぶコアライン20を、無彩軸12に一致するまで引き延ばして回転させた。この結果、種々の光源下の試験サンプルに含まれるマクベスカラーチャートグレーパッチ(MacBeth Color Chart gray patch)の無彩色の純度(achromatic purity)による測定値として、画像の色かぶりに顕著な減少が見られた。しかしながら、グレー軸再配置法は、画像における最高輝度点の色度情報に決定的に依存している。試験したカメラに色度情報は殆ど入っていなかったので、黒色点18の位置は問題にならなかったにもかかわらず、白色点17を少し動かすだけで画像の残りの部分に対する近中間色(near−neutral color)に視覚的な影響が現れた。
【0007】
【課題を解決するための手段】
本発明は、カラー画素から成るカラー画像から色かぶりを検出し、除去する色かぶり検出及び除去方法を提供する。無彩軸を有する色空間を準備すると共に、色度平面における中間色のビンを設定するのに用いるデフォルトグレー半径を準備する。画素の色素に基づきビンに画素を集める。デフォルトグレー半径内部のビンの画素について色度ピークを有するカラーヒストグラムを計算する。デフォルトグレー半径をカラーヒストグラムの色度ピークに基づきグレー半径に調整する。グレー半径内部の支配的な色度ピークから色かぶりを検出すると共に、支配的な色ピークと無彩軸との距離から色かぶりの距離を検出する。色空間においてカラー画像から色かぶりの距離を減じることにより色かぶりを除去し、色かぶりを除去したカラー画像を出力する。
【0008】
本発明はカラー画素から成るカラー画像から色かぶりを検出し、除去する色かぶり検出及び除去方法を提供する。無彩軸を有する色空間を準備すると共に、色度平面における中間色のビンを設定するのに用いるデフォルトグレー半径を準備する。画素の色素に基づきビンに画素を集める。デフォルトグレー半径内部のビンの画素について色度ピークを有するカラーヒストグラムを計算する。デフォルトグレー半径をカラーヒストグラムの色度ピークに基づきグレー半径に調整する。グレー半径内部の同一色度象限にある複数の色度ピークから色かぶりを検出すると共に、これら複数の色度ピークと無彩軸との平均距離から色かぶりの距離を検出する。色空間においてカラー画像から色かぶりの距離を減じることにより色かぶりを除去し、色かぶりを除去したカラー画像を出力する。
【0009】
グレー軸再配置法は、画像のピーク輝度画素を調節しない条件下で良好に動作するが、殆どのDSC装置は何らかの方法で画像の最も明るい画素を変更するので、現実の世界には殆ど適用されない。本発明に係る色かぶり検出及び除去方法は、画像全体に分布する大きな連続的な近グレーオブジェクトの色度を調べることによりこの制約を克服したものである。
【0010】
本発明の上述及びその他の利点は、添付図面を参照する以下の詳細の説明から当業者には明らかとなる。
【0011】
【発明の実施の形態】
図1に示すグレー軸再配置法(gray axis realigment method)10は、画像のピーク輝度画素を調節しない条件下では良好に機能するが、殆どのDSC装置は、何らかの方法で画像の最も明るい画素を変更するので、現実的には殆ど適用することができない。本発明に係る色かぶり検出及び除去方法は、画像全体に分布する大きな連続的な近グレーオブジェクトの色度を調べることにより、この制約を克服したものである。
【0012】
図2は、本発明を適用したデジタル画像装置30の構成を示すブロック図である。デジタル画像装置30は、原画像32が供給され、この原画像32は、本発明のビン方法(bin method)34により処理されて、補正画像(corrected image)36が生成される。
【0013】
このデジタル画像装置の基本的な考え方は、画像の最も明るい画素は損なわれる(compromised)としても、その他の全ての近中間色画素(near−neutral−pixel)は、元の色度特性を保持するということである。デジタル画像装置の基本的な考え方は、殆どグレーな(almost gray)オブジェクトを表す全ての画素を注意深く選択し、それらの平均色を識別することである。これらのオブジェクトの色位置を調べることにより、本発明のアルゴリズムでは、全てのオブジェクトに共通する全体的な色かぶりがあるか、あるいはオブジェクトがランダムに分散した色ベクトルを有するかについての証拠を検出する。このアルゴリズムは、画像が「殆どグレーな(almost gray)」オブジェクトを含まないか、あるいはシーン全体が単一の大きなカラフルなオブジェクトに支配されている(これは多くの場合「赤い納屋(red barn)」と呼ばれる)かの可能性に対して感度が良い。全ての近中間色に共通する色成分が見つかれば、その強さを推測し、その色度の逆数をこれらのオブジェクトの全てに適用する。補正のメカニズムは、三次元ルックアップテーブル(Lookup Table:以下、LUTという。)を実現する国際カラーコンソーシアム(International Color Consortium、国際標準化機構)プロファイルの基本構造を有する。このプロファイルは、直接試験画像に適用でき、あるいはディスクファイルに書き込んでから、同様の色かぶり特性を有する多数の画像に適用することができる。
【0014】
図3は、本発明に係る色かぶり検出及び除去方法におけるビン方法(bin method)34を示す図である。図2の原画像32が「デフォルトグレー半径」ブロック40に入力され、このブロック40は、初期グレー色コア筒(starting point gray color core cylinder)を準備する。次に、ビン方法34は、「中間色ビン検出」ブロック42に進む。ビン方法34は、「中間色ビン検出」ブロック42から「入力コア画素についての2Dカラーヒストグラムの計算」ブロック44に進む。ビン方法34は、「入力コア画素についての2Dカラーヒストグラムの計算」ブロック44から「グレー半径の拡大」判定ブロック46に進み、ここで、新たなピークに遭遇したという理由、あるいはピークの大きさが依然変化しているという理由からグレー半径の拡大を続けるべきかが判定される。「yes」のときは、ビン方法34は、「ピークの位置に基づく半径の調整」ブロック48に進み、次の反復のために、「中間色ビン検出」ブロック42に戻る。「no」のときは、ビン方法34は、「3D補正LUT作成」ブロック50に進み、各色に対する補正係数を記憶するルックアップテーブル(LUT)を作成する。次に、「LUTを介した全画像の変換」ブロック52において、LUTからの補正係数を適用してカラー画像の色かぶりを除去する。これで、ビン方法34は「終了」し、図2に示す補正画像36を出力する。
【0015】
なお、ビン方法34は、(近中間色領域内にある)各画像オブジェクトを丁度囲む適正な色ビンの範囲を選択することを試みる反復アルゴリズムとして実行される。この反復アルゴリズムの目標は、全ての近中間色オブジェクトが適切な色ビンに集められ、かつ色ビン内で検出されるどの色ピークも安定しているという条件を満たす最小の色度半径(chromatic radius)を探し出すことである。安定性は、色度半径内の小さな変化に対して新たなピークに遭遇しないこと、及びピークの大きさ(これはセグメント化された領域内に含まれる画素数の尺度である)が比較的一定であることにより測定することができる。ビン選択パラメータが所定の安定レベルに達したときには、近中間色オブジェクトの最小セットが識別されており、それらの平均色として最も可能性の高い値が得られている。これらのオブジェクトの色空間座標(ベクトル)分布は、色かぶりの有無とその強さを定める。また、この分布は、画像が多数のランダムに分散した色ベクトルを含み、補正が不要であることを示すこともできる。同様に、この分布は、一定色の大きなオブジェクトの存在(「赤い納屋」状態)を示すこともできる。この場合、このアルゴリズムは、色かぶりではないとする。
【0016】
図4は、本発明に基づいた図3の「デフォルトグレー半径」ブロック40に関するデフォルトグレー半径選択60をL軸12、a軸14、b軸16上に示す図である。白色点と黒色点を含まないグレー領域は、グレー半径64を有する筒状の中間色コア62として示される。最良の形態において、デフォルトグレー初期値は、a=b=15国際照明委員会(Commission Internationale de l’Eclairage:以下、CIELABという。)単位である。画像が40CIELAB単位を超えると、殆どの場合は色飽和するから、最大半径は、約40CIELAB単位となっている。
【0017】
図5は、本発明に基づいた図3の「中間色ビン検出」ブロック42に関する中間色の色ビン66の設定を示す図である。図5において、8×8格子は、色セグメントの統計的数を集計する中間色コア62の色ビン、例えば色ビン68を定義するものである。色ビン66の数は、グレー半径64の増加に応じて増加する。目標は、画像の大きな割合を占める近中間色の8〜12個の色と、目につく色かぶりを有する白領域を検出することである。(目につく色かぶりを有する画像及び白領域の大きな割合を占める8〜12個の近中間色の色を探し出すことである。)
【0018】
画素の選択において、輝度及び色度のある中央範囲内に見つかる画像の全ての画素は、オブジェクトを識別する色ビンにソートできると、当初は考えられていた。輝度レベルを制限することの合理性は、「最も明るい画素(黒色点でも可能である)」の補正により、シーンの真の色の特性でない近中間色オブジェクトが生成されることにあった。画像データベースを用いた実験の結果、輝度の制限は、色かぶりの方向を有意に変更しないことが直ちに判明した。より重要なことに、実験により、実際の画像はシャツのボタン、ペン、鉛筆又はレースの襟等の孤立した小さなオブジェクトを表す多数の画素を含むことが実証された。これらのオブジェクトは、人の背広、車又はデスクトップ等のシーンの支配的なオブジェクトに比べると非常に小さい。色かぶりの情報は、シーンの支配的な大きなオブジェクトに集中している。これらの支配的なオブジェクトは、大抵の場合、画像の主題ではない(例えばカップルの肖像写真の背景である灰色の壁)が、それらの全体の大きさと比較的一定の色は、シーンを見る者の印象を支配する。経験的に、近中間色オブジェクトに対する最良の測定基準は、画像の画素数の少なくとも1%を占める略一定な表面反射のようなものである。特定の色かぶりの存在を判定する際に、表面光源の重要なサンプルとなるのは、主として大きなオブジェクトである。
【0019】
大きなオブジェクトは、その表面である曲面に亘って多数の明度レベルを有すると仮定される。ビン方法34のアルゴリズムの目標は、オブジェクトに亘って変化を考慮して、色ビンの輝度及び色度の制約を経験的に調整することである。このアルゴリズムは、サンプル画像が数百の異なる小さなオブジェクトから成るときは、各色ビンの画素の数が少ないことから、大きなオブジェクトが存在しないとする。具体的には、「ウォーリーを探せ(Where’s Waldo)」の絵は、一定の色の背景が各オブジェクトを囲み、画素母集団の1%を占めるような可能性がない限り、多分大きなオブジェクトが存在しないとされる。殆ど全ての屋外の自然なシーンは、大きな近中間色のオブジェクトが存在するという判定基準を満たしている。これは、恐らく空、芝生、セメント、水、地面等が屋外のシーンに対して支配的であるという事実に起因している。屋内のシーンでは、織物や模様のオブジェクトが支配的である場合には、満たされない。人の肖像写真が存在するときには、顔や腕の皮膚の色が、一般的には近中間色オブジェクトのカテゴリに入り、殆どの場合画像の5%〜50%を占めることから、判定基準を満たさないものはなかった。
【0020】
図6は、本発明に基づいた「入力コア画素についての2Dカラーヒストグラムの計算」ブロック44に関する全体的な色度ヒストグラムマップ70を示す図である。ヒストグラムマップ70は、色度軸14,16と画素数軸72を有する。代表的な画像の場合、セグメント化されたオブジェクトの色分布は、中間色コア62内に、他と区別可能な別個のピーク74,76,78を有する。ピーク74,76,78がそれぞれ区別可能なときは、図3に示す「グレー半径の拡大」判定ブロック46において、グレー半径64を拡大させないと決定する。なお、色ビン66は、グレー半径64の今後の拡大を予測及び調整するためにのみ使用される。
【0021】
このアルゴリズムは、色度値が色空間範囲の中央半分の内部に収まる全画素についての色度ヒストグラムマップ70を作成することから、開始する。色度ヒストグラムマップ70は、符号付の8ビットのL座標において、|a|<64かつ|b|<64の中間色コアに最も近いオブジェクトに対応している。このaとbに対する2Dヒストグラムマップ70を用いて、セグメント化法(segmentation method)で検出された近中間色オブジェクトが共通の色度成分を持つかを識別する。次に、このアルゴリズムは、輝度値及び色度値のデフォルト範囲内に3つ以上の画素を含まない2×2画素の近傍を除去することにより、セグメント化を開始する。後述するように、このアルゴルズムは、1つの輝度座標と2つの色度座標を有する殆ど全ての色空間で機能する。4画素中3画素の判定基準(2×2の近傍の場合)により、小さなオブジェクトとエッジは通常この基準を満たさないので、画像の全画素の約30%が除去される。このアルゴリズムのこの部分の目標は、後続するステップで処理する画素数を速やかに減らし、略一定の反射を有する大きなオブジェクトのみを選択することである。
【0022】
上述の条件を満たす2×2の画素群は、ビン68等の色ビンに割り振られ、輝度及び色度の範囲が計算される。十分な数の色ビン66を収集したら、圧縮検索(compaction search)を実行して、輝度及び色度の範囲が互いに対応し(compatible)、色の範囲が近接したビンを併合する。この目標は、色ビン66の数をより簡単に操作できる色の範囲の数に減らすことである。約20個のカラー範囲の圧縮セットが最適であることが判明した。圧縮検索法に基づく輝度と2つの色度チャンネルの拡大は、反復フィードバックパラメータの第1のセットを構成する。これにより、圧縮ビンは、計算された新たな輝度及び色度の範囲と、新たな平均色を有する。更に、使用した全画素の座標も新たに作成したビンに記憶される。この方法は、全画像の処理が完了するまで続く。
【0023】
色範囲の圧縮セットが20以下の圧縮ビンに減少したら、セグメント化を開始する。セグメント化の目標は、共通表面反射を有する大きなオブジェクトを検出することである。自然のオブジェクトの表面は、殆どの場合曲面であり、その表面に亘って明るさと色が変化する。セグメント化により、オブジェクト内の隣接画素は、輝度及び色度がかなり広い範囲では変化しているにもかかわらず、実際のオブジェクトで見られるように、その変化は円滑であるので、併合される。
【0024】
セグメント化法は、以下のように進められる。各色ビンを画像のx、y座標によりソートして、それが同じ色のグループに属する他の画素グループに8方向で連結されているかを判定する。これらの画素、これらの座標、個々の色及びグループの色を含むセグメント化ビンを作成する。アルゴリズムのパラメータにより、隣接する8方向の連結した画素から1画素以上離れたオフセット位置の画素グループを含めることができる。実験結果によれば、0と1の空間オフセットが最良の結果を示した。要素が空間的に連結されていない場合、例えば人の右腕と左腕のような場合、単一の色ビンから2つ以上のセグメント化ビンを生成する。セグメント化ビン法は、左から右に連なる隣接画素の行を行の昇順で並べた画素の配列で完了する。これにより、各近中間色オブジェクトの重心(centriod)と共に、オブジェクトに内在する全面積(セグメントグループの部分ではないが、画素の構成要素により完全に囲まれる内部の画素の島を含む)を簡単に計算することができる。この情報により、シャツのボタンやペンのようなものがシャツのような他のオブジェクト上にある場合でも、オブジェクトの大きさを正確に推測することができる。近中間色の色度のオブジェクトは良好に分類される。セグメント化法は、オブジェクトの境界を含まない。エッジ(曲面又は矩形のオブジェクトの場合)は、境界で極めてはっきりした色の変化を示す傾向があるので、境界近傍において4画素中3画素は、類似の色を持たない確率が高い(これらは画素選択段階で除外される)。
【0025】
境界エッジがないことは、このアルゴリズムの利点である。オブジェクトの境界を迅速に検出するには、オブジェクト間の4画素幅のボイド(void)を探すだけでよい。ボイド(オブジェクトの画素が両側に存在する領域)を辿ると、近中間色オブジェクトの境界を直ちに横断する。高い色度を有するオブジェクトの境界を検出するためには、判定基準を画素選択段階で逆にして、高い色度の2×2近傍を考えるだけでよい。高い色度のオブジェクトが極めて明確な境界を有することから、このタイプのセグメント化は非常に良好に機能する。
【0026】
全てのセグメントビンを集め、圧縮したら、アルゴリズムは、全体の色度ヒストグラムマップ70を判定して、近中間色領域に幾つの個別色度ピークが発生しているか決定する。画素選択段階において認められた色度半径よりも大きな色度半径を有するピークを検出したときには、そのピークを含むように、4画素中3画素の判定基準用の色度選択半径を増加させる。また、色度半径に関するパラメータセットに加え、反復フィードバック法における2つの他パラメータセットを変更することもできる。第2のパラメータセットは、輝度及び色度のビン初期範囲であり、第3のパラメータセットは、ビン初期範囲からのビン最大拡大である。
【0027】
広範な試験によると、画素選択段階におけるグレー半径64のみを変更することにより、安定した色かぶりの補正結果を達成することができる。他の2つのパラメータセットは直ちに同じ結果に収束し、計算速度を上げる一定値を保つ。典型的には、安定した色かぶり距離に到達するには1又は2回の反復だけで済む。
【0028】
図7は、本発明に係る色かぶり検出及び除去方法のビン方法34を図6と同じ空間に示す図である。中間色コア62内で互いに接する3つのピークは、重心82を有する、単一の支配的な色度ピーク80となる。中間色コア62内の「グレーワールド」に戻る色かぶりの除去方向は、矢印84で示され、色かぶりの距離は、重心82が矢印84の長さだけ動く距離である。各色ビンの内容はそれぞれ無彩軸12に移動して、重心82の移動が成される。なお、単一の支配的な色度ピーク80を色かぶりと決定する前に、多くの統計的制約及び大きさの制約を満たす必要がある。
【0029】
3回の反復後、同じオブジェクトが略同一の形状で繰り返し識別される。輝度及び色度のビン初期範囲を変えることの重要性は、様々に変化する反射表面を持つ複雑な近中間色オブジェクトを識別することにある。このアルゴリズムを使用する目的が画像中のオブジェクトのセグメント化であるときは、ビン初期範囲の変更は、色度半径より重要なパラメータのセットである。
【0030】
要求されるパラメータセットを変更した後、全体の方法を繰り返す。画素選択段階においては、画像中の全ての原中間色画素を再度サンプリングするか、セグメント化されたオブジェクト内に現在位置する減少された画素セットを使用するかの選択肢がある。画像の全画素セットを使用すると、若干色かぶり除去の精度が上がる。セグメント化されたオブジェクト画素のみを使用すると、処理時間がかなり短縮される。アルゴリズムの目的が画像オブジェクトをセグメント化することであるときは、狭いビン初期範囲を選択する。また、全画素セットは、必要なオブジェクトの拡大のために使用されなければならない。広いビン初期範囲を選択したときは、セグメント化されたオブジェクトに現在位置する画素を使用すると、形状精度を殆ど損なうことなく処理速度が大幅に改善される。
【0031】
反復完了毎に、アルゴリズムは、調整されたパラメータのセットにおける変化量を判定する。新たな変化量が所定の閾値以下のときは、反復を停止する。この時点で、全体の色度ヒストグラムマップ70の現在のバージョンを解析する。ランダムな方向に複数の色度ピークがあるときは、アルゴリズムは、画像に色度シフトはないと決定する。この決定の論理は、異なる色度象限(chromatic quadrant)にある少なくとも2つの近中間色オブジェクトが示す異なる色度ピークによっては、全体的な色かぶりは生じないということである。これら2つのオブジェクトにまだ弱い(minor)色かぶりは存在するとしても、殆どの場合、視覚上問題とはならない。
【0032】
ヒストグラムマップに唯一つの色度ピークがあるとき、あるいは複数のピークの全てが色空間における選択した同一の色度象限にあるときは、色かぶりが有る可能性が高い。色度ヒストグラムマップの平均ベースラインは、主なピークを除去したときの、近中間色色度平面における平均ビン画素数として定義される。次に、アルゴリズムは、単一の色度ピークに関わる画素数が、平均ベースラインに選択された乗数閾値(multiplicative threshold)を乗じた値よりも大きいかを調べる。これは、基本的には、オブジェクトの色度ピークが近中間色領域のノイズレベルを超えているかを調べることである。これに限定されないが、平均ベースラインに10の乗数閾値を乗じると、許容範囲内にあることがわかった。答えが「yes」ならば、アルゴリズムは、色かぶりが、単一の色度ピークまでの半径に等しいと仮定する。同一象限に複数の色度ピークがあるときは、色かぶりを各ピークまでの平均半径とする。補正として、この量の色度をセグメント化法で検出された全てのオブジェクトから減じる。これにより「白色点と黒色点を結ぶ軸」は、確実に無彩軸にシフトされる。言うまでもないが、白色点及び黒色点のオブジェクトは、移動しない(その理由は、これらのオブジェクトは最初のホワイトバランス操作で既に補正されているからである)。画像の1/4〜3/4の階調を占める近中間色オブジェクトのみが補正される。
【0033】
色度ピークの画素数が、ベースラインの、乗数閾値である10倍に達しないときは、アルゴリズムは、色かぶりは無いと推定する。露出が適正な多くの写真には、はっきりとした色特徴(definite color signatures)を有する近中間色オブジェクトがある。しかしながら、統計的には、異なる色特徴を有する他のオブジェクトもある。写真における全ての大きな近中間色オブジェクトを平均化すると、異なる象限に複数のピークが、あるいは色度軸に非常に近接して単一のピークが形成されるはずである。全てのピークが中間色軸(neutral−color axis)から所定の閾値以下である画像は、色度的には中間色と考えられ、補正されない。このアルゴリズムのユーザは、画像の内容が色かぶりを示すときには、この仮定を無効にして、色かぶり補正を少し行うことができる。殆どの場合、この色かぶりは、濃い肌色(strong flesh tone)を含む画像に関係している。多くの肌色は、近中間色オブジェクトの範疇に入る。このような場合には、色かぶり補正により反対に、最終的な肌色に悪影響が出るので、色かぶり補正を行わないのがベストである。これについては後で詳しく述べる。
【0034】
アルゴリズムは、画像の異常に関する他の試験を行う。全ての近中間色オブジェクトの平均色度が所定の閾値を超える場合、アルゴリズムは、非常にカラフルな画像であるとして、停止する。これは、「赤い納屋」の画像の例である。アルゴリズムは、色かぶりの距離を一旦求めると、図7に示すように、その色度量をセグメント化されたオブジェクトから減じる。
【0035】
図3に示すように、「3DLUTを介した全画像の変換」ブロック52において、三次元LUT(ルックアップテーブル)を用いて、入力RGB値を最終的な出力RGB値に変換する。全てのLUTテーブル座標において、LUTに対する入力RGB値を輝度及び色度の色空間座標に変換する。これらの変換座標を各ビン平均色と比較する。一致するときは、色かぶりの色度を平均値(クリッピングが適用されている)から減じる。得られた値をRGB値に再変換する。RGB出力値における結果の増加又は減少を示すために、LUTにエントリを設ける。最終的な画像に人為的な結果(artifacts)が現れる「急激な(spike)」補正を避けるために、LUTに補間又はスムージングを適用する。LUTを永久記憶装置に書き込むことにより、同じ色かぶり問題を有する他の画像を解析し、及び/又は適用することができる。
【0036】
色かぶり除去前後のカラー画像から、本発明に係る色かぶり検出及び除去方法のビン方法34の有効性が示される。試験の目的のために、マクベスライトブース(MacBeth light booth)において固定光源の下で様々な見え方の変化の変化を示すシーンを選択した。ビン方法34を200枚の自然シーン画像で試験した。種々のDSC装置で撮影した屋外昼光下の画像には、雲、セメントの歩道やアスファルトに小さな「赤かぶり」による色変化がある。これらの色変化は、微妙だが、観察される。屋外画像に対する強い色かぶりの除去は、支配的な赤又はオレンジ色が存在する夕焼けの条件下の画像に対して適用される。
【0037】
屋内の自然画像では、フラッシュや蛍光灯の明かりにより、殆どの場合、緑の色かぶりが発生する。ビン方法34は、この種の自然シーンを非常に良く識別して、補正する。ミックス光源下においては、この色かぶり除去方法は、単一光源の実験結果に比べ不完全に見える。これは、恐らく、一部の近中間色オブジェクトが昼光に照らされ、他のオブジェクトが蛍光灯に照らされている結果である。全体の色度ヒストグラムマップ70において、2つのオブジェクトは2つのスペクトルピーク(光源タイプ毎に1つのピーク)を示し、これらのピークは、異なる色象限に現れる程、異なっている。このような場合、ビン方法34は、強い補正を行わない。このような場合、セグメント化情報は、各オブジェクトの空間座標を提供する。それらの画像座標によって近中間色オブジェクトを分類するために、解析を行ってもよい。近中間色のグループ間で加重差分(weighted differentiation)をとって、位置及び固有の色かぶり間の相関を求める。この場合、オブジェクトの各セットをそれらの平均局部色によってバランスさせるために、2つの別々の色かぶり除去を行ってもよい。
【0038】
ビン方法34のために、L色空間を選択したが、その理由は、微妙な色かぶりを検出し、補正するのに、知覚上の均一性が必要と考えられるからである。L色空間に係る浮動小数点及び立方根の要件のために、処理速度は明らかに低下した。320×240RGB画像に対する典型的な処理時間は、233MHzペンティアムウィンドズマシン(登録商標、プログラムの最適化なし)上で7秒である。なお、画像サイズを大きくしても、色かぶり座標の決定及びセグメント化の精度は、向上しなかった。中程度の色かぶり(8ビット座標コードで少なくとも12単位のa、b半径)を検出するためには、100×75画素の画像で十分であることが判明した。しかしながら、100×75画素の場合、実際のシーンに対するセグメント化の決定は、8方向連結オブジェクトがこの解像度では互いに分離する傾向が有るため、強く制限された。経験的に、320×240画素の画像は、処理時間対セグメント化の効率が最適であり、色かぶりを決定する半径精度は2単位であった。
【0039】
アルゴリズムが、色空間の選択にどのように依存するかについて調べた。JPEG圧縮法で普及していることから、「YUV」色空間を選択した。RGB線形座標からの変換は、以下の式で表される。
【0040】
【数1】
Figure 2004509486
【0041】
逆変換は、以下の式で表される。
【0042】
【数2】
Figure 2004509486
【0043】
YUV色空間は、3×3の行列乗算を必要とするが、L色空間よりは約19%速い。320×240画素の画像に対する処理時間は、同一環境下で、代表的には5.6秒である。色かぶり除去のための色度軸ベクトルは、L色空間の結果と略同じである。しかしながら、セグメント化の結果にはかなりの違いがある。YUV色空間の結果は粗くなるが、その理由は、検出する近中間色オブジェクトの数が、通常は少ないからである。検出されたオブジェクトに対する画像面積(pixel areas)は、略等しい。L色空間で要求される立方根差分計算をしないので、YUV色空間の色度座標は、初期の色ビンを生成する際、量子化ノイズがかなり増える。2回の反復後、支配的な色度ピークのYUV色空間における位置は、L色空間の結果と等しくなる。
【0044】
色空間の最後の選択は「Lst」色空間である。これはシンプルな色度空間であり、R、G、BからL、s、tへの変換は、下記式に示すように、簡単な加算と除算で表される。
L=(R+G+B)/3   (3)
s=R/(R+G)     (4)
t=R/(R+B)     (5)
このアルゴリズムの主な用途は、自然画像から肌色を高速で検索するシステムである。色度軸が非常に粗くて雑であるが、アルゴリズムは、L色空間よりも50%多い反復回数で殆ど完全に対応した結果が出される。なお、sがRG平面上で1から0まで動くのに対し、tもRB平面上で同様に動く。試験において、s、tに関する色度変動の粗さのために、色かぶりベクトルが安定するのが遅くなり、反復回数が増えた。しかしながら、一旦安定すると、補正画像に同一の視覚的効果が観察された。Lst色空間の速度は、320×240画素の画像環境において約5.13秒であった。このアルゴリズムの処理時間の殆どは、ソーティング処理に費やされ、色空間の計算には殆ど費やされなかった。YUV色空間の結果と同様に、Lst色空間では、かなり粗いセグメント化の結果が得られ、近中間色オブジェクトの安定状態に収束するのが遅かった。非常に注目すべき点としては、肌色オブジェクトはLst色空間で直ちに捕捉されなかった。正確には、L及びYUVシステムに比べて約2倍の数の色ビンに亘って顔色が分布した。LUTで改善したLアルゴリズムは、Lstアルゴリズムに比して、処理速度が若干遅いという結論に達した。安定した色かぶり距離へのより高い収束性と、良好なセグメント化の結果が得られることから、L色空間が最も好ましい実施の形態となった。
【0045】
アルゴリズムの初期開発段階では、広いビン初期範囲のパラメータセット(wide preliminary bin range parameter sets)を輝度チャンネルと2つの色度チャンネルに使用したため、当初、肌色が問題となった。結果として、セグメント化は、典型的な画像における全画素の80%をカバーし、全ての肌色は近中間色オブジェクトとして選択された。早期の反復段階で色かぶりを補正すると、肌色オブジェクトは、黄橙色の色度の一部を失った。その結果は直ちに見分けがつき、非常に問題であった。その後の開発において、輝度及び色度のチャンネルに対して狭い範囲を使用すると、最小の共通色度ベクトルに高速で収束した。これにより、最終の近中間色オブジェクトにおける肌色の発生が急減した。肌色の「不飽和(desaturation)」の対策のために、ソフトウェアモジュールを使用して、セグメント化されたオブジェクトにおける肌色を検出し、色度の減算(chrominance subtaction)を減らした。文献に定義されている肌色の全体の領域(general area)とともに画像データベースにある特別の事例を用いた。
【0046】
この肌色のソフトウェアモジュールを使用する必要性はないが、これには非常に便利な性質がある。一旦セグメント化ビンが設けられた後、ソフトウェアモジュールを介して肌色を識別して、人の顔、腕や手を検出する。セグメント化ビンは、ビン画素分布の重心を含んでいる。更なる探索モジュールを作成して、ビンの画素分布が楕円に一致するか判定し、その長軸と短軸を推測した。探索モジュールは、肌色ビンに対してのみ、人の頭の長短軸比の標準に基づいて、それが顔に属すか判定する。画素の喪失や眼鏡、宝石によるノイズにもかかわらず、この顔検出ソフトウェアは、良好な性能を示した。試験は正面の顔の例に限った。推測された顔の高さを決定した後、プログラムは、その大きさの頭を持つ人の首、腕、手がありそうな場所の領域を調べる。他のビンを検索して、これらの場所に首、腕、手のオブジェクトに相当するオブジェクトを見つけ出すことや、露出のよい画像中の人数を数えることはある程度成功した。
【0047】
セグメント化の使用は、大きな近中間色の空間的位置を識別するのに役に立つ。目標は、天井の明かり、明るい外窓、昼光の空等の光源の位置を求めることであった。ビン方法34は、大きな近中間色オブジェクトを識別し、区別することについて極めて高い信頼性を示した。明るさが変化する曲面のオブジェクトは、直ちに分類され、1又は2つのビンに収められた。ビン方法34の反復により、色特性を変化させるビンの領域併合を、光源がかなり変化されるオブジェクトに一致させることができた。
【0048】
領域の色度に基づき、画像の領域を併合する能力は、本発明の重要な特徴である。輝度と色度に関する初期範囲の調整は、織物や低レベルの模様を有するオブジェクトを排除(collapse)するのに重要である。ビンの初期範囲と同時に定められるものは、単一のビンが処理することができる絶対的な最大色度範囲を記述するパラメータセットである。このセットにより、8方向連結のビン及び領域を互いに併合することができる。このアルゴリズムは、近中間色オブジェクトのグループの色度ベクトルが安定するまで、ビンの絶対的な最大色度の拡大を一定に保つ。輝度及び色度に対して狭いビン範囲を用いる初期の反復は、画像の内容を2つの提案するクラスに分類するのに役立つと考えられる。第1のクラスは、少ない非常に大きなオブジェクトを有する画像に属し、第2のクラスは多数の小さなランダムに配置されたオブジェクトを有する画像に属する。これら2つのクラスの知識に基づき、画像の主題である少ない主要なオブジェクトの検索に集中する特定のビンの拡大特性を実現することができる。
【0049】
結果として、このアルゴリズムは、比較的小さな(200×300画素のオーダの)画像に、色かぶりが有るかを迅速に判定する。1つの輝度軸と2つの色度軸を有する任意の色空間において、無彩軸からの、大きな近中間色オブジェクトの変位を表す色度ベクトルを見つけ出すことができる。実験によれば、試験した3つの色空間のうちL色空間によって、最も確実に安定色度ベクトルを検出することができた。このベクトルの大きさを求めた後、画像から色かぶりを除去するICCのような簡単なプロファイルが生成される。
【0050】
以上、本発明を、特定の最良の実施の形態を用いて説明したが、上述の記載から、多くの代替形態、変形形態及び変更形態があることは、当業者とって明らかである。したがって、本発明は、これらの全ての代替形態、変形形態及び変更形態を含むものである。明細書に記載し又は添付図面に示す全ての事項は、例示であり、本発明を制限するものでない。
【図面の簡単な説明】
【図1】
従来の色かぶり検出及び除去方法を説明するための図である。
【図2】
本発明を組み込んだデジタル画像装置の全体を示すブロック図である。
【図3】
本発明に係る色かぶり検出及び除去方法を説明するための図である。
【図4】
本発明に基づくデフォルトグレー半径選択を示す図である。
【図5】
本発明に基づく中間色ビンの検出を説明するための図である。
【図6】
本発明に基づくヒストグラムの計算を説明するための図である。
【図7】
本発明に係る色かぶり検出及び除去方法を説明するための図である。

Claims (16)

  1. 画素から成るカラー画像[32]を準備するステップと、
    無彩軸[12]と2つの色度軸[14,16]を有する色空間を準備するステップと、
    上記無彩軸[12]からのデフォルトグレー半径[60]を準備するステップと、
    色度平面[14〜16]における中間色[42]のビン[42]を設定するステップと、
    画素の色度に基づき上記ビン[42]に画素を集めるステップと、
    上記デフォルトグレー半径[60]内部の上記ビン[42]の画素について色度ピーク[74,76,78]を有するカラーヒストグラムを計算するステップと、
    上記カラーヒストグラム[44]の上記色度ピーク[74,76,78]に基づき上記デフォルトグレー半径[60]をグレー半径[64]に調整するステップと、
    上記グレー半径[64]内部の支配的な色度ピーク[80]から色かぶりを検出すると共に、上記無彩軸[12]と上記支配的な色度ピークとの距離から色かぶりの距離を検出するステップと、
    上記色平面において上記カラー画像[32]から上記色かぶりの距離を減じることにより上記画素から上記色かぶりを除去するステップと、
    色かぶりを除去したカラー画像を出力するステップとを有する色かぶり検出及び除去方法。
  2. 上記カラーヒストグラム[44]を計算するステップは、
    上記カラー画像[32]において隣接する画素のグループを指定するステップと、
    一定に近い反射特性を有する大きなオブジェクトのみが処理されるように、大多数の画素が類似した色度値を有さない隣接画素のグループを消去するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  3. 上記カラーヒストグラム[44]を計算するステップは、
    色度値の範囲を設定するステップと、
    上記色度値の範囲が近接するビン[42]を併合することにより上記ビン[42]を圧縮するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  4. 上記カラーヒストグラム[44]を計算するステップは、
    色の範囲を設定するステップと、
    上記ビン[42]をソートして、該ビンの画素と色の範囲が近接する他のビン[42]の画素との連結を決定するステップと、
    上記色の範囲が近接する連結画素を収めるためのセグメント化ビン[66]を設定するステップと
    上記セグメント化ビン[66]に上記色の範囲が近接する連結画素を集めるステップと、
    上記セグメント化ビン[66]の重心を計算するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  5. 上記カラーヒストグラム[44]を計算するステップは、
    色の範囲を設定するステップと、
    上記ビン[42]をソートして、該ビンの画素と色の範囲が近接する他のビン[42]の画素との連結を決定するステップと、
    上記色の範囲が近接する連結画素を収めるためのセグメント化ビン[66]を設定するステップと、
    上記セグメント化ビン[66]に上記色の範囲が近接する連結画素を集めるステップと、
    上記カラー画像[32]内のオブジェクトの境界を求めるために上記セグメント化ビン[66]間のスペースを検出するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  6. 上記カラーヒストグラム[44]を計算するステップは、
    色の範囲を設定するステップと、
    上記ビン[42]をソートして、該ビンの画素と色の範囲が近接する他のビン[42]の画素との連結を決定するステップと、
    上記色の範囲が近接する連結画素を収めるためのセグメント化ビン[66]を設定するステップと、
    上記セグメント化ビン[66]に上記色の範囲が近接する連結画素を集めるステップと、
    上記カラー画像[32]内の高色度オブジェクトの境界を求めるために色の範囲が近接しない上記セグメント化ビン[66]間のスペースを検出するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  7. 上記デフォルトグレー半径[60]を調整するステップは、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を含むように上記グレー半径を変更するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  8. 上記デフォルトグレー半径[60]を調整するステップは、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を含むように上記グレー半径を変更するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  9. 上記デフォルトグレー半径[60]を調整するステップは、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記ビンの初期色度範囲を変更するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  10. 上記デフォルトグレー半径[60]を調整するステップは、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記ビンの初期色度範囲から任意のビンの最大拡大を変更するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  11. 上記デフォルトグレー半径[60]を調整するステップは、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記グレー半径[64]内部の上記ビン[42]の画素について上記カラーヒストグラム[44]を再計算するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  12. 上記デフォルトグレー半径[60]を調整するステップは、
    色の範囲を設定するステップと、
    上記ビン[42]をソートして、上記ビンの画素と色の範囲が近接する他のビン[42]の画素との連結を決定するステップと、
    上記色の範囲が近接する連結画素を収めるためのセグメント化ビン[66]を設定するステップと、
    上記セグメント化ビン[66]に上記色の範囲が近接する連結画素を集めるステップと、
    上記デフォルトグレー半径[60]に近接する色度ピーク[74、76、78]を検出するステップと、
    上記グレー半径[64]内部の上記セグメント化ビン[66]の画素について上記カラーヒストグラムを再計算するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  13. 上記カラーヒストグラム[44]を計算するステップは、
    上記色かぶりを除去するステップを避けるために、上記色空間の異なる色度象限における支配的な色度ピーク[80]の存在を判別するステップを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  14. 上記カラーヒストグラム[44]を計算するステップは、
    上記支配的な色度ピーク[80]の大きさが支配的でない色度ピーク[74、76、78]の大きさの平均値に乗数閾値を乗じた値未満のとき、上記ヒストグラム[44]の計算から上記支配的な色度ピーク[80]を除外するステップを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  15. 上記デフォルトグレー半径[60]を準備するステップは、
    色空間、YUV色空間及びLst色空間から成るグループから色空間を選択するステップを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
  16. 上記色かぶりを除去するステップは、
    上記色かぶり距離に対する補正値を有するルックアップテーブルを作成するステップと、
    上記ルックアップテーブルを参照して上記カラー画像[32]を変換し、上記色かぶりを除去したカラー画像[36]を生成するステップとを有することを特徴とする請求項1記載の色かぶり検出及び除去方法。
JP2002513194A 2000-07-18 2001-07-05 色かぶり検出及び除去方法 Pending JP2004509486A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/618,205 US6377702B1 (en) 1999-12-08 2000-07-18 Color cast detection and removal in digital images
PCT/US2001/021529 WO2002007426A2 (en) 2000-07-18 2001-07-05 Color cast detection and removal in digital images

Publications (1)

Publication Number Publication Date
JP2004509486A true JP2004509486A (ja) 2004-03-25

Family

ID=24476754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002513194A Pending JP2004509486A (ja) 2000-07-18 2001-07-05 色かぶり検出及び除去方法

Country Status (9)

Country Link
US (1) US6377702B1 (ja)
EP (1) EP1320985A4 (ja)
JP (1) JP2004509486A (ja)
CN (1) CN1193315C (ja)
AU (1) AU2001280495A1 (ja)
DE (1) DE10196436T1 (ja)
GB (1) GB2380893B (ja)
TW (1) TW525373B (ja)
WO (1) WO2002007426A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274140A (ja) * 2006-03-30 2007-10-18 Noritsu Koki Co Ltd 写真画像処理装置及び写真画像処理方法
US10192473B2 (en) 2016-07-20 2019-01-29 Samsung Electronics Co., Ltd. Display apparatus and method for image processing

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972866B1 (en) * 2000-10-03 2005-12-06 Xerox Corporation Detecting process neutral colors
JP4078085B2 (ja) * 2001-03-26 2008-04-23 キヤノン株式会社 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体
EP1248455A1 (en) * 2001-04-05 2002-10-09 Imip Llc Automatic content-analysis based use of colour correction process
US7218344B2 (en) * 2001-08-15 2007-05-15 Sony Corporation System and method for efficiently performing a white balance operation
KR100422709B1 (ko) * 2001-10-05 2004-03-16 엘지전자 주식회사 영상 의존적인 얼굴 영역 추출방법
ITTO20011080A1 (it) * 2001-11-19 2003-05-19 Olivetti Tecnost Spa ,,metodo e dispositivo per la determinazione di una dominante cromatica in un'immagine,,
JP4409159B2 (ja) * 2002-10-22 2010-02-03 富士フイルム株式会社 デジタルプリントシステム及びデジタルプリント
US7345786B2 (en) * 2003-02-18 2008-03-18 Xerox Corporation Method for color cast removal in scanned images
JP2004266513A (ja) 2003-02-28 2004-09-24 Canon Inc 画像入出力制御方法及び画像入出力装置
US7450266B2 (en) * 2003-02-28 2008-11-11 Hewlett-Packard Development Company, L.P. Color cast reduction system and method
US7684096B2 (en) 2003-04-01 2010-03-23 Avid Technology, Inc. Automatic color correction for sequences of images
US6944333B2 (en) * 2003-04-30 2005-09-13 Ventana Medical Systems, Inc. Color image compression via spectral decorrelation and elimination of spatial redundancy
US7609908B2 (en) * 2003-04-30 2009-10-27 Eastman Kodak Company Method for adjusting the brightness of a digital image utilizing belief values
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
JP2005045558A (ja) * 2003-07-22 2005-02-17 Sony Corp 撮像装置
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和系统
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US7864221B2 (en) * 2004-10-15 2011-01-04 Lifesize Communications, Inc. White balance for video applications
US7460688B2 (en) * 2004-12-09 2008-12-02 Aptina Imaging Corporation System and method for detecting and correcting defective pixels in a digital image sensor
JP4325552B2 (ja) * 2004-12-24 2009-09-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR101092539B1 (ko) * 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
US7885458B1 (en) * 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7876970B2 (en) * 2006-01-13 2011-01-25 Qualcomm Incorporated Method and apparatus for white balancing digital images
TWI318534B (en) * 2006-03-23 2009-12-11 Novatek Microelectronics Corp Method for processing brightness of an image and related device
GB2437338A (en) * 2006-04-21 2007-10-24 Snell & Wilcox Ltd Detecting monochrome images from the skew of a statistical distribution of pixel values
US7724982B2 (en) * 2006-06-22 2010-05-25 Qualcomm Incorporated Estimation of lighting conditions based on near-gray pixel detection using cylindrical boundaries
WO2008022005A2 (en) * 2006-08-09 2008-02-21 Fotonation Vision Limited Detection and correction of flash artifacts from airborne particulates
US9137466B2 (en) * 2006-08-30 2015-09-15 Micron Technology, Inc. Image sensor defect identification using optical flare
US20080055434A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Image sensor defect identification using blurring techniques
US8270709B2 (en) * 2006-08-31 2012-09-18 Corel Corporation Color selection and/or matching in a color image
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8619101B2 (en) * 2007-06-04 2013-12-31 Apple Inc. Methods and systems for white point adjustment
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8229215B2 (en) * 2007-12-03 2012-07-24 Omnivision Technologies, Inc. Image sensor apparatus and method for scene illuminant estimation
CN101750030B (zh) * 2008-12-17 2012-11-21 鸿富锦精密工业(深圳)有限公司 曲面检测系统及方法
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US20120210229A1 (en) * 2011-02-16 2012-08-16 Andrew Bryant Color workflow
CN102158632B (zh) * 2011-04-08 2013-07-10 北京大学 一种cfa的获取方法及装置
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
CN102750713B (zh) * 2012-07-18 2015-01-07 山东神思电子技术股份有限公司 一种图像偏色检测方法
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9466090B2 (en) 2013-06-20 2016-10-11 Intel Corporation Subset based compression and decompression of graphics data
US9305368B2 (en) * 2013-06-21 2016-04-05 Intel Corporation Compression and decompression of graphics data using pixel region bit values
US9251572B2 (en) * 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
EP3039864B1 (en) 2013-08-26 2018-09-19 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN104899899A (zh) * 2015-06-12 2015-09-09 天津大学 一种基于密度峰值的颜色量化方法
US9781399B2 (en) * 2015-12-22 2017-10-03 Adobe Systems Incorporated Lighting and material editing using flash photography
US10387991B2 (en) 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression
CN106340037B (zh) * 2016-09-30 2018-09-07 杭州电子科技大学 基于色度中心比色度离心距的图像偏色检测方法
US11425363B2 (en) 2020-04-09 2022-08-23 Looking Glass Factory, Inc. System and method for generating light field images
CN112073703B (zh) * 2020-08-31 2022-04-22 深圳市景阳科技股份有限公司 一种色彩校正矩阵的调整方法、装置、终端设备及介质
WO2022225977A1 (en) 2021-04-19 2022-10-27 Looking Glass Factory, Inc. System and method for displaying a three-dimensional image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4309878C2 (de) * 1992-04-06 1994-07-21 Hell Ag Linotype Verfahren und Einrichtung zur Analyse und Korrektur der Bildgradation in Bildvorlagen
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
US5495428A (en) 1993-08-31 1996-02-27 Eastman Kodak Company Method for determining color of an illuminant in an image based on histogram data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274140A (ja) * 2006-03-30 2007-10-18 Noritsu Koki Co Ltd 写真画像処理装置及び写真画像処理方法
JP4661659B2 (ja) * 2006-03-30 2011-03-30 ノーリツ鋼機株式会社 写真画像処理装置及び写真画像処理方法
US10192473B2 (en) 2016-07-20 2019-01-29 Samsung Electronics Co., Ltd. Display apparatus and method for image processing

Also Published As

Publication number Publication date
GB0301012D0 (en) 2003-02-19
GB2380893B (en) 2005-02-23
EP1320985A2 (en) 2003-06-25
GB2380893A (en) 2003-04-16
US6377702B1 (en) 2002-04-23
AU2001280495A1 (en) 2002-01-30
DE10196436T1 (de) 2003-07-17
CN1455910A (zh) 2003-11-12
WO2002007426A3 (en) 2002-04-18
CN1193315C (zh) 2005-03-16
TW525373B (en) 2003-03-21
WO2002007426A2 (en) 2002-01-24
EP1320985A4 (en) 2008-04-23

Similar Documents

Publication Publication Date Title
JP2004509486A (ja) 色かぶり検出及び除去方法
US6788813B2 (en) System and method for effectively performing a white balance operation
JP4557390B2 (ja) 認知光源とハイライトとを利用した照明色度推定及び変換装置及びそのための方法並びにそのためのプログラムを記録したコンピュータが読める記録媒体
JP4041687B2 (ja) フラッシュアーチファクトを除去する方法および装置
US7057768B2 (en) Automatic color balance
US8237809B2 (en) Imaging camera processing unit and method
JP4234195B2 (ja) 画像分割方法および画像分割システム
JP4266461B2 (ja) カラー照明色温度の検出方法及び該装置
JP3018914B2 (ja) 階調補正装置
US8698918B2 (en) Automatic white balancing for photography
WO2019001163A1 (zh) 一种白平衡调整方法、装置、相机及介质
JP2000293696A (ja) 画像認識装置
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
WO1999017254A1 (en) Digital redeye removal
JP2018006912A (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
JPH10198802A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2002271638A (ja) ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
Cooper et al. Novel approach to color cast detection and removal in digital images
TW499812B (en) Method to determine the semi-S curve tone process of digital image
JP2000148978A (ja) 撮影光源推定方法および装置、画像処理方法および装置、並びに記録媒体
JP2003030651A (ja) デジタルイメージにおける影の識別方法
JPH10271524A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
US20030194127A1 (en) Chromaticity histogram that is weighted for brightness
JP3493148B2 (ja) 画像色処理装置、画像色処理方法および記録媒体
Kotera et al. Image-dependent gamut compression and extension

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080514

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080514

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120116