JP2004005694A - 画像処理方法、デジタル画像プロセッサ、デジタルカメラ、デジタル写真仕上げシステム及びプログラム - Google Patents

Abstract

【課題】デジタル画像のピクセル中の１以上のチャネルにおいて、クリッピングによって失われた情報を推定できるようにする。
【解決手段】本発明は、多チャネル画像中の１以上のクリップされたピクセルの１以上のクリップされたチャネルについての値を、１以上のクリップされたピクセルのクリップしていないチャネル及び１以上のクリップされたチャネルに近い１以上のクリップしていないチャネルとから得られる情報に依存して推定するステップを有する、画像処理の方法及びシステムを提供する。本発明は、クリッピングを経験したいずれかまたは全てのチャネルの値を推定できるようにする方法を提供する。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理の方法及びシステムに関する。特に、本発明は、１つかそれ以上のピクセルがクリッピングを経験している画像の画像処理の方法及びシステムに関する。
【０００２】
【従来の技術】
人間の視覚系が著しく広いダイナミックレンジを有していることは周知である。人間の視覚系は広い範囲の現実の場面の輝度に対応することができ、それを平均場面明度に適応することによって達成する。何らかの単一適応明度で、対応できる輝度の範囲は適応を行うことのできる明度の範囲と比較して小さいが、これは、例えば、「デジタル画像処理（“Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ”）」、ゴンザレス（Ｇｏｎｚａｌｅｓ）及びウィンツ（Ｗｉｎｔｚ）、第２版、１９８７年、１６〜１７ページで論じられている通りである。
【０００３】
それと対照的に、デジタル静止画像カメラのようなデジタル画像取り込み装置は、人間の視覚系（ＨＶＳ）の総合ダイナミックレンジと比較してかなり制限されたダイナミックレンジを有する。しかし、これは、ＨＶＳが単一の明度に適応されている時にはＨＶＳに匹敵する。単一の明度に適応されている時でさえ、ＨＶＳのダイナミックレンジはデジタル取り込み装置のダイナミックレンジより優れている。デジタル画像取り込み装置によって取り込みできる場面明度の範囲は、例えば電荷結合素子（ＣＣＤ）のような取り込み装置の電子機器素子によって制限される。従って、装置の階調範囲での妥協が行われ、装置はダイナミックレンジの両極端で、明度の小さな変化を区別できないことが多い。その結果、取り込み媒体の利用可能なダイナミックレンジより高い（または低い）場面輝度が、媒体が示しうる最大値（または最小値）に制約される時、クリッピングが発生する。
【０００４】
通常赤、緑及び青のチャネルを備える、アナログまたはデジタルマルチチャネル画像化システムでは、図１に示すように１つかそれ以上のチャネルでクリッピングが発生しうる。図１は、高輝度部クリッピングを示す三色画像中の直線に沿った信号振幅の変化のグラフである。この画像を取り込むために使用された装置は制限されたダイナミックレンジを有しており、３つのチャネルの何れかの最大信号レベルは場面輝度を正確に表すには不十分である。赤チャネルが位置ｘ_１で最初に最大値Ａ_ｍａｘに達し、次いで緑、最後に青がそれぞれ位置ｘ_２及びｘ_３でそれに続く。赤チャネルが値Ａ_ｍａｘに達する時、緑及び青チャネルは画像中のこの線に沿って変化し続ける。その時赤チャネルの値はＡ_ｍａｘで一定なので、色バランスは有害な影響を受ける。
【０００５】
クリッピングが１つのチャネル（例えば、赤、緑または青）だけで発生し、他のチャネルがクリップしていない時、そのピクセルは単一クリップ（ｓｉｎｇｌｙ　ｃｌｉｐｐｅｄ）したと呼ばれる。クリッピングが２つのチャネルで発生する時（例えば、赤と緑、ただし青はクリップしていない）、そのピクセルは二重クリップ（ｄｏｕｂｌｙ　ｃｌｉｐｐｅｄ）したと呼ばれる。クリッピングが３つのチャネル全てで発生する場合、そのピクセルは三重クリップ（ｔｒｉｐｌｙ　ｃｌｉｐｐｅｄ）したと呼ばれる。図１を参照して説明するように、高輝度クリッピングの結果、赤、緑及び青チャネルの相対振幅の変化による細部の損失と色のずれが起こることがある。例えば、白色人種の肌の色調はクリップした領域では赤みがかった黄色になることがある。取り込み装置のダイナミックレンジが不十分で低い場面輝度を区別できないシャドウクリッピングでは、取り込まれた画像のシャドウ領域中の細部が遮断されることがある。
【０００６】
下記特許文献は、カラー・ビデオ信号の１つのチャネルでのクリッピングによって発生する色相変化の影響を低減する方法を開示する。この特許で開示される１つの実動化方法では、ビデオ信号の１つのチャネルがクリップした時、信号の他のチャネルは、その信号がクリップされた瞬間にそれらのチャネルが保持していた値に等しい一定のレベルに固定される。信号がクリップしなくなる時までそれらのチャネルは固定される。他の実動化では１つの色チャネルのクリップが検出されると、クリップしていない色チャネルに減衰関数が適用される。このアルゴリズムは、信号のクリップしていないチャネルを修正することによってクリップした信号の持続期間にわたって色相を維持するが、いかなる形でもクリップしたチャネルを推定しようとはしていない。
【０００７】
ヒューレット・パッカード社のフォトスマート（ＰｈｏｔｏＳｍａｒｔ）ソフトウェア（登録商標）は、いくつかの企業の製品にバンドルされており、画像中のクリップしたピクセルを強調するツールを提供する。このソフトウェアのユーザは、クリップがなくなるまでクリップしたピクセルのコード・レベルを修正することができる。このソフトウェアはいかなる形でもクリップしたチャネルを推定しようとはしていない。
【０００８】
【特許文献１】
米国特許第５，２７４，４３９号明細書
【０００９】
【発明が解決しようとする課題】
デジタル画像のピクセル中の１以上のチャネルにおいてクリッピングによって失われた情報を推定できるようにする方法及びシステムが必要である。
【００１０】
【課題を解決するための手段】
本発明の第１の態様によれば、画像処理の方法であって、多チャネル画像中の１以上のクリップされたピクセルの１以上のクリップされたチャネルについての値を、１以上のクリップされたピクセルのクリップしていないチャネル及び１以上のクリップされたピクセルに近い１つかそれ以上のクリップしていないピクセルとから得られる情報に依存して推定するステップを有する方法が提供される。
【００１１】
好ましくは、本方法は、異なる単一クリップされたチャネルを有するピクセルについて、デジタル画像中の１以上のクリップされたピクセルのクリップされたチャネルについての値を推定するステップを順に繰り返すステップを有する。
【００１２】
好ましくは、本方法はさらに、１以上の単一クリップされたピクセルを、それぞれハイライト部クリッピング及びシャドウ部クリッピングについて、次式の条件の１つを満足するピクセルとして識別するステップを有する。
【００１３】
（Ｚ≧（Ｚ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｘ≦（Ｘ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｙ≦（Ｙ_ｈ，ｃｌ−Ｎ_ｃ））、または
（Ｚ≦（Ｚ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｘ≧（Ｘ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｙ≧（Ｙ_ｓ，ｃｌ＋Ｎ_ｃ））
そこで、Ｘ、Ｙ及びＺは各ピクセル（Ｚは単一クリップされたチャネルについての値である）中のチャネルの値であり、
Ｚ_ｈ，ｃｌ、Ｘ_ｈ，ｃｌ、及びＹ_ｈ，ｃｌは、ハイライト部クリッピングが発生している、それぞれＺ、Ｘ及びＹの可能な値の範囲の限度であり、
Ｚ_ｓ，ｃｌ、Ｘ_ｓ，ｃｌ、及びＹ_ｓ，ｃｌは、シャドウ部クリッピングが発生している、それぞれＺ、Ｘ及びＹの可能な値の範囲の限度であり、
Ｎ_ｃは、クリップしきい値、すなわち、それ以上（ハイライト部クリッピングの場合）またはそれ以下（シャドウ部クリッピングの場合）でチャネルがクリップする値を定義するために使用される値である。
【００１４】
１以上の単一クリップされたピクセルに近い１以上のクリップしていないピクセルを、１以上の単一クリップされたピクセルからの距離に依存して識別すればよい。
【００１５】
これは、識別された単一クリップされたピクセルの対象となる範囲を拡大し、この拡大された範囲から識別された単一クリップされたピクセルの対象となる範囲を減算し、かつクリップ近傍の領域から１以上の所定の要求を満足しないピクセルがあればそれを除外することによって達成すればよい。
【００１６】
その１以上の予め定められた要求の一例は、画像内の境界のピクセルが設定数以内であれば除外する、というものである。１以上の要求のさらなる例は、単一クリップされたピクセルに近い１以上のピクセルの１以上のチャネルの値が予め定められた範囲の外にある場合である。
【００１７】
識別されたクリップされたピクセルの対象となる範囲は、何らかの適切な拡大方法を使用して拡大すればよい。１つの例はバイナリ版の画像上の構造要素の動作によるものである。
【００１８】
好ましくは、１以上の単一クリップされたピクセルをクリップ領域内でグループ化し、各領域について集合的に推定を行う。
【００１９】
単一クリップされたピクセルの領域をグループ化する１つの可能な方法は、ｎ成分連結アルゴリズムまたは何らかの他の適切な連結アルゴリズムの使用による。ｎの値の例は４または８である。
【００２０】
好ましくは、領域がピクセルの所定のしきい値数より大きい場合、その中のクリップされたピクセルを推定し、そうでない場合その領域は無視してもよい。ピクセルのしきい値数は、画像の最終出力中で観察者の裸眼で領域が見えるように決定され、その領域が含むピクセルがこれより少ない場合、領域を推定しない。
【００２１】
通常、ピクセルのしきい値数は、画像中のピクセルの数の０．０２％までに定義する。例えば、画像サイズが１５００×１０００ピクセルの場合、しきい値は３００ピクセルまででよい。
【００２２】
本発明の方法の１つの例では、線形回帰の結果を使用して、推定により、１以上の単一クリップされたピクセルのクリップされたチャネルの値を決定する。他の方法を使用してもよい。例えば、高次関係回帰の結果を使用して、クリップされたチャネル（単数または複数）の値を推定してもよい。
【００２３】
線形回帰の結果を使用してクリップされたチャネル値を推定する推定を行う場合、推定への入力は好ましくは単一クリップされたピクセルのクリップしていないチャネルの値と、回帰係数ａ_０、ａ_１及びａ_２を含むが、回帰係数は、最小自乗法又は代替的には適応ハフ変換（Ｈｏｕｇｈ　ｔｒａｎｓｆｏｒｍ）を使用して計算すればよい。
【００２４】
好ましくは、回帰が行われ単一クリップされたピクセルの値が推定された後、推定された単一クリップされたピクセルの色調スケールを調整する。画像の色調スケールを調整する方法の例は、英国特許出願第０１２０４８９．０号で説明されている。
【００２５】
単一クリップされたピクセル領域にわたる色相及び／または彩度の変化がある場合、本方法は、単一クリップ近傍のピクセルを変換空間に変換するステップと、変換された単一クリップ近傍のピクセルを変換空間中の座標によって定義される範囲にグループ化するステップとを含む。次に、各範囲について回帰係数を計算しビニング配列（ｂｉｎｎｉｎｇ　ａｒｒａｙ）に格納する。次に、変換空間中の単一クリップされたピクセルの座標を決定し、変換空間中の座標に対応する回帰係数を使用して、クリップ領域中のピクセルの各領域についてクリップされたチャネルの値を推定する。
【００２６】
１つの例では、変換空間はデルタ空間であり、そこではデルタが単一クリップされたピクセルの２つのクリップしていないチャネルの値の間の差として定義される。他の例では、変換空間は、単一クリップされたピクセルの２つのクリップしていないチャネルの値の間の比によって定義される。
【００２７】
好ましい実施形態では、変換空間は次式によって定義される三次元色空間（Ｔ空間）である。
【００２８】
ｎｅｕ＝（ｒ＋ｇ＋ｂ）／√３
ｇｍ＝（２ｇ−ｒ−ｂ）／√６
ｉｌｌ＝（ｂ−ｒ）／√２
そこで、ｒ、ｇ及びｂは、画像ピクセルの赤、緑及び青線形輝度の対数である。線形輝度は適当な逆ＲＧＢ非線形関数を適用することによって得られる。
【００２９】
好ましくは、ビニング配列はｇｍ及びｉｌｌに関してのみ定義される二次元回帰ビニング配列であり、回帰係数の対応する集合ａ_０、ａ_１及びａ_２が、変換色空間中のｇｍ及びｉｌｌ各々について決定される。
【００３０】
好ましい例では、クリップ領域のピクセル中のクリップされたチャネルによるデータの損失によって導入されるｇｍ及び／またはｉｌｌ座標の誤差を考慮する誤差信号が生成される。誤差信号は、各クリップ及びクリップ近傍のピクセル領域のｇｍ、ｉｌｌヒストグラム間の相互相関によって生成すればよく、その際対応する相関空間中のピークの位置がｇｍ及び／またはｉｌｌ各座標中の平均修正を提供する。
【００３１】
さらに好ましくは、クリップ領域は選択されるパラメータに依存して領域に細分され、細分された各領域中のピクセルについてそれぞれ誤差信号が決定される。選択されるパラメータは（Ｔ空間中に定義される）色相空間でもよい。
【００３２】
好ましくは、クリップ領域はＰ個の領域に細分されるが、その際Ｐは２〜１０（２と１０を含む）であり、誤差信号が各細分領域について生成される。各細分領域についての誤差信号は、細分された各クリップ領域及びクリップ近傍の領域のｇｍ、ｉｌｌヒストグラム間の相互相関によって決定され、その際対応する相関空間中のピークの位置が各細分クリップ領域中のピクセルについてのｇｍ及び／またはｉｌｌ各座標の平均修正を提供する。
【００３３】
１つの例では、Ｐはクリップ領域中のピクセルについての色相のパーセンタイル（ｐｅｒｃｅｎｔｉｌｅ）値に依存して計算する。
【００３４】
好ましくは、いずれかまたは全ての単一クリップされたピクセルのクリップされたチャネルについての値を計算した後、１以上の二重クリップされたピクセルのクリップされたチャネルについての値を、１以上の二重クリップされたピクセルのクリップしていないチャネル及び１以上の二重クリップされたピクセルに近い１以上のクリップしていないピクセルとから得られる情報に依存して、二重クリップされたピクセルの１以上のパラメータを調整することによって推定する。
【００３５】
好ましくは、１以上のパラメータには、二重クリップされたピクセルの色相及び／または彩度が含まれる。１以上の二重クリップされたピクセルのクリップされたチャネルについての値を推定するステップは、二重クリップされたピクセル領域を識別するステップと、二重クリップ近傍のピクセル領域を識別するステップとを有する。領域が識別されると、本方法は二重クリップ近傍（ｎｅａｒ　ｄｏｕｂｌｙ　ｃｌｉｐｐｅｄ）の領域を、例えば上記で定義されたＴ空間のような直交色空間に変換するステップを有する。
【００３６】
二重クリップ近傍のピクセルを変換した後、その二重クリップ近傍のピクセルから二次元ｇｍ、ｉｌｌヒストグラムが形成される。二次元ｇｍ、ｉｌｌヒストグラムに基づいて、クリップされた領域中のピクセルの色のＴ空間値の表示に対応するｇｍ及びｉｌｌ、ｇｍ_ｓｅｌ及びｉｌｌ_ｓｅｌの値が選択される。最後に、所定の数式により、二重クリップされた領域中のクリップされたチャネルについての新しい値が推定される。
【００３７】
Ｔ空間を変換空間として使用し、二重クリップされたピクセルが赤及び緑チャネルでクリップしている場合、各クリップされたチャネルについての値を推定するために使用される数式は次式である。
【００３８】
【数１】

【００３９】
そこで、ｂは二重クリップされた領域中のピクセルの青線形輝度の対数であり、ｒ_ｅｓｔ、ｇ_ｅｓｔは二重クリップされたピクセル領域中のピクセルについてのｒ及びｇの推定値である。
【００４０】
Ｔ空間を変換空間として使用し、二重クリップされたピクセルが赤及び青チャネルでクリップしている場合、各クリップされたチャネルについての値を推定するために使用される数式は次式である。
【００４１】
【数２】

【００４２】
そこで、ｇは二重クリップされた領域中のピクセルの緑線形輝度の対数であり、ｒ_ｅｓｔ、ｂ_ｅｓｔは二重クリップされたピクセル領域中のピクセルについてのｒ及びｂの推定値である。
【００４３】
Ｔ空間を変換空間として使用し、二重クリップされたピクセルが青及び緑チャネルでクリップしている場合、各クリップされたチャネルについての値を推定するために使用される数式は次式である。
【００４４】
【数３】

【００４５】
そこで、ｒは二重クリップされた領域中のピクセルの赤線形輝度の対数であり、ｇ_ｅｓｔ、ｂ_ｅｓｔは二重クリップされたピクセル領域中のピクセルについてのｇ及びｂの推定値である。推定された対数値ｒ_ｅｓｔ、ｇ_ｅｓｔ及びｂ_ｅｓｔから導出されるクリップされたチャネルの推定線形値Ｒ_ｅｓｔ、Ｇ_ｅｓｔ及びＢ_ｅｓｔは予め定められた範囲に制約される。
【００４６】
好ましくは、二次元ｇｍ、ｉｌｌヒストグラムに基づいて選択されるｇｍ及びｉｌｌの値はそれぞれモード値ｇｍ_ｍｏｄｅ及びｉｌｌ_ｍｏｄｅ、すなわちｇｍ及びｉｌｌの最も頻繁に発生する値である。
【００４７】
好ましくは、二重クリップされたピクセル領域を識別するステップは、次式のそれぞれハイライト部クリッピング及びシャドウ部クリッピングについての以下の条件の１つを満足するピクセルを識別するステップを有する。
【００４８】
（Ｘ≧（Ｘ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｙ≧（Ｙ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｚ≦（Ｚ_ｈ，ｃｌ−Ｎ_ｃ））または、
（Ｘ≦（Ｘ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｙ≦（Ｙ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｚ≧（Ｚ_ｓ，ｃｌ＋Ｎ_ｃ））
そこで、Ｘ、Ｙ及びＺは各ピクセル中のチャネルの値であり、
Ｘ_ｈ，ｃｌ、Ｙ_ｈ，ｃｌ及びＺ_ｈ，ｃｌは、ハイライト部クリッピングが発生している、それぞれＸ、Ｙ及びＺの可能な値の範囲の限度であり、
Ｘ_ｓ，ｃｌ、Ｙ_ｓ，ｃｌ及びＺ_ｓ，ｃｌは、シャドウ部クリッピングが発生している、それぞれＸ、Ｙ及びＺの可能な値の範囲の限度であり、
Ｎ_ｃはクリップしきい値を定義するために使用される値である。
【００４９】
好ましくは、画像内のピクセルの二重クリップ近傍の領域を識別するステップは、１以上の二重クリップされたピクセルからの距離に依存して識別される、１以上の二重クリップされたピクセルに近い１以上のクリップしていないピクセルを選択するステップを含む。
【００５０】
１以上の二重クリップされたピクセルに近い１以上のクリップしていないピクセルは、識別された二重クリップされたピクセルの対象となる範囲を所定の比率で拡大し、識別された二重クリップされたピクセルの対象となる範囲を減算することによって識別される。
【００５１】
ピクセルの二重クリップ近傍の領域を識別するステップはさらに、識別された二重クリップされたピクセルの対象となる範囲を拡大するステップの後、二重クリップ近傍の領域から１以上の予め定められた要求を満足しないピクセルがあればそれを除外するステップを含んでもよい。
【００５２】
好ましくは、二重クリップされたチャネルの可能な組み合わせ各々を有するピクセルについての値を順に推定する。
【００５３】
好ましくは、本方法は、いくつかまたは全ての二重クリップされたピクセルのクリップされたチャネルについての値を推定した後、多チャネル画像中の１以上の三重クリップされたピクセルのクリップされたチャネルについての値を、１以上の三重クリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定するステップをさらに有する。
【００５４】
三重クリップされたピクセルを識別するステップは、次式のそれぞれハイライト部クリッピング及びシャドウ部クリッピングについて、２つの以下の要求のうち１つを満足する全てのピクセルを選択することによって実行すればよい。
【００５５】
（Ｘ≧（Ｘ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｙ≧（Ｙ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｚ≧（Ｚ_ｈ，ｃｌ−Ｎ_ｃ））または、
（Ｘ≦（Ｘ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｙ≦（Ｙ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｚ≦（Ｚ_ｓ，ｃｌ＋Ｎ_ｃ））
そこで、Ｘ、Ｙ及びＺは各ピクセル中のチャネルの値であり、
Ｘ_ｈ，ｃｌ、Ｙ_ｈ，ｃｌ及びＺ_ｈ，ｃｌは、ハイライト部クリッピングが発生している、それぞれＸ、Ｙ及びＺの可能な値の範囲の限度であり、
Ｘ_ｓ，ｃｌ、Ｙ_ｓ，ｃｌ及びＺ_ｓ，ｃｌは、シャドウ部クリッピングが発生している、それぞれＸ、Ｙ及びＺの可能な値の範囲の限度であり、
Ｎ_ｃはクリップしきい値を定義するために使用される値である。
【００５６】
好ましくは、本方法はさらに、連結された三重クリップされたピクセルの数が、例えば画像中のピクセルの数の０．０２％までといった予め定められた量より大きい三重クリップされたピクセル領域を形成するステップを含む。
【００５７】
１以上の三重クリップされたピクセルに近い１以上のクリップしていないピクセルは、１以上の三重クリップされたピクセルからの距離に依存して識別すればよい。
【００５８】
単一クリップ近傍（ｎｅａｒ　ｓｉｎｇｌｙ　ｃｌｉｐｐｅｄ）及び二重クリップ近傍のピクセルを識別する際使用されるのと同様の方法を使用して、三重クリップ近傍（ｎｅａｒ　ｔｒｉｐｌｙ　ｃｌｉｐｐｅｄ）のピクセルを識別すればよい。
【００５９】
好ましくは、本発明による方法はさらに、三重クリップ近傍のピクセル領域中のピクセルのＲ、Ｇ、Ｂヒストグラム（Ｒ、Ｇ、Ｂはピクセル中の色チャネルの値である）を形成するステップと、そこから三重クリップ近傍のピクセルのＲ、Ｇ、Ｂの値を表す選択値Ｒ_ｓｅｌ、Ｇ_ｓｅｌ及びＢ_ｓｅｌを決定するステップとを含む。最も好ましくは、選択値Ｒ_ｓｅｌ、Ｇ_ｓｅｌ及びＢ_ｓｅｌは、ヒストグラム中のＲ、Ｇ及びＢの最も一般的に発生する値（Ｒ_ｍｏｄｅ、Ｇ_ｍｏｄｅ及びＢ_ｍｏｄｅ）であるように選択される。
【００６０】
次に、本方法は、三重クリップされたピクセル領域中の全てのピクセルのＲＧＢ値をＲ_ｓｅｌ、Ｇ_ｓｅｌ及びＢ_ｓｅｌの値に設定するステップを含む。
【００６１】
他の例では、サーフェスモデル（ｓｕｒｆａｃｅ　ｍｏｄｅｌ）のパラメータを三重クリップ近傍のピクセルの領域から決定し、そのサーフェスモデルを三重クリップされたピクセルの領域に適用する。パラメータは、何らかの適切な方法、例えば最小自乗法を使用して決定すればよい。
【００６２】
好ましくは、二重及び／または三重クリップされたピクセルのチャネルについて値を推定した後、推定されたピクセルの色調スケールを調整する。
【００６３】
本発明の第２の態様によれば、デジタル画像プロセッサであって、デジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を、１以上のクリップされたピクセルのクリップしていないチャネル及び１以上の単一クリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定するよう適用される処理手段を有するデジタル画像プロセッサが提供される。
【００６４】
このプロセッサは好ましくはクリップ領域中の１つかそれ以上の単一クリップされたピクセルをグループ化し、クリップ領域中のピクセルのチャネルについての値を集合的に推定するよう適用される。このプロセッサは、単一クリップされたピクセル領域にわたる色相及び／または彩度の変化がある場合、単一クリップ近傍のピクセルを関連変換空間に変換し、次に単一クリップ近傍のピクセルを、変換空間中の座標によって定義される範囲にグループ化するよう適用される。この後、このプロセッサは各範囲について回帰係数を計算し、その回帰係数をビニング配列に格納する。次に、変換空間中の変換された単一クリップ近傍のピクセルのグループに対応する回帰係数を使用してクリップ領域中のピクセルの各領域についてのクリップされたチャネルの値が推定できるように、単一クリップされたピクセルについて変換空間中の座標を決定する。
【００６５】
クリップされたチャネルを伴うピクセルでは、クリップしていないチャネル値と、クリップしていないチャネル値に依存して変化しうる回帰係数とを使用して、推定により、クリップされたチャネルについての値を計算する。
【００６６】
このプロセッサは好ましくはさらに、いずれかまたは全ての単一クリップされたピクセルのクリップされたチャネルについての値を推定した後、１以上の二重クリップされたピクセルのクリップされたチャネルについての値を、１以上の二重クリップされたピクセルのクリップしていないチャネル及び１つ以上の二重クリップされたピクセルに近い１以上のクリップしていないピクセルとから得られる情報に依存して、二重クリップされたピクセルの１つかそれ以上のパラメータを調整することによって推定するよう適用される。
【００６７】
さらに好ましくは、このプロセッサはさらに、いずれかまたは全ての二重クリップされたピクセルのクリップされたチャネルについての値を推定した後、デジタル画像中の１以上の三重クリップされたピクセルのクリップされたチャネルについての値を、１以上の三重クリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定するよう適用される。
【００６８】
本発明のさらに別の態様によれば、対象のピクセル化されたデジタル画像を取込むための取込み手段と、ピクセル化されたデジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を推定するよう適用される処理手段とを有するデジタル・カメラが提供される。この値は、１以上の単一クリップされたピクセルのクリップしていないチャネル及び１以上の単一クリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定する。
【００６９】
この処理手段はさらに、いずれかまたは全ての単一クリップされたピクセルのクリップされたチャネルについての値を推定した後、周囲のクリップしていないピクセルのものと混合する二重クリップされたピクセルのパラメータを調整することによって、ピクセル化された画像から二重クリップされたピクセルのチャネルについての値を推定するよう適用される。
【００７０】
この処理手段はさらに、いずれかまたは全ての二重クリップされたピクセルのクリップされたチャネルについての値を推定した後、三重クリップされたピクセルを周囲の三重クリップ近傍のピクセルと混合することによっていずれかまたは全ての三重クリップされたピクセルのクリップされたチャネルについての値を推定するよう適用される。
【００７１】
この処理手段は、プログラムされたマイクロプロセッサまたはＡＳＩＣといった何らかの適切な処理手段でよい。
【００７２】
本発明のさらに別の態様によれば、デジタル写真仕上げシステムであって、処理すべきピクセル化されたデジタル画像を受取る入力手段と、
ピクセル化されたデジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を、１以上の単一クリップされたピクセルのクリップしていないチャネル及び１以上の単一クリップされたピクセルに近い１以上のクリップしていないチャネルから得られる情報に依存して推定するよう適用される処理手段とを有するデジタル写真仕上げシステムが提供される。
【００７３】
好ましくは、この処理手段はさらに、いずれのまたは全ての単一クリップされたピクセルを推定した後、周囲のクリップしていないピクセルのものと混合する二重クリップされたピクセルのパラメータを調整することによって、ピクセル化された画像から１以上の二重クリップされたピクセルのクリップされたチャネルについての値を推定するよう適用される。
【００７４】
好ましくは、この処理手段はさらに、いずれかまたは全ての二重クリップされたピクセルのクリップされたチャネルについての値を推定した後、三重クリップされたピクセルを周囲の三重クリップ近傍のピクセルと混合することによっていずれかまたは全ての三重クリップされたピクセルのクリップされたチャネルについての値を推定するよう適用される。
【００７５】
好ましくは、この処理手段は、少なくともその１つが、コンピュータ上で実行される時、コンピュータが受取った画像に対して本発明の方法のステップを実行するようにする、１以上の画像処理アルゴリズムを有する画像処理アルゴリズム・データベースと通信するコンピュータを備える。
【００７６】
好ましくは、このデジタル写真仕上げシステムは、処理された画像の出力形式を生じるよう適用される、処理された画像を写真材料上に書込むＣＤ書込み装置またはデジタル写真プリンタといった出力手段を有する。
【００７７】
本発明のさらに別の態様によれば、コンピュータプログラムであって、プログラムがコンピュータ上で実行される時、本発明に係る方法の全てのステップを行うプログラムコード手段を有するコンピュータプログラムが提供される。本発明はまた、プログラムプロダクトがコンピュータ上で実行される時、本発明に係る方法を行う、コンピュータ読取可能な媒体上に格納されるプログラムコード手段を有するコンピュータプログラムプロダクトを有する。
【００７８】
本発明のさらに別の態様によれば、画像処理の方法であって、少なくとも１つのチャネル値がクリップする時、多チャネル画像中のピクセルを識別するステップを含む方法が提供される。クリップしていないピクセルからのチャネル値に基づく関係を生成し、それを適用して識別されたピクセルのクリップされたチャネル値のクリップ除去（ｄｅｃｌｉｐ）を行う。
【００７９】
【発明の実施の形態】
ここで、本発明の例を添付の図面を参照して説明する。
【００８０】
本発明は、１つかそれ以上のチャネルでクリッピングを経験した値を有し、その際クリッピングは画像のハイライト部及び／またはシャドウ部領域で発生しうるマルチチャネル画像を処理する方法を提供する。本発明は静止画像またはビデオ及び／または一時的画像に適用してもよく、その際、ビデオまたは一時的画像の場合、本発明はフレーム毎に適用される。例えば、デジタル画像の場合、ピクセルが別個の赤、緑及び青（ＲＧＢ）チャネルを備え、これらのチャネルの１つかそれ以上でクリッピングが発生した場合、本発明はクリッピングによって失われた情報を推定（または復元）する方法を提供する。
【００８１】
図２は、本発明の画像処理方法中のステップの概要を示す流れ図である。説明されるステップは、ハイライト部及びシャドウ部クリップされたピクセルの推定に適用される。第１に、ステップ１では、各チャネルについて画像のシャドウ部及びハイライト部領域中でピクセルがクリップする値を求める。第２に、ステップ２では、単一チャネルでクリップしたピクセルを識別し、連結された単一クリップされたピクセルのクラスタを領域に形成する。画像中にハイライト部及びシャドウ部両方のクリップされたピクセルが存在する場合、ハイライト部及びシャドウ部クリップされたピクセルは同じ領域の一部を形成することはできず、独立したハイライト部及びシャドウ部単一クリップ領域が形成される。ステップ４では、識別された単一クリップされたピクセルの各領域について、クリップ近傍のピクセルの領域を求める。クリップ近傍のピクセルの領域を、クリップされたピクセル領域に近い（すなわち、近接した）ピクセルの集合として定義する。さらに、クリップされたピクセル・コード値の予め定められた範囲内のコード値を有するピクセルを、クリップ近傍であり、ひいてはクリップ近傍の領域に含まれるものと定義してもよい。
【００８２】
次に、ステップ６では、クリップ近傍のピクセルと、単一クリップされたピクセルのクリップしていないチャネルとに含まれる情報を使用して、クリップされたチャネルの値を推定する。最初、例えば全ての単一赤クリップされたピクセルについてこれを行う。単一赤クリップについての値を推定したら、別の、例えば緑の単一クリップされたチャネルを有するピクセルについての値を推定する。全ての単一クリップされたチャネルのピクセルの領域についてこれを繰り返す。言い換えれば、本発明は、クリップされたピクセルのクリップしていないチャネルから得られる情報と、クリップされたピクセル近傍のクリップしていないピクセルからの情報とに基づいて、デジタル画像中の単一クリップされたピクセルについての値を推定する方法を提供する。これを達成するために適した個々のアルゴリズムの例を以下詳細に説明する。
【００８３】
単一クリップされたピクセルの全ての領域について値を推定すると、ステップ８では、２つのチャネルでクリップ値を有したピクセルを識別し、二重クリップされたピクセルの領域を形成する。ハイライト部及びシャドウ部両方の二重クリップされたピクセルが画像中に存在する場合、ハイライト部及びシャドウ部ピクセルは同じ領域の一部を形成することはできず、独立したハイライト部及びシャドウ部単一クリップ領域が形成される。ステップ４と同様、ステップ１０では、二重クリップされたピクセルの各領域について二重クリップ近傍のピクセルを求める。次に、ステップ１２では、ステップ１０で求められた二重クリップ近傍ピクセルと、二重クリップされたピクセル領域のクリップしていないチャネルとに含まれる情報を使用して、クリップされたチャネルについての値を推定する。二重クリップされたピクセルの各組み合わせ、例えば、赤及び緑チャネルでクリップしているが青チャネルでクリップしていないピクセルと、緑及び青チャネルでクリップしているが赤チャネルでクリップしていないピクセルと、青及び赤チャネルでクリップしているが緑チャネルでクリップしていないピクセルとについてこれを繰り返す。
【００８４】
二重クリップされたピクセルの全ての領域について値を推定したら、ステップ１４では、３つ全てのチャネルでクリップした値を有したピクセルを識別し、連結された三重クリップされたピクセル領域を形成する。単一及び二重クリップされたピクセルの場合と同様、ハイライト部及びシャドウ部三重クリップされたピクセルは同じ領域の一部を形成することはできず、独立したハイライト部及びシャドウ部三重クリップ領域が形成される。ステップ１６では、三重クリップされたピクセルの各領域について、三重クリップ近傍ピクセルの集合を求める。次に、ステップ１８では、三重クリップ近傍ピクセルに含まれる情報を使用して、三重クリップ領域を修正して周囲付近のピクセルと混合する。最後に、ステップ２０では、画像の色調スケールを再整形してモニタまたはプリンタといった出力装置に送る。
【００８５】
単一クリップ近傍のピクセル領域と、単一クリップされたピクセルのクリップしていないチャネルとに含まれる情報を使用して単一クリップされたピクセルのクリップされたチャネルについての値を推定できる。例えば、緑チャネルでピクセルがクリップしている場合、単一クリップ近傍の領域中のピクセルから得られる情報をクリップされたピクセルの赤及び青チャネルからの情報と結合し、それを使用して緑チャネルについての値を推定する。
【００８６】
ｓＲＧＢのような非線形ＲＧＢ空間中のデジタル画像のデータを分析することによって、単一クリップされたピクセルの領域を識別する。これは、ＲＧＢ視野空間（ｖｉｅｗｉｎｇ　ｓｐａｃｅ）の１つの可能な例である。ｓＲＧＢを使用すると、観察者は通常の（基準）観察条件で、調正済みモニタ上に表示された画像を最適に知覚できる。線形画像空間中でクリップされたピクセルの分析及び推定を行う。適当な逆非線形関数をＲＧＢ信号に適用することによって、線形ＲＧＢ信号を得る。ｓＲＧＢ画像の場合、ｓＲＧＢ逆非線形関数をｓＲＧＢ画像に適用することによって、線形ｓＲＧＢ値を得ることができる。ｓＲＧＢデータを線形空間に変換すると、データは０〜１．０の範囲となる。ハイライト部クリップされたピクセルは、１．０（クリップ値が１．０に等しい場合）と１．８の上限との間のハイライト部クリップ値を越える値であると推定される。シャドウ部クリップされたピクセルは、０（クリップ値が０に等しい場合）と、−０．８の下限との間のシャドウ部クリップ値より小さい値であると推定される。（ハイライト部に対する）上限及び（シャドウ部に対する）下限は任意に設定されるが、それによって、推定されるピクセルはそれぞれ不合理に高い、または低い値に設定されることはなくなる。
【００８７】
ハイライト部でクリップしている単一、二重及び三重クリップされたピクセルを推定する場合について、本発明の詳細な説明を以下に示す。ハイライト部クリップされたピクセルのクリップされたチャネルについての値を推定する方法からの類推によって、シャドウ部クリップされたピクセルのクリップされたチャネルについての値を推定する場合がこれに続いて、以下に説明される。ＲＧＢ画像の任意の色チャネルについて、一定の色相及び彩度と変動する輝度とを有する単一クリップ近傍のピクセルの集合を想定すると、クリップされたチャネルとクリップしていないチャネルとの間の線形関係を決定できる。線形関係を決定すると、それを外挿することで失われたデータの推定が可能になる。
【００８８】
「高度工学数学（Ａｄｖａｎｃｅｄ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｍａｔｈｅｍａｔｉｃｓ）、第８版」、Ｅ．クライツィグ（Ｅ．Ｋｒｅｙｓｚｉｇ）著、ジョン・ワイリー＆サンズ（Ｊｏｈｎ　Ｗｉｌｅｙ　＆　Ｓｏｎｓ）刊、１９９９年、１１４５〜１１４７ページで説明された、多変量最小自乗回帰の方法を使用してその関係を決定すればよい。この参考文献は、直線、すなわち単一変数に適用される最小自乗の方法の例を示すが、多変数にも容易に拡張することができる。
【００８９】
単一クリップされたピクセルについて、クリップされたチャネル値をＺとし、クリップしていないチャネル値をＸ及びＹとすると、線形多変量回帰の例は、
Ｚ＝ａ_０＋ａ_１Ｘ＋ａ_２Ｙ　　　　　　　　・・・　　　（１）
となり、ここで標準最小自乗技術を使用してクリップ近傍のデータから係数ａ_０、ａ_１及びａ_２を導出できる。係数がわかれば、数式１を外挿してクリップされたチャネル値Ｚの推定を得ることができる。言い換えれば、失われたデータを推定できるようにする方法として外挿を使用する。さらに高次の関係を使用してもよい。
【００９０】
クリップ近傍のピクセルの色相及び彩度に等しい色相及び彩度を有する単一クリップされたピクセルのクリップされたチャネル値、Ｚ、の推定は、クリップ近傍のピクセルから導出される係数ａ_０、ａ_１及びａ_２を使用してクリップしていないチャネル値を（Ｘ及びＹ）を数式（１）に代入することによって行えばよい。チャネルＺＸＹは、赤チャネル値を推定する時ＲＧＢ（赤、緑、青）を指し、緑チャネル値を推定する時ＧＲＢを指し、青チャネル値を推定する時ＢＲＧを指す。ＺＸＹへのＲＧＢの他の割り当ては、例えば、ＺＸＹ＝ＲＧＢを使用してもよい。
【００９１】
クリップ近傍のピクセルから導出された回帰係数と、クリップされたピクセルの他の２つのチャネルからの情報とに基づいて、クリップされたチャネルの各１つについて対応する信号レベルを計算するのに使用される回帰式は、
赤単一クリップされたピクセルについて：Ｒ_ｅｓｔ＝ａ_０＋ａ_１Ｇ＋ａ_２Ｂ
緑単一クリップされたピクセルについて：Ｇ_ｅｓｔ＝ａ_０＋ａ_１Ｒ＋ａ_２Ｂ
青単一クリップされたピクセルについて：Ｂ_ｅｓｔ＝ａ_０＋ａ_１Ｒ＋ａ_２Ｇ
であり、ここでＲ_ｅｓｔ、Ｇ_ｅｓｔ、Ｂ_ｅｓｔは単一クリップされたピクセルの推定された赤、緑及び青チャネル値であり、Ｒ、Ｇ、Ｂは対応する単一クリップされたピクセルのクリップしていないチャネルの値である。
【００９２】
最小自乗を使用すると、係数ａ_０、ａ_１及びａ_２を決定するために使用される正規方程式が次式であることが求められたが、
【００９３】
【数４】

【００９４】
そこで、ｘ_ｉ、ｙ_ｉ及びｚ_ｉはＮ個の単一クリップ近傍のピクセルの集合中の線形ＲＧＢデータ要素である。これらの数式は行列形式に書き換えてもよく、それによって係数ａ_０、ａ_１及びａ_２が決定できる。
【００９５】
本発明による画像処理の１つの方法では、Ｚ、Ｘ及びＹチャネル中のピクセルがクリップするレベルを決定する。ハイライト部クリッピングの場合、画像中のそれぞれＺ、Ｘ及びＹの最大値Ｚ_ｈ，ｃｌ、Ｘ_ｈ，ｃｌ、及びＹ_ｈ，ｃｌを選択することによってこれを行う。各チャネルについて、さらに低いクリップしきい値を定義する。このさらに低いクリップしきい値は、さらに低いクリップしきい値及び対応するチャネルについてのクリップ値（すなわち、Ｚ_ｈ，ｃｌ、Ｘ_ｈ，ｃｌ、及びＹ_ｈ，ｃｌ）との間の差Ｎ_ｃが、０と画像または画像を取り込むために使用される取り込み装置に依存して適切に選択される数との間のある数のコード値であるように選択される。Ｎ_ｃの値はｓＲＧＢ画像の場合、通常３コード値に設定される。
【００９６】
ハイライト部クリッピングが発生しており、ＺがＲ、ＧまたはＢの何れかであるチャネルＺを推定するため、次式の制約を満足するｓＲＧＢ画像中の全てのピクセルを識別する。
（Ｚ≧（Ｚ_ｈ，ｌ−Ｎ_ｃ））＆（Ｘ＜（Ｘ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｙ＜（Ｙ_ｈ，ｃｌ−Ｎ_ｃ））
（２）
クリップされたピクセルの割合が、例えば画像中のピクセルの合計数の０．０２％といった予め定められた値より低い場合、特定のチャネルの推定は必要ない。個々のクリップされたピクセルを識別した後、クリップ領域を連結したクリップされたピクセルから形成する。これは、例えば、４成分連結（４−ｃｏｍｐｏｎｅｎｔ　ｃｏｎｎｅｃｔｉｖｉｔｙ）アルゴリズムまたは何らかの他の適切なアルゴリズム、例えば８成分連結（８−ｃｏｍｐｏｎｅｎｔ　ｃｏｎｎｅｃｔｉｖｉｔｙ）アルゴリズムを使用して行えばよい。
【００９７】
必要に応じて、例えば画像中のピクセルの合計数の０．０２％といったしきい値数より少ないピクセルを含む全てのクリップ領域をこの段階で無視する。
【００９８】
以下説明されるように、クリップされたチャネルＺを有する各領域について、その領域についての単一クリップ近傍のピクセルの集合を適切な方法を使用して識別する。次に、クリップ近傍のピクセルから回帰係数ａ_０、ａ_１及びａ_２を決定し、係数ａ_０、ａ_１及びａ_２の決定された値に基づいてクリップ領域中の各ピクセルのＺチャネルを推定する。
【００９９】
図３は、本発明の画像処理方法で使用される単一クリップされたピクセルを推定するステップの概要を示す流れ図である。第１に、ステップ２２では、チャネル（赤、緑または青）を選択する。次に、ステップ２４では、クリップ領域が存在する場合、クリップ領域に対応するクリップ近傍の領域を識別する。その後、ステップ２６では、ステップ２４で識別したクリップ近傍のピクセルに基づいて回帰係数ａ_０、ａ_１及びａ_２を計算する。そして、回帰係数ａ_０、ａ_１及びａ_２に基づいてクリップされたチャネルについての値を推定し、ステップ３０で、推定されたコード値をクリップ・チャネル値の代用にする。この処理を、クリップ領域を含む全てのチャネルについて繰り返す。
【０１００】
図４は、単一クリップ領域を有する画像の概略を示す。元の場面３２は色相及び彩度が一定であるが、対象を照明したやり方と、場面輝度を取り込むために使用された取り込み装置の制限とのため、単一クリップ領域３４が表われている。クリップ近傍の領域３６とは、クリップ領域３４を取り囲む場合、単一クリップされたピクセルの領域３４に対応するクリップ近傍のピクセルの集合を含む領域である。
【０１０１】
図５は、チャネルＺが推定され、チャネルＸ及びＹがクリップしていないという想定で、単一クリップされたピクセルの領域についてクリップ近傍のピクセルの集合を決定する１つの可能な方法の第１の段階を示す流れ図である。チャネルＺ、Ｘ及びＹがクリップする値がそれぞれＺ_ｈ，ｃｌ、Ｘ_ｈ，ｃｌ、及びＹ_ｈ，ｃｌに対応する。
【０１０２】
図５を参照すると、ステップ３８では、単一クリップされたピクセル領域のバイナリ画像版を生成し処理に入力する。ステップ４０では、「デジタル画像処理、第２版、プラットＷＫ（Ｐｒａｔｔ　ＷＫ）著、ジョン・ワイリー＆サンズ刊、１９９１年、４７２ページで説明されているような６×６構造要素、または何らかの他の適切な拡大処理またはアルゴリズムを使用して、ステップ３８で入力された領域を拡張する。ステップ４２では、元のバイナリ画像を拡張した領域から減算する。
【０１０３】
減算の結果二重または三重クリップされたピクセルとして分類された全てのピクセルを領域から除外する。二重または三重クリップしたピクセルは異常値であり、好ましくは回帰から除外する。画像境界（外縁）からのＬピクセルの距離より小さいかまたはそれに等しいピクセルがあれば、領域から除外する。これを行うのは、画像を生成した出力装置またはアプリケーションが、単一クリップ近傍のピクセルと誤って分類されうる境界ピクセルを追加したかもしれないからである。通常、Ｌは１０ピクセルに設定されるが、出力装置またはアプリケーションに応じて変化してもよい。それによって第１のクリップ近傍の領域Ａが定義されるが、回帰係数ａ_０、ａ_１及びａ_２を決定する際使用するためクリップ近傍の領域を明瞭に識別するためさらなる処理が必要である。
【０１０４】
ここで、回帰係数ａ_０、ａ_１及びａ_２を決定する際使用する単一クリップ近傍のピクセル領域を決定する第２の段階を説明する。図５のステップ３８で入力される単一クリップされたピクセル領域のバイナリ・マップが侵食される。「デジタル画像処理、第２版、プラットＷＫ著、ジョン・ワイリー＆サンズ刊、１９９１年、の４７２ページで典型的な例が説明される３×３構造要素を使用する形態学的バイナリ侵食（ｍｏｒｐｈｏｌｏｇｉｃａｌ　ｂｉｎａｒｙ　ｅｒｏｓｉｏｎ）といった何らかの適切な侵食を使用すればよい。元のバイナリ画像と侵食したバイナリ画像との差によって形成される領域を求める。二重または三重クリップされたピクセルの領域に隣接する元のバイナリ画像と侵食したバイナリ画像との差の中の全てのピクセル（ａ）を領域から除外する。さらに、画像境界からのＬピクセルの距離より小さいかまたはそれに等しいピクセル（ｂ）があれば、領域から除外する。
【０１０５】
２つの条件（ａ）及び（ｂ）の何れかによって除外されなかった、元のバイナリ画像と３×３侵食バイナリ画像との間の差の中の残りのピクセルがｓＲＧＢピクセルの集合（ｃ）を形成する。ピクセルの集合（ｃ）のクリップしていないチャネル値Ｘ及びＹのヒストグラムを形成する。Ｘチャネル・ヒストグラムのモード値、Ｘ_ｍｏｄｅとＹチャネル・ヒストグラムのモード値、Ｙ_ｍｏｄｅを求める。
【０１０６】
ハイライト部クリッピングについて、次式の基準に一致する、クリップ近傍の領域Ａのピクセルの部分集合を求める：
（Ｚ_ｈ，ｃｌ−Ｎ_ｄ）≦Ｚ＜（Ｚ_ｈ，ｃｌ−Ｎ_ｃ）＆（Ｙ_ｍｏｄｅ−０．７５Ｎ_ｄ）≦Ｙ≦（Ｙ_ｍｏｄｅ＋０．２５Ｎ_ｄ）＆（Ｘ_ｍｏｄｅ−０．７５Ｎ_ｄ）≦Ｘ≦（Ｘ_ｍｏｄｅ＋０．２５Ｎ_ｄ）
（３）
そこで、Ｚ_ｈ，ｃｌは画像中のＺチャネルがクリップする値であり、Ｎ_ｄは適切に選択されたしきい値コード値、例えばｓＲＧＢ画像の場合４５である。ピクセルのこの部分集合は、回帰係数ａ_０、ａ_１及びａ_２を定義するために使用される単一クリップ近傍のピクセルの集合として定義される。
【０１０７】
通常、場面の色はクリップ領域にわたって変化しうる。例えば、人物場面では、低価格のデジタル・カメラで取り込まれた画像では、顔がクリップすることが多い。顔のピクセルは、クリップ及びクリップ近傍のピクセル領域にわたって色相が変化する可能性が最も高い。従って、色相及び／または彩度が変化するクリップ領域を推定するには、回帰係数の多数の集合が必要である。
【０１０８】
図６は、クリップ及びクリップ近傍の領域に沿った色相及び／または彩度の変化が存在する、多変量最小自乗に基づいて色度単一クリップ領域を推定する１つの可能な方法で使用される回帰ビニング配列４４を示す。デルタ画像ｄ、を、単一クリップされたピクセル中のクリップしていないチャネルの差として定義する。例えば、ＺがクリップしているがＸ及びＹがクリップしていない場合、次式となる。
【０１０９】
ｄ＝Ｘ−Ｙ　　　　　　　　　　　　　　　　　（４）
Ｋ個のビンを含む図６に示すような回帰ビニング配列４４を構成する（通常Ｋは９または１０に等しい）。配列中の各ビンを使用して、ａ_０、ａ_１、ａ_２といった回帰係数の集合を格納する。単一クリップ近傍のピクセルについてのデルタ値を、数式（４）に基づいて計算する。最小及び最大デルタ値、ｄ_ｍｉｎ、及びｄ_ｍａｘ、を求める。
【０１１０】
デルタ回帰ビニング配列中のビンの幅、ｄ_ｗは、次式のように計算する。
【０１１１】
ｄ_ｗ＝（ｄ_ｍａｘ−ｄ_ｍｉｎ）／Ｋ　　　　　　　　　（５）
クリップ近傍のピクセルを、それらのデルタ（Ｘ−Ｙ）値に基づいてＫ個のグループに細分する。次に、各グループについて回帰係数を計算し、回帰ビニング配列中に保管する。以下の疑似コードでは、回帰ビニング配列をＤとするが、その際Ｄ_ｉは配列中のｉ番目の要素を指し、ｉ＝１，２，３．．．Ｋである。
【０１１２】
【０１１３】
ｉ＝１〜Ｋについて、
−クリップ近傍のピクセルのデルタ値ｄ_ｎｃが、ｄ_ｉ＝（ｉ−１）ｄ_ｗ＋ｄ_ｍｉｎである時（ｄ_ｉ≦ｄ_ｎｃ＜ｄ_ｉ＋１）という条件を満足するように、クリップ近傍のピクセルＱ_ｉの集合を選択する。
【０１１４】
−ピクセルＱ_ｉの部分集合から回帰係数、ａ_０、ａ_１、ａ_２を計算する。
【０１１５】
−ビンＤ_ｉに係数ａ_０、ａ_１、ａ_２を格納する。
【０１１６】
終了
【０１１７】
回帰ビニング配列中に空白のビンがあれば、ビニング配列中の隣接要素から回帰係数ａ_０、ａ_１、ａ_２の集合を形成することによって埋められる。例えば、空白のビンをその最も近い埋まったビンに等しく設定してもよく、また線形または高次補間関数を使用して空白のビンを補間してもよい。
【０１１８】
回帰ビニング配列を完全に埋めた後、クリップされたピクセルを推定する。クリップされたチャネル値を推定するため、クリップされたピクセルのクリップしていないチャネルのデルタ値（Ｘ−Ｙ）、ｄ_ｃを計算する。次に、次式の条件を満足する時の値ｉを求める。
【０１１９】
ｄ_ｉ≧ｄ_ｃ＞ｄ_ｉ＋１（６）
回帰ビニング配列中の対応するセルＤ_ｉを参照することによって係数ａ_０、ａ_１、ａ_２の対応する集合を選択する。係数ａ_０、ａ_１、ａ_２の集合を選択したら、対応するピクセルの値Ｘ及びＹを、選択した回帰係数と共に式（１）に代入することによって、それらのピクセルについての推定チャネルＺの値を計算する。最後に、推定チャネルＺを予め定められた限度内に制約する。クリップされたチャネルの推定は次式のように記述され、
Ｚ＝Ａ_０（ｄ_ｃ）＋Ａ_１（ｄ_ｃ）．Ｘ＋Ａ_２（ｄ_ｃ）．Ｙ　　　　　　　（７）
そこで、Ａ_０（ｄ_ｃ）、Ａ_１（ｄ_ｃ）及びＡ_２（ｄ_ｃ）はそれぞれ、回帰ビニング配列要素Ｄ_ｉ中に格納される係数ａ_０、ａ_１及びａ_２を指す。指標ｉ、は、ｄ_ｃに対して式（６）で記述された条件を満足する値である。
【０１２０】
単一クリップされたピクセルの２つの既知のチャネルＸ及びＹの代替関係を使用して、この方法を実動化する適切な変換空間を定義してもよい。例えば、変数ｆを、ｆ＝Ｘ／Ｙとなるような２つのクリップしていないチャネルの比として定義してもよい。この場合、ｆの各指標値ｆ_ｉについて、回帰係数ａ_０、ａ_１、ａ_２の対応する集合を決定する。配列のサイズは比較的小さいので、本発明の方法のステップを実行するために使用されるプロセッサ（以下説明する）のメモリ要求もそれに応じて小さいが、これは望ましいことである。
【０１２１】
回帰ビニング配列を使用してある値ｄ_ｃについての回帰係数を選択する上記で説明した方法は、最近傍補間（ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｕｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）の方法に相当する。より高次の方法を使用してある値ｄ_ｃについての近傍セルから回帰係数の集合を補間することも可能である。
【０１２２】
クリップした対象の色相及び彩度が変化する場合、よりロバストな推定を提供できる代替方法は、クリップ近傍及びクリップしたピクセル領域を直交色空間に変換することである。本発明の方法で使用するのに適した直交色空間の１つの可能な例は「Ｔ空間」である。Ｔ空間は、ニュートラル（ｎｅｕ）、緑−マゼンタ（ｇｍ）及び光源（ｉｌｌｕｍｉｎａｎｔ）（ｉｌｌ）のチャネルを備える。ｎｅｕ成分は輝度を計算し、ｇｍ及びｉｌｌ成分は色を計算する。ｇｍ及びｉｌｌ成分は輝度と無関係に変化する。変換は次式のようになされる。
【０１２３】
ｎｅｕ＝（ｒ＋ｇ＋ｂ）／√３　　　　　　　　　　　　（８）
ｇｍ＝（２ｇ−ｒ−ｂ）／√６
ｉｌｌ＝（ｂ−ｒ）／√２
ここで、ｒ、ｇ及びｂは、赤、緑及び青の線形輝度の対数である。
【０１２４】
直交色空間のさらに別の例にはＣＩＥＬＡＢまたはＣＩＥＬＵＶが含まれる。しかし、こうした空間は、計算上Ｔ空間より実動化するのが複雑になりうる。
【０１２５】
図７は、クリップ及びクリップ近傍の領域に沿った色相及び／または彩度の変化が存在する、多変量最小自乗に基づいて色度単一クリップ領域を推定する代替方法で使用される二次元回帰ビニング配列を示す。
【０１２６】
二次元回帰ビニング配列Ｈ、４６を形成する。配列中の各セルは回帰係数ａ_０、ａ_１、ａ_２の集合を格納できる。列及び行の数はそれぞれＫ及びＭに等しい。通常、それらは９または１０程度である。列の軸はｇｍに対応し、行の軸はｉｌｌに対応する。
【０１２７】
単一クリップ近傍のピクセルの領域についてＴ空間変換を計算する。変換式（８）と共に既知のＲ、Ｇ及びＢ値を使用して、ｇｍの最大及び最小値ｇｍ_ｍａｘ、ｇｍ_ｍｉｎ及びｉｌｌの最大及び最小ｉｌｌ_ｍａｘ及びｉｌｌ_ｍｉｎを求める。
【０１２８】
ビン間隔、ｇｍ_ｗ、ｉｌｌ_ｗを次式のように計算する。
【０１２９】
ｇｍ_ｗ＝（ｇｍ_ｍａｘ−ｇｍ_ｍｉｎ）／Ｋ　　　　　　　　　　　　　（９）
ｉｌｌ_ｗ＝（ｉｌｌ_ｍａｘ−ｉｌｌ_ｍｉｎ）／Ｍ
この例では、最小許容ｇｍ及びｉｌｌビン間隔を０．０５に設定したが、他の適切な値に設定してもよい。
【０１３０】
クリップ近傍のピクセルを、そのＴ空間色成分、ｇｍ及びｉｌｌに基づいて、Ｋ×Ｍ個のグループに細分する。各グループについて回帰係数ａ_０、ａ_１、ａ_２を計算し、回帰ビニング配列中の対応するセルＨ_ｉｊに保管する。Ｈ_ｉｊは、配列Ｈの（ｉ，ｊ）番目の要素であり、ｉ＝１，２，３．．．Ｋ、ｊ＝１，２，３．．．Ｍである。以下の疑似コードは、回帰ビニング配列、Ｈ_ｉｊをどのように埋めるかを記述する。
【０１３１】
【０１３２】
ｉ＝１〜Ｋについて
ｊ＝１〜Ｍについて
−任意のクリップ近傍のピクセルについて、ｇｍ及びｉｌｌ値が次式の条件を満足するように、クリップ近傍のピクセルの部分集合Ｑ_ｉｊを選択する。
【０１３３】
（ｇｍ_ｉ≦ｇｍ＜ｇｍ_ｉ＋１）＆（ｉｌｌ_ｊ≦ｉｌｌ＜ｉｌｌ_ｊ＋１）、そこで
【０１３４】
【数５】

【０１３５】
−ピクセルＱ_ｉｊの部分集合から回帰係数を計算する。
【０１３６】
−ビンＨ_ｉｊに係数を格納する。
【０１３７】
終了
終了
【０１３８】
言い換えれば、各クリップ近傍のピクセルをそのｇｍ及びｉｌｌ値によって類別する。次に、ピクセルの各グループについて回帰係数ａ_０、ａ_１、ａ_２を計算し、二次元回帰ビニング配列４６中の対応する位置に格納する。
【０１３９】
最近傍補間または線形（または高次）補間関数の何れかを使用して、近傍セルから空白のビンについての係数を計算する。
【０１４０】
回帰ビニング配列Ｈを埋めたならば、クリップされたピクセルのクリップされたチャネルについての値を推定することが可能である。図８は、本発明で使用される推定処理の概略を示す。クリップ領域４８は、二次元回帰ビニング配列４６に基づいて推定される。まず、クリップされたピクセルについてＴ空間色成分、ｇｍ及びｉｌｌを計算する。次に、クリップされたピクセルについて次式の条件を満足するように値ｉ及びｊを選択する。
【０１４１】
（ｇｍ_ｉ≦ｇｍ＜ｇｍ_ｉ＋１）＆（ｉｌｌ_ｊ≦ｉｌｌ＜ｉｌｌ_ｊ＋１）　　　（１０）クリップされたピクセルが回帰ビニング配列の対象となる範囲の外にある場合、埋まったセルのうち、クリップされたピクセルのｇｍ、ｉｌｌ値とｇｍ、ｉｌｌ座標のセルとの間の距離が最小になるものを選択する。
【０１４２】
クリップされたピクセルのＴ空間色成分に最も近似した対応を示すセルＨ_ｉｊを識別したら、その対応するセルに含まれる係数ａ_０、ａ_１、ａ_２を選択し、そのピクセルに割り当てる。すると、セルＨ_ｉｊから得た係数ａ_０、ａ_１、ａ_２についての値と共に、多変量線形回帰式（１）を使用して、推定されるピクセルについての値を簡単に計算できる。言い換えれば、セルＨ_ｉｊからの選択された回帰係数と共にそのピクセルからの値Ｘ及びＹを数式（１）に代入することによって、対応するピクセルについてのチャネルＺの値を計算する。この推定は次式のように記述できるが、
【０１４３】
【数６】

【０１４４】
ここで、Ａ_０（ｇｍ，ｉｌｌ）、Ａ_１（ｇｍ，ｉｌｌ）及びＡ_２（ｇｍ，ｉｌｌ）はそれぞれ、回帰ビニング配列要素Ｈ_ｉｊ中に格納される係数ａ_０、ａ_１及びａ_２を指す。セル座標ｉ及びｊは、ｇｍ及びｉｌｌに対して式（１０）で記述された条件を満足する値である。
【０１４５】
クリップしていないチャネルの差を使用する場合、線形（または高次）補間方法を使用して回帰係数ａ_０、ａ_１、ａ_２を決定できる。最後に、チャネルＺについて推定された値を予め定められた限度内に制約する。配列のサイズは比較的小さいので、本発明の方法のステップを実行するために使用されるプロセッサ（以下説明する）のメモリ要求もそれに応じて小さいが、これは望ましいことである。
【０１４６】
図９は、赤チャネルがクリップした８ビット／チャネルＲＧＢ画像の領域に沿った位置を基準とする信号振幅の変化のグラフの例を示す。赤信号レベル、緑信号レベル及び青信号レベルにそれぞれ対応する３つの曲線４９_１、４９_２及び４９_３が存在する。赤信号４９_１は、そのレベルが、場面画像を取り込むのに使用した画像化装置のダイナミックレンジによって定義される最大値（２５５）を越えているためクリップしている。緑４９_２及び青４９_３信号は、それらの最大振幅が、画像の領域に沿って常に最大可能振幅２５５の十分に下にあるためクリップしていない。
【０１４７】
図１０は、図９の単一クリップ赤チャネルを本発明の方法によって推定した位置を規準とする信号振幅の変化のグラフの例を示す。図１０における赤チャネルのグラフは、図９の平坦なクリップ領域に対応する領域で湾曲している。この場合、画像は推定されたピクセルを最大利用可能範囲内に制約するよう形成された。推定された赤チャネルの制約なしの値は、他の画像処理アルゴリズムで使用するメタデータとして格納してもよい。図１０におけるチャネルは、赤チャネルの形状がわずかに調整されたクリップ領域の両側のすぐの所で（ほぼピクセル１５０〜１６２及び２６０〜２７２）、色調スケール変更される。同じ比率の振幅減衰を各チャネルに適用する。
【０１４８】
上記で言及したように、画像信号の１つかそれ以上のチャネルがクリップしている場合、信号の真の色が変わることがある。ｓＲＧＢ画像の場合、１つのチャネルでのクリッピングによって、Ｚ’がクリッピング前の元のチャネル値でありＺがクリッピング後のチャネル値である時Ｚ’−Ｚに等しい誤差が導入される。そのため、クリップされたピクセルについてのｇｍ及びｉｌｌの推定にも誤差が導入され、ひいてはこれが、二次元回帰ビニング配列から回帰係数を参照する時の精度に影響を与える。
【０１４９】
各クリップされたピクセルのクリッピングによって導入される色誤差、すなわち、クリップされたチャネルのレベルの誤差についての推定がなされるので、色誤差推定に等しい修正係数を計算されたチャネル値に加算して、その元のクリップしていない値を得ることができる。例えば、ｇｍ、ｉｌｌの計算に導入された誤差がｇｍ_ｅ、ｉｌｌ_ｅに等しいと推定され、対応する修正係数ｇｍ_ｃ（＝ｇｍ_ｅ）及びｉｌｌ_ｃ（＝ｉｌｌ_ｅ）をｇｍ及びｉｌｌの計算された値に追加した場合、クリップされたピクセルの元の色は次式のように得られ、
ｇｍ’_ｅｓｔ＝ｇｍ＋ｇｍ_ｃ
ｉｌｌ’_ｅｓｔ＝ｉｌｌ＋ｉｌｌ_ｃ
ここでｇｍ’_ｅｓｔ及びｉｌｌ’_ｅｓｔはクリップされたピクセルの推定された元のクリップしていない色である。
【０１５０】
クリップされたピクセルに導入される色誤差の推定を得るため、クリップ近傍のピクセルの色分布がクリップ領域にわたるピクセルの色分布と同等であると想定する。これは、クリップ近傍のピクセルの選択が正確で、クリップ領域が存在する対象または形状からのピクセル・データを代表するサンプルである場合に当てはまる。
【０１５１】
図１１は、デジタル画像中のクリップ近傍のピクセルの領域についてのｇｍ、ｉｌｌヒストグラムの例を示す。図１２は、デジタル画像中のクリップされたピクセルの領域についての対応するｇｍ、ｉｌｌヒストグラムを示す。図１３は、図１１及び図１２のヒストグラムの相互相関を示す。
【０１５２】
クリップ及びクリップ近傍のピクセルの二次元ｇｍ、ｉｌｌヒストグラムがそれぞれＳ_ｃ及びＳ_ｎｃによって与えられると想定する。Ｓ_ｃ及びＳ_ｎｃの相互相関を行う場合、相関空間中のピークの位置によって、クリップ領域にわたるｇｍ及びｉｌｌの計算の際誤差を補償するために必要なｇｍ及びｉｌｌの平均修正が与えられる。
【０１５３】
図１４は、一旦配列を埋めると配列Ｈ_ｉｊ中に格納される回帰係数中の誤差を修正するために使用される誤差修正方法におけるステップを示す流れ図である。ステップ５２では、クリップ領域中のピクセルについてｇｍ及びｉｌｌを決定し、上記で説明された相互相関法により、ｇｍ_ｃ及びｉｌｌ_ｃについての対応する値の推定を行う。ステップ５４では、修正要素ｇｍ_ｃ及びｉｌｌ_ｃを、クリップ領域中のピクセルについて決定されたｇｍ及びｉｌｌの値に加算し、修正値ｇｍ’_ｅｓｔ及びｉｌｌ’_ｅｓｔを提供する。ステップ５６では、ｇｍ’_ｅｓｔ及びｉｌｌ’_ｅｓｔの値を使用して対応するセルＨ_ｉｊから回帰係数ａ_０、ａ_１、ａ_２の値を得る。次に、ｇｍ及びｉｌｌに対する修正値（ｇｍ’_ｅｓｔ、ｉｌｌ’_ｅｓｔ）に対応する回帰係数ａ_０、ａ_１、ａ_２の値を使用してクリップされたピクセルについての値を推定する。
【０１５４】
上記のように、回帰係数の正しい集合を識別したら、セルＨ_ｉｊからの選択された回帰係数と共にそのピクセルからの値Ｘ及びＹを数式（１）に代入することによって、対応するピクセルについてのチャネルＺの値を計算する。これは数式（１１）によって説明されているが、そこではｇｍ及びｉｌｌはそれぞれｇｍ’ｅｓｔ及びｉｌｌ’ｅｓｔによって代用されている。最後に、ステップ６０では、クリップされたピクセルについての値を予め定められた限度内に制約する。
【０１５５】
単一のｇｍ及びｉｌｌの色修正要素ｇｍ_ｃ及びｉｌｌ_ｃを計算する際の問題は、クリップ領域にわたって発生するクリッピングの量が大きく変化することである。これが意味するのは、クリップ領域にわたって計算された修正要素が正確なのは、その領域のピクセルの小さな部分のみについてでしかないということである。何らかのパラメータ、例えばそれらのニュートラル（ｎｅｕ）値の関数として、クリップされたピクセルをサブ領域にグループ化すれば、修正要素のさらに正確な推定が得られる。
【０１５６】
図１４は、複数のサブ領域に分割されたデジタル画像のクリップ領域の概略を示す。この例では、クリップされたピクセルを、ほぼ等しい数のピクセルを含むＰ個のサブ領域に分割する。通常、Ｐは１０に等しいかまたはそれ未満でよい。これは、ｎ＝１０，２０，３０，．．．．９０である時クリップ領域にわたって得られたピクセルニュートラル値のｎ番目のパーセンタイルに対応するニュートラル値に等しいサブ領域境界を設定することによって達成する。ｇｍ、ｉｌｌヒストグラムを各サブ領域中に含まれるピクセルから形成し、図１０〜図１２を参照して上記で説明されたクリップ近傍のピクセルのｇｍ、ｉｌｌヒストグラムと相互相関する。
【０１５７】
どちらの場合も、相関ピークは、サブ領域中のｇｍ、ｉｌｌ誤差を修正するために必要なｇｍ、ｉｌｌ変位に対応する。まず、クリップ領域中の最小（ｎｅｕ_ｍｉｎ）及び最大（ｎｅｕ_ｍａｘ）ニュートラル値を求める。次に、クリップ領域全体にわたって得られるニュートラル成分値の１０番目、２０番目、３０番目．．．９０番目のパーセンタイルを決定する。隣接するパーセンタイル値が等しい（すなわち、ある特定のサブ領域がピクセルを含まない）場合、隣接するサブ領域を併合する。
【０１５８】
次に、クリップ近傍のデータのｇｍ、ｉｌｌヒストグラムを計算する。その後、Ｐ個のサブ領域各々について、ｇｍ、ｉｌｌヒストグラムを計算し、これをクリップ近傍のピクセルのｇｍ、ｉｌｌヒストグラムと相互相関する。ｉ＝１〜Ｐである各サブ領域ｉについてヒストグラムのピークを求め、ｉ＝１〜Ｐについての（ｇｍ_ｃ，ｉｌｌ_ｃ）_ｉを提供する。その結果はニュートラルパーセンタイル値の関数としてのｇｍ_ｃ、ｉｌｌ_ｃエンティティーの表である。クリップされたピクセルの計算されたニュートラル値があれば、各クリップされたピクセルについてのｇｍ、ｉｌｌ修正をこの表から補間すればよい。
【０１５９】
以下の理由により単一クリップ領域を推定する過程で一部の領域がうまく推定できないことがある：（ｉ）あるチャネルについてのクリップされたピクセルの合計数がピクセルの予め定められた数、例えばピクセルの合計数の０．０２％未満であった、（ｉｉ）クリップされたピクセルが、ピクセルの所定数、例えばピクセルの合計数の０．０２％未満のピクセルを含む連結クリップ領域の一部を形成した、（ｉｉｉ）単一クリップ近傍のピクセルの数が予め定められたしきい値、例えば１０未満である。この場合、回帰係数の精度が低いと考えられるので単一クリップ領域は推定されない。うまく推定できなかった赤チャネル、青チャネル及び緑チャネルのクリップされたピクセルのリストを保管する。推定しなかったピクセルは、以下説明するピクセル充填方法を使用して充填（周囲の領域と混合）することができる。
【０１６０】
単一クリップ領域中のピクセル値を推定する上記で説明した処理を赤、緑及び青ピクセルの各単一クリップ領域について繰り返す。これを完了したら、二重クリップされたピクセルを推定する。
【０１６１】
図１６は、本発明に係る方法により二重クリップされたピクセルを推定するステップの概略流れ図を示す。各画像チャネルについて全ての単一クリップされたピクセルを推定した後、二重クリップされたピクセルを推定する。画像中に単一クリップされたピクセルが存在しない場合、二重クリップされたピクセルのクリップされたチャネルについての値の推定を開始する。二重クリップされたピクセルの場合、２つのチャネルがクリップしており第３のチャネルはクリップしていない。そこで、図１６のステップ６２では、二重クリップされたピクセルのクリップされたチャネルについての値を推定する方法に、クリップしていない、または推定した値を入力する。ステップ６４では、クリップしていない青チャネルを使用して、クリップした赤及び緑チャネルについての値を推定する。ステップ６６では、クリップしていない緑チャネルを使用して、クリップした赤及び青チャネルについての値を推定する。ステップ６８では、クリップしていない赤チャネルを使用して、クリップした緑及び青チャネルについての値を推定する。最後に、その出力をさらに処理し、以下説明するように三重クリップされたピクセルがあればそれに対処する。
【０１６２】
この例では、クリップされたピクセルの色相及び彩度を修正して周囲の二重クリップ近傍ピクセルの色相及び彩度と混合するように、二重クリップピクセルを推定する。推定した単一クリップ画像データ（すなわち、復元された単一クリップされたピクセル）を、二重クリップ推定アルゴリズムにより線形空間中で処理する。
【０１６３】
二重クリップされたピクセルのクリップされたチャネルについての値を推定するため、二重クリップ近傍のピクセルを含む領域が必要である。図４を参照して上記で説明したように単一クリップ近傍の領域Ａを得たのと同様の方法で領域を生成する。二重クリップ領域に対応するバイナリ画像を生成する。その領域を拡張する。元の拡張していない領域を拡張した領域から減算する。三重クリップしているものと分類された、減算の結果得られた領域中の全てのピクセルを、処理から除外する。さらに、減算の結果得られた領域中に、画像境界からのＬピクセルの距離より小さいかまたはそれに等しいピクセルがあれば、領域から除外する。Ｌは１０に等しいかまたは他の適切な選択数でよい。
【０１６４】
二重（ハイライト部）クリップ緑及び赤ピクセル、すなわち緑及び赤チャネルがどちらもハイライト部クリッピングしているピクセルを、次式の条件を満足するものとして画像から選択する。
（Ｒ≧（Ｒ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｇ≧（Ｇ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｂ＜（Ｂ_ｈ，ｃｌ−Ｎ_ｃ））　　　　　（１２）
そこで、Ｒ、Ｇ及びＢは非線形ｓＲＧＢチャネルの値であり、Ｒ_ｈ，ｃｌ、Ｇ_ｈ，ｃｌ及びＢ_ｈ，ｃｌは、赤、緑及び青チャネルがクリップする値である。上記のように、Ｎ_ｃはｓＲＧＢ画像の場合３に等しく設定する。
【０１６５】
単一クリップされたピクセルのクリップされたチャネルについての値の推定と同様、二重クリップされたピクセルの合計数が、画像中のピクセルの合計数の０．０２％より小さいかまたはそれに等しい場合、それらはこの段階で無視してもよい。連結クリップされたピクセルから二重クリップされたピクセルの領域を形成し、画像中のピクセルの合計数の０．０２％より少ないピクセルを含むクリップ領域は上記で説明したように無視してもよい。
【０１６６】
二重クリップ近傍の領域を上記で説明したように生成し、二重クリップ近傍の領域中のピクセルを式（８）を使用してＴ空間に変換する。二次元ｇｍ、ｉｌｌヒストグラムを二重クリップ近傍のピクセルから形成し、１つの例では、ｇｍ及びｉｌｌのモード値、ｇｍ_ｍｏｄｅ及びｉｌｌ_ｍｏｄｅを選択する。これは二重クリップ近傍の領域中で最も頻繁に発生する色に対応する。一般に、クリップ近傍の領域の色のＴ空間値の正しい表示に最も近似した対応を示すものとしてｇｍ及びｉｌｌの値ｇｍ_ｓｅｌ及びｉｌｌ_ｓｅｌを選択する。
【０１６７】
次に、次式の変換を使用して二重クリップされたピクセルの赤及び緑チャネルについて推定値を計算する。
【０１６８】
【数７】

【０１６９】
ここで、ｂは線形のクリップしていない青チャネルの対数であり、ｒ_ｅｓｔ及びｇ_ｅｓｔは推定される赤及び緑チャネルである。ｒ_ｅｓｔ及びｇ_ｅｓｔは、線形空間画像データの対数である。
【０１７０】
最後に、（ｒ_ｅｓｔ及びｇ_ｅｓｔから導出される）線形値Ｒ_ｅｓｔ及びＧ_ｅｓｔを、赤及び緑チャネルがクリップする値が１．０である場合、（推定ハイライト部二重クリップされたピクセルについて）１．０≦Ｒ_ｅｓｔ、Ｇ_ｅｓｔ≦１．８といった予め定められた範囲に制約する。推定値ｒ_ｅｓｔ及びｇ_ｅｓｔを決定するのに使用する変換式（１３）は、Ｔ空間変換式（８）のｇｍ、ｉｌｌ及びｂについて、ｒ及びｇの同時解に対応する。
【０１７１】
二重クリップ赤／緑ピクセルを推定したら、クリップしていない緑チャネルを使用して二重クリップ赤及び青ピクセルを推定すればよい。この場合、必要な入力は、推定二重赤チャネル（すなわち、推定された二重クリップ赤／緑ピクセルからの赤チャネル）と、推定単一緑及び青チャネルとを含む。出力は、赤及び青で以前二重クリップしていた推定赤及び青チャネルを含む。
【０１７２】
ハイライト部二重クリップ赤／青ピクセルを推定するため、次式の条件を満足する全てのピクセルを元の画像から選択する。
（Ｒ≧（Ｒ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｇ＜（Ｇ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｂ≧（Ｂ_ｈ，ｃｌ−Ｎ_ｃ））　　　　　（１４）
Ｎ_ｃは通常、ｓＲＧＢ画像の場合３に等しい。ここでも、予め定められたサイズ、例えば画像中のピクセルの合計数の０．０２％までより小さい領域は無視してもよい。
【０１７３】
各クリップ領域について、二重クリップ近傍の領域を生成し、これをＴ空間に変換する。二次元ｇｍ、ｉｌｌヒストグラムを二重クリップ近傍のピクセルから形成し、上記のように、モード値、ｇｍ_ｍｏｄｅ及びｉｌｌ_ｍｏｄｅをそのヒストグラムから選択する。これは、二重クリップ近傍の領域中で最も頻繁に発生する色に対応する。
【０１７４】
赤及び青チャネルについて新たに推定される値を次式の変換から計算する。
【０１７５】
【数８】

【０１７６】
ここで、ｇは線形緑チャネルの対数であり、ｒ_ｅｓｔ及びｂ_ｅｓｔは推定される赤及び青チャネルである。ｒ_ｅｓｔ及びｂ_ｅｓｔは線形空間画像データの対数である。
【０１７７】
最後に、（ｒ_ｅｓｔ及びｂ_ｅｓｔから導出される）線形値Ｒ_ｅｓｔ及びＢ_ｅｓｔを、ピクセルがクリップする値が１．０である場合、（推定ハイライト部二重クリップされたピクセルについて）１．０≦Ｒ_ｅｓｔ、Ｂ_ｅｓｔ≦１．８といった所定の範囲に制約する。
【０１７８】
次に、二重クリップ緑／青ピクセルを推定する。二重クリップ緑／青ピクセルを推定するため、推定二重緑及び推定二重青チャネルを使用する。さらに、画像から推定される単一クリップ赤チャネルが必要である。以下説明するように、これらの入力によって、以前緑及び青で二重クリップしていたピクセル中の緑及び青チャネルの推定が可能になる。
【０１７９】
二重ハイライト部クリップ緑／青ピクセルを推定するため、次式の条件を満足する全てのピクセルを元の画像から選択する。
（Ｒ＜（Ｒ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｇ≧（Ｇ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｂ≧（Ｂ_ｈ，ｃｌ−Ｎ_ｃ））　　　（１６）
Ｎ_ｃは通常、ｓＲＧＢ画像の場合３に等しい。ここでも、予め定められたサイズ、例えば画像中のピクセルの合計数の０．０２％までより小さい領域は無視してもよい。
【０１８０】
各クリップ領域について、二重クリップ近傍の領域を生成し、これをＴ空間に変換する。二次元ｇｍ、ｉｌｌヒストグラムを二重クリップ近傍のピクセルから形成し、モード値、ｇｍ_ｍｏｄｅ及びｉｌｌ_ｍｏｄｅをそのヒストグラムから選択する。これは、二重クリップ近傍の領域中で最も頻繁に発生する色に対応する。
【０１８１】
緑及び青チャネルについて新たに推定される値を次式の変換から計算する。
【０１８２】
【数９】

【０１８３】
ここで、ｒはクリップしていない線形赤チャネルの対数であり、ｇ_ｅｓｔ及びｂ_ｅｓｔは推定される緑及び青チャネルである。ｇ_ｅｓｔ及びｂ_ｅｓｔは線形空間画像データの対数である。
【０１８４】
最後に、（ｇ_ｅｓｔ及びｂ_ｅｓｔから導出される）線形値Ｇ_ｅｓｔ及びＢ_ｅｓｔを、緑及び青チャネルがクリップする値が１．０である場合、１．０≦Ｇ_ｅｓｔ、Ｂ_ｅｓｔ≦１．８といった予め定められた範囲に制約する。使用される変換式（１７）は、与えられたｇｍ、ｉｌｌ及びｒについて、ｇ及びｂについてのＴ空間変換式（８）の同時解に対応する。
【０１８５】
図１７は、本発明に係る方法により画像内の二重クリップされたピクセルを推定するステップの概略流れ図を示す。ステップ７０での本方法への入力は、何れかの単一クリップされたピクセルがすでに推定されたデジタル画像である。赤／緑、赤／青及び緑／青という３種類の二重クリップされたピクセルが存在しうるので、この例では、各種類のクリップされたチャネルの値を順に推定しなければならない。初めに、ステップ７２では、二重クリップされたピクセルのリストを形成し、連結領域を識別する。１つの種類の二重クリップされたピクセルから開始して、ステップ７４ではクリップ近傍のピクセルを選択しＴ空間に変換する。
【０１８６】
次に、ステップ７６では、ｇｍ及びｉｌｌモード値を、クリップ近傍のピクセルの二次元ｇｍ、ｉｌｌヒストグラムから選択する。ステップ７８では、線形（または高次）回帰と共にｇｍ_ｍｏｄｅ及びｉｌｌ_ｍｏｄｅの値を使用して、二重クリップされたピクセルの値を計算し、予め定められた限度内に制約する。３種類の二重クリップされたピクセルが全て推定されるまで、それら各々についてこの処理を繰り返す。
【０１８７】
単一クリップ領域を推定する過程で、以下の理由により、一部の領域がうまく推定できないことがある：（ｉ）あるチャネルについてのクリップされたピクセルの合計数がピクセルの予め定められた数、例えばピクセルの合計数の０．０２％未満であった、（ｉｉ）クリップされたピクセルが、ピクセルの予め定められた数、例えばピクセルの合計数の０．０２％未満のピクセルを含む連結クリップ領域の一部を形成した、（ｉｉｉ）単一クリップ近傍のピクセルの数が予め定められたしきい値、例えば１０未満である。うまく推定できなかった赤チャネル、青チャネル及び緑チャネルのクリップされたピクセルのリストを保管する。推定しなかったピクセルは、以下説明するピクセル充填方法を使用して充填（周囲の領域と混合）することができる。
【０１８８】
全ての二重クリップされたピクセルを推定したら、次に三重クリップされたピクセルを推定する。
【０１８９】
３つのチャネルが全てクリップしている場合、クリップする前の元の値に関する有用な情報はクリップされたピクセルから決定できない。三重クリップされたピクセルを推定するために使用される１つの可能な方法は、三重クリップされたピクセルを周囲のクリップ近傍のピクセルと混合することである。三重クリップされたピクセルの各チャネルに割り当てられた値はそれぞれのチャネルのクリップ値、例えば１．０を越えることがあるが、最大値、例えば１．８に制限される。
【０１９０】
三重ハイライト部クリップされたピクセルを推定するため、初めに次式の条件を満足する元のｓＲＧＢ画像中の全てのピクセルを選択し、連結ピクセルの領域を識別する。
（Ｒ≧（Ｒ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｇ≧（Ｇ_ｈ，ｃｌ−Ｎ_ｃ））＆（Ｂ≧（Ｂ_ｈ，ｃｌ−Ｎ_ｃ））　　　　　（１８）
Ｎ_ｃは通常、ｓＲＧＢ画像の場合３に等しい。
【０１９１】
ここでも、予め定められたサイズ、例えば画像中のピクセルの合計数の０．０２％までより小さい領域は無視してもよい。三重クリップ領域の各領域について、三重クリップ近傍のピクセルの領域を生成する。二重クリップされたピクセルについてクリップ近傍の領域を生成する際使用されたのと同様の、三重クリップ近傍の領域を生成する方法を使用すればよい。さらに、以下の規則を適用して、三重クリップ近傍の領域に含まれるピクセルの集合を制約する：（ｉ）クリップ近傍の領域に含まれるピクセルは、二重または単一クリップされたピクセルの推定されていない集合の要素であってはならない、（ｉｉ）クリップ近傍の領域に含まれるピクセルは、それぞれ上記で説明された単一または二重クリップ推定方法によってうまく推定された単一または二重クリップされたピクセルでなければならない。
【０１９２】
三重クリップ近傍の領域に含まれる（線形ＲＧＢ空間中の）ピクセルの集合のＲＧＢヒストグラムを形成し、Ｒ、Ｇ及びＢ各々について、三重クリップ近傍のピクセルのＲＧＢ値を表す値を選択する。通常、この値はヒストグラムのモード値、Ｒ_ｍｏｄｅ、Ｇ_ｍｏｄｅ、Ｂ_ｍｏｄｅである。次に、三重クリップ領域中の全てのピクセルは、選択した値、例えばＲ_ｍｏｄｅ、Ｇ_ｍｏｄｅ、Ｂ_ｍｏｄｅに設定される。
【０１９３】
他の実動化では、三重クリップ近傍の領域に含まれる（線形空間中の）ピクセルの集合の赤チャネルについて、Ｍ個のビンを含むヒストグラムを形成する。ヒストグラムのモードに対応する、ピクセル・チャネル値、Ｒ_Ｍを求める。通常、ｓＲＧＢ画像の場合Ｍ＝２５６である。次に、それぞれＭ／２、Ｍ／４、Ｍ／８及びＭ／１６個のビンを含むさらなる４つのヒストグラムを、三重クリップ近傍の領域に含まれるピクセルの同じ集合の赤チャネルから形成する。それぞれ４つのヒストグラムのモードに対応するピクセル・チャネル値、Ｒ_Ｍ２、Ｒ_Ｍ４、Ｒ_Ｍ８及びＲ_Ｍ１６を求める。Ｒ_Ｍ２、Ｒ_Ｍ４、Ｒ_Ｍ８及びＲ_Ｍ１６の最大値、Ｒ_ｍａｘを選択する。上記の手順を緑及び青チャネルについて繰り返し、最大ピクセル・チャネル値、Ｒ_ｍａｘ、Ｇ_ｍａｘ及びＢ_ｍａｘを決定する。次に、三重クリップ領域中の全てのピクセルは、値Ｒ_ｍａｘ、Ｇ_ｍａｘ及びＢ_ｍａｘに設定される。
【０１９４】
ある種の三重クリップ領域中のピクセルについてチャネル値を推定する際遭遇することのある問題は、三重クリップ近傍の領域のＲ、Ｇ、Ｂ値のモードがうまく定義できないということである。例えば、クリップ近傍のピクセルの値が三重クリップ領域の範囲で幅広く変化し、その結果得られるヒストグラムが、モードに近い大きさの多数のピークを含むことがある。最小自乗を使用して三重クリップ近傍の領域（または領域の一部）からサーフェスを導出し、三重クリップ領域に適用すれば、三重クリップされたピクセルと周囲の隣接ピクセルとのさらに正確な混合を達成できる。線形表面が適切であるが、高次表面を使用してもよい。
【０１９５】
三重クリップ領域を推定する過程で、以下の理由により一部の領域がうまく推定できないことがある。：（ｉ）あるチャネルについてのクリップされたピクセルの合計数がピクセルの予め定められた数、例えばピクセルの合計数の０．０２％未満であった、（ｉｉ）クリップされたピクセルが、ピクセルの予め定められた数、例えばピクセルの合計数の０．０２％未満のピクセルを含む連結クリップ領域の一部を形成した。うまく推定できなかった三重クリップされたピクセルのリストを保管する。
【０１９６】
多くの場合、小さな単一、二重及び三重クリップ領域中のピクセルは、例えば、領域中のあるチャネルについてのクリップされたピクセルの数がピクセルの予め定められた数、例えば画像中のピクセルの合計数の０．０２％未満であったといった、上記で説明した理由でうまく推定できないことがある。推定できなかったピクセル・チャネルの値は周囲の領域と矛盾しないように、選択されているので、推定できないクリップされたピクセルの領域が観察者により見えなくなるように、推定できないピクセルを修正できる。こうした領域中のピクセルを修正する１つの適切な方法は、コック（Ｃｏｋ）、グレイ（Ｇｒａｙ）及びマトラセック（Ｍａｔｒａｓｚｅｋ）によって発明され、イーストマン・コダック社（Ｅａｓｔｍａｎ　Ｋｏｄａｋ　Ｃｏｍｐａｎｙ）に譲渡された、「デジタル画像中のピクセル値を修正する方法及び装置」という名称の米国特許第６，１０４，８３９号で詳細に説明されている。この特許は、デジタル化画像中の欠陥ピクセルの長くて狭い領域を修正する方法及び装置を説明する。欠陥ピクセルを復元して、画像中の欠陥のないピクセルと視覚的に矛盾しないようにする。
【０１９７】
本発明では、米国特許第６，１０４，８３９号で説明されたものと同様のピクセル修正アルゴリズムを使用して単一クリップ、二重クリップ及び三重クリップ領域中の推定できないピクセルを充填する。チャネルＸ、Ｙ及びＺが任意の順序でＲ、ＧまたはＢに対応する３つのチャネルを検討する。図２０及び２１は、本発明で使用されるピクセル修正アルゴリズム中のステップを示す流れ図である。図２０及び２１を参照すると、推定できないクリップされたピクセルを修正（充填）する手順はステップ８６で開始される。推定できない単一、二重及び三重クリップハイライト部ピクセルのリストを構成する。次に、ステップ９０では、リスト中の第１のクリップされたピクセルＰ_ＳＥＬ、を選択する。選択したピクセルから投影する線の集合を定義する。各線の間の放射角度（ｒａｄｉａｌ　ａｎｇｕｌａｒ）差は等しく、通常２２．５度〜４５度に設定する。ｎが各線分（ｎ＝１．．．Ｎ）であるＮ個の線を定義する。ステップ９２では、線分ｎ＝１に関連する線分角によって指定される方向に、Ｐ_ＳＥＬから直線を投影する。（ｉ）クリップしていないピクセルに到達するか、または（ｉｉ）線が画像境界と交差するか、または（ｉｉｉ）線の中のピクセルの数がＬ_ｓを越えるかの何れかまで線を投影する。通常、Ｌ_ｓは２００に設定する。条件（ｉｉ）または（ｉｉｉ）が満足された場合（すなわち、クリップしていないピクセルには到達していない）、ステップ９８に進む。クリップしていないピクセルに到達した場合、同じ方向にＬ_ｅｘｔピクセルだけ線分を延長し、ｊ＝１，．．．，Ｌ_ｅｘｔでありｎが線分であるとして、延長した線分と交差する画像ピクセル値、ｚ_ｎ，ｊ、ｚ_ｎ，ｊ、ｙ_ｎ，ｊを得る。通常、Ｌ_ｅｘｔは５に設定する。
【０１９８】
延長した線分がクリップされたピクセルと交差した場合、線分中のその先のピクセルは無視する。ステップ９４では、延長した線分の値、ｚ_ｎ，ｊ、ｚ_ｎ，ｊ、ｙ_ｎ，ｊにおける各チャネルの最大値を求める。最大値はＺ_{ｎ，ｍａｘ}、Ｘ_{ｎ，ｍａｘ}及びＹ_{ｎ，ｍａｘ}で示す。ステップ９６では、線分ｎ、についての第１のクリップしていないピクセルとＰ_ＳＥＬとの間のユークリッド距離ｄ_ｎ、を決定する。ステップ９８で未処理の線分が残っていれば（すなわち、ｎ＜Ｎ）、ステップ１００に進み線ステップ・カウンタを増分する。次の線分を上記で説明したように処理する（ステップ９２〜ステップ９８）。全ての線分を処理したら、最大線分長さｄ_ｍａｘ、をｄ_ｎから計算する。ステップ１０４では、各線分ｎ、について換算係数要素Ｓ_ｎ、を計算する。推定できない単一クリップハイライト部ピクセルを修正している場合、Ｚがクリップしたチャネルに対応すると想定して、Ｚ_{ｎ，ｍａｘ}＜Ｚ_ｈ，ｃｌの場合Ｓ_ｎ＝０．５に設定し、そうでなければＳ_ｎ＝１．０に設定する。推定できない二重クリップハイライト部ピクセルを修正している場合、Ｚ及びＸがクリップしたチャネルに対応すると想定して、Ｚ_{ｎ，ｍａｘ}＜Ｚ_ｈ，ｃｌ及びＸ_{ｎ，ｍａｘ}＜Ｘ_ｈ，ｃｌの場合Ｓ_ｎ＝０．５に設定する。そうでなければＳ_ｎ＝１．０に設定する。推定できない三重クリップハイライト部ピクセルを修正している場合、Ｚ_{ｎ，ｍａｘ}＜Ｚ_ｈ，ｃｌ、Ｘ_{ｎ，ｍａｘ}＜Ｘ_ｈ，ｃｌ及びＹ_{ｎ，ｍａｘ}＜Ｙ_ｈ，ｃｌの場合Ｓ_ｎ＝０．５に設定する。そうでなければＳ_ｎ＝１．０に設定する。ステップ１０６では、次式のように各線分の重みを計算する。
【０１９９】
【数１０】

【０２００】
ここで、Ｗ_ｎは、線分ｎについての重み。
【０２０１】
Ｓ_ｎは、線分ｎについての換算係数。
【０２０２】
ｄ_ｍａｘは、Ｐ_ＳＥＬと、ピクセルＰ_ＳＥＬで評価される全ての線分にわたって得られる第１のクリップしていないピクセルとの間の最大ユークリッド距離。
【０２０３】
ｄ_ｎは、Ｐ_ＳＥＬと、線分ｎについての第１のクリップしていないピクセルとの間のユークリッド距離。
【０２０４】
ステップ１０８では、各重みを、ピクセルＰ_ＳＥＬについての全ての線分にわたって得られる重みの合計によって除算することで重みを正規化する。正規化した重みをＷ’と呼ぶ。ステップ１１０では、クリップされたチャネル・ピクセル値を以下のように推定する。推定できない単一クリップされたピクセルを修正している場合、修正した画像中でクリップされたチャネル値をＺ’に設定するが、ここで
【０２０５】
【数１１】

【０２０６】
Ｘ及びＹについての値は変化しない。推定できない二重クリップされたピクセルを修正している場合、修正した画像中でクリップされたチャネル値を次式のようにＺ’及びＸ’に設定する。
【０２０７】
【数１２】

【０２０８】
Ｙについての値は修正される画像中で変化しない。推定できない三重クリップされたピクセルを修正している場合、修正した画像中でクリップされたチャネル値を次式のようにＺ’、Ｘ’及びＹ’に設定する。
【０２０９】
【数１３】

【０２１０】
上記で計算した修正クリップされたチャネル値がそれぞれのチャネルについてのクリップ値より小さければ（ハイライト部クリップされたピクセルの場合）、クリップされたピクセル値はそのまま修正しない。ステップ１１２でクリップされたチャネルについての推定値を修正した画像中に格納し、ステップ１１６でＰ_ＳＥＬを次のクリップされたピクセルに設定する。全ての推定できないクリップされたピクセルを処理するまで、推定できないクリップされたピクセルについて修正値を決定する手順を繰り返す（ステップ９２〜ステップ１１４）。次に、ステップ１１８で修正した画像を出力し、推定できないクリップされたピクセルを修正する処理を完了する（ステップ１２０）。
【０２１１】
画像のシャドウ部領域中の単一、二重または三重クリップしたピクセルは、ハイライト部クリップされたピクセルと無関係に推定する。ハイライト部及びシャドウ部クリップされたピクセルを推定する順序は重要でないが、単一クリップハイライト部及びシャドウ部クリップされたピクセルは、二重クリップハイライト及びシャドウ部ピクセルの前に推定しなければならない。三重クリップハイライト部及びシャドウ部ピクセルは最後に推定する。シャドウ部クリップされたピクセルを推定する方法は、ハイライト部クリップされたピクセルを推定する方法からの類推によって続けられる。クリップされたピクセルを分類するのに使用される条件式とクリップ近傍のピクセルを選択する場合との２つの場合の間の差が存在する。これらは以下に説明される。
【０２１２】
単一クリップシャドウ部ピクセルの場合、ＺがＲ、ＧまたはＢの何れかであり、次式の制約を満足する場合、ピクセルをＺチャネルでクリップしているものとして分類する。
（Ｚ≦（Ｚ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｘ＞（Ｘ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｙ＞（Ｙ_ｓ，ｃｌ＋Ｎ_ｃ））　　　　　（１９）
ここで、Ｚ_ｓ，ｃｌ、Ｘ_ｓ，ｃｌ、及びＹ_ｓ，ｃｌは、それぞれシャドウ部クリッピングが発生しているＺ、Ｘ及びＹの可能な値の範囲の限度である。Ｒ_ｓ，ｃｌ、Ｇ_ｓ，ｃｌ、及びＢ_ｓ，ｃｌは、シャドウ部クリッピングが発生している赤、緑及び青チャネルの可能な値の範囲の限度である。
【０２１３】
単一クリップシャドウ部ピクセルを分類する場合、式（２）は式（１９）で代用できる。単一クリップシャドウ部ピクセルについてのクリップ近傍のピクセル領域を、次式の基準を満たすクリップ近傍の領域Ａのピクセルの部分集合として記述する。
（Ｚ_ｓ，ｃｌ＋Ｎ_ｄ）≧Ｚ＞（Ｚ_ｓ，ｃｌ＋Ｎ_ｃ）＆（Ｙ_ｍｏｄｅ＋０．７５Ｎ_ｄ）≧Ｙ≧（Ｙ_ｍｏｄｅ−０．２５Ｎ_ｄ）＆（Ｘ_ｍｏｄｅ＋０．７５Ｎ_ｄ）≧Ｘ≧（Ｘ_ｍｏｄｅ−０．２５Ｎ_ｄ）
（２０）
単一クリップ近傍のシャドウ部ピクセルであるピクセル領域を推定する場合、式（３）は式（２０）で代用できる。二重クリップシャドウ部ピクセルの場合、二重緑及び赤クリップされたピクセルを、次式の条件を満足するものとして画像から選択する。
（Ｒ≦（Ｒ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｇ≦（Ｇ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｂ＞（Ｂ_ｓ，ｃｌ＋Ｎ_ｃ））　　　　　（２１）
二重クリップ緑及び赤シャドウ部ピクセルを推定する場合、式（１２）は式（２１）で代用できる。二重クリップ赤及び青ピクセルを、次式の条件を満足する全てのピクセルとして定義する。
（Ｒ≦（Ｒ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｇ＞（Ｇ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｂ≦（Ｂ_ｓ，ｃｌ＋Ｎ_ｃ））　　　　　（２２）
二重クリップ赤及び青シャドウ部ピクセルを推定する場合、式（１４）は式（２２）で代用できる。二重クリップ緑及び青ピクセルを、次式の条件を満足する全てのピクセルとして定義する。
（Ｒ＞（Ｒ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｇ≦（Ｇ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｂ≦（Ｂ_ｓ，ｃｌ＋Ｎ_ｃ））　　　　　（２３）
二重クリップ緑及び青シャドウ部ピクセルを推定する場合、式（１６）は式（２３）で代用できる。
【０２１４】
次式を満足する場合、ピクセルを三重クリップシャドウ部ピクセルとして分類する。
（Ｒ≦（Ｒ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｇ≦（Ｇ_ｓ，ｃｌ＋Ｎ_ｃ））＆（Ｂ≦（Ｂ_ｓ，ｃｌ＋Ｎ_ｃ））　　　　　（２４）
三重クリップされたピクセルを推定する場合、式（１８）は式（２４）で代用できる。
【０２１５】
最後に、クリップしたピクセルに関する推定されたハイライト部及び／またはシャドウ部情報を線形画像空間中で再整形し、０〜１．０の範囲内に置く。線形ＲＧＢ空間中の推定画像をニュートラル色調スケール関数によって整形し、全てのピクセル・データが０〜１．０の範囲内にあるようにする。適切な整形アルゴリズムまたは処理を使用すればよい。１つの例は、その内容を本出願の記載に引用する、英国特許出願第０１２０４８９．０号で開示されているような視野適応モデルによって使用される適応肩整形区分的関数（ａｄａｐｔｉｖｅ　ｓｈｏｕｌｄｅｒ　ｓｈａｐｅｒ　ｐｉｅｃｅｗｉｓｅ　ｆｕｎｃｔｉｏｎ）である。適応肩整形モデルを使用してハイライト部細部の整形を達成する一方、適応つま先整形モデル（ａｄａｐｔｉｖｅ　ｔｏｅ　ｓｈａｐｅｒ　ｍｏｄｅｌ）を使用してシャドウ部細部を再整形する。ｓＲＧＢ色調スケールを線形データに適用し、モニタ上で見るのに適するように修正する。適当な色空間変換と非線形関数が使用されるならば、処理される画像を任意の望ましい色空間に変換してもよい。
【０２１６】
大部分の場合、色調スケールを整形する前の推定されたピクセルの値は、画像を表示する表示装置の範囲外にあり、それがクリッピングが発生する第１の理由である。推定ピクセル・データ（ハイライト部クリッピングの場合１．０を越え、シャドウ部クリッピングの場合０未満である）と元のピクセル・データとの間の差をメタデータとして画像と共に保管し、他の画像処理アルゴリズムによって使用する。例えば、画像のニュートラル色調スケールまたは色バランスを変更するアルゴリズムの性能は、画像中にクリップされたピクセルが存在する場合損なわれることがある。こうしたアルゴリズムは、このメタデータをインテリジェントに使用して、生成する画像の総合品質を向上させてもよい。
【０２１７】
本発明は、デジタル画像中のクリップされたピクセルから失われたデータの推定におけるクリップ近傍のピクセルの使用に関する。上記の説明は、単一クリップ、二重クリップ及び三重クリップされたピクセルの推定において使用されるアルゴリズムの例に関する。他の可能なアルゴリズムを使用してもよい。例えば、クリップされたチャネルについての値を推定するために使用される、上記で説明した回帰で使用される係数ａ_０、ａ_１及びａ_２は、線認識のためのハフ変換の適用を使用して得てもよい。また、高次回帰を使用してもよい。
【０２１８】
図１８は、本発明に係る画像処理システムの例を示す構成図である。このシステムは、処理すべきデジタル画像の入力を受信し、上記で説明した本発明の方法により受信画像を処理するよう適用される。このシステムは、処理すべきデジタル画像に関連する情報を得る入力装置８０を備えている。入力装置８０は、上記で説明した本発明の方法のステップを実行するプロセッサ８２に結合される。図示される例では、プロセッサ８２は、処理されたデジタル画像のハードコピー出力を印刷するプリンタのような出力装置８４に結合される。出力装置は、紙またはスライドといった写真材料上に処理された（改善された）画像を印刷するデジタル・プリンタ、またはＣＤ書き込み装置またはシステムからの出力を生成できる何らかの他の形態の装置でよい。
【０２１９】
１つの例では、このシステムは、図２２に概略を図示されたデジタル画像処理能力を有するデジタルカメラ８６において実施してもよい。カメラは静止画像の取り込み用に特に設計されたデジタル静止画像カメラを備えてもよく、また動画シーケンスを取り込み及びデジタル化できるデジタル・ビデオ・カメラを備えてもよい。カメラは撮影される場面または対象のデジタル画像を取り込み、本発明に係る方法により取り込んだ場面を処理する。ビデオカメラの場合、取り込み装置は取り込んだ場面をフレーム毎に処理する。カメラ８６には取り込んだ場面を格納するメモリ（図示せず）が含まれ、メモリは、本発明に係る方法のステップを実行するマイクロプロセッサのようなプロセッサと通信するよう配置されている。他の実施形態では、メモリは、カメラと一体式でも交換式（フラッシュメモリカードのような）でもよく、デジタル画像を含むデータ・ストリームをデジタル写真仕上げシステムに提供する。
【０２２０】
本発明のさらに別の例では、このシステムはデジタル写真仕上げシステムによって実施してもよい。この場合、入力装置８０は、処理されるフィルムのネガを走査するデジタルネガスキャナ、フラットベッドスキャナを備えてもよく、また代替的には、デジタル信号源からの入力を直接受信するデジタル読み取り器を備えてもよい。デジタル信号源の例には、例えば、ディスクまたはＣＤ−ＲＯＭといったデジタル画像を格納する媒体を受け入れるスマートカードまたはドライブが含まれる。信号源はインターネットからアップロードされた画像のような遠隔的なものでもよく、またユーザのデジタルカメラのメモリカードでもよい。何れの場合でも、デジタル画像を含む信号を、入力装置８０によって、デジタル写真仕上げシステムに関連するプロセッサ８２に提供する。プロセッサは、本発明に係る方法によって受信したデジタル画像を処理するようプログラムすればよい。デジタル画像のクリッピングは、ネガを入力装置８０によって走査する際に発生することもあり、またユーザのデジタル・カメラで取り込んだデジタル画像がすでにクリップしていることもある。また、画像化のための連鎖、すなわち生走査データからモニタ上に表示または印刷する再現画像までの連鎖におけるその後の処理ステップでクリッピングが発生することもある。
【０２２１】
１つの例では、プロセッサは、画像処理アルゴリズムが格納されたデータベースに接続され、デジタル画像と共に使用する１つかそれ以上の格納された画像処理アルゴリズムを選択するユーザ入力を受信するのに適応する。ここでも、画像は処理されると、画像仕上げシステムにより電子的またはハード形式で出力される。
【０２２２】
また、本発明は、必要に応じてコンピュータ可読媒体上に格納された、本発明に係る方法の全てのステップを行うプログラムコード手段を備えるコンピュータプログラムを有している。何らかの適切なコンピュータプログラミング言語を使用してコンピュータプログラムをコード化すればよい。その例にはＣ、Ｃ＋＋、マトラブ（Ｍａｔｌａｂ）及びフォートランが含まれる。必要に応じて、コンピュータプログラムは特定用途向け集積回路上でのハードワイヤード（ｈａｒｄ−ｗｉｒｅｄ）として提供してもよい。
【０２２３】
【発明の効果】
本発明は、画像、例えばデジタル画像中のピクセルのクリッピングによるデータ損失の推定を提供できる画像処理の方法を提供する。本発明では、クリップされたピクセル中のクリップしていないチャネルと画像中のクリップしていない近くのピクセルとから得られるデータだけに基づいてデータを推定できる。
【０２２４】
従来の画像処理方法と対照的に、本発明は、取り込み場面のダイナミックレンジの何れかの端部でクリッピングの結果失われたデータを推定できる方法を提供する。言い換えれば、本発明は、元の場面の真の表示が取り込まれたものより高いかまたは低い値を有するため失われたデータを推定できる方法を提供する。
【図面の簡単な説明】
【図１】ハイライト部クリッピングを示す画像中の直線に沿った信号振幅の変化のグラフを示す図である。
【図２】本発明に係る画像処理方法中のステップを示す流れ図である。
【図３】本発明に係る画像処理方法の第１の段階のステップを示す流れ図である。
【図４】単一クリップ領域を有する画像の概略を示す図である。
【図５】本発明に係る画像処理方法の第１の段階のステップを示す流れ図である。
【図６】本発明の方法の１つの例で使用される一次元回帰ビニング配列を示す。
【図７】本発明の方法の１つの例で使用される二次元回帰ビニング配列を示す。
【図８】本発明で使用される推定処理の概略を示す図である。
【図９】赤チャネルがクリップした画像の領域に沿った位置に関する信号振幅の変化のグラフの例を示す図である。
【図１０】本発明に係る方法により図９の単一クリップ赤チャネルが推定された位置に関する信号振幅の変化のグラフを示す図である。
【図１１】デジタル画像中のクリップ近傍のピクセルの領域についてのｇｍ、ｉｌｌヒストグラムの例を示す図である。
【図１２】デジタル画像中のクリップされたピクセルの領域についての対応するｇｍ、ｉｌｌヒストグラムを示す図である。
【図１３】図１１及び図１２のヒストグラムの相互相関を示す図である。
【図１４】本発明の方法で使用される推定方法のステップを示す流れ図である。
【図１５】デジタル画像のクリップ領域の概略を示す図である。
【図１６】本発明に係る方法による二重クリップされたピクセルを推定するステップの流れ図である
【図１７】本発明に係る方法による画像内の二重クリップされたピクセルを推定するステップの概要の流れ図である。
【図１８】本発明に係る画像処理システムの例を示す構成図である。
【図１９】図２０及び図２１の相互の配列を示す図である。
【図２０】本発明で使用されるピクセル修正アルゴリズムのステップを示す流れ図である。
【図２１】本発明で使用されるピクセル修正アルゴリズムのステップを示す流れ図である。
【図２２】本発明に係るデジタル・カメラの例を示す図である。
【符号の説明】
３４…単一クリップ領域
３６…クリップ近傍の領域
８６…デジタルカメラ

Claims (9)

1. 画像処理の方法であって、
   多チャネル画像中の１以上のクリップされたピクセルの１以上のクリップされたチャネルについての値を、前記１以上のクリップされたピクセルのクリップされていないチャネル及び前記１以上のクリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定するステップを有する方法。
2. 前記クリップされたピクセルは、前記クリップされたピクセルのチャネルの１つだけがクリップしている単一クリップである、請求項１に記載の方法。
3. いずれかまたは全ての単一クリップされたピクセルのクリップされたチャネルについての値を推定した後、前記１以上の二重クリップされたピクセルのクリップされたチャネルについての値を、１以上の二重クリップされたピクセルのクリップしていないチャネル及び前記１以上の二重クリップされたピクセルに近い１以上のクリップされていないチャネルとから得られる情報に依存して、前記二重クリップされたピクセルの１以上のパラメータを調整することによって推定するステップを更に有する、請求項２に記載の方法。
4. いずれかまたは全ての二重クリップされたピクセルのクリップされたチャネルについての値を推定した後、多チャネル画像中の１以上の三重クリップされたピクセルのクリップされたチャネルについての値を、前記１以上の三重クリップされたピクセルに近い１以上のクリップしていないピクセルから得られる情報に依存して推定するステップ更に有する、請求項３に記載の方法。
5. デジタル画像プロセッサであって、
   デジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を、前記１以上の単一クリップされたピクセルのクリップしていないチャネル及び前記１以上の単一クリップされたピクセルに近い１以上のクリップしていないチャネルから得られる情報に依存して推定するよう適用される処理手段を有するデジタル画像プロセッサ。
6. デジタルカメラであって、
   対象のピクセル化されたデジタル画像を取込むための取込み手段と、
   前記ピクセル化されたデジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を、前記１以上の単一クリップされたピクセルのクリップしていないチャネル及び前記１以上のクリップされたピクセルに近い１以上のクリップしていないピクセルとから得られる情報に依存して推定するよう適用される処理手段とを有するデジタルカメラ。
7. デジタル写真仕上げシステムであって、
   処理すべきピクセル化されたデジタル画像を受取るための入力手段と、
   前記ピクセル化されたデジタル画像中の１以上の単一クリップされたピクセルのクリップされたチャネルについての値を、前記１以上の単一クリップされたピクセルのクリップしていないチャネル及び前記１以上の単一クリップされたピクセルに近い１以上のクリップしていないピクセルとから得られる情報に依存して推定するよう適用される処理手段とを有するデジタル写真仕上げシステム。
8. コンピュータプログラムであって、
   前記プログラムがコンピュータ上で実行される時、請求項１〜請求項４の全てのステップを行うプログラムコード手段を有するコンピュータプログラム。
9. 画像処理の方法であって、
   少なくとも１つのチャネル値がクリップしている多チャネル画像中のピクセルを識別し、
   クリップしていないピクセルからのチャネル値に基づいてクリップ除去関係を生成し、
   前記識別されたピクセルでクリップされたチャネル値をクリップ除去するために前記クリップ除去関係を適用するステップを有する方法。

Images