JP2004056791A

JP2004056791A - デジタル画像のダイナミックレンジの拡大および色特性の調整の方法

Info

Publication number: JP2004056791A
Application number: JP2003179656A
Authority: JP
Inventors: Edward Brooks Gindele; エドワード・ブルックス・ジンデル
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-06-24
Filing date: 2003-06-24
Publication date: 2004-02-19
Also published as: US20030234944A1; EP1377031A3; EP1377031A2

Abstract

【課題】本発明の目的はデジタル画像のダイナミックレンジの拡大、および、色の見えの変換の方法を提供することである。
【解決手段】前記方法は、少なくとも３つの基本色に関する複数の画素値を有するソースデジタル画像を、キャプチャーメディアから獲得するステップを有する。前記方法はさらに、前記ソースデジタル画像とは独立であって、キャプチャーメディアの関数として露光不足状態を補正することで、前記ソースデジタル画像のダイナミックレンジを拡大可能な非線形コントラスト関数を用いた色補正変換を算出するステップ、および、キャプチャーメディアの関数として、露光不足状態と関連する露光の関数として、色再現誤差を補正することに使用することができる非線形色調整関数、ならびに、前記色補正変換、および、前記ソースデジタル画像を用いて、拡大ダイナミックレンジデジタル画像を作成するステップ、を有する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、限定的なダイナミックレンジから、色の見えを改善し、デジタル画像のダイナミックレンジを拡大する方法に関する。
【０００２】
【従来の技術】
写真フィルムのストリップのようなキャプチャーメディアからデジタル画像を生成するようにデザインされた画像化システムにおいては、様々な原因による色再現性に関する問題に遭遇する。フィルムスキャナのハードウェアが、一般的なフィルム製品に用いられている染料の分光透過率と十分に適合をしなければ、中間色の物体、換言すればスペクトル的に中立な反射をして撮影されている物体を表すデジタル画素の値が、その光景の露光に比例した色のずれを起こす。その他の露光に関連した色再現性の問題の原因としては、異なる感光層間のコントラストの不整合やフィルム材料の化学処理反応性を含んでいる。
【０００３】
特許文献１において、光学的プリント装置のための方法が開示されている。その方法はフィルム種を特定するパラメータ値を使用せずに直接的にフィルムから得た光度データから、カラーバランスのとれた複写光の量を決定する工程を含んでいる。この方法においては、第１および第２の色の濃度の差異の関数の相関の値は、複写されようとしているオリジナル画像を有する写真フィルムのストリップの複数の領域における計測結果を表している濃度値から構成される。これらの相関値を用い、写真フィルムのストリップにあるオリジナルのほとんどに関する複写のための光量を決定している。照度異常、または、支配的な色の被写体を含むオリジナル画像に与える光量は、別に、経験的に決定された閾値を用いて選択される。この方法が実効的であるためには、オリジナル画像における３原色の濃度間の正確な相関を捕捉できていない、２つの異なる独立した関数の関係性を明らかにする必要がある。
【０００４】
本願と同一の出願人の特許文献２においては、フィルムの露光とグレーセンターカラーとの線形的関係を確立する、光学的プリント装置のための類似の方法が開示されている。ウォンら（Ｋｗｏｎ　ｅｔ　ａｌ．）の開示するその方法では、個別に光電的に、オリジナルのフィルム部材の複数の領域において少なくとも３つの基本色について、前記オリジナルのフィルム部材の濃度値を計測するステップ、および、少なくとも３つの基本色間の、単一の、多元関数的な関係性を確立するステップを備えており、これは色の複写において光量の制御を左右する、オリジナル材の長さに特有の値として用いるための、グレーの露光レベル依存推定を表している。
【０００５】
特許文献１および特許文献２にて開示された両方法は、フィルム部材からデジタル画像を得るステップ、前記デジタル画像を分析して露光依存性のカラーバランスの関係性を確立するステップ、および、前記の露光依存性カラーバランスを用い、前記のフィルム部材を通して感光紙受容器（ｐｈｏｔｏｇｒａｐｈｉｃ　ｐａｐｅｒ　ｒｅｃｅｉｖｅｒ）に投射する投射光の光量を変化させて写真プリントの色の見えを良くするステップを有する。
【０００６】
特許文献２にて開示されている技術はデジタル画像化システムで作成される写真プリントの色の見えを良くするためにも使用される。これらの利用用途では、フィルム部材をスキャンして得たデジタル画像の画素値は、そのカラーバランスに関して修正が加えられる。つまり、各デジタル画像のグレーセンターを表している、カラー画素値のトリプレットは、明らかとなった多次元関数的な関係性を用いて計算されている。前記デジタル画像の全画素から前記カラー画素値のトリプレットを差し引き、処理されたデジタル画像の全体に渡るカラーバランスを変更する。さらに、前記の多次元関数で表される関係性を用いて、画素ごとに前記デジタル画像の画素の色の見えを修正することが可能である。しかし、特許文献２の技術に関連した問題点が未だなお存在する。それは、特に写真フィルムのストリップの露光不足の領域において、キャプチャ媒体の非線形的光応答性と関連性がある。
【０００７】
本願と共通の出願人による特許文献３においては、写真フィルム部材からデジタルでスキャンして得たデジタル画像のコントラストを調整する方法が開示されている。その方法によれば、写真フィルム製品の写真応答性を線形化するためにデザインされた参照表（ＬＵＴ）形式の感光性補正関数を適用して画像全体に渡るコントラストを改善している。前記の感光性補正関数を利用すれば良く写真フィルム部材の露光不足領域に対応したデジタル画像の画素値のカラーコントラストは改善されるのだが、前記の写真フィルム部材のために実験的に獲得した、３原色各々のための別々の感光補正関数を必要とする。
【０００８】
【特許文献１】
米国特許第４２７９５０２号明細書
【特許文献２】
米国特許第５９５９７２０号明細書
【特許文献３】
米国特許第５１３４５７３号明細書
【０００９】
【発明が解決しようとする課題】
本発明の目的はデジタル画像のダイナミックレンジの拡大、および、色の見えの変換の方法を提供することである。本方法は、キャプチャーメディアの写真応答性に関連した露光不足の問題を補正する。
【００１０】
【課題を解決するための手段】
本目的は以下のステップを有するデジタル画像のダイナミックレンジ拡大および色の見えの変換の方法により達成される。本方法は、
ａ）　キャプチャーメディアから、少なくとも３つの基本色に関し複数の画素値を含んでいるソースデジタル画像を獲得するステップ、
ｂ）　以下のｉ）、ｉｉ）を用いてカラー補正変換を計算するステップ、
ｉ）　　前記ソースデジタル画像とは独立であり、かつ、キャプチャーメディアの関数として露光不足状態を補正することで、前記ソースデジタル画像のダイナミックレンジを拡大するのに使用可能な非線形コントラスト関数、および、
ｉｉ）　キャプチャーメディアの関数としての露光不足状態に関連した、露光の関数として色再現誤差を補正するのに使用可能な非線形色調整関数、ならびに、
ｃ）　　前記色補正変換、および、前記ソースデジタル画像を用いてダイナミックレンジの拡大したデジタル画像を生成するステップ、を有する。
【００１１】
本発明は、前記デジタル画像キャプチャーメディアに関する非線形光応答特性、ならびに、露光不足の画素に関するコントラストと色の問題、および、適切に露光されているデジタル画像に関する色の問題を補正する。本発明は同一のキャプチャーメディア上の複数のデジタル画像からのカラー画素情報を利用し、色補正変換を構築している。当然のことだが、露光不足の状況においては、キャプチャーメディアこそが、問題の源である。
【００１２】
【発明の実施の形態】
本発明は、低いダイナミックレンジを持つデジタル画像から、ダイナミックレンジを拡大したデジタル画像を生成する方法を提供する。以下で詳細に説明するように、ダイナミックレンジ変換は、非線形調整を有する。これはデジタル画像とは独立であり、キャプチャーメディアの関数として露光不足状態を補正する。このダイナミックレンジ変換を用いることで、同じメディアにキャプチャされているデジタル画像の見栄えは著しく、そのコントラスト、および、色に関して改善される。
【００１３】
以下の説明において、本発明の好適な実施形態はソフトウェアプログラムとして記述される。そのようなソフトウェアと等価のハードウェアを構築可能であることは、当業者ならば容易に知るところである。画像処理のアルゴリズムおよびそのシステムは公知なので、ここでは特に、本発明に係る方法と直接的に協同、または、前記方法の部分を構成する、アルゴリズムおよびシステムについて説明する。本明細書にはっきりと図示または記載されていない、アルゴリズムおよびシステムの別態様、ならびに、含まれる画像信号を生成、または、処理するためのハードウェアおよび／もしくはソフトウェアは、当業界において知られたシステム、アルゴリズム、構成、および、要素から選択することができる。本明細書の以下に記載されているように、全てのソフトウェアのコンピュータプログラムとしての実施は従来的であり、また、それら業種の通常の技能の範囲内である。
【００１４】
さらに、ここでも用いられているように、コンピュータプログラムはコンピュータが読み取り可能な記憶メディアに記憶させることができる。それらは例えば、（フロッピィ−ディスクのような）磁気ディスク、もしくは、磁気テープのような磁気記憶メディア、光学ディスク、光学テープ、もしくは、機械が読み取り可能なバーコードのような光学的記憶メディア、ランダムアクセスメモリ（ＲＡＭ）、もしくは、リードオンリーメモリ（ＲＯＭ）のような固体電子記憶装置、または、その他のコンピュータプログラムを記憶するのに用いられる物理装置、もしくは、メディアを含む。
【００１５】
デジタル画像は１以上のデジタル画像チャンネルを有する。各デジタル画像チャンネルは画素の２次元配列を有する。各画素値は画素の幾何学的な領域に対応する画像キャプチャ装置が受け取った光の量と関係する。カラー画像化用途では、一般にデジタル画像は赤、緑、および、青色のデジタル画像チャンネルを有するが、さらに多くのカラーチャンネルを有することができる。他の構成も実施される。それは例えば、シアン、マゼンタ、および、黄色のデジタル画像チャンネルである。動的画像化用途はデジタル画像の時系列として考えることができる。本発明はデジタル画像チャンネルを行と列に配された画素値の２次元配列として記載している。当業者にとっては当然のことだが、本発明はモザイク（非直線的な）配列に対しても同等の効果をもって適用可能である。
【００１６】
本発明はコンピュータのハードウェアにおいて実施することができる。図１を参照し、以下にデジタル画像化システムについて説明する。このシステムは、画像入力装置１０、デジタル画像プロセッサ２０、画像出力装置３０、および、一般制御コンピュータ４０を有する。前記システムはコンピュータコンソール、または、紙プリンタといったモニタ装置５０を備えることができる。また、前記システムは、キーボード、および／または、マウスポインタといった入力制御装置６０を備えることができる。さらには、ここで用いられているように、本発明はコンピュータプログラムとして実施可能である。また、本発明はコンピュータ記憶装置７０、つまり、コンピュータが読み取りできる記憶メディアに記憶させることができる。前記記憶装置は例えば（フロッピィ−ディスクのような）磁気ディスク、もしくは、磁気テープのような磁気記憶メディア、光学ディスク、光学テープ、もしくは、機械読取り可能なバーコードのような光学的記憶メディア、ランダムアクセスメモリ（ＲＡＭ）、もしくは、リードオンリーメモリ（ＲＯＭ）のような固体電子記憶装置、または、その他のコンピュータプログラムを記憶するのに用いられる物理装置、もしくは、メディアである。本発明の説明に先立ち、本発明がパーソナルコンピュータのような周知のコンピュータシステムで利用されることが望ましいことを注記することで、理解が容易になる。
【００１７】
本発明は、様々な画像化装置より得られるデジタル画像に用いることができる。例えば、図１はデジタル写真仕上げシステムであって、ここでは画像入力装置１０は例えばカラーネガフィルム、または、スライドフィルムの透過原稿のような在来の写真画像をスキャンしてデジタル画像を生成するフィルムスキャナ装置でよい。デジタル画像プロセッサ２０は、デジタル画像を処理して対象とする出力装置、または、メディア上に満足のいく見栄えの画像を生成するための手段である。本発明は、デジタルカラープリンタ、および、ソフトコピーディスプレイを含む、様々な出力装置とともに使用可能である。
【００１８】
スキャナ
図２および図３を参照すれば、参照数字１０はスキャナ装置の形態の画像入力装置を示している。この装置は写真フィルムキャプチャーメディアからデジタル画像を生成する。画像入力装置１０において、粘着性連結体１３によって連結されている、個々の写真フィルムのストリップ１２ａの連続体を含んだ、ある長さを持ったフィルム１２は、供給リール１４から供給され、スプライス検出器１６、ノッチ検出器１８、および、フィルムスキャナ２１を通って巻取りリール２２に送られる。スプライス検出器１６の役割は、１つの連続した写真フィルムストリップ１２ａ上の一連のオリジナル画像フレーム１７から構成される、個々のフィルム列の始めと終わりを確認する出力信号を発生させることである。ノッチ検出器１８は、各オリジナル画像フレームに隣接して写真フィルムのストリップに形成されているノッチ１５を感知し、特定のオリジナル画像フレームについて生成された情報を関連付けるのに用いられる出力信号を与える。スキャナコンピュータ２４はフィルムスキャナ２１の構成部を調整し、制御する。フィルムスキャナ２１は、オリジナル画像フレーム１７ならびにフレーム間ギャップ１９を有する写真フィルムのストリップ１２ａ上の複数の領域において少なくとも３原色の濃度値をスキャン、すなわち、測光計測を周知の方法で行う。与えられたオリジナル画像フレームに対応する測光計測により、ソースデジタル画像が構成される。ここで用いられている、ターム領域（ｔｅｒｍ　ｒｅｇｉｏｎ）は、個々の画像の画素、もしくは、デジタル画像内の画素の一群、または、フレーム間ギャップの測光計測に対応した画素、つまり、画像フレーム間の露光されていないフィルム領域を意味すると解することができる。オリジナル画像フレームに対応するデジタル画像、ならびに、検出器１６、１８、および、フィルムスキャナ２１からの、フレーム間ギャップ１９に対応する信号がデジタル画像プロセッサ２０に送られて、そこで色補正変換が計算される。デジタル画像プロセッサ２０は色補正変換をソースデジタル画像に適用し、そして、その処理されたデジタル画像をデジタルカラープリンタの形態を備えた画像出力装置３０へ送信する。画像出力装置３０は、処理されたデジタル画像からハードコピー写真プリントを製作するように動作する。あるいは、処理されたデジタル画像は記憶され、そして、電子装置、または、別のデジタル出力装置上で鑑賞されることを目的として読み出される。
【００１９】
デジタル画像プロセッサ
図１に示されているデジタル画像プロセッサ２０を図４により詳細に示す。ソースデジタル画像１０１は集合モジュール（ａｇｇｒｅｇａｔｉｏｎ　ｍｏｄｕｌｅ）１５０に受け取られる。このモジュール１５０が受信した各ソースデジタル画像から分析デジタル画像を生成する。前記分析デジタル画像はソースデジタル画像よりも空間的に低い解像度のヴァージョンであり、これは色分析モジュール１１０、および、最小濃度モジュール１２０にて、分析目的で使用される。前記最小濃度モジュール１２０は、分析デジタル画像、および、（図３に示すフレーム間ギャップ１９より得る）ギャップ間画素（ｉｎｔｅｒ−ｇａｐ　ｐｉｘｅｌｓ）１０７を受信し、写真フィルムのストリップ１２ａの最小濃度値を決定する。色分析モジュール１１０はひと組の分析デジタル画像を受信し、ソースデジタル画像１０１の由来となった写真フィルムストリップ１２ａに関するソースデジタル画像１０１のための、濃度依存性のある、グレー推定関数２０７を算出する。グレー推定関数２０７は、変換付与モジュール（ｔｒａｎｓｆｏｒｍ　ａｐｐｌｉｃａｔｏｒ　ｍｏｄｕｌｅ）１４０にて用いられ、各ソースデジタル画像１０１から全体的なカラーキャスト（ｃｏｌｏｒ　ｃａｓｔ）を取り除く。変換生成モジュール１３０も、最小濃度値、および、（非線形コントラスト関数の例である）感光補正関数２０３を受信し、ダイナミックレンジ変換２０５を生成する。前記ダイナミックレンジ変換には、感光補正関数２０３、および、非線形色調整関数が内在する。変換付与モジュール１４０は、ダイナミックレンジ変換２０５をソースデジタル画像１０１に適用して、拡大ダイナミックレンジデジタル画像１０３を得る。各ソースデジタル画像が処理されて、ひと組の拡大ダイナミックレンジデジタル画像が得られる。
【００２０】
集合モジュール
フィルムスキャナによって生成されたソースデジタル画像１０１は高解像度である。つまり、画素数の多いデジタル画像である。それは一般に、プリントされた差異に十分に微細な画像を生成するのに１００万のオーダ以上の画素数を必要とする。一般に、分析変数の算出には、しっかりとした結果を得るためにそのような高解像度画像を必要としない。分析デジタル画像の組は、ソースデジタル画像１０１の空間的に低解像度なヴァージョンとして生成されるが、一般にはそれぞれおよそ１０００画素程度を有する。デジタル画像の空間的に低解像度なヴァージョンを作成するには、様々な方法があるが、集合モジュール１５０では、ブロック平均化法（ｂｌｏｃｋ　ａｖｅｒａｇｉｎｇ　ｍｅｔｈｏｄ）を用いて分析デジタル画像を作成している。
【００２１】
色分析モジュール
ソースデジタル画像１０１の組は、写真フィルム記録メディアのもたらした色を補正する処理を施される必要がある。本発明は、本願と同じ出願人による特許文献２にて、ウォンら（Ｋｗｏｎ　ｅｔ　ａｌ．）が開示する方法を用い、ソースデジタル画像１０１の全体的なカラーキャストを取り除いている。ウォンらの開示するその方法は、要約すれば以下のステップを有している。赤、緑、および、青色の画素データに関する最小濃度は、画素を分析して写真フィルムストリップ１２ａのフレーム間ギャップ１９から決定される。最小濃度の値、Ｒ_ｍｉｎ、Ｇ_ｍｉｎ、および、Ｂ_ｍｉｎはカラーバランスポジションの初期推定である。次に、各分析デジタル画像の画素データが分析されて、対応するソースデジタル画像が人工照明光源の影響を受けているかが判断される。おそらくは人工照明光源の影響を受けているであろうと判断される分析デジタル画像は、以降の色分析操作では用いられない。次に、残っている分析デジタル画像は、あまりにカラフルな画素を拒絶するための、拒絶基準（ｒｅｊｅｃｔｉｏｎ　ｃｒｉｔｅｒｉｏｎ）に通される。それから、残っている分析デジタル画像の画素を複線形回帰モデルで用いて、Ｆ（）と呼んでいる、濃度依存性を有するグレー推定関数２０７を得る。前記の複線形の濃度依存性を有する、グレー推定関数は、後で各ソースデジタル画像１０１のカラーバランスの調整に用いられる。
【００２２】
感光分析モジュール
図４に示す変換生成モジュール１３０が複数のステップの処理によってダイナミックレンジ変換２０５を生成する。その第１のステップでは、グレー推定関数２０７が用いられて、ソースデジタル画像１０１の組の平均カラーバランスポイントが特定される。前記平均カラーバランスポイントはそれぞれＲ_ａｖｅ、Ｇ_ａｖｅ、および、Ｂ_ａｖｅと呼ぶ、赤、緑、および、青色の３つの色の成分を有する。平均カラーバランスポイントを各ソースデジタル画像１０１から差し引き、初期カラーバランス変換によって規定された全体的なカラーキャストを取り除く。図５は、一般的な写真フィルム製品の光応答を示している。それぞれ曲線５１、５２、および、５３で示される、写真フィルム製品の赤、緑、および、青色の記録は特徴的に異なる平均濃度を有し、類似した全体的な関数の応答形状（ｓｉｍｉｌａｒ　ｏｖｅｒａｌｌ　ｆｕｎｃｔｉｏｎａｌ　ｒｅｓｐｏｎｓｅ　ｓｈａｐｅ）を有している。図６は図５に示した光応答曲線の関数的形状に初期カラーバランス変換を適用した後の状態を示している。
【００２３】
第２のステップでは露光不足色変換２０４が生成される。この変換は非線形色調整関数の一例であり、図６に示された赤、緑、および、青色の写真応答曲線の間の、整合性を改善するようにデザインされている。図６において（５４として示されている）赤、緑、および、青色の応答曲線は、５５として示されている露光不足領域における応答に色による違いが見られる。図７は露光不足色変換を適用したその効果を示している。図７に示すように、赤、緑、および、青色の応答曲線の間の濃度の違いは取り除かれている。しかし、５７で示されている露光不足領域はなお、非線形形状を有する。
【００２４】
変換生成モジュール１３０の第３のステップは、写真応答曲線を線形化することを目的にデザインされている、コントラスト感光変換の生成を有する。露光不足色変換と組み合わせることで、コントラスト感光変換の適用によって図８に示す写真応答曲線を得る。数字５８で示す露光不足領域は、今や、赤、緑、および、青色の応答曲線間に少量の不一致を残した、より線形的な写真応答の形状を有する。５９で示されている、露光十分の領域は、コントラスト感光変換による影響が比較的無い、最小露光レベルを示しており、図６にて示されている点５６と一致する。
【００２５】
ダイナミックレンジ変換２０５は、式（１）を用いた単一の変換Ｔ［］に３つのコンポーネントの変換をカスケードして構成される。
【数１】

ここで、Ｔ_１［］は初期カラーバランス変換、Ｔ_２［］は露光不足色変換、そして、Ｔ_３［］はコントラスト感光変換、ｐ_ｉはソースデジタル画像１０１の画素、Ｔ［ｐ_ｉ］はダイナミックレンジが拡大されたデジタル画像１０３の、処理された画素値を表している。ダイナミックレンジ変換２０５Ｔ［］は３つの１次元的参照表（ＬＵＴ）として実施される。
【００２６】
ダイナミックレンジ変換は、ソースデジタル画像の画素全体を連続的に構成する変換で処理することで実施可能であることに注目すべきである。例えば、変換Ｔ_１［］がソースデジタル画像に適用されることで修正デジタル画像が得られる。次に、変換Ｔ_２［］を前記修正デジタル画像の画素に適用して、画素値をさらに修正ことができる、等である。この、構成している変換を連続的に適用する手順は、一般に、構成する変換を組み合わせ、それから前記組み合わされた変換を画像の画素データに適用する、好適な方法に較べ、より多くのコンピュータのリソースを必要とする。しかし、前記の連続的な適用をする方法こそが、全デジタル画像の画素値の中間的な修正値を、各処理段階において利用可能である、という利点を有するものである。
【００２７】
空間的フィルタの利用
本発明の代替的実施形態においては、画像処理ステップは、変換Ｔ_１［］、および、Ｔ_２［］を組み合わせ、Ｔ_４［］を形成して実行される。変換Ｔ_４［］は、ソースデジタル画像１０１に適用されて、修正デジタル画像を得る。前記修正デジタル画像は、ローパス空間成分、および、ハイパス空間成分を形成するアンシャープマスキングアルゴリズムを用いて空間的なフィルタに通される。それから、変換Ｔ_３［］が前記のアンシャープ空間成分に適用されて、それから、Ｔ_３［］変換を受けたローパス空間成分に、前記のハイパス空間成分が足される。変換Ｔ_３［］を画像の画素データに直接的に適用することで、処理されたデジタル画像のコントラストが引き上げられ、それにより前記の画素データ値のダイナミックレンジが拡大する。この処理によって、ソースデジタル画像に存在するノイズの大きさも増幅される。変換Ｔ_３［］を前記ローパス空間成分に適用することで、その大部分が空間的に高い周波数の性質を有するノイズは増幅されない。結果としてダイナミックレンジ変換２０５は、実施がより複雑になり、好適な実施形態よりも多くのコンピュータリソースを必要とするが、その処理画像は、目に見えるノイズが少ない。さらなる代替的実施形態においては、ジョン−セン・リー（Ｊｏｎｇ−Ｓｅｎ　Ｌｅｅ）が記したジャーナル記事、デジタルイメージスムージング・アンド・シグマフィルタ（Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｓｍｏｏｔｈｉｎｇ　ａｎｄ　ｔｈｅ　Ｓｉｇｍａ　Ｆｉｌｔｅｒ）、Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｇｒａｐｈｉｃｓ，　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ　２４，　ｐ．２５５−２６９，　１９８３に記載のシグマフィルタを、空間的フィルタとして使用して、アンシェイプ空間成分を生成している。
【００２８】
ＤＭＩＮの計測
図４に示す最小濃度モジュール１２０が画素の各色について最小のが画素値の組を計算する。写真フィルムのストリップ１２ａから取り出した複数の画素領域の計測された画素値から、最小画素値（Ｒ_ｍｉｎ、Ｇ_ｍｉｎ、Ｂ_ｍｉｎ）の組が決定される。好ましくは、この目的のために取り出された前記の画素領域は、図３に示すソースデジタル画像１０１、および、フレーム間ギャップ１９の両方から取り出される。前記の目的は、露光されていない写真フィルムストリップの領域を確定することである。通常、これはフレーム間ギャップ１９内で見出されるものと予想される。しかし、フレーム間ギャップ領域において、例えばフォギングのような、幾分の露光がある可能性に関する様々な理由が知られている。そのため、最小画素値の決定に際してソースデジタル画像の画素値を含めることが望ましい。いくつかのデジタル画像化システムでは、フィルムスキャナ２１がフレーム間ギャップ１９を計測できないので、そのようなシステムでは最小画素値は画像の画素データのみから決定しなければならない。
【００２９】
初期カラーバランス変換
図５を参照すると、写真フィルム応答曲線の３つの色の記録に対する最小濃度は、Ｒ_ｍｉｎ、Ｇ_ｍｉｎ、および、Ｂ_ｍｉｎと示されている。Ｒ_ａｖｅ、Ｇ_ａｖｅ、および、Ｂ_ａｖｅと示された平均カラーバランスポイントの値は、式（２）で与えられるグレー推定関数２０７を評価することで算出される。
【数２】

ここで、変数Ｅ_０は、最小濃度の３原色の記録が実現される、公称露光であるとして計算され、量Δは、０．８０ユニットの対数露光の等量（ｅｑｕｉｖａｌｅｎｔ　ｌｏｇａｒｉｔｈｍｉｃ　ｅｘｐｏｓｕｒｅ　ｏｆ　０．８０　ｕｎｉｔｓ）を表している。変数Ｆ_Ｒ、Ｆ_Ｇ、および、Ｆ_Ｂはそれぞれ赤、緑、および、青色のグレー推定関数の成分を表している。
【００３０】
露光不足色変換
露光不足色変換は、写真フィルムストリップ１２ａの露光不足領域よ関連した画素に関する残留カラーキャストの除去を目的としてデザインされている。この変換は、（ＬＵＴを伴って実施される）３つの１次元関数の形式を有する。これは、画素値の関数として、画素に対する変化に等級をつける（ｇｒａｄｕａｔｅ　ｃｈａｎｇｅｓ　ｔｏ　ｔｈｅ　ｐｉｘｅｌｓ　ａｓ　ａ　ｆｕｎｃｔｉｏｎ　ｏｆ　ｔｈｅ　ｐｉｘｅｌ　ｖａｌｕｅｓ）。露光不足色変換お数学的定式化は（３）式により与えられる。
【数３】

ここで、項Ｒ_ｉ’、Ｇ_ｉ’、および、Ｂ_ｉ’はそれぞれ、処理される赤、緑、および、青色の画素値を表し、Ｒ_ｉ’’、Ｇ_ｉ’’、および、Ｂ_ｉ’’は露光不足色変換によって処理された赤、緑、および、青色の画素値を表し、Ｒ_ｍｉｎ’、Ｇ_ｍｉｎ’、および、Ｂ_ｍｉｎ’は初期カラーバランス変換で処理されたときの最小画素値を表し、Ｌ_ｍｉｎ’は、Ｒ_ｍｉｎ’、Ｇ_ｍｉｎ’、および、Ｂ_ｍｉｎ’に対応する輝度の画素値を表し、それは（４）式で与えられる。
【数４】

項α_ｒ、α_ｇ、および、α_ｂは色に関する変化を等級付ける指数の定数であり、（５）式で与えられる。
【数５】

ここで、定数ｖは０．０２としている。ここで、Ｒ_０’、Ｇ_０’、および、Ｂ_０’は、（図６に５６として示されている）１８％グレーリフレクタによる適切な露光に対応する、赤、緑、および、青色の画素値である。標準的な写真フィルムに関し、これらの値はフィルム製品がほぼ線形の光応答を達成する最小露光を表している。Ｌ_ｍｉｎ’から０．６８だけ高い濃度に対応する画素値を特定することで、変数Ｒ_０’、Ｇ_０’、および、Ｂ_０’が算出される。図７は露光不足色変換を適用した後の、光応答曲線を示している。（５７と示されている、）露光不足領域の画素に対する光応答曲線は、３つの色の応答曲線間の色の不一致が著しく軽減されていて、単一の曲線として描かれている。よって、当業者にとっては当然のことだが、露光不足色変換は、露光不足状態と関係のある画素の色の非線形的調整を組み込んでいる。
【００３１】
コントラスト感度変換
コントラスト感光変換は、写真フィルムの非線形的露光不足光応答を補償することを目的としてデザインされている。本発明においては、本願と同一の出願人による特許文献３においてグッドウィンの開示する方法を用いている。コントラスト感光変換のＬＵＴは、図１０に９１として示される非線形ＬＵＴを有する。これは、赤、緑、および、青色の画素データに、個別的に適用される。その結果の標準的な写真フィルムの写真応答は図８に示されている。（図７に５７として示されている）露光不足応答領域は（図８に５８として示されているように）線形化されていることに注目されたい。ソースデジタル画像１０１の数値的ダイナミックレンジは、図７に示される線６８の長さで表されている。対応する、本発明によって処理されている画素値は、図８の線６９の長さで示されている。このように、コントラスト感光変換の適用は画素値のダイナミックレンジを拡大する。
【００３２】
写真フィルムにキャプチャされたデジタル画像の線形感光応答の幅は、写真フィルムの自然感光応答の逆となることを意図している数式を用いて構成されたＬＵＴを適用することで、増大する、と、グッドウィンの教える方法には記載されている。特に、写真フィルムの露光不足領域における標準的な濃度対対数露光（Ｄ−ＬｏｇＥ）の曲線の傾きを復元することができる。図９を参照すると、傾きパラメータφは傾きの調整を記述しており、これは理論的には写真フィルム感光曲線の露光不足領域において生じる。これは（６）式より与えられる。
【数６】

ここで、ΔＤ１は実際のフィルムの光応答曲線（図９における８１）に生じる、ほぼ等しい２つの露光の間の濃度差を表し、ΔＤ２は前記の２つの露光によって、線形化されたフィルム応答曲線（８２）に生じる濃度差を表している。傾きパラメータφは各濃度レベルにおいてデジタル画像に適用される傾きの調整を表している。しかし、Ｄ−ＬｏｇＥ曲線の露光不足部分に関し、傾きはゼロに近づき、デルタＤ１はゼロに近づいて傾き調整が際限無く増加し、無限大に達する。このことが、処理したデジタル画像におけるノイズ特性を増幅させ、視覚的に好ましからざるノイズを生じさせる。許容最大傾き調整は、パラメータφ_ｍａｘで規定される。φ_ｍａｘよりも小さい傾き調整は徐々に１まで下げられる。この場合、パラメータφの値はφ’と置換される。φ’は（７）によって与えられる。
【数７】

ここで、Ａ、Ｂ、Ｃ、および、Ｄは最大傾き調整に依存した定数である。入力されるデジタル画像に含まれると予想されるノイズの量によって、最適なパラメータ、Ａ、Ｂ、Ｃ、Ｄ、および、φ_ｍａｘ選択は影響を受ける。
【００３３】
傾き調整のより複雑でない数式は、以下のφ_ｍａｘにて定式化可能である。φ_ｍａｘよりも小さいφの場合、傾きパラメータφは（８）式の簡単な関数の関係性より、
【数８】

となり、ここで、パラメータＫは、関数の最小値１．０への収束率である。本発明の好適な実施形態においては、Ｋは０．５と設定される。
【００３４】
光に対する写真応答は、製造されたそれぞれのフィルム製品の特性である。しかし、等しい写真スピード、つまり、等しいＩＳＯ等級の写真フィルムは類似の応答曲線を有する。本発明は全ての写真フィルム製品をＩＳＯのスピード区分にグループ化する。ＩＳＯ１００、２００、４００、８００、１００未満、８００より大をそれぞれ１区分とする。それぞれのＩＳＯスピード区分から代表的なフィルム製品を選択する。選択されたフィルム製品のそれぞれに対し、光応答を、参照写真フィルムストリップ（ｒｅｆｅｒｅｎｃｅ　ｐｏｔｏｇｒａｐｈｉｃ　ｆｉｌｍ　ｓｔｒｉｐ）を撮影することで計測する。この参照写真フィルムストリップは、グレーの、つまり、中間色の、反射率の値で並んだパッチターゲットを有する。この計測は参照写真フィルムストリップからフィルムスキャナ２１を用いて獲得した、デジタル画像を分析することによって達成される。コントラスト感光変換は、前記の測定データより生成される。フィルムスキャナ２１を用い、一般制御コンピュータ４０に記憶されているフィルムタイプの識別タグを使って写真フィルムストリップ１２ａのＩＳＯを決定する。各ＩＳＯスピードのタイプに対する感光コントラスト変換のデータベースが、一般制御コンピュータ４０に記憶されている。処理されたデジタル画像の各組に対し、写真フィルムストリップ１２ａの写真スピードが特定され、それに対応する感光コントラスト変換が選択される。
【００３５】
コントラスト感光変換は、関数（６）の数値積分により算出され、計測した濃度と「線形化」濃度とを関係付けるＬＵＴが得られる。輝度信号応答曲線は、参照写真フィルムストリップのデータから得た赤、緑、および、青色画素の平均応答として算出される。輝度最小画素値は、数値積分をするための開始画素値として用いられる。典型的なコントラスト感光変換ＬＵＴは図１０に示される。（９１と表示されている。）このように、コントラスト感光変換は、露光不足状態に関係している画素のコントラストを向上っせる非線形成分色変換（ｎｏｎ−ｌｉｎｅａｒ　ｃｏｍｐｏｎｅｎｔ　ｃｏｌｏｒ　ｔｒａｎｓｆｏｒｍ）であることがわかる。
【００３６】
ＦＵＧＣの適用
コントラスト感光変換ＬＵＴは、以下の方法により画素データに適用される。先ず、対応する色の最小画素値、Ｒ_ｍｉｎ’’、Ｇ_ｍｉｎ’’、および、Ｂ_ｍｉｎ’’（Ｔ_２［Ｔ_１［］］により変換されたＲ_ｍｉｎ、Ｇ_ｍｉｎ、および、Ｂ_ｍｉｎ）が、Ｒ_ｉ’’、Ｇ_ｉ’’、および、Ｂ_ｉ’’画素値（Ｔ_２［Ｔ_１［］］により変換されたソースデジタル画像画素）から差し引かれる。そして、Ｔ_３［］で表される、（９）式により与えられるコントラスト感光変換ＬＵＴが適用される。
【数９】

ここで、Ｒ_ｉ’’’、Ｇ_ｉ’’’、および、Ｂ_ｉ’’’は、コントラスト感光変換された画素値を表す。
【００３７】
主として、光景の照らす光源、例えば、タングステン、電子フラッシュ、日光、曇天（ｏｖｅｒｃａｓｔ）の色の唯一性に起因して、同一の写真フィルムストリップ１２ａに撮影された個々の画像は、固有のカラーキャストを有する。さらなる微調整として、各ソースデジタル画像に対するカラーバランス値が、光景を照らす光源の色の影響を取り除くことを目的としてデザインされた、２次元ガウシアン加重表面で、色を重み付けした、ダイナミックレンジが拡大されたデジタル画像１０３の画素の平均を用いて算出される。グレー推定関数２０７を用いて、ｋ番目の拡大ダイナミックレンジデジタル画像１０３のためのカラーバランス値（ＧＭ_ｋ、ＩＬＬ_ｋ）が決定される。変数（ＧＭ_ｋ、ＩＬＬ_ｋ）は前記のガウシアン加重表面の中央の座標としての機能を有する。（１０）式として与えられている式を用いてカラーバランス値が計算される。
【数１０】

ここで、ガウシアン加重係数λは（１１）により与えられる。
【数１１】

また、項ＧＭ_ｉ、および、ＩＬＬ_ｉは、拡大ダイナミックレンジデジタル画像１０３のクロミナンス値（ｃｈｒｏｍｉｎａｎｃｅ　ｖａｌｕｅｓ）を表している。変数σ_ＧＭ、および、σ_ＩＬＬはカラーキャストを除去するためのカラーバランス変換の積極性（ａｇｇｒｅｓｓｉｖｅｎｅｓｓ）を表している。変数σ_ＧＭ、および、σ_ＩＬＬに対する適正値は、それぞれ（フィルム濃度と同じ単位で）０．０５、および、０．０５に経験的に決定されている。本発明はクロミナンス値を加重するためにガウス関数を用いているが、当業者であれば、他の数学的関数を本発明に用いることができることは当然のこととして、理解している。前記加重関数の最も重要な性状は、大きなクロミナンス値には小さなクロミナンス値ほど加重しないという性質である。また、拡大ダイナミックレンジデジタル画像１０３の低解像度ヴァージョンを、式（１０）、および、式（１１）にて使用する画素の代理として用いることが可能であることに注目すべきである。同様に、上述した分析デジタル画像をダイナミックレンジ変換２０５で処理して、代理画素を作成することが可能である。
【００３８】
露光不足色変換
代替的な実施形態においては、露出不足色変換は、上述のコントラスト感光変換Ｔ_３［］を用いて算出することができる。色調整の程度は（１２）式で与えられる出力画素値Ｔ３［ｘ］と入力画素値ｘとの差によって調節される。
【数１２】

ここで、項Ｒ’_ｉ、Ｇ’_ｉ、および、Ｂ’_ｉは、処理される赤、緑、および、青色の画素値、Ｒ’’_ｉ、Ｇ’’_ｉ、および、Ｂ’’_ｉは、露光不足色変換により処理された画素値、Ｒ’’_ｍｉｎ、Ｇ’’_ｍｉｎ、および、Ｂ’’_ｍｉｎは、初期カラーバランス変換により処理される最小画素値、ならびに、Ｌ’’_ｍｉｎは、Ｒ’’_ｍｉｎ、Ｇ’’_ｍｉｎ、および、Ｂ’’_ｍｉｎに対応して、式（４）で与えられる輝度画素値を表す。式（１２）における項は入力画素値ｘと出力画素値Ｔ_３［ｘ］との最大差を表す。式（１２）における項（Ｌ’_ｍｉｎ−Ｒ’_ｍｉｎ）は、与えられた最大色調整を表している。
【００３９】
露光不足色変換　−　代替的変換
さらなる代替的実施形態においては、露光不足色変換は、例示的に図８において曲線８１として示されている光応答曲線Ｐ［ｘ］を用いて計算される。色調整の程度は、入力画素値ｘと式（１３）によって与えられる光応答曲線Ｒ［ｘ］の関数により与えられる画素値との差によって調節される。
【数１３】

ここで、項項Ｒ’_ｉ、Ｇ’_ｉ、および、Ｂ’_ｉは、処理される赤、緑、および、青色の画素値、Ｒ’’_ｉ、Ｇ’’_ｉ、および、Ｂ’’_ｉは、露光不足色変換により処理された画素値、Ｒ’’_ｍｉｎ、Ｇ’’_ｍｉｎ、および、Ｂ’’_ｍｉｎは、初期カラーバランス変換により処理される最小画素値、ならびに、Ｌ’’_ｍｉｎは、Ｒ’’_ｍｉｎ、Ｇ’’_ｍｉｎ、および、Ｂ’’_ｍｉｎに対応して、式（４）で与えられる輝度画素値を表す。式（１２）における項（Ｌ’_ｍｉｎ−Ｒ’_ｍｉｎ）は、与えられた最大色調整を表している。式（１３）における項（Ｌ’_ｍｉ _ｎ−Ｒ’_ｍｉｎ）は、与えられた最大色調整を表している。
【００４０】
【発明の効果】
本発明は、前記デジタル画像キャプチャーメディアに関する非線形光応答特性、ならびに、露光不足の画素に関するコントラストと色の問題、および、適切に露光されているデジタル画像に関する色の問題を補正する。
【図面の簡単な説明】
【図１】本発明の実施に適したデジタル写真仕上げシステムのブロック図である。
【図２】フィルムスキャナ、および、本発明の色変換法を実施するためのブロック図である。
【図３】写真フィルムのストリップを連続的に整列させるスプライシングが示されている写真フィルムのストリップの部分平面図である。
【図４】デジタル画像処理機の詳細を示すブロック図である。
【図５】典型的な写真フィルム製品の光応答を示すグラフである。
【図６】初期カラーバランス変換を適用した後の、典型的な写真フィルム製品の光応答を示すグラフである。
【図７】露光不足色変換を適用した後の、典型的な写真フィルム製品の光応答を示すグラフである。
【図８】コントラスト感光変換を適用した後の、典型的写真フィルム製品の光応答を示すグラフである。
【図９】コントラスト感光変換を系ｓンするのに用いた典型的写真フィルム製品の光応答を示すグラフである。
【図１０】コントラスト感光変換の形状を示すグラフである。
【符号の説明】
１０　・・　画像入力装置
２０　・・　デジタル画像プロセッサ
３０　・・　画像出力装置
４０　・・　一般制御コンピュータ
５０　・・　モニタ装置
６０　・・　入力制御装置
７０　・・　コンピュータメモリ装置

Claims

デジタル画像のダイナミックレンジ拡大および色の見えの変換の方法であって、
ａ）　キャプチャーメディアから、少なくとも３つの基本色に関して複数の画素値を有するソースデジタル画像を獲得するステップ、
ｂ）　以下のｉ）、ｉｉ）を用いて色補正変換を計算するステップ、
ｉ）　　前記ソースデジタル画像とは独立であり、かつ、キャプチャーメディアの関数として露光不足状態を補正することで、前記ソースデジタル画像のダイナミックレンジを拡大するのに使用可能な非線形コントラスト関数、および、
ｉｉ）　キャプチャーメディアの関数として露光不足状態に関連した、露光の関数として色再現誤差を補正するのに使用可能な非線形色調整関数、
ならびに、
ｃ）　前記色補正変換、および、前記ソースデジタル画像を用いて拡大ダイナミックレンジデジタル画像を生成するステップ、を有するデジタル画像のダイナミックレンジ拡大および色の見えの変換の方法。
非線形コントラスト関数が、露光不足状態に関係する画素のコントラストを向上させる、請求項１に記載の方法。
さらに、
前記拡大ダイナミックレンジデジタル画像に対し、カラーバランス値を独自に計算するステップ、および、
前記カラーバランス値を用いて前記拡大ダイナミックレンジデジタル画像の色の見えを修正するステップ、を有する、請求項１に記載の方法。
前記ソースデジタル画像が、オリジナル写真フィルムストリップから獲得されている、請求項１に記載の方法。
デジタル画像のダイナミックレンジ拡大および色の見えの変換の方法であって、
ａ）　キャプチャーメディアから、少なくとも３つの基本色に関し複数の画素値を含んでいるソースデジタル画像を獲得するステップ、
ｂ）　前記ソースデジタル画像の画素とは独立であって、かつ、露光不足状態と関連しており、また、前記露光不足の画素を調整する、第１非線形調整を組み込んでいる第１色変換を算出するステップ、
ｃ）　前記ソースデジタル画像の画素とは独立であって、かつ、露光不足状態と関係している画素のコントラストを向上させる、第２非線形調整関数を組み込んでいる第２色変換を算出するステップ、
ｄ）　前記第１および第２色変換を合成して、第３色変換を算出するステップ、および、
ｅ）　前記第３色変換、および、前記ソースデジタル画像を用いて、拡大ダイナミックレンジデジタル画像を作成するステップ、を逐次的に有するデジタル画像のダイナミックレンジ拡大および色の見えの変換の方法。