JP2004064737A - デジタル画像を処理するための色変換 - Google Patents
デジタル画像を処理するための色変換 Download PDFInfo
- Publication number
- JP2004064737A JP2004064737A JP2003141048A JP2003141048A JP2004064737A JP 2004064737 A JP2004064737 A JP 2004064737A JP 2003141048 A JP2003141048 A JP 2003141048A JP 2003141048 A JP2003141048 A JP 2003141048A JP 2004064737 A JP2004064737 A JP 2004064737A
- Authority
- JP
- Japan
- Prior art keywords
- color
- digital image
- transform
- photographic
- sensitometry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title description 11
- 238000000034 method Methods 0.000 claims abstract description 64
- 239000003086 colorant Substances 0.000 claims abstract description 19
- 238000012886 linear function Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 41
- 230000001419 dependent effect Effects 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 19
- 238000005286 illumination Methods 0.000 description 19
- 239000000463 material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000009466 transformation Effects 0.000 description 14
- 229920006395 saturated elastomer Polymers 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000007935 neutral effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000012417 linear regression Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007717 exclusion Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 4
- 229910052721 tungsten Inorganic materials 0.000 description 4
- 239000010937 tungsten Substances 0.000 description 4
- 238000012993 chemical processing Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000000326 densiometry Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6094—Colour correction or control depending on characteristics of the input medium, e.g. film type, newspaper
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Fax Reproducing Arrangements (AREA)
Abstract
【課題】複数のデジタル画像のカラーアピアランスを変換する方法を提供する。
【解決手段】捕捉媒体から複数のデジタル画像を受け取る段階であって、それぞれのデジタル画像は少なくとも3つの基本色に関連する複数の画素値を含む、段階;デジタル画像に依存しないで捕捉媒体の関数として露出不足の条件を補正する非線形の調整を用いて及び基本色の画素に依存する線形関数関係であって捕捉媒体の写真反応に対応する露出レベル依存性グレー評価を定義する線形関数関係を用いて色補正変換を演算する、段階;並びに、複数のデジタル画像の画素を修正するために色補正変換を用いる段階であって、露出の関数として色修正の度合いを変化させることによりデジタル画像における画素を変換する、段階;から構成される、方法。
【選択図】 図1
【解決手段】捕捉媒体から複数のデジタル画像を受け取る段階であって、それぞれのデジタル画像は少なくとも3つの基本色に関連する複数の画素値を含む、段階;デジタル画像に依存しないで捕捉媒体の関数として露出不足の条件を補正する非線形の調整を用いて及び基本色の画素に依存する線形関数関係であって捕捉媒体の写真反応に対応する露出レベル依存性グレー評価を定義する線形関数関係を用いて色補正変換を演算する、段階;並びに、複数のデジタル画像の画素を修正するために色補正変換を用いる段階であって、露出の関数として色修正の度合いを変化させることによりデジタル画像における画素を変換する、段階;から構成される、方法。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、改善されたカラーアピアランスをもつ色変換デジタル画像の提供に関する。
【0002】
【従来の技術】
写真フィルムストリップ等の捕捉媒体からデジタル画像を生成するようにデザインされたイメージングシステムは、種々の原因による色再現に伴う問題に直面する。フィルムスキャナのハードウェアのスペクトル感度が一般的なフィルムプロダクトに用いる色素材料の分光透過率に十分適合しない場合、中間色の被写体、即ち分光的に中間反射率の写真撮影被写体を表すデジタル画素値は、シーン露出に対して線形関係をもつ方法で色が変わることになる。色再現性の問題に関連する他の露出についての原因は、色センシング層とフィルム材料の化学的処理感度との間のフィルム材料のコントラストのミスマッチを含む。
【0003】
米国特許第4,279,502号明細書(特許文献1)において、Thum等は、フィルムタイプに特有のパラメータ値を用いることなく、フィルムから直接導き出される光度データから色バランス複写光量を決定することを盛り込んだ光学的印刷装置についての方法を開示している。この方法において、第1及び第2の色密度差関数相関値を、コピーされるオリジナル画像を含む写真フィルムストリップの複数領域における測定結果を示す密度値から設定している。照射エラーまたは色支配の被写体を含むオリジナルの光量は、経験的に決定される閾値を用いて、それぞれ選択される。効果的には、この方法は、オリジナル画像における3つの基本色密度間の補正相関関係を捕捉できない2つの異なる独立した関数関係の確立を必要とする。
【0004】
米国特許第5,959,720号明細書(特許文献2)において、Kwon等は、フィルム露出及びグレー中心色間の線形関係を確立する光学的印刷装置についての類似した方法について開示している。Kwon等により開示されたこの方法は、オリジナルのフィルム材料の複数の領域における少なくとも3つの基本色におけるオリジナルフィルム材料の密度値を光電的に別々に測定する段階を含んでいる。そして、カラーコピー操作において光量制御に影響を及ぼすためのオリジナル材料の長さに特有の値として用いる露出レベル依存性グレー評価を表す少なくとも3つの基本色間の単一の多次元関数関係を確立する。
【0005】
【発明が解決しようとする課題】
Thurm等とKwon等により開示された2つの方法は、フィルム材料からデジタル画像を導き出す段階、露出依存性色バランス関係を確立する段階、及び、フィルム材料を通して印画紙レシーバに投影される光量を変えることにより形成される写真プリントのカラーアピアランスを改善するために露出依存性色バランス関係を用いる段階、を含むことを開示している。
【0006】
また、デジタルイメージングシステムで形成される写真プリントのカラーアピアランスを改善するために、Kwon等により開示された技術を用いる。これらの適用において、フィルム材料を操作することにより導き出されるデジタル画像の画素値をカラーバランスについて修正する。即ち、各々のデジタル画像のグレー中心を表す3つの色の画素値を、確立された多次元関数関係を用いて演算する。3つの色の画素値を、デジタル画像のすべての画素から減じ、それ故、被処理デジタル画像の全体的なカラーバランスを変化させる。さらに、画素毎に基づいてデジタル画像の画素のカラーアピアランスを修正するために、多次元関数関係を用いることが可能である。しかしながら、捕捉媒体の非線形写真反応、特に写真フィルムストリップの露出不測領域に関連する画素に関するKwon等による技術においてはいまだに問題がある。
【0007】
米国特許第5,134,573号明細書(特許文献3)において、Goodwinは、デジタル的に走査される写真フィルム材料から導き出されるデジタル画像のコントラストを調整するための方法を開示している。その方法は、写真フィルムプロダクトの写真反応を線形化するためにデザインされたルックアップ表(LUT)の形式でセンシトメトリ補正関数を適用することにより全体的な画像コントラストを改善する。センシトメトリ補正関数の適用は、写真フィルム材料の露出不足領域に対応するデジタル画像画素値の色コントラストの改善を行うことができず、また、それは、適切な光量で露出されるフィルム材料の領域に関連する露出依存性の色の問題を説明することができない。さらに、Goodwinの方法は、化学的処理のエラーにより生じるフィルムセンシトメトリにおける変化を説明することができない。
【0008】
【特許文献1】
米国特許第4,279,502号明細書
【特許文献2】
米国特許第5,959,720号明細書
【特許文献3】
米国特許第5,134,573号明細書
【課題を解決するための手段】
本発明の目的は、捕捉媒体の写真反応に関連する露出不足の問題のために補正する複数のデジタル画像のカラーアピアランスを変換する方法を提供することである。
【0009】
この目的は、複数のデジタル画像のカラーアピアランスを変換する方法であって:(a)捕捉媒体から複数のデジタル画像を受け取る段階であって、それぞれのデジタル画像は少なくとも3つの基本色に関連する複数の画素値を含む、段階;(b)i)デジタル画像に依存せず、そして捕捉媒体の関数として露出不足の条件を補正する、非線形調整、及びii)基本色の画素に依存する線形関数関係であって、捕捉媒体の写真反応に対応する露出レベル依存性グレー評価を定義する線形関数関係、を用いて色補正変換を演算する、段階;並びに(c)複数のデジタル画像の画素を修正するために色補正変換を用いる段階であって、露出の関数として色修正の度合いを変化させることによりデジタル画像における画素を変換する、段階;から構成される、方法により達成される。
【0010】
本発明は、デジタル画像捕捉媒体に関連する非線形写真反応特性を補正し、露出不足画素に関連するコントラスト及び色の問題と適切に露出されるデジタル画像に関連する色の問題とを補正する。本発明は、色補正変換を進展させるために同じ捕捉媒体における複数のデジタル画像からの色についての画素情報を利用する。露光不足の状況においては、問題の源は捕捉媒体にあることを認識することができた。
【0011】
【発明の実施の形態】
本発明は、複数のデジタル画像のカラーアピアランスの変換方法を提供する。本発明の重要な特性は色補正変換を演算することに関わる。以下、詳細に説明するように、色補正変換は少なくとも2つの構成要素を含み、即ち、それらは、デジタル画像に依存せず、捕捉媒体の機能として露出不足条件を補正する非線形調整と、基本色の画素に依存する線形関数関係であって、捕捉媒体の写真反応に対応する露光レベル依存性グレーレベル評価と定義される、線形関数関係と、を含む。この色補正変換を用いることにより、同じ媒体において得られるデジタル画像のアピアランスを著しく改善することが可能である。
【0012】
以下の説明において、本発明の好適な実施形態をソフトウェアプログラムとして説明することとする。当業者は、そのようなソフトウェアに対応するものとしてハードウェアを構成することが可能であることをすぐに認識するであろう。画像処理アルゴリズム及びスシステムはよく知られているため、以下の説明は、本発明にしたがった方法の一部を構成し、またはその方法により直接的に関わる、アルゴリズムおよびシステムに導くものである。そのようなアルゴリズム及びシステムの他の特徴であって、関連する画像信号を処理するのではなく生成するハードウェア及びソフトウェアは、ここでは特に示し、または記述してはいないが、この分野で既知のシステム、アルゴリズム、構成部品及び要素を選択することが可能である。請求項に開示した記載から理解されるように、コンピュータプログラムとしてのすべてのソフトウェアは従来の一般的技術の範囲内で従来と同様に実行することが可能である。
【0013】
さらに、ここで用いるコンピュータプログラムは、コンピュータ読み取り可能記憶媒体に記憶され、例えば、磁気ディスク(フロッピー(登録商標)ディスク等)または磁気テープ等の磁気記憶媒体と、光ディスク、光テープまたは機械読み取り可能バーコード等の光記憶媒体と、ランダムアクセスメモリ(RAM)または読み出し専用メモリー(ROM)等の固体電子記憶装置と、またはコンピュータプログラムを記憶するために用いられる他の物理デバイス或いは媒体と、から構成することが可能である。
【0014】
デジタル画像は1つまたはそれ以上のデジタル画像チャンネルから構成される。それぞれのデジタル画像チャンネルは2次元の画素アレーから構成される。それぞれの画素値は、画素の幾何学的ドメインに対応するイメージング捕捉装置により受け取られる光量に関係する。カラーイメージングの適用のために、デジタル画像は、典型的には、赤、緑及び青のデジタル画像チャンネルから成るが、それ以上のカラーチャンネルを含むことが可能である。また、他の構成、例えば、シアン、マゼンタ及びイエローデジタル画像チャンネルが実施される。本発明においては、デジタル画素チャンネルを、列および行により配列する2次元の画素値のアレーとして説明しているが、当業者は、本発明をモザイクアレーに適用して、同様の効果をもたらすことが可能であることを認識するであろう。
【0015】
本発明をコンピュータハードウェアにおいて実施することが可能である。図1を参照するに、次に、画像入力装置10a、10b及び10c、デジタル画像プロセッサ20、画像出力装置30a及び30b、そして全般制御コンピュータ40に関して説明する。このシステムは、コンピュータコンソールまたはペーパプリンタ等のモニタ装置50を含むことが可能である。そのシステムはまた、キーボードまたはマウスポインタ等のオペレータのための入力制御装置60を含むことが可能である。さらに、本発明を、コンピュータプログラムとして実行することができ、コンピュータメモリ装置70、即ち、コンピュータ読み取り可能記憶媒体に記憶することが可能であって、例えば、磁気ディスク(フロッピー(登録商標)ディスク等)または磁気テープ等の磁気記憶媒体と、光ディスク、光テープまたは機械読み取り可能バーコード等の光記憶媒体と、ランダムアクセスメモリ(RAM)または読み出し専用メモリー(ROM)等の固体電子記憶装置と、またはコンピュータプログラムを記憶するために用いられる他の物理デバイス或いは媒体と、から構成することが可能である。本発明について記述する前に、パーソナルコンピュータ等の周知のあらゆるコンピュータシステムにおいて、本発明を好適に利用することが可能であることが容易に理解されるものである、ことを書き留めておく。
【0016】
複数の捕捉装置10a、10b及び10cは、種々のイメージング装置から得られるデジタル画像に対して本発明を用いることが可能であることを示している。例えば、図1は、例えばカラーネガティブフィルムまたはスライドフィルムの透明画等の従来の写真画像を走査することによりデジタル画像を生成するフィルム走査装置を示している。同様に、画像入力装置10bはデジタルカメラとすることが可能である。デジタル画像プロセッサ20は、所定の出力装置または媒体について満足のいく画像を生成するようにデジタル画像を処理するための手段を提供する。複数の画像出力装置30a及び30bは、デジタルカラープリンタ及びソフトコピー表示装置を含むことが可能である種々の出力装置と共に用いることが可能である。
【0017】
図2及び図3を参照するに、参照符号10は、写真フィルム捕捉媒体からデジタル画像を生成するスキャナ装置の形態をとる入力捕捉装置を表す。入力捕捉装置10において、接着性コネクタ13を用いて共に接続される一連の分離した写真フィルムストリップ12aから構成されるフィルム12の長さは、供給リール14から、接続部検出器16、ノッチ検出器18及びフィルムスキャナ21を通り過ぎて、テークアップリール22まで、搬送される。接続部検出器16は、単一の連続写真フィルムストリップ12aにおける一連のオリジナル画像フレーム17を構成するそれぞれの分離フィルムの順番の最初と最後を確認する出力信号を生成する機能を果たす。ノッチ検出器18は、それぞれのオリジナルの画像フレームに隣接する写真フィルムストリップに形成されたノッチを検出し、特定のオリジナル画像フレームによりフィルムスキャナに生成される情報を補正するために用いられる出力信号を提供する。スキャナコンピュータ24はフィルムスキャナ21の構成要素を統合し制御する。フィルムスキャナ21は走査する、即ち、オリジナル画像フレーム17及びフレーム間ギャップ19を含む写真フィルムストリップ12aにおける複数の領域の少なくとも3つの原色の密度値について既存の方法により光度測定を行う。所定のオリジナル画像フレームに対応する光度測定はソースデジタル画像から構成される。ここで用いる表現、領域、は、フレーム間ギャップ、即ち、画像フレーム間の非露出フィルムの領域の光度測定に対応する個々の画像の画素またはデジタル画像内の画素群を意味するものである。オリジナル画像フレームに対応するデジタル画像及びフレーム間ギャップ19に対応する検出器16、18及びフィルムスキャナ21からの信号は、色補正変換を演算するデジタル画像プロセッサ20に供給される。デジタル画像プロセッサ20は、ソースデジタル画像に色補正変換を適用し、処理されたデジタル画像をデジタルカラープリンタの形態をとるデジタル出力装置30に送る。デジタル出力装置30は、処理されたデジタル画像からハードコピー写真印刷を生成するために動作する。または、処理されたデジタル画像は、電子装置または他のデジタル出力装置において見るために、記憶され検索される。
【0018】
図1に示したデジタル画像プロセッサ20の処理の詳細について図4に更に示すとともに、図9に基本的なブロック図の形式で示す。デジタル画像プロセッサ20により演算され、一組のソースデジタル画像101(図2に示したフィルムスキャナ10により受け取られる)に適用される色補正変換は、少なくとも1つの段階により達成される。分析デジタル画像は、段階2〜5までの4つの分離した変換について演算するために用いられ、段階6で1つの色補正変換に結合される。次いで、段階7において色補正変換がソースデジタル画像101に適用され、補正されたカラーデジタル画像102と呼ばれる一組の処理済みデジタル画像が得られる。
【0019】
フィルムスキャナ21を用いて生成されるソースデジタル画像102は、高い空間分解能をもち、即ち、印刷するときに十分詳細な画像を生成するために必要とされる、典型的には100万のオーダー以上である数多くの画素を含むデジタル画像から構成される。一般に、分析変数の演算は、粗い結果を得るためにはそのような高い分解能を持つ画像を必要としない。段階1において、一組の分析デジタル画像は、より低い空間分解能をもつ種々のソースデジタル画像101として生成され、通常、それぞれ約1000個の画素を含む。
【0020】
段階2は、一組のソースデジタル画像に固有であって一般的である強度依存性(露出依存性)カラーセンシトメトリの問題を補正するためにデザインされたカラーセンシトメトリ変換210(図9に示す)の演算を含む。多くの物理的及び化学的因子がカラーセンシトメトリ問題を生じさせる。しかしながら、感光性物質の製造プロセスにおけるスペクトルの不正確さ、写真フィルムストリップ12aを現像するために用いられる異常な化学的処理及びフィルムスキャナにおける分光学的不正確さが、3つの主要原因である。図5は、典型的な写真フィルムプロダクトの写真反応曲線の様子を示している。カラーセンシトメトリ変換210は、赤51、緑52及び青53反応曲線のように、図5に示された個々の赤、緑及び青の反応曲線の間の傾きの違いを取り除くためにデザインされたものである。図5に示されたフィルムプロダクトに対するカラーセンシトメトリ変換210の適用から得られる、効果的な写真反応曲線を図6に示す。カラーデンシトメトリ変換210は図5に示した赤51、緑52及び青53反応曲線の間の絶対密度の差と傾きの差の両者を取り除くための効果を有することに注目されたい。54で示す写真反応ドメインは、十分な露出を施された写真フィルムの領域に対応する。55で示される反応ドメインは殆ど光を照射されなかった写真フィルムの領域に対応している。この反応ドメインは露出不足ドメインと呼ばれる。一般に、露出不足ドメインは、カラーセンシトメトリ変換210を適用しても尚、絶対密度の差および傾きの差を残したままになっている。
【0021】
図4に示した段階3は、図6に示した赤、緑及び青の写真反応曲線の形の間で一致するように改善するようにデザインされた露出不足のカラー変換220の演算結果を示している。図7は、カラーセンシトメトリ変換210と露出不足カラー変換220の効果を組み合わせた結果を示している。図7に示すように、赤、緑及び青の反応曲線の間の密度の差を取り除くことができる。しかしながら、符号57で示される露出不足ドメインは尚も非線形の様相を呈している。
【0022】
図4に示す段階4は、写真反応曲線を線形化するためにデザインされたコントラストセンシトメトリ変換の演算結果を示している。カラーセンシトメトリ変換210と露出不足カラー変換220を組み合わせたとき、コントラストセンシトメトリ変換230の適用は図8に示す写真反応曲線が得られる。符号58で示す露出不足ドメインは、ここでは、赤、緑及び青の反応曲線の間の形状においてほんの少しの不整合はあるが、線形性が向上した写真反応の形状を有している。
【0023】
一組のソースデジタル画像101が由来するそれぞれのオリジナルの画像は、特異なシーン照明ソースにより影響を受ける。例えば、同じ写真フィルムストリップ12aの画像は、タングステン、日中の太陽光、雲空のときの光、その他の照明ソースによる影響を受けて写真撮影がなされる。シーン照明ソースにより送られる適切でないカラーキャストのソースデジタル画像及び前変換から残されたあらゆる未処理のセンシトメトリカラーの問題を補償するために、色補正変換は、図4に示す段階5のように、個々のデジタル画像の全体的なカラーキャストを補正するためにデザインされたカラーバランス変換240を含む。
図4を参照するに、段階5は、カラーバランス変換の演算を含み、2つの部分から構成される。即ち、画像の画素データにおける如何なる未処理のカラーキャストを評価するためにデザインされた第2カラーセンシトメトリ変換の演算、そして、それぞれの処理されたデジタル画像に特異なカラーバランスの位置の演算、である。カラーバランス変換240を生成するために、第2カラーセンシトメトリ変換の結果を個々の画像カラーバランスの位置と結合させる。
【0024】
デジタル画像プロセッサ20により演算された色補正変換は、したがって、4つの分離した成分変換から構成される。即ち、それらは、カラーセンシトメトリ変換210、それに続く露出不足カラー変換220、それに続くコントラストセンシトメトリ変換230及びその次のカラーバランス変換240、である。カラーセンシトメトリ変換210とカラーバランス変換の両者は線形変換である。しかしながら、コントラストセンシトメトリ変換230と露出不足カラー変換220は非線形変換である。したがって、色補正変換は、それら成分変換のうち少なくとも1つが非線形であるため、非線形変換となる。
【0025】
また、上述の4つの成分変換のうち何れかの1つ及びそれらの組み合わせを、ここでは、色補正変換とみなすことを特記しておく。たとえば、いくつかのデジタルイメージングシステムについて、その4つの成分変換のうち1つまたはそれ以上が省かれても尚、有用な色補正変換が得られる。さらに、種々の成分変換の適用の順序を変えても、有用な色補正変換が得られる。例えば、本発明のより簡単な実施においては、カラーセンシトメトリ変換210、次にカラーバランス変換240、その次にコントラストセンシトメトリ変換230、とする色補正変換の構築を含んでおり、これは有用であることが認められた。
【0026】
図4の段階7においては、補正済みカラーデジタル画像102を生成するために、それぞれのソースデジタル画像101に色補正変換を適用する。色補正変換は、段階6において、式(1)を用いて、4つの成分変換を単一変換にカスケード化することにより、色補正変換を構成する。
【0027】
T[pi]=T4[T3[T2[T1[pi]]]] (1)
ここで、T1[]はカラーセンシトメトリ変換210を表し、T2[]は露光不足カラー変換220を表し、T3[]はコントラストセンシトメトリ変換230を表し、T2[]はカラーバランス変換240を表し、piはソースデジタル画像の画素を表し、そしてT[pi]は処理された画素値を表す。色補正変換T[]を3つの1次元ルックアップテーブル(LUT:Look−Up−Table)として実行することが可能である。成分変換T1[]、T2[]及びT3[]は単一写真フィルムストリップ12aに関連するすべてのソースデジタル画像に共通であり、それらは、次式(2)に示すように単一のLUTT5[]に都合よく結合することが可能である。
【0028】
T5[]=T3[T2[T1[]]] (2)
その処理された画素値は次式(3)により与えられる。
【0029】
T[pi]=[T4[T5[pi]] (3)
成分変換を用いてソースデジタル画像の画素全体を連続的に処理することにより、色補正変換を実行することが可能であることを、特記しておく。例えば、修正済されたデジタル画像が結果として得られるすソースデジタル画像に、変換T1[]を適用することが可能である。次いで、さらに画素値を修正するために、修正されたデジタル画像画素に変換T2[]を適用することが可能である。成分変換を連続的に適用するこの方法は、一般に、成分変換を結合させて、結合させた変換を画像の画素データに適用する好適な方法に比較して、より大きいコンピュータリソースを必要とする。しかしながら、その連続的適用方法は、全体のデジタル画像の中間の修正画素値が各々の処理段階で同時に利用可能であるという優位点を有している。図9は、色補正変換に含まれる連続的な成分変換を示す機能ブロック図である。
【0030】
本発明のその他の実施形態においては、T6[]を生成するために変換T1[]及びT2[]を組み合わせることにより画像処理を実行する。修正されたデジタル画像が結果的に得られるソースデジタル画像に変換T6[]を適用する。ローパス空間部品とハイパス空間部品(図9において空間フィルタ250として表される)から構成される、ぼけマスキングアルゴリズムを用いて修正されたデジタル画像を空間的にフィルタリングする。次いで、ローパス空間部品に変換T3[]を適用し、そしてハイパス空間部品をT3[]により変換されたローパス空間部品に加える。適用される最終変換はT4[]である。画像の画素データに変換T3[]を直接適用することにより、被処理デジタル画像のコントラストは向上する。このプロセスはまた、ソースデジタル画像に存在するノイズを増幅させる。ローパス空間部品に変換T3[]を適用することにより、非常に高い空間周波数特性をもつノイズを増幅させることはない。結果的に色補正変換は実行するために、より複雑になり、好適な実施形態に比べてより大きなコンピュータリソースを必要とするが、被処理画像の視認性ノイズは少なくなる。
【0031】
フィルムプロダクトの露出依存性色特性の影響を取り除くために、カラーセンシトメトリ変換210をデザインしている。カラーセンシトメトリ変換210を演算する第1段階は、変換の正確さを低下させる一組のソースデジタル画像101において画素を識別することを含む。演算の正確さを改善するために、本発明では、複数の排他的条件を用いることが可能である 即ち、高濃度の標準画素、人工的な照明ソースにより影響を受けた画素、空間的に不活性な領域に対応する画素、相対的に最も小さい画素輝度をもつ画素及び露出不足条件に対応する画素は除外する。
【0032】
最適なカラーセンシトメトリ変換210を決定することにおけるデジタル画像プロセッサ20の処理の一部として、それぞれの写真フィルムストリップ12aのための露出依存性グレー値のセットは、測定された赤、緑及び青のような3原色の画素値の間の単一な3次元関数関係の形式で得られる。この関数関係は、どの画素値がカラーセンシトメトリ変換210の演算に寄与するかに影響を及ぼす、写真フィルムストリップ12a及びそれに対応する写真フィルムストリップ12aから由来するソースデジタル画像101に特有の値として、露出レベル依存性グレー評価を表す。概念的には、そのグレーを表す関数関係は、図10に示すタイプの3次元散布図を生成することにより導き出され、赤、緑及び青の軸により境界が形成される色空間内の赤、緑及び青のような測定された原色のカラーフィルム密度に対応する3原色画素値の3次元散布図を示している。ここでは、画像フレームにおける赤、緑及び青密度値に対応するデジタル画像画素値に基づいて3次元関数関係について説明するが、関数関係についての基礎を形成するために、赤、緑および青以外の基本色の画素を走査することが可能であることは評価されるであろう。さらに、本発明は、3つ以上の色密度を走査することが可能であるため、3つの色密度に限定されるものではない。したがって、最も広い方法において、適切な色の何れかの適切な組み合わせをもつ、少なくとも3つであって、可能であればそれ以上の被走査色密度から導き出される。
【0033】
図10に示されたプロットされたポイントは、写真フィルムストリップ12a上の領域に対応するカラーの測定された画素値を表す。3次元色空間のフィルムスキャナ21により測定された各々の領域からみ値引き出される測定された画素値をプロットし、続いて、最小自乗法のような、多くの周知のラインフィッティング方法のうち何れか1つを用いて画素値63により線62をフィッティングすることにより、関数関係を確立する。このフィッティングされた線62は、それから、写真フィルムストリップ12aから導き出されるソースデジタル画像のセットについての露出レベルに依存するグレーレベルの評価としての役割を果たす。参照のために散布図を概念的に作成したが、これは、本発明の開示内容を視覚的に捉えることを容易にする。実際の方法において、デジタル画像プロセッサ20により実行される適切なラインフィッティングアルゴリズムに画素値のデータを入力することによりカラーセンシトメトリ変換210を生成するので、当業者に評価されるであろう。
【0034】
上述の方法において、分析デジタル画像のセットにおけるすべての測定された領域から得られる画素値は散布図を生成することにおいて用いられた。カラーセンシトメトリ変換210、即ち散布図を生成してフィッティングされた線62の精度を改善するとき、画素データを除くことは、場合によっては、効果的であることが判明した。例えば、図10のプロットにおいてポイント64により表されるような高飽和色を有する画素は、フィッティングされた線の評価にバイアスをかけることが可能である。カラーセンシトメトリ変換210を確立することにおいて、カラーセンシトメトリ変換210は、シーンにおけるこれらの飽和色にバイアスをかけることなく、写真フィルムストリップ12aの性質を主として表すことは重要である。したがって、カラーセンシトメトリ変換210を確立するために用いられる散布図から、これら飽和色の画素値を減ずることは好ましい。高飽和色の領域に対応する画素データを削除するために、先ず、高飽和色が削除されるべきものと確認するために用いる参照ポイントに関連する閾値ポイントを設定することが必要である。
【0035】
高飽和色の削除のために種々の技術を用いることが可能であり、先ず、3原色の画素値を代わりとなる直交色空間に変換することにより、本発明の好適な実施形態においてその削除を達成でき、それには、同一出願人による米国出願特許第4,159,174号明細書に開示された方法を用いており、ここでは、その開示内容を参照することとする。この変換空間を図11のグラフに示し、ここで、3次元空間における3原色の画素値は、輝度軸に垂直である緑/マゼンタ照射平面に投影されている。図11のポイント71で示される参照のグレーのポイントを次の方法により設定する。
【0036】
写真フィルムストリップ12aから導かれる複数の画素領域の測定された画素値から、最小画素値(Rmin、Gmin、Bmin)のセットを決定する(図5に示す)。好適には、この目的のために含まれる画素領域は、ソースデジタル画像101と図3に示されたフレーム間ギャップの両者から得られる。この目的は、露出されない写真フィルムストリップにおける領域を確認することである。普通は、これはフレーム間ギャップ19において認識されることが期待される。しかしながら、例えば、フレーム間ギャップ領域においてフォギング等のある程度の露出があるとの理由で、最小画素値の決定において、ソースデジタル画像の画素値を含むことが好適であることが知られている。デジタルイメージングシステムによっては、フィルムスキャナ21はフレーム間ギャップ19を測定することが可能でないため、これらのシステムに対して、単に画像の画素データから最小画素値を決定しなければならない。
【0037】
次に、分析デジタル画像すべてにおけるすべての領域についてのオーダー平均画素値を決定する。最小画素値(Rmin,Gmin,Bmin)及びオーダー平均画素値(Rav,Gav,Bav)にそれぞれ対応する緑/マゼンタと輝度値(GMmin,ILLmin)(図12参照)及び (GMav,ILLav)を得るために、次式(4)を用いて、2つのセットの値を、図11に示された代わりとなる直交色空間に変換する。
【0038】
LUM=(R+G+B)/31/2 (4)
GM=(2G−R−B)/61/2
ILL=(B−R)/21/2
これらの重み付け平均GM0とILL0は次式(5)から導かれる。
【0039】
GM0=αGMav+(1−α)GMmin
ILL0=βILLav+(1−β)ILLmin
ここで、重み付けの値α及びβは、各々0〜1の範囲内の値であり、結果として得られるカラー印刷の検査から経験的に決定される。良好な結果が得られることがかくにんされた代表的な値は、およそα=0.6、β=0.25である。これらのGM0とILL0の値は、図11のポイント71に示すように、参照ポイントまたは初期のグレーポイントを設定する。米国特許出願第4,279,502号明細書に開示された方法は、図11の色空間におけるGMminとILLminに対応する最小密度(Rmin,Gmin,Bmin)のみに関連する飽和の演算を用いて飽和色の削減を実行しており、これは必ずしも最適な結果を与えないことが分かった、ことを特記しておく。これは、最小密度レベルで決定されたグレーポイントは普通の露出レベルに対応するグレーポイントを正確に反映していない理由によると思われる。それ故、GM0とILL0の値を決定するとき、写真フィルムストリップから導き出される分析デジタル画像における領域の画素値の平均値の測定を含むことは優位性があることが判明した。しかしながら、米国特許出願第4,279,502号明細書に開示された演算方法は正確さに欠ける一方、その実行は比較的簡単であるとの優位性を有している。
【0040】
デジタル画像における各々の画素の飽和の演算において、i番目の画素は添え字“i”により表され、測定されたカラー画素値は、好適には(GMi,ILLi)を結果としてもたらされる、代わりとなる直交色空間に変換される。飽和値(SATi)、即ち分析デジタル画像における処置画素についての色飽和の測定値は、図11の符号71で示す参照ポイント(GM0,ILL0)に関して演算され、次の式(6)のように表される。
【0041】
(SATi)=((GMi−GM0)2+(ILLi−ILL0)2)1/2(6)
次に、飽和値SATiを円72で表される所定の閾値と比較する。ポイント74で示されるように、飽和値SATiが閾値より大きいとき、図10の散布図の生成においてその画素値を排除する。ポイント76で示されるように、円72で表される閾値内にある画素からのデータは、散布図を生成するために用いられるサブセットに含まれる。図10のプロットに関して、これは、遠くに散在するポイント64は排除し、近くに散在するポイント63は含まれる。赤、緑そして青の値をGM及びILL色空間に変換するとき、好適な本発明の実施形態における円72の閾値半径は0.15である。この閾値の設定は経験的な決定によるものであり、本発明の請求範囲内であれば他の閾値を設定することが可能であることを理解されたい。図11に示す飽和クリッピング技術は、すべての色方向(色相)に円72により示される一様な閾値を用いる簡単な方法であるが、上記のGoll等による学術誌の記事に開示された“The subject failure suppression boundaries technique”に類似して、色方向に依存する可変閾値を有することもまた可能であることは、評価されるであろう。
【0042】
高飽和フレームはカラーセンシトメトリ210(GM0,ILL0)をバイアスすることが可能である。GM0及びILL0を評価するためのさらなる改良として、GM0及びILL0の演算から高飽和分析デジタル画像を削除するために供給を行うことが可能である。それぞれの分析デジタル画像について、上述したように、個々の分析デジタル画像内の画素のみが演算に含まれることを除いて、GMav及びILLavと同様の方法で、フレームの平均画素値GMfav及びILLfavを演算する。GMav及びILLavはすべての分析デジタル画像の平均画素値を表し、GMfav及びILLfavの値は個々の分析デジタル画像の平均画素値を表すことは、評価されるであろう。それ故、GMav及びILLavの値を次式(7)により演算することが可能である。
【0043】
GMav=(1/N)ΣNGMfav (7)
ILLav=(1/N)ΣNILLfav
ここで、図12を参照するに、上述した変換値GMmin及びILLmin、即ち図12のポイント90に関して、分析デジタル画像飽和値を演算される。分析デジタル画像のセットにおける所定の分析デジタル画像のための飽和値(SATf)は、図12のポイント(GMmin,ILLmin)について演算され、次式(8)により与えられる。
【0044】
SATf=((GMfav−GMmin)2+(ILLfav−ILLmin)2)1/2 (8)
次いで、円92で表される閾値により示される所定の閾値と飽和値SATfを比較する。ポイント94により示される場合のように、飽和値SATfが閾値より大きいとき、この分析デジタル画像のGMfav及びILLfavの値はGMav及びILLavの演算において排除される。円92で示される閾値の範囲内にある分析デジタル画像からの画素データは、ポイント96で表すように、GMav及びILLavの演算において含まれる。分析デジタル画像のセットにおいてデジタル画像が飽和の決定により排除される特定状況において、GM0及びILL0の値はそれぞれ、GMmin及びILLminに戻ることは、評価に値するであろう。図11の場合のように、円92により表される閾値を、ここでの好適な実施形態においては経験的に決定し、その値として0.25を用いるが、他の値を使用することは可能である。
【0045】
前述の、GM0及びILL0の演算におけるデジタル画像の排除方法の1つの効果は、人工的な照明、例えばタングステン照明により照射されたフィルムから得られる分析デジタル画像はカラーセンシトメトリ変換210の演算に寄与することはできないことである。同一出願者であってCloutier等による米国出願特許第5,229,810号明細書に記載された、提案された写真システムのタイプにおいて、データはフィルムに形成された磁気層におけるカメラに記録される。これらのメタデータ、即ち非画素データ情報は、特定な画像フレームが人工的な照明により露出されたことを示すデータフラグを含むことが可能である。そのデータフラグを検出し、対応する分析デジタル画像の画素値がGM0及びILL0及び/またはそれに続く図10の線の評価の演算において排除されることにより、これらの記録されたデータを好適に用いることが可能である。また、GMfav及びILLfavについての対応する高飽和色値をもつ分析デジタル画像が、しばしば、人工照明ソースを用いて写真撮影されたシーンに対応することを、特記しておく。それ故、GMfav及びILLfavについての対応する高飽和色値を、デジタル画像は人工照明ソースを用いて写真撮影されたシーンから得られる尤度を示すものとみなすことが可能である。また、他のカメラのメタデータからの人工照明ソースを用いて、写真撮影されたシーンから得られたデジタル画像の尤度を演算することが可能である。本発明は、このメタデータがシステムに利用可能であるとき、カメラのメタデータのシーン光レベル及びフラッシュの信号から人工的シーンの尤度を決定するために、Wheelerにより米国出願特許第6,133,983に開示された方法を用いている。特に、Wheelerにより開示された方法は、フラッシュ及びカメラにより記録されたシーンの輝度値のメタデータを用いる。したがって、本発明は、色補正変換を調整するために人工照明ソースをもちいて写真撮影されたシーンから得られるデジタル画像の尤度を示す非画素データを用いる。
【0046】
単一色により支配され、図10の線の評価62をバイアスする影響、即ち露出依性グレー、を有する分析デジタル画像内の広い範囲に及ぶ一様な領域の影響を低減するために、好適には、分析デジタル画像の高い空間活性度をもつ領域からの画素データのみを散布図に含む。空間フィルタを用いて分析で時事たる画像内に現れるエッジ領域を検出することにより、高い空間活性度をもつ領域を決定する。好適な実施形態においては、3x3の画素領域マトリクスを処理する空間フィルタを用いる。このマトリクス内のすべての9つの画素についての最大輝度と最小輝度の間の差を決定する。最大及び最小値間の差、即ち空間活性度の局所測定における差が所定の閾値より小さい場合、その画素データを散布図に含めることはない。この目的のための効果的閾値は、R、G、B色空間において、フィルム上のニュートラルデンシティ0.2であることが経験的に分かっている。高い空間活性度をもつ分析デジタル画像の領域は、被写体を含む分析デジタル画像のそれら領域とよい相互関係をもつ傾向にある。したがって、上述のようなエッジフィルタリングの使用することにより、被写体を含む分析デジタル画像の画素領域を含む傾向をもち、それ故、本発明にしたがったカラーバランス設定のための修正グレー評価が提供される。このような特徴をもつ空間フィルタリングは、また空間フィルタリング技術を、輝度(即ち、光対暗さバランス)露光設定の決定及び前述の被写体の失敗を抑制する技術の実行において、有用なものとし、これは評価に値するであろう。また、他の空間フィルタが空間活性度の効果的測定を提供することが可能であることは、当業者に評価されることであろう。
【0047】
多くの写真撮影されるシーンについて、1つ以上のカラー照明ソースが存在する。特に、電子フラッシュ照明ソースを用いるシーンに対して、また第2光源がそのシーンにおいて用いられる。通常、第2光源は、しばしばタングステンまたは蛍光ランプであり、フラッシュ照明とはまったく異なる性質のカラーを有している。さらに、第2光源は、支配的なまたは主要なフラッシュ照明ソースに比較してしばしば非常に弱いものとなっている。したがって、デジタル画像におけるより暗い画素値は第2光源によって大きい影響を受け、一方、より明るい画素値は主要高原により大きい影響を受けたものと考えられる。本発明は、明るい画素のみを含むことによりカラーセンシトメトリ変換210の演算への寄与から分析デジタル画像の画素を排除する。それぞれの分析デジタル画像について平均輝度画素値LUMfavを演算する。LUMfav未満の輝度画素値である画素を排除する。輝度による排除プロセスがそれぞれの分析デジタル画像に適合し、それぞれの画素をLUMfav値と比較することがデジタル画像内の相対的な画素の輝度の測定値を演算する方法であることは、評価されるに値するものであろう。
【0048】
画像の露出不足領域のカラーは、しばしば、適切に露出された領域のカラーと一致しない。したがって、図8の符号59で示す所定の適切な露出対応の閾値と対応する輝度画素値を比較することにより、本発明はカラーセンシトメトリ210の演算への寄与から画素を排除する。所定の露出閾値未満であるような、式(1)により与えられる輝度画素値をもつ画素は、カラーセンシトメトリ210の演算から排除される。本発明の好適な実施形態において、適切に露出される6%シーングレーリフレクタに対応するものとして、閾値を経験的に決定した。それ故、所定の閾値に対してそれぞれの画素を比較することが、画素の露出の測定値を演算する方法となっている、ことは評価されるに値することであろう。
【0049】
上述の排除条件のうち1つに適合しない分析デジタル画像のセットにおけるすべての画素を用いて、カラーセンシトメトリ変換210を演算する。本発明の公的な実施形態は、カラーセンシトメトリ変換210を演算するために、最小自乗直線回帰法を用いる。先ず、次式(9)を用いて、それぞれのトリプレット画素に対して輝度画素値Liを演算する。
【0050】
Li=(Ri+Gi+Bi)/3 (9)
赤の傾き係数γRと赤のオフセット係数ηRを決定するために、赤の画素値Riに対する輝度画素値Liの直線回帰を実行する。同様に、それに対応する緑の傾き係数γGと緑のオフセット係数ηGを決定するために、緑の画素値に対する輝度画素値の直線回帰を実行し、そしてそれに対応する青の傾き係数γBと緑のオフセット係数ηBを決定するために、青の画素値に対する輝度画素値の直線回帰を実行する。ソースデジタル画像のセットに対する露出レベル依存性グレー評価を表すカラーの間の単一多次元関数関係を確立するために、決定されたこの6つの回帰係数を用いる。式(10)のように表される一次方程式は、輝度画素値と、カラーセンシトメトリ反感210の多次元直線を決定する画素値を表すRi′、Gi′及びBi′との関係を示している。
【0051】
Ri′=γRLi+ηR (10)
Gi′=γGLi+ηG
Bi′=γBLi+ηB
他の実施形態において、画素データの輝度−クロミナンスの関係を表すためにその最小自乗回帰を実行する。先ず、含まれる画素のセットからの式(4)を用いて、輝度値LUMi、緑−マゼンタ値GMiそして照度値ILLiを演算する。次いで、GM傾き係数(γGM)及びGMオフセット係数(ηGM)を決定するために、GMi画素値に対するLUMi画素値の直線回帰を実行する。同様に、ILL傾き係数(γILL)及びILLオフセット係数(ηILL)を決定するために、ILLi画素値に対してLUMi画素値の直線回帰を実行する。単一の多次元関数関係は、式(11)で与えられる2つの線形予測方程式により規定される。
【0052】
RMi′=γGMLUMi+ηGM (11)
ILLi′=γILLLUMi+ηILL
ここで、項RMi′及びILLi′は予測される画素値である。次いで、係数γGM、ηGM、γILL及びηILLから赤、緑及び青の傾き係数(γk)及びオフセット係数(ηk)を決定する、上記のような3つの線形方程式(10)により、赤、緑及び青の多次元カラーセンシトメトリ変換210を演算するために、その傾き及びオフセットの項を用いる。ηGMとηILLによりオフセット係数ηR、ηG及びηBは、次式(12)のように表される。
【0053】
ηR=−(√6/6)ηGM−(√2/2)ηILL (12)
ηG=−(√6/3)ηGM
ηB=−(√6/6)ηGM+(√2/2)ηILL
傾き係数γR、γG及びγBについての式はγGMとγILLを用いて、次式(13)のように表される。
【0054】
γR=1−(√2/2)γGM−(√6/2)γILL (13)
γG=1+√2γGM
γB=1−(√2/2)γGM+(√6/2)γILL
回帰分析から画素を排除するプロセスはカラーセンシトメトリ変換210のローバスト性を改善するが、本発明の他の実施形態は、トリプレットの画素のようにカラーセンシトメトリ変換を修正するとき、最小の画素値をカラーニュートラルポジションに変換するという制約を課す。換言すれば、露出されなかった画像領域に対応する最小の画素値は、ニュートラルグレーカラーを結果としてもたらす新しい値に変換されることとなる。数学的には、複数の線形回帰をRMi′及びILLi′の値を0にする(式(11)及び(12)参照)ことによりその制約を課すこととなる。それ故、傾き及びオフセット係数は次式(14)で与えられる制約を満足しなければならない。
【0055】
ηGM=−γGMLUMmin (14)
ηILL=−γILLLUMmin
ここで、項LUMminは次式(15)により与えられる。
【0056】
LUMmin=(Rmin+Gmin+Bmin)/√3 (15)式(13)により表されるような予測傾き係数の精度は本発明の効果に基本的な重要性がある。本発明は、潜在的なフィルムセンシトメトリに関連する傾き係数を予測するために、シーンの内容、即ち分析デジタル画像の画素に基づいている。分析デジタル画像のセットによっては、逸脱した傾く係数の演算をもたらすシーン内容を有することがあり得る。したがって、中性色でないシーン内容の支配的カラーにより、傾き係数の演算をバイアスすることが可能である。本発明の好適な実施形態は、1)一定の補正因子、2)適合基準についての統計的適合度、及び3)視覚的コントラスト因子、に関連して、結果の精度を修正するために、さらに3つの傾き係数に関する制約を適用する。
【0057】
複数の直線回帰分析は、たとえ高色飽和画素が排除されても、回帰に含まれる画素が色彩豊かである場合、非常に大きな傾き係数をもつカラーセンシトメトリ反感210を結果として得ることが可能である。このように、中性色を生じるシーンカラーから大きい値の傾き係数を生成することが可能である。本発明はまた、一定の比例係数(ε)を用いて、補正係数εを傾き係数に乗ずることによりカラーセンシトメトリ変換210の大きさを減少させるために傾き係数を修正し、次式(16)のように表される。
【0058】
γR′=ε(γR−1)+1 (16)
γG′=ε(γG−1)+1
γB′=ε(γB−1)+1
異なる補正係数を用いる実験は、デフォルト値として用いる値0.67を有する0.5〜0.9の範囲内の補正係数εのセットを用いて、処理デジタル画像についての最もよい結果を得た。したがって、一定の比例係数により、最小自乗法の最もよく適合する直線についての傾き係数を修正する。それと同じ効果を達成することが可能である他の関数を本発明が効果的に用いることができることを、当業者は十分に理解されるであろう。
【0059】
分析デジタル画像のセットによっては、含まれる画素の総数は、たとえ上述の基準のうち1つより多くの画素が排除されるとしても、受け入れられる結果を得るには尚も十分な数とすることが可能である。しかしながら、排除される画素数が非常に多い数に達したとしても、カラーセンシトメトリ変換210のローバスト性を減少させることが可能である。なお一層の保証手段として、本発明の好適な実施形態は傾き係数を限定する。本発明は、傾きの上限の制約を適用する性能指数としてクロミナンス傾き係数の大きさを用いる。実験によると、クロミナンス傾き係数の最大値0.15は不正確な結果の尤度の増大に関連することが判明した。傾き係数の最大値ξは次式(17)により与えられる。
【0060】
ξ=1.0(δ<τのとき) (17)
【0061】
【数1】
ここで、項τは0.125に設定された傾き限界制御パラメータを表し、項δは次式(18)により与えられるクロミナンス傾き係数の大きさを表している。
【0062】
δ=(γGM 2+γILL 2)1/2 (18)
結果として得られた修正傾き係数は次式(19)により与えられる。
【0063】
γR″=ξ(γR′−1)+1 (19)
γG″=ξ(γG′−1)+1
γB″=ξ(γB′−1)+1
上述の回帰分析方法は、直線を用いて画素データを禁じすることにより3つの一次方程式のセットを生成する。しかしながら、デジタル画像のセットによっては、一次方程式によって画素データをうまく近似することができない。本発明は、直線が画素データに適合することを確実にする対策として、回帰残差値の統計的値R2の演算を用いる(Applied Regression Analysis Third Edition, John Wiley&Sons, Inc.参照)。回帰についてのR2値は、回帰直線により説明することが可能である全分散の比率に関連する0.0〜1.0の範囲内の規格化された値である。大きいR2値はデータとのよい一致、それ故、回帰直線における高い信頼度に関連する。回帰の信頼性係数μに対する回帰のための演算されたR2値に関連する関数は次式(20)により与えられる。
【0064】
μ=1 (R2>μ1の場合) (20)
μ=0 (R2>μ0の場合)
μ=(R2−μ0)/(μ1−μ0) (μ0<=R2<=μ1の場合)次式(21)により与えられ傾き係数に適合させるように、係数μを修正するR2値を用いる。
【0065】
【数2】
ここで、項
【0066】
【外1】
は、視覚的重み付け、傾き補正、最大傾き差制限及び回帰信頼性係数を組み合わせた効果を含む、 最終的に適合された傾き係数を表す。
【0067】
補正係数ε、最大傾き差係数ξ及び回帰信頼性係数μを含む傾き係数に対して上述の修正がなされたとき、修正傾き係数のための最終的な式は次式(22)により与えられる。
【0068】
【数3】
式(10)に示した一次関数は予測される写真反応曲線に関連する。カラーセンシトメトリ変換210の一次関数は予測される直線の方程式を補正するために構築され、それ故、予測される直線の方程式の一対一対応の直線についての数学的な反映となっている。赤、緑及び青にそれぞれ対応する実際の傾き係数ΓR、ΓG及びΓBは、カラーセンシトメトリ変換210を生成するために用いられ、次式(23)により与えられる。
【0069】
【数4】
上述の数学的分析は、輝度画素値を生成するために赤、緑及び青の画素値について等しい重み付けを用いる。この等しい輝度画素の重み付けを用いて得られたカラーセンシトメトリ変換210は、被処理デジタル画像に視覚的コントラスト特性における変化を与え得る。この影響を低減するために、本発明の好適な実施形態は、実際の傾き係数ΓR、ΓG及びΓBに課する視覚的重み付けの制約を用いる。視覚的重み付け係数ρは次式(24)により与えられる。
【0070】
ρ=0.414ΓR+0.507ΓG+0.079ΓB (24)
視覚的重み付け傾き係数ΓR′、ΓG′及びΓB′は次式(25)により与えられる。
【0071】
ΓR′=ΓR/ρ (25)
ΓG′=ΓG/ρ
ΓB′=ΓB/ρ
式(16)により与えられるように、本発明は、赤、緑及び青の寄与についての相対的重み付けを経験的に導き出した一方、他の視覚的重み付けとして、それぞれ、0.30、0.59及び0.11のような値が有用であることは、当業者は十分に理解されるであろう。これらの係数は意図された最終的な画像を印刷する材料の特定の特性に基づいており、材料毎に変化し得ることを、特記しておく。
【0072】
色補正変換の構成要素としてカラーセンシトメトリ変換を含むことにより、それぞれのソースデジタル画像のそれぞれの画素は、次式(26)を用いて変換される。
【0073】
Ri′=ΓR′Ri−ηRΓR′ (25)
Gi′=ΓG′Gi−ηGΓG′
Bi′=ΓB′Bi−ηBΓB′
ここで、項ΓR′、ΓG′及びΓB′は、方程式(25)に示したように、それぞれ赤、緑及び青に対応する傾き係数を表し、Ri、Gi及びBiは赤、緑及び青のソース画素値を表し、Ri′、Gi′及びBi′はカラー誠意氏と娶り変換210を用いた修正画素値を表す。本発明は、T1[]で表されるカラーセンシトメトリ変換210を実行するためのルックアップテーブル(LUT)を用いる。
【0074】
カラーセンシトメトリ変換210は、色補正の異なるレベルを用いた露出の異なるレベルに関連する画素のカラーを基本的に変化させる。このように、色補正変換は、露出の関数として色修正の度合いを変化させることによりデジタル画像内の画素のカラーを調整する。また、カラーセンシトメトリ変換210は、最小自乗回帰方程式を用いて露出レベル依存性グレー評価を組み込むため、色補正変換は線形露出レベル依存性グレー評価を組み込む。センシトメトリ補正の最終的な効果は、それらがグレーバランスポイントから非常に離れた程度まで画素のカラーを補正することである。
【0075】
上述のフィルムスキャナ21は、分離した写真フィルムストリップ12aから符号化されたバーコード、即ち復号化されるときに固有の製造タイプの写真フィルムを示す番号として解釈することが可能であるむき出しの直線群、を記録する。全般制御コンピュータ40に記憶されたものは、写真フィルムのタイプを固有であることを識別するフィルムタイプ識別タグのデータベースとなる。ほとんどのタイプの製造された写真フィルムプロダクトについて、導き出されたソースデジタル画像へのカラーセンシトメトリ変換210の適用は、被処理デジタル画像のカラーアピアランスを改善する。しかしながら、中には優れた中間色のセンシトメトリ特性を有する写真フィルムプロダクトがある。したがって、カラーセンシトメトリ変換210についての制約を、これらの正常に動作するプロダクトに対して調整することが可能である。本発明は、正常に動作する中間色センシトメトリ特性を有し、そのような写真フィルムストリップ12aから導き出されるデジタル画像について上述したように補正係数値を0.5に調整する、写真フィルムタイプのデータベースを記憶する。同様にして。正常に動作する中間色センシトメトリを有しない写真フィルムタイプに対して、補正係数値は0.9に設定される。したがって、カラーセンシトメトリ変換210を適用する段階を選択的に適合させるために、写真フィルム材料のタイプを固有であるとして識別する写真フィルムに記録された情報を用いる。
【0076】
本発明において最初に実行することは、デジタル写真システムの関連で、そのシステムにより受け取られる単一の写真フィルムストリップ12aから導き出されるデジタルが層からカラーセンシトメトリ変換210を演算することである。これは、単一の写真フィルムストリップ12aのカラーセンシトメトリが単一のタイプの写真フィルムに対応するために、最初に実行される。異なるタイプの写真フィルムに対応する他の写真フィルムストリップは、一般に、同一のカラーセンシトメトリ特性をもたない。しかしながら、同じ写真フィルムタイプに対応するが異なる消費者から受け取られる他の写真フィルムストリップ12aは、同様のカラーセンシトメトリ特性を備えている。本発明の他の実施形態は、複数の写真フィルムストリップ12aから導き出されるデジタル画像のためにカラーセンシトメトリ変換210を演算し、そのデジタル画像に適用するために、上述のように符号化されたバーコードにより示されたような同じ写真フィルムタイプに対応する異なる消費者から受け取られる複数の写真フィルムストリップ12aから導き出されるデジタル画像を用いる。
【0077】
カラーセンシトメトリ変換210についての上述の説明は、例えば、数量GMav、ILLav、GMfav、GM0及びILL0の異なる数量の演算に寄与することから画素を解除するプロセスについてのものである。バイナリ排除ロジックは実行することが簡単であり、排除速度が速い優位点を有するが、それに代わる本発明の実施形態は、上述した種々の数量に寄与する画素の度合いを変化させるために0.0〜1.0の範囲内で変化させる重み付け係数を用いる。このような排除の重み付けロジックは実行するのにより複雑であり、コンピュータのハードウェアを実行するのにより時間を消費するものとなっている。しかしながら、排除の重み付けロジックは、デシジョンロジックの漸次的性質により、全体的な変換のローバスト性の度合いを非常に大きくする。この実施形態に対して、図11における円72により示される所定の飽和閾値は、ここでは、クロミナンス図における等しい重み付け係数の軌跡を表している。画素排除の度合いを変化させるために、2次元ガウス重み付け係数を用いる。同様に、図12における円92で示される所定の飽和閾値は、ここでは、等しい重み付け係数の軌跡を表している。
【0078】
典型的な写真フィルムプロダクトについての赤、緑および青の反応曲線のためのセンシトメトリ曲線を図5に示す。図5の写真反応曲線は、3つの色の記録のためのフィルム密度の絶対値の間の著しい違い及び傾きの違いを示している。カラーセンシトメトリ変換210を適用した後、写真反応曲線は、図6に示すように変換される。3つの色記録の間の傾きの不適合性最小化され、3つの色記録の間の絶対差は、光の十分な排除(図6において符号54で示される)がなされた写真フィルムから導き出される画素のためにカラーセンシトメトリ変換210を適用することにより取り除かれる。しかしながら、写真反応曲線の露出不足のドメイン(図6において符号55で示される)は、3つの色記録の間の傾き(コントラスト)及び密度(色バランス)の差を尚も有している。
【0079】
露出不足色変換220は、 フィルムストリップ12aの露出不足領域に関連する画素についての残差カラーキャストを取り除くためにデザインされた。この変換は、画素値の関数として画素に変化を生成する3つの一次元関数(LUMを用いて実行する)の形式をとっている。露出不足色変換220のための数学的式は次式(27)により与えられる。
【0080】
【数5】
ここで、項Ri′、Gi′及びBi′は処理される赤、緑及び青の画素値を表し、Ri″、Gi″及びBi″は露出不足色変換220により処理された赤、緑及び青の画素値を表し、
【0081】
【外2】
はカラーセンシトメトリ変換210により処理された赤、緑及び青の画素値を表し、そしてL′minは、次式(28)により与えられるRmin′、Gmin′及びBmin′に対応する輝度画素値を表している。
L′min=(Rmin′+Gmin′+Bmin′)/3 (28)
項αr、αg及びαbは、色変化の等級をつける指数定数であり、次式(29)で与えられる。
【0082】
αr=R0′+Gmin′−loge(υ) (29)
αg=R0′+Gmin′−loge(υ)
αb=R0′+Gmin′−loge(υ)
ここで、定数υを0.02に設定した。項R0′、G0′及びB0′は、適切に露出された18%グレーレフレクタ(図6において符号56で示される)に対応する赤、緑及び青の画素値を示す。典型的な写真フィルムについて、これらの値は、フィルムプロダクトが略線形写真反応を達成できる最小露出を示している。Lmin′より大きい密度0.68に対応する画素値を識別することにより、R0′、G0′及びB0′を演算する。図7は、露出不測色変換220を適用した後の写真反応曲線を示している。露出不足のドメインの画素についての写真反応曲線(符号57)は色のミスマッチを著しく低減したものとなっている。それ故、露出不足色変換220が露出不足の条件に関連する画素の非線形色調整を組み込むことは、当業者に評価されるに値するであろう。
【0083】
図4の段階4において演算される次の成分変換はコントラストセンシトメトリ変換230であり、写真フィルムの非線形露出不測写真反応に対して補償するためにデザインされたものである。本発明は、Goodwinによる米国出願特許第5,134,573号明細書に開示された方法を用いている。図14の符号91に示されるように、コントラストセンシトメトリ変換LUTは非線形LUTから成り、それを赤、緑及び青の画素それぞれに適用する。典型的な写真フィルムについての結果として得られる写真反応を図8に示す。露出不足の反応ドメイン(図7の符号57で示す)は線形化される(図8の符号58で示す)。
【0084】
Goodwinにより教示された方法は、写真フィルムの中間センシトメトリ変換を反転することを意図する数学的式を用いて構築されるLUTを適用することにより、写真フィルムに得られたデジタル画像の線形センシトメトリ変換の領域を増加させることが可能であるものである。特に、対数の露光曲線(D−LogE)に対する露出不足ドメインの写真フィルムの標準的密度に対応する傾きを回復させることが可能である。図13を参照するに、傾きの調整を意味する傾きパラメータφは、写真フィルムのセンシトメトリ曲線の露出不足部分を結果的にもたらし、次式(30)により表される。
【0085】
φ=ΔD2/ΔD1 (30)
ここで、ΔD1は、2つの略等しい露出から実際の反応曲線(図13の符号81で示す)をもたらす密度差を表し、そしてΔD2は、同じ2つの露出から線形化されたフィルム反応(符号82で示す)をもたらすそれに対応する密度差を表す。傾きパラメータφは、それぞれの密度レベルにおいてデジタル画像に適用される傾き調整を意味する。しかしながら、D−LogE曲線の露出不足部分に対しては、傾きが0に近づくにつれて、ΔD1は0に近づき、傾き調整は際限なく増加し、無限大になるであろう。これは、被処理デジタル画像におけるノイズ特性を増幅させ、視覚的に好ましくないノイズを結果的にもたらすこととなる。許容される最大の傾き調整をパラメータφMAXにより特定する。φMAXより小さい傾き調整は、次第に1まで減少する。その場合、パラメータφは、次式(31)により与えられるφ´に置き換えられる。
【0086】
φ´=φ (φ<φMAXの場合) (31)
【0087】
【数6】
ここで、A、B、C及びDは傾き調整の最大値に依存する定数である。入力デジタル画像に含まれる予測されるノイズ量は、パラメータA、B、C、D及びφMAXの最適値の選択に影響するであろう。
【0088】
φMAXより小さい傾き調整のために数式化することが可能であるが、それはそれ程複雑ではない。φMAXより小さいφの場合には、φは、簡単な関数関係にある次式(32)で与えられるφ´により置き換えられる。
【0089】
φ´=φ (φ<φMAXの場合) (31)
φ´=1+(φMAX−1)/(K+(φ−φMAX)2)
(φ>=φMAXの場合)
ここで、パラメータKは関数の最小値1.0への収束速度を定める。本発明の好適な実施形態においては、Kを0.5に設定する。
【0090】
光に対する写真反応は、それぞれの製造フィルムプロダクトに特徴的なものである。しかしながら、写真速度、即ちISO評価が等しい写真フィルムは類似した反応曲線を示す。本発明は、すべての写真フィルムプロダクトをISO速度のカテゴリ、即ちISO 100、200、400、800、100より小さい、800より大きいカテゴリ、に分類する。各々のISO速度のカテゴリについて代表的な写真フィルムプロダクトを選択する。それぞれの選択された写真フィルムプロダクトに対して、反射率値を定めるグレー、即ち中間色のパッチターゲットを含む、参照写真フィルムストリップを写真撮影することにより写真反応を測定する。これは、フィルムスキャナ21を用いて、参照写真フィルムストリップから導き出されるデジタル画像を分析することにより、達成される。コントラストセンシトメトリ変換230を測定されたデータから得る。全般的制御コンピュータ40に記憶されたフィルムタイプの識別タグを用いて、写真フィルムストリップ12aを決定するためにフィルムスキャナ21を用いる。それぞれのISO速度タイプのためのセンシトメトリコントラスト変換のデータベースは全般的制御コンピュータ40に記憶されている。処理された各々の画像のセットについて、写真フィルムストリップ12aの写真速度を識別し、それに対応するセンシトメトリコントラスト変換を選択する。
【0091】
測定された密度を“線形化”密度に関係付けるLUTを結果として得る関数(31)の数値積分により、コントラストセンシトメトリ変換230を演算する。参照写真フィルムストリップデータから導き出される赤、緑および青の画素の平均反応として輝度信号反応曲線を演算して求める。数値積分法に対して、開始の画素値として輝度最小画素値を用いる。典型的なコントラストセンシトメトリ変換LUTを図14に示す(符号91で表す)。それ故、コントラストセンシトメトリ変換230は、露出不足の条件に関連して画素のコントラストを増加させる非線形成分色変換である、ことを示している。
【0092】
コントラストセンシトメトリ変換LUTを以下の方法における画素データに適用する。先ず、それに対応する色最小画素値Rmin″、Gmin″及びBmin″(T2[T1[]]により変換されたRmin、Gmin及びBmin)をRi″、Gi″及びBi″画素値(T2[T1[]]により変換されたソースデジタル画像の画素)から減じる。次いで、次式(33)により与えられるT3[]のように表されるコントラストセンシトメトリ変換LUTを適用する。
【0093】
【数7】
ここで、
【0094】
【外3】
はコントラストセンシトメトリ変換された画素値を表す。
【0095】
本発明は、それぞれのソースデジタル画像についての中間階調のグレーの被写体に対応すると識別される全体的なカラーキャストを取り除くために色バランス変換240を演算する。色バランス変換240は2つの部分において演算される。その第1部分は、第2カラーセンシトメトリ変換を演算することによるk番目のソースデジタル画像についての中間色バランス値(GMk及びILLk)の演算を含む。第2部分は、画素値の重み付け平均値を用いてそれぞれのソースデジタル画像について色バランス値(GMb及びILLb)の演算を含む。色バランス変換240は、色バランス値をそれに対応する被処理ソースデジタル画像の画素値から減じる。
【0096】
上述されたカラーセンシトメトリ変換のソースデジタル画像への適用は、一般に、写真フィルムのカラーセンシトメトリ変換における欠陥を補正することに対して効果的である。しかしながら、写真フィルムストリップ12aの露出不足の領域(低レベルの光を受け取る領域)の色は一般的露出の領域(十分なレベルの光を受け取る領域)と同様に色を十分に補正されることはない。したがって、本発明は第2カラーセンシトメトリ変換を演算する。残差のカラーセンシトメトリのエラーに関連するそれぞれの個々のソースデジタル画像についてのカラーキャストを決定するために、第2カラーセンシトメトリ変換を用いる。このカラーキャストは、線形で引き算による色バランスの形式をとるが、色バランス変換240の第1部分を評価し生成する。
【0097】
同様に、第2分析デジタル画像を生成するために、成分変換T1[T2[T3[]]]に先行して分析デジタル画像を処理することにより、第2カラーセンシトメトリ変換の演算を開始する。第2カラーセンシトメトリ変換を生成するために、これらの第2分析デジタル画像を用いる。
【0098】
上述したが、関数関係である3次元の線は、図10の直線62により表されるように、直線の最もよい一致を決定するために最小自乗法を用いる。この最もよい一致を示す直線は、第2分析デジタル画像の設定のために露出レベル依存性グレー評価としての機能を果たす。この露出レベル依存性グレー評価の演算のために、その関数関係は非線形2次多項式の形式をとる。上述と同じ方法でそれぞれの第2分析デジタル画像についてフレームの平均値LUMfav2を演算する。第2カラーセンシトメトリ変換を用いる上述した方法により演算される値GMfav2とLUMfav2は、k番目のソースデジタル画像についての中間バランス値(GMk,LUMk)を表す。
【0099】
著しい割合の画素領域が、変換T3[T2[T1[]]]により変換されるものとして値Rmin、Gmin及びBminで表される、最小画素値Rmin2″、Gmin2″及びBmin2″に略等しい画素値を有するデジタル画像の場合に、単一の3次元の関数関係により決定される第2カラーセンシトメトリ変換はフィルムタイプによっては最適な結果を与えることはできない。この例において、低いフィルム露出にこれらのデジタル画像適応させるために色バランス値を調整することは好ましい。これは、k番目のソースデジタル画像(GMk,LUMk)についての色バランス値を調整することにより、達成できる。赤、緑及び青の画素値を輝度軸が緑/マゼンタ及び照度軸に直交する図11の直行色空間における輝度画素値に変換することにより、GMk,LUMkはGMfab2″、GMmin2′そしてILLfab2″、ILLmin2′に比例する量だけ調整する。経験的に決定された輝度閾値Ntより小さい輝度画素値をもつ画素をカウントすること、そしてデジタル画素における領域の総数で除することにより、第2分析デジタル画像内の低い輝度画素領域の割合(π)を決定する。重み付け係数ωは次式(34)により定義される。
【0100】
ω=(π−π0)/(1−π0) (π>=π0の場合) (34)
ω=0 (π<π0の場合)
ここで、π0はデジタル画像における領域の総数に対して低い密度の領域の閾値の割合を経験的に決定する閾値である。k番目のソースデジタル画像についての色バランス値GMk,LUMkを、次式(35)により決定する。
【0101】
GMk′=(1−ω)GMk+ωqGMfab2′+ω(1−q)GMf
ab2′(35)
ILLk′=(1−ω)ILLk+ωqILLfab2′+ω(1−q)ILLfab2′
ここで、qはGMfab2′、GMmin2′そしてILLfab2′、ILLmin2′の間のスムージングパラメータであり、0〜1の範囲内の値をとり、GMk′及びILLk′は調整された色バランス値を示す。
【0102】
同じ写真フィルムストリップ12aに写真撮影された個々の画像は、例えばタングステン、電子フラッシュ、日中の太陽光、曇り空の光等のシーン照明ソースの色が特有であることに主に起因して、固有のカラーキャストを有している。色バランス変換240のさらなる改良点として、本発明は、シーン照明ソースの色の効果を取り除くためにデザインされた2次元ガウス重み付け表面により、対応する第2分析デジタル画像の画素の色の重み付け平均を用いてそれぞれのソースデジタル画像についての色バランス値を演算する。先に定義した色バランス値(GMk,LUMk)はガウス重み付け表面の中心座標となっている。この色バランス値を、次式(36)を用いて演算する。
【0103】
GMb=GMk+ΣiGMiλ (36)
ILLb=ILLk+ΣiILLiλ
ここで、ガウス重み付け係数λは次式(37)により与えられ、
【0104】
【数8】
項GMi及びILLiは、第2分析デジタル画像の個々の画素のクロミナンス値を表す。変数σGMとσILLはカラーキャストを取り除くために色バランス変換240のアグレッシブネス(aggressiveness)を決定する。変数σGMとσILLについての妥当な値は経験的に決定され、それらはそれぞれ0.05及び0.05である(等しいフィルム密度単位において)。本発明は、クロミナンス値の重み付けをするためにガウス関数を用いているが、他の数学的関数を本発明に用いることが可能であることを当業者は認識するであろう。重み付け関数のもっとも重要な特徴は、小さいクロミナンス値に比較して大きいクロミナンス値により小さい重み付けをする特性である。
【0105】
上記説明は、写真フィルムプロダクトから導き出されるデジタル画像を処理するための本発明の適用を中心としているが、一方、デジタルカメラからみ値引き出されるデジタル画像のカラーアピアランスを強化するために、本発明を用いることが可能である。一般に、デジタル画像の写真反応は線形である。しかしながら、用いられるカラーフィルタ材料、カメラ内のデジタル画像処理、較正ミス等のために特定のデジタルカメラを用いて生成されるデジタル画像においてはカラーバイアスがあり得る。デジタルカメラの画像に対する本発明の適用のために、最小の画素値GMmin及びILLminを0に設定する。
【0106】
カラーセンシトメトリの問題を診断するために具体的にデザインされた制御画像を用いることにより、他のフォトフィニシング(photofinishing)システムにおいて本発明を使用していることを検出することが可能である。例えば、テストシーンのセットは、それらのうち1つが写真撮影されたシーンにおいて反射性グレーパッチターゲットを含んでいる場合、異常なカラーセンシトメトリ特性を有することが既知である写真フィルムプロダクトにより生成され写真撮影される。カラーセンシトメトリ特性の問題が最小である写真フィルムプロダクトを用いて、同じテストシーンのセットを写真撮影する。現像画像を生成するために、その両者の写真フィルムストリップを、化学的に処理し、ソースデジタル画像を生成するためにフィルムスキャナ上で走査する。カラーセンシトメトリの問題をもたない写真フィルムプロダクトから導き出される反射性グレーパッチターゲットを含むテストシーンに対応するデジタル画像(にせの画像)は、それ故、異常なカラーセンシトメトリを伴う写真フィルムプロダクトから導き出されるデジタル画像のセットに含まれる。したがって、デジタルフィルム書き込む装置、即ち診断用写真フィルムストリップを用いて(カラーセンシトメトリの問題を伴わない写真フィルムプロダクトを用いて)、合成的に露出するために、このグループのソースデジタル画像を用いる。この診断用写真フィルムストリップは、正常な写真フィルムから元々導き出された画像を除いて、露出画像すべてに対して、異常な写真フィルムプロダクトの同じカラーセンシトメトリ特性の問題をもっている。次いで、診断用フィルムストリップを、対象のデジタルフォトフィニッシングシステムを用いて処理する。次いで、写真プリントを眼でみて検査し、達成された色補正のレベルと色の傾向を評価する。本発明を対象とするシステムで用いる場合、異常な写真フィルムプロダクトをオリジナルとして導き出された写真プリントは、密度依存性カラーセンシトメトリにより導入された効果について補正され、優れた全体的な色再現性を有する。しかしながら、にせのデジタル画像から導き出される写真プリントは、異常なカラーセンシトメトリにより影響を受けることがなく、本発明の実行により逆効果となってしまう。にせのデジタル画像から導き出される写真プリントは、もともとの色の問題が逆である色の問題を誘発する。この影響を確認するために、カラーセンシトメトリの問題を伴わない写真フィルムプロダクトを用いて作製されたフィルムを、対象であるシステム及び生成された写真プリント上にプリントする。にせデジタル画像の写真プリントを比較する。同じシーン内容のこれら2つのレンディション(rendition)が実質的に異なって見える場合、にせの画像の色の再現は、同じ写真フィルムストリップに含まれる他の画像のカラーセンシトメトリにより影響を受ける、と結論することができる。さらに、所定の色ミスマッチ特性を伴う画像のテスト写真フィルムストリップを設定するテストを策定し、そしてその結果の分析に関して、デンシトメトリ測定により補正の度合いを決定する、ことが可能である。
【0107】
また、制御されなかった異常な画像を用いることにより、他のシステムにおいて本発明を使用していることを検出することが可能である。例えば、一連のテストシーンを異なる製造タイプの写真フィルムストリップを用いて写真撮影することが可能である。写真フィルムストリップによっては異常なセンシトメトリをもつことが予測され、一方、それ以外の場合は異常なセンシトメトリをもつことが予測されないように、これらのタイプの写真フィルムストリップを選択することが可能である。テストストリップを化学的に処理し、上述のように対照とするシステムでプリントする。次いで、この写真プリントを、視覚的に検査し、得られた色補正のレベルと色傾向に関して評価する。この代わりとなるテストは、上述の方法と同様に信頼できるものはないが、実行することは容易い。
【図面の簡単な説明】
【図1】本発明の実施形態を実施するために適切なデジタル写真システムのブロック図である。
【図2】本発明の色変換方法を実行するためブロック図であって、フィルムスキャナを用いるブロック図である。
【図3】連続的な写真フィルムストリップが順次繋がっている様子を示す写真フィルムストリップの一部の平面図である。
【図4】デジタル画像プロセッサの詳細を示すブロック図である。
【図5】典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図6】カラーセンシトメトリ変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図7】露出不足色変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図8】コントラストセンシトメトリ変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図9】色補正変換において導入する成分変換のブロック図である。
【図10】写真フィルムストリップからのデジタル画像の3原色におけるフィルム密度測定から得られる画素値の3次元プロットを示す図である。
【図11】デジタル画像の個々の画素領域についての高飽和色識別方法を説明するために有用な変換色空間の画素値のプロットを示す図である。
【図12】全体的なデジタル画像の高飽和色識別を説明するために用いる図10に類似する画素値のプロットを示す図である。
【図13】コントラストセンシトメトリ変換を演算するために用いられる典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図14】コントラストセンシトメトリ変換の形状を示すグラフである。
【発明の属する技術分野】
本発明は、改善されたカラーアピアランスをもつ色変換デジタル画像の提供に関する。
【0002】
【従来の技術】
写真フィルムストリップ等の捕捉媒体からデジタル画像を生成するようにデザインされたイメージングシステムは、種々の原因による色再現に伴う問題に直面する。フィルムスキャナのハードウェアのスペクトル感度が一般的なフィルムプロダクトに用いる色素材料の分光透過率に十分適合しない場合、中間色の被写体、即ち分光的に中間反射率の写真撮影被写体を表すデジタル画素値は、シーン露出に対して線形関係をもつ方法で色が変わることになる。色再現性の問題に関連する他の露出についての原因は、色センシング層とフィルム材料の化学的処理感度との間のフィルム材料のコントラストのミスマッチを含む。
【0003】
米国特許第4,279,502号明細書(特許文献1)において、Thum等は、フィルムタイプに特有のパラメータ値を用いることなく、フィルムから直接導き出される光度データから色バランス複写光量を決定することを盛り込んだ光学的印刷装置についての方法を開示している。この方法において、第1及び第2の色密度差関数相関値を、コピーされるオリジナル画像を含む写真フィルムストリップの複数領域における測定結果を示す密度値から設定している。照射エラーまたは色支配の被写体を含むオリジナルの光量は、経験的に決定される閾値を用いて、それぞれ選択される。効果的には、この方法は、オリジナル画像における3つの基本色密度間の補正相関関係を捕捉できない2つの異なる独立した関数関係の確立を必要とする。
【0004】
米国特許第5,959,720号明細書(特許文献2)において、Kwon等は、フィルム露出及びグレー中心色間の線形関係を確立する光学的印刷装置についての類似した方法について開示している。Kwon等により開示されたこの方法は、オリジナルのフィルム材料の複数の領域における少なくとも3つの基本色におけるオリジナルフィルム材料の密度値を光電的に別々に測定する段階を含んでいる。そして、カラーコピー操作において光量制御に影響を及ぼすためのオリジナル材料の長さに特有の値として用いる露出レベル依存性グレー評価を表す少なくとも3つの基本色間の単一の多次元関数関係を確立する。
【0005】
【発明が解決しようとする課題】
Thurm等とKwon等により開示された2つの方法は、フィルム材料からデジタル画像を導き出す段階、露出依存性色バランス関係を確立する段階、及び、フィルム材料を通して印画紙レシーバに投影される光量を変えることにより形成される写真プリントのカラーアピアランスを改善するために露出依存性色バランス関係を用いる段階、を含むことを開示している。
【0006】
また、デジタルイメージングシステムで形成される写真プリントのカラーアピアランスを改善するために、Kwon等により開示された技術を用いる。これらの適用において、フィルム材料を操作することにより導き出されるデジタル画像の画素値をカラーバランスについて修正する。即ち、各々のデジタル画像のグレー中心を表す3つの色の画素値を、確立された多次元関数関係を用いて演算する。3つの色の画素値を、デジタル画像のすべての画素から減じ、それ故、被処理デジタル画像の全体的なカラーバランスを変化させる。さらに、画素毎に基づいてデジタル画像の画素のカラーアピアランスを修正するために、多次元関数関係を用いることが可能である。しかしながら、捕捉媒体の非線形写真反応、特に写真フィルムストリップの露出不測領域に関連する画素に関するKwon等による技術においてはいまだに問題がある。
【0007】
米国特許第5,134,573号明細書(特許文献3)において、Goodwinは、デジタル的に走査される写真フィルム材料から導き出されるデジタル画像のコントラストを調整するための方法を開示している。その方法は、写真フィルムプロダクトの写真反応を線形化するためにデザインされたルックアップ表(LUT)の形式でセンシトメトリ補正関数を適用することにより全体的な画像コントラストを改善する。センシトメトリ補正関数の適用は、写真フィルム材料の露出不足領域に対応するデジタル画像画素値の色コントラストの改善を行うことができず、また、それは、適切な光量で露出されるフィルム材料の領域に関連する露出依存性の色の問題を説明することができない。さらに、Goodwinの方法は、化学的処理のエラーにより生じるフィルムセンシトメトリにおける変化を説明することができない。
【0008】
【特許文献1】
米国特許第4,279,502号明細書
【特許文献2】
米国特許第5,959,720号明細書
【特許文献3】
米国特許第5,134,573号明細書
【課題を解決するための手段】
本発明の目的は、捕捉媒体の写真反応に関連する露出不足の問題のために補正する複数のデジタル画像のカラーアピアランスを変換する方法を提供することである。
【0009】
この目的は、複数のデジタル画像のカラーアピアランスを変換する方法であって:(a)捕捉媒体から複数のデジタル画像を受け取る段階であって、それぞれのデジタル画像は少なくとも3つの基本色に関連する複数の画素値を含む、段階;(b)i)デジタル画像に依存せず、そして捕捉媒体の関数として露出不足の条件を補正する、非線形調整、及びii)基本色の画素に依存する線形関数関係であって、捕捉媒体の写真反応に対応する露出レベル依存性グレー評価を定義する線形関数関係、を用いて色補正変換を演算する、段階;並びに(c)複数のデジタル画像の画素を修正するために色補正変換を用いる段階であって、露出の関数として色修正の度合いを変化させることによりデジタル画像における画素を変換する、段階;から構成される、方法により達成される。
【0010】
本発明は、デジタル画像捕捉媒体に関連する非線形写真反応特性を補正し、露出不足画素に関連するコントラスト及び色の問題と適切に露出されるデジタル画像に関連する色の問題とを補正する。本発明は、色補正変換を進展させるために同じ捕捉媒体における複数のデジタル画像からの色についての画素情報を利用する。露光不足の状況においては、問題の源は捕捉媒体にあることを認識することができた。
【0011】
【発明の実施の形態】
本発明は、複数のデジタル画像のカラーアピアランスの変換方法を提供する。本発明の重要な特性は色補正変換を演算することに関わる。以下、詳細に説明するように、色補正変換は少なくとも2つの構成要素を含み、即ち、それらは、デジタル画像に依存せず、捕捉媒体の機能として露出不足条件を補正する非線形調整と、基本色の画素に依存する線形関数関係であって、捕捉媒体の写真反応に対応する露光レベル依存性グレーレベル評価と定義される、線形関数関係と、を含む。この色補正変換を用いることにより、同じ媒体において得られるデジタル画像のアピアランスを著しく改善することが可能である。
【0012】
以下の説明において、本発明の好適な実施形態をソフトウェアプログラムとして説明することとする。当業者は、そのようなソフトウェアに対応するものとしてハードウェアを構成することが可能であることをすぐに認識するであろう。画像処理アルゴリズム及びスシステムはよく知られているため、以下の説明は、本発明にしたがった方法の一部を構成し、またはその方法により直接的に関わる、アルゴリズムおよびシステムに導くものである。そのようなアルゴリズム及びシステムの他の特徴であって、関連する画像信号を処理するのではなく生成するハードウェア及びソフトウェアは、ここでは特に示し、または記述してはいないが、この分野で既知のシステム、アルゴリズム、構成部品及び要素を選択することが可能である。請求項に開示した記載から理解されるように、コンピュータプログラムとしてのすべてのソフトウェアは従来の一般的技術の範囲内で従来と同様に実行することが可能である。
【0013】
さらに、ここで用いるコンピュータプログラムは、コンピュータ読み取り可能記憶媒体に記憶され、例えば、磁気ディスク(フロッピー(登録商標)ディスク等)または磁気テープ等の磁気記憶媒体と、光ディスク、光テープまたは機械読み取り可能バーコード等の光記憶媒体と、ランダムアクセスメモリ(RAM)または読み出し専用メモリー(ROM)等の固体電子記憶装置と、またはコンピュータプログラムを記憶するために用いられる他の物理デバイス或いは媒体と、から構成することが可能である。
【0014】
デジタル画像は1つまたはそれ以上のデジタル画像チャンネルから構成される。それぞれのデジタル画像チャンネルは2次元の画素アレーから構成される。それぞれの画素値は、画素の幾何学的ドメインに対応するイメージング捕捉装置により受け取られる光量に関係する。カラーイメージングの適用のために、デジタル画像は、典型的には、赤、緑及び青のデジタル画像チャンネルから成るが、それ以上のカラーチャンネルを含むことが可能である。また、他の構成、例えば、シアン、マゼンタ及びイエローデジタル画像チャンネルが実施される。本発明においては、デジタル画素チャンネルを、列および行により配列する2次元の画素値のアレーとして説明しているが、当業者は、本発明をモザイクアレーに適用して、同様の効果をもたらすことが可能であることを認識するであろう。
【0015】
本発明をコンピュータハードウェアにおいて実施することが可能である。図1を参照するに、次に、画像入力装置10a、10b及び10c、デジタル画像プロセッサ20、画像出力装置30a及び30b、そして全般制御コンピュータ40に関して説明する。このシステムは、コンピュータコンソールまたはペーパプリンタ等のモニタ装置50を含むことが可能である。そのシステムはまた、キーボードまたはマウスポインタ等のオペレータのための入力制御装置60を含むことが可能である。さらに、本発明を、コンピュータプログラムとして実行することができ、コンピュータメモリ装置70、即ち、コンピュータ読み取り可能記憶媒体に記憶することが可能であって、例えば、磁気ディスク(フロッピー(登録商標)ディスク等)または磁気テープ等の磁気記憶媒体と、光ディスク、光テープまたは機械読み取り可能バーコード等の光記憶媒体と、ランダムアクセスメモリ(RAM)または読み出し専用メモリー(ROM)等の固体電子記憶装置と、またはコンピュータプログラムを記憶するために用いられる他の物理デバイス或いは媒体と、から構成することが可能である。本発明について記述する前に、パーソナルコンピュータ等の周知のあらゆるコンピュータシステムにおいて、本発明を好適に利用することが可能であることが容易に理解されるものである、ことを書き留めておく。
【0016】
複数の捕捉装置10a、10b及び10cは、種々のイメージング装置から得られるデジタル画像に対して本発明を用いることが可能であることを示している。例えば、図1は、例えばカラーネガティブフィルムまたはスライドフィルムの透明画等の従来の写真画像を走査することによりデジタル画像を生成するフィルム走査装置を示している。同様に、画像入力装置10bはデジタルカメラとすることが可能である。デジタル画像プロセッサ20は、所定の出力装置または媒体について満足のいく画像を生成するようにデジタル画像を処理するための手段を提供する。複数の画像出力装置30a及び30bは、デジタルカラープリンタ及びソフトコピー表示装置を含むことが可能である種々の出力装置と共に用いることが可能である。
【0017】
図2及び図3を参照するに、参照符号10は、写真フィルム捕捉媒体からデジタル画像を生成するスキャナ装置の形態をとる入力捕捉装置を表す。入力捕捉装置10において、接着性コネクタ13を用いて共に接続される一連の分離した写真フィルムストリップ12aから構成されるフィルム12の長さは、供給リール14から、接続部検出器16、ノッチ検出器18及びフィルムスキャナ21を通り過ぎて、テークアップリール22まで、搬送される。接続部検出器16は、単一の連続写真フィルムストリップ12aにおける一連のオリジナル画像フレーム17を構成するそれぞれの分離フィルムの順番の最初と最後を確認する出力信号を生成する機能を果たす。ノッチ検出器18は、それぞれのオリジナルの画像フレームに隣接する写真フィルムストリップに形成されたノッチを検出し、特定のオリジナル画像フレームによりフィルムスキャナに生成される情報を補正するために用いられる出力信号を提供する。スキャナコンピュータ24はフィルムスキャナ21の構成要素を統合し制御する。フィルムスキャナ21は走査する、即ち、オリジナル画像フレーム17及びフレーム間ギャップ19を含む写真フィルムストリップ12aにおける複数の領域の少なくとも3つの原色の密度値について既存の方法により光度測定を行う。所定のオリジナル画像フレームに対応する光度測定はソースデジタル画像から構成される。ここで用いる表現、領域、は、フレーム間ギャップ、即ち、画像フレーム間の非露出フィルムの領域の光度測定に対応する個々の画像の画素またはデジタル画像内の画素群を意味するものである。オリジナル画像フレームに対応するデジタル画像及びフレーム間ギャップ19に対応する検出器16、18及びフィルムスキャナ21からの信号は、色補正変換を演算するデジタル画像プロセッサ20に供給される。デジタル画像プロセッサ20は、ソースデジタル画像に色補正変換を適用し、処理されたデジタル画像をデジタルカラープリンタの形態をとるデジタル出力装置30に送る。デジタル出力装置30は、処理されたデジタル画像からハードコピー写真印刷を生成するために動作する。または、処理されたデジタル画像は、電子装置または他のデジタル出力装置において見るために、記憶され検索される。
【0018】
図1に示したデジタル画像プロセッサ20の処理の詳細について図4に更に示すとともに、図9に基本的なブロック図の形式で示す。デジタル画像プロセッサ20により演算され、一組のソースデジタル画像101(図2に示したフィルムスキャナ10により受け取られる)に適用される色補正変換は、少なくとも1つの段階により達成される。分析デジタル画像は、段階2〜5までの4つの分離した変換について演算するために用いられ、段階6で1つの色補正変換に結合される。次いで、段階7において色補正変換がソースデジタル画像101に適用され、補正されたカラーデジタル画像102と呼ばれる一組の処理済みデジタル画像が得られる。
【0019】
フィルムスキャナ21を用いて生成されるソースデジタル画像102は、高い空間分解能をもち、即ち、印刷するときに十分詳細な画像を生成するために必要とされる、典型的には100万のオーダー以上である数多くの画素を含むデジタル画像から構成される。一般に、分析変数の演算は、粗い結果を得るためにはそのような高い分解能を持つ画像を必要としない。段階1において、一組の分析デジタル画像は、より低い空間分解能をもつ種々のソースデジタル画像101として生成され、通常、それぞれ約1000個の画素を含む。
【0020】
段階2は、一組のソースデジタル画像に固有であって一般的である強度依存性(露出依存性)カラーセンシトメトリの問題を補正するためにデザインされたカラーセンシトメトリ変換210(図9に示す)の演算を含む。多くの物理的及び化学的因子がカラーセンシトメトリ問題を生じさせる。しかしながら、感光性物質の製造プロセスにおけるスペクトルの不正確さ、写真フィルムストリップ12aを現像するために用いられる異常な化学的処理及びフィルムスキャナにおける分光学的不正確さが、3つの主要原因である。図5は、典型的な写真フィルムプロダクトの写真反応曲線の様子を示している。カラーセンシトメトリ変換210は、赤51、緑52及び青53反応曲線のように、図5に示された個々の赤、緑及び青の反応曲線の間の傾きの違いを取り除くためにデザインされたものである。図5に示されたフィルムプロダクトに対するカラーセンシトメトリ変換210の適用から得られる、効果的な写真反応曲線を図6に示す。カラーデンシトメトリ変換210は図5に示した赤51、緑52及び青53反応曲線の間の絶対密度の差と傾きの差の両者を取り除くための効果を有することに注目されたい。54で示す写真反応ドメインは、十分な露出を施された写真フィルムの領域に対応する。55で示される反応ドメインは殆ど光を照射されなかった写真フィルムの領域に対応している。この反応ドメインは露出不足ドメインと呼ばれる。一般に、露出不足ドメインは、カラーセンシトメトリ変換210を適用しても尚、絶対密度の差および傾きの差を残したままになっている。
【0021】
図4に示した段階3は、図6に示した赤、緑及び青の写真反応曲線の形の間で一致するように改善するようにデザインされた露出不足のカラー変換220の演算結果を示している。図7は、カラーセンシトメトリ変換210と露出不足カラー変換220の効果を組み合わせた結果を示している。図7に示すように、赤、緑及び青の反応曲線の間の密度の差を取り除くことができる。しかしながら、符号57で示される露出不足ドメインは尚も非線形の様相を呈している。
【0022】
図4に示す段階4は、写真反応曲線を線形化するためにデザインされたコントラストセンシトメトリ変換の演算結果を示している。カラーセンシトメトリ変換210と露出不足カラー変換220を組み合わせたとき、コントラストセンシトメトリ変換230の適用は図8に示す写真反応曲線が得られる。符号58で示す露出不足ドメインは、ここでは、赤、緑及び青の反応曲線の間の形状においてほんの少しの不整合はあるが、線形性が向上した写真反応の形状を有している。
【0023】
一組のソースデジタル画像101が由来するそれぞれのオリジナルの画像は、特異なシーン照明ソースにより影響を受ける。例えば、同じ写真フィルムストリップ12aの画像は、タングステン、日中の太陽光、雲空のときの光、その他の照明ソースによる影響を受けて写真撮影がなされる。シーン照明ソースにより送られる適切でないカラーキャストのソースデジタル画像及び前変換から残されたあらゆる未処理のセンシトメトリカラーの問題を補償するために、色補正変換は、図4に示す段階5のように、個々のデジタル画像の全体的なカラーキャストを補正するためにデザインされたカラーバランス変換240を含む。
図4を参照するに、段階5は、カラーバランス変換の演算を含み、2つの部分から構成される。即ち、画像の画素データにおける如何なる未処理のカラーキャストを評価するためにデザインされた第2カラーセンシトメトリ変換の演算、そして、それぞれの処理されたデジタル画像に特異なカラーバランスの位置の演算、である。カラーバランス変換240を生成するために、第2カラーセンシトメトリ変換の結果を個々の画像カラーバランスの位置と結合させる。
【0024】
デジタル画像プロセッサ20により演算された色補正変換は、したがって、4つの分離した成分変換から構成される。即ち、それらは、カラーセンシトメトリ変換210、それに続く露出不足カラー変換220、それに続くコントラストセンシトメトリ変換230及びその次のカラーバランス変換240、である。カラーセンシトメトリ変換210とカラーバランス変換の両者は線形変換である。しかしながら、コントラストセンシトメトリ変換230と露出不足カラー変換220は非線形変換である。したがって、色補正変換は、それら成分変換のうち少なくとも1つが非線形であるため、非線形変換となる。
【0025】
また、上述の4つの成分変換のうち何れかの1つ及びそれらの組み合わせを、ここでは、色補正変換とみなすことを特記しておく。たとえば、いくつかのデジタルイメージングシステムについて、その4つの成分変換のうち1つまたはそれ以上が省かれても尚、有用な色補正変換が得られる。さらに、種々の成分変換の適用の順序を変えても、有用な色補正変換が得られる。例えば、本発明のより簡単な実施においては、カラーセンシトメトリ変換210、次にカラーバランス変換240、その次にコントラストセンシトメトリ変換230、とする色補正変換の構築を含んでおり、これは有用であることが認められた。
【0026】
図4の段階7においては、補正済みカラーデジタル画像102を生成するために、それぞれのソースデジタル画像101に色補正変換を適用する。色補正変換は、段階6において、式(1)を用いて、4つの成分変換を単一変換にカスケード化することにより、色補正変換を構成する。
【0027】
T[pi]=T4[T3[T2[T1[pi]]]] (1)
ここで、T1[]はカラーセンシトメトリ変換210を表し、T2[]は露光不足カラー変換220を表し、T3[]はコントラストセンシトメトリ変換230を表し、T2[]はカラーバランス変換240を表し、piはソースデジタル画像の画素を表し、そしてT[pi]は処理された画素値を表す。色補正変換T[]を3つの1次元ルックアップテーブル(LUT:Look−Up−Table)として実行することが可能である。成分変換T1[]、T2[]及びT3[]は単一写真フィルムストリップ12aに関連するすべてのソースデジタル画像に共通であり、それらは、次式(2)に示すように単一のLUTT5[]に都合よく結合することが可能である。
【0028】
T5[]=T3[T2[T1[]]] (2)
その処理された画素値は次式(3)により与えられる。
【0029】
T[pi]=[T4[T5[pi]] (3)
成分変換を用いてソースデジタル画像の画素全体を連続的に処理することにより、色補正変換を実行することが可能であることを、特記しておく。例えば、修正済されたデジタル画像が結果として得られるすソースデジタル画像に、変換T1[]を適用することが可能である。次いで、さらに画素値を修正するために、修正されたデジタル画像画素に変換T2[]を適用することが可能である。成分変換を連続的に適用するこの方法は、一般に、成分変換を結合させて、結合させた変換を画像の画素データに適用する好適な方法に比較して、より大きいコンピュータリソースを必要とする。しかしながら、その連続的適用方法は、全体のデジタル画像の中間の修正画素値が各々の処理段階で同時に利用可能であるという優位点を有している。図9は、色補正変換に含まれる連続的な成分変換を示す機能ブロック図である。
【0030】
本発明のその他の実施形態においては、T6[]を生成するために変換T1[]及びT2[]を組み合わせることにより画像処理を実行する。修正されたデジタル画像が結果的に得られるソースデジタル画像に変換T6[]を適用する。ローパス空間部品とハイパス空間部品(図9において空間フィルタ250として表される)から構成される、ぼけマスキングアルゴリズムを用いて修正されたデジタル画像を空間的にフィルタリングする。次いで、ローパス空間部品に変換T3[]を適用し、そしてハイパス空間部品をT3[]により変換されたローパス空間部品に加える。適用される最終変換はT4[]である。画像の画素データに変換T3[]を直接適用することにより、被処理デジタル画像のコントラストは向上する。このプロセスはまた、ソースデジタル画像に存在するノイズを増幅させる。ローパス空間部品に変換T3[]を適用することにより、非常に高い空間周波数特性をもつノイズを増幅させることはない。結果的に色補正変換は実行するために、より複雑になり、好適な実施形態に比べてより大きなコンピュータリソースを必要とするが、被処理画像の視認性ノイズは少なくなる。
【0031】
フィルムプロダクトの露出依存性色特性の影響を取り除くために、カラーセンシトメトリ変換210をデザインしている。カラーセンシトメトリ変換210を演算する第1段階は、変換の正確さを低下させる一組のソースデジタル画像101において画素を識別することを含む。演算の正確さを改善するために、本発明では、複数の排他的条件を用いることが可能である 即ち、高濃度の標準画素、人工的な照明ソースにより影響を受けた画素、空間的に不活性な領域に対応する画素、相対的に最も小さい画素輝度をもつ画素及び露出不足条件に対応する画素は除外する。
【0032】
最適なカラーセンシトメトリ変換210を決定することにおけるデジタル画像プロセッサ20の処理の一部として、それぞれの写真フィルムストリップ12aのための露出依存性グレー値のセットは、測定された赤、緑及び青のような3原色の画素値の間の単一な3次元関数関係の形式で得られる。この関数関係は、どの画素値がカラーセンシトメトリ変換210の演算に寄与するかに影響を及ぼす、写真フィルムストリップ12a及びそれに対応する写真フィルムストリップ12aから由来するソースデジタル画像101に特有の値として、露出レベル依存性グレー評価を表す。概念的には、そのグレーを表す関数関係は、図10に示すタイプの3次元散布図を生成することにより導き出され、赤、緑及び青の軸により境界が形成される色空間内の赤、緑及び青のような測定された原色のカラーフィルム密度に対応する3原色画素値の3次元散布図を示している。ここでは、画像フレームにおける赤、緑及び青密度値に対応するデジタル画像画素値に基づいて3次元関数関係について説明するが、関数関係についての基礎を形成するために、赤、緑および青以外の基本色の画素を走査することが可能であることは評価されるであろう。さらに、本発明は、3つ以上の色密度を走査することが可能であるため、3つの色密度に限定されるものではない。したがって、最も広い方法において、適切な色の何れかの適切な組み合わせをもつ、少なくとも3つであって、可能であればそれ以上の被走査色密度から導き出される。
【0033】
図10に示されたプロットされたポイントは、写真フィルムストリップ12a上の領域に対応するカラーの測定された画素値を表す。3次元色空間のフィルムスキャナ21により測定された各々の領域からみ値引き出される測定された画素値をプロットし、続いて、最小自乗法のような、多くの周知のラインフィッティング方法のうち何れか1つを用いて画素値63により線62をフィッティングすることにより、関数関係を確立する。このフィッティングされた線62は、それから、写真フィルムストリップ12aから導き出されるソースデジタル画像のセットについての露出レベルに依存するグレーレベルの評価としての役割を果たす。参照のために散布図を概念的に作成したが、これは、本発明の開示内容を視覚的に捉えることを容易にする。実際の方法において、デジタル画像プロセッサ20により実行される適切なラインフィッティングアルゴリズムに画素値のデータを入力することによりカラーセンシトメトリ変換210を生成するので、当業者に評価されるであろう。
【0034】
上述の方法において、分析デジタル画像のセットにおけるすべての測定された領域から得られる画素値は散布図を生成することにおいて用いられた。カラーセンシトメトリ変換210、即ち散布図を生成してフィッティングされた線62の精度を改善するとき、画素データを除くことは、場合によっては、効果的であることが判明した。例えば、図10のプロットにおいてポイント64により表されるような高飽和色を有する画素は、フィッティングされた線の評価にバイアスをかけることが可能である。カラーセンシトメトリ変換210を確立することにおいて、カラーセンシトメトリ変換210は、シーンにおけるこれらの飽和色にバイアスをかけることなく、写真フィルムストリップ12aの性質を主として表すことは重要である。したがって、カラーセンシトメトリ変換210を確立するために用いられる散布図から、これら飽和色の画素値を減ずることは好ましい。高飽和色の領域に対応する画素データを削除するために、先ず、高飽和色が削除されるべきものと確認するために用いる参照ポイントに関連する閾値ポイントを設定することが必要である。
【0035】
高飽和色の削除のために種々の技術を用いることが可能であり、先ず、3原色の画素値を代わりとなる直交色空間に変換することにより、本発明の好適な実施形態においてその削除を達成でき、それには、同一出願人による米国出願特許第4,159,174号明細書に開示された方法を用いており、ここでは、その開示内容を参照することとする。この変換空間を図11のグラフに示し、ここで、3次元空間における3原色の画素値は、輝度軸に垂直である緑/マゼンタ照射平面に投影されている。図11のポイント71で示される参照のグレーのポイントを次の方法により設定する。
【0036】
写真フィルムストリップ12aから導かれる複数の画素領域の測定された画素値から、最小画素値(Rmin、Gmin、Bmin)のセットを決定する(図5に示す)。好適には、この目的のために含まれる画素領域は、ソースデジタル画像101と図3に示されたフレーム間ギャップの両者から得られる。この目的は、露出されない写真フィルムストリップにおける領域を確認することである。普通は、これはフレーム間ギャップ19において認識されることが期待される。しかしながら、例えば、フレーム間ギャップ領域においてフォギング等のある程度の露出があるとの理由で、最小画素値の決定において、ソースデジタル画像の画素値を含むことが好適であることが知られている。デジタルイメージングシステムによっては、フィルムスキャナ21はフレーム間ギャップ19を測定することが可能でないため、これらのシステムに対して、単に画像の画素データから最小画素値を決定しなければならない。
【0037】
次に、分析デジタル画像すべてにおけるすべての領域についてのオーダー平均画素値を決定する。最小画素値(Rmin,Gmin,Bmin)及びオーダー平均画素値(Rav,Gav,Bav)にそれぞれ対応する緑/マゼンタと輝度値(GMmin,ILLmin)(図12参照)及び (GMav,ILLav)を得るために、次式(4)を用いて、2つのセットの値を、図11に示された代わりとなる直交色空間に変換する。
【0038】
LUM=(R+G+B)/31/2 (4)
GM=(2G−R−B)/61/2
ILL=(B−R)/21/2
これらの重み付け平均GM0とILL0は次式(5)から導かれる。
【0039】
GM0=αGMav+(1−α)GMmin
ILL0=βILLav+(1−β)ILLmin
ここで、重み付けの値α及びβは、各々0〜1の範囲内の値であり、結果として得られるカラー印刷の検査から経験的に決定される。良好な結果が得られることがかくにんされた代表的な値は、およそα=0.6、β=0.25である。これらのGM0とILL0の値は、図11のポイント71に示すように、参照ポイントまたは初期のグレーポイントを設定する。米国特許出願第4,279,502号明細書に開示された方法は、図11の色空間におけるGMminとILLminに対応する最小密度(Rmin,Gmin,Bmin)のみに関連する飽和の演算を用いて飽和色の削減を実行しており、これは必ずしも最適な結果を与えないことが分かった、ことを特記しておく。これは、最小密度レベルで決定されたグレーポイントは普通の露出レベルに対応するグレーポイントを正確に反映していない理由によると思われる。それ故、GM0とILL0の値を決定するとき、写真フィルムストリップから導き出される分析デジタル画像における領域の画素値の平均値の測定を含むことは優位性があることが判明した。しかしながら、米国特許出願第4,279,502号明細書に開示された演算方法は正確さに欠ける一方、その実行は比較的簡単であるとの優位性を有している。
【0040】
デジタル画像における各々の画素の飽和の演算において、i番目の画素は添え字“i”により表され、測定されたカラー画素値は、好適には(GMi,ILLi)を結果としてもたらされる、代わりとなる直交色空間に変換される。飽和値(SATi)、即ち分析デジタル画像における処置画素についての色飽和の測定値は、図11の符号71で示す参照ポイント(GM0,ILL0)に関して演算され、次の式(6)のように表される。
【0041】
(SATi)=((GMi−GM0)2+(ILLi−ILL0)2)1/2(6)
次に、飽和値SATiを円72で表される所定の閾値と比較する。ポイント74で示されるように、飽和値SATiが閾値より大きいとき、図10の散布図の生成においてその画素値を排除する。ポイント76で示されるように、円72で表される閾値内にある画素からのデータは、散布図を生成するために用いられるサブセットに含まれる。図10のプロットに関して、これは、遠くに散在するポイント64は排除し、近くに散在するポイント63は含まれる。赤、緑そして青の値をGM及びILL色空間に変換するとき、好適な本発明の実施形態における円72の閾値半径は0.15である。この閾値の設定は経験的な決定によるものであり、本発明の請求範囲内であれば他の閾値を設定することが可能であることを理解されたい。図11に示す飽和クリッピング技術は、すべての色方向(色相)に円72により示される一様な閾値を用いる簡単な方法であるが、上記のGoll等による学術誌の記事に開示された“The subject failure suppression boundaries technique”に類似して、色方向に依存する可変閾値を有することもまた可能であることは、評価されるであろう。
【0042】
高飽和フレームはカラーセンシトメトリ210(GM0,ILL0)をバイアスすることが可能である。GM0及びILL0を評価するためのさらなる改良として、GM0及びILL0の演算から高飽和分析デジタル画像を削除するために供給を行うことが可能である。それぞれの分析デジタル画像について、上述したように、個々の分析デジタル画像内の画素のみが演算に含まれることを除いて、GMav及びILLavと同様の方法で、フレームの平均画素値GMfav及びILLfavを演算する。GMav及びILLavはすべての分析デジタル画像の平均画素値を表し、GMfav及びILLfavの値は個々の分析デジタル画像の平均画素値を表すことは、評価されるであろう。それ故、GMav及びILLavの値を次式(7)により演算することが可能である。
【0043】
GMav=(1/N)ΣNGMfav (7)
ILLav=(1/N)ΣNILLfav
ここで、図12を参照するに、上述した変換値GMmin及びILLmin、即ち図12のポイント90に関して、分析デジタル画像飽和値を演算される。分析デジタル画像のセットにおける所定の分析デジタル画像のための飽和値(SATf)は、図12のポイント(GMmin,ILLmin)について演算され、次式(8)により与えられる。
【0044】
SATf=((GMfav−GMmin)2+(ILLfav−ILLmin)2)1/2 (8)
次いで、円92で表される閾値により示される所定の閾値と飽和値SATfを比較する。ポイント94により示される場合のように、飽和値SATfが閾値より大きいとき、この分析デジタル画像のGMfav及びILLfavの値はGMav及びILLavの演算において排除される。円92で示される閾値の範囲内にある分析デジタル画像からの画素データは、ポイント96で表すように、GMav及びILLavの演算において含まれる。分析デジタル画像のセットにおいてデジタル画像が飽和の決定により排除される特定状況において、GM0及びILL0の値はそれぞれ、GMmin及びILLminに戻ることは、評価に値するであろう。図11の場合のように、円92により表される閾値を、ここでの好適な実施形態においては経験的に決定し、その値として0.25を用いるが、他の値を使用することは可能である。
【0045】
前述の、GM0及びILL0の演算におけるデジタル画像の排除方法の1つの効果は、人工的な照明、例えばタングステン照明により照射されたフィルムから得られる分析デジタル画像はカラーセンシトメトリ変換210の演算に寄与することはできないことである。同一出願者であってCloutier等による米国出願特許第5,229,810号明細書に記載された、提案された写真システムのタイプにおいて、データはフィルムに形成された磁気層におけるカメラに記録される。これらのメタデータ、即ち非画素データ情報は、特定な画像フレームが人工的な照明により露出されたことを示すデータフラグを含むことが可能である。そのデータフラグを検出し、対応する分析デジタル画像の画素値がGM0及びILL0及び/またはそれに続く図10の線の評価の演算において排除されることにより、これらの記録されたデータを好適に用いることが可能である。また、GMfav及びILLfavについての対応する高飽和色値をもつ分析デジタル画像が、しばしば、人工照明ソースを用いて写真撮影されたシーンに対応することを、特記しておく。それ故、GMfav及びILLfavについての対応する高飽和色値を、デジタル画像は人工照明ソースを用いて写真撮影されたシーンから得られる尤度を示すものとみなすことが可能である。また、他のカメラのメタデータからの人工照明ソースを用いて、写真撮影されたシーンから得られたデジタル画像の尤度を演算することが可能である。本発明は、このメタデータがシステムに利用可能であるとき、カメラのメタデータのシーン光レベル及びフラッシュの信号から人工的シーンの尤度を決定するために、Wheelerにより米国出願特許第6,133,983に開示された方法を用いている。特に、Wheelerにより開示された方法は、フラッシュ及びカメラにより記録されたシーンの輝度値のメタデータを用いる。したがって、本発明は、色補正変換を調整するために人工照明ソースをもちいて写真撮影されたシーンから得られるデジタル画像の尤度を示す非画素データを用いる。
【0046】
単一色により支配され、図10の線の評価62をバイアスする影響、即ち露出依性グレー、を有する分析デジタル画像内の広い範囲に及ぶ一様な領域の影響を低減するために、好適には、分析デジタル画像の高い空間活性度をもつ領域からの画素データのみを散布図に含む。空間フィルタを用いて分析で時事たる画像内に現れるエッジ領域を検出することにより、高い空間活性度をもつ領域を決定する。好適な実施形態においては、3x3の画素領域マトリクスを処理する空間フィルタを用いる。このマトリクス内のすべての9つの画素についての最大輝度と最小輝度の間の差を決定する。最大及び最小値間の差、即ち空間活性度の局所測定における差が所定の閾値より小さい場合、その画素データを散布図に含めることはない。この目的のための効果的閾値は、R、G、B色空間において、フィルム上のニュートラルデンシティ0.2であることが経験的に分かっている。高い空間活性度をもつ分析デジタル画像の領域は、被写体を含む分析デジタル画像のそれら領域とよい相互関係をもつ傾向にある。したがって、上述のようなエッジフィルタリングの使用することにより、被写体を含む分析デジタル画像の画素領域を含む傾向をもち、それ故、本発明にしたがったカラーバランス設定のための修正グレー評価が提供される。このような特徴をもつ空間フィルタリングは、また空間フィルタリング技術を、輝度(即ち、光対暗さバランス)露光設定の決定及び前述の被写体の失敗を抑制する技術の実行において、有用なものとし、これは評価に値するであろう。また、他の空間フィルタが空間活性度の効果的測定を提供することが可能であることは、当業者に評価されることであろう。
【0047】
多くの写真撮影されるシーンについて、1つ以上のカラー照明ソースが存在する。特に、電子フラッシュ照明ソースを用いるシーンに対して、また第2光源がそのシーンにおいて用いられる。通常、第2光源は、しばしばタングステンまたは蛍光ランプであり、フラッシュ照明とはまったく異なる性質のカラーを有している。さらに、第2光源は、支配的なまたは主要なフラッシュ照明ソースに比較してしばしば非常に弱いものとなっている。したがって、デジタル画像におけるより暗い画素値は第2光源によって大きい影響を受け、一方、より明るい画素値は主要高原により大きい影響を受けたものと考えられる。本発明は、明るい画素のみを含むことによりカラーセンシトメトリ変換210の演算への寄与から分析デジタル画像の画素を排除する。それぞれの分析デジタル画像について平均輝度画素値LUMfavを演算する。LUMfav未満の輝度画素値である画素を排除する。輝度による排除プロセスがそれぞれの分析デジタル画像に適合し、それぞれの画素をLUMfav値と比較することがデジタル画像内の相対的な画素の輝度の測定値を演算する方法であることは、評価されるに値するものであろう。
【0048】
画像の露出不足領域のカラーは、しばしば、適切に露出された領域のカラーと一致しない。したがって、図8の符号59で示す所定の適切な露出対応の閾値と対応する輝度画素値を比較することにより、本発明はカラーセンシトメトリ210の演算への寄与から画素を排除する。所定の露出閾値未満であるような、式(1)により与えられる輝度画素値をもつ画素は、カラーセンシトメトリ210の演算から排除される。本発明の好適な実施形態において、適切に露出される6%シーングレーリフレクタに対応するものとして、閾値を経験的に決定した。それ故、所定の閾値に対してそれぞれの画素を比較することが、画素の露出の測定値を演算する方法となっている、ことは評価されるに値することであろう。
【0049】
上述の排除条件のうち1つに適合しない分析デジタル画像のセットにおけるすべての画素を用いて、カラーセンシトメトリ変換210を演算する。本発明の公的な実施形態は、カラーセンシトメトリ変換210を演算するために、最小自乗直線回帰法を用いる。先ず、次式(9)を用いて、それぞれのトリプレット画素に対して輝度画素値Liを演算する。
【0050】
Li=(Ri+Gi+Bi)/3 (9)
赤の傾き係数γRと赤のオフセット係数ηRを決定するために、赤の画素値Riに対する輝度画素値Liの直線回帰を実行する。同様に、それに対応する緑の傾き係数γGと緑のオフセット係数ηGを決定するために、緑の画素値に対する輝度画素値の直線回帰を実行し、そしてそれに対応する青の傾き係数γBと緑のオフセット係数ηBを決定するために、青の画素値に対する輝度画素値の直線回帰を実行する。ソースデジタル画像のセットに対する露出レベル依存性グレー評価を表すカラーの間の単一多次元関数関係を確立するために、決定されたこの6つの回帰係数を用いる。式(10)のように表される一次方程式は、輝度画素値と、カラーセンシトメトリ反感210の多次元直線を決定する画素値を表すRi′、Gi′及びBi′との関係を示している。
【0051】
Ri′=γRLi+ηR (10)
Gi′=γGLi+ηG
Bi′=γBLi+ηB
他の実施形態において、画素データの輝度−クロミナンスの関係を表すためにその最小自乗回帰を実行する。先ず、含まれる画素のセットからの式(4)を用いて、輝度値LUMi、緑−マゼンタ値GMiそして照度値ILLiを演算する。次いで、GM傾き係数(γGM)及びGMオフセット係数(ηGM)を決定するために、GMi画素値に対するLUMi画素値の直線回帰を実行する。同様に、ILL傾き係数(γILL)及びILLオフセット係数(ηILL)を決定するために、ILLi画素値に対してLUMi画素値の直線回帰を実行する。単一の多次元関数関係は、式(11)で与えられる2つの線形予測方程式により規定される。
【0052】
RMi′=γGMLUMi+ηGM (11)
ILLi′=γILLLUMi+ηILL
ここで、項RMi′及びILLi′は予測される画素値である。次いで、係数γGM、ηGM、γILL及びηILLから赤、緑及び青の傾き係数(γk)及びオフセット係数(ηk)を決定する、上記のような3つの線形方程式(10)により、赤、緑及び青の多次元カラーセンシトメトリ変換210を演算するために、その傾き及びオフセットの項を用いる。ηGMとηILLによりオフセット係数ηR、ηG及びηBは、次式(12)のように表される。
【0053】
ηR=−(√6/6)ηGM−(√2/2)ηILL (12)
ηG=−(√6/3)ηGM
ηB=−(√6/6)ηGM+(√2/2)ηILL
傾き係数γR、γG及びγBについての式はγGMとγILLを用いて、次式(13)のように表される。
【0054】
γR=1−(√2/2)γGM−(√6/2)γILL (13)
γG=1+√2γGM
γB=1−(√2/2)γGM+(√6/2)γILL
回帰分析から画素を排除するプロセスはカラーセンシトメトリ変換210のローバスト性を改善するが、本発明の他の実施形態は、トリプレットの画素のようにカラーセンシトメトリ変換を修正するとき、最小の画素値をカラーニュートラルポジションに変換するという制約を課す。換言すれば、露出されなかった画像領域に対応する最小の画素値は、ニュートラルグレーカラーを結果としてもたらす新しい値に変換されることとなる。数学的には、複数の線形回帰をRMi′及びILLi′の値を0にする(式(11)及び(12)参照)ことによりその制約を課すこととなる。それ故、傾き及びオフセット係数は次式(14)で与えられる制約を満足しなければならない。
【0055】
ηGM=−γGMLUMmin (14)
ηILL=−γILLLUMmin
ここで、項LUMminは次式(15)により与えられる。
【0056】
LUMmin=(Rmin+Gmin+Bmin)/√3 (15)式(13)により表されるような予測傾き係数の精度は本発明の効果に基本的な重要性がある。本発明は、潜在的なフィルムセンシトメトリに関連する傾き係数を予測するために、シーンの内容、即ち分析デジタル画像の画素に基づいている。分析デジタル画像のセットによっては、逸脱した傾く係数の演算をもたらすシーン内容を有することがあり得る。したがって、中性色でないシーン内容の支配的カラーにより、傾き係数の演算をバイアスすることが可能である。本発明の好適な実施形態は、1)一定の補正因子、2)適合基準についての統計的適合度、及び3)視覚的コントラスト因子、に関連して、結果の精度を修正するために、さらに3つの傾き係数に関する制約を適用する。
【0057】
複数の直線回帰分析は、たとえ高色飽和画素が排除されても、回帰に含まれる画素が色彩豊かである場合、非常に大きな傾き係数をもつカラーセンシトメトリ反感210を結果として得ることが可能である。このように、中性色を生じるシーンカラーから大きい値の傾き係数を生成することが可能である。本発明はまた、一定の比例係数(ε)を用いて、補正係数εを傾き係数に乗ずることによりカラーセンシトメトリ変換210の大きさを減少させるために傾き係数を修正し、次式(16)のように表される。
【0058】
γR′=ε(γR−1)+1 (16)
γG′=ε(γG−1)+1
γB′=ε(γB−1)+1
異なる補正係数を用いる実験は、デフォルト値として用いる値0.67を有する0.5〜0.9の範囲内の補正係数εのセットを用いて、処理デジタル画像についての最もよい結果を得た。したがって、一定の比例係数により、最小自乗法の最もよく適合する直線についての傾き係数を修正する。それと同じ効果を達成することが可能である他の関数を本発明が効果的に用いることができることを、当業者は十分に理解されるであろう。
【0059】
分析デジタル画像のセットによっては、含まれる画素の総数は、たとえ上述の基準のうち1つより多くの画素が排除されるとしても、受け入れられる結果を得るには尚も十分な数とすることが可能である。しかしながら、排除される画素数が非常に多い数に達したとしても、カラーセンシトメトリ変換210のローバスト性を減少させることが可能である。なお一層の保証手段として、本発明の好適な実施形態は傾き係数を限定する。本発明は、傾きの上限の制約を適用する性能指数としてクロミナンス傾き係数の大きさを用いる。実験によると、クロミナンス傾き係数の最大値0.15は不正確な結果の尤度の増大に関連することが判明した。傾き係数の最大値ξは次式(17)により与えられる。
【0060】
ξ=1.0(δ<τのとき) (17)
【0061】
【数1】
ここで、項τは0.125に設定された傾き限界制御パラメータを表し、項δは次式(18)により与えられるクロミナンス傾き係数の大きさを表している。
【0062】
δ=(γGM 2+γILL 2)1/2 (18)
結果として得られた修正傾き係数は次式(19)により与えられる。
【0063】
γR″=ξ(γR′−1)+1 (19)
γG″=ξ(γG′−1)+1
γB″=ξ(γB′−1)+1
上述の回帰分析方法は、直線を用いて画素データを禁じすることにより3つの一次方程式のセットを生成する。しかしながら、デジタル画像のセットによっては、一次方程式によって画素データをうまく近似することができない。本発明は、直線が画素データに適合することを確実にする対策として、回帰残差値の統計的値R2の演算を用いる(Applied Regression Analysis Third Edition, John Wiley&Sons, Inc.参照)。回帰についてのR2値は、回帰直線により説明することが可能である全分散の比率に関連する0.0〜1.0の範囲内の規格化された値である。大きいR2値はデータとのよい一致、それ故、回帰直線における高い信頼度に関連する。回帰の信頼性係数μに対する回帰のための演算されたR2値に関連する関数は次式(20)により与えられる。
【0064】
μ=1 (R2>μ1の場合) (20)
μ=0 (R2>μ0の場合)
μ=(R2−μ0)/(μ1−μ0) (μ0<=R2<=μ1の場合)次式(21)により与えられ傾き係数に適合させるように、係数μを修正するR2値を用いる。
【0065】
【数2】
ここで、項
【0066】
【外1】
は、視覚的重み付け、傾き補正、最大傾き差制限及び回帰信頼性係数を組み合わせた効果を含む、 最終的に適合された傾き係数を表す。
【0067】
補正係数ε、最大傾き差係数ξ及び回帰信頼性係数μを含む傾き係数に対して上述の修正がなされたとき、修正傾き係数のための最終的な式は次式(22)により与えられる。
【0068】
【数3】
式(10)に示した一次関数は予測される写真反応曲線に関連する。カラーセンシトメトリ変換210の一次関数は予測される直線の方程式を補正するために構築され、それ故、予測される直線の方程式の一対一対応の直線についての数学的な反映となっている。赤、緑及び青にそれぞれ対応する実際の傾き係数ΓR、ΓG及びΓBは、カラーセンシトメトリ変換210を生成するために用いられ、次式(23)により与えられる。
【0069】
【数4】
上述の数学的分析は、輝度画素値を生成するために赤、緑及び青の画素値について等しい重み付けを用いる。この等しい輝度画素の重み付けを用いて得られたカラーセンシトメトリ変換210は、被処理デジタル画像に視覚的コントラスト特性における変化を与え得る。この影響を低減するために、本発明の好適な実施形態は、実際の傾き係数ΓR、ΓG及びΓBに課する視覚的重み付けの制約を用いる。視覚的重み付け係数ρは次式(24)により与えられる。
【0070】
ρ=0.414ΓR+0.507ΓG+0.079ΓB (24)
視覚的重み付け傾き係数ΓR′、ΓG′及びΓB′は次式(25)により与えられる。
【0071】
ΓR′=ΓR/ρ (25)
ΓG′=ΓG/ρ
ΓB′=ΓB/ρ
式(16)により与えられるように、本発明は、赤、緑及び青の寄与についての相対的重み付けを経験的に導き出した一方、他の視覚的重み付けとして、それぞれ、0.30、0.59及び0.11のような値が有用であることは、当業者は十分に理解されるであろう。これらの係数は意図された最終的な画像を印刷する材料の特定の特性に基づいており、材料毎に変化し得ることを、特記しておく。
【0072】
色補正変換の構成要素としてカラーセンシトメトリ変換を含むことにより、それぞれのソースデジタル画像のそれぞれの画素は、次式(26)を用いて変換される。
【0073】
Ri′=ΓR′Ri−ηRΓR′ (25)
Gi′=ΓG′Gi−ηGΓG′
Bi′=ΓB′Bi−ηBΓB′
ここで、項ΓR′、ΓG′及びΓB′は、方程式(25)に示したように、それぞれ赤、緑及び青に対応する傾き係数を表し、Ri、Gi及びBiは赤、緑及び青のソース画素値を表し、Ri′、Gi′及びBi′はカラー誠意氏と娶り変換210を用いた修正画素値を表す。本発明は、T1[]で表されるカラーセンシトメトリ変換210を実行するためのルックアップテーブル(LUT)を用いる。
【0074】
カラーセンシトメトリ変換210は、色補正の異なるレベルを用いた露出の異なるレベルに関連する画素のカラーを基本的に変化させる。このように、色補正変換は、露出の関数として色修正の度合いを変化させることによりデジタル画像内の画素のカラーを調整する。また、カラーセンシトメトリ変換210は、最小自乗回帰方程式を用いて露出レベル依存性グレー評価を組み込むため、色補正変換は線形露出レベル依存性グレー評価を組み込む。センシトメトリ補正の最終的な効果は、それらがグレーバランスポイントから非常に離れた程度まで画素のカラーを補正することである。
【0075】
上述のフィルムスキャナ21は、分離した写真フィルムストリップ12aから符号化されたバーコード、即ち復号化されるときに固有の製造タイプの写真フィルムを示す番号として解釈することが可能であるむき出しの直線群、を記録する。全般制御コンピュータ40に記憶されたものは、写真フィルムのタイプを固有であることを識別するフィルムタイプ識別タグのデータベースとなる。ほとんどのタイプの製造された写真フィルムプロダクトについて、導き出されたソースデジタル画像へのカラーセンシトメトリ変換210の適用は、被処理デジタル画像のカラーアピアランスを改善する。しかしながら、中には優れた中間色のセンシトメトリ特性を有する写真フィルムプロダクトがある。したがって、カラーセンシトメトリ変換210についての制約を、これらの正常に動作するプロダクトに対して調整することが可能である。本発明は、正常に動作する中間色センシトメトリ特性を有し、そのような写真フィルムストリップ12aから導き出されるデジタル画像について上述したように補正係数値を0.5に調整する、写真フィルムタイプのデータベースを記憶する。同様にして。正常に動作する中間色センシトメトリを有しない写真フィルムタイプに対して、補正係数値は0.9に設定される。したがって、カラーセンシトメトリ変換210を適用する段階を選択的に適合させるために、写真フィルム材料のタイプを固有であるとして識別する写真フィルムに記録された情報を用いる。
【0076】
本発明において最初に実行することは、デジタル写真システムの関連で、そのシステムにより受け取られる単一の写真フィルムストリップ12aから導き出されるデジタルが層からカラーセンシトメトリ変換210を演算することである。これは、単一の写真フィルムストリップ12aのカラーセンシトメトリが単一のタイプの写真フィルムに対応するために、最初に実行される。異なるタイプの写真フィルムに対応する他の写真フィルムストリップは、一般に、同一のカラーセンシトメトリ特性をもたない。しかしながら、同じ写真フィルムタイプに対応するが異なる消費者から受け取られる他の写真フィルムストリップ12aは、同様のカラーセンシトメトリ特性を備えている。本発明の他の実施形態は、複数の写真フィルムストリップ12aから導き出されるデジタル画像のためにカラーセンシトメトリ変換210を演算し、そのデジタル画像に適用するために、上述のように符号化されたバーコードにより示されたような同じ写真フィルムタイプに対応する異なる消費者から受け取られる複数の写真フィルムストリップ12aから導き出されるデジタル画像を用いる。
【0077】
カラーセンシトメトリ変換210についての上述の説明は、例えば、数量GMav、ILLav、GMfav、GM0及びILL0の異なる数量の演算に寄与することから画素を解除するプロセスについてのものである。バイナリ排除ロジックは実行することが簡単であり、排除速度が速い優位点を有するが、それに代わる本発明の実施形態は、上述した種々の数量に寄与する画素の度合いを変化させるために0.0〜1.0の範囲内で変化させる重み付け係数を用いる。このような排除の重み付けロジックは実行するのにより複雑であり、コンピュータのハードウェアを実行するのにより時間を消費するものとなっている。しかしながら、排除の重み付けロジックは、デシジョンロジックの漸次的性質により、全体的な変換のローバスト性の度合いを非常に大きくする。この実施形態に対して、図11における円72により示される所定の飽和閾値は、ここでは、クロミナンス図における等しい重み付け係数の軌跡を表している。画素排除の度合いを変化させるために、2次元ガウス重み付け係数を用いる。同様に、図12における円92で示される所定の飽和閾値は、ここでは、等しい重み付け係数の軌跡を表している。
【0078】
典型的な写真フィルムプロダクトについての赤、緑および青の反応曲線のためのセンシトメトリ曲線を図5に示す。図5の写真反応曲線は、3つの色の記録のためのフィルム密度の絶対値の間の著しい違い及び傾きの違いを示している。カラーセンシトメトリ変換210を適用した後、写真反応曲線は、図6に示すように変換される。3つの色記録の間の傾きの不適合性最小化され、3つの色記録の間の絶対差は、光の十分な排除(図6において符号54で示される)がなされた写真フィルムから導き出される画素のためにカラーセンシトメトリ変換210を適用することにより取り除かれる。しかしながら、写真反応曲線の露出不足のドメイン(図6において符号55で示される)は、3つの色記録の間の傾き(コントラスト)及び密度(色バランス)の差を尚も有している。
【0079】
露出不足色変換220は、 フィルムストリップ12aの露出不足領域に関連する画素についての残差カラーキャストを取り除くためにデザインされた。この変換は、画素値の関数として画素に変化を生成する3つの一次元関数(LUMを用いて実行する)の形式をとっている。露出不足色変換220のための数学的式は次式(27)により与えられる。
【0080】
【数5】
ここで、項Ri′、Gi′及びBi′は処理される赤、緑及び青の画素値を表し、Ri″、Gi″及びBi″は露出不足色変換220により処理された赤、緑及び青の画素値を表し、
【0081】
【外2】
はカラーセンシトメトリ変換210により処理された赤、緑及び青の画素値を表し、そしてL′minは、次式(28)により与えられるRmin′、Gmin′及びBmin′に対応する輝度画素値を表している。
L′min=(Rmin′+Gmin′+Bmin′)/3 (28)
項αr、αg及びαbは、色変化の等級をつける指数定数であり、次式(29)で与えられる。
【0082】
αr=R0′+Gmin′−loge(υ) (29)
αg=R0′+Gmin′−loge(υ)
αb=R0′+Gmin′−loge(υ)
ここで、定数υを0.02に設定した。項R0′、G0′及びB0′は、適切に露出された18%グレーレフレクタ(図6において符号56で示される)に対応する赤、緑及び青の画素値を示す。典型的な写真フィルムについて、これらの値は、フィルムプロダクトが略線形写真反応を達成できる最小露出を示している。Lmin′より大きい密度0.68に対応する画素値を識別することにより、R0′、G0′及びB0′を演算する。図7は、露出不測色変換220を適用した後の写真反応曲線を示している。露出不足のドメインの画素についての写真反応曲線(符号57)は色のミスマッチを著しく低減したものとなっている。それ故、露出不足色変換220が露出不足の条件に関連する画素の非線形色調整を組み込むことは、当業者に評価されるに値するであろう。
【0083】
図4の段階4において演算される次の成分変換はコントラストセンシトメトリ変換230であり、写真フィルムの非線形露出不測写真反応に対して補償するためにデザインされたものである。本発明は、Goodwinによる米国出願特許第5,134,573号明細書に開示された方法を用いている。図14の符号91に示されるように、コントラストセンシトメトリ変換LUTは非線形LUTから成り、それを赤、緑及び青の画素それぞれに適用する。典型的な写真フィルムについての結果として得られる写真反応を図8に示す。露出不足の反応ドメイン(図7の符号57で示す)は線形化される(図8の符号58で示す)。
【0084】
Goodwinにより教示された方法は、写真フィルムの中間センシトメトリ変換を反転することを意図する数学的式を用いて構築されるLUTを適用することにより、写真フィルムに得られたデジタル画像の線形センシトメトリ変換の領域を増加させることが可能であるものである。特に、対数の露光曲線(D−LogE)に対する露出不足ドメインの写真フィルムの標準的密度に対応する傾きを回復させることが可能である。図13を参照するに、傾きの調整を意味する傾きパラメータφは、写真フィルムのセンシトメトリ曲線の露出不足部分を結果的にもたらし、次式(30)により表される。
【0085】
φ=ΔD2/ΔD1 (30)
ここで、ΔD1は、2つの略等しい露出から実際の反応曲線(図13の符号81で示す)をもたらす密度差を表し、そしてΔD2は、同じ2つの露出から線形化されたフィルム反応(符号82で示す)をもたらすそれに対応する密度差を表す。傾きパラメータφは、それぞれの密度レベルにおいてデジタル画像に適用される傾き調整を意味する。しかしながら、D−LogE曲線の露出不足部分に対しては、傾きが0に近づくにつれて、ΔD1は0に近づき、傾き調整は際限なく増加し、無限大になるであろう。これは、被処理デジタル画像におけるノイズ特性を増幅させ、視覚的に好ましくないノイズを結果的にもたらすこととなる。許容される最大の傾き調整をパラメータφMAXにより特定する。φMAXより小さい傾き調整は、次第に1まで減少する。その場合、パラメータφは、次式(31)により与えられるφ´に置き換えられる。
【0086】
φ´=φ (φ<φMAXの場合) (31)
【0087】
【数6】
ここで、A、B、C及びDは傾き調整の最大値に依存する定数である。入力デジタル画像に含まれる予測されるノイズ量は、パラメータA、B、C、D及びφMAXの最適値の選択に影響するであろう。
【0088】
φMAXより小さい傾き調整のために数式化することが可能であるが、それはそれ程複雑ではない。φMAXより小さいφの場合には、φは、簡単な関数関係にある次式(32)で与えられるφ´により置き換えられる。
【0089】
φ´=φ (φ<φMAXの場合) (31)
φ´=1+(φMAX−1)/(K+(φ−φMAX)2)
(φ>=φMAXの場合)
ここで、パラメータKは関数の最小値1.0への収束速度を定める。本発明の好適な実施形態においては、Kを0.5に設定する。
【0090】
光に対する写真反応は、それぞれの製造フィルムプロダクトに特徴的なものである。しかしながら、写真速度、即ちISO評価が等しい写真フィルムは類似した反応曲線を示す。本発明は、すべての写真フィルムプロダクトをISO速度のカテゴリ、即ちISO 100、200、400、800、100より小さい、800より大きいカテゴリ、に分類する。各々のISO速度のカテゴリについて代表的な写真フィルムプロダクトを選択する。それぞれの選択された写真フィルムプロダクトに対して、反射率値を定めるグレー、即ち中間色のパッチターゲットを含む、参照写真フィルムストリップを写真撮影することにより写真反応を測定する。これは、フィルムスキャナ21を用いて、参照写真フィルムストリップから導き出されるデジタル画像を分析することにより、達成される。コントラストセンシトメトリ変換230を測定されたデータから得る。全般的制御コンピュータ40に記憶されたフィルムタイプの識別タグを用いて、写真フィルムストリップ12aを決定するためにフィルムスキャナ21を用いる。それぞれのISO速度タイプのためのセンシトメトリコントラスト変換のデータベースは全般的制御コンピュータ40に記憶されている。処理された各々の画像のセットについて、写真フィルムストリップ12aの写真速度を識別し、それに対応するセンシトメトリコントラスト変換を選択する。
【0091】
測定された密度を“線形化”密度に関係付けるLUTを結果として得る関数(31)の数値積分により、コントラストセンシトメトリ変換230を演算する。参照写真フィルムストリップデータから導き出される赤、緑および青の画素の平均反応として輝度信号反応曲線を演算して求める。数値積分法に対して、開始の画素値として輝度最小画素値を用いる。典型的なコントラストセンシトメトリ変換LUTを図14に示す(符号91で表す)。それ故、コントラストセンシトメトリ変換230は、露出不足の条件に関連して画素のコントラストを増加させる非線形成分色変換である、ことを示している。
【0092】
コントラストセンシトメトリ変換LUTを以下の方法における画素データに適用する。先ず、それに対応する色最小画素値Rmin″、Gmin″及びBmin″(T2[T1[]]により変換されたRmin、Gmin及びBmin)をRi″、Gi″及びBi″画素値(T2[T1[]]により変換されたソースデジタル画像の画素)から減じる。次いで、次式(33)により与えられるT3[]のように表されるコントラストセンシトメトリ変換LUTを適用する。
【0093】
【数7】
ここで、
【0094】
【外3】
はコントラストセンシトメトリ変換された画素値を表す。
【0095】
本発明は、それぞれのソースデジタル画像についての中間階調のグレーの被写体に対応すると識別される全体的なカラーキャストを取り除くために色バランス変換240を演算する。色バランス変換240は2つの部分において演算される。その第1部分は、第2カラーセンシトメトリ変換を演算することによるk番目のソースデジタル画像についての中間色バランス値(GMk及びILLk)の演算を含む。第2部分は、画素値の重み付け平均値を用いてそれぞれのソースデジタル画像について色バランス値(GMb及びILLb)の演算を含む。色バランス変換240は、色バランス値をそれに対応する被処理ソースデジタル画像の画素値から減じる。
【0096】
上述されたカラーセンシトメトリ変換のソースデジタル画像への適用は、一般に、写真フィルムのカラーセンシトメトリ変換における欠陥を補正することに対して効果的である。しかしながら、写真フィルムストリップ12aの露出不足の領域(低レベルの光を受け取る領域)の色は一般的露出の領域(十分なレベルの光を受け取る領域)と同様に色を十分に補正されることはない。したがって、本発明は第2カラーセンシトメトリ変換を演算する。残差のカラーセンシトメトリのエラーに関連するそれぞれの個々のソースデジタル画像についてのカラーキャストを決定するために、第2カラーセンシトメトリ変換を用いる。このカラーキャストは、線形で引き算による色バランスの形式をとるが、色バランス変換240の第1部分を評価し生成する。
【0097】
同様に、第2分析デジタル画像を生成するために、成分変換T1[T2[T3[]]]に先行して分析デジタル画像を処理することにより、第2カラーセンシトメトリ変換の演算を開始する。第2カラーセンシトメトリ変換を生成するために、これらの第2分析デジタル画像を用いる。
【0098】
上述したが、関数関係である3次元の線は、図10の直線62により表されるように、直線の最もよい一致を決定するために最小自乗法を用いる。この最もよい一致を示す直線は、第2分析デジタル画像の設定のために露出レベル依存性グレー評価としての機能を果たす。この露出レベル依存性グレー評価の演算のために、その関数関係は非線形2次多項式の形式をとる。上述と同じ方法でそれぞれの第2分析デジタル画像についてフレームの平均値LUMfav2を演算する。第2カラーセンシトメトリ変換を用いる上述した方法により演算される値GMfav2とLUMfav2は、k番目のソースデジタル画像についての中間バランス値(GMk,LUMk)を表す。
【0099】
著しい割合の画素領域が、変換T3[T2[T1[]]]により変換されるものとして値Rmin、Gmin及びBminで表される、最小画素値Rmin2″、Gmin2″及びBmin2″に略等しい画素値を有するデジタル画像の場合に、単一の3次元の関数関係により決定される第2カラーセンシトメトリ変換はフィルムタイプによっては最適な結果を与えることはできない。この例において、低いフィルム露出にこれらのデジタル画像適応させるために色バランス値を調整することは好ましい。これは、k番目のソースデジタル画像(GMk,LUMk)についての色バランス値を調整することにより、達成できる。赤、緑及び青の画素値を輝度軸が緑/マゼンタ及び照度軸に直交する図11の直行色空間における輝度画素値に変換することにより、GMk,LUMkはGMfab2″、GMmin2′そしてILLfab2″、ILLmin2′に比例する量だけ調整する。経験的に決定された輝度閾値Ntより小さい輝度画素値をもつ画素をカウントすること、そしてデジタル画素における領域の総数で除することにより、第2分析デジタル画像内の低い輝度画素領域の割合(π)を決定する。重み付け係数ωは次式(34)により定義される。
【0100】
ω=(π−π0)/(1−π0) (π>=π0の場合) (34)
ω=0 (π<π0の場合)
ここで、π0はデジタル画像における領域の総数に対して低い密度の領域の閾値の割合を経験的に決定する閾値である。k番目のソースデジタル画像についての色バランス値GMk,LUMkを、次式(35)により決定する。
【0101】
GMk′=(1−ω)GMk+ωqGMfab2′+ω(1−q)GMf
ab2′(35)
ILLk′=(1−ω)ILLk+ωqILLfab2′+ω(1−q)ILLfab2′
ここで、qはGMfab2′、GMmin2′そしてILLfab2′、ILLmin2′の間のスムージングパラメータであり、0〜1の範囲内の値をとり、GMk′及びILLk′は調整された色バランス値を示す。
【0102】
同じ写真フィルムストリップ12aに写真撮影された個々の画像は、例えばタングステン、電子フラッシュ、日中の太陽光、曇り空の光等のシーン照明ソースの色が特有であることに主に起因して、固有のカラーキャストを有している。色バランス変換240のさらなる改良点として、本発明は、シーン照明ソースの色の効果を取り除くためにデザインされた2次元ガウス重み付け表面により、対応する第2分析デジタル画像の画素の色の重み付け平均を用いてそれぞれのソースデジタル画像についての色バランス値を演算する。先に定義した色バランス値(GMk,LUMk)はガウス重み付け表面の中心座標となっている。この色バランス値を、次式(36)を用いて演算する。
【0103】
GMb=GMk+ΣiGMiλ (36)
ILLb=ILLk+ΣiILLiλ
ここで、ガウス重み付け係数λは次式(37)により与えられ、
【0104】
【数8】
項GMi及びILLiは、第2分析デジタル画像の個々の画素のクロミナンス値を表す。変数σGMとσILLはカラーキャストを取り除くために色バランス変換240のアグレッシブネス(aggressiveness)を決定する。変数σGMとσILLについての妥当な値は経験的に決定され、それらはそれぞれ0.05及び0.05である(等しいフィルム密度単位において)。本発明は、クロミナンス値の重み付けをするためにガウス関数を用いているが、他の数学的関数を本発明に用いることが可能であることを当業者は認識するであろう。重み付け関数のもっとも重要な特徴は、小さいクロミナンス値に比較して大きいクロミナンス値により小さい重み付けをする特性である。
【0105】
上記説明は、写真フィルムプロダクトから導き出されるデジタル画像を処理するための本発明の適用を中心としているが、一方、デジタルカメラからみ値引き出されるデジタル画像のカラーアピアランスを強化するために、本発明を用いることが可能である。一般に、デジタル画像の写真反応は線形である。しかしながら、用いられるカラーフィルタ材料、カメラ内のデジタル画像処理、較正ミス等のために特定のデジタルカメラを用いて生成されるデジタル画像においてはカラーバイアスがあり得る。デジタルカメラの画像に対する本発明の適用のために、最小の画素値GMmin及びILLminを0に設定する。
【0106】
カラーセンシトメトリの問題を診断するために具体的にデザインされた制御画像を用いることにより、他のフォトフィニシング(photofinishing)システムにおいて本発明を使用していることを検出することが可能である。例えば、テストシーンのセットは、それらのうち1つが写真撮影されたシーンにおいて反射性グレーパッチターゲットを含んでいる場合、異常なカラーセンシトメトリ特性を有することが既知である写真フィルムプロダクトにより生成され写真撮影される。カラーセンシトメトリ特性の問題が最小である写真フィルムプロダクトを用いて、同じテストシーンのセットを写真撮影する。現像画像を生成するために、その両者の写真フィルムストリップを、化学的に処理し、ソースデジタル画像を生成するためにフィルムスキャナ上で走査する。カラーセンシトメトリの問題をもたない写真フィルムプロダクトから導き出される反射性グレーパッチターゲットを含むテストシーンに対応するデジタル画像(にせの画像)は、それ故、異常なカラーセンシトメトリを伴う写真フィルムプロダクトから導き出されるデジタル画像のセットに含まれる。したがって、デジタルフィルム書き込む装置、即ち診断用写真フィルムストリップを用いて(カラーセンシトメトリの問題を伴わない写真フィルムプロダクトを用いて)、合成的に露出するために、このグループのソースデジタル画像を用いる。この診断用写真フィルムストリップは、正常な写真フィルムから元々導き出された画像を除いて、露出画像すべてに対して、異常な写真フィルムプロダクトの同じカラーセンシトメトリ特性の問題をもっている。次いで、診断用フィルムストリップを、対象のデジタルフォトフィニッシングシステムを用いて処理する。次いで、写真プリントを眼でみて検査し、達成された色補正のレベルと色の傾向を評価する。本発明を対象とするシステムで用いる場合、異常な写真フィルムプロダクトをオリジナルとして導き出された写真プリントは、密度依存性カラーセンシトメトリにより導入された効果について補正され、優れた全体的な色再現性を有する。しかしながら、にせのデジタル画像から導き出される写真プリントは、異常なカラーセンシトメトリにより影響を受けることがなく、本発明の実行により逆効果となってしまう。にせのデジタル画像から導き出される写真プリントは、もともとの色の問題が逆である色の問題を誘発する。この影響を確認するために、カラーセンシトメトリの問題を伴わない写真フィルムプロダクトを用いて作製されたフィルムを、対象であるシステム及び生成された写真プリント上にプリントする。にせデジタル画像の写真プリントを比較する。同じシーン内容のこれら2つのレンディション(rendition)が実質的に異なって見える場合、にせの画像の色の再現は、同じ写真フィルムストリップに含まれる他の画像のカラーセンシトメトリにより影響を受ける、と結論することができる。さらに、所定の色ミスマッチ特性を伴う画像のテスト写真フィルムストリップを設定するテストを策定し、そしてその結果の分析に関して、デンシトメトリ測定により補正の度合いを決定する、ことが可能である。
【0107】
また、制御されなかった異常な画像を用いることにより、他のシステムにおいて本発明を使用していることを検出することが可能である。例えば、一連のテストシーンを異なる製造タイプの写真フィルムストリップを用いて写真撮影することが可能である。写真フィルムストリップによっては異常なセンシトメトリをもつことが予測され、一方、それ以外の場合は異常なセンシトメトリをもつことが予測されないように、これらのタイプの写真フィルムストリップを選択することが可能である。テストストリップを化学的に処理し、上述のように対照とするシステムでプリントする。次いで、この写真プリントを、視覚的に検査し、得られた色補正のレベルと色傾向に関して評価する。この代わりとなるテストは、上述の方法と同様に信頼できるものはないが、実行することは容易い。
【図面の簡単な説明】
【図1】本発明の実施形態を実施するために適切なデジタル写真システムのブロック図である。
【図2】本発明の色変換方法を実行するためブロック図であって、フィルムスキャナを用いるブロック図である。
【図3】連続的な写真フィルムストリップが順次繋がっている様子を示す写真フィルムストリップの一部の平面図である。
【図4】デジタル画像プロセッサの詳細を示すブロック図である。
【図5】典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図6】カラーセンシトメトリ変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図7】露出不足色変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図8】コントラストセンシトメトリ変換を適用した後の典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図9】色補正変換において導入する成分変換のブロック図である。
【図10】写真フィルムストリップからのデジタル画像の3原色におけるフィルム密度測定から得られる画素値の3次元プロットを示す図である。
【図11】デジタル画像の個々の画素領域についての高飽和色識別方法を説明するために有用な変換色空間の画素値のプロットを示す図である。
【図12】全体的なデジタル画像の高飽和色識別を説明するために用いる図10に類似する画素値のプロットを示す図である。
【図13】コントラストセンシトメトリ変換を演算するために用いられる典型的な写真フィルムプロダクトの写真反応を示すグラフである。
【図14】コントラストセンシトメトリ変換の形状を示すグラフである。
Claims (6)
- 複数のデジタル画像のカラーアピアランスを変換する方法であって:
(a)捕捉媒体から複数のデジタル画像を受け取る段階であって、それぞれのデジタル画像は少なくとも3つの基本色に関連する複数の画素値を含む、段階;
(b)i)デジタル画像に依存せず、そして捕捉媒体の関数として露出不足の条件を補正する、非線形調整、及びii)基本色の画素に依存する線形関数関係であって、捕捉媒体の写真反応に対応する露出レベル依存性グレー評価を定義する線形関数関係、を用いて色補正変換を演算する、段階;並びに
(c)複数のデジタル画像の画素を修正するために色補正変換を用いる段階であって、露出の関数として色修正の度合いを変化させることによりデジタル画像における画素を変換する、段階;
から構成される、方法。 - 請求項2に記載の方法であって、デジタル画像の画素値に基づく最小自乗最適適合線を用いて前記線形関数関係を演算する、方法。
- 請求項1に記載の方法であって、前記色補正変換は露出不足条件に関連する画素のコントラストを向上させる非線形成分色変換を組み込んでいる、方法。
- 請求項1に記載の方法であって、それぞれのデジタル画像に特有である色バランス値を演算し、対応するデジタル画像のカラーアピアランスを修正するために色バランス値を用いる、段階をさらに含む、方法。
- 請求項1に記載の方法であって、色補正変換を演算する段階は、露出レベル依存性関係を組み込む第1成分色変換を演算する段階、第1成分色変換を用いてデジタル画像の画素を修正する段階、第2成分色変換を演算する段階、並びに第2成分色変換を用いてデジタル画像の画素をさらに修正する段階、をさらに含む、方法。
- 請求項1に記載の方法であって、前記デジタル画像はもともとの写真フィルムストリップから導き出される、方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/151,622 US6956967B2 (en) | 2002-05-20 | 2002-05-20 | Color transformation for processing digital images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004064737A true JP2004064737A (ja) | 2004-02-26 |
Family
ID=29419479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003141048A Pending JP2004064737A (ja) | 2002-05-20 | 2003-05-19 | デジタル画像を処理するための色変換 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6956967B2 (ja) |
EP (1) | EP1367815A3 (ja) |
JP (1) | JP2004064737A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170131662A (ko) * | 2015-08-07 | 2017-11-29 | 구글 엘엘씨 | 시각적 피처들을 이용한 이미지들의 자동 연결 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6999202B2 (en) | 2001-03-27 | 2006-02-14 | Polaroid Corporation | Method for generating a halftone of a source image |
US6937365B2 (en) | 2001-05-30 | 2005-08-30 | Polaroid Corporation | Rendering images utilizing adaptive error diffusion |
US6996277B2 (en) * | 2002-01-07 | 2006-02-07 | Xerox Corporation | Image type classification using color discreteness features |
JP4062924B2 (ja) * | 2002-01-24 | 2008-03-19 | コニカミノルタホールディングス株式会社 | カラー画像処理方法及びカラー画像処理装置 |
US6906736B2 (en) | 2002-02-19 | 2005-06-14 | Polaroid Corporation | Technique for printing a color image |
JP3984858B2 (ja) * | 2002-05-01 | 2007-10-03 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US20030234944A1 (en) * | 2002-06-24 | 2003-12-25 | Eastman Kodak Company | Extending the dynamic range and adjusting the color characteristics of a digital image |
US7376183B2 (en) | 2002-09-09 | 2008-05-20 | Warner Bros. Entertainment, Inc. | Post-production processing |
US7197071B1 (en) * | 2002-09-09 | 2007-03-27 | Warner Bros. Entertainment Inc. | Film resource manager |
JP2004180285A (ja) * | 2002-11-27 | 2004-06-24 | Oce Technol Bv | ピクセル画像の画像処理 |
US7327504B2 (en) * | 2002-12-06 | 2008-02-05 | Eastman Kodak Company | Method of detecting clipped image pixels |
US7162078B2 (en) * | 2002-12-20 | 2007-01-09 | Fast Link Communication Corp. | Automatic white balance correction method for image capturing apparatus |
US7283666B2 (en) * | 2003-02-27 | 2007-10-16 | Saquib Suhail S | Digital image exposure correction |
US8773685B2 (en) | 2003-07-01 | 2014-07-08 | Intellectual Ventures I Llc | High-speed digital image printing system |
EP1517542B1 (en) * | 2003-09-01 | 2010-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting colors of an image |
KR100565622B1 (ko) * | 2003-09-19 | 2006-03-30 | 엘지전자 주식회사 | 냉장고 |
US7207645B2 (en) * | 2003-10-31 | 2007-04-24 | Busch Brian D | Printer color correction |
US7486819B2 (en) * | 2003-12-23 | 2009-02-03 | Aptina Imaging Corporation | Sampling images for color balance information |
GB2415565B (en) * | 2004-06-24 | 2007-10-31 | Hewlett Packard Development Co | Image processing |
US8014034B2 (en) * | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
US8238695B1 (en) | 2005-12-15 | 2012-08-07 | Grandeye, Ltd. | Data reduction techniques for processing wide-angle video |
US7782367B2 (en) | 2007-06-14 | 2010-08-24 | Sony Corporation | Direct calibration of color imaging devices |
US7847822B2 (en) | 2007-06-14 | 2010-12-07 | Sony Corporation | Sequential regression for calibration from residues |
US8077205B2 (en) | 2007-06-14 | 2011-12-13 | Sony Corporation | Adaptive prediction of calibration parameters for color imaging devices |
US20090263015A1 (en) * | 2008-04-17 | 2009-10-22 | Guoyi Fu | Method And Apparatus For Correcting Underexposed Digital Images |
US8311355B2 (en) * | 2009-06-05 | 2012-11-13 | Apple Inc. | Skin tone aware color boost for cameras |
US20110205397A1 (en) * | 2010-02-24 | 2011-08-25 | John Christopher Hahn | Portable imaging device having display with improved visibility under adverse conditions |
US8427722B2 (en) * | 2010-06-04 | 2013-04-23 | Eastman Kodak Company | Color transform insensitive to process variability |
US8884980B2 (en) * | 2010-09-24 | 2014-11-11 | Taaz, Inc. | System and method for changing hair color in digital images |
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
US10713816B2 (en) * | 2017-07-14 | 2020-07-14 | Microsoft Technology Licensing, Llc | Fully convolutional color constancy with confidence weighted pooling |
US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
CN113454680A (zh) * | 2019-03-21 | 2021-09-28 | 华为技术有限公司 | 图像处理器 |
US10523420B1 (en) | 2019-04-18 | 2019-12-31 | Capital One Services, Llc | Transmitting encoded data along transmission mediums based on colorspace schemes |
US10614635B1 (en) | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
US10833852B1 (en) | 2019-10-03 | 2020-11-10 | Capital One Services, Llc | Encoded data along tape based on colorspace schemes |
US10715183B1 (en) | 2019-10-25 | 2020-07-14 | Capital One Services, Llc | Data encoding with error-correcting code pursuant to colorspace schemes |
US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
US10762371B1 (en) * | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
US10878600B1 (en) | 2019-12-10 | 2020-12-29 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker utilizing local adaptive technology |
CN111510698A (zh) * | 2020-04-23 | 2020-08-07 | 惠州Tcl移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
US11302036B2 (en) | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
CN114331843B (zh) * | 2021-12-28 | 2022-10-04 | 苏州思卡信息系统有限公司 | 一种基于灰度直方图的图像拼接方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4159174A (en) | 1977-05-31 | 1979-06-26 | Eastman Kodak Company | Method and apparatus for adjusting the correction levels in a settable matrix printer |
US4279502A (en) | 1978-09-15 | 1981-07-21 | Agfa-Gevaert, A.G. | Method of and apparatus for determining the copying light amounts for copying from color originals |
US5229810A (en) | 1988-10-07 | 1993-07-20 | Eastman Kodak Company | Film information exchange system using dedicated magnetic tracks on film |
US4962403A (en) | 1989-12-11 | 1990-10-09 | Eastman Kodak Company | Adjusting photographic printer color exposure determination algorithms |
DE69021047T2 (de) | 1989-12-26 | 1996-03-21 | Eastman Kodak Co., Rochester, N.Y. | Verfahren zur ausdehnung des linearbereichs der aufgenommenen bilder eines films. |
US6133983A (en) | 1993-11-12 | 2000-10-17 | Eastman Kodak Company | Photographic printing method and apparatus for setting a degree of illuminant chromatic correction using inferential illuminant detection |
US5959720A (en) | 1996-03-22 | 1999-09-28 | Eastman Kodak Company | Method for color balance determination |
JP3783792B2 (ja) | 1995-11-09 | 2006-06-07 | 富士写真フイルム株式会社 | 写真プリンタにおける画像処理方法 |
US6160634A (en) | 1995-12-25 | 2000-12-12 | Fuji Photo Film Co., Ltd. | Digital printer and image data conversion method |
JPH09294215A (ja) | 1996-02-29 | 1997-11-11 | Konica Corp | 色補正条件算出方法、色補正方法、色補正条件算出装置、色補正装置および記憶媒体 |
US6243133B1 (en) * | 1997-03-07 | 2001-06-05 | Eastman Kodak Company | Method for automatic scene balance of digital images |
US6130756A (en) * | 1998-03-12 | 2000-10-10 | Eastman Kodak Co | Method for characterizing a response function of an output |
US6204940B1 (en) | 1998-05-15 | 2001-03-20 | Hewlett-Packard Company | Digital processing of scanned negative films |
US6233069B1 (en) | 1998-05-28 | 2001-05-15 | Eastman Kodak Company | Digital photofinishing system including film under exposure gamma, scene balance, contrast normalization, and image sharpening digital image processing |
-
2002
- 2002-05-20 US US10/151,622 patent/US6956967B2/en not_active Expired - Fee Related
-
2003
- 2003-05-08 EP EP03076365A patent/EP1367815A3/en not_active Withdrawn
- 2003-05-19 JP JP2003141048A patent/JP2004064737A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170131662A (ko) * | 2015-08-07 | 2017-11-29 | 구글 엘엘씨 | 시각적 피처들을 이용한 이미지들의 자동 연결 |
KR101965878B1 (ko) | 2015-08-07 | 2019-04-05 | 구글 엘엘씨 | 시각적 피처들을 이용한 이미지들의 자동 연결 |
Also Published As
Publication number | Publication date |
---|---|
US20030215133A1 (en) | 2003-11-20 |
EP1367815A2 (en) | 2003-12-03 |
EP1367815A3 (en) | 2004-10-20 |
US6956967B2 (en) | 2005-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004064737A (ja) | デジタル画像を処理するための色変換 | |
US6636646B1 (en) | Digital image processing method and for brightness adjustment of digital images | |
US7289154B2 (en) | Digital image processing method and apparatus for brightness adjustment of digital images | |
US7289664B2 (en) | Method of detecting and correcting the red eye | |
US5667944A (en) | Digital process sensitivity correction | |
US6665434B1 (en) | Device, method, and recordium for correcting color imbalance of an image | |
EP1351524B1 (en) | Method for automatic white balance of digital images | |
US7616808B2 (en) | Photograph image-processing method and device thereof | |
US7257270B2 (en) | Image processing device and method, and recording medium | |
JP2000324353A (ja) | 画像処理装置、方法及び記録媒体 | |
JP3338569B2 (ja) | 色温度推定方法、色温度推定装置、及び露光量決定方法 | |
US20030234944A1 (en) | Extending the dynamic range and adjusting the color characteristics of a digital image | |
JP2004007462A (ja) | フレア光の影響に対しデジタル画像を補正する方法 | |
JP2837757B2 (ja) | 写真焼付装置のプリント方法 | |
JP2002335417A (ja) | 電子的にスキャンされたカラー・ネガフィルムないしポジフィルムからオリジナルシーンを自動的にリプロダクションする方法 | |
JP2848750B2 (ja) | 露光量決定方法 | |
JP2502131B2 (ja) | 写真焼付露光量の決定方法 | |
JP2001024883A (ja) | 画像処理装置、画像処理装置の制御方法、及び記録媒体 | |
JP2719781B2 (ja) | カラー写真画像属性判別方法 | |
JP3583184B2 (ja) | カラー複写装置 | |
JP2702933B2 (ja) | カラー写真焼付装置 | |
JPH10224650A (ja) | 画像処理方法及び装置 | |
JPS5987447A (ja) | 写真焼付処理方法 | |
JPH0553221A (ja) | 写真画像情報処理方法 | |
JPH06337481A (ja) | 写真画像情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080513 |