JP2005509167A - 分光感度の選択を最適化する方法および装置 - Google Patents
分光感度の選択を最適化する方法および装置 Download PDFInfo
- Publication number
- JP2005509167A JP2005509167A JP2003543301A JP2003543301A JP2005509167A JP 2005509167 A JP2005509167 A JP 2005509167A JP 2003543301 A JP2003543301 A JP 2003543301A JP 2003543301 A JP2003543301 A JP 2003543301A JP 2005509167 A JP2005509167 A JP 2005509167A
- Authority
- JP
- Japan
- Prior art keywords
- spectral sensitivities
- analysis
- spectral
- noise
- factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/48—Picture signal generators
- H04N1/486—Picture signal generators with separate detectors, each detector being used for one specific colour component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/48—Picture signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
撮像装置用の分光感度の選択を最適化する方法は、普遍優良指数(universalmeasureofgoodness)、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階を含む。普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合が求められる。分光感度の第2の集合は、分光感度の最適化された集合である。
Description
本発明は、2001年11月6日に出願され、参照として本明細書にその全体が組み入れられる米国特許仮出願第60/332,987号の恩恵を主張するものである。
発明の分野
本発明は概して撮像に関し、特に、撮像装置用の分光感度の選択を最適化する方法および装置に関する。
本発明は概して撮像に関し、特に、撮像装置用の分光感度の選択を最適化する方法および装置に関する。
発明の背景
デジタルカメラやカラースキャナのような、撮像装置またはシステムによってカラー画像を取り込む慣習が広まっている。現在、このようなデジタル装置には、1組のフィルタを前方に有する電荷結合素子または相補型金属酸化膜半導体(CCD/CMOS)センサアレイが含まれる。理想的には、このような撮像装置は、見た目が美しいカラー画像を実質的に正確に取り込む。
デジタルカメラやカラースキャナのような、撮像装置またはシステムによってカラー画像を取り込む慣習が広まっている。現在、このようなデジタル装置には、1組のフィルタを前方に有する電荷結合素子または相補型金属酸化膜半導体(CCD/CMOS)センサアレイが含まれる。理想的には、このような撮像装置は、見た目が美しいカラー画像を実質的に正確に取り込む。
カラー撮像装置の設計および製造に利用されている多数の基準がある。重要な要件は、装置の、高品質の色再現を行うのに用いることのできるカラー信号を供給する能力である。このような装置の色品質性能を量子化するには、色刺激に対する装置の応答が人間の応答にどのように対応しているかを判定することが重要である。Commission Internationale de l'Eclairage(CIE)は、心理物理的実験によって、色に対する平均的な人間の視覚的応答を表す、標準的な観察者の標準的な1組の色合せ関数を作成している。人間の目は、それぞれ異なる分光感度痕跡(signature)を有する3種類の円錐(cone)を有するので、CIEによって3つの標準関数が指定されている。したがって、大部分のカラー撮像装置は、3つのチャネルを備えており、このような撮像装置の分光感度は最初、人間の視覚システムを模倣するように構成された。
装置内のカラー撮像チャネルに関する分光感度関数は、ルータ条件を満たすべきであり、すなわち、チャネル分光感度は、上述のCIE色合せ関数の厳密な複製である必要はなく、それらの関数の正則変換である必要がある。実際には、多くの場合、製造プロセスの物理的な制限によって、ルータ条件を満たす撮像装置のフィルタを製造するのは必ずしも可能ではない。測定ノイズも重要な役割を果たし、分光感度曲線がルータ条件を満たしているときでも色精度を低下させる。
したがって、人間の視覚システムの模倣のようなある基準を満たす分光感度を有することが望ましい。残念なことに、撮像装置における分光感度を正確にかつ効率的に最適化できるシステムおよび方法を見つけるのは困難である。
発明の概要
一態様による、撮像装置用の分光感度の選択を最適化する方法、および撮像装置用の分光感度の選択を最適化するように少なくとも1つのプロセッサによって実行されるプログラムされた命令が記憶されたコンピュータ可読媒体は、普遍優良指数(universal measure of goodness)、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階を含む。普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合が求められる。分光感度の第2の集合は、分光感度の最適化された集合である。
一態様による、撮像装置用の分光感度の選択を最適化する方法、および撮像装置用の分光感度の選択を最適化するように少なくとも1つのプロセッサによって実行されるプログラムされた命令が記憶されたコンピュータ可読媒体は、普遍優良指数(universal measure of goodness)、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階を含む。普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合が求められる。分光感度の第2の集合は、分光感度の最適化された集合である。
他の態様による、撮像装置用の分光感度の選択を最適化するシステムは普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の第1の集合を求める最適化システムである。最適化システムは、普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合を求める。分光感度の第2の集合は、分光感度の最適化された集合である。
本発明では、撮像装置用の分光感度曲線を容易にかつ効果的に最適化することができる。その結果、所望のレベルの画質を有する撮像装置を製造することができる。
詳細な説明
本発明の一態様による、撮像装置に関する、分光感度曲線とも呼ばれる分光感度を選択するシステム10および方法が、図1および5Aに示されている。一態様による方法は、普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階を含む。普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合が求められる。分光感度の第2の集合は、分光感度の最適化された集合である。本発明では、特に、所望のレベルの画質を有する撮像装置を開発することができる。
本発明の一態様による、撮像装置に関する、分光感度曲線とも呼ばれる分光感度を選択するシステム10および方法が、図1および5Aに示されている。一態様による方法は、普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階を含む。普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合が求められる。分光感度の第2の集合は、分光感度の最適化された集合である。本発明では、特に、所望のレベルの画質を有する撮像装置を開発することができる。
図1を参照すると、この特定の態様では、システム10は、分光感度(「SS」)処理システム12および任意のCCDカメラ14を含んでいる。ただし、システム10は、他の種類の撮像装置のような、他の種類、数、および他の組合せの構成要素を有してよい。SS処理システム12は、カメラ14に動作可能に結合されている。それぞれが通信プロトコルを有する、直接接続、ローカルエリアネットワーク、ワイドエリアネットワーク、WWW、モデムおよび電話回線、無線通信技術を含む、様々な通信システムおよび/または方法を用いてSS処理システム12とカメラ14を動作可能に結合し、SS処理システム12とカメラ14との間の通信を行うことができる。システム10の1つの構成が図示されているが、1つの装置に組み込まれたSS処理装置12およびカメラ14を有するような他の構成が可能である。
SS処理システム12は、バスシステム22またはその他のリンクによって互いに結合された、少なくとも1つのプロセッサ16、少なくとも1つのメモリ18、少なくとも1つの入出力インタフェース20、およびユーザ入力装置23を含んでいる。ただし、SS処理システム12は、他の構成要素、他の数のこれらの構成要素、および他の組合せのこれらの構成要素を含んでよい。プロセッサ16は、本明細書に記載され図5Aおよび5Bに示されている本発明の一態様による、撮像装置用の分光感度の選択を最適化する方法の少なくとも一部に関する記憶されている命令のプログラムを実行する。システム内のランダムアクセスメモリ(RAM)または読取り専用メモリ(ROM)や、フロッピィディスク、ハードディスク、CD ROM、またはプロセッサ16に結合された磁気読取りおよび/または書込みシステム、光学読取りおよび/または書込みシステム、あるいはその他の読取りおよび/または書込みシステムによって読み取られかつ/または書き込まれる他のコンピュータ可読媒体のような、様々な異なる種類のメモリ記憶装置を用いて、本明細書に記載されたプログラムされた命令とその他の情報とを記憶することができる。この特定の態様では、本発明の一態様による方法は、プロセッサ16によって実行されるSS処理システム12におけるプログラムされた命令として記憶されるが、プログラムされた命令のいくつかまたはすべてを他の場所に記憶し、他の場所で実行することができる。入出力インタフェース20は、SS処理システム12とカメラ14を動作可能に結合し、SS処理システム12とカメラ14との間の通信を行うのに用いられる。ユーザ入力装置23は、オペレータが信号またはコマンドを生成してプロセッサ16に送信するのを可能にする。キーボードやコンピュータマウスのような、様々な異なる種類ユーザ入力装置を用いることができる。
図2を参照すると、カメラ14内のカラーチャネルのブロック図が示されている。ただし、他の種類の撮像装置を用いることができる。この特定の態様では、カメラ14内のカラーチャネルは、フィルタ24、検出器26、およびA/D変換器28を含んでいる。ただし、撮像装置内のカラーチャネルは、他の構成要素および他の組合せの構成要素を含んでよい。撮像装置カラーチャネルの各構成要素は、その予想される入力に対してある応答を有している。カラーフィルタ24は、シーン放射hvからのそれぞれの異なる波長における光子が、検出器26に到達する確率がそれぞれ異なる分光透過率を有している。このような透過特性は厳密に判定することができる。同様に、検出器26は、フィルタ24を通過したシーン放射hv'からのあらゆる光子が検出器26に入射する分光感度を有している。光子の波長に基づいて、光子が検出器26の電圧応答の変化を生じさせる確率を厳密に求めることができる。検出器26の測定された電圧はA/D変換器28に渡され、A/D変換器28はこのアナログ電圧をデジタル値に変換する。カメラ14のカラーチャネルの分光感度は、フィルタ透過率と検出器分光感度の連続組合せから導かれる。
図3を参照すると、カメラ14の出力信号用の一般的な処理パイプラインが示されている。この図では、F0からFnは変換を表している。このパイプラインでは、段階30で装置空間生信号が得られ、段階32で装置空間カメラRGB信号に変換され、段階34で、関数F0によって標準空間CIE XYZ値に変換される。標準空間CIE XYZ値は、段階36で、関数F1によって標準空間CIE L*a*b値に変換することができ、標準空間CIE L*a*b値は、段階38で、関数Fnによって色出現色空間CIECAM97sに変換される。標準空間CIE XYZ値は、段階40で、関数F1によって標準空間sRGB値に変換することもでき、標準空間sRGB値は、段階42で、関数Fnによって戸外装置色空間(CRT、プリンターなど)7に変換される。
カメラ14およびその他の撮像装置用の分光感度を最適に構成または選択するのは、以下の特性を考慮する必要がある。
(1)スペクトルフィット:CIE色合せ関数は、非対称ガウス関数、ガウス関数の線形結合、または3x3マトリックスを有する実色フィルタ構成要素の組合せによって近似される。メリット関数は、平均二乗分光差|R-R1|2、またはqファクタやμファクタ(μ-factor)のようなある定義済みのQ値(quality factors)であってよい。DaviesおよびWyszeckiは、色合せ関数と組合せ感度関数(光電池層とフィルタ層)との分光差を別々に最小化することにより、光電池および選択されたフィルタの感度によってCIE1931標準色合せ関数を近似した。DaviesおよびWyszeckiは、3つの感度関数を全システムとして評価したわけではない。その代わり、qファクタおよびμファクタ(μ-factor)は、これらの分光感関数によってCIE色合せ関数がどれだけ近似されたかを適切に評価することができる。
μファクタ(μ-factor)と呼ばれ、分光感度関数を評価し構成するQ値は、参照として本明細書に組み入れられるP. L. VoraおよびH. J. Trussell著「1組の色走査フィルタの優良指数(Measure of goodness of a set of color-scanning filters)」J. Opt. Soc. Am. A、第10巻、第7号、1499〜1503 ページ(1993年)で開示されている。μファクタ(μ-factor)は、任意の数の装置チャネル感度関数を集合として評価するQ値である。具体的には、μファクタ(μ-factor)は、CIE色合せ関数の正規直交小空間と分光感度空間との差を記述する。一般に、概ね1に等しいμファクタ(μ-factor)は、高品質の色再現を行うと予想される撮像装置を示す。
(2)1組の物体色スペクトルの比色性能:分光感度関数の集合(フィルタと光子検出器量子効率)を選択するには、中サイズの1組の標準物体色スペクトルがカメラ14または撮像装置に入力され、次いで、平均色差と標準偏差の両方が、特定の分光感度集合の基準として算出される。色出現空間、すなわち参照として本明細書に組み入れられるCIECAM97sにおいても、様々な色差公式を用いることができる。差色入力装置は、色差スケールに関して異なるように動作することがあり、したがって、正規化された色差メトリックを用いるべきである。
(3)画像ノイズ最小化:本明細書に記載されると共に、2001年3月22日に出願され、参照として本明細書にその全体が組み入れられる米国特許出願第09/814,634号に記載された総合優良指数(Unified Measure of Goodness、「UMG」)と呼ばれる別のメトリックは、知覚的に一様な色空間、すなわちCIE L*a*b*における平均二乗色誤差の最小化に基づくメトリックであり、生信号が段階32のデバイスRGB空間から段階34でCIE XYZ空間に変化され、かつ段階36でCIE L*a*b*空間に変換されるとき信号独立ノイズおよび信号依存ノイズと、目標色空間内のそれらのノイズの増幅との両方を考慮することによって他のQ値とは本質的に異なっている。ノイズ分析による分光感度のいくつかの「最適」集合は、真に最適でない場合があり、ノイズがこのような変換の後で過度に増幅されるためうまく働かない。
(4)色再現精度:事前に定義済みのQ値「UMG」を最大にすることは、最初の装置/RGB空間内のノイズがCIE L*a*b*色空間に伝搬する間、CIE L*a*b*色空間内の1組の分光サンプルの平均色差を最小化して正規化することを意味する。
(5)RMSノイズ(粒状):目標色空間内の信号の分散の二乗根。生RGB信号が、段階32でノイズに汚染され、ノイズ伝搬規則に従って段階34でCIE XYZ空間に変換され、次に段階36でCIE L*a*b*空間に変換されるとき、X、Y、およびZと、L*、a*、およびb*のRMSノイズを算出することができる。他の典型的な例として、sRGB空間が目標色空間である場合、生装置/RGB空間内のノイズは段階34でXYZ色空間に伝搬し、次いで段階40でsRGB色空間に伝搬する。
UMG Q値または平均色差とRMSノイズとの関係をさらに利用する必要がある。UMG Q値と平均色差との関係はすでに単調な関係として示されている。
共通色差メトリックΔELabはCIE L*a*b*空間におけるユークリッド距離である。ノイズ伝搬(RMSノイズ)の結果として得られるΔELabの予想される値は、参照として本明細書に組み入れられるBurnsおよびBernsによって開示されているようにL*,a*b*のRMSノイズ軸を含むL*a*b*の分散−共分散行列によって近似することができる。
共分散(非対角要素)が関与しているので、色差メトリックとRMSノイズとの間に単純(単調)な関係はない。sRGB色空間において同様の分析を行うことができる。
総色差には、図4に示されている2つの局面が含まれる。一方はすでに上記に定義されており、RMSノイズによるものであり、他方は、感度関数がルータ条件を満たさず、すなわち、分光感度が色合せ関数の線形結合にならないことによるものである。総色差の影響は、2つの部分の和、または以下のような総合的な数式として算出することができる。
上式で、
は、カメラの出力から推定された三刺激ベクトルである。Fは、XYZからL*a*b*へのCIE変換であり、tは三刺激ベクトルであり、tc+ηは、ノイズ(現在、ショットノイズおよび床ノイズが考慮されている)を含むカメラRGB信号ベクトルである。Bは、最適化によって求められる線形行列であり、ノイズ項に対して期待値演算が行われる。
上式で、
は、カメラの出力から推定された三刺激ベクトルである。Fは、XYZからL*a*b*へのCIE変換であり、tは三刺激ベクトルであり、tc+ηは、ノイズ(現在、ショットノイズおよび床ノイズが考慮されている)を含むカメラRGB信号ベクトルである。Bは、最適化によって求められる線形行列であり、ノイズ項に対して期待値演算が行われる。
図4に示されているように、依然として(sRGB空間またはCIE L*a*b*空間における)RMSノイズと総色差(UMG)との間に明確で単純な関係はない。したがって、この関係に関する総合的なメトリックは、色差およびRMSノイズの重み付き平均であるべきである。各々に課される重みの量は、特定の用途に基づいて異なる。たとえば、製造業者が、RMSノイズの低減がより重要であると考えている場合、それにより重い重みが課される。
定義された符号化方式の量子化最小化については、信号をデジタル化する場合、線形一様量子化を用いるしかないと考えられることが多く、この意味では、より高度な量子化によってより正確な信号符号化を行うことができる。しかし、8ビット量子化しか使用できない場合、線形一様量子化を非線形量子化、場合によってはベクトル量子化で置き換えることができる。これらの量子化はどちらも、実施されると(必然的な)信号符号化誤差を削減することができる。カメラ信号符号化に非一様量子化が用いられるかどうかは不明である。より複雑な量子化方法は一般に、データ圧縮に用いられる。
量子化によって導入される誤差は、概ね一様な確率分布を有する追加の信号独立確率的源とみなされることが多い。信号量子化によって導入される誤差を確率的ノイズ源とみなすと、結果として得られるすべての画素値が有限数のレベルに丸められることが無視される。有効な量子化間隔は、(視覚的に)検出可能な強度または色差と比較されることが多い。多くの用途では、各量子化間隔が見えず、すなわち、視覚的なアーチファクトを導入しないという要件は、RMS量子化ノイズと、シーンコンテントや画像検出のような他の源による画像変動との比較に基づく要件よりも厳しい。量子化誤差も、確率的誤差伝搬の場合と同様に信号経路を通って伝搬する可能性がある。
総合優良指数すなわちUMGは以下の特性、一様色空間における標準反射サンプルの集合における平均色差が最小化されること、入力信号が、ショットノイズおよび床ノイズを含むノイズと共に、目標色空間に伝搬すること、線形行列が、ノイズ伝搬特性に基づく最適化によって得られることを考慮に入れている。
多光源色補正に対応する方式について述べる。平均色差を目標色空間におけるユークリッド距離と仮定すると、次式が最小化される。
上式で、F0は、段階32のカメラ出力信号を段階34でCIE XYZ値に線形変換し、tは、測定されたCIE XYZ値であり、tcは、ノイズで汚染されたカメラ出力信号であり、
は、三刺激値を線形変換または非線形変換F0, ...Fnによって順次目標色空間に変換し、すなわち、段階36でCIE Labに変換し、段階38でCIECAM97sに変換する。本発明のメトリックを導く際にまずF0が線形行列として仮定されるが、実際には、多項変換、参照テーブルなどを含む、多数の技術を用いてこの変換を行うことができる。F1...Fnが連続的な第1の偏導関数によって近似的に微分可能である場合、一次テイラー級数は、それらの各々をかなり正確に局部的に線形近似する。
第1の導関数に連鎖法則(law of chains)を用いることによって、次式が成立する。
したがって、次式が成立する。
この誤差を最小化することによって、最適な線形行列F0を求めることができ、単一の撮影−取込み(viewing-taking)光源対の新しい測度を定義することができる。
また、次式が成立する。
取込み(記録)光源と撮影光源は異なるものであってよいので、あらゆる取込み−撮影光源対のQ値が定義される。特定の用途では、撮影光源として選択すべき1組の光源
と、取込み光源として選択すべき他の1組の光源
がある場合、Q値行列Mを以下のように定義することができる。
取込み−撮影光源対の総合的なQ値 UMGは、上記の行列の要素を重み付き平均として定義することができる。
上式で、wijは、撮影−取込み光源対
について定義された対応するQ値 θijについてカメラ製造業者によって事前に設定された重みである。
上式で、F0は、段階32のカメラ出力信号を段階34でCIE XYZ値に線形変換し、tは、測定されたCIE XYZ値であり、tcは、ノイズで汚染されたカメラ出力信号であり、
は、三刺激値を線形変換または非線形変換F0, ...Fnによって順次目標色空間に変換し、すなわち、段階36でCIE Labに変換し、段階38でCIECAM97sに変換する。本発明のメトリックを導く際にまずF0が線形行列として仮定されるが、実際には、多項変換、参照テーブルなどを含む、多数の技術を用いてこの変換を行うことができる。F1...Fnが連続的な第1の偏導関数によって近似的に微分可能である場合、一次テイラー級数は、それらの各々をかなり正確に局部的に線形近似する。
第1の導関数に連鎖法則(law of chains)を用いることによって、次式が成立する。
したがって、次式が成立する。
この誤差を最小化することによって、最適な線形行列F0を求めることができ、単一の撮影−取込み(viewing-taking)光源対の新しい測度を定義することができる。
また、次式が成立する。
取込み(記録)光源と撮影光源は異なるものであってよいので、あらゆる取込み−撮影光源対のQ値が定義される。特定の用途では、撮影光源として選択すべき1組の光源
と、取込み光源として選択すべき他の1組の光源
がある場合、Q値行列Mを以下のように定義することができる。
取込み−撮影光源対の総合的なQ値 UMGは、上記の行列の要素を重み付き平均として定義することができる。
上式で、wijは、撮影−取込み光源対
について定義された対応するQ値 θijについてカメラ製造業者によって事前に設定された重みである。
本発明は、上記の分析に基づいて、カメラ14または他の任意の撮像装置用の分光感度の選択を最適化する階層的手法を提供する。この特定の態様では、考慮すべき撮像特性は以下のとおりである。
1.UMG:色差およびノイズ伝搬
2.μファクタ:スペクトルフィッティング
3.RMSノイズ:粒状化ノイズ最小化、および
4.量子化誤差最小化のような他の指数
ただし、他の撮像特性および組合せを用いることができる。
1.UMG:色差およびノイズ伝搬
2.μファクタ:スペクトルフィッティング
3.RMSノイズ:粒状化ノイズ最小化、および
4.量子化誤差最小化のような他の指数
ただし、他の撮像特性および組合せを用いることができる。
これらのメリット関数は、最適感度集合のそれぞれの異なる局面を記述するので、単一のメトリックに組み込まれる。現在、UMGでは、画像ノイズ最小化と1組の物体色スペクトルの比色特性が考慮されている。量子化誤差は考慮されていない。というのは、量子化は、概ね「連続している」とみなされる14ビットによって行われるからである。予備的な実験結果によって、最適な集合を得るには他のサンプル依存メトリックおよびサンプル独立メトリックによる総合的な評価が必要であることが分かっている。この場合も、最終的なメトリックを導入する場合、等しい重みではなくいくつかの異なる重みを用いるべきであり、かつ特定の用途に基づいて客観的および主観的な方法によって重みを決定すべきである。これらのパラメータを同時に最適化することは可能であるが、時間がかかり過ぎる。実験結果によって、UMGのようないくつかのメリット関数は非常に時間がかかり不要であることが分かっている。
この特定の態様における、本発明による一連の連続的な最適化が図5A〜5Cに示されている。1つまたは2つの重要な特性を選択することによって、一連の最適集合を得ることができ、この一連の最適集合同士を比較することによって他のパラメータが求められる。
これらの指数のすべてを同時に最適化するのは困難である。画質評価手順によって求める必要がある総合的な目的関数が必要であるときに、これらのメトリックにそれぞれの異なる数値を有する重みを割り当てるのはさらに困難である。実現可能な手法は、他の指数よりも実際的な条件を考慮する最も重要な指数を最初に最適化し、最適結果の集合を得る手法である。集合における他の指数同士をその重要度に応じて比較することによって、最終的な望ましい最適集合が得られる。
特に図5A〜5Cを参照すると、本発明の態様による、撮像装置の1つまたは複数の分光感度曲線を最適化する方法のフローチャートおよび図が示されている。
段階50で、可能なフィルタセットまたは分光感度の完全な組合せは、フィルタの厚さやフィルタの選択のような所与の基本的なフィルタ構成要素の製造パラメータを変更し、かつ最も望ましい形状はガウス関数のような形状であると仮定することによって生成される。これらのパラメータおよび形状に基づく最適な範囲内に位置する推定された幅およびピーク位置を有する組合せが事前に選択される。
カメラ14または他のカラー撮像装置の分光感度は、撮像装置の分光感度とフィルタの透過率との積として定義される。有用な簡略化モデルは、分光感度を、非負値を有する可視範囲内の滑らかな単一ピーク曲線とみなす。ただし、実際のチャネル分光感度はより複雑であってよい。この特定の態様では、選択された分光感度曲線は、メモリ18における撮像装置の以前の測定値から取り込まれる。ただし、分光感度曲線は他の様々な方法で得ることができる。
一例に過ぎないが、選択された分光感度曲線をSS処理システム12によって仮説的に生成することができる。具体的には、簡略化モデルの分光感度を平滑3次スプライン関数の組合せによってシミュレートすることができる。たとえばピーク位置をλ=λ0に有する3次スプライン関数は次式のように書くことができる。
上式で、2wは4分の1ピーク高さにおける3次スプライン関数の幅である(2分の1ピーク高さにおける対応する幅は約
である)。
上式で、2wは4分の1ピーク高さにおける3次スプライン関数の幅である(2分の1ピーク高さにおける対応する幅は約
である)。
より複雑な可能な分光感度曲線、たとえば、ピーク波長を中心として非対称的な曲線が望ましい場合、それぞれ左半分の幅および右半分の幅を表すw1およびw2を考える。すると、3次スプライン関数は次式のようになる。
都合上、w1およびw2に関するΔwを以下のように導入する。
w2 - w1 = 2Δw
したがって、次式が成立する。
w1 = w - Δw,w2 = w + Δw
また、次式が成立する。
都合上、w1およびw2に関するΔwを以下のように導入する。
w2 - w1 = 2Δw
したがって、次式が成立する。
w1 = w - Δw,w2 = w + Δw
また、次式が成立する。
段階52で、普遍優良指数に基づいて、分光感度曲線の選択された集合が分析され、図5Bに示されているように、分光感度曲線の第1の部分集合が求められる。この特定の態様では、普遍優良指数に基づく分析は、本明細書で説明する色差およびノイズ伝搬の分析を含む。
段階54で、μファクタに基づいて分光感度曲線の第1の部分集合が分析され、図5Bに示されているように、分光感度曲線の第2の部分集合が求められる。この特定の態様では、μファクタに基づく分析は、本明細書で説明するスペクトルフィッティングの分析を含む。
段階56で、RMSノイズに基づいて、分光感度曲線の選択された集合も分析され、図5Bに示されているように、分光感度曲線の第3の部分集合が求められる。この特定の態様では、RMSノイズに基づく分析は、本明細書で説明する粒状ノイズ最小化の分析を含む。
図5Bに示されているように、分光感度曲線の第1の部分集合における分光曲線の第2の部分集合と分光曲線の第3の部分集合との重なりは、分光感度曲線の最終的な最適集合を有する領域を示す。段階54でμファクタなどのスペクトルフィッティングメトリックによって分光感度の組合せまたは集合を評価し、同時に段階56でRMSノイズ特性を評価すると、分光感度の最適集合が生成される。ただし、これらおよびその他のメトリック分析のタイミングおよび順序は異なるものであってもよい。これらの段階の後で分光感度の複数の集合が存在する場合、主観的分析などによってこれらの集合をさらに分析し、最高の総合メトリック値によって、あるいはたとえば、以下に段階58で論じるように他のメトリックによって分光感度の集合を選択することができる。
段階58で、量子化ノイズ最小化のような他のメトリックに基づいて、分光感度曲線の最適集合をさらに分析し、分光感度の厳密で最終的な最適集合を求めることができる。各段階の1つの順序が示されているが、各段階は他の順序で行うことができる。前述のように、実現可能な手法は、まず、この特定の態様における普遍優良指数のような最も重要な指数またはメトリックを最適化し、次いで特定の用途に対する重要度が高い他のメトリックを最適化する手法である。
したがって、本発明の基本的概念について説明したが、当業者には、前記の詳細な開示が一例としてのみ与えられるものであり、制限的なものではないことが容易に明らかになろう。本明細書には明示的に述べられていないが、当業者には様々な代替態様、改良態様、および修正態様が考えられよう。これらの代替態様、改良態様、および修正態様は、本明細書によって示唆されるものであり、本発明の趣旨および範囲内である。さらに、処理要素またはシーケンスの引用された順序、したがって、数、文字、またはその他の記号は、特許請求の範囲に明示されている場合を除き、請求されたプロセスをある順序に制限するものではない。したがって、本発明は、特許請求の範囲およびその均等物によってのみ制限される。
Claims (24)
- 以下の段階を含む、撮像装置用の1つまたは複数の分光感度を最適化する方法:
普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階;ならびに
普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合を求める段階であって、分光感度の第2の集合が、分光感度の最適化された集合を含む段階。 - 以下の段階をさらに含む、請求項1記載の方法:
普遍優良指数、μファクタ、およびRMSノイズのうちの残りの1つの分析に基づいて分光感度の第2の複数の集合から分光感度の第3の集合を求める段階であって、分光感度の第3の集合が、分光感度の最適化された集合を含む段階。 - 以下の段階をさらに含む、請求項2記載の方法:
量子化誤差最小化の分析に基づいて分光感度の第3の集合から分光感度の第4の集合を求める段階であって、分光感度の第4の集合が、分光感度の最適化された集合を含む段階。 - 普遍優良指数の分析、μファクタの分析、およびRMSノイズの分析に異なる重みを課す段階をさらに含む、請求項2記載の方法。
- 分光感度の初期集合を得る段階をさらに含む請求項1記載の方法であって、分光感度の第1の集合を求める段階が、色差およびノイズ伝搬の分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階をさらに含む方法。
- 総合優良指数に基づく分析が、色差およびノイズ伝搬の分析をさらに含む、請求項1記載の方法。
- μファクタに基づく分析が、スペクトルフィッティングの分析をさらに含む、請求項1記載の方法。
- RMSノイズに基づく分析が、粒状度ノイズの分析をさらに含む、請求項1記載の方法。
- 分光感度の初期集合のソース;ならびに
普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める最適化システムを含む、カメラ分光感度の選択を最適化するシステムであって、
最適化システムが、普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合を求め、分光感度の第2の集合が、分光感度の最適化された集合を含むシステム。 - 最適化システムが、普遍優良指数、μファクタ、およびRMSノイズのうちの残りの1つの分析に基づいて分光感度の第2の複数の集合から分光感度の第3の集合を求め、分光感度の第3の集合が、分光感度の最適化された集合を含む、請求項9記載のシステム。
- 最適化システムが、量子化誤差最小化の分析に基づいて分光感度の第3の集合から分光感度の第4の集合を求め、分光感度の第4の集合が、分光感度の最適化された集合を含む、請求項10記載のシステム。
- 普遍優良指数の分析、μファクタの分析、およびRMSノイズの分析に異なる重みを課す重み付けシステムをさらに含む、請求項10記載のシステム。
- ソースが、撮像装置およびメモリ装置の少なくとも一方である、請求項9記載のシステム。
- 総合優良指数に基づく最適化システムによる分析が、色差およびノイズ伝搬の分析をさらに含む、請求項9記載のシステム。
- μファクタに基づく最適化システムによる分析が、スペクトルフィッティングの分析をさらに含む、請求項9記載のシステム。
- RMSノイズに基づく最適化システムによる分析が、粒状度ノイズの分析をさらに含む、請求項9記載のシステム。
- 少なくとも1つのプロセッサによって実行されるときに、プロセッサに、以下の段階を実行させる命令が記憶されたコンピュータ可読媒体であって、分光感度の第2の集合が、分光感度の最適化された集合を含む媒体:
普遍優良指数、μファクタ、およびRMSノイズのうちの1つの分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階;ならびに
普遍優良指数、μファクタ、およびRMSノイズのうちの異なる1つの分析に基づいて分光感度の第1の複数の集合から分光感度の第2の集合を求める段階。 - 普遍優良指数、μファクタ、およびRMSノイズのうちの残りの1つの分析に基づいて分光感度の第2の複数の集合から分光感度の第3の集合を求める段階をさらに含む、請求項17記載の媒体であって、分光感度の第3の集合が、分光感度の最適化された集合を含む媒体。
- 量子化誤差最小化の分析に基づいて分光感度の第3の集合から分光感度の第4の集合を求める段階をさらに含む、請求項18記載の媒体であって、分光感度の第4の集合が、分光感度の最適化された集合を含む媒体。
- 普遍優良指数の分析、μファクタの分析、およびRMSノイズの分析に異なる重みを課す段階をさらに含む、請求項18記載の媒体。
- 分光感度の初期集合を得る段階をさらに含む、請求項17記載の媒体であって、分光感度の第1の集合を求める段階が、色差およびノイズ伝搬の分析に基づいて分光感度の初期集合から分光感度の第1の集合を求める段階をさらに含む媒体。
- 総合優良指数に基づく分析が、色差およびノイズ伝搬の分析をさらに含む、請求項17記載の媒体。
- μファクタに基づく分析が、スペクトルフィッティングの分析をさらに含む、請求項17記載の媒体。
- RMSノイズに基づく分析が、粒状ノイズの分析をさらに含む、請求項17記載の媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33298701P | 2001-11-06 | 2001-11-06 | |
US60/332,987 | 2001-11-06 | ||
PCT/US2002/035705 WO2003041390A2 (en) | 2001-11-06 | 2002-11-06 | Method and system for optimizing a selection of spectral sensitivities |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005509167A true JP2005509167A (ja) | 2005-04-07 |
JP2005509167A6 JP2005509167A6 (ja) | 2005-08-04 |
Family
ID=23300766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003543301A Pending JP2005509167A (ja) | 2001-11-06 | 2002-11-06 | 分光感度の選択を最適化する方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7236195B2 (ja) |
EP (1) | EP1452013A4 (ja) |
JP (1) | JP2005509167A (ja) |
KR (1) | KR20050043739A (ja) |
AU (1) | AU2002343629A1 (ja) |
CA (1) | CA2465197A1 (ja) |
WO (1) | WO2003041390A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108211B2 (en) | 2007-03-29 | 2012-01-31 | Sony Corporation | Method of and apparatus for analyzing noise in a signal processing system |
US8711249B2 (en) | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004053438A1 (en) * | 2002-12-12 | 2004-06-24 | Koninklijke Philips Electronics N.V. | Transformation structures for approximating color matching functions |
US8587849B2 (en) * | 2004-04-05 | 2013-11-19 | Hewlett-Packard Development Company, L.P. | Imaging systems, imaging device analysis systems, imaging device analysis methods, and light beam emission methods |
US8705151B2 (en) * | 2004-04-05 | 2014-04-22 | Hewlett-Packard Development Company, L.P. | Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture |
US8634014B2 (en) * | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
US7760253B2 (en) * | 2005-02-08 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Imaging device analysis methods, imaging device analysis systems, and articles of manufacture |
US7557826B2 (en) * | 2006-04-04 | 2009-07-07 | Sony Corporation | Method for device spectral sensitivity reconstruction |
US7800698B2 (en) * | 2006-04-27 | 2010-09-21 | Qualcomm Incorporated | Weight adjustment in color correction |
US20080252915A1 (en) * | 2007-04-12 | 2008-10-16 | Samsung Electronics Co., Ltd. | Image forming apparatus and control method thereof |
US7830429B1 (en) * | 2007-07-27 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Optimizing characterization values of image capture apparatus components |
JP5111295B2 (ja) * | 2007-09-12 | 2013-01-09 | キヤノン株式会社 | 色処理装置およびその方法 |
KR101328058B1 (ko) | 2011-09-23 | 2013-11-08 | 엘지전자 주식회사 | 단말기를 이용한 카메라 제어 방법 및 그 단말기 |
US20130229530A1 (en) * | 2012-03-02 | 2013-09-05 | Apple Inc. | Spectral calibration of imaging devices |
US10255385B2 (en) * | 2012-03-28 | 2019-04-09 | Kla-Tencor Corporation | Model optimization approach based on spectral sensitivity |
JP5901563B2 (ja) * | 2013-03-29 | 2016-04-13 | 富士フイルム株式会社 | 信号変換方法及び装置、プログラム並びにプリントシステム |
US10386729B2 (en) | 2013-06-03 | 2019-08-20 | Kla-Tencor Corporation | Dynamic removal of correlation of highly correlated parameters for optical metrology |
US9648293B2 (en) * | 2014-03-24 | 2017-05-09 | Gopro, Inc. | Color model look-up table generation |
GB202011144D0 (en) * | 2019-08-28 | 2020-09-02 | ams Sensors Germany GmbH | Systems for characterizing ambient illumination |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0827215B2 (ja) * | 1986-06-02 | 1996-03-21 | ミノルタ株式会社 | 分光測定装置 |
US5631979A (en) * | 1992-10-26 | 1997-05-20 | Eastman Kodak Company | Pixel value estimation technique using non-linear prediction |
US5694484A (en) * | 1995-05-15 | 1997-12-02 | Polaroid Corporation | System and method for automatically processing image data to provide images of optimal perceptual quality |
JPH09329497A (ja) * | 1996-04-11 | 1997-12-22 | Olympus Optical Co Ltd | 測色装置及び測色方法 |
US6023525A (en) * | 1997-10-23 | 2000-02-08 | Xerox Corporation | Determining an optimal color space direction for selecting color modulations |
US7173657B2 (en) * | 2000-03-24 | 2007-02-06 | Rochester Institute Of Technology | System and method for analyzing, optimizing and/or designing spectral sensitivity curves for an imaging device |
US6804400B1 (en) * | 2000-11-01 | 2004-10-12 | Bae Systems Mission Solutions Inc. | Adaptive hyperspectral data compression |
-
2002
- 2002-11-06 US US10/289,495 patent/US7236195B2/en not_active Expired - Fee Related
- 2002-11-06 WO PCT/US2002/035705 patent/WO2003041390A2/en active Application Filing
- 2002-11-06 JP JP2003543301A patent/JP2005509167A/ja active Pending
- 2002-11-06 KR KR1020047006708A patent/KR20050043739A/ko not_active Application Discontinuation
- 2002-11-06 CA CA002465197A patent/CA2465197A1/en not_active Abandoned
- 2002-11-06 AU AU2002343629A patent/AU2002343629A1/en not_active Abandoned
- 2002-11-06 EP EP02780587A patent/EP1452013A4/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108211B2 (en) | 2007-03-29 | 2012-01-31 | Sony Corporation | Method of and apparatus for analyzing noise in a signal processing system |
US8711249B2 (en) | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
Also Published As
Publication number | Publication date |
---|---|
KR20050043739A (ko) | 2005-05-11 |
AU2002343629A1 (en) | 2003-05-19 |
CA2465197A1 (en) | 2003-05-15 |
WO2003041390A3 (en) | 2004-04-15 |
US7236195B2 (en) | 2007-06-26 |
EP1452013A4 (en) | 2009-04-29 |
US20030138141A1 (en) | 2003-07-24 |
WO2003041390A2 (en) | 2003-05-15 |
EP1452013A2 (en) | 2004-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005509167A (ja) | 分光感度の選択を最適化する方法および装置 | |
JP2005509167A6 (ja) | 分光感度の選択を最適化する方法および装置 | |
Cardei et al. | Estimating the scene illumination chromaticity by using a neural network | |
Jiang et al. | Learning the image processing pipeline | |
Vora et al. | Digital color cameras—2—Spectral response | |
Burns | Analysis of image noise in multispectral color acquisition | |
CN101652988B (zh) | 颜色处理设备、颜色处理方法 | |
CN102985943A (zh) | 彩色图像处理方法、彩色图像处理装置以及彩色图像处理程序 | |
US8116562B2 (en) | Image processing including, but not limited to, logarithimic coding in color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values | |
US10194035B2 (en) | Imager calibration via modeled responses to importance-weighted color sample data | |
Le Moan et al. | A database for spectral image quality | |
Narea-Jiménez et al. | Assessment of a computed tomography imaging spectrometer using an optimized expectation-maximization algorithm | |
Quan et al. | Unified measure of goodness and optimal design of spectral sensitivity functions | |
Bianco et al. | Polynomial modeling and optimization for colorimetric characterization of scanners | |
US7173657B2 (en) | System and method for analyzing, optimizing and/or designing spectral sensitivity curves for an imaging device | |
US20160006904A1 (en) | Reference color selection device, color correction device, and reference color selection method | |
Xu et al. | Filter selection based on light source for multispectral imaging | |
JP2012028973A (ja) | 照明光推定装置、照明光推定方法および照明光推定プログラム | |
Lehtonen et al. | Optimal sampling of color spectra | |
JP2004135276A (ja) | 装置スペクトル応答を決定する方法 | |
JP2008085975A (ja) | 撮像素子特性評価方法および撮像素子特性評価装置 | |
Qiu et al. | Image quality degradation of object-color metamer mismatching in digital camera color reproduction | |
US7830429B1 (en) | Optimizing characterization values of image capture apparatus components | |
Chen et al. | Filter design and color correction for the X-cube prism 3CCD camera | |
WO2022259248A1 (en) | Transformation of color representations and spectral recovery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080312 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080625 |