JP2017163593A - 画像キャプチャ装置のための色較正方法 - Google Patents

画像キャプチャ装置のための色較正方法 Download PDF

Info

Publication number
JP2017163593A
JP2017163593A JP2017094224A JP2017094224A JP2017163593A JP 2017163593 A JP2017163593 A JP 2017163593A JP 2017094224 A JP2017094224 A JP 2017094224A JP 2017094224 A JP2017094224 A JP 2017094224A JP 2017163593 A JP2017163593 A JP 2017163593A
Authority
JP
Japan
Prior art keywords
color
apparent
hue
mapping
control points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017094224A
Other languages
English (en)
Inventor
デン ヘンゲル アントン ジョン バン
John Van Den Hengel Anton
デン ヘンゲル アントン ジョン バン
リス アーンスト ヒル
Rhys Hill Ernst
リス アーンスト ヒル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LBT Innovations Ltd
Original Assignee
LBT Innovations Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2011900785A external-priority patent/AU2011900785A0/en
Application filed by LBT Innovations Ltd filed Critical LBT Innovations Ltd
Publication of JP2017163593A publication Critical patent/JP2017163593A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/465Measurement of colour; Colour measuring devices, e.g. colorimeters taking into account the colour perception of the eye; using tristimulus detection

Abstract

【課題】既存の色マッピング方法の制限の一又はそれ以上に対処する画像キャプチャ装置のためのマッピングを提供する。【解決手段】画像キャプチャ装置を用いて複数の基準色を有するカラーパッチを有する基準カラーチャートの画像をキャプチャするステップでと、キャプチャされた画像の複数のカラーパッチの見かけ上の色を測定するステップと、環状の色相空間内の異なる色相値を示す複数の制御ポイントを選択するステップと、各カラーパッチに対する変換された見かけ上の色と基準色との間隔が最小化されるように各制御ポイントの色相補正を示す角度オフセットを求めるステップと、を含む。制御ポイントの角度オフセットの補間は、画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する。【選択図】図2

Description

本願は、2011年3月4日に提出されたオーストラリア国仮出願第2011900785号の優先権を主張するものであり、その内容が参照により本明細書に援用される。
本願発明は、画像キャプチャ装置のために見かけ上の色から実際の色へのマッピングを提供する方法及びソフトウェア、及び装置によってキャプチャされた色較正画像のマッピングを用いる方法及びソフトウェアに関する。
既存の例におけるデジタルカメラは、charge−coupled device (CCD)又はComplementary Metal−Oxide Semiconductor (CMOS)センサのようなセンサを用いて画像をキャプチャする。これらのカメラセンサの多くは、各物理的な位置で1つの色のみを読み出し、画像の各位置又は各ピクセルに対して、例えば、赤、緑及び青(RGB)のような特定の色空間の各チャネルからの値のパターンとしてローデータ(raw data)を返す。例えば、各R、G及びB値は、0から最大値として定義される255の間の数値で表され、ピクセルにおけるR、G及びB値の組み合わせは、特定の色を表す。
カメラは、カメラ色空間を参照することによりRGB値をキャプチャする。しかし、カメラ色空間を既知の基準色空間に正確に一致することは稀である。よって、例えば、カメラがR=120,G=110,B=105と認識する“見かけ上の色”と基準色空間のR=100,G=100,B=100の“実際の色”とでは差が存在する。したがって、色較正方法は、カメラに寄ってキャプチャされる見かけ上の色を基準色空間の実際の色にマップする必要がある。これは、同一の物体の画像をキャプチャする2つの異なる装置が同一の実際の色の値を報告することを確実にする。さらに、光の効果は、物体の観察される色に非常に大きな影響を与える。多くの光は、純粋な白ではなく、光自体の固有な物理特性によって、本来の色とは異なる色を測定させる。
カラーマッピングは、通常、例えば、適切な行列による色ベクトルの乗法及び多項式によるここの色の値をパスすることにより、見かけ上の色から実際の色への線形及び非線形変換の組み合わせとして行われる。
このような変換を演算することは、困難な処理であり、大量の色サンプル及び好ましくはカメラセンサ自体の知識を必要とする。このような技術は、空間又は時間がこのような実行不可能な処理の描画を制限するいくつかの状況を適用することが困難である。ホワイトバランス補正のような単純な色補正は、このような空間又は時間を制限するいくつかの用途で十分であるが、いくつかの用途では高い精度のマッピングが必要とされる。
本発明の目的は、既存の色マッピング方法の制限の一又はそれ以上に対処する画像キャプチャ装置のためのマッピングを提供することである。
上述した背景技術は、本発明の内容を説明することが含まれる。任意の文献又は他の資料は、本明細書の特許請求の範囲のいずれか1つの優先日において公開され、既知である、又は一般的な知識の一部を示すことを認めるものではない。
本発明は、画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する方法であって、前記画像キャプチャ装置を用いて複数のカラーパッチを有する基準カラーチャートの画像をキャプチャするステップであって、各カラーパッチは、関連する基準色を有する、ステップと、キャプチャされた前記画像の前記複数のカラーパッチの前記見かけ上の色を測定するステップと、環状の色相空間内の異なる色相値を示す複数の制御ポイントを選択するステップと、各カラーパッチに対する変換された見かけ上の色と前記基準色との間隔が最小化されるように各制御ポイントの角度オフセットを求めるステップであって、前記角度オフセットが色相補正を示す、ステップと、を含み、前記制御ポイントの前記角度オフセットの補間は、前記画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する、方法を提供する。
例えば、固形培養培地に増殖される微生物増殖(例えば、バクテリア菌によるコロニー)を識別するような微生物学的評価の目的に用いられる画像は、バクテリア菌によるコロニーの色、形状及び質感として正確でなければならず、固形培養培地(例えば、寒天)の色は、バクテリアのタイプを識別することに用いられる。したがって、実施例では、画像の色が実際の色に近づくことが重要であることを当業者によって理解されるであろう。また、キャプチャされた画像に対して見かけ上の色を実際の色にマッピングすることは、ハイエンド写真のような他の用途について用いられうることが当業者によって理解されるであろう。
見かけ上の色及び基準色(入力色)は、例えば、RGB,YUV,LAB,XYZ等の任意の色空間で測定されてもよい。実際の色(出力色)へのマッピングは、見かけ上の色を同一の色空間に変換する、又は見かけ上の色を異なる色空間へ変換する。変換された見かけ上の色と基準色との差は、入力又は出力色空間で測定されてもよい。
制御ポイントの色相値は、HSV(色相彩度値)色空間の色相値を示す。HSV空間は、入力空間と出力空間との中間状態として用いられる。この色空間は、円錐によって表され、中心垂直軸の周囲の角度は、色相に対応し、垂直軸からの距離は、彩度に対応し、垂直軸に沿う距離は、値(輝度)に対応する。環状の色相空間は、HSV円錐の断面の円を示す。
本方法は、少ない数の基準色からのマッピングを生成することができる。例えば、24カラーパッチを用いて生成されるマッピングは、微生物学的評価の目的のための十分な精度にバクテリアによるコロニーを画像化することに使用する十分なキャリブレーションを生成することが分かっている。必要とされるパッチの数は、必要とされ、かつ調整可能なマッピングの忠実度に依存する。マッピングを用いて色補正された画像は、バクテリアによるコロニーを分類するために機械学習アルゴリズムのトレーニングで用いられてもよく、例えば、本願と同一の出願人及び同一の出願日であり、本願と共に係属中の“Method and Software for Analysing Microbial Growth”という発明の名称の国際特許出願に詳細に説明され、その内容が参照により本明細書に援用される。
制御ポイントの角度オフセットは、画像のピクセルの見かけ上の色相のための補間された角度オフセットを求めるために、制御ポイントに対する角度オフセットを補間することにより、同一の光条件下での同一の画像キャプチャ装置により撮られた任意の他の画像のピクセルの見かけ上の色相を実際の色相にマップするために用いられてもよい。補間された角度オフセットは、その後、実際の色相(及び実際の色)の近似を実現するために見かけ上の色相に適用される。環状の色相空間の変換を適用することにより、本発明の方法は、元の色値の簡潔な線形変換よりも正確な近時を提供する。“実際の色”の参照は、見かけ上の色が基準色空間に完全にマップされることを必要としないことが当業者により理解されるであろう。むしろ、マッピングは、実際の色の近時を提供する。
画像キャプチャ装置は、高解像度色のデジタルカメラのようなデジタルカメラ、デジタルスキャナ又はデジタルビデオカメラであってもよい。
次に制御ポイントの選択を検討すると、複数の制御ポイントは、環状の色相空間の周囲に均一に配置されてもよい。環状の色相空間での制御ポイントの角度位置は、その色相値を表す。例えば、制御ポイントは、リングの隣接する制御ポイント間の均一な距離により、空間の周囲に単一のリングを形成してもよい。制御ポイントに対する位置を選択することは、異なる数の制御ポイントを用いて一連の候補マッピングに対する誤差を演算することと、許容可能な誤差を生じる最小数のポイントに基づいて一連の候補マッピングからのマッピングを選択することを含んでもよい。コンピュータによる効率及び推定の制度の利益のためには、できるだけ少ない制御ポイントを選択することが望まれていることが分かる。
画像キャプチャ装置によりキャプチャされる画像のカラーパッチの見かけ上の色を測定することは、さらに、カラーパッチの色を測定し、測定された色をホワイトバランス補正し、測定された色を輝度補正し、得られたホワイトバランス及び輝度が補正された色を用いて見かけ上の色を求めることを含んでもよい。ホワイトバランス補正は、カラーチャートのニュートラルグレイパッチから求められる重みを用いて行われてもよく、ここでR、G及びB値は等しい。輝度は、輝度が知られているカラーチャートの複数のグレーパッチを用いて演算された曲線を用いて補正されてもよい。よって、カラーマッピングは、ホワイトバランス及び輝度を補正したデータにより行われる。これは、ホワイトバランス及び輝度の原因となるマッピングを生成することと比較して、変換の複雑さ及びそれ故必要とされる演算時間を低減する。
各カラーパッチの変換された見かけ上の色と基準色との距離が最小化されるように、各制御ポイントの角度オフセットを求めることは、各カラーパッチの変換された見かけ上の色と基準色との距離の二乗和を含むコスト関数を最小化することを含んでもよい。コスト関数は、さらに、角度オフセットの二乗和を含んでもよい。
一実施形態では、前記方法は、さらに、各カラーパッチの変換された見かけ上の色と基準色との距離が最小化されるように、各制御ポイントのスケールを求めることを含んでもよく、スケールは、彩度補正を表し、制御ポイントのスケールの補間は、さらに、画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する。
見かけ上の彩度の補間されたスケールは、実際の彩度の近似を得るために見かけ上の彩度に適用される。制御ポイントは、環状の色相空間におけるカラーパッチの見かけ上の色相及び彩度の位置に最も近い色相値を表してもよい。制御ポイントは、環状の色相空間の周囲に制御ポイントの1又は2のリングを含んでもよく、各リングは異なる色相値を有する。一実施例では、制御ポイントの2つのリングが用いられ、各リングの制御ポイントは、同一の色相を有するが、0.5及び1のような異なる彩度値を有する。制御ポイントは、当然リング内にあることを必要とせず、環状の色相空間の周囲の別の配置に距離を置いて配置される。
上記のように、各カラーパッチの変換された見かけ上の色と基準色との距離が最小化されるように、各制御ポイントに対するスケールを決定することは、各カラーパッチの変換された見かけ上の色と基準色との距離の二乗和を含むコスト関数を最小化することを含んでもよい。コスト関数は、さらに、1近傍の最終的なスケールを促すために、1から各彩度を引いたものの二乗の和を含む。
それに替えて、彩度は、単にスケーリングするのではなく、輝度曲線と同様の曲線を用いてマップされうる。
マッピングを適用するために、本方法は、画像の一又はそれ以上のピクセルに対して、画像キャプチャ装置を用いて画像をキャプチャし、ピクセルの見かけ上の色相を求め、見かけ上の色相に関連付けられた角度オフセットを求めるために2又はそれ以上の制御ポイントの角度オフセット間を補間し、角度オフセットを見かけ上の色相に適用することを含んでもよい。本方法は、さらに、画像の一又はそれ以上のピクセルに対して、ピクセルの見かけ上の彩度を求め、見かけ上の彩度に関連付けられたスケールを求めるために環状の色相空間における2又はそれ以上の制御ポイント間を補間し、スケールを見かけ上の彩度に適用することを含んでもよい。
2又はそれ以上の制御ポイントは、環状の色相空間における見かけ上の色相に最も近い色相値を表してもよい。これは、例示的な実施形態において、十分なマッピングを生成することがわかる。4つの制御ポイント及び3次の補間を用いることが好ましい。それに替えて、角度オフセットは、高次の補間方法を用いて変換されてもよい。しかし、この場合には、最小化された角度オフセットを求めるために大量の処理が必要となる。線形補間は、代替として用いられうるが、円滑ではなくなり、制御ポイントを超えたときに、色空間において不連続点を生成しうる。
ピクセルの見かけ上の色相及び彩度が求められると、色は、例えば、ディスプレイのような適切な色空間に変換されてもよい。
また、本発明は、プロセッサ及びソフトウェアを記憶するメモリを含むコンピュータにより使用するソフトウェアを提供し、ソフトウェアは、上述した実施形態の1つに係る方法を実行するためにプロセッサにより実行可能な一連の命令を含む。
本発明は、ソフトウェアを含むコンピュータ可読媒体、並びにプロセッサ、メモリ及びプロセッサにアクセス可能なメモリに常駐するソフトウェアを含む装置にも及び、ソフトウェアは、上述した実施形態の1つに係る方法を実行するためにプロセッサにより実行可能である。
本発明の実施形態は、例示のみによる添付の図面を参照しながら説明される。特定の図面は、本発明の前述の説明の一般概念に取って代わるものではないことが理解される。
図1は、本発明の実施形態に係る方法を実行する処理システム及び画像キャプチャ装置の一例である。 図2は、見かけ上の色から実際の色へマッピングすることを演算する方法を示すフローチャートである。 図3は、キャプチャされた画像の輝度を補正する曲線の一例を示すグラフである。 図4は、環状の色相空間内の複数の制御ポイントを示すHSV空間の図である。 図5は、(a)色相/彩度空間にわたってマッピングすること、(b)隔てられた色相マッピング関数、(c)特定の画像キャプチャ装置用の隔てられた色相マッピング関数のグラフィック描写である。 図6は、マッピングの精度を示すグラフである。 図7は、(a)色較正前及び(b)色較正後のカラーチャートの2つの写真を示す。 図8は、見かけ上の色を実際の色にマッピングする方法を示すフローチャートである。
本発明の実施形態を使用する処理システム及び画像キャプチャ装置の一例を、図1を参照しながら説明する。処理システム10は、プロセッサ12と、メモリ14と、少なくとも1つの入力装置16と、少なくとも1つの出力装置18と、通信ポート20と、インターフェース22と、ストレージ装置24と、を含む。図示されるように、処理システム10の構成要素は、バスまたはバスのグループ26を介して互いに接続される。
プロセッサ12は、1つ以上の処理装置を含んでもよく、例えば、処理システム10内の異なる機能を処理するものであってもよい。メモリ14は、例えば、揮発性又は不揮発性メモリ、ソリッドステートストレージデバイス、磁気デバイス等を含む任意の適切なメモリ装置を含んでもよい。メモリ14は、プロセッサ12により実行する命令を記憶してもよい。
入力装置16は、入力データを受信してもよく、入力装置16は、例えば、キーボード、マウス又は他のポインター装置、トラックボール、ジョイスティック又はタッチスクリーン、マイクロホン、モデム又は無線データアダプタ、データ取得カードなどのデータレシーバ又はアンテナを含んでもよい。入力装置16は、入力データを入力するためにユーザにより操作可能であってもよく、又は別の入力データソースからデータを受信してもよい。
出力装置18は、出力データを作成又は生成する。出力装置18は、ディスプレイ装置、オーディオスピーカのセット、プリンタ、ポート(例えば、USBポート)、周辺機器のアダプタ、モデム又は有線ネットワークアダプタ等のデータトランスミッタ又はアンテナを含んでもよい。
ストレージ装置24は、任意のデータ形態又は例えば、揮発性又は不揮発性メモリ、ソリッドステートストレージデバイス、磁気デバイス等の情報記憶手段を含むことができる。ファイルシステム又はファイルは、ストレージ装置24に記憶されてもよい。
通信ポート20は、処理システム10が、配線接続された又は無線のネットワークを介して他の装置と通信することを可能にする。インターフェース22は、処理システム10を一又はそれ以上の周辺機器に接続する。例えば、インターフェース22は、PCIカード又はPCカードを含んでもよい。
処理システム10は、任意の形態の端末、サーバ処理システム、専門化したハードウェア、コンピュータ、コンピュータシステム又はコンピュータ化された装置、パーソナルコンピュータ(PC)、モバイル又は携帯電話機、モバイルデータ端末、ポータブルコンピュータ、パーソナルデジタルアシスタント(PDA)、ページャ又は他の類似のタイプの装置であってもよい。
カラーデジタルカメラの形態の画像キャプチャ装置30もまた図1に示される。カメラ30は、物理又は無線インターフェース32を介して処理システム10と通信してもよい。
見かけ上の色から実際の色へのマッピングを作成する方法は、メモリ14に記憶されるソフトウェアを用いてプロセッサ12で実行されてもよい。図2を参照すると、ステップ40において、基準カラーチャートの画像は、キャプチャされる。このチャートは、標準的な“gretagmacbeth ColorChecker(登録商標)Color Rendition Chart”であってもよく、これは、24色のパッチを有し、それぞれが、関連する基準の赤、緑及び青のチャネル値を有する。画像は、カメラを手動又はソフトウェアを用いて送信される電気信号を通じて起動することによりキャプチャされてもよい。カメラセンサによりキャプチャされるデータは、インターフェース32を介して処理システム10へ送信され、色較正はされない。
ステップ42では、ユーザは、基準カラーチャートの各カラーパッチの位置を示す。例えば、ソフトウェアは、GUIにカメラ30からの画像のプレビューを表示させ、ユーザは、カラーパッチの位置を決定可能な特定の指示におけるチャートの4つの角の四角形をクリックする。これに替えて、パッチの位置は、マシンビジョン技術を用いて決定されてもよく、又は基準カラーチャートを、カメラからの固定された位置である特定の既知の位置に配置することにより決定されてもよい。
各位置の平均色は、21×21のピクセルウィンドウでキャプチャされ、ステップ44でのパッチ色に用いられる。勿論、異なるサイズのピクセルウィンドウが平均色を演算するために用いられうることがわかる。
ステップ46では、ホワイトバランスは、単一のパッチ‐つまり、基準カラーチャートの3番目に暗いグレーパッチから演算される。R、G及びB値は、このニュートラルなグレーのパッチにおいて等しいと仮定される。ホワイトバランスは、
として表される。
ここでwは1として定義される。重みw及びwはg’の値と等しいr’及びb’を生成するために算出される。演算されたホワイトバランス値W=[w,1,w]は、カメラによってキャプチャされた画像のホワイトバランスを補正するために用いられる。
ホワイトバランスが演算されると、ステップ48では、できるだけうまく見かけ上のグレー値を共にマップする曲線Cが演算される。これは、カメラの輝度マッピングを提供する。曲線の形態は、g’=ag+cであり、ここでgは入力色、g’は出力、a、b及びcは、演算される曲線Cのパラメータである。図3は、この処理から得られる曲線の一例を示す。推定されると、曲線は、色チャネル当たり独立して適用されてもよい。色マッピング機能の最後の段階(ステップ50)は、各ピクセルの色相及び彩度のマッピングを生成することを目的とする。
複数のカラーパッチの見かけ上の色相及び彩度は、ホワイトバランス及び色補正された画像に基づいて測定され、色相及び彩度のマッピングはステップ50で演算される。色相のマッピングは、見かけ上の色相値を実際の色相値にマップするために一連の制御ポイントを用いて提供される。それは、これを実現するために三次補間法(又は他の高次の補間法)を用いる。各制御ポイントは、固定されている環状の色相空間における位置と、最適化の際に演算される角度オフセットと、からなる。オフセットは、特定の色相値を実際の色相にマップする特定の色相値のためのオフセットを提供するように三次補間される。
彩度マップ関数は、彩度値をスケールする連続する制御ポイントを用いる。これらの制御ポイントは、色相値をマップするために用いられる制御ポイントと同一又は異なってもよい。彩度マッピング関数は、色相マッピング機能と同一の補間スキームを用いてもよい。なお、色相は、範囲[0,1]内でなければならず、一方、この関数からの出力値は、この範囲が強制されることを確実にするように保たれる。それに替えて、彩度マッピングは、輝度補正に適用されるものと同様の曲線を通じて行われてもよい。
色相及び彩度マッピング関数で用いられる制御ポイントは、図4に示される環状の色相空間のエッジの周囲に均一に広がってもよい。この環状の色相空間は、色づけされた円(例えば、制御ポイント52)により示される、16個の制御ポイントを含む。例えば、0度の色相及び1の彩度での色づけされた円は、赤であり、90度の色相及び1の彩度での色づけされた円は、緑であり、180度の色相及び1の彩度での色づけされた円は、青であり、270度の色相及び1の彩度での色づけされた円は、紫である。角度オフセット54及びスケール56の方向も図4に示される。制御ポイントの角度位置は、それらの色相値により定義され、制御ポイントの半径方向の位置は、それらの彩度により定義される。制御ポイントの2つのリングが示され、うち泡のリングは0.5の彩度を有し、外側のリングは1の彩度を有する。制御ポイントの単一のリングの場合には、適切なポイントを選択するために単一の値のみが要求され、当該値が色相に対応する。色相は、角度として表現され、関数は、制御ポイントを選択するときに、これを考慮しなければならない。
制御ポイントの最大数は、取得可能な色サンプルの数により定義される。各制御ポイントは、2つのパラメータを有し、各サンプルは、3つの余りを提供する。一方、n色のサンプルは、3n/2の制御ポイントを有しうる。しかしながら、実際には、測定プロセスは、色測定の誤差を誘発する。
制御ポイントの選択は、異なる数の制御ポイントを用いて一連の候補のマッピングの誤差を演算すること、及び許容可能な誤差を生じる差異少数のポイントに基づいてシリーズからのマッピングを選択することを含んでもよい。12個の制御ポイントは24個のパッチを有するチャートに十分であることがわかる。
輝度曲線が既に推定されているため、輝度値は正確であるが、調整されていないものと仮定される。
角度オフセット及びスケールは、パッチの見かけ上の色から、基準色において同等のカラーパッチの実際の色の画像に最も良好なマップを行うように最適化される。これは、真の色とマップされた色との距離が最小となるようなマッピングf(p)を演算することによりなされる。
ここでpは真の色であり、
は測定された色である。色は、例えば、RGB、YUV、LAB又はXYZのような任意の色空間で表現されてもよい。
なお、色相は、角度として表現され、関数は、制御ポイントを選択するときに、これを考慮しなければならない。これは、コスト関数を用いて行われる。コスト関数は、スケールがおよそ1の値、及び非常に大きな変化(例えば360°のオフセット)を防ぐためにおよそ0のオフセットを維持することを確保する項を含む。以下の誤差測定が与えられ、
ここでδは制御ポイントのオフセットであり、sは制御ポイントのスケールである。εieを最小化するためにδ及びsを選択することが求められる。
これに対する解は、レーベンバーグ‐マーカートアルゴリズムを用いて取得してもよいが、他の制約されない最小化(minimiser)でも十分である。コスト関数は、色と共にマッピングする際の誤差を最小化するために試みられるが、色相オフセットが0近傍、彩度スケールが1近傍に維持される。
よって、各パッチの変換された見かけ上の色(例えば、RGB)と基準色(例えば、RGB)との距離の二乗和を最小化する各制御ポイントの角度オフセット54及びスケール56を求めることは、角度オフセットを最小化し、スケールを1に近い値に維持する(スケールから1を引いた値を最小にする)ことを含む。
その結果は、制御ポイントに対して角度オフセット及び/又はスケールの形態でマッピングすることである。図5は、(a)色相/彩度空間にわたってマッピングすること、(b)隔てられた色相マッピング関数、(c)特定の画像キャプチャ装置用の隔てられた色相マッピング関数のグラフィック描写である。図6は、マッピングの精度を示すグラフである。y軸上の各位置は、24カラーパッチの1つを表し、x軸上の各位置は、色の値を表し、各々は、0から1の間でありうる。マッピングを用いて画像を色補正する例は、図7に示される。第1の画像(a)は、カメラによりキャプチャされ、ユーザがカラーパッチの位置を選択した後の入力画像を示す。なお、この例では、ホワイトバランスは、既に大まかに補正されている。第2の画像(b)は、補正された色を示す。パッチにわたって見ることができる小さな色付けされた四角形は、各パッチの真の色を示す。
このマッピングは、その後、同一(又は同一のタイプ)の画像キャプチャ装置を用いてキャプチャされる画像を色補正するために用いられうる。図8を参照すると、見かけ上の色を実際の色にマッピングする方法は、ステップ60において、カメラを用いて画像をキャプチャすることを含む。各ピクセルの見かけ上のRGB色値は、求められ、色値は、事前に演算された重み/曲線を用いて補正されるホワイトバランス及び輝度であってもよい。本方法は、その後、ステップ62において、画像中の一又はそれ以上のピクセルに対して、ピクセルの見かけ上の色相及び彩度を求め(ステップ64)、見かけ上の色相に関連付けられる角度オフセットを求めるために環状の色相空間の2又はそれ以上の制御ポイントの角度オフセット間を補間し(ステップ66)、見かけ上の彩度に関連付けられるスケールを求めるために環状の色相空間の2又はそれ以上の制御ポイントのスケール間を補間し(ステップ68)、角度オフセットを見かけ上の色相に適用し(ステップ70)、スケールを見かけ上の彩度に適用する(ステップ72)。マッピングが適用されていると、HSV空間色は、RGB空間、又は他の所望の出力空間へ戻り変換されうる。
本発明の範囲から逸脱しない限り、様々な変更、追加及び/又は修正が前述した要素でなされること、及び上記の教示を踏まえて、本発明は、当業者によって理解されるであろう各種の手法でソフトウェア、ファームウェア及び/又はハードウェアに実装されてもよいことが理解される。

Claims (13)

  1. 画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する方法であって、
    前記画像キャプチャ装置を用いて複数のカラーパッチを有する基準カラーチャートの画像をキャプチャするステップであって、各カラーパッチは、関連する基準色を有する、ステップと、
    キャプチャされた前記画像の前記複数のカラーパッチの前記見かけ上の色を測定するステップと、
    環状の色相空間内の異なる色相値を示す複数の制御ポイントを選択するステップと、
    各カラーパッチに対する変換された見かけ上の色と前記基準色との間隔が最小化されるように各制御ポイントの角度オフセットを求めるステップであって、前記角度オフセットが色相補正を示す、ステップと、を含み、
    前記制御ポイントの前記角度オフセットの補間は、前記画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する、方法。
  2. 前記複数の制御ポイントは、前記環状の色相空間の周囲に均一に空間を空けられる請求項1に記載の方法。
  3. 前記複数の制御ポイントを選択するステップは、
    異なる数の制御ポイントを用いて一連の候補マッピングの誤差を演算するステップと、
    許容可能な誤差を生じる最小数のポイントに基づいて前記一連の候補マッピングからマッピングを選択するステップと、を含む請求項1又は2に記載の方法。
  4. カラーパッチの前記見かけ上の色を測定するステップは、
    前記カラーパッチの色を測定するステップと、
    測定された前記色をホワイトバランス補正するステップと、
    測定された前記色を輝度補正するステップと、
    得られたホワイトバランス補正及び輝度補正された色を用いて前記見かけ上の色を求めるステップと、を含む請求項1から3のいずれか一項に記載の方法。
  5. 各カラーパッチに対する変換された見かけ上の色と前記基準色との間隔が最小化されるように各制御ポイントの角度オフセットを求めるステップは、各色に対する変換された見かけ上の色と前記基準色との前記間隔の二乗和を含むコスト関数を最小化することを含む請求項1から4のいずれか一項に記載の方法。
  6. 前記コスト関数は、さらに、前記角度オフセットの二乗和を含む請求項5に記載の方法。
  7. 各カラーパッチに対する変換された見かけ上の色と前記基準色との前記間隔が最小化されるように各制御ポイントのスケールを求めるステップであって、前記スケールが彩度補正を示す、ステップをさらに含み、
    前記制御ポイントの前記スケールの補間は、さらに、前記画像キャプチャ装置のための見かけ上の色から実際の色へのマッピングを提供する、請求項1から6のいずれか一項に記載の方法。
  8. 請求項5又は6に従属する場合には、前記コスト関数は、さらに、1から各彩度を引いたものの二乗の和を含む、請求項7に記載の方法。
  9. 前記画像キャプチャ装置を用いて画像をキャプチャするステップは、
    前記画像の一又はそれ以上のピクセルに対して、前記ピクセルの見かけ上の色相を求めるステップと、
    前記見かけ上の色相に関連付けられる角度オフセットを求めるために前記環状の色相空間の2またはそれ以上の制御ポイントの前記角度オフセット間を補間するステップと、
    前記角度オフセットを前記見かけ上の色相に適用するステップと、をさらに含む請求項1から8のいずれか一項に記載の方法。
  10. 請求項7又は8に従属する場合には、
    前記画像の一又はそれ以上のピクセルに対して、前記ピクセルの前記見かけ上の彩度を求めるステップと、
    前記見かけ上の彩度に関連付けられるスケールを求めるために前記環状の色相空間の2またはそれ以上の制御ポイントの前記スケール間を補間するステップと、
    前記スケールを前記見かけ上の彩度に適用するステップと、をさらに含む請求項9に記載の方法。
  11. プロセッサ及びソフトウェアを記憶するメモリを含むコンピュータにより用いるソフトウェアであって、前記ソフトウェアは、請求項1から10のいずれか一項に記載の方法を実行するために前記プロセッサにより実行可能な一連の命令を含む、ソフトウェア。
  12. 請求項11に記載のソフトウェアを含むコンピュータ可読媒体。
  13. プロセッサと、
    メモリと、
    前記プロセッサにアクセス可能な前記メモリに常駐するソフトウェアと、を備える装置であって、
    前記ソフトウェアは、請求項1から10のいずれか一項に記載の方法を実行するために前記プロセッサにより実行可能な一連の命令を含む、装置。
JP2017094224A 2011-03-04 2017-05-10 画像キャプチャ装置のための色較正方法 Pending JP2017163593A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2011900785A AU2011900785A0 (en) 2011-03-04 Colour calibration method for an image capture device
AU2011900785 2011-03-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013555705A Division JP6382519B2 (ja) 2011-03-04 2012-03-02 画像キャプチャ装置のための色較正方法

Publications (1)

Publication Number Publication Date
JP2017163593A true JP2017163593A (ja) 2017-09-14

Family

ID=46797323

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013555705A Active JP6382519B2 (ja) 2011-03-04 2012-03-02 画像キャプチャ装置のための色較正方法
JP2017094224A Pending JP2017163593A (ja) 2011-03-04 2017-05-10 画像キャプチャ装置のための色較正方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013555705A Active JP6382519B2 (ja) 2011-03-04 2012-03-02 画像キャプチャ装置のための色較正方法

Country Status (8)

Country Link
US (1) US8896706B2 (ja)
EP (1) EP2681716B1 (ja)
JP (2) JP6382519B2 (ja)
KR (1) KR101917404B1 (ja)
CN (1) CN103503027B (ja)
AU (1) AU2012225194B2 (ja)
ES (1) ES2693670T3 (ja)
WO (1) WO2012119189A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213173A1 (de) 2017-08-28 2019-02-28 Toyo Tire & Rubber Co., Ltd. Pneumatischer Reifen

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201401112D0 (en) * 2014-01-23 2014-03-12 Smith & Nephew Systems and methods for wound monitoring
AU2015212758B2 (en) 2014-01-30 2019-11-21 Bd Kiestra B.V. A system and method for image acquisition using supervised high quality imaging
JP6399808B2 (ja) * 2014-05-28 2018-10-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN105321153B (zh) * 2014-07-09 2019-11-19 三亚中兴软件有限责任公司 视频监控低照度图像色彩还原方法和装置
EP3167008A2 (en) 2014-07-10 2017-05-17 Smith & Nephew PLC Improvements in and relating to devices
WO2016153834A1 (en) * 2015-03-25 2016-09-29 3M Innovative Properties Company A dental imaging and illumination device
CN107580715B (zh) 2015-04-23 2022-05-31 Bd科斯特公司 用于自动计数微生物菌落的方法和系统
AU2016250791B2 (en) 2015-04-23 2021-10-21 Bd Kiestra B.V. Colony contrast gathering
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
GB201600746D0 (en) 2016-01-14 2016-03-02 Smith & Nephew Improvements in and relating to polymer materials
GB201600747D0 (en) 2016-01-14 2016-03-02 Smith & Nephew Improvements in and relating to devices
CN106504200B (zh) * 2016-09-14 2022-12-09 上海方奥通信技术有限公司 基于色调偏移估计及逐点色调映射的图像光照补偿方法和系统
WO2020097802A1 (zh) * 2018-11-13 2020-05-22 华为技术有限公司 图像色彩校正方法及装置、存储介质
CN111199565B (zh) * 2018-11-16 2022-05-27 阿里巴巴集团控股有限公司 数据处理方法、装置、系统、电子设备和存储介质
US11328457B2 (en) 2019-09-11 2022-05-10 Microsoft Technology Licensing, Llc System and method for tinting of computer-generated object(s)
US11778306B2 (en) * 2020-01-08 2023-10-03 Innolux Corporation Method for editing an image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0273398B1 (en) 1986-12-25 1995-02-08 Konica Corporation Method of correcting color images
US5483259A (en) * 1994-04-12 1996-01-09 Digital Light & Color Inc. Color calibration of display devices
JP3486481B2 (ja) * 1995-06-22 2004-01-13 キヤノン株式会社 画像処理装置及び方法
JP3209402B2 (ja) * 1996-11-01 2001-09-17 富士ゼロックス株式会社 画像処理装置
DE60041622D1 (de) * 1999-11-11 2009-04-09 Panasonic Corp Farbtonübereinstimmungsverfahren und -vorrichtung
US20030164968A1 (en) * 2002-02-19 2003-09-04 Canon Kabushiki Kaisha Color processing apparatus and method
US7190827B2 (en) * 2003-01-22 2007-03-13 Hewlett-Packard Development Company, L.P. Color space conversion using interpolation
JP2005277484A (ja) * 2004-03-23 2005-10-06 Hitachi Ltd 色信号変換装置
JP4523945B2 (ja) * 2007-01-16 2010-08-11 日本電信電話株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP5031442B2 (ja) * 2007-05-28 2012-09-19 キヤノン株式会社 色処理方法および装置
US20090046171A1 (en) * 2007-08-16 2009-02-19 C2Cure, Inc. Non-linear color correction
JP2009055465A (ja) * 2007-08-28 2009-03-12 Toshiba Corp 画像処理装置および方法
CN101673399A (zh) * 2009-09-29 2010-03-17 浙江工业大学 编码结构光三维视觉系统的标定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213173A1 (de) 2017-08-28 2019-02-28 Toyo Tire & Rubber Co., Ltd. Pneumatischer Reifen

Also Published As

Publication number Publication date
KR101917404B1 (ko) 2019-01-24
KR20140035349A (ko) 2014-03-21
CN103503027B (zh) 2017-02-08
EP2681716A4 (en) 2014-10-01
ES2693670T3 (es) 2018-12-13
EP2681716B1 (en) 2018-08-01
US8896706B2 (en) 2014-11-25
JP6382519B2 (ja) 2018-08-29
US20140204239A1 (en) 2014-07-24
AU2012225194B2 (en) 2014-11-13
AU2012225194A1 (en) 2013-03-21
WO2012119189A1 (en) 2012-09-13
EP2681716A1 (en) 2014-01-08
CN103503027A (zh) 2014-01-08
JP2014508475A (ja) 2014-04-03

Similar Documents

Publication Publication Date Title
JP6382519B2 (ja) 画像キャプチャ装置のための色較正方法
JP5661720B2 (ja) マルチディスプレイのキャリブレーションシステム
JP2009050003A (ja) 非線形色補正
US20080273202A1 (en) Method and System for Approximating the Spectrum of a Plurality of Color Samples
EP3888345A1 (en) Method for generating image data for machine learning based imaging algorithms
CN104574371A (zh) 高动态彩色数字相机特性化标定方法
CN103581634A (zh) 图像的宽动态范围处理方法
JP4830068B2 (ja) 二次元色彩計及び分光感度補正方法
JPH10290373A (ja) 色補正装置
KR101099844B1 (ko) 이미지 캡쳐 시스템
CN110300291B (zh) 确定色彩值的装置和方法、数字相机、应用和计算机设备
Lee et al. Design and implementation of color correction system for images captured by digital camera
JP7402992B2 (ja) 画像補正装置、画像補正方法、プログラムおよび記録媒体
CN116152361B (zh) 用于估算色度的方法、电子设备及计算机可读存储介质
JP2012156739A (ja) 原稿読取装置
US20230104460A1 (en) A method and system for whole slide imaging
CN114071099A (zh) 一种拖影测量方法、装置、电子设备和可读存储介质
Gabriele et al. Problems in image target-based color correction
CN103747163A (zh) 一种tsc三维不均匀校正方法
CN117524091A (zh) Led显示屏的色彩调整方法、设备及存储介质
Tervonen et al. Integrated measurement system for miniature camera modules
JP2015035650A (ja) 画像処理装置、画像処理方法及びプログラム
CN116245964A (zh) 色彩标定方法、装置、设备及存储介质
JP2001004448A (ja) スキャナーを用いた測色装置
KR20060054954A (ko) 표준 이미지 출력을 위한 이미지 센서의 백색균형 겸용색보정 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190129