JP2012168181A - 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置 - Google Patents

Abstract

【課題】色の検出／および分類を必要とする種々の用途に対して用いられる画像処理方法を提供する。
【解決手段】センサによって取得された画像を受け取る際に、試験用表面の反射率スペクトルを試験用目標のセットの反射率スペクトルの線形組合わせに分解し、この分解において計算された係数ベクトルが試験用表面に対する画像センサの応答を予測するために用いられ、複数のそのような予測応答が人間の皮膚の色調の検出を含んでいる。
【選択図】図１

Description

本発明は画像処理に関する。

皮膚色の存在は、実世界の写真画像において人々を検出するための手がかりとして役立つ。皮膚色検出は人の追跡、成人向けｗｅｂ画像の妨害、および人間−コンピュータ対話の容易化するような用途に重要な役割を持つ。また、皮膚色検出は顔の検出、定位、認識、および／または追跡、ビデオ監視、並びに画像データベース管理を可能とする技術として役立つかもしれない。これらの、および他の用途は、カメラ付き携帯電話のような携帯通信機器の採用と共に、より重要になっている。例えば、顔を定位できるということは、画像の顔領域をより良い品質で符号化し、背景画像にはより高い圧縮を用いることによって帯域幅をより有効に利用するために適用されるかもしれない。

通常、皮膚表面の反射率は薄い表層すなわち「表皮」、およびその下にある厚い層、すなわち「真皮」で決定される。真皮による光の吸収は主としてヘモグロビン、ビリルビン、およびベータカロチンのような血液中の成分による。これらは基本的にすべての皮膚のタイプで同じである。しかし、皮膚色は主として表皮透過率で決定される。これは、ドーパメラニンの濃度に依存し、したがって、人種間で異なる。

見かけの皮膚色は、この反射率モデルを用い、かつカメラと光源のパラメータを組み入れることによって、表すことができる。主な課題は、皮膚検出を、起こりうる見掛けの大きな変動に対して頑健にすることである。皮膚の見掛けは色と形において変化し、衣服、髪、および眼鏡のような遮蔽物によってしばしば影響される。さらに、光源の強度、色、および位置の変化は、皮膚の見掛けに影響を与えるかもしれない。また、場面内の他の物体が、影を落とすまたは付加的な光を反射することによって検出処理が複雑になるかもしれない。銅、砂、および特定のタイプの木や衣服のような他の多くの一般的な物は皮膚と間違えられやすい。画像は皮膚に類似した色のスペックルとして現れる雑音も含むかもしれない。

皮膚検出の１つの通常の方法は皮膚領域（例えば顔および／または手）を有する数百または数千の画像のデータベースで始まる。このデータベースは、皮膚領域を非皮膚領域から区別する統計量が導出されるかもしれないトレーニングセットとして役立つ。これらの統計量にしたがって、色空間はセグメント化され、分類はそのセグメンテーションに基づいてなされる。１つの不都合は、データベース画像は通常異なるカメラで生成され、かつ異なる照明の下で取得されるということである。

センサを特性化する方法は、色空間(color space)内の第１の複数の点を得ることを含む。第１の複数の点の各々は、対応する目標のセンサによる観測に基づく。本方法は、色空間内の第２の複数の点を得ることも含む。第２の複数の点の各々は、複数の表面の対応する１つの部分に対応する。第２の複数の点の各々は、（１）表面の部分の反射率スペクトル（reflectance spectrum）、および（２）複数の反射率スペクトルにも基づく。ここで、複数の反射率スペクトルの各々は観測された目標の１つに対応する。そのような方法のいくつかの用途において、複数の表面のすべては共通の色特性を有するクラス、例えば人間の皮膚の表面のクラスのようなクラスに属する。

画像処理方法は、センサによって取得された画像を受け取ることを含む。この方法は、色空間の予め定めたセグメンテーションに従って画像の複数の画素の各々を分類することを含む。予め定めるセグメンテーションは、センサの複数の予測応答(predicted response)に基づく。

画像処理装置は画像センサ、セグメンテーションを格納するように構成された記憶素子アレイ、および画素分類器を含む。

マクベスカラーチェッカの概略図。 ３８０から７８０ナノメートルの範囲にわたるマクベスカラーチェッカの２４個の区画の反射率スペクトルのプロット。 一実施例に従う方法Ｍ１００のフローチャート。 方法Ｍ１００の実施Ｍ１１０のフローチャート。 人間の皮膚の多数の異なる実例に対する反射率スペクトルのプロット。 タスクＴ１００の共通インスタンスを有する方法Ｍ１００の複数のインスタンスを含んでいる、一実施例に従う方法Ｍ２００のフローチャート。 一実施例に従う方法Ｍ３００のブロック図。 信号処理パイプラインの一例のブロック図。 信号処理パイプラインの別の例のブロック図。 色フィルタアレイの一例。 色フィルタアレイの別の例。 方法Ｍ１００の実施Ｍ１２０のフローチャート。 タスクＴ２００の共通インスタンスを有する方法Ｍ１２０の複数のインスタンスを含んでいる、一実施例に従う方法Ｍ２１０のフローチャート。 一実施例に従う方法Ｍ４００のブロック図。 一実施例に従う方法Ｍ５００のフローチャート。 一実施例に従う方法Ｍ６００のフローチャート。 一実施例に従う方法Ｍ７００のフローチャート。 一実施例に従う方法Ｍ７００のフローチャート。 方法Ｍ７００の実施Ｍ８００のフローチャート。 方法Ｍ７００の実施Ｍ９００のフローチャート。 一実施例に従う装置１００のブロック図。 一実施例に従う装置２００のブロック図。

ここに説明される実施例は、皮膚色スペクトルと一組の試験用目標（例えば、マクベスカラーチェッカ）のスペクトルとの相関に基づいて、皮膚色の統計量が特定の電子センサに対して確立される手順を含む。つぎに、皮膚の色調(skin-tone)の領域がこのセンサで取得された画像からセンサの色統計量に基づいて検出されるかもしれない。皮膚領域が検出された後に、好ましい色が得られるように色を増強させることなどによる、皮膚の色調を改良するための複数の方法が適用されるかもしれない。検出された皮膚色は、このセンサを用いるカメラの３Ａプロセス（自動焦点、自動ホワイトバランス、自動露出）を向上させるためにも用いられるかもしれない。

また、ここに説明される実施例は、センサの特性が画像化手順に基づいて較正される、センサ依存性の皮膚色検出のための手順を含む。皮膚色調領域は次に、皮膚色反射率スペクトルのトレーニングセットと、センサを較正するために用いられる標準試験用目標の反射率スペクトルとの相関に基づいてモデル化される。

照明された表面の点の表示は、画像センサによって生成されると、次式に従ってモデル化されるかもしれない。

ここでＳはセンサによって生成される信号を表し、ＳＳ（λ）は波長λの関数としてセンサのスペクトル感度を表し、Ｌ（λ）は照明光のスペクトル分布、すなわち波長λの関数として光源の相対的強度を表しＲ（λ）は表面の画像化される点の反射率スペクトル、すなわち波長λの関数として画像化される点の相対的反射率を表す。

（１）式の右辺の関数の値が得られるか、または信頼性を持って推定されるかもしれない場合には、（１）式は照明された表面の点に対するセンサ応答を推定するために適用されるかもしれない。通常、光源のパワースペクトル分布Ｌ（λ）は簡単に測定することができる。代替的に、光源は、測定用光源または白色光源の特定の形式のスペクトルパワー密度を用いて特性化されるかもしれない（例えば、国際照明委員会（ＣＩＥ）（オーストリア、ウイーン）の刊行物にあるようなもの）。光源の形式が既知であるか、推論もしくは推定されるかもしれない場合、相対エネルギーと波長間の関係を表す標準化された分布が光源の出力スペクトルの測定値の代わりに用いられるかもしれない。同様に、表面の反射率スペクトルＲ（λ）が、測定されるか、または同様の表面のスペクトルのデータベースから推定されるかもしれない。しかし、センサの感度関数ＳＳ（λ）は、未知であり、取得するには費用がかかる。

ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）画像センサのようなセンサに対するスペクトル感度関数ＳＳ（λ）の測定は、通常、モノクロメータおよびスペクトル放射計のような特別な高価な装置を必要とする時間の掛かる処理である。この関数を直接測定するコストのために、そのような測定を量産民生品用を意図したセンサに対して実行することは不可能になるかもしれない。また、センサのスペクトル感度は照度および場合により他の要素（例えば温度、電圧、電流、入力光路内のフィルタ特性、赤外または紫外のような他の波長の放射の存在、その他）の関数として変化するかもしれない。これらの要素に対する補償は、（１）式の使用を照度の特定の範囲に限定すること、および／または、入射光路内に赤外または紫外阻止フィルタを組み入れることを含むかもしれない。

センサの応答を予測する他の方法がここに説明される。表面の反射率スペクトルが他の反射率スペクトルの線形組合わせ(linear combination)として表されるかもしれないと仮定する。例えば、表面の反射率スペクトルＲ_{ｓｕｒｆａｃｅ}はｍ個の目標のセットの反射率スペクトル

の線形組合わせとして表されるかもしれない。

（１）式および（２）式に基づいて、表面の点

に対するセンサの予測応答は、目標のセット

１≦ｉ≦ｍ、の各々に対するセンサ応答の線形組合わせとして、（２）式の係数ベクトル (coefficient vector)ｂを用いて表されるかもしれないと結論する。

センサに固有の、例えばＲＧＢ空間のような色空間における予測センサ応答Ｓ^＊を求めることは望ましいかもしれない。例えば、（３）式は表面の点の、センサによって観測される生のＲＧＢ信号を、同様の照明の下で同じセンサによって観測される目標のセットのＲＧＢ信号の線形組合わせとして表すように書き変えられるかもしれない。

一実施例に従う方法において、係数ベクトルｂは、表面および１セットの目標の反射率スペクトルに対する既知の値を用いて、上の（２）式のような関係によって導出される。これらのスペクトルは測定されるかまたは別の方法で得るかまたは推定されるかもしれない（例えばデータベースから）。次に、表面に対するセンサ応答を予測するために上の（３）式のような関係に従ってベクトルｂが適用される。

ｍ個の目標は、予め印刷され、標準化された目標セットの区画のような、標準化された色値(color value) を有する表面であるかもしれない。広く受け入れられ容易に入手可能な色画像用途のためのそのような１つの目標セットは、マクベスカラーチェッカ（スイス、レーゲンスドルフにある、Amazys Holding AG）である。マクベスカラーチェッカは、６個の一連のグレイの区画、代表的加色（赤、緑、青）および減色（シアン、マゼンダ、黄）の三原色並びに色白なおよび浅黒い肌、空の青および木の葉のような他の「自然」色を含む２４個の着色した色区画を有する物理的目標セットである。マクベスカラーチェッカの色顔料は照明光源を変えた場合にいかなる条件等色、または色彩の変化も最小にするように選択された。

図１にマクベスカラーチェッカの概念図を示す。ここで、各区画の位置は対応する色の名およびＣＩＥ ｘｙＹ色空間内の値で示される。図２は３８０〜７８０ｎｍの範囲にわたるカラーチェッカの２４個の区画の反射率スペクトルのグラフを示す。標準化された目標セットの他の例は、カラーチェッカＤＣ目標セット（Amazys Holding AG,２３７個のカラー区画を有する）、１２６９個のマンセルカラーパッチ（色のマンセルブック、Munsell Color Corporation,１９７６）、写真用紙に印刷した約２６０個のカラー区画を含むコダックＱ−６０Ｒ１目標セット（ニューヨーク州、ロチェスターのEastman Kodak社）のようなＩＴ８−７．２（反射型）目標セット、並びにコダックＱ−１３およびＱ−１４目標セットを、非限定的に含む。

係数ベクトルｂを導出する際、特定の用途に対する最終的結合に顕著に寄与する目標スペクトルのみを含むように基底関数のセットを縮小するまたは削除することが望ましいかもしれない。使用される区画の数ｍは目標セットの区画の数と同じである必要はない。いくつかの区画は用いられないかもしれず、かつ／または、１より多い目標セットからの区画が含まれるかもしれない。

試験用表面および目標の反射率スペクトルは、ある範囲の波長にわたるｎ点の相対的反射率のサンプルを表す長さｎのベクトルとして与えられるかもしれない。その結果、（２）式は以下の形に書くことができる。

ここで

および

は長さｎの列ベクトル、Ｒ^{ｔａｒｇｅｔ}は、大きさｍ ｘ ｎのマトリクスであり、各列は特定の波長に対応し、各行は特定の目標に対応する。例えば、反射率スペクトルは、３８０（または４００）から７００ナノメートルのような可視波長範囲にわたって４ナノメートル（または、１０もしくは２０ナノメートル）間隔でサンプルされるかもしれない。

場合によっては、可視範囲の一部のみをサンプルすること、および／または範囲を可視範囲をいずれかの方向（例えば赤外および／または紫外の反射率を考慮するために）に拡張することが望ましいかもしれない。用途によっては、（例えば、カメラフラッシュの主たる波長を含む範囲のような注目する１つ以上の部分においてより細かな解像度を得るために）普通とは異なる間隔で波長範囲をサンプルすることが望ましいかもしれない。

（２ａ）式は係数ベクトルｂに対して最小２乗問題として解かれるかもしれない。マトリクスＲ^{ｔａｒｇｅｔ}が正方マトリクスでない場合には、係数ベクトルｂは次式で計算されるかもしれない。

ここで演算子（・）^＋は擬似逆行列を表す。ムーア−ペンローズの擬似逆行列はMathematica（イリノイ州、シャンペーンのWolfram Research, Inc.）またはＭＡＴＬＡＢ（マサチューセッツ州、ナティックのMathWorks）のようなマトリクスのサポートがあるソフトウェアパッケージの標準的関数であり、それは、特異値分解または逐次アルゴリズムを用いて計算されるかもしれない。

予測センサ応答信号が目標に対するセンサ応答の線形組合わせに対応することを保証するために、構築された皮膚色反射率スペクトルは元のスペクトルと一致されるべきである。係数ベクトルｂの計算は、元のスペクトルと計算されたスペクトルを比較する検証操作、並びに／または、逐次、および／もしくは１より多い基底スペクトルのセット間の選択をおそらく含む、誤差抑圧のための誤差最小化操作を含むかもしれない。

図３Ａに一実施例に従う方法Ｍ１００のフローチャートを示す。タスクＴ１００は多くの異なる目標に対するセンサ応答を得る。タスクＴ２００は表面の反射率スペクトルを目標の反射率スペクトルの組合わせに分解する。タスクＴ３００は表面に対するセンサの予測応答を、分解およびセンサ応答に基づいて計算する。センサ応答測定の間、センサへの光路の光学特性、例えばカメラレンズのスペクトル透過率ならびに／または赤外および／もしくは紫外阻止フィルタのようなフィルタの存在のような、その後の用途で起こると予想される特性を近似することが望ましいかもしれない。

方法Ｍ１００の用途の範囲は人間の皮膚色の分類および検出を含む。数十、数百以上の異なる人間の皮膚表面の区画に対して測定された反射率スペクトルのデータベースは、ＲＧＢまたはＹＣｂＣｒのような色空間における皮膚色領域を定義するデータポイントを得るために用いられるかもしれない。用いられるかもしれない皮膚色反射率スペクトルの１つのデータベースはＯｕｌｕ大学（フィンランド）の物理ベースの顔データベースである。これは４個の異なる照明下で４個のカメラ較正条件のもとで取得された、３回（額および両ほお）サンプルされた各顔の反射率スペクトルを有する１２５個の異なる顔を含んでいる。方法Ｍ１００の１つ以上のインスタンスがデータベースの各スペクトルに対して実行されるかもしれない。図４に人間の皮膚表面パッチのサンプルセットの反射率スペクトルのグラフを示す。

図３Ｂに方法Ｍ１００の１つの実施Ｍ１１０のフローチャートを示す。タスクＴ１１０は、複数の色値を得る、タスクＴ１００の１つの実施であって、その各々は標準目標の対応する点のセンサによる観測に基づく。タスクＴ２１０は試験用表面および目標の反射率スペクトルに基づいて係数ベクトルを計算するタスクＴ２００の１つの実施である。タスクＴ３１０は係数ベクトルおよび色値に基づいて試験用表面に対するセンサの予測応答を計算するタスクＴ３００の１つの実施である。

タスクＴ１００は、マクベスカラーチェッカの区画のような多くの異なる目標に対するセンサ応答を得る。かなりの計算資源が必要であるが、方法Ｍ１００が各画素に対して独立に実行されるように、センサの各画素の個々の応答を考慮することは可能である。代替的には、タスクＴ１００は、目標を観測する多くの画素の平均応答（平均値、中央値、または並数）として各目標に対するセンサ応答を得るように構成されるかもしれない。

タスクＴ２００は試験用表面の反射率スペクトルを目標の反射率スペクトルの組合わせに分解する。一例において、タスクＴ２００は試験用表面スペクトルをマクベスカラーチェッカの区画の反射率スペクトルの線形組合わせに分解する。

タスクＴ３００はタスクＴ２００の分解に基づいて（例えば線形組合わせを示す係数ベクトルに基づいて）およびタスク１００において得たセンサ応答とに基づいて予測センサ応答を計算する。一例において、予測センサ応答は同じ照明の下で観測されるマクベスカラーチェッカの区画からのＲＧＢ値の線形組合わせとして計算されるＲＧＢ値である。

ここで

および

はそれぞれ目標の各々に対する赤、緑、青色値の行ベクトルであり、

はタスクＴ２００で計算された係数の列ベクトルである。

方法Ｍ１００は、方法Ｍ１００の種々のインスタンスを順次および／または並行して実行することにより、複数の試験用表面の各々に対して実行されるかもしれない。そのような場合、タスクＴ１００の１つのインスタンスで得られたセンサ応答が、方法Ｍ１００のいくつかのまたはすべてのインスタンスで用いられることが望ましいかもしれない。図５に方法Ｍ１００のｎ個のそのようなインスタンスを含む方法Ｍ２００のフローチャートを示す。各々はｎ個の試験用表面の対応する１つに対するセンサの予測応答を生成する。その予測センサ応答は、同じセンサで取得された画像を分析または分類するために用いられるかもしれない。例えば、ｎ個の試験用表面は人間の皮膚のような特定の種類の対象物または表面の代表として選定されるかもしれない。

さらに別の構成において、タスクＴ１００のいくつかのインスタンスが、各インスタンスにおいて異なる光源が用いられることによって、実行される。例えば、タスク１００の１つのインスタンスにおけるセンサ応答は、一般にＣＩＥ光源Ａに従う白色照明の下で得られるかもしれない。また、タスク１００の別のインスタンスにおけるセンサ応答は、一般にＣｌＥ光源Ｄ６５に従う昼光照明での下で得られるかもしれない。また、タスク１００のさらに別のインスタンスにおけるセンサ応答は、一般にＣＩＥ光源ＴＬ８４に従う蛍光照明の下で得られるかもしれない。そのような場合、各試験用表面に対して方法Ｍ１００のいくつかのインスタンスは、各インスタンスがタスク１００の異なる光源のインスタンスからのセンサ応答を用いることによって、実行されることが望ましいかもしれない。

図６に一実施例に従う方法Ｍ３００のブロック図を示す。ここで、いくつかの光源の各々に対する予測センサ応答のセットを得るために、いくつかの異なる光源に対する予測センサ応答を得る操作が、図５に示すような複数の試験用表面のセットの各々に対する予測センサ応答を得る操作と組み合わされる。上述したセットとは異なる光源のセットが選択されるかもしれない。例えば、特定の用途で出現すると予想される照明の色温度の範囲の望ましいサンプリングに従って、光源のセットを選択する事が望ましいかもしれない。タスクＴ１００のインスタンスにおいてセンサ応答を得るために用いられるかもしれない他の参照光源(reference illuminant)はＣＩＥ Ｄ５０（日の出または日没の日光を表し、地平光とも呼ばれる）、ＣＩＥＤ５５（午前の中頃または午後の中頃の日光を表す）、ＣＩＥ Ｄ７５（曇りの昼光を表す）、および、ＣＩＥ Ｃ（平均または北の空の昼光を表す）のような昼色光源、並びに１つ以上のＣＩＥ Ｆシリーズのような蛍光光源とを含む。

さらに別の信号処理が実行されるかもしれない用途でセンサを用いる事が望まれるかもしれない。例えば、センサアレイの欠陥を修正するためと、応答および／または光学もしくは電気経路の他の部品の非理想特性を補償するためと、センサ出力を異なる色空間に変換するためと、並びに／またはセンサ出力信号に基づいて付加的画素値を計算するためとに、センサで取得された画像に対して操作を行う事が通常望まれるだろう。そのような信号処理操作は、センサ（特にＣＭＯＳセンサの場合）と同じチップ内、および／または異なるチップもしくは他の場所内にあるかもしれない論理素子の１つ以上のアレイによって実行されるかもしれない。信号処理操作は、ディジタルカメラまたはカメラを含む携帯電話のような装置の写真画像、およびマシンビジョン用途における写真画像に対して一般的に実行される。

そのような用途において、ここに詳述するように、センサの予測応答に基づくセグメンテーションに従って、センサによって取得された画像の１つ以上の画素を分類することが望ましいかもしれない。分類される画像が１セットの信号処理操作（例えば以下に述べるような黒クランピング、ホワイトバランス、色補正および／またはガンマ補正(gamma correction)）を受ける場合、信号処理操作の類似のセットに従ってセンサの予測応答を処理することが望ましいかもしれない。例えば、センサの固有の色空間はＲＧＢ空間のような原色空間(primary color space)であるかもしれない。一方分類および／または検出操作はＹＣｂＣｒ空間のような輝度−色差空間(luminance-chrominance space)内で実行される事が望ましいかもしれない。

図７Ａにセンサによって生成される固有の色値が、異なる色空間の処理された色値へ変換される信号処理パイプラインの例を示す。図７Ｂに図７Ａにおける操作が異なる順序で実行される信号処理パイプラインの別の例を示す。これらの操作を以下にさらに詳細に説明する。用途によって、信号処理パイプラインは、これらの操作のいずれかを省略するかもしれない、並びに／または、レンズ歪および／もしくはレンズのフレアの補償のような付加的操作を含むかもしれない。１つ以上の信号処理操作は、あらかじめセンサに固有の方法で最適化されるかもしれないし、および／または、センサの応答に基づいて決定される値を有するパラメータを適用するかもしれない。

センサの予測応答信号の精度はセンサの応答の線形性にある程度依存するかもしれない。これは画素毎に、チャネル毎に、および／または強度レベル毎に異なるかもしれない。１つの一般的なセンサ非理想特性は加法性雑音である。その大部分は暗電流雑音によるものである。暗電流雑音は、入射光線がないときでも発生し、通常は温度と共に増加する。暗電流雑音の１つの影響は画素値を上げることであり、その結果照明されない（黒）画素のレベルはゼロではなくなる。暗電流補償操作（「黒クランピング」とも呼ばれる）は、黒画素出力をゼロまたは他の所望値に抑圧するかまたは黒画素出力を所望のオフセット値に従って抑圧するように実行されるかもしれない。

暗電流補償の１つの一般的方法は黒レベル減算である。これは各画素値からオフセット値を減算することを含む。オフセット値は大域的な値であるかもしれないため、同じオフセット値が画像の各画素から減算される。このオフセット値は、画像領域の外にあり、おそらくマスクされている１つ以上の画素から導出されるかもしれない。例えば、オフセット値はそのような画素値の平均であるかもしれない。代替的に、異なるオフセット値が各画素から減算されるかもしれない。そのようなオフセット値は照明がないときに取得された画像から、画素の暗出力に基づいている各画素のオフセット値を用いて導出されるかもしれない。

また、センサの非理想特性は、センサの異なる画素が同じ刺激に対して異なる度合いの利得で応答する乗法性雑音を含むかもしれない。乗法性雑音を減少させるための１つの手法は、画素値が均一な灰色表面の画像の取得に相当する１つの係数で正規化されるフラットフィールディングである。正規化係数は灰色画像のいくつかまたはすべての画素から導かれる、例えばそれらの画素の平均値のような大域的な値であるかもしれない。代替的に、均一の灰色表面に対する各画素の応答に基づいて、異なる正規化係数がその画素に適用されるかもしれない。

タスクＴ１００の１つの構成において、対応する光源の下でのマクベスカラーチェッカの各区画に対する生のＲＧＢ信号は、均一の灰色面の取得によるフラットフィールディングおよび一定の黒レベルの減算によって正規化される。

ここでＢｌａｃｋＬｅｖｅｌは黒レベルオフセット値であり、ＧｒａｙＰｌａｎｅは正規化係数である。このような操作はモザイク解除の前または後で実行されるかもしれない。

一例において、種々の目標に対するセンサ応答は、マクベスカラーチェッカのような目標の基本的セット全体の単一の取得画像から、または、目標の基本的セット全体の多くの画像の平均値から導かれる。そのような場合、ＧｒａｙＰｌａｎｅの値は目標の灰色の区画に対応する画素値の平均値として選択されるかもしれない（その区画は目標の基本セットに含まれるかもしれないし、含まれないかもしれない）。他の例において、タスクＴ１００において用いられる各取得画像は、目標の基底セットの全部ではない数のセット（おそらくただ１つ）を含む。

ＣＣＤまたはＣＭＯＳセンサなどの画像センサは同じようなスペクトル応答を有する感光性素子のアレイを通常含む。そのようなアレイからカラー画像を取得するために、カラーフィルタアレイが感光性素子アレイの前に置かれるかもしれない。代替的に、カラーフィルタアレイは、感光性素子アレイに組み入れられるかもしれない。その結果、異なる素子は入力画像の異なる色成分に応答するだろう。図８Ａに１つの一般的なフィルタアレイ構成である赤−緑−青のベイヤアレイを示す。人間の目は赤、青よりも緑の波長に対して感度が大きいため、このアレイでは、各行、各列の１つおきの画素は緑に対応する。図８Ｂに特に走査用途に適しているかもしれないカラーフィルタアレイの別の例、シアン−マゼンダ−黄−緑の構成を示す。他の多くのカラーフィルタアレイの例は既知であり、一般的に用いられ、および／または実行可能である。

カラーフィルタアレイの後ろの各画素がそのフィルタに対応する色だけに応答するため、得られる画像信号の色チャンネルは空間的に不連続である。取得された色値に加えて画素の位置における色値を推定するための内挿操作を実行することが望ましいかもしれない。例えば、赤、緑、青の値の１つだけを有する各画素を有する生の画像から、各画素が赤、緑および青の値を有する画像を得ることが望ましいかもしれない。そのような内挿操作は一般的に「モザイク解除」と呼ばれる。モザイク解除操作は、双一次内挿に基づくかもしれないし、また折り返し歪および／または他のアーチファクトの回避、抑圧、または除去のための操作を含むかもしれない。また、処理パイプラインは、欠陥（例えば、常にオンもしくは常にオフ、または入射光線にかかわらず一定の応答をする事が別途分かっている画素）があると分かっている画素に対する値の内挿のような別の空間的内挿操作を含むかもしれない。

白い表面の色温度は入射照明に依存して２０００Ｋから１２，０００Ｋの間で通常変化する。人間の目はこの違いを調整でき、白い表面の色覚は比較的一定のままであるのに対し、画像センサの出力信号は通常は場面の照明に顕著に依存して変化するだろう。例えば、白い表面は、タングステン照明の下でセンサによって取得された画像においては赤みを帯びて見えるかもしれない。一方同じ白い表面は、蛍光照明の下で同じセンサによって取得された画像においては緑色を帯びて見えるかもしれない。

画像用途は、光源差を補償するためにホワイトバランス操作を通常含むだろう。ホワイトバランス操作の一例は、各画素の色値の相対的な大きさを調整することを含む。ＲＧＢ画像に関する典型的なホワイトバランス操作は、画像における色のバランスに関する予め定めた仮定に従って、次式のように緑色の値に比べて赤および青の値を調整することを含む。

（５）式において、赤チャネルｇ_Ｒおよび青チャンネルｇ_Ｂに対する利得係数は、パラメータｘおよびｙが画像の空間的座標を示すとして、以下の一般的な前提の１つに基づいて選択されるかもしれない。１）各色チャンネルに対する最大のセンサ応答を仮定（画像内の最大値は白と仮定）。

２）すべての色チャネルは平均して灰色となると仮定（グレーワールド仮定）。

３）各色チャネル内のエネルギーは等しいと仮定。

青チャネルｇ_Ｂに対する利得係数は同様に緑チャネルに関連して決定される。

ホワイトバランス操作は、花のクローズアップのような非常に色彩的な画像、または仮定が成立しないかもしれない他の画像に対して調整されるかもしれない。ホワイトバランス操作は、トリガー放電装置（フラッシュバルブ）または高ルーメン出力発光ダイオード（ＬＥＤ）のようなカメラフラッシュのパワースペクトル分布についての事前の知識、およびフラッシュを用いて画像を取得したという知識に従って選択されるかもしれない。また、異なる強度の画素値に対して異なるホワイトバランス操作を用いることも可能である。これは、センサ応答の非線形性を補償する助けになるかもしれない
ホワイトバランス操作は、場面照明の色温度による強い色かぶりを補正するかもしれない。また色空間内でより近い異なる照明下の同じ表面に対するセンサ応答を動かすかもしれない。しかし、特定のセンサのスペクトル応答における特有の性質により、色の非理想特性が画像に残るかもしれない。また、異なる照明の下の類似の試験用表面の同じセットに対する応答群は、ホワイトバランス操作が適用された後でも色空間内で互いに関してシフトされるかもしれない。さらに異なる光源に応じてセンサ依存性の差をさらに補償するために色補正操作を実行することが望ましいかもしれない。

色補正操作は、画像の画素の色値ベクトルとセンサに特有の色補正マトリクスとを掛けることを含むかもしれない。一例において、補正マトリックスは、マクベスカラーチェッカのような、センサを用いて取得された標準目標セットの画像から導出される。目標セットの画像は異なる照明の下で得るかもしれない。また、対応する各光源に対して異なるマトリックスが導出されるかもしれない。例えば、昼光（ＣＩＥ Ｄ６５）、タングステン光（ＣＩＥ Ａ）、および蛍光（ＴＬ８４）に対応する照明は広範囲の色温度のサンプリングを提供するために用いられるかもしれない。また、補正される画像の光源分析に基づいて適切なマトリクスが選択されるかもしれない。

色補正マトリクスは白い点の補償のために最適化されるかもしれない。または、それは特定用途にとって重要な色のクラス（例えば皮膚の色調）に対して最適化されるかもしれない。異なるカラー補正マトリクスが異なる画素強度に対して用いられるかもしれない。これは、色チャンネル間のセンサ応答の異なる非線形性の影響を低減するかもしれない。

また、信号処理操作のセットは、入力の値の範囲から出力の値の範囲へのべき関数に従う非線形マッピングのようなガンマ補正操作を含むかもしれない。ガンマ補正は、センサおよび／またはディスプレイの非線形応答を補正するために一般的に実行される。そのような操作は、一連の信号処理操作の終わり（色空間変換の前または後に）または、それより早く、例えば色フィルタアレイ内挿操作の前に実行されるかもしれない。ガンマ補正は、非線形ディスプレイ応答をガンマ補償されたＮＴＳＣのような標準プロファイルに一致する信号を提供するように選択されるかもしれない。

センサ応答と所望の色空間の差を補償することが望ましいかもしれない。例えば、色値を線形であるかもしれない固有のＲＧＢ空間から非線形であるかもしれないｓＲＧＢのような標準化された色空間へ変換する事が望ましいかもしれない。そのような変換はガンマ補正操作に含まれるかもしれない。ガンマ補正はセンサおよびディスプレイの応答がともに線形であり、画像信号のこれ以上の使用が望まれない用途においては省略されるかもしれない。

１つ以上のセンサ特有の基準に従ってガンマ曲線が選択されるかもしれない。例えば、所望のガンマ補正の選択は、２００５年６月６日出願の米国特許出願番号１１／１４６，４８４、代理人整理番号０４０９４３、名称”APPARATUS, SYSTEM, AND METHOD FOR OPTIMIZING GAMMA CURVES FOR DIGITAL IMAGE DEVICES”（ディジタル画像デバイスのためのガンマ曲線最適化のための装置、システムおよび方法）に開示される方法に従って実行されるかもしれない。

目標画像が取得された色空間よりも異なる色空間内で予測皮膚色値を得ることが望ましいかもしれない。ディジタルカメラからの画像は通常、格納および処理のためにＹＣｂＣｒ色空間に変換される。例えば、ＪＰＥＧおよびＭＰＥＧ標準に従う圧縮操作はＹＣｂＣｒ空間の値について実行される。予測値に基づいて分類および検出のような操作は、センサ固有の色空間よりむしろこの色空間で実行することが望ましいかもしれない。

そうでなければ、各色値(color value)が輝度値(luminance value)および色差座標(chromatic coordinate)を含む輝度−色差空間内の予測値に基づく操作を実行することが望ましいかもしれない。例えば、色空間を、そのような空間内で、より容易に達成される方法で副分割することが望ましいかもしれない。そのような１つの分割において、ＹＣｂＣｒ空間は、各々が異なる範囲の輝度値に対応するいくつかの色差副空間または面に分割される。

以下のマトリクスはｓＲＧＢ空間からＹＣｂＣｒ空間へ色値を変換するために適用されるかもしれない。

類似のマトリクスは、ｓＲＧＢからＣＭＹＫ空間のような２つのデバイス依存性色空間の間の変換、または、ＣＩＥＸＹＺもしくはＣＩＥＬａｂのようなデバイス依存性空間からデバイス非依存性空間への変換を実行するために適用されるかもしれない。いくつかの実施において、ＹＣｂＣｒ空間に変換された画像信号を表示することが望ましいかもしれない。そのような場合、その信号は、ＬＣＤ（液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード）パネルのようなデバイスでの表示のために例えば（６）式のマトリクスの逆行列を用いてｓＲＧＢ空間に再変換されるかもしれない。

多くの試験用表面スペクトルの各々に対する予測センサ応答を得るために、方法Ｍ１００の１つのインスタンスが実行されるかもしれない。また、多くの異なる照明の各々に対する多くの試験用表面スペクトルの各々に対する予測センサ応答を得るために、方法Ｍ１００の１つのインスタンスが実行されるかもしれない。さらに別の実施例において、各利用可能な試験用表面スペクトルに対するより多くの予測センサ応答信号を得ることが望ましいかもしれない。

一実施例において、予測センサ応答の数は、異なるレベルの照明強度をシミュレーションすることによって、増加する。そのような１つの構成において、センサ応答は線形と仮定され、また、センサ出力の固有の色空間はＲＧＢのような原色空間である。タスクＴ１００で取得されるセンサ応答の各原色チャンネルは縮尺係数ｋと乗算され、センサ応答の変更されたセットについてタスクＴ３００を実行することにより付加的予測応答を得る。そのような手順は各利用可能な試験用表面スペクトルに対して実行され、予測値の数を実効的に２倍にするかもしれない。またその手順は異なるｋの値に対して繰り返されるかもしれない。他の構成において、既知または推定された非線形性に従って、異なる原色チャネルの各々に異なる縮尺係数が適用されるかもしれない。照明レベルのシミュレーション手順がすべての利用可能な試験用表面スペクトルに対して５または１０の異なる照明レベルついて繰り返される場合、予測値の数は対応する５または１０の係数だけ増加されるかもしれない。しかしそれ以外の任意のシミュレーションした照明レベルの数も用いられるかもしれない。

タスクＴ１００で得られたセンサ応答を変更することによって予測センサ応答の数を増加させるように、センサの雑音統計量も適用されるかもしれない。これらの雑音統計量は、センサによって取得された１つ以上の標準目標の画像から測定されるかもしれない。例えば、タスクＴ１００の構成は、センサの雑音統計量を計算するために用いられる目標画像を取得することを含むかもしれない。それらの画像も予測センサ応答を計算する際に用いられた画像の中にあるかもしれない。

１つ以上の色チャネルの各々に対して、雑音測度（例えば１標準偏差）は基底セット内のｍ個の目標の１つに対応するいくつかまたはすべての画素値から導出される。次に、雑音測度は、模擬応答（simulated response）を得るために、タスクＴ１００で得た目標応答の対応するチャネル値に適用される。この模擬応答は各雑音測度をチャネル値に加える（または引く）ことを含むかもしれない。この手順は基底セット内の他のすべての目標に対して繰り返されるかもしれない。またはそれは１つ以上の目標応答を変更しないでおくことが望ましいかもしれない。次に、タスクＴ３００は、付加的な予測センサ応答を得るために、ｍ個のセンサ応答の新しいセットについて実行される。そのような手順は、予測センサ応答の数を２以上の係数で増加させるために用いられるかもしれない。他の構成において、他の雑音統計量（例えばｍ個の目標のいくつかまたはすべての対応する原色チャンネルに適用されるかもしれない乗法性係数）が導出され、適用されるかもしれない。

図９に方法Ｍ１００の一実施Ｍ１２０のフローチャートを示す。方法Ｍ１２０は、得た応答に基づいて目標に対するセンサ応答をシミュレーションする、タスクＴ１００の一実施Ｔ１２０を含む。例えば、タスクＴ１２０は、上述したように、センサの異なる照明レベル、および／または、センサの雑音統計量に基づいてセンサ応答をシミュレーションするかもしれない。図１０に方法Ｍ１２０のそのようなｎ個のインスタンスを含む方法Ｍ２１０を示す。その各々は、反射率スペクトルがタスク２００の共通のインスタンスにおいて分解される試験用表面に対する異なる予測センサ応答を生成する。

図１１は一実施例に従う方法Ｍ４００のブロック図を示すものであって、この実施例において、いくつかの異なる照明に対する予測センサ応答を得ることと、複数の試験用表面の各々に対する予測センサ応答を得ることと、および模擬センサ応答に基づいて予測センサ応答を得ることとが組み合わされ、いくつかの照明の各々に対する予測センサ応答のより大きいセットを得る。同じ照明および試験用表面に従って操作する方法Ｍ１００およびＭ１２０のインスタンスがタスクＴ２００の共通インスタンスを共有するように、方法４００の実施を構成することが望ましいかもしれない。

図１２にタスクＴ４００を含む一実施例に従う方法Ｍ５００のブロック図を示す。タスクＴ４００は、方法Ｍ２００、Ｍ３００および／またはＭ４００の１つ以上の実施によって計算されるような予測センサ応答の１つ以上のセットを含むトレーニングセットに従って色空間のセグメンテーションを実行する。セグメンテーションが表面のクラス（例えば、人間の皮膚のクラスの色調）の共通色特性を示すように、トレーニングセットが導出される試験用表面を選択し、および／またはトレーニングセットの要素を選択することが望ましいかもしれない。色空間はトレーニングセットのサンプルが引き出されるＲＧＢやＹＣｂＣｒのような色空間の部分（おそらくすべて）である。一例において、色空間はＣｂＣｒ平面のような色差平面である。特定のセンサの特性に基づくトレーニングセットを用いることの潜在的利点は縮小されたクラスタである。これは信頼性を向上させ、および／または、誤検出を減少させる。

セグメンテーションは排他的であるかもしれない。その結果色空間内の各位置（色値）はセグメントの１つであってただ１つである。代替的に、色空間内のいくつかまたはすべての位置の各々は、１つのセグメント内にある１より小さい確率を、および少なくとも暗に、別のセグメント内にある０より大きい確率を割り当てられるかもしれない。

タスクＴ４００は、トレーニングセットのヒストグラムに基づいてセグメンテーションを実行するように構成されるかもしれない。例えば、タスクＴ４００は、色空間の位置ｉが特定のセグメントの中にある確率を、予測センサ応答の中のその位置の発生回数の合計Ｍ_ｉに基づいて決定するように構成されるかもしれない。色空間部分内の各位置ｉについて、タスクＴ４００はセグメント内の位置のメンバーシップの２値（確率１または０）表示をＭ_ｉとしきい値を比べることにより得るように構成されるかもしれない。代替的に、タスクＴ４００は、予測センサ応答の中のその位置の発生回数の正規化された合計（例えばＭ_ｉ／ｍａｘ｛Ｍ_ｊ｝、ここで最大値はセグメント化される色空間内のすべての位置ｊについて取られる、またはＮをトレーニングセット内のサンプル数としてＭ_ｉ／Ｎ）として確率測度を計算するように構成されるかもしれない。

低域フィルタまたは他の形式の局所近似が確率測度に、および／または確率測度が導出されるヒストグラムに適用することが望ましいかもしれない。そのような操作は、格納されるべき確率測度の有効数を（例えばヒストグラムをダウンサンプリングすることによって）縮小するために用いられるかもしれない。また、そのような操作は、セグメント内にあると仮定されるが予測センサ応答の中の代表には不十分な位置または代表となれない位置に対してさえ適切な確率測度を提供するために用いられるかもしれない。

ヒストグラムに基づく分類は簡単かつ高速であるかもしれないが、そのような手法はトレーニングデータの密度に強く依存するかもしれない。さらに、そのような分類は必要とするかもしれない分類データの量でいえば不十分であるかもしれない。（例えば、セグメント化されるべき色空間内のすべての位置に対する１つ以上の確率測度を有するマスク）。さらに別の実施において、タスクＴ４００は、１つのクラス（例えば人間の皮膚の色調）の色空間上の分布をモデル化するように構成される。

タスクＴ４００は、ガウス関数として分布をモデル化するように構成されるかもしれない。そのようなモデルは、一般性の点で有利であるかもしれない。また簡単かつ高速であるかもしれない。ＣｂＣｒ面のような色差空間に適用されるような一例において、１セグメント内の色差値ベクトルＸ_ｉのメンバーシップの尤度(likelihood)は次式に従うガウス分布としてモデル化される。

ここで、Ｘ_ｉは位置ｉにおける色差値のベクトル、平均ベクトルμおよび共分散マトリクスΛは予測センサベクトルから決定され、マハラノビス距離(Mahalanobis distance)λは、λ^２＝（Ｘ_ｉ−μ）^ＴΛ^−１（Ｘ_ｉ−μ）として計算される。マハラノビス距離はサンプルセットのその方向における変動範囲に従ってサンプルと平均との間の距離に重みを掛ける。中心と共分散マトリクスで表すクラスタの定義は、任意のλに対して（境界のない色空間を仮定、または空間の境界に従うλの値に上限を仮定すると）凸包(convex hull)が生成されるだろうという保証を与えるかもしれない。

バイナリセグメンテーションの１つの形式は（７）式で記述されるようなモデルからしきい値

を適用して得られるかもしれない。その結果、値Ｘは、

の場合はセグメント内として、そうでなければ外として分類される。不等式

は、中心が平均μ、主軸がΛの固有ベクトルｅ_ｌを向いており、

として、長さ

を有する楕円領域を定義する。

いくつかの用途において、前記分布は複雑すぎ単一のガウス分布で十分にモデル化できないかもしれない。例えば、照明が変化する状況において、そのようなモデルはトレーニングセットの分布（例えば人間の皮膚色の分布）の分散を適切に表わさないかもしれない。別の例において、トレーニングセットは異なる分布を有するサブクラスを含むかもしれない。そのような場合、加重ガウス型の重畳のようなガウス分布の混合としてヒストグラムをモデル化することによってより正確なモデルが与えられるかもしれない。ガウス型混合モデルについて、モデルに用いられる各ガウス型を計算することは、位置ｉに対するメンバーシップの尤度を生成するために、望ましいかもしれない。

他のモデルも、クラス密度分布（または、それの部分）をモデル化するために用いられるかもしれない。適切であるかもしれない楕円境界モデルの一例は次式で定義される。

ここでｎはトレーニングセット内で代表される弁別的色空間位置の数であり、Ψはｎ個の弁別的色空間位置の平均であり、

バイナリセグメンテーションの１つの形式は（８）式で説明したようなモデルからしきい値αを適用して得られるかもしれない。その結果、値Ｘ_ｉはΦ（Ｘ_ｉ）＜αの場合はセグメントの中に分類され、他の場合は外に分類される。

タスクＴ４００は、予測センサ応答のトレーニングセットによって表されるクラスを色空間内の他のすべての値から区別するセグメンテーションを実行するように構成されるかもしれない。しかし、タスクＴ４００によって実行されるセグメンテーションは単一のクラスに限定される必要はない。例えば、予測センサ応答のトレーニングセットは１つ以上のサブクラスを含むかもしれない。また、タスクＴ４００が２つ以上のサブクラスの間を区別するために用いられることが可能なセグメンテーションを実行することは望ましいかもしれない。そのような場合、合成トレーニングセットの分布を示すヒストグラムをモデル化するためにガウス型の混合を用いることが望ましいかもしれない。そのようなモデルは、ヒストグラムの局所最小値として選択されるしきい値よりもより最適な分離を可能とするサブクラスの間の境界の値を与えるかもしれない。

一方法は、タスクＴ４００の、各々が異なるトレーニングセットに対して異なるセグメンテーションを実行するように構成される１つ以上のインスタンスを含むかもしれない。タスクＴ４００の種々のインスタンスは、順次および／または並行して、実時間またはオフラインで実行されるかもしれない。またトレーニングセットはオーバラップするかもしれないし、しないかもしれない。通常、タスクＴ４００の種々のインスタンスは、同じ色空間のセグメンテーションを実行するだろう。しかし予想される実施例の範囲はそのような特徴に限定されず、また、タスクＴ４００の各インスタンスによってセグメント化される色空間は同一である必要はない。そのような方法の用途はセンサによって取得された静止画またはビデオシーケンスの１つ以上の画像の実時間解析を含む。ここで、センサはディジタルカメラまたはカメラを含む携帯電話または他のパーソナル通信デバイスのようなデバイスに含まれる。

図１３にそのような実施例に従う方法Ｍ６００のフローチャートを示す。ここでは予測センサ応答の異なるセットは色空間セグメンテーションを実行するために用いられる。この例において、各セットは対応する光源に従う同じ色空間の異なるセグメンテーションをサポートする。別の例において、セグメンテーションは、異なる参照光源に対応する予測センサ応答の１つ以上（おそらくすべて）のセットの組み合わせに基づく。いくつかの用途（例えばトレーニングセットが人間の皮膚色のようなクラスを表すような用途）において、異なるセグメンテーション領域がオーバラップしないかもしれないということは可能である。タスクＴ４００の１つ以上のインスタンスがしきい値を分布またはモデルに（例えばバイナリセグメンテーションを得るために）適用する方法Ｍ６００の実施において、タスクＴ４００の異なるインスタンスが異なるしきい値を適用することも可能である。

輝度はＹＣｂＣｒのような輝度−色差色空間内の皮膚色のクラスタリングに影響しないと一般的に仮定される。従って、タスクＴ４００は、色空間のいくつかまたはすべてがＣｂＣｒ面のような単一の色差平面に圧縮されるように、セグメンテーションを実行するかもしれない。そのような用途において、タスクＴ４００は、色差平面内の位置に基づいてメンバーシップの確率を表示するように構成される。

別の実施において、タスクＴ４００は、色空間の値の範囲の多くの異なる部分の各々に対する異なるセグメンテーションを実行するように構成されるかもしれない。一般的な仮定とは逆に、例えば、発明者は、中心点輝度値に対する皮膚色のクラスタのほうが端に近い輝度値に対するものよりも大きいかもしれないことを観測した。いくつかの場合において、ＹＣｂＣｒ空間内の皮膚色領域はＣｂＣｒ面内に集まっているがＹ軸に沿って散在する楕円形である。

そのような場合に適用されるさらに別の実施において、タスクＴ４００は各々が輝度値の範囲に対応する複数の副空間にＹＣｂＣｒ空間を分割する。一例において、空間は１０個の等輝度範囲｛（０，０．１］，（０．１，０．２］，…，（０．８，０．９］，（０．９，１．０）｝に分割され、他の例においては任意の数の範囲が用いられるかもしれない。また、範囲は等しい必要はない。タスクＴ４００はＹＣｂＣｒ空間が０と１とは異なる一組の極端な値の間（例えば０と２５５の間）におよぶ状況に対しても適応されるかもしれない。

タスクＴ４００のそのような実施は、皮膚色を各々がそれぞれの色差平面内にある１０個のクラスタに分離するために用いられるかもしれない。一構成において、各範囲内の皮膚色の分布は対応する面内のガウス型としてモデル化され、その結果入力色差ベクトルＸの皮膚尤度は（７）式のような式によって与えられる。しきい値

を与えると、値のベクトルＸは

の場合は皮膚色差として、そうでない場合は非皮膚色差として分類される。輝度レベルが中心点にあり、輝度レベルが両端のいずれかに近づくにつれ徐々に小さい値となる場合、λ_Ｔに対して大きな値を選択することが望ましいかもしれない。他の構成において、ここに説明したモデルのような他のモデルが、各輝度範囲内のトレーニングセットの分布をモデル化するために適用されるかもしれない。

図１４Ａに一実施例に従う方法Ｍ７００のブロック図を示す。タスクＴ５００はセンサによって取得された画像の画素を、タスクＴ４００で実行されたようなセグメンテーションおよびセグメント化された色空間内の画素の値の位置に基づいて分類する。セグメンテーションは予め定められるかもしれない。従ってセグメンテーションは画像が分類される前に確立される。方法Ｍ７００は、セグメンテーションに従って画像の画素のいくつかまたはすべてを分類するために順次、および／または並行して繰り返されるかもしれない。

図１４Ｂに示すように、方法Ｍ７００のインスタンスは、画像のセグメンテーションマップを得るために、センサによって取得された画像内のｓ個の画素の各々に対して、実時間および／またはオフラインで実行されるかもしれない。一例において、方法Ｍ７００のインスタンスは、画像のバイナリセグメンテーションマップを得るために実行される。ここで、マップの各位置におけるバイナリの値は画像の対応する画素がセグメント内にあるかどうかを示している。画像のセグメンテーションマップ上で、形態素処理、領域併合、低域空間フィルタリング、および／もしくは時間フィルタリングのような、フィルタリング、並びに／または他の処理操作を実行することが望ましいかもしれない。

それぞれの画素を分類するためのいくつかの異なるセグメンテーション中の１つを選択するために方法Ｍ７００を実施することが望ましいかもしれない。図１５にタスクＴ４５０を含む方法Ｍ７００の実施Ｍ８００のブロック図を示す。タスクＴ４５０は、セグメント化される画像の場面の光源に従って、いくつかの異なるセグメンテーション中の１つを選択するように構成される。任意の色不変性または光源推定アルゴリズムを用いて、場面の光源が画像から識別されるかもしれない。例えば、２つ以上の表面色を有する場面において、２色の面の共通部分に従って場面の光源を推定するために２色反射モデルが適用されるかもしれない。

タスクＴ４５０が、スペクトルパワー分布および／または色温度が推定された場面光源 (scene illuminant)に類似している参照照明の下で取られたサンプルから導出されるセグメンテーションを選択することが望ましいかもしれない。しかし、推定された場面光源はいずれの参照光源の色特性とも十分には類似していない色特性を有することはあり得る。そのような場合、タスクＴ４５０は、参照光源の中から目標の光源を選択し、対応する色順応変換(chromatic adaptation transformation)をセグメント化されるべき画像に適用するように構成されるかもしれない。順応変換はセグメント化されるべき元の画像の参照用白と、目標光源の参照用白とに依存する線形変換であるかもしれない。一例において、タスクＴ４５０は色変換をセンサの固有の色空間（例えばＲＧＢ空間）内の画像に適用させる。

別の実施において、方法Ｍ７００は、画素の輝度レベルに従って、いくつかの異なるセグメンテーション中の１つを選択するように構成される。図１６にタスクＴ４６０を含む方法Ｍ７００のそのような実施Ｍ９００のブロック図を示す。タスクＴ４６０は、分類されるべき画素の輝度レベルに従っていくつかの異なるセグメンテーション中の１つを選択するように構成されるかもしれない。例えば、前述したようにタスクＴ４６０は１０個の等輝度範囲｛（０，０．１），（０．１，０．２）， ．．．，（０．８，０．９］，（０．９，１．０）｝から選択するように実施されるかもしれない。方法Ｍ７００は画像の画素のセットの各々を、タスクＴ４５０およびＴ４６０の双方に従って選択されたセグメンテーションに基づいて分類するためにさらに実施されるかもしれない。

用途の１つの範囲において、セグメンテーションを用いて、人間の皮膚の色調のトレーニングセットに従って、画像内の皮膚の色調を実時間で検出する。そのような用途において、セグメンテーションを用いて、画像内または同じセンサで取得された画像のシーケンスにおいて１つ以上の皮膚色調領域を識別する。次に、識別された領域の見掛けを向上するような付加的操作をサポートするために、この識別を用いる。例えば、皮膚色調領域が画像の他の部分より高い品質で符号化されるように、異なる圧縮アルゴリズムまたは圧縮比が、画像の異なる部分に適用されるかもしれない。

顔追跡操作のような追跡の用途において、画像内の皮膚の色調領域は枠で印つけられるかもしれない。この枠はその領域を伴って画像のディスプレイ内を実時間で移動する。またはカメラが向いている方向はその領域を視野内に保持するように自動的に移動されるかもしれない。追跡操作はカルマンフィルタのような時間フィルタの適用を含むかもしれない。別の用途において、カメラの１つ以上の３Ａ操作（自動焦点、自動ホワイトバランス、自動露出）が、検出された皮膚色領域に従って調整される。

皮膚色を伴う用途および使用が説明されているが、他のクラスの対象に対する試験用表面も用いられるかもしれないことが明白に予想される。試験用表面は、ある種類の果物、ある種類の野菜、ある種類の葉のような生活用の対象物の別のクラスを表すかもしれない。そのような試験用表面に対する予測センサ値に従って、画像の分類が、対象物を分類、等級付け、または選別するために実行されるかもしれない。例えば、熟し具合または腐敗もしくは病気の存在のような１つ以上の品質を決定することが望まれているかもしれない。試験用表面はそのような用途に従って所望の分類をサポートするように選択されるかもしれない。

他の可能性のある用途は加工食品の検査（例えば表面の色に基づいて焼き具合が十分であるかを決定する）のような工業用用途を含む。また、色に基づく分類には、地質学における用途がある。ここに開示されるような方法の他の潜在的用途は、医学的診断および生物学的研究を含む。この場合には、試験用表面および目標の反射率スペクトルは可視領域に限定される必要はない。

方法Ｍ７００、Ｍ８００、またはＭ９００の実施のさらに別の用途は、画像のセグメンテーションマップを解析して画像のどれだけがそのセグメント内に分類されたかを決定することを含むかもしれない。そのような手順は選果作業（例えば果物が熟しているかどうか決定する）または他の食品加工作業（例えば焼いた食品が適切に料理されたかどうかを決定する）に役に立つかもしれない。

図１７Ａに一実施例に従う装置１００のブロック図を示す。センサ１１０またはＣＣＤかＣＭＯＳセンサのような多くの放射感知素子を有する画像センサを含む。センサ応答予測器１２０は、ここに述べたような方法Ｍ１００の実施に従ってセンサ１１０の予測応答のセットを計算する。色空間セグメント化器(color space segmenter)１３０は、ここに述べたようなタスクＴ４００の１つ以上の実施に従って、予測センサ応答に基づいて色空間のセグメンテーションを実行する。

センサ応答予測器１２０は、マイクロプロセッサ、組み込み制御器、もしくはＩＰコアのような論理素子の１つ以上のアレイとして、および／またはそのような１つのアレイもしくは複数のアレイで実行可能な命令の１つ以上のセットとして実施されるかもしれない。色空間セグメント化器１３０は、恐らく論理素子の同じ１つのアレイもしくは複数のアレイ内で、および／または命令の１つのセットもしくは複数のセット内で同様に実施されるかもしれない。また、装置１００を含むデバイスまたはシステムの場面において、そのような１つのアレイもしくは複数のアレイが、装置１００の操作に直接関係しない命令のような他の命令のセットも実行するために用いられるかもしれない。例えば、センサ応答予測器１２０および色空間セグメント化器１３０は、センサ１１０付のパーソナルコンピュータまたは場合により別のデバイスでセンサ１１０から収集されたデータについて計算を実行するように構成されたパーソナルコンピュータで実行する処理として実施されるかもしれない。

図１７Ｂに一実施例に従う装置２００のブロック図を示す。セグメンテーション格納器１４０は、各セグメンテーションが予測センサ応答１１０の対応するセットから導出される１つ以上の色空間のセグメンテーションを格納する。そのような１つまたは複数のセグメンテーションは、非限定的にここに記述したように方法Ｍ５００および／またはＭ６００の１つ以上の実施に従って導出されるかもしれない。画素分類器(pixel classifier)１５０は、セグメンテーション格納器１４０の１つ以上のセグメンテーションに従って、画像の画素を分類する。そのような分類は、非限定的に、ここに記述したような方法Ｍ７００、Ｍ８００および／またはＭ９００の１つ以上の実施に従って実行されるかもしれない。ディスプレイ１６０は、センサ１１０によって取得された画像を表示する。この画像は画素分類器１５０で実行される分類に従って処理されるかもしれない。装置２００のさらに別の実施はセンサの光路内の１つ以上のレンズを含むかもしれない。また、装置２００の実施はセンサの光路内に赤外線および／または紫外線阻止フィルタを含むかもしれない。

セグメントの格納器１４０は、半導体メモリー（例えばスタティックまたはダイナミックランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、不揮発性メモリー、フラッシュＲＡＭを非限定的に含む）または強誘電、オボニック、高分子もしくは相変化メモリーのような記憶素子の１つ以上のアレイとして実施されるかもしれない。画素分類器１５０は、マイクロプロセッサ、組み込み制御器、もしくはＩＰコアのような論理素子の１つ以上のアレイとして、および／またはそのような１つのアレイもしくは複数のアレイで実行される１つ以上の命令セットとして実施されるかもしれない。また、装置２００を含むデバイスまたはシステムの場面において、そのような１つのアレイもしくは複数のアレイが、装置２００の操作に直接関係しない命令のような他の命令セットも実行するために用いられるかもしれない。一例において、画素分類器１５０は移動局の携帯電話の操作を制御するように構成されたモデム用チップまたはチップセットの中で実施される。

画素分類器１５０および／または装置２００はここに記述したような画像に関する他の信号処理操作（例えば、黒クランプ、ホワイトバランス、色補正、ガンマ補正、そして／または、色空間変換）を実行するように構成されるかもしれない。ディスプレイ１６０は、特定の用途に適した任意のディスプレイが用いられるかもしれないがＬＣＤまたはＯＬＥＤパネルとして実施されるかもしれない。装置２００の実施の範囲は、ディジタルスチルカメラもしくはビデオカメラのような携帯用もしくはハンドヘルドデバイス、および携帯電話のような１つ以上のカメラを含む携帯通信デバイスを含む。

これまでの色理論のいかなる検討もここに記述された原理の動機を説明するため、および、そのような原理の予想される用途および拡張を開示することに役立つことが理解されるべきである。そのような検討のいかなる態様も、特定の請求項のその態様についての説明によって明白に示されない場合、いかなる請求する構造または方法に限定されるべきではない。

記述された実施例のこれまでの説明は、通常の当業者が本発明を製造しまたは使用することを可能にするように提供されている。これらの実施例への種々の変更は可能であり、また、ここに提示された一般的原理は、他の実施例に同様に適用されるかもしれない。ここに説明したような方法は、ハードウェア、ソフトウェア、および／または、ファームウェアで実施されるかもしれない。そのような方法の種々のタスクは、マイクロプロセッサ、組み込み制御器、またはＩＰコアのような論理素子の１つ以上のアレイによって実行可能な命令セットとして実施されるかもしれない。一例において、１つ以上のそのようなタスクは、携帯電話のようなパーソナル通信デバイスの種々のデバイスの操作を制御するように構成された移動局のモデム用チップまたはチップセットの中での実行のために配置される。

一実施例は、配線された回路として、特定用途向け集積回路に製作された回路構成として、または不揮発性メモリー内にロードされたファームウェアプログラムもしくは機械可読コードとして格納されたデータからもしくはデータ内にロードされたソフトウェアプログラムとして、一部または全部が実施されるかもしれない。そのような機械可読コードはマイクロプロセッサまたは他のディジタル信号処理ユニットのような論理素子のアレイによって実行可能な命令である。データ記憶媒体は、半導体メモリー（これはダイナミックもしくはスタティックＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを非限定的に含むかもしれない）もしくは強誘電、オボニック、高分子もしくは相変化メモリーのような記憶素子のアレイ、または、磁気もしくは光ディスクのようなディスク媒体であるかもしれない。

ここではＣＣＤおよびＣＭＯＳセンサを述べたが、用語「センサ」は、非晶質および結晶シリコンセンサ並びに他の半導体および／またはヘテロ接合を用いて作製されたセンサとを含む、複数の光感応性サイトまたは素子を有する任意のセンサも含む。したがって、実施例の範囲は、上に示した実施例に限定されることを意図されていず、むしろ、ここに開示した原理および新規な特徴と矛盾しない最も広い範囲に一致することである。

Claims (34)

1. 第１の色空間内において１組の位置を得ることと、なお該１組の位置の各々は複数の目標の１つに対応するセンサによる応答に基づいており、前記複数の目標の各々は異なる反射率スペクトルを有しており、
   表面の反射率スペクトルを複数目標の反射率スペクトルの組合せへ分解することに基づいて１組のパラメータを得ることと、
   １組の位置およびパラメータに基づいて、表面に対するセンサの予測応答を得ることを含む、
   センサを特性化する方法。
2. 前記１組のパラメータは係数ベクトルであって、係数ベクトルの各要素は複数の目標の異なる１つの反射率スペクトルに対応する、請求項１に記載のセンサを特性化する方法。
3. 前記方法は、複数の人間の皮膚表面の各々に対するセンサの予測応答を得ることを含む、請求項１に記載のセンサを特性化する方法。
4. 前記方法はセンサの複数の予測応答を得ることを含む方法であって、複数の予測応答の各々が、所望のセグメンテーションクラスに属する複数の表面の対応する１つに対するセンサの予測応答である、請求項１に記載のセンサを特性化する方法。
5. 第１の色空間内の１組の位置の各々が、第１の照明下の複数の目標の対応する１つに対するセンサの応答に基づいており、
   センサの複数の予測応答を前記得ることが、
   位置の第２の組の各々が、第１の照明とは異なるスペクトルパワー分布を有する第２の照明下の複数の目標の対応する１つに対するセンサによる応答に基づいている、第１の色空間内の前記位置の第２の組を得ることと、
   位置の第２の組に基づいて複数の表面の各々に対するセンサの予測応答を得ること、とを含む、
   請求項４に記載のセンサを特性化する方法。
6. 前記方法はパラメータの複数の組を得ることを含み、パラメータの複数の組の各々は、複数の目標の反射率スペクトルの組合わせへの、複数の表面の１つに対応する反射率スペクトルの分解に基づいており、
   所望のセグメンテーションクラスに属する複数の表面の各々に対するセンサの予測応答を前記得ることは、複数の表面の各々について、前記表面に対するセンサの予測応答を位置の組およびパラメータの対応する組に基づいて得ることを含む、
   請求項４に記載のセンサを特性化する方法。
7. センサの複数の予測応答に基づいて第２の色空間のセグメンテーションを計算することを含む、請求項４に記載のセンサを特性化する方法。
8. 第２の色空間のセグメンテーションの前記計算が、センサの複数の予測応答に基づいて、第２の色空間の複数のセグメンテーションを計算することを含み、各セグメンテーションは輝度値の範囲の異なる部分に対応する、請求項７に記載のセンサを特性化する方法。
9. 第１の色空間が原色空間であり、第２の色空間が輝度−色差色空間である、請求項７に記載のセンサを特性化する方法。
10. 前記複数の予測応答が、目標の対応する１つに対するセンサの模擬応答に基づく予測応答を含む、請求項４に記載のセンサを特性化する方法。
11. センサの模擬応答がセンサの決定された雑音特性に基づいている、請求項１０に記載のセンサを特性化する方法。
12. センサによって取得された画像の複数の画素の各々をセグメンテーションに従って分類することを含む、請求項４に記載のセンサを特性化する方法。
13. 前記方法が複数の画素の各々を人間の皮膚の色調として分類する、請求項１２に記載のセンサを特性化する方法。
14. 請求項１に記載のセンサを特性化する方法を記述する命令を有するデータ格納媒体。
15. センサによって取得された生の画像に基づく画像を受け取ることと、
    画像の複数の画素の各々に対して、色空間の予め定めたセグメンテーションに従って画素を分類することとを含み、
    予め定めたセグメンテーションがセンサの複数の予測応答に基づいており、かつ
    複数の予測応答の各々が複数の目標に対する応答の同じセットに基づいており、応答のセットの各々が複数の目標の対応する１つに対するセンサの応答である、
    画像処理方法。
16. 予め定めたセグメンテーションが（Ａ）複数の表面の対応する１つの反射率スペクトルと（Ｂ）各々が複数の目標の対応する１つの反射率スペクトルである反射率スペクトルの組との間の関係に基づく、請求項１５に記載の画像処理方法。
17. 予め定めたセグメンテーションが、色空間内の予測応答の分布に基づく、請求項１５に記載の画像処理方法。
18. 画像の場面光源を決定することと、
    決定された場面光源に従って、複数のセグメンテーションの中から予め定めたセグメンテーションを選択することとを含む、
    請求項１５に記載の画像処理方法。
19. 画像の場面光源を決定することと、
    複数の画素の各々を前記分類することに先立ち、決定された場面光源および参照光源に従って画像に色順応変換を実行することと、
    参照光源に従って複数のセグメンテーションの中から予め定めたセグメンテーションを選択することとを含む、
    請求項１５に記載の画像処理方法。
20. 複数の画素の各々を前記分類することが、画素の輝度値に従って複数のセグメンテーションの中から予め定めたセグメンテーションを選択することを含む、請求項１５に記載の画像処理方法。
21. 複数の画素の各々を前記分類することが、画素の色値が人間の皮膚の色調の予め定めた範囲内にあるかを決定することを含む、請求項１５に記載の画像処理方法。
22. センサによって時間に沿って取得された画像のシーケンスにおいて、人間の皮膚の色調の予め定めた範囲内の色値を有する領域を追跡することを含む、請求項１５に記載の画像処理方法。
23. センサを含む携帯デバイスのディスプレイ上に画像を表示することを含む、請求項１５に記載の画像処理方法。
24. 画像を圧縮すること含み、前記圧縮が、１画素当たりビットの第１の比でセグメント内の画像の部分を符号化することと、１画素当たりビットの第１の比より小さい第２の比でセグメントの外の画像の部分を符号化することとを含む、請求項１５に記載の画像処理方法。
25. 画像にガンマ補正を適用することを含み、前記ガンマ補正がセンサの観測された応答に基づく、請求項１５に記載の画像処理方法。
26. 請求項１５に記載のセンサを特性化する方法を記述する命令を有するデータ格納媒体。
27. 画像センサと、
    色空間のセグメンテーションを格納するように構成された記憶素子のアレイと、
    セグメンテーションに従って、センサによって取得された画像の複数の画素の各々を分類するように構成された画素分類器とを含み、
    セグメンテーションがセンサの複数の予測応答に基づき、かつ
    複数の予測応答の各々が、複数の目標に対する応答の同じ組に基づいており、応答の組の各々は、複数の目標の対応する１つに対するセンサの応答である、
    画像処理装置。
28. セグメンテーションが、（Ａ）複数の表面の対応する１つの反射率スペクトルと（Ｂ）各々が複数の目標の対応する１つの反射率スペクトルである反射率スペクトルの組との間の関係に基づく、請求項２７に記載の画像処理装置。
29. 前記画素分類器が、画像の場面光源を決定するように、および決定された場面光源に従って、複数のセグメンテーションの中から前記セグメンテーションを選択するように構成された、請求項２７に記載の画像処理装置
30. 前記画素分類器が、画素の輝度値に従って、複数のセグメンテーションの中から前記セグメンテーションを選択するように構成された、請求項２７に記載の画像処理装置。
31. 前記画素分類器が、画素の色値が人間の皮膚の色調の予め定めた範囲内にあるかを決定するように構成された、請求項２７に記載の画像処理装置。
32. 前記画素分類器が、センサによって時間に沿って取得された画像のシーケンスにおいて、人間の皮膚の色調の予め定めた範囲内の色値を有する領域を追跡するように構成された、請求項２７に記載の画像処理装置。
33. 画像を表示するように構成されたディスプレイを含む、請求項２７に記載の画像処理装置。
34. 前記画素分類器が、１画素当たりビットの第１の比でセグメント内の画像の部分を符号することと、１画素当たりビットの第１の比より小さい第２の比でセグメントの外の画像の部分を符号化することとによって画像を圧縮するように構成された、請求項２７に記載の画像処理装置。

Images