JP2005509342A

JP2005509342A - 照明源固有ｈｓｖ色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム

Info

Publication number: JP2005509342A
Application number: JP2003542970A
Authority: JP
Inventors: ダバーピシュバ
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-11-07
Filing date: 2001-11-07
Publication date: 2005-04-07
Anticipated expiration: 2021-11-07
Also published as: US20040208359A1; JP3809838B2; WO2003041012A1; US7555159B2

Abstract

【目的】特殊な装置や設定環境を必要とせず、単一照明・単一画像構成で実施可能な、高速画像ハイライト補正方法を提供する。また、物体の画像における少なくとも不飽和又は有効な画素について、他の画素と独立して当該画素の真の色を求めることを可能とし、それにより、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することを可能とする。さらに、ハイライト箇所を捉える撮像装置の検出素子を完全に飽和させるような強くハイライトされた領域の物体色をより正確に推定することを可能とする多照明的、又は、多視点的、又は、それらを組み合わせた多照明・多視点的方法を提供する。
【構成】画像データを、ＲＧＢ色座標から、明度軸が照明光源の方向に設定された照明源固有ＨＳＶ色座標系に写像するステップと、各画素について、非ハイライトＨＳＶ座標を推定するステップと、ＲＧＢ系において、非ハイライト画像を復元するステップからなる画像ハイライト補正法、および、この画像ハイライト補正法を用いた画像ハイライト補正プログラムと画像取得システムを提供する。

Description

産業上の利用分野

本発明は、マシンビジョンの分野において、画像中のハイライトの下に存在する色を推定する方法に関する。殆どのマシンビジョン用途では、光の反射によって生じる画像の解析が行われる。また、物体の表面色はコンピュータビジョン用途において最も重要な情報の一つである。但し、画像として記録された色は、物体上のてかり、又は、ハイライトとして現れる鏡面又は界面反射を含むため、物体の真の色を示すとは限らない。また、ハイライト領域を捉える撮像装置の検出素子の飽和が起こるほどハイライトが強い場合がある。

プラスチック等の誘電材料からの反射光Ｌは、通常、二つの異なる反射成分、すなわち、鏡面又は界面反射成分Ｌ_Ｓと、拡散又は物体反射成分Ｌ_Ｂからなる。鏡面又は界面反射は物体の表面で起こり、入射光線、表面に対する法線、及び、反射光線が共平面となるよう一方向にのみ起こり、入射光線と反射光線のそれぞれが表面法線に対して形成する角度はお互いに等しくなる。一般に、Ｌ_Ｓは、照明光と同じパワースペクトルを持ち、物体上のてかり、又は、ハイライトとして現れるので、照明源色と称される場合もある。

図１に示すように、入射光の全てが表面で反射されるのではなく、その一部は、材料に進入し、屈折した光線が時々色素にぶつかりながら媒体を通過していく。そして材料の内部において、光線は異なる屈折率を持つ境界面において反射と屈折を繰り返し、最終的には、一部の散乱光が表面に戻り、あらゆる方向に沿って材料の外部に出て行くことにより、拡散又は物体反射成分Ｌ_Ｂを形成する。この成分が物体の色情報を持ち、物体色とも称される。

２色性反射モデル（ＤｉｃｈｒｏｍａｔｉｃＲｅｆｌｅｃｔａｎｃｅＭｏｄｅｌ、ＤＲＭ）によれば、プラスチック、ペンキ、紙、セラミックス等の誘電体からの反射光Ｌは、鏡面反射成分Ｌ_Ｓと物体反射成分Ｌ_Ｂの混合であると推定する。このモデルは以下の式で表現できる。

ここで、λは波長、φは入射光の角度、φは反射光の角度、及び、θは位相角を示す。また、ｍ_ｓとｍ_ｂは、幾何学的スケール係数で、Ｃ_Ｓ（λ）とＣ_Ｂ（λ）はそれぞれ、鏡面反射色ベクトルと物体色ベクトルを示す。

ＴＶカメラの場合のように、シーンラディアンスの記述を可視光の赤、緑、及び、青のスペクトル領域に限定した場合、シーンラディアンスを以下の３×１色ベクトルで表すことが出来る。

ここで、（ｘ，ｙ）は、画素の位置を示し、Ｃ（ｘ，ｙ）は、観察された色ベクトルを示す。図２からわかるように、この式は、観察された色Ｃ（ｘ，ｙ）がＣ_ＳとＣ_ｂ（ｘ，ｙ）の二つのベクトルによってスパンされた面内に分布することを意味する。なお、Ｃ_Ｓは、一つの照明色を表すので、画素位置に依存しない。従って、Ｃ_ＳとＣ（ｘ，ｙ）が推定できれば、鏡面反射を拡散反射から区別することができ、しいては、拡散反射、すなわち、真の色を得ることができる。

従来、上記の推定は、複数の照明を用いる方法（Ｎ．Ｎａｙａｒ，Ｋ．ＩｋｅｕｃｈｉａｎｄＴ．Ｋａｎａｄｅ，“ＤｅｔｅｒｍｉｎｉｎｇＳｈａｐｅａｎｄＲｅｆｌｅｃｔａｎｃｅｏｆＨｙｂｒｉｄＳｕｒｆａｃｅｓｂｙＰｈｏｔｏｍｅｔｒｉｃＳａｍｐｌｉｎｇ”，ＩＥＥＥＴｒａｎｓ．ｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ，Ｖｏｌ．６，Ｎｏ．４，ｐｐ．４１８−４３１（１９９０））、又は、複数の画像を用いる方法（Ｍ．Ｏｔｓｕｋｉ，Ｙ．Ｓａｔｏ，“ＨｉｇｈｌｉｇｈｔＳｅｐａｒａｔｉｏｎＵｓｉｎｇＭｕｌｔｉｐｌｅＩｍａｇｅｓｗｉｔｈＩｎｔｅｎｓｉｔｉｅｓａｎｄＲａｎｇｅｓ”，ＭＶＡ’９６，ＩＡＰＲＷｏｒｋｓｈｏｐｏｎＭａｃｈｉｎｅＶｉｓｉｏｎＡｐｐｌｉｃａｔｉｏｎ，ｐｐ．２９３−２９６（１９９６））によってなされた。複数の照明を用いる方法では、対象物を同じ視点から見ながら複数の照明源を使って、すなわち、Ｃ_Ｓ成分を変化させてＣ_ｂ成分を推定し、数式２を解いて、真の物体色を得る。一方、複数の画像を用いる方法では、同様の作用を単一の固定された光源を用い、複数の異なる姿勢から対象物の画像を観察することにより、実現している。

上記の従来技術では、ＤＲＭを採用し、画像の各領域の画素が色空間において形成する反射光分布のパターンを使って物体色を推定している。しかし、繊細又は複雑な色変化を持つ対象物の画像の場合のように、解析される画像領域が複数の異なる色クラスターからなる場合、上記従来技術の取り組み方は効果的ではない。さらに、上記の方法はいずれも特殊な装置（複数の光源を備えた装置、又は、異なる姿勢から画像を捉えることを可能とする装置）や特殊な設定環境を必要とし、処理時間も長い。従って、これらの方法は、あらゆる環境における対象物に柔軟に応用することができず、マシンビジョン用途における高い速度という要求に応えるごとができない。

発明が解決しようとする課題

本発明は、上記事情に鑑みてなされたもので、その目的は、特殊な装置や設定環境を必要としない単一照明・単一画像構成で実施可能な、高速ハイライト補正法を提供することにある。また、本発明の目的は、物体の画像における少なくとも不飽和又は有効な画素について、他の画素と独立して当該画素の真の色を求めることを可能とし、それにより、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することを可能とすることにある。本発明のさらなる目的は、ハイライト箇所を捉える撮像装置の検出素子を完全に飽和させるような強くハイライトされた領域の物体色をより正確に推定することを可能とする多照明、又は、多視点、又は、それらを組み合わせた多照明・多視点手法を提供することにある。

上記の目的を達成するために、本発明では、明度軸が照明光源の色ベクトルに沿った照明源固有ＨＳＶ色座標系を提案し、ＲＧＢ色座標系の画像データを、上記照明源固有ＨＳＶ色座標系に写像するステップと、各画素について、非ハイライトＨＳＶ座標を推定するステップと、ＲＧＢ系において、非ハイライト画像を復元するステップからなる画像ハイライト補正方法を提供する。

真の物体色を推定するにあたり、本手法では、画像データを、撮像装置の検出素子の飽和が生じなかった（ＤＲＭを適応できる）有効画素の群と、撮像装置の検出素子が飽和が生じた非有効画素の群に分ける。有効画素の群については、各画素を、光源ベクトルに沿って照明源固有ＨＳＶ色座標のＳ−Ｈ面に投影し、各画素についてハイライトの影響を除去したＨＳＶ色座標を求めることにより、正確な物体色を推定する。これにより、それぞれの画素の真の物体を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することが可能となる。また、各非有効画素はＤＲＭに従わないので、それらの真ＲＧＢ色座標は、隣接する非ハイライト画素の色との関連を用いて推定する。

上記の方法は、単一の照明源と単一の画像を用いて対象物の真の色を推定することを可能とし、高速かつ特殊な装置や設定環境を必要としないシステムで実施できるという利点を持つ。さらに、対象物の画像の内、少なくとも有効画素については、それぞれの画素の真の物体色を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することができる。

また、非有効画素が画像のかなりの部分を占めてしまうような撮像環境に対して、本発明は、強くハイライト（飽和）された画像領域の物体色のより正確な推定を可能とする、新しい複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法を提供する。本発明による複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法では、上記の非有効画素のそれぞれについて、対応する有効画素を他の画像から得る。この方法では、二つ以上の画像又は光源を用いるが、画像ハイライト補正に上記のＲＧＢ投影法を用いるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定できるという利点を持つ。さらに、単一の画像の画素において観測される鏡面反射は、異なる照明、視点、或いは、それらの組み合わせの設定のもとで得られる別の画像の対応画素においては観測されないので、本方法では、最低二つの画像又は照明で足りる。

まず、本発明の理解を容易にするために、ＲＧＢ色空間とＨＳＶ色空間の関係を簡単に説明する。
ＲＧＢ色空間は、カメラセンサーやカラーディスプレーの作用原理に基づく、ハードウェア指向の色空間である。図３に示すように、ＲＧＢ色空間においては、赤、緑、青の三原色が正六面体の３つの独立軸に割り当てられる。この空間において、グレースケールは、正六面体の対角線に沿って黒から白へ加算的に変化する。印刷に利用される、シアン、マゼンタ、黄（ＣＭＹ）の三補色は、対向する角に位置付けられ、緑と青を組み合わせることによりシアンを、青と赤を組み合わせることによりマゼンタを、そして、赤と緑を組み合わせることにより黄が形成されるよう構成されている。

ＲＧＢ色空間は、画像表現には非常に有用であるが、画像解析においては、より有用な他の色空間もある。図４に示した、色相、彩度、明度（ＨＳＶ）色空間はそのような色空間の一つで、この空間では、原色は輪の円周上に沿って、お互いから１２０度離れて位置付けられ、二次色は原色の間に置かれ、原色の間の全ての空間が色で埋まれった輪が形成されている。この色で埋まった輪は、色相座標を持ち、波長で表される色を示す。輪の半径は、彩度座標を持ち、色の両を示す。色相−彩度面に垂直な軸が明度（強度）座標を持ち、光の量を示す。

このＨＳＶモデルは、人間による色認識に似ており、その各成分は、画家の色合い、明暗、色調に煮ている。図４に示すように、これらの数値がプロットされる空間は、一対の円錐形で表すことができ、実際に、ＨＳＶモデルの三次元的表現はＲＧＢモデルの正六面体から導かれている。′Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，ａｎｄＶａｌｕｅＣｏｌｏｒＭｏｄｅｌ′，ｈｔｔｐ：／／ｗｗｗ．ｅｄｕｃａｔｉｏｎ．ｓｉｇｇｒａｐｈ．ｏｒｇ／ｍａｔｅｒｉａｌｓ／ＨｙｐｅｒＧｒａｐｈ／ｃｏｌｏｒ／ｃｏｌｏｒｈｓ．ｈｔｍ（ａｃｃｅｓｓｅｄＡｐｒｉｌ２００１）にて示されるように、ＲＧＢモデルの正六面体をグレーの対角線に沿って眺めると、ＨＳＶヘキサコーンである六角形状の形が見える。

図２は、ＲＧＢ色空間における、誘電体の反射色分布の斜視図である。これらの点を光源ベクトルＣ_Ｓに沿って眺めると、理想的には鏡面反射に由来する点が一つの点（一般には重なった点の雲状の集まり）として見えるはずである。以下に、パンのサンプル画像を用いたこの現象の実験結果について延べる。

図５に、中央の赤いジャムの部分がハイライトされたパンの画像をしめす。紙面上の色表現に関する制限のため、この図はグレースケールで表現されており、パンの赤いジャムの部分は、図の中央における暗い部分として示されている。図６は、図５のパンの画像における、鏡面反射色と物体色の斜視図である。この図６は図２と相同であり、照明された赤いジャムの反射色分布を示すものである。図７は、図６のデータを光源ベクトルＣ_Ｓに沿って見た状態を示す。これらのデータについては、緑や青の成分が無いので、全ての物体色は赤の軸上に存在する。同様に、異なる赤色の明度が無いため、物体色の点はお互いに近い位置にある。図６は図２に良く似ており、図７において、ハイライト色はほぼ重なった点の雲状の集まりとなっている。明確を記すため、各反射型（非ハイライト、ハイライト）の点は、１０個ずつのみ示している。

図７からもわかるように、物体色点を光源ベクトルに沿って投影すると、それらの点は赤の軸上の点に収束し、優占する色が赤であることがはっきりする。従って、光源ベクトルＣ_Ｓに直交する、以下にｘ−ｙ面と称する平面への投影は、Ｃ_Ｓベクトルを零にするに等しい。

本発明において、上記ｘ−ｙ面は、極座標変換、すなわち、ｒ、θ変換により照明源固有ＨＳＶ座標系に関連付けられる。すなわち、このｘ−ｙ面は、ｒ、θ変換とオフセット演算を介して照明源固有のＳ−Ｈ面と等しく、この照明源固有のＳ−Ｈ面は、上記の標準的なＨＳＶ座標系に対し、傾斜しており、原点がオフセットされている。この照明源固有ＨＳＶ色座標系は、本発明のハイライト処理手順における主要な要素である。本発明では、照明源固有ＨＳＶ色座標系を、ＲＧＢ正六面体を光源ベクトルに沿って眺めたときに得られる座標系であるとしている。従って、このような照明源固有ＨＳＶ色座標系は、その強度軸が光源ベクトルに沿い、そのＳ−Ｈ面が光源ベクトルに直交する。実際、ＲＧＢ正六面体をそのグレーの対角線に沿って眺めることにより、ＲＧＢ色座標系から導かれる標準のＨＳＶ色座標系は、無色の照明源の照明源固有ＨＳＶ色座標系の特殊な例として扱える。

図８に示すように、照明源固有ＨＳＶ色座標系に基づくハイライト補正方法では、画像の画素のＲＧＢ画像座標が上記強度軸に沿ってｘ−ｙ面に投影される。次に、投影された点は色相（Ｈ）と彩度（Ｓ）の座標値と関連付けられ、これにより投影された画像の点の内、ハイライトを含んでいるもののハイライトの下の色が明らかとなる。その後、適切な明度座標推定により、標準ＨＳＶ色座標系におけるハイライトの無い画像が得られ、この画像は、ＲＧＢ色座標系における同等の、ハイライトの無い画像に変換できる。

次に、本発明の好ましい実施例を説明する。図９は、本発明の実施例である画像取得システム１の略図である。画像取得システム１は、サンプルステージ２、カメラ３（富士フィルム社製ＦＵＪＩＸＤＳ−３３０；８ビット；１．４Ｍピクセル）、及び、光源４から構成される。ここではカメラ３がカラー撮像装置であり、サンプルステージに対し垂直にセットされる。光源４は、サンプル対象物５（本例においては、パン）を入射角４５°で照明するようセットされた専用の蛍光ランプ（ＤＵＲＯ−ＴＥＳＴ社製ＴｒｕｅＬｉｇｈｔ；演色評価数＝９１；色温度＝５５００Ｋ）を二対備える。カメラ３は、ＲＳ−２３２Ｃケーブルを介してコンピュータ６に接続されている。

本発明によるハイライト補正に処するための画像を得る一例を次に説明する。この例において、カメラ３は、オートフォーカス、マニュアル露出、および、マニュアル絞りモードに設定された。反射率が９０％の白色拡散の紙（図示せず）をサンプルステージ２に置き、これを用いてカメラ３のホワイトバランス調節を行った。次にカメラ３を手で持ち、直接入射にて、光源４の一対のランプの画像を得た。この方法により、飽和ピクセルが無いよう設定されたカメラ３の異なる露出時間と絞り値の条件で、光源３の画像を二つ得た。これら光源３の光源画像ＬＩ１とＬＩ２は、コンピュータ６にＪＰＥＧ画像として転送された。

次に、白色拡散紙の反射ＲＧＢ画像のＲ、Ｇ、Ｂの各値がカメラ３のＲ、Ｇ、Ｂそれぞれに関するダイナミックレンジの約８０％となるよう、カメラ３の露出時間、絞り、高さ、ズーム比を設定し、これにより、対象物の画像における最も明るい非ハイライト画素でもカメラ３のダイナミックレンジの８０％以内に確実に収まるようにした。これは、Ｒ、Ｇ、Ｂの各ダイナミックレンジの８０％を超える明るさを持つ画素は必ずハイライト画素であるということをも意味する。但し、これは、Ｒ、Ｇ、Ｂの各ダイナミックレンジの８０％を下回る明るさを持つ画素は必ず非ハイライト画素であるということではなく、そのような画素はハイライト画素又は非ハイライト画素のいずれでもありうる。上記に従い、露出時間は１０ｍｓｅｃに、絞り値はＦ５．６に、及び、高さを４６．３ｃｍに設定した。次に、カメラ３のダーク信号と基準信号とを測定した後、上記の白色拡散紙を基準サンプルとして、その画像ＩＲＥＦをＪＰＥＧ画像としてコンピュータ６に転送した。

次に、背景除去を容易にするための均一な青色のバックグラウンドをサンプルステージ２にセットし、サンプル対象物５をこの青色バックグラウンドの上に置いた。そして、上記条件のもと、カメラ３で撮影したサンプル対象物画像ＯＩをＪＰＥＧ画像としてコンピュータ６に送り、上記の光源画像と対象物画像とを以下に説明するコンピュータプログラムにより処理に処した。

図１０は、コンピュータ６にインストールされたハイライト補正プログラムのフローチャートを示す。まず、ステップＳ１にて、光源画像ＬＩ１、ＬＩ２、及び、対象物画像ＯＩがそれぞれビットマップ画像に変換される。光源画像ＬＩ１とＬＩ２は、光源色ベクトル取得サブルーチン（ステップＳ２）に処せられ、これにより、光源４の色をＲＧＢ色空間におけるベクトルとして求める。すなわち、光源画像ＬＩ１、ＬＩ２のそれぞれについて、画像の中心領域の平均ＲＧＢ値を求め、これらニ画像の平均ＲＧＢ座標（Ｒ_Ｌ１，Ｇ_Ｌ１，Ｂ_Ｌ１）、（Ｒ_Ｌ２，Ｇ_Ｌ２，Ｂ_Ｌ２）より、以下の式を用いて、規格化単位光源ベクトルＬＶのＲＧＢ座標（Ｒ_ＬＶ，Ｇ_ＬＶ，Ｂ_ＬＶ）を求める。

次に、画素有効性評価サブルーチン（ステップＳ３）において、対象物画像ＯＩの各画素の有効性を評価する。この評価において、有効な画素のＲＧＢ座標値は、カメラ３のダイナミックレンジである８ビットに相当する２５５という値の９８％以下である、という基準で画素の有効性を評価する。これにより、それぞれが以下の条件を全て満たす有効画素（Ｒ_１，Ｇ_１，Ｂ_１）から（Ｒ_ｎ，Ｇ_ｎ，Ｂ_ｎ）（ｎは、有効画素の数を示す正数）が得られる。
Ｒ_ｉ ≦ ２５０
Ｇ_ｉ ≦ ２５０
Ｂ_ｉ ≦ ２５０
上記において、ｎ＝１，２，・・・ｎ。

次に、ＨＳＶ色座標面投影サブルーチン（ステップＳ４）において、対象物画像ＯＩの全ての有効画素（Ｒ_１，Ｇ_１，Ｂ_１）から（Ｒ_ｎ，Ｇ_ｎ，Ｂ_ｎ）を単位光源ベクトルＬＶに沿って、照明源固有ＨＳＶ色座標系のｘ−ｙ面に投影する。この座標系では、ｘ−ｙ面は、単位光源ベクトルＬＶに直交し、ＲＧＢ色空間の原点を通る面であると定義し、原点は、ＲＧＢ空間の原点であると定義し、ｘ軸は、単位ベクトルＲＧＢ（０，０，１）を前記光源ベクトルに沿って前記直交平面に投影した点と該原点を結ぶ軸であると定義し、ｙ軸は、前記直交平面内においてｘ軸に直交する軸であると定義し、ｚ軸は、前記原点を通り、前記ｘ軸とｙ軸に直交する軸であると定義している。すなわち、以下の式を用いて、各有効画素（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）（ｉ＝１〜ｎ）より、投影画素（Ｒ′ｉ，Ｇ′_ｉ，Ｂ′_ｉ）（ｉ＝１〜ｎ）の座標値を求める。

次に、θ＝０°を前記ｘ軸の正数側として設定し、ｒ座標を原点から投影点までのベクトルの長さとし、θ座標をθ＝０°に対して反時計方向の角度（°）とし、θ座標が色相に対応し、ｒ座標が彩度に対応する極座標に、ｘ−ｙ面における投影画素（Ｒ′ｉ，Ｇ′_ｉ，Ｂ′_ｉ）を変換するｒ、θ座標変換サブルーチン（ステップＳ５）を実行する。すなわち、投影画素（Ｒ′ｉ，Ｇ′_ｉ，Ｂ′_ｉ）（ｉ＝１〜ｎ）のそれぞれについて、以下の式を用いて、原点から投影画素（Ｒ′ｉ，Ｇ′_ｉ，Ｂ′_ｉ）までの半径ベクトルＯＰ’_ｉの長さｒ_ｉと、各投影画素のｘ軸ベクトルＯＸに対する、反時計回りの角度（°）θ_ｉとを求める。

上記において、・は、点乗積を示す。そして、ベクトルＯＰ’_ｉとＯＸのクロ

０−θ_ｉにする。

次に、彩度色相変換サブルーチン（ステップＳ６）において、ｒ、θの座標値を彩度と色相の座標値に変換する。このサブルーチンでは、まず、赤（ＲＥＤ＝（２５５，０，０））、緑（ＧＲＥＥＮ＝（０，２５５，０）、青（ＢＬＵＥ＝（０，０，２５５））の三原色のＲＧＢ座標を前記単位光源ベクトルＬＶに沿って、照明源固有ＨＳＶ座標系の前記ｘ−ｙ面に投影する。例えば、原色の赤（ＲＥＤ＝（２５５，０，０））の照明源固有ＨＳＶ座標系への投影は、以下の式を用いて実施される。

次にこの投影点を上記と同じｒ、θ座標変換に処して、照明源固有ＨＳＶ座標系のｘ−ｙ面内における座標ｒ_{ＲＥＤＩＳ}とθ_{ＲＥＤＩＳ}を得る。すなわち、投影点（Ｒ’ＲＥＤ，Ｇ’ＲＥＤ，Ｂ’ＲＥＤ）について原点から（Ｒ’ＲＥＤ，Ｇ’ＲＥＤ，Ｂ’ＲＥＤ）への半径ベクトルＯＲＥＤ’の長さｒ_{ＲＥＤＩＳ}と、（Ｒ’ＲＥＤ，Ｇ’ＲＥＤ，Ｂ’ＲＥＤ）のｘ軸ベクトルＯＸに対する反時計回り角度θ_{ＲＥＤＩＳ}を以下のとおり求める。

上記において、・は、点乗積を示す。

そして、ベクトルＯＲＥＤ’とＯＸのクロス乗積により、θ_{ＲＥＤＩＳ}をその余角か

が０未満であれば、θ_{ＲＥＤＩＳ}を３６０．０−θ_{ＲＥＤＩＳ}にする。

上記の処理を緑（ＧＲＥＥＮ）と青（ＢＬＵＥ）に対しても実施して、それぞれのｒ、θ座標ｒ_{ＧＲＥＥＮＩＳ}、θ_{ＧＲＥＥＮＩＳ}とｒ_{ＢＬＵＥＩＳ}、θ_{ＢＬＵＥＩＳ}を求める。

なお、標準ＨＳＶ色座標系のＳ−Ｈ面における、赤（ＲＥＤ）、緑（ＧＲＥＥＮ）、青（ＢＬＵＥ）の三原色の彩度（Ｓ）値と色相（Ｈ）値は既知であり、図１１のＳ−Ｈ面に示すように、それぞれ、Ｓ＝２５５、Ｈ＝０°；Ｓ＝２５５、Ｈ＝１２０°；Ｓ＝２５５、Ｈ＝２４０°である。なお、図１１は、紙面上の色表現に関する制限のため、グレースケールで表現されている。また、ここでは、投影されたＲＧＢ値との関連を簡素化するために、０〜１或いは０％から１００％の標準の彩度（Ｓ）値の範囲を、カメラ３の範囲である０〜２５５で定義している。従って、照明源固有ＨＳＶ色座標系のｘ−ｙ面を標準のＨＳＶ色座標系に関連付ける換算係数ＳＦ_ＲＥＤ、ＳＦ_{ＧＲＥＥＮ}、ＳＦ_ＢＬＵＥ、及び、オフセット値ＡＮＧＤＩＦＦは、以下の式で求められる。

上記の換算係数ＳＦ_ＲＥＤ、ＳＦ_{ＧＲＥＥＮ}、ＳＦ_ＢＬＵＥ、及び、オフセット値ＡＮＧＤＩＦＦを以下の式の通り、各投影画像画素のｒ、θ座標ｒ_ｉ、θ_ｉに対して用いて、各投影画像画素の真の彩度（Ｓ）及び色相（Ｈ）の推定値を求める。

上記の処理を要約すると、対象物の画像ＯＩの有効画素（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）（ｉ＝１〜ｎ）を単位光源ベクトルＬＶに沿って、照明源固有ＨＳＶ色座標系のｘ−ｙ面に投影し、これによって得られた投影画素（Ｒ’_ｉ，Ｇ’_ｉ，Ｂ’_ｉ）（ｉ＝１〜ｎ）を極座標（ｒ_ｉ，θ_ｉ）（ｉ＝１〜ｎ）に変換し、これら極座標をさらにＳＨ座標（Ｓ_ｉ，Ｈ_ｉ）に変換する。次に、各有効画素の非ハイライト明度座標Ｖ_ｉを求める。

各有効画素の非ハイライト明度座標Ｖ_ｉは、非ハイライト明度座標算出サブルーチン（ステップＳ７）にて推定する。図１２は、このサブルーチンのフローチャートを図１２に示す。

まず、ステップＳ２１において、引数ｉ、ｊ、ｋをそれぞれ１に初期化する。次に、ステップＳ２２において、ｉ番目の画素の彩度（Ｓ）値が閾値ＴＨＶ未満であるか否かを判断する。本実施例では、閾値ＴＨＶをカメラ３のフルスケールの２５％に設定している。

ｉ番目の画素の彩度（Ｓ）値が閾値ＴＨＶ未満であると判断されれば、ｉ番目の画素は、モノクロ画素であると見なし、モノクロ画素引数Ｍ_ｊをｉに設定し、最大非ハイライト赤色値（Ｒ＿Ｍａｘ）、最大非ハイライト緑色値（Ｇ＿Ｍａｘ）、及び、最大非ハイライト青色値（Ｂ＿Ｍａｘ）をステップＳ２３にて以下の通り設定する。

上記式において、Ｒ_Ｗは、白色拡散板の画像のＲ値、Ｇ_Ｗは、白色拡散板の画像のＧ値、Ｂ_Ｗは、白色拡散板の画像のＢ値である。すなわち、Ｒ_Ｗ、Ｇ_Ｗ、Ｂ_Ｗは、上記の画像取得構成において得られる最も明るい非ハイライト強度である。次に、ステップＳ２４にて、引数ｊが１で増加された後、ステップＳ２７に入る。

一方、ｉ番目の画素の彩度（Ｓ）値が閾値ＴＨＶ以上であると判断されれば、ｉ番目の画素は、色付き画素であると見なし、色付き画素引数Ｃ_ｋをｉに設定し、Ｒ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿ＭａｘをステップＳ２５にて以下の通り設定する。

上記式において、ρ１、ρ２、ρ３はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である。なお、本実施例では、各拡散板の製造元（財団法人日本色彩研究所）によって提供された反射率比率を用いた。

次に、ステップＳ２６にて引数ｋを１つ増加した後、ステップＳ２７に入る。

上記のステップＳ２１からＳ２６が最大非ハイライト明度算出サブルーチンをなす。

ステップＳ２７では、ｉ番目の画素の色相値Ｈ_ｉがＨ_ｉ＜６０．０、又は、Ｈ_ｉ≧３００．０を満たすか否か判断する。ｉ番目の画素の色相値Ｈ_ｉがＨ_ｉ＜６０．０、又は、Ｈ_ｉ≧３００．０を満たせば、ステップＳ２８に入り、ｉ番目の画素の赤色値（Ｒ_ｉ）が最大非ハイライト赤色値Ｒ＿Ｍａｘ未満であるか否か判断する。Ｒ_ｉがＲ＿ｍａｘ未満であれば、ステップＳ２９において、ｉ番目の画素の明度座標Ｖ_ｉをＲ_ｉに設定する。ステップＳ２８において、Ｒ_ｉがＲ＿ｍａｘ以上であると判断されれば、ステップＳ３０において、ｉ番目の画素の明度座標Ｖ_ｉをＲ＿Ｍａｘに設定する。その後、ステップＳ３８に入る。

一方、ステップＳ２７において、ｉ番目の画素の色相値Ｈ_ｉがＨ_ｉ＜６０．０、又は、Ｈ_ｉ≧３００．０を満たさないと判断されれば、ステップＳ３１に入り、ｉ番目の画素の色相値Ｈ_ｉが６０．０≦Ｈ_ｉ＜１８０．０を満たすか否か判断する。ｉ番目の画素の色相値Ｈ_ｉが６０．０≦Ｈ_ｉ＜１８０．０を満たせば、ステップＳ３２に入り、ｉ番目の画素の緑色値（Ｇ_ｉ）が最大非ハイライト緑色値Ｇ＿Ｍａｘ未満であるか否か判断する。Ｇ_ｉがＧ＿ｍａｘ未満であれば、ステップＳ３３において、ｉ番目の画素の明度座標Ｖ_ｉをＧ_ｉに設定する。ステップＳ３２において、Ｇ_ｉがＧ＿ｍａｘ以上であると判断されれば、ステップＳ３４において、ｉ番目の画素の明度座標Ｖ_ｉをＧ＿Ｍａｘに設定する。その後、ステップＳ３８に入る。

ステップＳ３１において、ｉ番目の画素の色相値Ｈ_ｉが６０．０≦Ｈ_ｉ＜１８０．０を満たさないと判断されれば、ステップＳ３５に入り、ｉ番目の画素の青色値（Ｂ_ｉ）が最大非ハイライト緑色値Ｂ＿Ｍａｘ未満であるか否か判断する。Ｂ_ｉがＢ＿ｍａｘ未満であれば、ステップＳ３６において、ｉ番目の画素の明度座標Ｖ_ｉをＢ_ｉに設定する。ステップＳ３５において、Ｂ_ｉがＢ＿ｍａｘ以上であると判断されれば、ステップＳ３７において、ｉ番目の画素の明度座標Ｖ_ｉをＢ＿Ｍａｘに設定する。その後、ステップＳ３８に入る。

ステップＳ３８にて引数ｉを１つ増加した後、ステップＳ３９において、ｉが有効画素の数ｎを超えているか否か判断する。ｉがｎ以下であれば、ステップＳ２２に戻り、ｉがｎを超えていれば、図１０に示すメインルーチンに戻る。

メインルーチンに戻った後、真ＲＧＢ座標推定サブルーチン（ステップＳ８）に入る。このサブルーチンでは、各有効色付き画素（Ｒ_Ｃｉ，Ｇ_Ｃｉ，Ｂ_Ｃｉ）（Ｃ_ｉ＝Ｃ_１〜Ｃ_ｋ−１）の真ＲＧＢ座標をそれらの画素のＳ、Ｈ、Ｖ値より、既知のＨＳＶ−ＲＧＢ変換方法（例えば、′ＣｏｌｏｒＣｏｎｖｅｒｓｉｏｎＡｌｇｏｒｉｔｈｍｓ′，ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｒｉｔ．ｅｄｕ／〜ｎｃｓ／ｃｏｌｏｒ／ｔｃｏｎｖｅｒｔ．ｈｔｍｌ（２００１年４月にアクセス）に記載の方法）を用いて推定し、各モノクロ画素（Ｒ_Ｍｉ，Ｇ_Ｍｉ，Ｂ_Ｍｉ）（Ｍ_ｉ＝Ｍ_１〜Ｍ_ｊ−１）の真ＲＧＢ座標を以下の式を用いて推定する。

また、各非有効画素の真ＲＧＢ座標を、当該非有効画素に最も近く隣接した、非ハイライト画素のＲＧＢ座標と等しいと推定する。本実施例では、画像の左上角から右下角へという順序で画素が処理され、非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素（Ｒ、Ｇ、Ｂの値がそれぞれ数式２９、数式３０、数式３１のＲ＿Ｍａｘ、Ｂ＿Ｍａｘ、Ｇ＿Ｍａｘ以下である有効画素）を当該非有効画素のＲＧＢ座標を求めるための、当該非有効画素に最も近く隣接した非ハイライト画素として用いている。

有効および非有効画素の両方について、真ＲＧＢ座標の推定値が求まると、真ＲＧＢ座標推定サブルーチン（ステップＳ８）は終了し、これにより、本実施例の画像ハイライト補正プログラムが終了する。ハイライト補正前の画像の例を図１３に示す。この画像は、透明無色のプラスチックに包まれたパンの画像で、強い鏡面反射による飽和ハイライト領域が画像の白く明るい部分として見える。図１４は、上記プログラムによる有効画素のハイライト補正によって得られた画像の例を示す。これからわかるように、本方法によって、楕円形に囲まれた、ハイライトされた有効画素の下にあるパンの真の色が良好に求められている。図１５は、図１４において黒色で示された非有効画素についても、それらに最も近い隣接非ハイライト画素との関連を用いてハイライト補正した、全画像のハイライト補正を示す。これらの図は、紙面上の色表現に関する制限のため、グレースケールで表現されているが、単一の照明光源と単一の画像のみを用いて、飽和ハイライト部分においても、ハイライトの下にあるパンの真の色がうまく求められていることがわかるであろう。

本発明は、上に説明した実施例に限らず、本発明の範囲内においてあらゆる変更が可能である。例えば、上記実施例では、白色拡散紙の反射ＲＧＢ画像のＲ、Ｇ、Ｂの各値が撮像装置（カメラ３）のＲ、Ｇ、Ｂそれぞれに関するダイナミックレンジの約８０％となるよう、露出時間、絞り、高さ、ズーム比等の条件を設定したが、撮像装置の条件を調節するために利用する撮像装置のダイナミックレンジの比率は、８０％に限らず、撮像装置のダイナミックレンジに対して適切であり、本発明の目的を達成できるのであれば、他のいかなる比率を用いてもよい。

また、上記画素有効性評価サブルーチンでは、有効な画素のＲＧＢ座標値は、カメラ３のダイナミックレンジの９８％以下であるという基準で対象物画像の画素を評価したが、有効画素、すなわち、完全に飽和していない画素を、非有効画素、すなわち、完全に飽和した画素から区別できる評価基準であれば、他のいかなる評価基準を用いてもよい。

また、上記明度座標算出サブルーチンでは、モノクロ画素と色付き画素とを区別するための閾値ＴＨＶをカメラ３のフルスケールの２５％に設定したが、この閾値は、モノクロ画素と色付き画素とを区別できれば、他の適当な閾値に設定してもよい。

また、上記明度座標算出サブルーチンにおいて、拡散板の製造元が提供する赤色拡散板、緑色拡散板、及び、青色拡散板の反射率の比率ρ１、ρ２、ρ３を使う代わりに、赤色拡散板、緑色拡散板、及び、青色拡散板の画像を前もってカメラ３で撮像し、色付き画素の場合に使用するＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘをそれぞれ赤色拡散板の画像のＲ値Ｒ_Ｒ、緑色拡散板の画像のＧ値Ｇ_Ｇ、青色拡散板の画像のＢ値Ｂ_Ｂに設定することもできる。

さらに、上記の実施例では、単一の照明光源と単一の画像の利用を説明したが、単一光源の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、位置、姿勢、又は、それらの組み合わせが異なる複数の光源を使うことにより、又は、対象物の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、上記単一光源の位置、姿勢、又は、それらの組み合わせの変更を上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、さらに又は、位置、姿勢、又は、それらの組み合わせが異なる上記複数の光源の使用と上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、二つ以上の対象物画像を得てもよい。この場合、各対象物画像は、それにおける完全飽和画素（非有効画素）が他の対象物画像における完全飽和画素（非有効画素）と完全に重ならないような光源および対象物の条件のもとで得てもよい。また、各対象物画像は、それにおける画像のハイライト部が他の対象物画像におけるハイライト部と完全に重ならないような光源および対象物の条件のもとで得てもよく、この場合、Ｒ、Ｇ、及び、Ｂ値のいずれか一つでも白色拡散板の画像の対応するＲ、Ｇ、及び、Ｂ値より大きい対象物画像画素がハイライト画素であるとする判断基準、又は、Ｒ値が赤色拡散板の画像のＲ値より大きい、又は、Ｇ値が緑色拡散板の画像のＧ値より大きい、又は、Ｂ値が青色拡散板の画像のＢ値より大きい対象物画像画素がハイライト画素であるとする判断基準に基づいてハイライト画素を識別してもよい。

そして、このような複数照明／視点方法で得られた画像をそれぞれ上記のような画像ハイライト補正プログラムに処して複数組の推定真ＲＧＢ座標を得た後、対象物について得られたこれら推定真ＲＧＢ座標組を、推定真ＲＧＢ座標合成サブルーチンにおいて合成し、有効画素から推定真ＲＧＢ座標のみからなる合成推定真ＲＧＢ座標の組を形成してもよい。さらにまた、二つ以上の画像を合成し、この合成画像を上記のような画像ハイライト補正プログラムに処して、対象物の真の色を推定してもよい。これらの方法は、飽和、又は、非有効画素が広い面積を占めるような光沢の強い対象物の真の色の正確な推定を可能とする利点を持ち、多くの場合、真の色の正確な推定には、二つの画像のみが必要となる。

発明の効果

上に説明したように、本発明による方法、プログラム、又は、システムは、対象物の真の色とともに、ハイライト又は光沢として対象物上に現れる鏡面又は界面反射をも含みうる対象物の記録画像から対象物の真の色を求めることを可能とする。よって、本発明による方法、プログラム、又は、システムは、認識過程において対象物の真の色を求めることを必要とするいかなるマシンビジョン又はパターン認識システムにも使用できる。本発明による方法、プログラム、又は、システムは、特に対象物の画像が繊細又は複雑な色変化を示す場合に有効である。

ガラス等の透明物体を通して記録された画像は、ゴーストイメージの形で鏡面反射成分を含むことがある。本発明による方法、プログラム、又は、システムは、そのようなゴーストイメージの除去を可能とする。従って、本発明による方法、プログラム、又は、システムは、ガラス等の透明物体を通して画像が撮影されるいかなるマシンビジョン又はパターン認識システムにも使用できる。

具体例として、パン焼きへの応用が挙げられる。対象物の表面色や表面色の均一性は、パン焼き製品の品質保証における重要な判断基準であり、それらは、最適な焼き時間と直接的な関係にある。最適な焼き時間を正確に求めるのは非常に困難であり、それは、周囲の温度や湿度、オーブンの温度、そして、最も重要な事項として、パン生地に使用される小麦粉やベーキングパウダーの水分、正確な混合比、及び、生地の発酵時間に左右される。この分野の当事者によると、同じ種類の混合物や組成物でも、最適な焼き時間は、バッチごとに異なる。実際のパン焼き工程において、焼かれている対象物の画像をオーブンのガラスを通して捉える撮像装置を使用した、マシンビジョンを応用したオーブンシステムを利用すれば、フィードバック機構によって最適な焼き時間を求めることができる。本発明による方法、プログラム、又は、システムをこのようなマシンビジョンを応用したオーブンシステムに利用して、画像中のハイライト部を補正したり、ゴーストイメージを除去すれば、焼かれている対象物の真の色が得られ、それらを物体色解析に処して、最適焼き時間決定過程の自動化を可能にすることができる。

誘電材料による光反射を表した略図である。ＲＧＢ色空間における、誘電体の反射色分布の斜視図である。ＲＧＢ色空間の略図である。ＨＳＶ色空間の略図である。中央の赤いジャムの部分がハイライトされたパンの画像である。図５のパンの画像における、鏡面反射色と物体色の斜視図である。図６のデータを光源ベクトルに沿って見た状態を示す図である。画像の画素のｘ−ｙ面への投影を示す略図である。本発明の実施例である画像取得システムの略図である。本発明の実施例であるハイライト補正プログラムのフローチャートである。Ｓ−Ｈ面を示す図である。非ハイライト明度座標算出サブルーチンのフローチャートである。ハイライト補正前の画像の例を示す図である。ハイライト補正プログラムによる有効画素のハイライト補正によって得られた画像の例を示す図である。非有効画素についての補正をも含めたハイライト補正によって得られた画像の例を示す図である。

Claims

撮像に用いる光源の色を求めるステップと、
前記光源で対象物を照明するステップと、
照明された前記対象物のＲＧＢ反射像をカラー撮像装置を用いて得るステップと、
前記光源の色をＲＧＢ色空間におけるベクトルとしてプロットするステップと、
前記光源ベクトルに直交し、かつ、ＲＧＢ色空間の原点を通る平面を作成するステップと、
前記ＲＧＢ画像の全ての画素を前記光源ベクトルに沿って前記直交平面に投影するステップと、
ＲＧＢ色空間の原点を原点とし、単位ベクトルＲＧＢ（０，０，１）を前記光源ベクトルに沿って前記直交平面に投影した点と前記原点を結ぶ軸をｘ軸とし、前記直交平面内においてｘ軸に直交する軸をｙ軸とし、前記原点を通り、前記ｘ軸とｙ軸に直交する軸をｚ軸とする照明源固有ＨＳＶ色座標系を構築するステップと、
有効な画素のＲＧＢ座標は不飽和である、すなわち、前記カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価するステップと、
θ＝０°を前記ｘ軸の正数側として設定し、原点から投影点までのベクトルの長さをｒ座標とし、θ＝０°に対して反時計方向の角度（°）をθ座標とすることにより、ｘ−ｙ平面に投影されたＲＧＢ画像の各点の座標を、θ座標が色相に対応し、ｒ座標が彩度に対応する、極座標に変換するステップと、
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のＲＧＢ座標を前記平面に投影し、これら三原色の投影点のｒ、θ座標を求め、三原色のｒ、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これらの換算係数とオフセット値を、画像の画素の投影点のｒ、θ座標に適用することにより、前記のステップにおける極座標変換により得られたｒ、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度（Ｓ）値と色相（Ｈ）値を求めるステップと、
各有効画素の非ハイライト明度座標Ｖを求めるステップと、
各画素の前記Ｓ、Ｈ、Ｖ値より各画素の真ＲＧＢ座標を推定するステップからなることを特徴とする画像ハイライト補正方法。
前記各有効画素の非ハイライト明度座標Ｖを求めるステップにおいて、画素の色相値ＨがＨ＜６０．０、又は、Ｈ≧３００．０を満たし、その画素の赤色（Ｒ）値が最大非ハイライト赤色値（Ｒ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｒ
画素の色相値ＨがＨ＜６０．０、又は、Ｈ≧３００．０を満たし、その画素の赤色（Ｒ）値が最大非ハイライト赤色値（Ｒ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｒ＿Ｍａｘ
画素の色相値Ｈが６０．０≦Ｈ＜１８０．０を満たし、その画素の緑色（Ｇ）値が最大非ハイライト緑色値（Ｇ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｇ
画素の色相値Ｈが６０．０≦Ｈ＜１８０．０を満たし、その画素の緑色（Ｇ）値が最大非ハイライト緑色値（Ｇ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｇ＿Ｍａｘ
画素の色相値Ｈが１８０．０≦Ｈ＜３００．０を満たし、その画素の青色（Ｂ）値が最大非ハイライト青色値（Ｂ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｂ
画素の色相値Ｈが１８０．０≦Ｈ＜３００．０を満たし、その画素の青色（Ｂ）値が最大非ハイライト青色値（Ｂ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定する、
Ｖ＝Ｂ＿Ｍａｘ
ことを特徴とする請求項１記載の画像ハイライト補正方法。
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射ＲＧＢ像のＲ、Ｇ、Ｂ値がそれぞれ前記カラー撮像装置のＲ、Ｇ、Ｂの各ダイナミックレンジの所定の割合（％）となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射ＲＧＢ像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Ｖを求めるステップにおいて、有効画素の彩度（Ｓ）値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定し、
Ｒ＿Ｍａｘ＝Ｒ_Ｗ
Ｇ＿Ｍａｘ＝Ｇ_Ｗ
Ｂ＿Ｍａｘ＝Ｂ_Ｗ
（ただし、上記式において、Ｒ_Ｗは、白色拡散板の画像のＲ値、Ｇ_Ｗは、白色拡散板の画像のＧ値、Ｂ_Ｗは、白色拡散板の画像のＢ値である）
色付きの場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定する
Ｒ＿Ｍａｘ＝Ｒ_Ｗ × ρ１
Ｇ＿Ｍａｘ＝Ｇ_Ｗ × ρ２
Ｂ＿Ｍａｘ＝Ｂ_Ｗ × ρ３
（ただし、上記式において、ρ１、ρ２、ρ３はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である）
ことを特徴とする請求項２記載の画像ハイライト補正方法。
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射ＲＧＢ像のＲ、Ｇ、Ｂ値がそれぞれ前記カラー撮像装置のＲ、Ｇ、Ｂの各ダイナミックレンジの所定の割合（％）となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射ＲＧＢ像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Ｖを求めるステップにおいて、有効画素の彩度（Ｓ）値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定し、
Ｒ＿Ｍａｘ＝Ｒ_Ｗ
Ｇ＿Ｍａｘ＝Ｇ_Ｗ
Ｂ＿Ｍａｘ＝Ｂ_Ｗ
（ただし、上記式において、Ｒ_Ｗは、白色拡散板の画像のＲ値、Ｇ_Ｗは、白色拡散板の画像のＧ値、Ｂ_Ｗは、白色拡散板の画像のＢ値である）
色付きの場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定する
Ｒ＿Ｍａｘ＝Ｒ_Ｒ
Ｇ＿Ｍａｘ＝Ｇ_Ｇ
Ｂ＿Ｍａｘ＝Ｂ_Ｂ
（ただし、上記式において、Ｒ_Ｒは、赤色拡散板の画像のＲ値、Ｇ_Ｇは、緑色拡散板の画像のＧ値、Ｂ_Ｂは、青色拡散板の画像のＢ値である）
ことを特徴とする請求項２記載の画像ハイライト補正方法。
前記しきい値がカラー撮像装置のフルスケールの２５％であることを特徴とする請求項３又は４記載の画像ハイライト補正方法。
前記カラー撮像装置のダイナミックレンジの所定の割合（％）がカラー撮像装置のダイナミックレンジの８０％であることを特徴とする請求項３から５のいずれか１項記載の画像ハイライト補正方法。
前記真ＲＧＢ座標を推定するステップにおいて、各色付き画素の真ＲＧＢ座標をその画素のＳ、Ｈ、Ｖ値よりＨＳＶ−ＲＧＢ変換法によって推定し、各モノクロ画素の真ＲＧＢ座標を以下の関係式により推定し、
Ｒ＝Ｇ＝Ｂ＝Ｖ
各非有効画素の真ＲＧＢ座標を隣接する有効画素の色との関連より推定することを特徴とする請求項１から６のいずれか１項記載の画像ハイライト補正方法。
前記真ＲＧＢ座標を推定するステップにおいて、非有効画素の真ＲＧＢ座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項７記載の画像ハイライト補正方法。
前記真ＲＧＢ座標を推定するステップにおいて、非有効画素の真ＲＧＢ座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真ＲＧＢ座標と等しいと推定することを特徴とする請求項８記載の画像ハイライト補正方法。
前記真ＲＧＢ座標を推定するステップにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真ＲＧＢ座標を推定するステップにおける当該非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項８又は９記載の画像ハイライト補正方法。
各画素の前記有効性を、有効画素とは、その３つのＲＧＢ座標値のいずれもがカラー撮像装置のフルスケールレンジの９８％を超えない画素であるという評価基準によって評価することを特徴とする請求項１から１０のいずれか１項記載の画像ハイライト補正方法。
請求項１から１１のいずれか１項記載の方法を実施して、対象物について、一組の推定真ＲＧＢ座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、
請求項１から１１のいずれか１項記載の方法を実施して、対象物について、別の一組の推定真ＲＧＢ座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、前記請求項１から１１のいずれか１項記載の方法を実施するステップとを繰り返すステップと、
得られた推定真ＲＧＢ座標値の各組を、推定真ＲＧＢ座標値がすべて有効画素より推定した真ＲＧＢ座標値となるよう合成するステップ
からなることを特徴とする画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項１２記載の画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、光源を、別の色、強度、位置、姿勢、又は、それらの組み合わせを持つ光源に変更することによってなされることを特徴とする請求項１２記載の画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項１２記載の画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、カラー撮像装置の位置、視野、ダイナミックレンジ、又は、それらの組み合わせを変更することによってなされることを特徴とする請求項１２記載の画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないようなされることを特徴とする請求項１２から１６のいずれか１項記載の画像ハイライト補正方法。
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないようなされることを特徴とする請求項１２から１６のいずれか１項記載の画像ハイライト補正方法。
前記対象物のＲＧＢ反射像を得るステップにおいて得られる画像は、前記光源の異なる位置又は姿勢設定、又は、前記対象物の異なる位置又は姿勢設定において得られた各画像を合成して得られた合成画像であることを特徴とする請求項１から１１のいずれか１項記載の画像ハイライト補正方法。
前記合成される各画像は、ある画像における完全飽和画素が他の画像における完全飽和画素と完全に重ならないことを特徴とする請求項１９記載の画像ハイライト補正方法。
前記合成される各画像は、ある画像におけるハイライト画素が他の画像におけるハイライト画素と完全に重ならないことを特徴とする請求項１９記載の画像ハイライト補正方法。
ハイライト画素を識別するステップをさらに含むことを特徴とする請求項１８又は２１記載の画像ハイライト補正方法。
前記ハイライト画素を識別するステップにおいて、Ｒ、Ｇ、及び、Ｂ値のいずれか一つでも白色拡散板の画像の対応するＲ、Ｇ、及び、Ｂ値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項２２記載の画像ハイライト補正方法。
前記ハイライト画素を識別するステップにおいて、Ｒ値が赤色拡散板の画像のＲ値より大きい、又は、Ｇ値が緑色拡散板の画像のＧ値より大きい、又は、Ｂ値が青色拡散板の画像のＢ値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項２２記載の画像ハイライト補正方法。
光源の色をＲＧＢ色空間におけるベクトルとして得る光源色ベクトル取得サブルーチンと、
前記光源により照明された対象物のＲＧＢ画像を得る対象物ＲＧＢ画像取得サブルーチンと、
有効な画素のＲＧＢ座標は、カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価する画素有効性評価サブルーチンと、
前記光源ベクトルに直交し、ＲＧＢ色空間の原点を通る平面をｘ−ｙ面とし、ＲＧＢ色空間の原点を原点とし、単位ベクトルＲＧＢ（０，０，１）を前記光源ベクトルに沿って前記ｘ−ｙ面に投影した点と前記原点を結ぶ軸をｘ軸とし、前記ｘ−ｙ面内においてｘ軸に直交する軸をｙ軸とし、前記原点を通り、前記ｘ軸とｙ軸に直交する軸をｚ軸とする照明源固有ＨＳＶ色座標系の前記ｘ−ｙ面に対し、前記ＲＧＢ画像の全ての画素を前記光源ベクトルに沿って投影するＨＳＶ色座標面投影サブルーチンと、
θ＝０°を前記ｘ軸の正数側として設定し、ｒ座標を原点から投影点までのベクトルの長さとし、θ座標をθ＝０°に対して反時計方向の角度（°）とし、θ座標が色相に対応し、ｒ座標が彩度に対応する極座標に、ｘ−ｙ平面に投影されたＲＧＢ画像の各点の座標を変換するｒ、θ座標変換サブルーチンと、
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のＲＧＢ座標を前記平面に投影し、これら三原色の投影点のｒ、θ座標を求め、三原色のｒ、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これら換算係数とオフセット値を、画像の画素の投影点のｒ、θ座標に適用することにより、前記ｒ、θ座標変換サブルーチンにより得られたｒ、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度（Ｓ）値と色相（Ｈ）値を求める彩度色相変換サブルーチンと、
各有効画素の非ハイライト明度座標Ｖを求める非ハイライト明度座標算出サブルーチンと、
各画素の前記Ｓ、Ｈ、Ｖ値より各画素の真ＲＧＢ座標を推定する真ＲＧＢ座標推定サブルーチン
からなることを特徴とする画像ハイライト補正プログラム。
前記非ハイライト明度座標算出サブルーチンにおいて、画素の色相値ＨがＨ＜６０．０、又は、Ｈ≧３００．０を満たし、その画素の赤色（Ｒ）値が最大非ハイライト赤色値（Ｒ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｒ
画素の色相値ＨがＨ＜６０．０、又は、Ｈ≧３００．０を満たし、その画素の赤色（Ｒ）値が最大非ハイライト赤色値（Ｒ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｒ＿Ｍａｘ
画素の色相値Ｈが６０．０≦Ｈ＜１８０．０を満たし、その画素の緑色（Ｇ）値が最大非ハイライト緑色値（Ｇ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｇ
画素の色相値Ｈが６０．０≦Ｈ＜１８０．０を満たし、その画素の緑色（Ｇ）値が最大非ハイライト緑色値（Ｇ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｇ＿Ｍａｘ
画素の色相値Ｈが１８０．０≦Ｈ＜３００．０を満たし、その画素の青色（Ｂ）値が最大非ハイライト青色値（Ｂ＿Ｍａｘ）未満の場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定し、
Ｖ＝Ｂ
画素の色相値Ｈが１８０．０≦Ｈ＜３００．０を満たし、その画素の青色（Ｂ）値が最大非ハイライト青色値（Ｂ＿Ｍａｘ）未満でない場合、当該画素の非ハイライト明度座標Ｖを以下の式で推定する、
Ｖ＝Ｂ＿Ｍａｘ
ことを特徴とする請求項２５記載の画像ハイライト補正プログラム。
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度（Ｓ）値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定し、
Ｒ＿Ｍａｘ＝Ｒ_Ｗ
Ｇ＿Ｍａｘ＝Ｇ_Ｗ
Ｂ＿Ｍａｘ＝Ｂ_Ｗ
（ただし、上記式において、Ｒ_Ｗは、白色拡散板の画像のＲ値、Ｇ_Ｗは、白色拡散板の画像のＧ値、Ｂ_Ｗは、白色拡散板の画像のＢ値である）
色付きの場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定する
Ｒ＿Ｍａｘ＝Ｒ_Ｗ × ρ１
Ｇ＿Ｍａｘ＝Ｇ_Ｗ × ρ２
Ｂ＿Ｍａｘ＝Ｂ_Ｗ × ρ３
（ただし、上記式において、ρ１、ρ２、ρ３はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である）
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項２６記載の画像ハイライト補正プログラム。
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度（Ｓ）値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定し、
Ｒ＿Ｍａｘ＝Ｒ_Ｗ
Ｇ＿Ｍａｘ＝Ｇ_Ｗ
Ｂ＿Ｍａｘ＝Ｂ_Ｗ
（ただし、上記式において、Ｒ_Ｗは、白色拡散板の画像のＲ値、Ｇ_Ｗは、白色拡散板の画像のＧ値、Ｂ_Ｗは、白色拡散板の画像のＢ値である）
色付きの場合のＲ＿Ｍａｘ、Ｇ＿Ｍａｘ、Ｂ＿Ｍａｘを以下のとおり設定する
Ｒ＿Ｍａｘ＝Ｒ_Ｒ
Ｇ＿Ｍａｘ＝Ｇ_Ｇ
Ｂ＿Ｍａｘ＝Ｂ_Ｂ
（ただし、上記式において、Ｒ_Ｒは、赤色拡散板の画像のＲ値、Ｇ_Ｇは、緑色拡散板の画像のＧ値、Ｂ_Ｂは、青色拡散板の画像のＢ値である）
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項２６記載の画像ハイライト補正プログラム。
前記非ハイライト明度座標算出サブルーチンにおける前記しきい値がカラー撮像装置のフルスケールの２５％であることを特徴とする請求項２７又は２８記載の画像ハイライト補正プログラム。
前記真ＲＧＢ座標推定サブルーチンにおいて、各色付き画素の真ＲＧＢ座標をその画素のＳ、Ｈ、およびＶ値よりＨＳＶ−ＲＧＢ変換法によって推定し、
各モノクロ画素の真ＲＧＢ座標を以下の関係式により推定し、
Ｒ＝Ｇ＝Ｂ＝Ｖ
各非有効画素の真ＲＧＢ座標を隣接する有効画素の色との関連より推定することを特徴とする請求項２５から２９のいずれか１項記載の画像ハイライト補正プログラム。
前記真ＲＧＢ座標推定サブルーチンにおいて、非有効画素の真ＲＧＢ座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項３０記載の画像ハイライト補正プログラム。
前記真ＲＧＢ座標推定サブルーチンにおいて、非有効画素の真ＲＧＢ座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真ＲＧＢ座標と等しいと推定することを特徴とする請求項３１記載の画像ハイライト補正プログラム。
前記真ＲＧＢ座標推定サブルーチンにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真ＲＧＢ座標を推定するステップにおいて当該非有効画素の処理の以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項３１又は３２記載の画像ハイライト補正プログラム。
前記画素有効性評価サブルーチンにおいて、各画素の前記有効性を、有効画素とは、その３つのＲＧＢ座標値のいずれもがカラー撮像装置のフルスケールレンジの９８％を超えない画素であるという評価基準によって評価することを特徴とする請求項２５から３３のいずれか１項記載の画像ハイライト補正プログラム。
対象物について複数組の推定ＲＧＢ座標を合成し、有効画素から推定真ＲＧＢ座標のみからなる合成推定真ＲＧＢ座標の組を形成する推定真ＲＧＢ座標合成サブルーチンを
さらに含むことを特徴とする請求項２５から３４のいずれか１項記載の画像ハイライト補正プログラム。
ハイライト画素を識別するハイライト画素識別サブルーチンをさらに含むことを特徴とする請求項２５から３５のいずれか１項記載の画像ハイライト補正プログラム。
前記ハイライト画素識別サブルーチンにおいて、Ｒ、Ｇ、及び、Ｂ値のいずれか一つでも白色拡散板の画像の対応するＲ、Ｇ、及び、Ｂ値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項３６記載の画像ハイライト補正プログラム。
前記ハイライト画素識別サブルーチンにおいて、Ｒ値が赤色拡散板の画像のＲ値より大きい、又は、Ｇ値が緑色拡散板の画像のＧ値より大きい、又は、Ｂ値が青色拡散板の画像のＢ値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項２２記載の画像ハイライト補正プログラム。
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
請求項２５から３８のいずれか１項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する手段と、
異なる前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせにおいて撮影された画像を合成し、対象物の合成画像を対象物のＲＧＢ反射像として提供するプログラムと、請求項２５から３８のいずれか１項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項４０記載の画像取得システム。
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項４０記載の画像取得システム。
光源、又は、色、位置、姿勢、強度、又は、それらの組み合わせが異なる複数の光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置又は複数のカラー撮像装置と、
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する手段と、
請求項３０記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項４３記載の画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項４３記載の画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項４３から４５のいずれか１項記載の画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源を変更する手段であること請求項４３から４５のいずれか１項記載の画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項４３から４５のいずれか１項記載の画像取得システム。
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一のカラー撮像装置の位置、視野、又は、位置と視野の組み合わせを変更する手段であること請求項４３から４５のいずれか１項記載の画像取得システム。
前記対象物に対する照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置を変更する手段であること請求項４３から４５のいずれか１項記載の画像取得システム。