JP2006090897A

JP2006090897A - ２種類の光源を用いた分光反射率推定方式

Info

Publication number: JP2006090897A
Application number: JP2004278061A
Authority: JP
Inventors: Yoshifumi Shimodaira; 美文下平; Tomohiro Horiuchi; 智博堀内
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2004-09-24
Filing date: 2004-09-24
Publication date: 2006-04-06

Abstract

【課題】高忠実度の色再現方式において採用可能な、被写体の分光反射率推定方式を提供する。
【解決手段】撮影対象とする被写体の分光反射率がｒ（λ）（λ：照射光の分光波長）であるとき、３原色に対応する波長域の分光感度がそれぞれＳ₁ （λ），Ｓ₂ （λ），Ｓ₃ （λ）である撮像装置と、２つの相異なる波長域の分光特性Ｌ₁ （λ），Ｌ₂ （λ）の光源とにより構成され、その応答特性Ｓ_1L1 ，Ｓ_1L2 ，Ｓ_2L1 ，Ｓ_2L2 ，Ｓ_3L1 ，Ｓ_3L2 が、
【数２１】

（ｉ＝１，２，３；ｊ＝１，２）
であることにより、被写体の分光反射率を推定する分光反射率推定方式。
【選択図】図１

Description

本発明は、高忠実色再現方式において採用可能な、２種類の異なった波長域の分光特性を有する光源を用いた分光反射率推定方式に関する。

従来、ＣＲＴやＰＤＰなどの表示装置で再現される色はマンセルチャートの３原色（Ｒ，Ｇ，Ｂ）の範囲内の一部分であった。従来の表示装置ではこのような色範囲で満足されていたが、最近、表示装置により再現される色範囲が可視光範囲の一部分であることが問題視されるようになってきた。すなわち、近年、電子商取引や遠隔医療などの分野において、正確な色情報を取得可能な撮像装置の需要が高まっている。

しかし、既存のＲＧＢ撮像装置では、正確に色情報を取得することが難しい。これまで、３バンドでルータ条件を満たした分光感度を用いる、第１の非特許文献による撮像装置や、バンド数を４つ以上に増やした、第２の非特許文献によるマルチスペクトルカメラの研究開発が行われている。
横井昇市，堀内智博，ターゼーンエジャズ，下平美文著「忠実な色情報取得を目指した撮像装置の研究」画像電子学会，画電研究会予稿 vol.208, pp.15〜19（２００４）通信・放送機構「平成１２年度ナチュラルビジョン（次世代映像表示・伝送システム）の研究開発プロジェクト研究開発報告書」通信・放送機構（２００１）

第１の非特許文献によれば、３バンドでルータ（Luther）条件を満たした分光感度特性の撮像装置は、以下に記述する方法で実現されている。すなわち、既存の撮像装置によって撮像された画像を正確なＸＹＺ三刺激値画像に変換することが不可能であるため、こうした研究には既存の撮像装置以外の撮像装置が用いられることが多い。しかし、第１の非特許文献によれば、最初に正確なＸＹＺ三刺激値画像を取得する撮像装置について検討し、単板の受光素子を用いて同時に色情報を取得する撮像装置に適し、ルータ条件を満たす分光感度を算出した。次に、この理論的な分光感度に対して、量子化処理によって発生する色差について分光反射率にＳＯＣＳを用いてシミュレーションし、その程度を確認した。最後に、実際に試作機を作成し、太陽光源を模した光源を照明として用いたとき、マクベス色票に対して良好なＸＹＺ三刺激値を取得できた。

一方、第２の非特許文献によれば、バンド数を４以上、１６以下に増加させたマルチスペクトルカメラについて設計検討を行っている。すなわち、第２の非特許文献では１６バンドマルチスペクトルカメラ、６バンドカメラ、３バンドのデジタルカメラをそれぞれ対象として、様々なカテゴリーの被写体に対する色推定シミュレーションを行っている。

シミュレーションの条件として下記が採用されている。すなわち、シミュレーションで用いた３種類のカメラの分光感度特性は、どれもルータ（Luther）条件を満たしているものはない。また、被写体の各クラスの種類、サンプル数、クラスの特徴をカテゴリーとして下記の表１に示す。シミュレーションでは、ノイズフリーを仮定し、各カテゴリーの相関を用いたウイナー（Wiener）推定およびスムースのみを仮定して作成した推定行列による推定を行っている。撮影照明光はＤ６５とし、Ｄ６５、Ａ、Ｆ２、Ｆ１１の照明光下でのＬ^*ａ^*ｂ^* 色差を算出している。

これらの条件のもとで実施したシミュレーションにより、次の結論が得られている。すなわち、１６バンドを用いることで、被写体のカテゴリーごとの先見情報を用いなくても、照明光変換を行って、平均Ｌ^*ａ^*ｂ^* 色差１以下の精度の高い色推定が可能であることが確認されている。また、６バンドでは、カテゴリーごとの相関を用いた方が、スムースを仮定して推定するよりも精度が高くなる場合があり、平均色差１〜２程度での推定が可能である。一方、３バンドでは、スムースのみを仮定した場合では大きな色差が生じ、照明光による精度の違いも大きく現れる。カテゴリーごとの相関を用いた場合でも、平均色差６程度の大きな色差が生じるカテゴリーもある。

前記第１および第２の非特許文献では、どちらの方法も原理的には測色的に忠実な色情報を取得可能である。ただ、前者の場合、撮影側と表示側で照明環境を一致させなければならない。また、後者の場合、バンド数が増えるため特別な撮像装置が必要となる。そこで、現実的な方式としては、３バンドの撮像装置を用い、光源の数を増やすことで正確な分光反射率を推定し、表示光源下に適した色再現を行う方式を提案する必要がある。

一方、本発明に関連して、マルチスペクトル画像入力系のモデル化と分光反射率の推定理論について記述しておく必要がある。分光反射率の推定理論については第３の非特許文献に記述されているので、その概要を記述して本発明の背景とする。
村上百合著「分光反射率の推定理論」日本写真学会誌，６５巻，４号，pp.234〜239 （２００２）

マルチスペクトル画像入力系のモデル化は次のようにして行う。すなわち、ある物体を撮影してマルチスペクトル画像を得る過程を式（１）にしたがってモデル化する。ここで、撮影の対象とする被写体の分光反射率をｒ（λ），被写体を照射する照明光のスペクトルをＬ（λ），画像入力系のｉ番目のセンサー感度をＳ_i （λ），カメラのバンド数をＮとすると、得られる画像の信号値は式（１）で与えられる。

（１）
ただし、ｉ＝１，２，３；ｊ＝１，２

ここでは空間内のある１点を考えることとし、空間座標は省略している。式（１）で次の置換を行う。

ｈ_i （λ）＝Ｓ_i （λ）Ｌ（λ）（２）

式（２）を利用すれば、式（１）から式（３）が得られる。

（３）

ここで、ｒ（λ）とｈ_i （λ）を十分に細かい波長間隔で離散化すれば、式（３）は次の式（４）のように離散系で近似表現することができる。

ｇ＝Ｈｒ（４）
ここで、Ｈは〔Ｈ〕_ij＝ｈ_i （λ_j ）を要素とするＮ×Ｍの行列，
ｒ＝（ｒ（λ₁ ），・・・，ｒ（λ_j ），・・・，ｒ（λ_M ））^T ，
ｇ＝（ｇ₁ ，・・・，ｇ_N ）^T ，Ｍは波長方向のサンプリング数である。

ウイナー（wiener）推定は次のようにして行う。すなわち、分光反射率ｒを確率変数として扱えば、ｒの確率密度関数や、期待値などを定義することができる。そこで、式（５）により与えられる推定解の誤差のノルムの期待値Φを最小とするように解を求めることを考える。

（５）

は、ｇが与えられたときのｒの条件付期待値＜ｒ│ｇ＞として式（６）により与えられる。

（６）

ここで、Ｐ（ｒ）はｒの確率密度関数である。しかし一般に式（６）は非線形な計算となり、計算できる場合が少ない。これに対し、線形の推定に限定すれば、Φを最小とするようなＡを求める問題となり、解くことが可能となる。ここで、線形の推定は次式で定義される場合である。この線形推定がウイナー（wiener）推定である。

をＬ×Ｎの推定行列Ａを用いて次の式（７）のように推定するとき、線形な推定という。

（７）

解決しようとする課題は、１つの光源により照射された被写体の分光感度特性を、３原色よりなるイメージセンサを備えた撮像装置により撮像することにより被写体の分光反射率特性を推定していたが、分光反射率特性の精度が劣るため、得られる画像の色忠実度が劣り、高い色忠実度を要する用途には利用できないという点であった。

課題を解決するため、本発明では２つの分光特性をもった相異なる２つの光源を使用して被写体を照射し、３原色よりなるイメージセンサを備えた撮像装置により撮像することにより、高い色忠実度で被写体の色再現を実現して高い精度の分光反射率特性を推定することができるように構成した分光反射率推定方式を提供することにある。

上記の構成により、本発明では２種類以上の相異なる分光波長特性をもった光源を使用することにより、通常の３原色撮像装置を使用していても精度の高い色忠実度で被写体の分光反射率特性を推定できるため、簡易な構成方式により、従来方式では得られなかった高い色忠実度の分光反射率特性を推定できるという効果がある。

本発明を実施するための最良の形態では、撮影時の光源の数を２つに増やし、それぞれの光源のスぺクトラル特性を相異なるものとすることで、撮像装置のバンド数を増やすことなく、６バンドシステムを実現する。

ここで、撮影対象とする被写体の反射率をｒ（λ），撮像装置の分光感度をＳ_i （λ）（ｉ：バンド数，ｉ＝１，２，３），光源Ｌ_j （ｊ：用いる光源の数，ｊ＝１，２）の分光放射輝度をＬ_j （λ），Ｌ_j 下における撮像装置のｉバンド目の出力をＳ_iLj とおく。これらを式（１）に代入すると以下の式（８）で表すことができる。

（８）

λの値は、本来連続値であるが、計算上離散値として扱われる。このため式（８）はベクトル表記を用いて式（９）として表すことができる。

ｓ＝Ｍ・ｒ（９）

ただし、Ｍは（光源の数×３）行，（波長の分解能）列の行列であり、各要素は、撮像装置の分光感度と光源の分光放射輝度の積として表される。Ｍの逆行列が求められれば分光反射率ｒを推定可能であることは明らかである。前述のようにＭの各要素は、既知の情報である分光感度と光源の分光放射輝度の積として与えられている。

本発明では、Ｍの逆行列を求める際に、これら既知情報を利用可能なウイナー（wiener）推定を用いる。ｒが求められれば、撮影時に用いた照明だけでなく任意の照明下における正しい色を式（８）にしたがって求めることができる。

式（８）においてＳ_i （λ）：Ｓ₁ （λ）（赤），Ｓ₂ （λ）（緑），Ｓ₃ （λ）（青）の３原色に対応した３個のイメージセンサを備えた撮像装置、Ｌ_i （λ）：Ｌ₁ （λ），Ｌ₂ （λ）の相異なる波長特性をもった２種類の光源、ｒ（λ）を、撮影対象とする被写体の反射率とする。これらの要素にしたがって式（８）からＳ_1L1 ，Ｓ_1L2 ，Ｓ_2L1 ，Ｓ_2L2 ，Ｓ_3L1 ，Ｓ_3L2 の６つの応答値が得られる。すなわち、次の式（１０）〜式（１５）が得られる。

（１０）

（１１）

（１２）

（１３）

（１４）

（１５）

式（１０）〜式（１５）から明らかなようにＬ₁ （λ），Ｌ₂ （λ）を適切に選べば、上述の６つの応答特性は独立した波長域の分光特性をもつので、実効的な６バンドのマルチスペクトルカメラ方式が実現される。

図１は本発明の一実施例を示す系統図である。図１において、１は被写体であって、ｒ（λ）の分光反射率特性をもっている。２は２つの相異なった波長域分光特性Ｌ₁ （λ），Ｌ₂ （λ）をもった光源である。３は撮像装置であり、内部の３つのイメージセンサにより分光感度Ｓ₁ （λ），Ｓ₂ （λ），Ｓ₃ （λ）が得られている。図１に示す撮像装置で使用されるイメージセンサはＣＣＤまたはＭＯＳマトリクスアレイにより構成することができる。

以上のことを確認するために、上述の手法を用いて分光反射率推定のシミュレーションを行った。このシミュレーションには図２の分光感度を用いた。この場合、異なった波長分光特性をもった２個の光源は、お互いに重なり合った波長領域を有していてもよく、分光感度の異なる３個のイメージセンサの統合した分光特性を包含する波長領域であればよい。本実施例では、光源はＤ６５と、分光特性が蛍光灯に近いＴＬ８４Ｕ３０との２種類を用いた。シミュレーション結果の一例を図３に示す。

図３より光源を２つに増やすことにより、分光反射率に対して精度の良い推定が可能であることがわかった。また、これらの反射率推定の結果を用い、色票（Macbeth ）に対し色再現を行った結果を表２に示す。表２より明らかなように、光源を増やすことで、色差を小さくすることができた。

本実施例によるシミュレーション計算により、２種類の異なった波長域分光特性をもった光源と、３原色をそれぞれ撮像するイメージセンサを備えた撮像装置の分光感度特性との組み合わせにより、適切に被写体の分光反射率を推定する手法の有効性が証明された。

本発明では３原色を個々に撮像する３個のイメージセンサを備えた撮像装置を使用し、異なった波長域分光特性をもった２個あるいはそれ以上の光源により被写体を照射することにより実効的に６バンドあるいはそれ以上のマルチスペクトルカメラが現実的な技術の範疇で良好に実現されるので、被写体の分光反射率を精度よく推定できる。したがって、昨今ますます高精細、高忠実度が要求されている放送技術や、近年、進歩発展が著しいインターネットを利用した商品カタログなどには広範囲な利用が期待される。また、フィルムレス化が進み、ほぼ完全にディジタル化した高忠実写真の分野では、効果的な用途は限りなく大きい。

本発明の一実施例を示す系統図である。実施例において使用した撮像装置の分光感度特性である。得られた被写体の分光反射率推定結果例である。

符号の説明

１被写体
２光源
３撮像装置

Claims

撮影対象とする分光反射率がｒ（λ）（λ：照射光の分光波長）である被写体に対応して、３原色に対応する波長域の分光感度がそれぞれＳ₁ （λ），Ｓ₂ （λ），Ｓ₃ （λ）である撮像装置と、
２つの相異なる波長域の分光特性Ｌ₁ （λ），Ｌ₂ （λ）をもった光源によって構成される装置を使って、前記被写体の分光反射率特性を推定する分光反射率推定方式。
前記Ｌ₁ （λ），Ｌ₂ （λ）光源によって照明されたときの本装置の応答特性Ｓ_1L1 ，Ｓ_1L2 ，Ｓ_2L1 ，Ｓ_2L2 ，Ｓ_3L1 ，Ｓ_3L2 は、

であることを特徴とする請求項１記載の分光反射率推定方式。
前記撮像装置を構成するイメージセンサは、ＣＣＤマトリクスアレイより構成したことを特徴とする請求項１記載の分光反射率推定方式。
前記撮像装置を構成するイメージセンサは、ＭＯＳマトリクスアレイより構成したことを特徴とする請求項１記載の分光反射率推定方式。