JP2009544965A - 一体形画像認識・スペクトル検出装置並びに画像認識及び光のスペクトル検出によって光設定値を自動的に制御する装置及び方法 - Google Patents

Abstract

本発明は、光の設定値のモニタに特に適した一体形画像認識・スペクトル検出装置に関する。本発明は又、画像認識及び光のスペクトル検出によって光設定値を自動的に制御すること、特に、画像認識に応答して光の色点を自動的に制御することに関する。本発明は、画像及び動きを認識するイメージセンサアレイ（１２）と、イメージセンサアレイ（１２）の感光面の少なくとも一部を覆い、受けた光のスペクトル成分を検出する濾光構造体（１４）とを有する一体形画像認識・スペクトル検出装置（１０）を提供する。本発明の主要な利点は、本発明により画像の認識とスペクトル成分の検出が組み合わされ、光設定値の複雑精巧な自動制御が可能になるということにある。

Description

本発明は、光の設定値のモニタに特に適した一体形画像認識・スペクトル検出装置に関する。本発明は又、画像認識及び光のスペクトル検出によって光設定値を自動的に制御すること、特に、画像認識に応答して光の色点を自動的に制御することに関する。

アンビエントインテリジェンス（ambient intelligence）環境における直感に基づくインタラクションは、例えばサウンドシステム、映画チャンネル又は照明システムのようなシステムを調整するユーザフレンドリな手法となっている。このような直感に基づくインタラクションによる変更は、所望の効果、例えば照明の調光、スポットライトの変化又は音量の増大を達成するためにモニタされる必要がある。照明システムの場合、幾つかのパラメータ、例えば光の強度及び色がモニタされる場合がある。直感に基づくインタラクションの典型的な例は、ショーウィンドウにおける照明であり、設定値が変わる場合があり又は物品が互いに異なるスポットに配置される場合があるので、光の強度及び（又は）光源の色を調整してショーウィンドウ内における或る特定の照明効果を維持することが必要な場合がある。

特に、白色光が発光ダイオード（ＬＥＤ）、例えば赤色、緑色及び青色（ＲＧＢ）ＬＥＤ（又は、ＬＥＤのこれらよりも多い種類の色及び（又は）異なる色）により生じる最新式の照明システムでは、個々のＬＥＤからの光が他のＬＥＤから来た光と正しく組み合わされた場合にのみＬＥＤからの混光の結果として白色光が得られるので光の色のモニタが重要である。ＬＥＤを利用したこのような照明は、例えばＬＣＤ背面照明、商用フリーザ照明及び白色光照明のような用途に広く用いられている。混合後の白色光を作るために独立したＲＧＢ光源を有する各照明システムには、難しい課題がある。これは、個々のＲＧＢ光源の光学特性が、通常、温度、電源及び経年変化につれて変化することによる。例えば、ＬＥＤは、温度の上昇につれて次の挙動、即ち、典型的なＬＥＤにより作られた光が長い波長へのスペクトルシフトを行う挙動、光の強度が減少する挙動、スペクトルの広がりが起こる挙動を示す。典型的なＬＥＤの順方向電流の増大につれて、短い波長へのスペクトルシフトが生じ、光の強度が増大する。さらに、経年変化の結果として、光の強度が減少し、スペクトル変化が生じる。また、ＬＥＤは、結果的にピーク波長広がりや強度の広がりを生じさせるバッチ間ばらつきを示す。さらに、個々のＬＥＤの特性は、ＬＥＤ製造プロセスが同一であってもバッチごとに、しかも製造業者ごとに著しく変わる。したがって、ＬＥＤを利用した照明によって得られる光の品質には大きなばらつきがある場合があり、所望の色及び白色光の所要の照明レベルを得るには、必ず適当なモニタ・フィードバックシステムが必要である。

本発明の目的は、光の設定値をモニタし、光を制御するフィードバックを与えるのに適した装置並びに光、例えばＲＧＢに基づくＬＥＤ光の設定値を自動的に制御する装置及び方法を提供することにある。

上述の目的を達成するために、本発明は、一体形の画像認識・スペクトル検出装置であって、
画像及び動きを認識するイメージセンサアレイと、
イメージセンサアレイの感光面の少なくとも一部を覆い、受けた光のスペクトル成分を検出する露光構造体とを有することを特徴とする一体形装置を提供する。

上述の目的を達成するために、本発明は、更に、画像認識及び光のスペクトル検出により光の設定値を自動的に制御する装置であって、
画像及び動きを認識するようになっている画像検出手段と、
受けた光のスペクトル成分を検出するようになっているスペクトル検出手段と、
認識した画像及び動き並びに検出したスペクトル成分に応答して光源により放出された光を自動的に制御するようになっている制御手段とを有することを特徴とする装置を提供する。

上述の目的を達成するために、本発明は又、画像認識及び光のスペクトル検出によって光を制御する方法であって、
画像検出手段が、画像及び動きを認識し、
スペクトル検出手段が、受けた光のスペクトル成分を検出し、
制御手段が、光源により放出された光を認識された画像及び動き並びに検出されたスペクトル成分に応答して自動的に制御することを特徴とする方法を提供する。

本発明の構成上の特徴により、例えば直感に基づくインタラクションのための物体の動きと光のスペクトル成分の両方を検出することができるという利点が得られる。この結果、複雑な照明システムと直感に基づいて対話すると共にこの複雑な照明システムのスペクトル成分を分析すると共にモニタすることにより光の設定値のモニタ具合を向上させることができるようにすることによって複雑な照明システムの使用の快適さを向上させることが可能である。特に、本発明の一体形装置は、これがイメージセンサアレイと露光構造体を組み合わせて単一の装置の状態にするという利点を提供する。これにより、両方のコンポーネントを電気的に接続することができ、その結果、コンポーネント相互間の別々の接続は不要である。このような一体形装置は、例えば、複雑な照明システム、特にＲＧＢ ＬＥＤを利用した照明システムを効果的に制御し、他方、物体、例えば空間内に存在する照明システムのユーザの動きを検出することによる直感に基づくインタラクションを実施することができるようにするために利用できる。このため、例えば、光の設定値における所望の変化を指示するために利用できる特定の動きを装置のイメージセンサアレイにより検出することができ、又、光設定値、即ち色及び強度の所望の変化を一体型装置の分光計部分によってモニタすることができる。画像認識及び光のスペクトル検出によって光の設定値を自動的に制御する装置及び方法は、例えば光の設定値を変化させるための直感に基づくインタラクションのための画像及び動きを認識することができ、それと同時に設定値の変化に関するほぼ即座のフィードバックを与えるスペクトル成分を検出することにより設定値の変化を検出することができるという利点を提供する。これにより、直感に基づくインタラクション及び光設定値の効率的なモニタを提供する照明システムを構成することができる。

本発明は、ＬＥＤ照明には限定されず、本発明は、スペクトル検出と画像認識を組み合わせることが望ましい任意種類の照明に利用することができる。これは、部屋の中に居る人のムード（表情）又は動きがその部屋の中での光の色（これは、例えば蛍光灯であっても良い）の適当な変化に反映されるアンビエント知的領域であっても良い。

本発明の一実施形態によれば、露光構造体は、イメージセンサアレイの感光面の一部を覆い、受けた光のスペクトル成分を検出するファブリ・ペロー共振器構造体であるのが良い。

本発明の別の実施形態によれば、露光構造体は、イメージセンサアレイの感光面の一部を覆い、受けた光のスペクトル成分を検出するエッジフィルタアレイであるのが良い。

本発明の一実施形態によれば、エッジフィルタアレイは、カットフィルタガラス（cut filtered glass）のアレイであるのが良い。

本発明の一実施形態によれば、一体形装置のファブリ・ペロー共振器構造体は、２つの半透明金属層と、２つの半透明金属層相互間にサンドイッチされた誘電体層とを備えているのが良い。この結果、この共振器構造体を従来の半導体製造方法、例えば金属層の蒸着及び誘電体層の被着により具体化することが可能である。

本発明の別の実施形態によれば、金属層の一方が、第１の反射性の且つ部分的に透明な層としてイメージセンサアレイの感光面の少なくとも一部に被着されのが良く、次に、誘電体層が、第１の反射性の且つ部分的に透明な層に被着されるのが良く、金属層のもう一方が、第２の反射性の且つ部分的に透明な層として誘電体層に被着されるのが良い。したがって、共振器構造体を層毎に効果的に作製することができる。

本発明の別の実施形態によれば、誘電体層は、受けた光の互いに異なるスペクトル成分の濾波を可能にするために互いに異なる厚さを有するのが良い。したがって、光の設定値をより正確にモニタすることが可能である。

特に、本発明の一実施形態によれば、厚さは、段階的に、例えばほぼ等しい段階をなして変化するのが良い。このため、共振器構造体は、受けた光の特定の成分、例えば光源の固有のスペクトル成分を濾波するよう調製できる。

段階的な変化を生じさせるため、本発明の別の実施形態によれば、誘電体層は、被着後に従来型リソグラフィーを用いて種々の処理ステップでエッチングされるのが良い。

さらに、本発明の一実施形態によれば、ファブリ・ペロー共振器構造体は、互いに異なる厚さの数個のセグメントを備えているのが良い。例えば、ファブリ・ペロー共振器構造体は、チェス盤のような構造体を形成するようセグメント状になっているのが良く、この場合、各長方形セグメントは、誘電体層のほぼ等しい厚さを備えた領域に相当し、即ち、入射光の或る特定のスペクトル成分を濾波するために調整される。

本発明の別の実施形態によれば、イメージセンサアレイは、電荷結合デバイス（ＣＣＤ）、フォトダイオードアレイ、又はＣＭＯＳゲートアレイであるのが良い。注目されるべきこととして、ファブリ・ペロー共振器の個々の「画素」（したがって、単一の誘電体厚さを備えた領域）は、フィルタ信号１つ当たりの信号を促進するためにイメージセンサアレイの多くの「画素」を覆うのが良い。

本発明の実施形態によれば、画像認識及び光のスペクトル検出により光を制御する装置の制御手段は更に、光源により放出された光の強度及び色が認識された画像及び動き並びに直感で分かる動きの光制御のためのアルゴリズムに従って調整されるように認識した画像及び動きを処理するようになっているのが良い。例えば、制御手段は、マイクロプロセッサ又はマイクロコントローラ及び直感による動き光制御のためのアルゴリズムを記憶したメモリによって具体化できる。

本発明の実施形態によれば、制御手段は更に、光源により放出された光の色が検出されたスペクトル成分及び色調整のためのアルゴリズムに従って調整されるように検出されたスペクトル成分を処理するようになっているのが良い。この場合も又、制御手段は、マイクロプロセッサ又はマイクロコントローラ及び色調整のためのアルゴリズムを記憶したメモリによって具体化できる。

本発明の別の実施形態によれば、制御手段は更に、バックトラック法及び認識された画像の画像解析により入射光の方向を突き止めることによって光源の位置を処理するようになっているのが良い。光源の方向を突き止めることは、光源の位置がイメージセンサアレイによって画像化されるので可能である。光源の位置又は入射光の方向は、ファブリ・ペロー共振器構造体が角度依存性を有するので有用な場合があり、即ち、光が互いに異なる角度でファブリ・ペロー共振器構造体に当たった結果として、フィルタの別のスペクトル応答が生じる。この結果、入射光のスペクトル成分の正確な検出にとって、光がどこから来ているか、何がイメージセンサアレイから知りうるかを知ることが重要な場合がある。

本発明の更に別の実施形態によれば、制御手段は更に、ファブリ・ペロー共振器構造体により検出されたスペクトル成分を入射光の突き止めた方向に従って補正するようになっているのが良い。

画像検出手段及びスペクトル検出手段は、上述したような本発明の一体形装置により具体化されるのが良い。

本発明の一実施形態によれば、制御手段も又、一体形装置に組み込まれるのが良い。

本発明の別の実施形態によれば、コンピュータプログラムが提供され、この場合、コンピュータプログラムは、コンピュータにより実行されると請求項１９記載の方法の少なくとも一部分を実行するようイネーブルにされるのが良い。例えば、制御手段は、コンピュータプログラムによって具体化できる。このような場合、コンピュータプログラムを実行するコンピュータは、画像検出手段及びスペクトル検出手段から信号を受け取ることができ、そして画像検出手段によって検出されたインタラクションに対応する光の設定を調整すると共にスペクトル検出手段によって検出されたスペクトル成分に対応する光の設定値を調整するために受け取った信号を処理することができる。

本発明の実施形態によれば、本発明のコンピュータプログラムを記憶するための記録担体、例えばＣＤ−ＲＯＭ、ＤＶＤ、メモリカード、フロッピー（登録商標）ディスク又はこれらに類似した記憶媒体を提供することができる。

本発明の上記観点及び他の観点は、以下に説明する実施形態から明らかであり、このような実施形態を参照して説明される。

以下において、例示の実施形態を参照して本発明を詳細に説明する。しかしながら、本発明は、これら例示の実施形態には限定されない。

本発明の一体型画像認識・スペクトル検出装置の一実施形態を示す図である。 本発明の一体型イメージセンサアレイ・スペクトル検出器の別の実施形態の断面図である。 本発明に従って画像認識及び光のスペクトル検出により光を制御する装置の一実施形態のブロック図である。

図１に示されている一体形画像認識・スペクトル検出装置１０は、従来の半導体製造方法で作製された半導体デバイスである。この装置は、イメージセンサアレイ１２、例えばＣＣＤ、フォトダイオードアレイ又はＣＭＯＳゲートアレイと、イメージセンサアレイ１２の感光面上に配置された分光計１４とから成っている。分光計１４は、イメージセンサアレイ１２の感光面の一部しか覆っておらず、この分光計は、図２の断面図に示されているようなファブリ・ペロー共振器構造体によって具体化されている。この結果、分光計は、ファブリ・ペロー共振器構造体１４によって覆われたイメージセンサアレイ１２の一部に当たる光のフィルタとしての役目を果たす。イメージセンサアレイの被覆部分は、当たった光の或る特定のスペクトル成分を検出するのに役立つ。

ファブリ・ペロー共振器構造体は、入射光３２が２つの被覆表面相互間で多数回の反射３４，３６を行う光学干渉計である。図２のファブリ・ペロー共振器構造体は、２つの半透明な金属層１６，１８と、２つの半透明な金属層１６，１８相互間にサンドイッチされた例えばＳｉＯ₂エタロンのような誘電体層２０とを備えている。この結果、光ビームの空洞共振器が、２つの半透明な金属層１６，１８相互間に構成されており、このような空洞共振器内において、光ビーム３４，３６を多数回反射させることができる。

ファブリ・ペロー共振器は、入射光のための狭帯域フィルタを形成している。誘電体層２０の厚さは、ファブリ・ペロー共振器構造体１４の濾波機能を定める。入射光ビーム３２の出射する波面は、これらの間に位相差がない場合にのみ強め合うよう互いに干渉する。他の波長では、透過された波面の弱め合う干渉により、透過強度がゼロに向かって減少する。したがって、ファブリ・ペロー共振器構造体は、或る特定の波長（光ビーム３４）を透過し、他の波長（光ビーム３６）を反射して光源に戻すフィルタとしての役目を果たす。衝突スペクトルは、ファブリ・ペロー共振器構造体で濾波され、選択されたスペクトル成分の強度は、下に位置するイメージセンサアレイ１２を用いて透過率が測定される。

２つの半透明な金属層相互間に包囲された誘電体層２０の厚さは、同調波長を定める。金属層１６，１８の反射率は、透過スペクトルの半平均全幅（full-width-at-half-mean）を定めると共にこれにより波長を選択することができる特異性を定める。

入射光から幾つかのスペクトル成分を濾波して除去するため、ファブリ・ペロー共振器構造体１４は、互いに異なる厚さの領域を有するのが良い。図２において、誘電体層２０は、段状に変化しており、したがって、２つの互いに異なる厚さｄ１，ｄ２を有し、この結果、共振器構造体が同調される２つの互いに異なる波長が定められている。段状変化は、誘電体層２０を部分的に或る特定の量だけエッチバックして段状になった区分構造体を達成することができるようにするエッチング技術によって達成される。

ファブリ・ペロー共振器構造体を複数通りの波長に同調させるため、図１に示されているような長方形のファブリ・ペロー共振器構造体を２つの互いに異なる方向に、例えば、ｘ方向及びｙ方向に段階分けしてチェス盤のような構造体を形成するようにするのが良い。このチェス盤状構造体は、各々が比厚さｄ_xyを備えた誘電体層の領域に相当する複数の長方形領域１５を有している。互いに異なる厚さを有する領域１５へのファブリ・ペロー共振器構造体のこのようなセグメント化により、この共振器を互いに異なる波長に同調させることができる。セグメント化の選択が細かければ細かいほど、検出できる入射光の波長又はスペクトル成分がそれぞれそれだけ一層異なる場合がある。

図２の共振器構造体は、これをイメージセンサアレイ１２上にコーティングすることによって作製できる。このコーティング法は、例えば初期反射層１６（部分的に透明な層、例えば、Ａｌの層）をスペクトル検出器になるセンサアレイ１２の部分上に被着させることにより実施できる。被着プロセスは、蒸着によって実施されるのが良い。次に、従来型リソグラフィーを用いて別々のエッチング段階でエッチングされて互いに異なる誘電体厚さｄ１，ｄ２、及び互いに異なるフィルタ応答を備えた状態で終わる誘電体層２０、例えばＰＥＣＶＤ ＳｉＯ₂の層を被着させる。最後に、フィルタアレイの仕上げを行うために、第２の反射（部分的に透明）層１８、例えばＡｇの層を誘電体層２０上に被着させる（この場合も又、例えば蒸着による）。

図３では、図１に示す一体形装置とほぼ同じ一体形装置１０が、照明システム２４、例えばＬＥＤ照明アレイの設定値を自動的に制御するために用いられる。照明システム又はライトバー（light bar）２４は、ＲＧＢ ＬＥＤ２６，２８，３０により白色光を作る。作られた光の色を正確に制御するためには、作られた光に含まれる或る特定のスペクトル成分を検出することが重要である。一体形装置１０は、ＲＧＢ ＬＥＤ２６，２８，３０により作られた光を受け取り、装置１０のイメージセンサアレイ１２の感光面の真ん中を覆っているファブリ・ペロー共振器構造体１４により、或る特定のスペクトル成分、例えばＲ成分、Ｇ成分及びＢ成分を突き止める。

検出されたスペクトル成分は、色設定制御アルゴリズムによる処理のために装置１０から制御手段２２に送られる。制御アルゴリズムは、所望の色点が得られるようＲＧＢ ＬＥＤ２６，２８，３０を制御するようになっている。イメージセンサアレイは、照明システム２４の設定値を調整するために画像及び動き、例えばユーザインタラクションを認識するのに役立つ。

代表的な用途は、光強度の直感による対話制御である。ユーザが光の強度を増大させようと思った場合、装置１０の前で腕を持ち上げるのが良い。イメージセンサアレイ１２、例えばＣＣＤは、腕の動きを認識し、それぞれの信号を制御手段２２に送る。対話型光設定値制御を行うようになったアルゴリズムは、受け取った信号を処理し、ＲＧＢ ＬＥＤ２６，２８，３０のための順方向電流を増大させることにより光強度を増大させる。それと同時に、ファブリ・ペロー共振器構造体１４によって覆われているイメージセンサアレイ１２の部分は、入射光に含まれているスペクトル成分を連続的に検出し、対応した信号を制御手段２２に送る。色設定制御アルゴリズムは、増大した光強度においても所望の色点を達成するために、検出されたスペクトル成分を処理して検出されたスペクトル成分に基づいてＬＥＤ２６，２８，３０の電流を別々に調整する。当然のことながら、作られた光の別のパラメータを自動的に制御するために、装置１０から受け取った信号を処理する別の制御アルゴリズムを具体化することができる。

本発明は、特に直感による照明制御、光管理、色点制御及び例えばＲＧＢ ＬＥＤ照明の色ずれのためのフィードバック補正におけるアンビエントインテリジェンスの分野への利用に特に適している。

本発明の主要な利点は、本発明により画像の認識とスペクトル成分の検出が組み合わされ、光設定値の複雑精巧な自動制御が可能になるということにある。

本発明の機能、例えば制御手段の機能の少なくとも何割かは、ハードウェア又はソフトウェアによって実施できる。ソフトウェアによる具体化の場合、単一又は複数の標準型マイクロプロセッサ又はマイクロコントローラを用いて、本発明を実施する単一又は複数のアルゴリズムを処理するのが良い。

用語「備ええている」は、他の要素又はステップを排除するものではなく、単数の記載は、複数個の存在を排除するものではないことは、注目されるべきである。

Claims (21)

1. 一体形の画像認識・スペクトル検出装置であって、
   画像及び動きを認識するイメージセンサアレイと、
   前記イメージセンサアレイの感光面の少なくとも一部を覆い、受けた光のスペクトル成分を検出する露光構造体とを有する、一体形装置。
2. 前記露光構造体は、前記イメージセンサアレイの前記感光面の一部を覆い、受けた光のスペクトル成分を検出するファブリ・ペロー共振器構造体である、請求項１記載の一体形装置。
3. 前記露光構造体は、前記イメージセンサアレイの前記感光面の一部を覆い、受けた光のスペクトル成分を検出するエッジフィルタアレイである、請求項１記載の一体形装置。
4. 前記エッジフィルタアレイは、カットフィルタガラス（cut filtered glass）のアレイである、請求項３記載の一体形装置。
5. 前記ファブリ・ペロー共振器構造体は、２つの半透明金属層と、前記２つの半透明金属層相互間にサンドイッチされた誘電体層とを備えている、請求項２記載の一体形装置。
6. 前記金属層の一方が、第１の反射性の且つ部分的に透明な層として前記イメージセンサアレイの前記感光面の少なくとも一部に被着され、次に、前記誘電体層が、前記第１の反射性の且つ部分的に透明な層に被着され、前記金属層のもう一方が、第２の反射性の且つ部分的に透明な層として前記誘電体層に被着されている、請求項５記載の一体形装置。
7. 前記誘電体層は、受けた光の互いに異なるスペクトル成分を濾波するために互いに異なる厚さを有する、請求項５又は６記載の一体形装置。
8. 前記厚さは、段階的に変化している、請求項７記載の一体形装置。
9. 前記誘電体層は、被着後に従来型リソグラフィーを用いて種々の処理ステップでエッチングされている、請求項７又は８記載の一体形装置。
10. 前記ファブリ・ペロー共振器構造体は、互いに異なる厚さの数個のセグメントを備えている、請求項７、８又は９記載の一体形装置。
11. 前記イメージセンサアレイは、電荷結合デバイス（ＣＣＤ）、フォトダイオードアレイ、又はＣＭＯＳゲートアレイである、請求項１〜１０のうちいずれか一に記載の一体形装置。
12. 画像認識及び光のスペクトル検出により光の設定値を自動的に制御する装置であって、
    画像及び動きを認識するようになっている画像検出手段と、
    受けた光のスペクトル成分を検出するようになっているスペクトル検出手段と、
    認識した画像及び動き並びに検出したスペクトル成分に応答して光源により放出された光を自動的に制御するようになっている制御手段とを有する、装置。
13. 前記制御手段は更に、前記光源により放出された前記光の強度及び色が前記認識された画像及び動き並びに直感で分かる動きの光制御のためのアルゴリズムに従って調整されるように前記認識した画像及び動きを処理するようになっている、請求項１２記載の装置。
14. 前記制御手段は更に、前記光源により放出された光の色が前記検出されたスペクトル成分及び色調整のためのアルゴリズムに従って調整されるように前記検出されたスペクトル成分を処理するようになっている、請求項１２又は１３記載の装置。
15. 前記制御手段は更に、バックトラック法及び前記認識された画像の画像解析により入射光の方向を突き止めることによって前記光源の位置を処理するようになっている、請求項１２、１３又は１４記載の装置。
16. 前記制御手段は更に、前記ファブリ・ペロー共振器構造体により検出された前記スペクトル成分を前記入射光の前記突き止めた方向に従って補正するようになっている、請求項１５記載の装置。
17. 前記画像検出手段及び前記スペクトル検出手段は、請求項１〜１１のうちいずれか一に記載の一体形装置により具体化されている、請求項１２、１３、１４、１５又は１６記載の装置。
18. 前記制御手段も又、前記一体形装置に組み込まれている、請求項１７記載の装置。
19. 画像認識及び光のスペクトル検出によって光を制御する方法であって、
    画像検出手段が、画像及び動きを認識し、
    スペクトル検出手段が、受けた光のスペクトル成分を検出し、
    制御手段が、光源により放出された光を認識された前記画像及び動き並びに検出された前記スペクトル成分に応答して自動的に制御する、方法。
20. コンピュータにより実行されると請求項１９記載の方法の少なくとも一部分を実行するようイネーブルにされるコンピュータプログラム。
21. 請求項２０記載のコンピュータプログラムを記憶する記録担体。

Images