JP2022522822A - コンピュータビジョンアプリケーションを介する物体認識方法及びシステム - Google Patents

Abstract

本発明は、コンピュータビジョンアプリケーションを介する物体認識のための方法及びシステムに関し、システム（１００）は、少なくとも以下の構成要素：－ 認識される物体（１３０）であって、物体特有の反射及び発光スペクトルパターンを有する物体（１３０）と、－ 少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）で構成され、前記少なくとも２つの発光体を切り替えることによって前記認識される物体を含むシーンを照射するように構成された光源（１１０）と、－ 前記シーンが前記光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データを取得するように構成されたセンサ（１２０）と、－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニット（１５０）と、－ 前記シーンの放射輝度データから物体特有の発光スペクトルパターンを抽出し、前記抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングして、ベストマッチングする発光スペクトルパターンを識別し、したがって、その割り当てられた物体を識別するように構成されたデータ処理ユニット（１４０）と、を有する。【選択図】図１

Description

本発明は、コンピュータビジョンアプリケーションを介する物体認識方法及びシステムに関する。

コンピュータビジョンは、幾つか挙げると、カメラ、ＬＩＤＡＲやレーダーなどの距離センサ、構造化光やステレオビジョンに基づく深度カメラシステムなどの、センサを介して周囲の情報を収集できる電子機器の豊富な使用により、急速な発展を遂げている分野である。これらの電子機器は、コンピュータ処理ユニットによって処理され、その結果、人工知能やコンピュータ支援アルゴリズムを用いて環境やシーンの理解を展開する生の画像データを提供する。この環境の理解を如何に展開するかについては多くの方法がある。一般的には、２Ｄ又は３Ｄの画像及び／又はマップが形成され、そして、これらの画像及び／又はマップはシーンとそのシーン内の物体の理解を展開ために分析される。コンピュータビジョンを改善するための１つの見込みは、シーン内の物体の化学的組成の成分を測定することである。２Ｄ又は３Ｄ画像として取得された環境内の物体の形状と外観は、環境の理解を展開するために使用されることができるが、これらの技術にはいくつかの欠点を有している。

コンピュータビジョン分野の課題の１つは、センサ、計算能力、ライトプローブなどの最小量の資源を用いて、高精度かつ低遅延で各シーン内の可能な限り多くの物体を識別できることにある。物体識別方法は、長年にわたって、リモートセンシング、物体識別、分類、認証又は認識と呼ばれてきた。本開示の範囲では、シーン内の物体を識別するコンピュータビジョンシステムの能力は、「物体認識」と呼ばれる。例えば、コンピュータによって写真を分析し、その写真の中のボールを識別／ラベル付けすることは、時にはボールの種類（バスケットボール、サッカーボール、野球ボール）、ブランド、状況などのさらなる情報を有するとしても、「物体認識」の用語に該当する。

一般に、コンピュータビジョンシステムで物体を認識するために利用される技術は、以下のように分類される。

技術１： 物理タグ（画像ベース）：バーコード、ＱＲコード、シリアルナンバー、テキスト、パターン、ホログラムなど。

技術２： 物理タグ（スキャン／密着ベース）：視野角依存顔料、アップコンバージョン顔料、メタクロミクス、カラー（赤／緑）、発光材料。

技術３： 電子タグ（パッシブ）：ＲＦＩＤタグなど。電力なしで対象物体に取り付けられる装置であって、必ずしも見えなくてもよいが、他の周波数（例えば無線）で作動することができる。

技術４： 電子タグ（アクティブ）：無線通信、光、無線、車両から車両、車両から任意のもの（Ｘ）など。種々の形で情報を発する対象物体に搭載された電力駆動装置。

技術５： 特徴検出（画像ベース）：画像の分析及び識別、例えば、車について側面視で一定の距離にある２つの車輪；顔認識について２つの目と１つの口(この順序で)など。これは、既知の幾何学形状／形に依存する。

技術６： ディープラーニング／ＣＮＮベース（画像ベース）：車や顔などのラベル付けされた画像の多数の写真によってコンピュータをトレーニングし、該コンピュータが検出すべき特徴決定し、対象物体が新しいエリアに存在する場合に予測する。識別すべき物体の各分類についてトレーニング手順を繰り返す必要がある。

技術７： 物体追跡方法：シーン内のアイテムを特定の順序に整理し、最初に順序付けられた物体にラベルを付けする。その後に、既知の色／幾何学形状／３Ｄ座標でシーン内の物体を追跡する。物体がシーンから離れて再び入ってくる場合は、「認識」は失われる。

以下では、上述の技術のいくつかの欠点が示されている。

技術１： 画像内の物体が遮蔽されている場合、又は物体の小さな部分だけが視界にある場合、バーコード、ロゴなどが読めない可能性がある。さらに、可撓性の物品上にあるバーコードなどは、歪む可能性があり、可視性を制限する。物体のすべての側面が、遠距離から見えるために、大きなバーコードを担持しなければならず、さもなければ、物体は近距離で正しい方向に向いている時のみ認識されるだけである。これは、例えば倉庫の棚上の物体のバーコードがスキャンされる場合に、問題となる。シーン全体にわたって操作する場合、技術１は、変化し得る環境光に依存する。

技術２： アップコンバージョン顔料は、それらの低量子収率による低レベルの発光のため、視認距離に限界がある。そのため、強力なライトプローブが必要となる。また、それらは通常不透明で大きい粒子であるため、コーティングの選択肢が限られる。さらに、それらの使用を複雑にしているのは、蛍光と光反射に比べて、アップコンバージョン反応が遅いということである。幾つかの適用は、使用される化合物に依存するこの独特の反応時間を利用するが、これは、該センサ／物体システムの飛行距離時間が予め知られている場合にのみ、可能である。これはコンピュータビジョンアプリケーションでは稀なケースである。これらの理由から、偽造防止センサは、正確さのために、読み取りのためのカバーされた／暗い部分と、プローブとしてのクラス１又は２のレーザと、対象物体への固定された限られた距離とを有している。

同様に視野角依存の顔料システムは、近距離でのみ機能し、複数の角度で見る必要がある。また、視覚的に心地よい効果に関しては、色が均一ではない。正しい測定を行うためには、入射光のスペクトルが管理されなければならない。単一の画像／シーン内では、角度依存のカラーコーティングを施した物体は、サンプルの次元に沿って、カメラに見える色を複数有している。

色ベースの認識は、測定された色が環境光条件に部分的に依存するため、困難である。したがって、シーンごとに基準サンプル及び／又は制御された光条件が必要となる。また、異なるセンサは、異なる色を識別する能力が異なり、また、センサの種類やメーカーによって異なり、センサごとに較正ファイルを必要とする。

環境光下での発光ベースの認識は、物体の反射成分と発光成分が一緒に加算されるため、困難なタスクとなる。一般的に、発光ベースの認識は、代わりに、暗い測定環境と、発光材料の励起領域の事前の知識を利用し、それによって正しいライトプローブ／光源が使用され得る。

技術３： ＲＦＩＤタグなどの電子タグは、回路、集電装置、アンテナを対象物品／物体に取り付ける必要があり、コストを増加させ、設計を複雑化させる。ＲＦＩＤタグは存在するかどうかの情報を提供するが、シーンにわたって多数のセンサが使用されない限り、正確な位置情報を提供しない。

技術４： これらの能動的な手法では、対象物体を電源に接続する必要があり、サッカーボール、シャツ、又はパスタの箱などの単純な物品にはコストがかかりすぎて、したがって実用的ではない。

技術５： 遮蔽や異なる視野角は容易に結果を変化させるため、予測精度は、画像の品質とシーン内でのカメラの位置に大きく依存する。ロゴタイプの画像は、シーン内の複数の場所に存在することができ（すなわち、ロゴがボール、Ｔシャツ、帽子、又はコーヒーカップに存在し得るなど）、物体認識は推論による。物体の視覚パラメータは、多大な労力をかけて数学パラメータに変換されなければならない。形状を変えることができる柔軟な物体は、それぞれの可能な形がデータベースに含まれなければならないため、問題である。似た形の物体が対象物体と誤認される可能性があるため、常に固有の曖昧さが存在する。

技術６： トレーニング用データセットの質が方法の成功を決定する。認識／分類される各物体のために、多数のトレーニング用画像が必要とされる。技術５についての遮蔽や柔軟な物体の形の制限が適用される。数千以上の画像によって材料の各分類についてトレーニングする必要がある。

技術７： この技術は、シーンがあらかじめ整理されている場合に有効であるが、これは現実的ではない。対象物体がシーンから離れたり、完全に遮蔽されたりすると、上記の他の技術と組み合わされていない限り、物体は認識されない。

上記のような既存の技術の欠点の他に、言及すべきいくつかの課題がある。遠距離を見る能力、小さな物体を見る能力、物体を十分に詳細に見る能力は、すべて高解像度画像化システム、すなわち、高解像度カメラ、ｌｉｄａｒ、レーダーなどを必要とする。高解像度の必要性は、関連するセンサのコストを増加させ、処理すべきデータ量を増加させる。

自律走行やセキュリティのように瞬時に反応する必要があるアプリケーションでは、遅延はもう１つの重要な側面である。処理される必要があるデータ量は、エッジコンピューティング又はクラウドコンピューティングが該アプリケーションに適しているか否かを決定し、後者はデータ量が少ない場合にのみ可能である。エッジコンピューティングが重い処理に使用される場合、システムを作動させる機器は大型化し、使用の容易さ、したがって、実装を制限する。

アクティブライトプローブ／光源とともに環境光条件は物体認識のために画像解析で収集されるデータの重要な部分であるため、本発明の目的は、画像化センサに関連して専門化されたライトプローブの必要性と、視覚的に快適な環境光の必要性とを、単一の照明装置に結合することにあった。さらに、この設計は、専門化されたライトプローブ強度が今や環境光強度と直接関係し、かつ、幾つかのケースでは化学ベース／物理ベースの認識技術を可能にするため、一般的に、環境光に対するコンピュータビジョンアプリケーションの感受性を低下させる。

したがって、コンピュータビジョンアプリケーションによる物体認識に対する要求を簡単化するのに適したシステム及び方法に対する要求が存在している。

上述の目的は、それぞれの独立請求項の特徴を有するシステム及び方法によって解決される。さらなる実施形態は、以下の説明とそれぞれの従属請求項によって示されている。

第１の態様では、本発明の実施形態は、コンピュータビジョンアプリケーションを介する物体認識のためのシステムを提供する。提案されたシステムは、少なくとも以下の構成要素：
－ 認識される物体であって、物体特有の反射及び発光スペクトルパターンを有する、物体と、
－ 少なくとも２つの発光体で構成され、要求に応じて特定のスペクトル応答を与え、前記少なくとも２つの発光体を切り替えることによって前記認識される物体を含むシーンを照射するように構成された光源であって、前記少なくとも２つの発光体の少なくとも１つは少なくとも１つのソリッドステートシステムである、光源と、
－ 前記シーンが前記光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データを測定するように構成されたセンサと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを、記憶及び提供するデータ記憶ユニットと、
－ データ処理ユニットであって、前記シーンの放射輝度データから認識される物体の物体特有の発光スペクトルパターンを抽出／推定し、前記推定／抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンと比較／マッチングして、ベストマッチングする発光スペクトルパターンを識別し、すなわち、該特定されたベストマッチングする発光スペクトルパターンに割り当てられた物体を識別するように構成されたデータ処理ユニットと、
を有する。

該少なくとも１つのソリッドステートシステムは、半導体発光ダイオード（ＬＥＤ）を含むソリッドステートシステム、有機発光ダイオード（ＯＬＥＤ）を含むソリッドステートシステム、又はポリマー発光ダイオード（ＰＬＥＤ）を含むソリッドステートシステムのグループから選択されることができる。

いくつかの実施形態では、人間の目が検出できる速度よりも速い速度で光源の発光体を切り替えることが有利であり得る。広い発光バンドを有する高速スイッチングＬＥＤ、又はより理想的には、狭い発光バンドを有するＬＥＤを使用することが好ましくあり得る。

特定の発光スペクトルパターンを設計し、物体／物品の発光スペクトルパターンのデータベースを形成することにより、提案されたシステムを使用して発光スペクトルパターンの１つを示す物体を認識することが可能となる。提案システムは、センサによって取得された画像のスペクトル次元における離散的な発光スペクトルパターンを識別することができる。スペクトル特徴の数は認識される物体の形に依存しないことは述べておくべきである。このことは、提案されたシステムが物体の幾何学形状／形の分類の数に制限されないことを可能にする。同じ形の物体及び同じ色の物体さえも、データ処理ユニットによって抽出された化学（発光）情報を解析することにより、区別されることができる。

本システムの可能な実施形態によれば、本システムは、少なくとも識別されたベストマッチングする発光スペクトルパターンに割り当てられた識別された物体を表示するように構成された表示ユニットをさらに備えている。

さらなる実施形態によれば、認識される物体は、発光化学性質、すなわち発光スペクトルパターンが既知であり、タグとして使用される所定の表面発光材料（特に発光染料）を付与され、例えばコーティングされる。物体の発光化学性質をタグとして使用することにより、物体の形や部分的な遮蔽に関わらず、物体認識が可能となる。

発光とは、熱を伴わずに物質から光が放出される性質のことである。化学発光、機械発光、電場発光など、さまざまな発光メカニズムが知られている。光子発光は、他の光子の吸収による光／光子の放出である。光子発光は、蛍光、燐光、アップコンバージョン、及びラマン散乱を含む。光子発光、蛍光、燐光は、通常の光条件下で物体の色の見え方を変えることができる。蛍光と燐光の化学的メカニズムと時間スケールには違いがあるが、ほとんどのコンピュータビジョンシステムでは、これらは同じように見える。本開示の範囲内では、「蛍光」及び「蛍光性」という用語がほとんど使用されているが（例示的及び代用語として）、様々な発光メカニズムが本発明に適用可能である。

物体は、様々な方法で蛍光材料を付与され、すなわち提供されることができる。蛍光材料は、スプレーコーティング、ディップコーティング、コイルコーティング、ロールツーロールコーティングなどの方法で塗布されるコーティングに分散されてよい。蛍光材料は、物体に印刷されてよい。蛍光材料は物体に分散され、そして、押し出され、成形され、又は鋳造されてもよい。幾つかの材料や物体は、自然に蛍光を発し、提案されているシステム及び／又は方法で認識されることができる。幾つかの生物材料（野菜、果物、バクテリア、組織、タンパク質など）は、蛍光性を有するように遺伝子操作され得る。幾つかの物体は、ここで述べられているいずれかの方法で蛍光タンパク質を添加することにより、蛍光性を有するように作られ得る。

膨大な種類の蛍光材料が市販されている。理論的には、如何なる蛍光物質も、識別される物体の蛍光スペクトルパターンが生産後に測定されるため、コンピュータビジョンアプリケーションに適しているはずである。主な制限事項は、蛍光材料の耐久性と、（認識される物体の）ホスト材料との適合性である。好適な蛍光材料の一例は、ＢＡＳＦ Ｌｕｍｏｇｅｎ（登録商標） Ｆシリーズの染料であり、例えば、イエロー１７０、オレンジ２４０、ピンク２８５、レッド３０５、イエロー１７０とオレンジ２４０の組合せ、又はそれらの他の組合せなどである。好適な蛍光材料の例は、Ｃｌａｒｉａｎｔ Ｈｏｓｔａｓｏｌ（登録商標）の蛍光染料、Ｒｅｄ ＧＧ、Ｒｅｄ ５Ｂ、Ｙｅｌｌｏｗ ３Ｇである。蛍光増白剤は多くの有機ポリマーの黄色を抑えるために物体の配合によく含まれる蛍光物質の一種である。蛍光増白剤は、目に見えない紫外光を可視の青色光に蛍光化することで機能し、それによって生産される物体をより白く見せる。ＢＡＳＦ社のＴｉｎｏｐａｌ（登録商標）ＳＦＰと、Ｔｉｎｏｐａｌ（登録商標）ＮＦＷと、Ｃｌａｒｉａｎｔ社のＴｅｌａｌｕｘ（登録商標）ＫＳＩと、Ｔｅｌａｌｕｘ（登録商標）ＯＢ１とを含む、多くの蛍光増白剤が市販されている。

提案されたシステムのまたさらなる実施形態によれば、データ処理ユニットは、抽出／推定された物体特有の蛍光スペクトルパターンと記憶された蛍光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することにより、ベストマッチングする蛍光スペクトルパターンを識別するように構成され、該マッチングアルゴリズムは、最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数、最大波長値のマッチングからなるグループから選択されるが、これらに限定されない。

処理ユニットは、さらに、少なくとも２つの発光体の下で測定された放射輝度データを用いて、物体の蛍光スペクトルパターンを推定／計算し、その後に、推定／計算された蛍光スペクトルパターンを、既知の複数の蛍光スペクトルパターンのデータベースと照合するように、構成されている。請求されたシステムの一実施形態によれば、処理ユニットは、少なくとも２つの発光体の下で測定された放射輝度データを用いて、多ステップの最適化処理において、物体の発光スペクトルパターン及び反射スペクトルパターンを推定するように構成されている。

センサは一般的に、光子カウンティング機能を有する光センサである。より具体的には、センサは、モノクロカメラ、又はＲＧＢカメラ、又はマルチスペクトルカメラ、又はハイパースペクトルカメラであり得る。センサは上記のいずれかの組み合わせであってもよいし、又は、上記のいずれかと例えば特定フィルタを備えたモノクロセンサなどの調整可能又は選択可能なフィルタセットとの組み合わせであってもよい。センサは、シーンの単一のピクセルを測定してもよく、又は一度に多くのピクセルを測定してもよい。光センサは、特定のスペクトル範囲で、特に３つ以上のバンドで、光子をカウントするように構成されてよい。光センサは、広い視野のために、特にすべてのバンドを同時に読み、又は異なる時間に異なるバンドを読む複数の画素を有するカメラであってよい。

マルチスペクトルカメラは、電磁スペクトル上の特定の波長範囲の画像データを取得する。波長は、フィルタで分離されてもよく、赤外線や紫外線などの可視光域を超える周波数の光を含む特定の波長に感度を有する機器を使用することによって分離されてもよい。スペクトルイメージングは、赤、緑、青の受容体によって人間の目では捉えられない追加の情報の抽出を可能にする。マルチスペクトルカメラは、少数（通常３～１５）のスペクトルバンドで光を測定する。ハイパースペクトルカメラは、しばしば数百の連続したスペクトルバンドが利用可能であるスペクトルカメラの特別なケースである。

光源は、少なくとも２つの異なる発光体間の切り替えが可能なものを選択されるのが好ましい。一部の方法では、３つ以上の発光体が必要な場合がある。発光体の全組み合わせを光源と称する。これを行う１つの方法は、異なる波長の発光ダイオード（ＬＥＤ）から発光体を作り出すことである。ＬＥＤは、迅速にオン及びオフに切り換えられ、発光体間の迅速な切り換えを可能にする。異なる放射を有する蛍光光源を使用してもよい。異なるフィルタを有する白熱光源を使用してもよい。光源は、人間の目には見えない速さで発光体間を切り替えてもよい。ＬＥＤ又はその他の光源を用いて正弦波状の発光体を創成してもよく、これは提案されているコンピュータビジョンアルゴリズムのいくつかに有用である。

シーンの放射輝度データを測定するように構成されたセンサは、発光体間の光源の切り替えにリンクされ、同期されている。それは１つの発光体がアクティブである間だけ情報を取得するように構成されてよい。それは１つ以上の発光体がアクティブの間に情報を取得／測定し、様々なアルゴリズムを使用して、発光体のサブセットの放射輝度を計算して発行するように構成されていてもよい。また、それは光源のアクティブ前、アクティブ後、又はアクティブ中の特定の期間にシーンの放射輝度を取得するように構成されてもよく、光パルスよりも長く又は短く持続してもよい。つまり、センサはスイッチングにリンクしているが、１つだけの発光体がアクティブの間に放射輝度データを取得する必要は必ずしもないことを意味する。この手順は、ノイズを低減するために、又はセンサのタイミングの制限のために、一部のシステムで有利であり得る。

センサを光源に同期させること、及び、センサがセンサ統合時間中に発光体の状態を追跡することが可能である。光源のスペクトル変化は、ネットワークを介して、センサ統合時間と同期して作動する制御ユニットによって管理される。ネットワークに接続された複数の光源が、同じ時間的及びスペクトル的変化の周波数を有するように同期されることができ、効果を増幅させることができる。

別の態様では、本発明の実施形態は、コンピュータビジョンアプリケーションによる物体認識のための方法に関する。提案された方法は、少なくとも以下の方法ステップ：
－ 認識される物体に物体特有の反射及び蛍光スペクトルパターンを提供するステップと、
－ 少なくとも２つの発光体で構成される光源で、前記少なくとも２つの発光体を切り替えることによって前記認識される物体を含むシーンを照射するステップであって、前記少なくとも２つの発光体の少なくとも１つは少なくとも１つのソリッドステートシステムであるステップと、
－ 前記シーンが前記光源によって照射されたときに、前記認識される物体を含む前記シーンの放射輝度データを測定するステップと、
－ 適切に割り当てられたそれぞれの物体にリンクされた蛍光スペクトルパターンを有するデータベースなどのデータ記憶ユニットを提供するステップと、
－ データ処理ユニットによって、前記シーンの放射輝度データから前記認識される物体の物体特有の蛍光スペクトルパターンを推定するステップと、
－ 前記データ処理ユニットによって、前記認識される物体の推定された物体特有の蛍光スペクトルパターンを、前記データ記憶ユニットに記憶された蛍光スペクトルパターンと比較／照合するステップと、
－ 前記データ処理ユニットによって、ベストマッチングする蛍光スペクトルパターン、したがって、ベストマッチングする蛍光スペクトルパターンに割り当てられた物体を識別するステップと、
を含む。

物体に物体特有の反射及び蛍光スペクトルパターンを提供するステップは、可能な一実施形態によれば、人工的な物体である場合、例えば、蛍光材料を用いて認識される物体に蛍光を付与することを含む。

認識される物体が自然の物体である場合、物体は固有的にすでに物体特有の反射及び蛍光スペクトルパターンを有している可能性がある。

物体に蛍光を付与するステップは、物体に蛍光材料をコーティングするか、又は他の方法で物体の表面に蛍光を付与することで実現されることができる。後者の場合、蛍光は物体全体に分布されることができ、したがって、同様に表面で検出可能である。

提案された本方法の可能な一実施形態によれば、本方法は、識別されたベストマッチングする蛍光スペクトルパターンに割り当てられた少なくとも識別される物体を、表示装置を介して表示するステップをさらに含む。

提案された本方法のマッチングステップは、特に、推定される物体特有の蛍光スペクトルパターンと記憶された蛍光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することによって、ベストマッチングする蛍光スペクトルパターンを識別することを含み、該マッチングアルゴリズムは、最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数、最大波長値のマッチングを含むがこれらに限定されない群から選択される。一般的に、マッチングアルゴリズムは任意である。

提案された本方法の推定ステップは、少なくとも２つの発光体の下で測定された放射輝度データを用いて、物体の蛍光スペクトルと反射スペクトルを推定することを含む。

データ記憶ユニットを提供するステップは、複数の蛍光製剤を設計することにより、物体の蛍光化学情報、すなわち物体／物品の蛍光スペクトルパターンのデータベースを形成することを含み、各蛍光製剤は、物体が物体特有の蛍光スペクトルパターンを得て光源によって照射されたときにそれを表示するように、物体に適用され、したがって、割り当てられる。これは、異なる固有のスペクトルシグネチャ／蛍光スペクトルパターンを実現するように、特定の比率での異なる放射プロファイルを有する蛍光化学物質の特定の混合物を使用することによって実現されることができる。

特に、光源は、２つの発光体を有し、該２つの発光体間の切り替え時間が短い、すなわち該２つの発光体が互いに迅速に互いに入れ替わる切り替え可能な光源として選択される。さらに、２つの発光体が逆位相の２つの正弦波状発光体であることも可能である。２つの発光体は、ＬＥＤ発光体として選択されることができる。

シーンの放射輝度データを取得するステップは、特に、少なくとも２つの発光体間での光源の切り替えにリンクされ、同期されているセンサによって実行される。１つの発光体がアクティブな時間中のみ情報を取得することも可能である。あるいは、１つ以上の発光体がアクティブな時間中に情報を取得し、発光体のサブセットの放射輝度を計算するために様々なアルゴリズムを使用することも可能である。

別の態様では、本発明の実施形態は、コンピュータによって実行可能な命令を有するコンピュータプログラム製品を提供し、該コンピュータプログラム製品は提案された本方法の実施形態のいずれか１つを実現／実行／実施する命令を含んでいる。

本発明は、認識される物体の蛍光スペクトルが、制御された時間的な照射条件下で、及び対象スペクトルバンド／ラインで特徴付けられ、一方、認識される物体に適用される蛍光製剤のスペクトルシグネチャが、コンピュータビジョンアプリケーションで物体認識のために使用されるシステム及び方法に関する。提案された本システムと本方法は、認識される物体の蛍光化学、すなわち蛍光スペクトルパターンをタグとして使用することによって、物体の形状、環境光、及び部分的な遮蔽に関係なく、物体の認識を可能にする。

提案された本システムのデータ記憶ユニットを提供するために、特定の物体／物品について測定され、したがってそれらの物体にリンクされたユニークな蛍光スペクトルパターンは、特定の物体の蛍光化学情報のデータベースを形成するために使用される。蛍光は、添加物、コーティング、塗料などとして適用されるか、又はそれが生物学的材料（果物、野菜など）の一部であるか、もしくはそれが自然に存在している（人工的に配置されていない）が検出されることができるかである。データ記憶ユニットは、それぞれが特定の物体とユニークにリンクされているユニークな蛍光スペクトルパターンのツールを提供する。データ記憶ユニットにより、提案された本システムは、最初に光源によってそれぞれの物体を照射し、センサによって物体の放射輝度データを感知し、データ処理ユニットによって放射輝度データから物体特有の蛍光スペクトルパターンを推定し、推定された物体特有の蛍光スペクトルパターンとデータ記憶ユニットに記憶された蛍光スペクトルパターンとを比較することによって、提案されたシステムを使用して、特定の蛍光化学を示す物体を認識することを可能にする。

簡単に定義及び検出されることができる設計された特徴を有することが、他の技術と比較して、視覚的に物体を識別する最も計算効率の高い方法であることは当技術分野で知られている。例えば、バーコードをスキャンすることで、システムは直ちにデータベースに接続し、スキャンされた物体を識別する。同様に、提案された本システムは、バーコードリーダが空間的な次元で作動するように、画像のスペクトル次元で離散的な蛍光スペクトルパターンを識別することができるため、より効率的でさえある。スペクトル特性の数は、対象物体の形に依存しない。これは、提案された本システムと方法が、分類の数において物体の幾何学的形状／形に制限されないようにすることを可能にする。コンピュータビジョンシステムによって抽出された蛍光化学を分析することにより、同じ形状、さらには同じ色を有する物体が区別され得る。

本発明の重要な態様の１つは、環境光要素が、提案された本システムと方法のためのライトプローブとして利用され得ることである。屋内条件では通常、コンピュータビジョンアプリケーションを容易にするために、制御された均一な照明環境が必要である。しかし、提案された本システムと方法は、代わりに物体を認識するために、照明条件の違いを利用する。さらに、本システムの独特な点は、それぞれの物体から蛍光化学情報を抽出するために、ＬＥＤ光源又は同等の構成による環境光の迅速な変化を利用することである。このような照明条件の迅速な変化は人間の目には見えず、そして光源のスペクトルの変化は、センサの統合時間と同期して機能するネットワークを介して、システムによって管理されることができる。ネットワークに接続された複数の光源は、効果を増幅させる同じ時間的及びスペクトル的変化の周波数を有するように、同期され得る。

本発明の別の独特な態様は、物体の蛍光（又は化学）情報は、その物体に関する情報、すなわち、材料の種類、価格、マニュアルなど、及び、動的（ライブ）データベースに保持されている情報、すなわち、３Ｄマップ内の情報を追跡及び更新するデータ記憶ユニットに保持されている情報に結合され得ることである。提案された本システムを用いて、及び潜在的可能性として他の方法との組み合わせを用いて、物体を３Ｄ空間において動的に追跡することにより、提案された本システムは、物体位置が動的に更新され、及び物体が提案された本システムのセンサの視野内にある限り、２つの同一の物体をそれらの物体の３Ｄ位置によって区別する能力を可能にする。

提案された本システムの独特の有用性を強調する上記の例は、完全なものではなく、これらの特定の用途に限定されることを意図するものではない。さらなる適用は、モノクロ、ＲＧＢタイプ、光のマルチスペクトル又はハイパースペクトルセンサを含む、様々な種類のカメラを使用するプラットフォームに基づくことができる。

提案された本方法の一実施形態によれば、認識される物体は、少なくとも以下を含む群から選択される発光材料を備えている：
ＵＶ、ＶＩＳ、ＮＩＲ及び／又はＩＲにおいて蛍光（ストークス）特性を有する任意の材料、ＶＩＳ及び／又はＮＩＲにおいてアップコンバージョン（アンチストークス）特性を有する任意の材料、蛍光効果を有するように設計された生物学的製剤、自然蛍光効果を有するように設計された生物学的製剤、及び／又は食品着色料。

認識される物体に発光材料を付与する技術は、以下の技術の１つ又は組み合わせとして選択されることができる：スプレー、圧延、引き伸ばし、堆積（ＰＶＣ、ＣＶＤなど）、押出成形、フィルム塗布／接着、ガラス成形、成型技術、インクなどの印刷、あらゆる種類のグラビア、インクジェット、付加製造、布／織物処理（染色又は印刷方法）、染料／顔料吸収、描画（手／その他）、ステッカー付与、ラベル付与、タグ付与、化学的表面グラフト化、乾式付与、湿式付与、固体への混合物提供、反応性／非反応性染料の提供。

シーンの放射輝度データを測定するセンサは、少なくとも：すべての種類のフォトダイオード、２５０ｎｍ以上の波長をカバーするセンサ、１，８００ｎｍまでの波長をカバーするセンサ、動的又は静的なフィルタを備えたセンサ、プリズムベース又は同等の空間的波長分離システム、複数のカメラ、ステレオカメラ、ハイパースペクトルセンサ（１０バンド以上（≧１０バンド））、マルチスペクトルセンサ（３バンドより大きい（＞３バンド））、ＲＧＢセンサ（３バンド）、すべてのバンド又は選択されたバンドのみをカバーするセンサ、すべてのフレームレートをカバーするセンサ、光子及び／又は電磁放射（２５０ｎｍ～１，８００ｎｍ）に対応する他のセンサ、偏光フィルタ（円形、線形など）を含むセンサ、非偏光フィルタを含むセンサ、を含む群から選択されることができる。

データベースは、エッジコンピューティングシステムに記憶されることも、クラウドに記憶されることもできる。データは、それぞれの物体に付随の広告、価格、所有者、ＳＤＳ、カロリー値、レシピに関する追加情報とともに、又は、それ無しに記憶されることができる。さらなるデータは、それぞれの物体の有効期限、製造日、名称、貯蔵寿命、成分リスト、場所、タイムスタンプを提供されることができる。さらに、データは、それぞれの物体に関する使用説明、製造者、原産地、リサイクル方法、マニュアル、評価、レビューを提供されることができる。さらに、データは、それぞれの物体に関する、交通標識情報、織物、衣類、犬の鎖、自転車、車などの材料の種類に関する情報を提供されることができる。さらに、それぞれの物体の使用レベル、残量、重量、体積、アルコール含有量、アルコール消費量に関するデータを提供されることができる。

ベストマッチングする発光スペクトルパターンに割り当てられた識別された物体は、以下の装置：スマートグラス、スマートフォン、スマートウォッチ、チェストカメラなどの他のウェアラブル、スパイカメラ、靴、シャツ、ボタン、コンタクトレンズ、防犯カメラ、車両、ドローン、ロボット、ホームアシスタント、ラップトップ、タブレット、交通監視カメラ、屋内及び屋外システム、移動式又は据え置き式のシステム、テレビ、おもちゃ、移動式スキャナ又は固定式スキャナ、コーヒーマシン、家電製品、産業機械、生産設備／工場、リサイクル／分別装置、スマートゴミ箱、スマートリサイクル箱、ペン、の１つ又はそれらの組み合わせを介して表示され得る。

提案された方法は多くの適用分野を有している。したがって、本方法は、例えば、物体認識、物体追跡、物体の分類、物体識別、物体の位置特定、在庫管理、自動注文、小売、オンラインストア、事故防止自律走行車両、偽造防止、拡張現実や複合現実の適用、広告、フィットネス／健康管理、倉庫管理、製造、組み立て、計数、学習、スポーツ、指示、マニュアル、アドバイス、料理、人工知能支援などに使用されることができる。

本発明は、以下の実施例でさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のみのために与えられていることを理解されたい。上述の議論及び実施例から、当業者は、本発明の本質的な特徴を確認することができ、その精神及び範囲から逸脱することなく、本発明を様々な用途及び条件に適合させるために、本発明の様々な変更及び改変を行うことができる。

提案されたシステムの概略的な実施形態を示す図である。 実施例１で使用される３つの広バンド光源の測定された放射輝度を示す図である。 実施例１からの１つの材料の測定された発光スペクトルパターンと計算された発光スペクトルパターンの比較例を示す図である。 実施例１のすべての材料の測定された発光スペクトル（スペクトルパターン）（上）と計算された発光スペクトル（スペクトルパターン）（下）を示す図である。 実施例１の異なる比較／マッチングアルゴリズムを異なる表に示す図である。 提案されたシステムの一実施形態で使用されるＬＥＤ光源下での発光体スペクトルと測定された放射輝度の例を示す図である。 測定された発光スペクトル（スペクトルパターン）と計算された発光スペクトル（スペクトルパターン）の比較例を示す図である。 計算された発光スペクトル（スペクトルパターン）（左）と測定された発光スペクトル（スペクトルパターン）（右）を示す図である。 実施例２に用いることができる異なる比較／マッチングアルゴリズムを異なる表に示す図である。

図１ａ及び図１ｂは、提案されたシステム１００の実施形態を概略的に示している。システム１００は、少なくとも１つの認識される物体１３０を含む。さらにシステム１００は、カメラ、特にマルチスペクトルカメラ又はハイパースペクトルカメラなどの画像化装置によって実現可能なセンサ１２０を含む。システム１００は、さらに、光源１１０を含む。光源１１０は、異なる個別の発光体で構成され、その数及び性質は、使用される方法に依存する。図１ａに示される実施例１については、３つの発光体が提供され、該３つの発光体は、一般的に入手可能な白熱電球１１１、コンパクト蛍光灯１１２、及び白色光ＬＥＤ１１３の電球である。光源は、図１ｂに示されるように、２つの発光体で構成されてよい。実施例２については、２つの発光体のみが提供され、該２つの発光体はカスタムＬＥＤ発光体１１４及び１１５である。発光体１１４は、５Ｖで作動する３つのＬＥＤからなる。１つのＬＥＤは、ＶＣＣ社製の３３００オームのインライン抵抗を有する４００ｎｍのＬＥＤ（ＶＡＯＬ－５ＧＵＶ０Ｔ４）である。２つ目のＬＥＤは、Ｌｕｍｅｘ（登録商標）からの３３００オームのインライン抵抗を有する５００ｎｍのＬＥＤ（ＳＳＬ－ＬＸ５０９３ＵＥＧＣ）である。３つ目のＬＥＤは、Ｌｕｍｅｘ（登録商標）からの６８０オームのインライン抵抗を有する６１０ｎｍのＬＥＤ（ＳＳＬ－ＬＸ５０９４ＳＯＣ）である。発光体１１５は、５Ｖで作動する３つのＬＥＤからなる。１つのＬＥＤは、Ｃｒｅｅ社製の５０００オームのインライン抵抗を有する４７０ｎｍのＬＥＤ（Ｃ５０３Ｂ－ＢＣＳ－ＣＶ０Ｚ０４６１）である。２つ目のＬＥＤは、Ｋｉｎｇｂｒｉｇｈｔ（登録商標）からの１００オームのインライン抵抗を有する５７４ｎｍのＬＥＤ（ＷＰ７１１３ＣＧＣＫ）である。３つ目のＬＥＤは、ＶＣＣ社製の４７オームのインライン抵抗を有する６４３ｎｍのＬＥＤ（ＶＡＯＬ－５ＧＡＥ４）である。

光源は、異なる発光体（図１ａの１１１、１１２及び１１３、又は図１ｂの１１４及び１１５）の間の迅速な切り替えによって、認識される物体１３０を含むシーンを照射するように構成されることができる。システム１００は、データ処理ユニットすなわちＣＰＵ１４０をさらに含み、ＣＰＵ１４０は、ＣＰＵ１４０と無線又は有線で接続されているデータ記憶ユニット１５０に記憶されている反射及び／又は蛍光スペクトルパターンを用いて物体特有の反射及び／又は蛍光スペクトルパターンを推定し、ベストマッチングする反射及び／又は蛍光スペクトルパターン、したがって、ベストマッチングする反射及び／又は蛍光スペクトルパターンに割り当てられた物体を識別するように構成されている。システム１００は、識別されたベストマッチングする蛍光スペクトルパターンに割り当てられた識別された物体を少なくとも表示するように構成されている表示ユニット１６０をさらに含む。システム１００は、１つ以上のセンサ、１つ以上の光源、及び／又は１つ以上の物体を含むことができ、そこではシステムのすべての構成要素がネットワークを形成している。システム１００を使用することにより、物体認識のための提案された方法の一実施形態を実行することが可能である。認識される物体１３０は、蛍光材料が付与され、このため、物体には物体特有の反射及び蛍光スペクトルパターンが与えられている。独自の蛍光スペクトルパターン／シグネチャを有する材料を創成するために、一成分自動車用クリアコートに分散させたＢＡＳＦ社Ｌｕｍｏｇｅｎ（登録商標）Ｆシリーズの染料が使用された。Ａ、Ｂ、Ｃ、Ｄとラベル付けされたイエロー１７０、オレンジ２４０、ピンク２８５、レッド３０５の４種類の異なる染料と、Ｅとラベル付けされたイエロー１７０とオレンジ２４０の組み合わせが、実施例１及び２の材料を創成するために使用された。着色されたクリアコートが、２００ミクロンの厚さで白色鋼板に塗布され、硬化された。物体に蛍光を適用する他の方法が使用されてもよい。

コーティングされた物体１３０は、複数の発光体から構成された光源１１０によって照射される。発光体は、人間の目には見えない速度で迅速に切り替えられ、該発光体の変化は、センサ１２０の統合時間と同期して機能するネットワークを通して、提案されたシステムによって管理される。一般的には、ネットワークに接続された複数の光源が、効果を増幅させる同じ時間的及びスペクトル的変化の周波数を有するように同期されることは可能である。物体１３０を含むシーンが光源１１０によって照射されると、物体１３０を含むシーンの放射輝度データがセンサ１２０によって取得／測定される。データ処理ユニット１４０は、最初に物体の蛍光スペクトルと反射スペクトルを分離することにより、シーンの放射輝度データから物体特有の反射及び／又は蛍光スペクトルパターンを推定する。

蛍光を反射から分離する複数の方法が知られている。実施例１で用いた方法は、Ｙｉｎｑｉａｎｇ Ｚｈｅｎｇ，Ｉｍａｒｉ Ｓａｔｏ，及びＹｏｉｃｈｉ Ｓａｔｏによる「通常の発光体を用いた蛍光及び反射シーンのスペクトル推定」，ＥＣＣＶ ２０１４，Ｐａｒｔ Ｖ，ＬＮＣＳ ８６９３，１８８～２０２頁，２０１４に記載されている。そこに記載されている方法は、ハイパースペクトルカメラを用いて、３つの異なる広バンド発光体下で蛍光材料を画像化するものである。この論文は参照により完全に組み込まれる。

本発明によれば、図１ａに示されるように、３つの異なる発光体１１１、１１２及び１１３の下で測定された放射輝度データを用いて、反射及び蛍光スペクトルパターンが多段階の最適化処理で計算される。物体１３０の計算された蛍光スペクトルパターンは、処理ユニット１４０によって、データベース１５０に記憶された材料のライブラリからの既知の（蛍光光度計を使用して）測定されたスペクトルパターンと比較される。データベース１５０は、特定の物体とそれぞれリンクされた複数の蛍光スペクトルパターンを含んでいる。このようなデータベースを形成するために、異なる蛍光製剤を設計し、それらの蛍光製剤をそれぞれの異なる物体に適用することにより、各物体は物体特有の蛍光スペクトルパターンと一意的にリンクされることが可能である。蛍光製剤は、異なる放射プロファイルを有する蛍光化学物質の特定の混合物を特定の比率で使用することにより、それぞれに特有のスペクトルシグネチャを実現するように設計され得る。物体１３０に適用された蛍光材料は、次に、計算された物体特有の蛍光スペクトルパターンと、データベース１５０に記憶された既知の材料スペクトルパターンとの間の任意の数のマッチングアルゴリズム、例えば、最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数又は最大放射波長値のマッチングによって、識別されることができる。蛍光物質の識別は、次に、データベース情報を用いて、物体１３０の識別を可能にする。

最後に、データ処理ユニット１４０が、推定された蛍光スペクトルパターンを、データ記憶ユニット１５０に記憶された物体特有の蛍光スペクトルパターンとマッチングし、ベストマッチングする蛍光スペクトルパターンを識別する。最後に、データ処理ユニット１４０は、識別されたベストマッチングする蛍光スペクトルパターンによって、このベストマッチングする蛍光スペクトルパターンとリンクされた物体を、データ記憶ユニット１５０から読み出し、該物体を蛍光スペクトルパターンと共に表示ユニット１６０上に表示することができる。

画像化装置１２０は、ハイパースペクトルカメラ又はマルチスペクトルセンサであり得る。ハイパースペクトルセンサの２０数個の個別のセンサバンドの代わりに、マルチスペクトルセンサは、約４～２０個のセンサバンドを有する。マルチスペクトルセンサは、スナップショットモードで作動し、１回の露光でシーン全体を撮ることができる。対照的に、ハイパースペクトルセンサは、一般的にラインスキャンモードで作動するため、つまり、１度にシーン全体を画像化することはできない。さらに、マルチスペクトルセンサは、ハイパースペクトルカメラよりもはるかに経済的である。マルチスペクトルセンサは、ハイパースペクトルカメラほどのスペクトル解像度を有していないが、適切なマッチングアルゴリズムを用いた提案された方法を用いて材料識別を推定するには十分である。センサはまた、時間経過とともに測定されたスペクトル領域を変化させるメカニズムによってモノクロ方式で作動することができる。センサは、狭バンドフィルタで作動することができる。これは、狭バンドフィルタが、太陽内の元素吸収によって太陽スペクトルから欠落した波長であるフラウンホーファー線に対応する場合、屋外条件又は太陽照明成分を有する他の条件において有用である。このようにして、人工光源に比べて圧倒的に強い太陽放射をほぼ排除することができ、反射及び蛍光の分離、ひいては物体の識別を可能にする。

蛍光物体１３０は、図１ａに示されるように実施例１については異なる発光体１１１、１１２及び１１３によって、又は図１ｂに示されるように実施例２についてはＬＥＤ発光体１１４及び１１５によって、画像化された。使用されるセンサ１２０は、実施例１及び２ではＲｅｓｏｎｏｎ Ｐｉｋａ Ｌ ハイパースペクトル画像化装置であり、約３８４ｎｍから１０２４ｎｍの間の３００波長バンドで構成され、物体１３０から約０．５メートルに配置されている。実施例２では、結果として生じた放射輝度は４２０ｎｍから７４０ｎｍの間で１０ｎｍ間隔で再結合された。

実施例２で反射から蛍光を分離するために使用された方法は、Ｆｕらの論文「スペクトル領域における高周波照射を用いた反射及び蛍光成分の分離」（ＩＣＣＶ ２０１３）に掲載されている。彼らの論文で適用されるように、正弦波状スペクトルを出力できるカスタマイズ可能な光源（Ｎｉｋｏｎ ＥＬＳ－ＶＩＳ）が必要である。カスタマイズ可能な光源は低出力で高価なため、広範な使用又は通常のサイズのシーンでの使用が阻まれる。驚くべきことに、現在のＬＥＤ技術ではＮｉｋｏｎ ＥＬＳ－ＶＩＳほどの狭い発光バンドを作ることができないにもかかわらず、光源が安価で高出力のＬＥＤによって置き換えられることが見出された。ハイパースペクトル画像が、実施例１と同様の方法で記録され、１０ｎｍ間隔で再結合された。両方のＬＥＤ発光体１１４、１１５が同様の放射輝度を有する波長は、計算の性質上省略される。計算／推定された放射結果は、蛍光分光光度計を用いて各材料について測定された蛍光放射と比較された。比較しやすいように、測定された放射スペクトルも同じ１０ｎｍ間隔で再結合され、同じ波長は省略された。

計算された／推定された放射結果を達成するために、２つのＬＥＤ発光体１１４、１１５の各発光体の下で各波長で測定された放射輝度データに単純なアルゴリズムが適用され、それにより反射及び取得される蛍光放射スペクトルの分離を可能にする。

反射と蛍光は異なる物理的挙動を有するため、それらは異なるモデルで説明される必要がある。反射面の放射輝度は、入射光とその反射に依存する。上述のＦｕらの論文の命名を用いて、波長λにおける通常の反射面の観測される放射輝度は次のように計算され、

式中、ｌ（λ）は波長λにおける入射光のスペクトルであり、ｒ（λ）は波長λにおける表面の分光反射である。

純粋な蛍光表面で観測される放射輝度は、入射光、材料の吸収スペクトル、及びその放射スペクトルに依存する。蛍光は通常、ある波長の光を吸収し、より長い波長の光を放出する。表面の吸収スペクトルによって、光がどれだけ吸収されるかが決まる。吸収されたエネルギーの一部は、入射光より長い波長の放射スペクトルの形で放出される。吸収されたエネルギーの残りは熱として放出される。波長λにおける純粋な蛍光表面で観測されるスペクトルは、その吸収及び放射スペクトルによって次のように表される。

式中、ａ（λ’）及びｅ（λ）は、吸収スペクトル及び放射スペクトルを表す。

とすると、ｐ_ｆ（λ）はｐ_ｆ（λ）＝ｋｅ（λ）と表すことでき、これは放射スペクトルの形状又は分布は一定であるが、放射スペクトルのスケールｋは異なる照射下で変化することを意味する。つまり、蛍光放射の放射輝度は異なる照射下で変化するが、その色は照射の色に関係なく同じままである。最後に、反射表面と蛍光表面は、以下による放射輝度を示す：

提案された本方法によって提案されているようにスペクトル領域における高周波正弦波照度を使用する場合、これらの２つの正弦波発光体の下での物体の放射輝度は、以下のように表され得る：

これにより、反射ｒ（λ）及び蛍光放射ｋｅ（λ）は以下のように復元される

上述の方程式により、発光体からの放射輝度データｐ（λ）及び強度ｌ（λ）から、光源によって照射された物体の反射ｒ（λ）及び蛍光放射ｅ（λ）を計算することができる。これにより、蛍光放射は、物体の物体特有の蛍光スペクトルパターンに対応する。計算された物体特有の蛍光スペクトルパターンは、次に、データベースに記憶されそれぞれの特定の物体にリンクされた蛍光スペクトルパターンと比較される。

図２は、例示的な発光体スペクトル２３０、２４０及び２５０を示す。図２００は、波長がそれに沿ってプロットされた横軸２１０と、照射の強度を示す縦軸２２０とを示している。曲線２３０は、第１発光体、すなわち、少なくとも３つの顕著な極大、すなわち４３５．１５ｎｍ、５４６．４７ｎｍ及び６１１．４５ｎｍでの最高の極大を有するＣＦＬ（コンパクト蛍光ランプ）の照射を示す。曲線２４０は、第２発光体、すなわち波長の増加に伴い光強度が増加する白熱発光体の発光体スペクトルを示す。曲線２５０は、第３発光体、すなわち、４５３．５４ｎｍ及び６０３．０２ｎｍにおいて２つの顕著な極大を有するＬＥＤの発光体スペクトルを示す。

図３は、実施例１の計算された放射結果（計算された蛍光スペクトルパターン）と、蛍光光度計を用いて材料Ａについて測定された蛍光放射との比較を示す。図３００は、波長を示す横軸３１０と、正規化された放射強度を示す縦軸３２０を有している。曲線３３０及び３４０から分かるように、曲線３３０は、５６５．２６ｎｍで最大値を有する計算された放射を示し、曲線３４０は、５６８ｎｍで最大値を有する測定された放射を示し、良好な一致が見られる。

図４は、実施例１の異なる材料Ａ、Ｂ、Ｃ、Ｄ、Ｅについて測定された放射スペクトル（測定された蛍光スペクトルパターン）を上部に示し、計算された放射スペクトル（計算された蛍光スペクトルパターン）を下部に示す。各異なる材料Ａ、Ｂ、Ｃ、Ｄ、Ｅのそれぞれの図では、示されているように異なる曲線がプロットされている。

図５は、実施例１の計算された蛍光放射スペクトルと測定された蛍光放射スペクトルとの間の量的比較の結果を示している。平均絶対誤差（図５ａ）、スペクトル角度（図５ｂ）及びユークリッド距離（図５ｃ）は、各測定された材料のスペクトルに関連して、計算されたすべてのスペクトルについて計算された。平均絶対誤差は、計算値の誤差をグランドトルース値と比較する一般的な方法であり、より低い平均絶対誤差値は、計算値とグランドトルース値との間のより良いマッチングを示す。スペクトル角度マッピング（図５ｂ）は、物体を既知のスペクトルデータベースに分類するスペクトルイメージングで使用される概念である。スペクトル角度マッピングの場合、低い値は、未知の物体と測定された物体との間のより近いマッチングを示す。ユークリッド距離（図５ｃ）は、スペクトル角度と同様にスペクトルイメージングで使用される別の概念である。この場合も、値が小さいほどユークリッド距離により近いマッチングを示す。材料Ａ、Ｃ、Ｄ、及びＥの場合、平均絶対誤差、スペクトル角度、及びユークリッド距離の計算結果は、材料Ｂを除き、それぞれ図５ａ、図５ｂ、及び図５ｃに示された表からわかるように、未知の材料を正確に識別している。

図６は、例示的な発光体スペクトル及び実施例２の各発光体の下で測定された放射輝度を示す。図６００は、波長がそれに沿ってプロットされた横軸６１０と、照射の強度を示す縦軸６２０とを示している。曲線６４０は、第１発光体の照射を示し、曲線６４１は、第１発光体によって照射された物体のそれぞれの放射輝度データを示す。曲線６３０は、第２発光体の発光体スペクトルを示し、曲線６３１は、第２発光体によって照射されたときの物体の各放射輝度データを示す。蛍光放射の効果は約５３０～６５０ｎｍの範囲で明らかである。

図７は、実施例２の計算された放射結果（計算された蛍光スペクトルパターン）と、蛍光光度計を用いて材料Ａについて測定された蛍光放射との比較を示す。図７００は、波長を示す横軸７１０と、正規化された放射強度を示す縦軸７２０を有している。曲線７３０及び７４０から分かるように、曲線７３０は、計算された放射を示し、曲線７４０は、測定された放射を示し、良好な一致が見られる。

図８は、実施例２の計算された放射スペクトル（計算された蛍光スペクトルパターン）を左側に示し、異なる材料Ａ、Ｂ、Ｃ、Ｄ、Ｅのそれぞれの測定された放射スペクトルを右側に示している。異なる材料Ａ、Ｂ、Ｃ、Ｄ、Ｅのそれぞれの図では、示されているように異なる曲線がプロットされている。

図９は、実施例２の計算された蛍光放射スペクトルと測定された蛍光放射スペクトルとの間の量的比較の結果を示す。平均絶対誤差（図９ａ）、スペクトル角度（図９ｂ）、及びユークリッド距離（図９ｃ）は、各測定された材料のスペクトルに関連して、計算されたすべてのスペクトルについて計算された。材料Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれについて、平均絶対誤差、スペクトル角度、及びユークリッド距離の計算結果は、図９ａ、図９ｂ、及び図９ｃに示された表からわかるように、未知の材料を正確に識別している。

Claims (15)

1. コンピュータビジョンアプリケーションを介する物体認識のためのシステム（１００）であって、少なくとも以下の構成要素：
   － 認識される物体（１３０）であって、物体特有の反射スペクトルパターン及び発光スペクトルパターンを有する物体（１３０）と、
   － 少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）で構成され、前記少なくとも２つの発光体を切り替えることによって前記認識される物体を含むシーンを照射するように構成された光源（１１０）であって、前記少なくとも２つの発光体の少なくとも１つは少なくとも１つのソリッドステート照明システムに基づく光源（１１０）と、
   － 前記シーンが前記光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データを測定するように構成されたセンサ（１２０）と、
   － 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニット（１５０）と、
   － データ処理ユニット（１４０）であって、前記シーンの前記放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを抽出し、前記抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている前記発光スペクトルパターンとマッチングして、ベストマッチングする発光スペクトルパターンを識別し、したがって、割り当てられた物体を識別するように構成されたデータ処理ユニット（１４０）と、
   を有する、システム（１００）。
2. 前記識別されたベストマッチングする発光スペクトルパターンに割り当てられている前記識別される物体を少なくとも表示するように構成された表示ユニット（１６０）をさらに備える、請求項１に記載のシステム。
3. 前記認識される物体（１３０）は所定の発光材料を付与され、得られた物体の発光スペクトルパターンは既知であり、タグとして使用される、請求項１又は２に記載のシステム。
4. 前記データ処理ユニット（１４０）は、前記抽出された物体特有の発光スペクトルパターンと前記記憶された発光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することにより、前記ベストマッチングする発光スペクトルパターンを識別するように構成され、前記マッチングアルゴリズムは、少なくとも最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数、最大波長値のマッチングを含む群から選択される、請求項１から３のいずれか１項に記載のシステム。
5. 前記処理ユニット（１４０）は、前記少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）の下で測定された放射輝度データを用いて、前記認識される物体（１３０）の前記発光スペクトルパターン及び前記反射スペクトルパターンを推定するように構成されている、請求項１から４のいずれか１項に記載のシステム。
6. 前記センサ（１２０）は、ハイパースペクトルカメラ又はマルチスペクトルカメラである、請求項１から５のいずれか１項に記載のシステム。
7. 前記光源（１１０）は、それぞれが１つ以上のＬＥＤで構成された２つの発光体（１１４、１１５）を有し、前記２つの発光体間の切り替え時間が短い切り替え可能な光源（１１０）である、請求項１から６のいずれか１項に記載のシステム。
8. 前記センサ（１２０）は、前記少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）のうちの１つの下では前記シーンから前記放射輝度データを１度のみ発行するように、前記（１１０）の切り替えに同期されている、請求項１から７のいずれか１項に記載のシステム。
9. コンピュータビジョンアプリケーションを介する物体認識のための方法であって、少なくとも以下の方法ステップ：
   － 認識される物体（１３０）に物体特有の反射スペクトルパターン及び発光スペクトルパターンを提供するステップと、
   － 少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）で構成される光源（１１０）で、前記少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）を切り替えることによって前記物体（１３０）を含むシーンを照射するステップであって、前記２つの発光体の少なくとも１つは少なくとも１つのソリッドステートシステムに基づいているステップと、
   － 前記シーンが前記光源（１１０）によって照射されたときに、前記物体（１３０）を含む前記シーンの放射輝度データをセンサ（１２０）によって測定するステップと、
   － データ記憶ユニット（１５０）に、適切に割り当てられたそれぞれの物体と共に発光スペクトルパターンを提供するステップと、
   － データ処理ユニット（１４０）によって、前記シーンの前記放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを推定するステップと、
   － 前記データ処理ユニット（１４０）によって、前記推定された物体特有の発光スペクトルパターンを、前記データ記憶ユニット（１５０）に記憶された前記発光スペクトルパターンとマッチングするステップと、
   － 前記データ処理ユニット（１４０）によって、ベストマッチングする発光スペクトルパターンを識別し、したがって、その割り当てられた物体を識別するステップと、
   を含む、方法。
10. 前記認識される物体（１３０）を提供するステップは、前記物体に発光材料を付与することを含み、これにより前記物体に物体特有の反射及び発光スペクトルスペクトルパターンを提供することを含む、請求項９に記載の方法。
11. 表示装置（１６０）を介して、前記識別されたベストマッチングする発光スペクトルパターンに割り当てられた前記識別された物体を少なくとも表示するステップをさらに含む、請求項９又は１０に記載の方法。
12. 前記マッチングするステップは、前記推定される物体特有の発光スペクトルパターンと前記記憶された発光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することにより、前記ベストマッチングする特有の発光スペクトルパターンを識別することを含み、前記マッチングアルゴリズムは、少なくとも最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数、最大波長値のマッチングを含む群から選択される、請求項９、１０又は１１のいずれか１項に記載の方法。
13. 前記推定するステップは、前記少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）の下で測定された放射輝度データを用いて、多段階最適化処理において、前記物体の前記発光スペクトルパターン及び前記反射スペクトルパターンを推定することを含む、請求項９から１２のいずれか１項に記載の方法。
14. 前記光源（１１０）は、それぞれが１つ以上のＬＥＤで構成された２つの発光体（１１４、１１５）を有し、前記２つの発光体（１１４、１１５）間の切り替え時間が短い切り替え可能な光源として選択される、請求項９から１３のいずれか１項に記載の方法。
15. コンピュータによって実行可能な命令を有するコンピュータプログラム製品であって、以下の命令：
    － 認識される物体（１３０）に物体特有の反射及び発光スペクトルパターンを提供する命令と、
    － 少なくとも２つの発光体（１１１、１１２、１１３、１１４、１１５）で構成された光源（１１０）で、前記少なくとも２つの発光体を切り替えることによって前記物体（１３０）を含むシーンを照射する命令であって、前記２つの発光体の少なくとも１つは少なくとも１つのソリッドステートシステムに基づいている命令と、
    － 前記シーンが前記光源（１１０）によって照射されたときに、前記物体（１３０）を含む前記シーンの放射輝度データをセンサ（１２０）によって測定する命令と、
    － 適切に割り当てられたそれぞれの物体と共に発光スペクトルパターンをデータ記憶ユニット（１５０）によって提供する命令と、
    － データ処理ユニット（１４０）によって、前記シーンの前記放射輝度データから前記認識される物体の前記物体特有の発光スペクトルパターンを推定する命令と、
    － 前記処理ユニット（１４０）によって、前記推定された物体特有の発光スペクトルパターンを、前記データ記憶ユニット（１５０）に記憶された前記発光スペクトルパターンとマッチングする命令と、
    － ベストマッチングする発光スペクトルパターンを識別し、したがって、その割り当てられた物体を識別する命令と、
    を含む、コンピュータプログラム製品。

Images