JP2005251197A - 環境から情報を収集するためのシステムおよび方法 - Google Patents

Abstract

【課題】環境内の物体に関する情報を収集するためのコンピューティング・システムの能力を向上させる。
【解決手段】コンピューティング・システムが、環境から情報を収集することができ、特にコンピューティング・システムの環境内の物体に関する情報を収集することができる。このシステムは、環境から視覚情報を収集する手段と、コンピューティング・システムの環境内の物体によって能動的に送信される情報を受信するする手段と、物体を認識するために視覚情報と無線で受信された情報を結合する手段と、を含む。
【選択図】図１

Description

本発明は、パーベイシブ・コンピューティング環境における視覚情報および物体情報の統合手法に関する。

視覚情報を使用した情景分析（scene analysis）は、活発な研究分野である。特に、制約付き環境および限定数の物体に関して、成功した応用例が報告されている。すなわち、顔認識である。同時に、自然環境では、一眼カメラ・システムまたは立体カメラ・システムからの純粋に視覚的な情報による成功は制限される。しばしば、追加のセンサ群、例えば、レーダー・センサ群または赤外線センサ群が追加され、視覚システムによって行われる処理を補助し容易にする。

「パーベイシブ・コンピューティング（Pervasive Computing）」は、処理能力および通信能力を有するが、従来のコンピュータとはみなされていないデバイスに関する。パーベイシブ・コンピューティング環境およびユビキタス・コンピューティング環境では、環境内の各要素または各物体は、その他の物体および／または部屋に入ってくる新たな物体によって使用されることが可能な情報を送信する。例えば、モバイル・コンピュータは、このようなコンピューティング環境に持ち込まれ、利用可能なプリンタ群およびネットワーク群を自動的に検出し、それらに接続することができる。しかし、このような小型コンピューティング・デバイスは技術的物体に限定されることはなく、衣服に使用したり、または日常使用する物体に取り付けることが容易に可能である。

特許文献１は、パーベイシブ・コンピューティング・デバイスを開示している。

特許文献２は、マルチモーダル・インテグレーション（multimodal integration）を用いたユビキタス・コンピューティング環境におけるシステムを開示している。
英国特許第２３４７８３４Ａ号 米国特許第２００３／０１４９８０３Ａ１号

本発明の目的は、環境内の物体に関する情報を収集するためのコンピューティング・デバイスの能力を向上させることである。

この目的は、独立請求項の特徴によって達せられる。独立請求項は、本発明の中心的な考えをさらに発展させる。

本発明の第１の態様によれば、コンピューティング・システムが、環境から情報を収集することができ、特にコンピューティング・システムの環境内の物体に関する情報を収集することができる。このシステムは、環境から視覚情報を収集する手段と、コンピューティング・システムの環境内の物体によって能動的に送信される情報を受信するする手段と、物体を認識するために視覚情報と無線で受信された情報を結合する手段と、を含む。

コンピューティング・システムは、モバイル・コンピューティング・デバイスであることが可能である。

コンピューティング・システムは、（例えば、人間型の）ロボットであることが可能である。

コンピューティング・システムは、自動車またはモーターバイクに取り付けることができる。

コンピューティング・システムは、据え置き型デバイスであることが可能である。

本発明のさらなる態様は、環境から情報を収集するための方法に関する。この方法は、環境から視覚情報を収集するステップと、コンピューティング・システムの環境内の物体によって能動的に送信される情報を受信するステップと、物体を認識するために視覚情報と無線で受信された情報を結合するステップと、を有する。

本発明のさらなる態様は、このような方法を実施するコンピュータ・プログラムに関する。

本発明のさらなる特徴、利点、および目的を以下に、本発明によるシステムを概略で示す同封の図面の単一の図を参照して説明する。

図１は、環境に関し、特にコンピューティング・デバイス９の環境内の物体２に関するマルチモーダルな情報を収集し、論理的に処理するためのシステム１を全体的に示している。「環境」とは、コンピューティング・デバイス９の周囲の領域を表す。この領域は、コンピューティング・デバイス９が、領域内に配置された物体から知覚情報を収集し、または送信された信号を無線で受信することができるように定義される。

コンピューティング・デバイス９は、情報を収集するための少なくとも２つのデバイス６、７、すなわち、視覚センサ手段（カメラなど）６と、物体２から送信された情報を無線で受信するための後続の受信ステージ（following receiver stage）（図示せず）を有するアンテナ７とを備えている。

２つの入力データ・ストリームは、インテグレータ・ユニット８において結合され、処理される。インテグレータ・ユニット８は、少なくとも２つのマルチモーダルな入力ストリームで識別された物体に関する判定を行い、前記判定に基づいて出力信号１０を生成することができる。出力信号１０は、例えば、アクチュエータを作動させ、またはコンピューティング・デバイスを識別された物体に向けて動かす。

物体２は、関連付けられた物体２に関する情報を送信するＲＦ ＩＤタグを備えている。

したがって、本発明は、パーベイシブまたはユビキタス・コンピューティング環境において、視覚情報と、物体および要素から送信された情報とを結合することができるインテグレータ・ユニット８を提案する。これにより、純粋に視覚的な分析から獲得することがしばしば困難である情報を、物体自体からの情報で補うことができ、またその逆も同様である。物体によって送信された情報を主観的（subjective）情報と呼び、視覚システムによって収集された情報を客観的（objective）情報と呼ぶ。

この区別の理由は、次のとおりである。物体によって送信される情報は、物体自体の視点からの情報に過ぎない。すなわち、この情報は、物体中心的（object-centered）である。このタイプの情報の例は、存在、形状、色、重量、対称性情報、易損性などの静的（static）情報、および温度、満杯／空（full/empty）などの動的（dynamic）情報である。

しかし、視覚システムは、１つの物体を中心とするだけでなく、物体間の関係および位置を考慮に入れた情報を収集することができる。したがって、このタイプの情報を客観的と呼ぶ。また、この区別により、我々の発明と、システムに追加の知覚デバイス群を追加して、それらの異なるデバイス群によって提供される情報を融合させることに通常専念している従来技術との違いも強調される。しかし、本発明では、異なるタイプの情報、主観的情報と客観的情報を結合する。

通常、カメラ・システムおよびインテグレータは、人間型ロボットのようなモバイル・プラットフォーム上に搭載されるが、代替のシナリオも考えられる。以下を参照されたい。プラットフォームは、パーベイシブ・コンピューティング環境の中に入り、パーベイシブ・コンピューティング環境は、最も単純な場合、自らに関する情報を供給することができる１つの物体である。この情報が、インテグレータにより、異なるステージにおいて視覚情報処理システムおよび動作生成システムと結合される。モバイル・プラットフォームのシナリオでは、物体は、テーブル上のマグであって良い。マグは、例えば、ＲＦ ＩＤタグを備えており、形状、色、重量、適度な易損性のような、自らの存在に関する主観的情報を発信する。ＲＦ ＩＤタグは、例えば、インテグレータから要求するアクティブ化信号を受信すると、その情報を能動的に発信することができる。

同時に、視覚システムは、テーブル上の物体に関していくつかの仮説（一部は、アーチファクトであるか、またはパーベイシブ・コンピューティング環境の一部ではない物体からのものである可能性がある）を既に提供することができる。色のような粗い情報に基づき、インテグレータは、視覚システムの焦点を視野の特定の部分に合わせることができる。形状情報を使用して、物体が部分的に遮られているかどうかを判定することが可能である。さらに、インテグレータは、物体のいずれの側がモバイル・プラットフォームに向いているかを推定することができる（例えば、把持する目的で、プラットフォームが位置を変える必要がある可能性がある）。２つの物体が互いを部分的に遮っているのか、あるいは１つの物体の部分であるのかの判断に、客観的情報源のみ、または主観的情報源のみから達することは困難である可能性がある。パーベイシブ・コンピューティング環境と視覚情報を使用することで、インテグレータは、難なくそのような判断に達することができる。さらに、インテグレータは、易損性の度合い、または空／満杯に関するような追加の情報を、マニピュレータのような全体的システムの他のデバイス群に提供することができる。この情報は、どのように、どのぐらいの力で物体に接近するかについてマニピュレータを駆動するシステムによって使用されることが可能である。

インテグレータ・システムの応用の例は、以下のとおりである。すなわち、
−パーベイシブ・コンピューティング環境の中に入っていくインテグレータ・システムおよびカメラ・システムを搭載した人間型ロボット、
−パーベイシブ・コンピューティング・デバイスを供給することができる他の自動車、歩行者のインテリジェント衣服、交通信号、および交通状況に関連する他の物体から情報を収集するインテグレータ・システムおよびカメラ・システムを搭載した自動車、
−物体が監視区域内に入っていく据え置き型インテグレータおよびカメラ・システム。例えば、空港、銀行、鉄道の駅などにおける室内システムまたは監視システムである。このシステムでは、インテリジェント衣服、荷物などのパーベイシブ・コンピューティング物体が、据え置き型システムの区域内に入っていく。
−ＰＤＡ、ラップトップ、またはモバイル電話機のようなモバイル・デバイス上のインテグレータおよびカメラ・システム。

本システムを以下のとおり要約することができる。

１．カメラ部およびインテグレータ部を有する能動的で、自律的なモバイル・プラットフォーム（例えば人間型ロボット）上に実装されたシステムであって、該インテグレータ部は、情景分析のために、次いでマニピュレータのような全体的システムの追加のデバイス群を制御するために主観的情報と客観的情報の前述した結合を実行することができる、システム。

２．カメラ部およびインテグレータ部を有する受動的、または部分的に能動的な自律的でない、または部分的に自律的なモバイル・プラットフォーム（例えば、自動車）上に実装されたシステムであって、該インテグレータ部は、情景分析のために、次いで照明、ブレーキ、またはシートベルトなどのようなシステムの追加のデバイス群を制御するために主観的情報と客観的情報の前述した結合を実行することができる、システム。

３．カメラ部およびインテグレータ部分を有する据え置き型システムであって、該インテグレータ部は、情景分析のために、次いで警報デバイス群のような追加のデバイス群の制御または要求された情報のユーザへの提供のために、主観的情報と客観的情報の前述した結合を実行することができる、システム。

環境に関するマルチモーダルな情報を収集し、論理的に処理するためのシステム１を示す図である。

符号の説明

１ システム
２ 物体
６ 視覚センサ手段
７ アンテナ
８ インテグレータ・ユニット
９ コンピューティング・デバイス
１０ 信号

Claims (7)

1. 環境から情報を収集するためのコンピューティング・システムであって、
   前記環境から視覚情報を収集する手段と、
   コンピューティング・システムの環境内の物体によって能動的に送信される情報を受信するための手段と、
   物体を認識するために前記視覚情報と無線で受信された前記情報を結合する手段と、
   を有するコンピューティング・システム。
2. モバイル・コンピューティング・デバイスであることを特徴とする、請求項１に記載のコンピューティング・システム。
3. ロボットであることを特徴とする、請求項１または請求項２のいずれかに記載のコンピューティング・システム。
4. 自動車またはモーターバイクに実装されることを特徴とする、請求項１に記載のコンピューティング・システム。
5. 据え置き型デバイスであることを特徴とする、請求項１に記載のコンピューティング・システム。
6. 環境から情報を収集するための方法であって、
   前記環境から視覚情報を収集するステップと、
   コンピューティング・システムの環境内の物体によって能動的に送信される情報を受信するステップと、
   物体を認識するために前記視覚情報と無線で受信された前記情報を結合するステップと、
   を有する方法。
7. コンピューティング・デバイス上で請求項６に記載の方法を実行するコンピュータ・ソフトウェア・プログラム。
   
   

Images