JP2005524362A - 無線ハンドヘルド装置用の画像案内モデルベースト・ポイント＆クリック・インターフェイス - Google Patents

Abstract

本発明の態様は、通信プロトコルが未知である装置との間に通信を確立する問題を解決する。本発明の１つの態様は発見登録を伴うものであり、対象となる物体を識別するために使用できる物体または装置の物理的外観特徴を記述する情報が携帯用装置に与えられる。本発明の別の態様は、ある物体の検知された物理的特徴をネットワーク環境内に配置される物体の物理的特徴を記述するデータと比較することによってさらなる情報が求められる物体のアイデンティティを確立するための検知技術の使用を伴うものである。本発明の態様は、さらに、物体または装置の物理的特徴を記述する情報をこの物体に関する付加的情報と関連付けるものであり、付加的情報としては、通信したい相手の装置または物体に関する通信プロトコルが含まれる。

Description

本発明は、一般的に言って無線ネットワークに関するものである。より特定して言うと、本発明は物体を識別し物体に関する情報を発見するための無線インターフェイス及び方法に関するものである。

無線ベースの無線ネットワークは広域での信号伝送を必要とする。装置と意図される受け手との間の通信を容易にするために、受け手が発信装置からこれに送られる信号を認識してこれに作用するように、意図される受け手が識別されなければならない。このような伝送は、意図される受け手との通信を可能にするプロトコルを使用して実施されなければならない。

無線装置が、通信しなければならない相手であるネットワーク装置に不慣れな新しい無線環境に持ち込まれるとき、無線装置は各ネットワーク装置と通信するために必要な適切な通信プロトコルを決定できなければならない。既知のプロトコルのリストを用いて一連の通信を順次試みることは、通信を確立する方法として非常に非効率的である。

この問題に対するこれまでの解決法は、両方の装置が共有通信プロトコル及び共有ネットワーク・アクセス媒体を使用するという要件によって限定されていた。例えば、ハンドヘルド・ユニットを使用する典型的なデータ転送には、デスクトップ装置に関連する標準ネットワーク転送、セルラー・ネットワークを通じてのＳＭＳメッセージ送信またはブルートゥース技術を採用するなど短距離無線技術が関与する。しかし、これらの技術は、互換性のあるハードウェア、共有通信プロトコル及び予め決められた一群の機能性を使用する必要がある。

新しい無線ネットワークに配置される装置用のプロトコルのリストを備えていても、携帯用装置がこの環境に配置される装置を識別することは難しい。従って、携帯用装置はある装置と通信するために必要なプロトコルを選択できなければならず、このような機能なしでは、通信をうまく確立することはできない。例えば、ユーザーが、ユーザーの携帯用装置に記憶される画像を印刷するようプリンタに命令したいとする。携帯用装置がこの環境の中に在る各種のコンピュータ、プリンタ及びファクシミリ機用のプロトコルのリストを含むとすると、この装置に使用されるべき特定の通信プロトコルをこのリストの中から選択しなければならない。この環境の中に複数の装置が在る場合、携帯用装置は、特定の装置と通信を確立するために適切なプロトコルを選択するために、この装置すなわちプリンタのアイデンティティ、及びおそらくこの特定のプリンタの商標及び型番を決定しなければならない。携帯用装置が特定のプリンタ及び使用されるべきプロトコルを識別できない場合、携帯用装置はこの装置との通信を確立できない。

従って、新しい無線環境に置かれる装置がこの環境内の装置との通信を確立するために必要な情報などこの環境内の装置または物体に関する情報を取得できるようにするための、単純化され、しかも効率的な方法を提供することが技術的に必要とされる。

本発明の要約
本発明の態様は、通信プロトコルが未知である装置との通信を確立する問題を解決する。本発明の１つの態様は、発見登録の使用を伴うものであり、ここで携帯用装置は物体または装置の物理的外観特徴を記述する情報を与えられ、この情報を対象となる物体を識別するために使用することができる。本発明のさらなる態様は、ある物体のアイデンティティを確定するための検知技術の使用を伴うものであり、物体の検知された物理的特徴をネットワーク環境内に配置される物体の物理的特徴を記述するデータと比較することによってこの物体に関してさらなる情報が求められる。本発明の付加的態様は、物体または装置の物理的特徴を記述する情報をこの物体に関する付加的情報と関連付けるものであり、この情報には、通信したい相手である装置の通信プロトコルが含まれる。

本発明の詳細な説明
図１は、本発明の様々な原理を採用する方法の実施態様例を示している。図１のステップ１０１に示される通り、ハンドヘルドＰＤＡ、携帯電話または他の装置と通信できる任意の可搬式装置を含む携帯用装置は、まず、無線ネットワーク内に置かれる環境を入力する。ステップ１０２は、携帯用装置がこの新しい環境に登録するためにネットワークと通信リンクを確立するステップを示している。このようなネットワークとの間のリンクの確立は、例えば携帯用装置がネットワークの変化を検出するとき、すなわち装置が１つのネットワークにもはや接続されていないことを検出しその後このネットワークまたは別のネットワークへの接続を検出するときに生じることが多い。

ステップ１０３に示される通り、携帯用装置は、環境に含まれるエリア内に配置される物体の物理的外観特徴を記述する情報を発見するためのプロシージャを実施することができる。該当する環境内の物体の物理的外観に関する情報を発見するこの新規のステップは、登録と同時に実施されるか、または識別プロセスにおいて記述データが必要とされる時点の前の任意の時点で実施される。

環境内に配置される物体の物理的外観を記述する情報を発見するステップは、多様な方法で実施することができる。一例においては、携帯用装置は、この環境内に配置される物体に関する情報についてローカル・ネットワークに問い合わせる発見プロトコルを用いて、環境内の物体の物理的特徴を記述する発見情報を取得する。１つまたはそれ以上の問い合わせに応答して、ネットワークは、携帯用装置から短距離内に在る物体の物理的外観を記述する情報を含むデータを伝送することができる。この例においては、ネットワークの全空間内に在る全ての物体を表すデータを発見情報収納庫に記憶することができる。ユーザー付近の物体に関する情報がこの収納庫から選択され、携帯用装置によって受信され、その後携帯用装置のメモリに記憶される。その代わりに、ネットワークに登録する前に情報を携帯用装置のメモリにロードし、直接物体から受信するか、または他の任意の手段によって読み出すことができる。望ましい実施態様においては、発見プロトコルは、使用される関連情報に関して豊富な記述言語及び豊富な問い合わせ言語を有するプロトコル、例えば望ましいフレキシビリティを提供するＳＳＤＰ^TMなどＸＭＬ^TMベースのプロトコルまたはＭｉｃｒｏｓｏｆｔ^TMユニバーサル・プラグ・アンド・プレイ発見プロトコル、であることが望ましい。当然、使用されるプロトコルは、システムが使用される特定の用途または環境において最も有益であると装置の特定の設計者が決定する特徴または特性によって左右される。

該当する環境内に配置される物体を記述する発見情報は、物体の物理的外観を記述する情報を含むことができる。例えば、このような物体の物理的特徴を記述する情報は、サイズ、形状、色または任意の数の項、フレーズまたは環境内に配置される物体の物理的特徴の任意の側面を記述できるその他の形の情報を含む。例えば、該当する環境が実験室である場合、この空間内に配置される物体には、特に検査機器、コンピュータ、プリンタ、ファクシミリ機が含まれる。これらの物体の物理的特徴を記述する情報は、様々な角度から見た各物体の形状の輪郭、各物体に関する色のヒストグラム解析、各物体の写真または物体の観察可能な外観を伝える情報を含むことができる。

発見情報は、また物体の位置または方位に関する情報も含むことができる。位置情報は、ＧＰＳまたはこれに類するものを含めて（ただし、これに限定されない）任意の数の技法によって、及び（または）室内の他の物体の相対的位置を基準にして、参照することができる。上記の特定の記述情報は、使用できる情報の範囲を限定しようとするものではない。事実、携帯用装置のユーザーの関心の対象となる可能性のある装置またはその他の物体に関係するどのような情報でも、本出願において開示される発明と合わせて利用できる。

記述発見データを入手したら、対象となる物体を識別することができる。この識別を容易にするために、携帯用装置は、物体の外観に関する情報を取得するための画像センサなどのセンサを含むことができる。ステップ１０４の画像取り込みステップにおいて、ユーザーは、携帯用装置の検知ユニットを対象となる物体の方向に向けることができる。対象となる物体を含む画像は、ポイント・アンド・クリック法または物体を識別するために検知データを取得し（または）選択するための任意の技法を用いて取得することができる。任意に、ユーザーは、物体のグループから１つの物体を強調するために取り込まれた画像の一部を選択することができる。

下にさらに詳細に記述する通り、望ましい実施態様においては、物体を識別し携帯用装置が使用するためにこの物体に関連する情報を読み出すために、画像認識処理が使用される。特に、ステップ１０５において、物理的外観に基づいて対象となる物体を識別する際に使用される物体認識アルゴリズムが選択される。物体認識アルゴリズムが選択されたら、ステップ１０６に示される通り、物体を表わすデータと物体を記述する発見データとを比較するためにこのアルゴリズムを使用することができる。ステップ１０７において、画像解析が完了し、物体が識別される。ステップ１０８において、識別された物体に関する付加的データが読み出され、ステップ１０９において、携帯用装置は付加的データに基づいて動作する。

基本原則として、選択される画像認識アルゴリズムは、検知データと環境内に配置される物体の物理的外観を記述する１組のデータとの比較を含むだろう。比較の結果検知データと発見データの間に予め決められた閾値を満たすのに充分に高い相関関係が生じる場合、物体の画像を識別することができる。下でさらに説明する通り、システムの全体的ニーズに応じて望みの結果を得るために選択できるアルゴリズムの数は無限である。画像解析法の性能及び（または）効率が上がるにつれて、本発明に使用されるアルゴリズムも改良されるだろう。

物体を識別するために使用されるアルゴリズムの選択は、多様な方法で行うことができる。発見情報は、該当する環境に配置される物体（１つまたは複数）を識別するために最も適切な特定のアルゴリズムまたはアルゴリズムの組み合わせの指示を与える場合がある。１つの実施態様においては、発見情報は、予め定義されたヒストグラム解析など望ましいアルゴリズムを識別するインジケータを含み、このインジケータは、プリンタ、コピー機及びこれに類するものなどの装置を含むオフィス機器の場合など環境内の物体が色に基づいて簡単に識別できる場合に使用することができる。発見データは、環境内の物体、前の例においてはオフィス機器、のタイプを記述する指示など、複数のアルゴリズムの中から選択されるべき望ましいアルゴリズムの一般的指示を示す、より間接的な指示を含むことができる。その後、発見データまたはその他において与えられる付加的インジケータは、望ましいアルゴリズムのリストを最も適切なアルゴリズムに狭めることができるだろう。例えば、発見データはオフィス機器が黒か白かあるいは青であると指示することによって、多少のデータ値しか処理しないアルゴリズムを優先して複雑なヒストグラム・アルゴリズムを排除する。その代わりに、最も頻繁に使用されるヒストグラムを残りのアルゴリズムから選択することによって望ましいヒストグラムを狭めることができるだろう。このようにして、１つまたはそれ以上のインジケータを用いて、物体を識別するための望ましいアルゴリズムを決定することができる。

取り込まれた画像データに複数層の画像解析を応用することもできる。例えば、対象となる物体がどっしりとした白いレーザー・プリンタである場合、単色の大きなブロックを検出するために最も適するアルゴリズム、例えばヒストグラム解析アルゴリズムを選択することができる。選択されたアルゴリズムを用いて全体が白いプリンタと全体が白いコピー機の両方を表す画像データが識別されるが、このアルゴリズムがどちらかを断定的に識別できない場合、さらなる処理が必要である。このような場合、発見データは、エッジを含む物体の特性を識別し検出された特性を発見データにおいて記述される特性と照合するために、エッジ検出など第二の解析法の使用を示唆することができる。既述の通り、取り込まれた画像データに複数層の画像解析が応用されるようにアルゴリズムまたはアルゴリズムの組み合わせを採用することができる。

前の例において、アルゴリズムの選択は発見データの中にある示唆または指示に基づいて行われる。アルゴリズムの選択は、取り込まれた画像の初期解析によって検出されるものなど処理対象の画像データの特徴の指示の影響も受けるだろう。例えば、初期処理段階において、プロセッサは取り込まれた画像から３ピクセルごとにピクセルを選択し、このデータの解析に基づいて取り込まれた画像の内容を決定し、例えば単色データを含む画像からカラー画像を区別することができる。この種の予備的解析に基づいて、取り込まれたデータから単色データを最も効率よく検索する画像認識アルゴリズムを選択することができる。例えば、取り込まれた画像データの予備走査は、取り込まれた多量のデータが変化する色調データを含むことを明らかにするかも知れない。前述のオフィス機器の場合のように発見データが環境内の物体が各々白いことを指示する場合、その後の処理を行う前に全てのカラー・データ（白いピクセルを表すデータを含まない）をまず取り除く画像認識アルゴリズムを、望ましいアルゴリズムとして選択することができる。選択されたアルゴリズムが正確な物体識別を生じない場合またはこのアルゴリズムが複数層のアルゴリズムを組み合わせて利用するように設計される場合、前述の通り、上記の措置を付加的な認識ステップに集中するために使用することもできる。

さらに、アルゴリズムは、画像データの予備解析によってまたは単純にこれまでの結果の統計分析として確認される全体的効率、処理速度または発見データによって指示される画像データに必要な記憶量に基づいて、選択することができる。データを処理するために１つまたはそれ以上のアルゴリズムを選択するためにユーザー入力を使用することもできる。また、ユーザーは物体を含む複数の画像を取り込んで、プロセッサが解析するためのより多くのデータを提供することもできる。データ量が多くなると処理の効率は犠牲になるが、アルゴリズムが物体を適切に識別する尤度は高くなる。

このように、プロセッサが採用するアルゴリズム（１つまたは複数）の選択は、携帯用装置が受信する信号、受け取る記述データの側面、取り込まれたデータの特徴、以前に選択されたアルゴリズムの使用及び（または）効率の統計分析、ユーザー入力によって、またはいくつかの手段によって、影響を受ける。ただし、アルゴリズム（１つまたは複数）を選択するための基準例についての以上の説明は、単に例示のためであり、物体認識アルゴリズムを選択するために使用できる基準の範囲を限定しようとするものではない。

アルゴリズムが選択されたら、ステップ１０６に示される通り、物体認識アルゴリズムを用いて、検知されたまたは取り込まれた画像データを処理することができる。１つの実施態様においては、取り込まれた画像データは装置に既知の様々な物体を表す記憶データと比較される。画像認識処理アルゴリズムを、発見プロセスにおいて発見されて発見データとして与えられる物理的外観データを使用することによって補助することができる。前述の通り、物理的外観データは、携帯用装置が置かれる特定の無線環境に配置される物体の形状、色、サイズ及びこれに類するものに関する情報を含むことができる。従って、画像認識処理は、対象となる物体のアイデンティティを確かめるために比較データとして記述特徴を使用することができる。例えば、既知の画像認識法を用いて、プロセッサは、検知された画像データにおいて検出される形状に関する詳細を環境内の様々な物体の形状を記述する物理的外観情報と比較して整合を検索することによって、物体を識別することができる。別の例として、画像プロセッサは、カラー画像センサを用いて入手した画像データに見られる色についてヒストグラム解析を行うことができる。カラー・データを環境内の物体に関する既知のヒストグラム（各物体について読み出される記述データに含まれる）と比較することによって、物体を識別するのに充分な相関関係が得られる。当然、代わりにまたは相互に組み合わせて複数の画像認識アルゴリズムを利用することができる。

解析のさらなる要素として、空間内の物体の位置に関する情報を利用することができる。例えばＧＰＳ装置を用いて、携帯用装置の位置を、環境内に配置される物体の位置を記述する情報と比較し、比較の結果をある物体のアイデンティティを決定する際の１つの要素として使用することができる。同様に、複数の物体が同じ画像または連続する画像またはこれに類するものに取り込まれる場合、上記の位置比較ステップにおいて相対的位置情報を利用することができる。例えば、画像が２つの物体に関するデータを含み、これらの物体の間の距離または相対的位置を決定できる場合、これらの情報を物体の位置を記述する記述データと比較することによって、対象となる物体を識別するのに充分な情報を得ることができる。

さらに、識別プロセスを補助するために方向情報を使用することもできる。例えば、既知の位置決定技術を用いて、環境空間内における携帯用装置の位置及びその方位を決定することができる。この相対的位置及び方位データを物体の位置を記述するデータと比較して、これを解析に使用して、携帯用装置及びその関連画像検知ユニットによって取り込まれる物体のアイデンティティを決定することができる。

ステップ１０７において、対象となる物体が識別される。ステップ１０８において、識別された物体に関連付けられる付加的データが読み出される。ステップ１０９において、携帯用装置は読み出された付加的データに基づいて動作する。例えば、識別された物体がプリンタである場合、付加的情報は、プリンタと通信するために必要なプロトコルを識別する。ステップ１０９において、携帯用装置は、物体との間の通信を確立し（または）物体との間のインターフェイスとなるためのアプリケーションを実行することができる。例えば、ユーザーは、このプリンタ用のプロトコルを用いてメモリからあるドキュメントを呼び出し、ドキュメントを印刷するためのコマンドと一緒にプリンタにこのドキュメントを伝送することができる。同様に、装置がオーバーヘッド・プロジェクタである場合、ユーザーはプレゼンテーションに使用されるスライドを伝送し、その後プロジェクタに命令を送るために携帯用装置を用いてスライドの映写を制御することができる。

さらに別の例においては、携帯用装置は美術館において使用することができる。この例においては、記述情報は、美術館に配置される物体に関する物理的外観情報を含む。記述情報に関連付けられる付加的情報には、例えば、アーチストまたは作品の作成に使用された技法に関する詳細な記述、またはその価格に関する情報またはこの種の情報へのリンクが含まれる。当然、記述対象の物体としての芸術作品への言及及びこの物体に関連する特定の情報の列記は単なる説明のためのものであり、物体または使用される情報の範囲を限定しようとするものではない。

図１において示される本発明の望ましい実施態様は、例示のためにのみ示されるものであり、ステップ１０１−１０９は具体的に説明されているが、前述の通り、修正、削除または付加的ステップの追加を含めてこれらのステップの変形も本発明の範囲内にある。例えば、ユーザーは、ステップ１０４−１０７に関連する画像識別を補助することもできる。

図２は、前の例に示されるいくつかの物体について発見データの記憶を示している。この図においては、レーザー・プリンタ、グレー・スケール・モニタ及び芸術作品の物理的外観を記述するデータが記憶される。これらの物体に関する物理的外観情報を含む発見データは、この例の場合形状、色及び位置を記述する項を含むことができる。さらに図解されるとおり、発見データは、装置との間の通信を確立するために必要な該当するプロトコル、このアイテムのさらなる記述を見つけることができるウェブサイトへのリンクを示すためのＵＲＬ、または芸術作品の価格など、物体に関する付加的情報を含むことができる。

図３に示される通り、携帯用装置１は、センサ２、ディスプレイ３及び入力部４を含むことができる。センサ２は、ビデオ・カメラ、スチール画像カメラ、サーマル・ユニット、Ｘ線装置、超音波装置または物体の物理的外観特徴を表す検知データを入手する元となるセンサをいくつでも含むことができる。ディスプレイ３は、ＬＣＤディスプレイ、タッチスクリーン・ディスプレイまたはその他のディスプレイ装置を含むことができる。入力部４は、英数字キーパッド、アダプタブル・キーボード、タッチスクリーン・ディスプレイと組み合わせて使用される入力ペンまたは任意の入力装置で構成することができる。タッチスクリーンとペンなどの入力を用いて、ユーザーはセンサ２の視界内の画像データの部分集合を識別することができる。例えば、プリンタが対象となる物体であり、取り込まれた環境の画像がプリンタ及び他の物体を含む場合、ユーザーは、対象となる物体すなわちプリンタを含むデータについてのみ画像認識処理を行わせたいだろう。このような場合、携帯用装置のディスプレイで取り込まれた画像を見て、ユーザーは、入力ペンを用いてプリンタの画像の周りに囲いを描いて、多量の不要なデータを避けることができる。少量の画像データだけが残り、そのほとんどはプリンタに含まれるので、物体認識が単純化される。

このような選択は、解析を受けるデータの量を選択されるデータのみに限定することによって物体識別を容易にするだろう。取り込まれる画像または取り込まれた画像は、携帯用装置のディスプレイ３に表示することができる。処理の前または不成功の処理ステップ後、ユーザーは、選択されたアルゴリズムを用いてさらに処理するために、タッチスクリーンまたはこれに類するものを用いて、画像センサによって取り込まれた画像内の対象となるエリアを指示することができる。携帯用装置のユーザーは、また、ズーム機能として作動させることによってなど、携帯用装置またはセンサへの入力を用いて、センサによって取り込まれるべき画像を修正することもできる。

同様に、採用される画像識別アルゴリズムは、ユーザーによる物体の選択も考慮に入れることができる。例えば、選択されたアルゴリズムを用いて物体を識別できない場合、代替識別方法を利用することができる。例えば、アルゴリズムがプリンタの画像の正確なアイデンティティを決定できないが、除外またはその他によってアルゴリズムが外観情報を記憶している４台のプリンタのうちの１台が対象となる物体であることを区別できる場合、これらの画像の中からユーザーが選択するために該当する環境内に配置される物体の表示をユーザーに表示することができる。このようにして、アルゴリズムの部分的成功に基づいて、比較により環境内の物体の全リストの部分集合を得て、この部分集合から対象となる物体のアイデンティティを選択することができる。さらに、ユーザーに、ディスプレイを用いて残りの記述データを調べる選択肢を与えることができる。例えば、記述情報が物体及び（または）その特徴を識別するテキストから成るか、物体の表示から成るかまたはその他の一意の識別子から成るかに関係なく、物体に関する記述データのリストを提示することができる。その結果、ユーザーは、様々なリストをスクロールして、物体のアイデンティティに達するまで記述データの構成成分の選択を進めることができる。さらなる例として、ユーザーは物体の形状を長方形として選択して、リストから他の全てのアイデンティティを除外することができる。次に、ユーザーは、物体が用紙トレイを有することを指示する記述をアクセサリ・リストから選択することができる。次に、ユーザーは色として白を選択して、カラー・データが５０％以上白で構成されると記述されていない他の全てのアイデンティティを除外することができる。この選択から白いプリンタのアイデンティティを確認することができる。従って、物体識別をユーザー入力によって強化できる。

同様に、画像検知ユニットの視界内に複数の物体が含まれる場合、アイデンティティが求められる対象となる物体を決定するために、発見データを通じて与えられるファクタ以上の代替ファクタに頼ることができる。ポイント・アンド・クリック・システムにおいては、画像の中心に最も近い物体がさらなる識別が求められる対象物体と決定されるように解析を設定することができる。さらに別の代替入力として、ユーザーは、携帯用装置をある物体の方向に向けて、画像を取り込み、腕をこの物体の方向に伸ばして別の画像を取り込むことができる。このアルゴリズムの例においては、装置はこの２つの画像の比較を行って、両方の画像に現れる物体及び（または）平均して画像の中心に最も近いと決定される物体を決定することができる。当然、本発明の様々な態様の精神と両立して使用することができる画像処理及び認識技術の数は無限である。

例を挙げれば、典型的な画像処理技術は、色（例えばカラー・ヒストグラム）、形状（例えば、スプライン輪郭照合またはテンプレート照合）、テクスチャなど画像特性、または特定のコンテクストにおいてある物体を識別するために有益であることが明らかなその他の手段に依存する。多くのカラーベースの検索システムは、全体として画像の色内容を特徴付けるのに有益であることが明らかな種類のカラー・ヒストグラムを使用する。例えば、Ｍｉｃｈａｅｌ Ｓｗａｉｎ ＆ Ｄａｎａ Ｂａｌｌａｒｄ「カラー・インデキシング」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、７（１）；１１−３２、１９９１）を参照のこと。画像比較にカラー・ヒストグラムがしばしば使用されるのは、（１）カラー・ヒストグラムは計算が迅速で容易である、（２）多少の視点の変化がヒストグラムの大きな変動を生じない、（３）異なる物体が通常非常に異なるヒストグラム表示を有する、という理由による。このように、カラー・ヒストグラムを伴うアルゴリズムは、検知データから物体を識別するためにデータを分析するために適する１つの技法である。しかし、既述の通り、色特性の識別は、使用できる多様なアルゴリズムのうちの１つである。他の技法には、テンプレート照合、画像の変形の比較、または検知データ内の物体を識別するのに有益な任意のアルゴリズムまたはアルゴリズムの組み合わせが含まれる。さらに、特性の集合を分析して抽出された特性の任意のセットの比較を行うためのアルゴリズムも本発明の範囲内にある。

図４は、本発明の様々な態様を示すシステムを示している。局部的環境内の物体に関する情報は、携帯用装置が位置するエリアが包含する無線ネットワークのサーバ５のメモリ２０、すなわち情報収納庫に記憶される。情報には、特に識別対象の物体の各々の記述ＩＯ₁−ＩＯ_Nが含まれる。送信機１１を用いて、携帯用装置１は、この例においては現在置かれている環境に配置される物体（１つまたは複数）に関する情報ＩＯ_C−ＩＯ_Kをサーバから発見しこれをサーバから受信する。その後、この情報は携帯用装置１のメモリ１２に記憶される。発見情報は識別処理以前の任意の時点に入手できるが、この実施態様例においては、センサ２は、次に、選択された画像Ｃ１を取り込み、この画像が記憶されて（または）解析のためにプロセッサに１３に伝送される。プロセッサ１３によって実行される１つまたはそれ以上の画像解析アルゴリズムＩＲ₁及びＩＲ₂（アルゴリズムは各々、メモリに記憶される１組の命令によって構成することができる）を用いて、画像を認識することができる。上に説明する通り識別またはその他の目的を補助するためにユーザーが携帯用装置と対話することが望ましい場合、ディスプレイ３及び（または）入力部４を携帯用装置と一緒にまたはこの中に含めることができる。識別に成功したら、識別された物体に関するデータを読み出し、関連アプリケーションと合わせてこれを利用することができる。画像データはこの例においては処理データとして説明されているが、任意のタイプの検知データまたはその他の入力データを処理することができる。

図５は、本発明の実施態様例を採用できる環境の例を示している。ユーザーが無線環境、この例においては美術館のフロア全体を含む環境に入ると、携帯用装置は無線ネットワークとの通信を確立する。この時点で、携帯用装置は手動入力に応答してまたは自動的にネットワークに登録することができる。装置は、また、ネットワークから各種の絵画（Ａ１）またはブロンズ像（Ａ２）など環境内の物体について記述する発見情報を受信することができる。フロアの第二の展示室に入ると、ユーザーは興味深い芸術作品を見つけこの芸術作品についてもっと知ろうとするかも知れない。ユーザーは携帯用装置のセンサ２を物体（Ａ３）に向けて、物体を含む画像を取り込む。携帯用装置は、色、形状またはサイズなどこの物体を識別する情報を用いて物体を識別するために必要なステップを実行する。物体が絵画である場合、物体を識別する情報は、この特定の絵画の優勢な背景色が他の絵画と異なる場合には、背景色であるかも知れない。物体が識別されたら、ユーザーはこの作品について詳細に記述する情報を調べて、これを購入するために必要な情報を記憶しようとするか、またはインターネットの関係ウェブサイトへのリンクにアクセスしようとするかも知れない。このプロセスは、ユーザーが展示室を歩き回りながら何度でも繰り返すことができる。ユーザーが詳細な記述をプリントアウトしたい場合、または作品の複製を発注したい場合、ユーザーは図５に示される通り展示会に配置されるプリンタＰ１またはＰ２と対話しようとするかも知れない。プリンタは、ユーザーが不慣れなプリンタにセンサを向け、その画像を取り込み、プリンタを識別し、付加的情報などそのプロトコル情報を読み出して、プリンタに印刷またはコピー命令を送れることができるように、配置される。

１つの実施態様例において、芸術作品は送受信機能を含まない物体として識別された。このような実施態様においては、携帯用装置はネットワークから発見データを受信する。その代わりに、この種の物体の代用として役立つネットワーク内のプロクシ・ユニットまたはソフトウェアを利用して、希望のデータを送受信または記憶することができる。例えば、ユニットは芸術作品付近に配置され、この芸術作品が識別されたら、このユニットに関するプロトコルが記憶された付加的情報から抽出される。この結果、携帯用装置は、芸術作品と関連するユニットと通信して、この芸術作品の出展または最新の価格情報の拡張記述など収納庫に記憶されない情報を携帯用装置に伝送することができる。送信機能を含まない物体としての芸術作品への言及は単なる例示である。従って、識別し検知できる任意の物体が本発明の範囲内に属する。

当然、上述の携帯電話、ブルートゥース、８０２．１１またはその他の手段を含めて、ハンドヘルドＰＤＡの代わりに無線ネットワークを通じて通信するための装置をいくつでも採用することができる。さらに、上記の実施態様は無線ネットワーク全体を包含する環境に関して説明されているが、このシステムは、ネットワーク全体の任意の部分集合またはこれと同様の任意の環境内で使用することができる。

この実施態様例においては、環境に含まれるエリア内に配置される物体に関する情報はネットワークを通じて受信される。その代わりに、データをドッキング・ステーションからアップロードしたり、メモリ・カードまたはこれに類するものを通じて付加したりできる。さらに、記述情報を物体自体から同報通信することができる。記述情報及びメタ情報を他の個人から得ることもできる。例えば、美術館の例においては、来館者Ｕ１が特定の芸術作品の複製を入手することに関心があることを記録してあると、第二の来館者は複製を購入するためにこの情報を使用することができる。

検知データ、発見情報、付加的情報及び処理アルゴリズムは携帯用装置の特定のロケーションに記憶されるものとして説明したが、これらの情報または処理アルゴリズムは、本発明の精神から逸脱することなく、携帯用装置内または外の任意のロケーションに記憶することができる。例えば、様々なデータ及び処理アルゴリズムをスマート・カードに記憶し、携帯用装置がこれを使用できるように交換可能に挿入することができる。

実施態様例はタッチスクリーン・ディスプレイの使用について説明しているが、適切な任意のディスプレイ及び入力システムを使用できる。さらに、ディスプレイは上述の特定の機能が含まれる範囲でしか必要ない。例えば、ディスプレイの代わりにまたはこれと組み合わせてファインダを使用することができる。さらに、画像を使用しないまたは画像を検討したいと言う希望がない場合、上述の本発明の態様の多くを実施するためにプレビュー・ユニットは必要ないだろう。さらに、この種の代替入力の代わりにまたはその補足として音声コマンドを利用することができる。

実施態様例は位置情報を決定するためのＧＰＳシステムの使用について説明しているが、本発明はこれに限定されない。事実、位置情報は、セルラー・ロケーションまたはＭＩＴのＣｒｉｃｋｅｔ^TMビーコンを含めて（ただし、これらに限定されない）いくつでも技法を用いて得ることができる。

本発明の様々な態様を採用する方法の実施態様例の諸ステップを図解するフローチャートを示す。 本発明の実施態様例に従った対象となる物体に関するデータを記憶するための１つの可能な形態を示す図表である。 本発明の様々な態様に関して使用できる携帯用装置の一例を示す。 本発明の望ましい実施態様に従ったシステムの１つの可能な形態を示す。 本発明の実施態様例を採用できる環境の一例を示す。

Claims (46)

1. ある環境内で通信することができる携帯用装置であり、
   プロセッサと、
   通信インターフェイスと、
   前記環境内に配置される物体の物理的外観特徴及び前記環境内に配置される前記物体に関する付加的データを含む発見データを含むメモリと、
   を含み、
   該携帯用装置において、前記プロセッサが前記環境内に配置される物体の物理的外観特徴を含む発見データを前記メモリから読み出すステップを実施する、
   携帯用装置。
2. 該携帯用装置において、前記発見データがさらに前記物体の位置を記述するデータを含む、請求項１に記載の携帯用装置。
3. 該携帯用装置において、前記通信インターフェイスが前記発見データを無線で受信する、請求項１に記載の携帯用装置。
4. 該携帯用装置において、前記通信インターフェイスが前記発見データが事前に記憶されているメモリ・カードから前記発見データを受信する、請求項１に記載の携帯用装置。
5. 該携帯用装置において、前記通信インターフェイスが前記環境内に配置される物体から前記発見データを受信する、請求項１に記載の携帯用装置。
6. 該携帯用装置において、該携帯用装置が移動電話を含む、請求項１に記載の携帯用装置。
7. 該携帯用装置において、該携帯用装置が携帯情報端末を含む、請求項１に記載の携帯用装置。
8. 該携帯用装置において、該携帯用装置がラップトップ・コンピュータを含む、請求項１に記載の携帯用装置。
9. さらに、前記環境内の対象エリアの実際の物理的外観特徴を現す検知データを入手するセンサを含む、請求項１に記載の携帯用装置。
10. 該携帯用装置において、前記プロセッサが、前記検知データが取得されたエリアに配置される１つまたはそれ以上の物体を識別するために前記検知データについて物体認識を実施する、請求項９に記載の携帯用装置。
11. 該携帯用装置において、前記プロセッサが、処理対象の検知データの部分集合のみを選択するユーザーによる該携帯用装置への指示入力に応答して前記検知データの部分集合を処理する、請求項９に記載の携帯用装置。
12. 該携帯用装置において、前記プロセッサが前記発見データの少なくとも一部を用いて前記検知データについて物体認識を実施する、請求項９に記載の携帯用装置。
13. 該携帯用装置において、前記発見データに基づいて、前記プロセッサが前記検知データにおける特性を前記読み出された発見データにおいて記述される物体の前記物理的外観特徴と比較することによって前記検知データにおいて物体を識別する、請求項９に記載の携帯用装置。
14. 該携帯用装置において、前記検知データが画像データから成り、かつ該携帯用装置において、前記発見データに基づいて、前記プロセッサがカラー・ヒストグラム解析を実施する１組の命令を用いて前記検知画像データにおいて物体を識別する、請求項９に記載の携帯用装置。
15. 該携帯用装置において、前記検知データが画像データから成り、かつ該携帯用装置において、前記発見データに基づいて、前記プロセッサが画像解析を実施する１組の命令を用いて前記検知画像データにおいて物体を識別し、該携帯用装置において、前記画像解析がエッジ検出を含む、請求項９に記載の携帯用装置。
16. 該携帯用装置において、前記発見データに基づいて、前記プロセッサが、複数組の命令の中から選択される前記検知データを解析するための１組の命令を用いて前記検知データにおいて物体を認識する、請求項９に記載の携帯用装置。
17. 該携帯用装置において、前記発見データに基づいて、前記プロセッサが複数組の命令の中から選択される前記検知データを解析するための１組の命令を用いて、前記検知データにおいて物体を識別し、該携帯用装置において、前記１組の命令の選択が前記発見データに基づいて行われる、請求項９に記載の携帯用装置。
18. 該携帯用装置において、前記発見データに基づいて、前記プロセッサが前記発見データにおいて記述される通信プロトコルを用いて物体を識別し、前記物体と通信する、請求項９に記載の携帯用装置。
19. さらに、前記環境内に配置される前記物体に関する前記付加的データを表示するディスプレイを含む、請求項１に記載の携帯用装置。
20. 物体を識別するための方法であり、
    ある環境に携帯用装置を移動するステップと、
    前記環境内の物体の物理的外観特徴を記述する発見データを読み出すステップであり、該ステップにおいて、前記発見データがさらに前記環境内に配置される前記物体に関する付加的データを含む、ステップと、
    を含む、方法。
21. さらに、
    前記環境内の対象エリアの実際の物理的外観特徴を表す検知データを取得するために前記携帯用装置と結合されるセンサを使用するステップ、
    を含む、請求項２０に記載の方法。
22. さらに、
    前記読み出された発見データに対応するデータを前記検知データから検索するステップ、
    を含む、請求項２１に記載の方法。
23. 該方法において、前記発見データを読み出すステップが、さらに、
    無線通信として前記発見データを読み出すステップ、
    を含む、請求項２０に記載の方法。
24. 該方法において、前記発見データを読み出すステップが、さらに、
    前記発見データが事前に記憶されている着脱可能なメモリから前記発見データを読み出すステップ、
    を含む、請求項２０に記載の方法。
25. 該方法において、前記発見データを読み出すステップが、さらに、
    前記発見データが事前に記憶されているメモリ・カードから前記発見データを読み出すステップ、
    を含む、請求項２０に記載の方法。
26. 該方法において、前記発見データを読み出すステップが、さらに、
    前記環境内に配置される前記物体から前記発見データを読み出すステップ、
    を含む、請求項２０に記載の方法。
27. 該方法において、前記検知データを取得するステップが、さらに、
    前記環境内のあるエリアの画像データを取り込むステップ、
    を含む、請求項２１に記載の方法。
28. 該方法において、前記検知データを検索するステップが、さらに、
    前記検知画像における特性を前記読み出された発見データにおいて記述される前記物体の前記物理的外観特徴と比較するために画像解析を実施する１組の命令を用いて、前記検知画像データにおいて物体を識別するステップ、
    を含む、請求項２２に記載の方法。
29. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    複数組の命令の中から選択される１組の命令を用いて前記検知画像データについて画像解析を実施するステップ、
    を含む、請求項２２に記載の方法。
30. 該方法において、前記検知データについて画像解析を実施するステップが、
    前記発見データに含まれる情報を前記検知画像データと比較するステップ、
    を含む、請求項２９に記載の方法。
31. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    前記読み出された発見データに含まれる物体の物理的特徴を用いて前記物体を識別するステップ、
    を含む、請求項２２に記載の方法。
32. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    前記読み出された発見データに含まれる物体の位置に関する情報を用いて前記物体を識別するステップ、
    を含む、請求項２２に記載の方法。
33. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    前記検知画像データの部分集合を検索するステップ、
    を含む、請求項２２に記載の方法。
34. 該方法において、前記検知画像データの部分集合を検索するステップが、さらに、
    前記携帯用装置へのユーザーによる選択入力に基づいて前記検知画像データの部分集合を検索するステップ、
    を含む、請求項３３に記載の方法。
35. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    カラー・ヒストグラム解析に基づいて物体を識別するステップ、
    を含む、請求項２２に記載の方法。
36. 該方法において、前記検知データが画像データから成り、かつ前記検知データを検索するステップが、さらに、
    エッジ検出を利用する解析に基づいて物体を識別するステップ、
    を含む、請求項２２に記載の方法。
37. さらに、
    前記検索の結果に基づいて、識別された物体との間の通信を確立するために前記物体を含む付加的データを読み出すステップ、
    から成る付加的ステップを含む、請求項２２に記載の方法。
38. さらに、
    前記検索の結果に基づいて、前記物体に関連付けられるＵＲＬを含む付加的データを読み出すステップ、
    から成る付加的ステップを含む、請求項２２に記載の方法。
39. さらに、
    識別された物体に関する前記付加的データを表示するステップ、
    から成る付加的ステップを含む、請求項２２に記載の方法。
40. さらに、
    識別された物体に関する前記付加的データを利用するアプリケーションを実行するステップ、
    から成る付加的ステップを含む、請求項２２に記載の方法。
41. さらに、
    識別された物体に関する付加的データを用いて前記携帯用装置と前記物体のとの間の通信を容易にするためのステップを実施するステップ、
    から成る付加的ステップを含む、請求項２２に記載の方法。
42. 物体を識別する方法であり、
    無線ネットワーク内に携帯用装置を配置するステップと、
    前記無線ネットワークの環境内の物体の物理的特徴を記述する発見データを無線で受信するステップであり、該ステップにおいて、前記発見データが前記環境内に配置される１つまたは複数の物体に関する付加的データを含む、ステップと、
    画像検知ユニットを用いて前記無線通信ネットワーク内のあるエリアを表す画像データを取り込むステップと、
    少なくとも１組の命令を用いて前記取り込まれた画像データを前記読み出された発見データに対応するデータと比較するステップと、
    前記取り込まれた画像データにおいて物体を識別するステップと、
    前記識別された物体に関連付けられる付加的データを読み出すステップと、
    前記識別された物体と通信するために前記付加的データを利用するステップと、
    を含む、方法。
43. 携帯用装置であり、
    プロセッサと、
    無線通信インターフェイスと、
    メモリと、
    画像データを取り込む画像センサと、
    を含み、
    該携帯用装置において、前記プロセッサが、
    （１）前記無線通信インターフェイスから、該携帯用装置が動作する無線ネットワーク内に配置される複数の物体に関する物理的外観特徴を含みかつ前記複数の物体の各々に関する付加的データを含む発見データを読み出すステップと、
    （２）前記メモリに前記受信発見データを記憶するステップと、
    （３）前記画像センサから取り込まれた画像データを処理し、前記画像センサから取り込まれた画像データと前記メモリに記憶される前記物理的外観特徴との間の比較に基づいて前記複数の物体のうちの１つを対象となる物体として識別するステップと、
    を実施するコンピュータ命令でプログラムされる、
    携帯用装置。
44. 該携帯用装置において、前記発見データが前記複数の物体のうち１つまたはそれ以上を識別するために使用されるべき物体認識アルゴリズムを識別する情報を含み、かつ、該携帯用装置において、前記プロセッサが、前記発見データにおいて識別される物体認識アルゴリズムを実行することによってステップ（３）を実施する、
    請求項４３に記載の携帯用装置。
45. 該携帯用装置において、前記発見データが前記複数の物体のうち１つまたはそれ以上と通信するために使用されるべき通信プロトコルを識別する情報を含み、かつ、該携帯用装置において、前記プロセッサが、前記発見データにおいて識別される前記通信プロトコルを用いて前記対象となる物体と通信するさらなるステップを実施する、
    請求項４３に記載の携帯用装置。
46. さらに、
    前記対象となる物体に関する付加的データを表示するためのディスプレイ、
    を含む、請求項４３に記載の携帯用装置。

Images