JP2008511877A - 装置制御方法 - Google Patents

Abstract

本発明は、装置Ｄ₁，Ｄ₂，Ｄ₃の制御方法を記載し、当該方法は、カメラ２を有するポインティングデバイス１を、オプションを選択するために制御される装置に関連されるオブジェクトに向けるステップ、ポインティングデバイス１により向けられるターゲットエリアＡの画像を生成するステップを含んでいる。ターゲットエリアの画像３は、選択されたオプションを判定するために解釈され、制御されるべき装置を制御するために対応する制御信号１７が発生される。制御されるべき装置に関連されるデバイス記述情報Ｉ_D1，Ｉ_D2，Ｉ_D3は、このプロセスの前又は間に検出され、プロセスステップは、デバイス記述情報に従って実行される。また、本発明は、本方法の適用に適したシステム１５、及びかかるシステム用のポインティングデバイス１及びデバイス制御インタフェース８，８’を記載している。

Description

本発明は、装置の制御方法に関し、制御されるべき装置と対話するポインティングデバイス及びデバイス制御インタフェースに関する。

近年、光ポイントにポインタが向けられるターゲットで現れさせるためのレーザ光源を組み込んだレーザポインタ又はワンズ（wands）のようなポインタの使用が普及してきている。かかるポインタは、典型的にスクリーン上のアイテム又は聴衆のメンバへの投影を示すため、オブジェクトで示すために使用されるのみであるため、本質的にパッシブデバイスである。しかし、それらの使用は、かかる情報に限定されず、たとえば、ある装置を直接に制御するために使用することができない。

たとえばテレビジョン、ＤＶＤプレーヤ、チューナ等といったコンシューマエレクトロニクスのような装置を制御するため、リモートコントロールが使用されている。しかし、平均的な世帯では、多数のリモートコントロールが必要とされ、しばしば、それぞれのコンシューマエレクトロニクス装置について１つが必要とされる。自身が所有するコンシューマエレクトロニクス装置に精通した人でさえ、それぞれのリモートコントロールのそれぞれのボタンが実際に何のためのものであるかを思い出すことは面倒である。さらに、幾つかのコンシューマエレクトロニクス装置で利用可能なオンスクリーンナビゲーションは、特にその装置で利用可能なオプションの詳細な知識を持たないユーザにとって、直感的なものである。結果的に、ユーザは、彼が探しているオプションを探すためにスクリーンに提供されるメニューを連続的に調べ、次いで、適切なボタンを探すためにリモートコントロールで見下ろす。しばしば、ボタンが非直観的な名前又は略記で与えられることがある。さらに、リモートコントロールのボタンは、モードボタンをはじめに押すことでアクセスされる更なる機能を実行する。

かかる多数のリモートコントロールにより引き起こされる混乱を低減する試みにおいて、「ユニバーサルリモートコントロール」の新たな製品カテゴリが開発している。しかし、ユニバーサルリモートコントロールでさえ、特に、新たな技術及び機能が継続的に開発されるので、今日の市場で入手可能なそれぞれのコンシューマエレクトロニクス装置により提供される全ての機能にアクセスするのを望むことはできない。さらに、現代のコンシューマエレクトロニクスにより提供される多様な機能は、これらの機能を発するために対応する多数のボタンを必要とし、全てのボタンを収容するために不便な大きなリモートコントロールを必要とする。

これらいわゆるユニバーサルリモートコントロールでさえ、典型的にはコンシューマエレクトロニクス装置である所定のタイプの装置と使用するために制限される。さらに、リモートコントロールは、制御されるべき装置の範囲で使用することが制限される。ユーザが装置の到達外にあるリモートコントロールをとる場合、ユーザは、それらの装置の機能をもはや制御せず、リモートコントロールは、彼にとって効果的な使用とならない。

したがって、本発明の目的は、装置が発見される環境に関わらず、ユーザが装置に精通しているのを必要とすることなしに、電子的又は電気的に制御可能な装置を制御する、より便利かつより柔軟に適用可能な方法を提供することにある。

上記目的のため、本発明は、装置の制御方法を提供するものであり、当該方法は、カメラを有するポインティングデバイスを、オプションを選択するために制御される装置に関連されるオブジェクトに向けるステップ、ポインティングデバイスにより向けられるターゲットエリアの画像を生成するステップ、ターゲットエリアの画像を解釈して、選択されたオプションを判定し、制御されるべき装置を制御するために対応する制御信号を生成するステップを有する。制御されるべき装置に関連されるデバイス記述情報は、このプロセスの前又は間に検出され、プロセスステップは、デバイス記述情報に従って実行される。

デバイス記述情報は、装置の存在を報告する。別の実施の形態では、装置が実行することができる機能をポインティングデバイスに通知する。デバイス記述情報は、装置により理解可能な形式で既にエンコードされている、これらの機能を実行するためのコマンドのセットを含む。

さらに、デバイス記述情報は、本方法のステップが実行される範囲を、多数の可能なやり方で影響を及ぼす場合がある。たとえば、ポインティングデバイスは、周辺における装置又はオブジェクトから受けたデバイス記述情報によりアクチベートされるまで、本質的に不活性のままである。デバイス記述情報はあるやり方でカメラの機能を制御することが考えられ、あるタイプの装置のデバイス記述情報は、ポインティングデバイスのカメラに高解像度の画像を作らせ、別のタイプの装置は、そのデバイス記述情報により、低解像度の画像が十分であることを合図する。装置のデバイス記述情報は、この装置にとって利用可能なオプションのタイプをも記述し、また、この装置にとって利用可能なコマンドの要約を供給する。デバイス記述情報は、既に進行中である、画像又は制御信号の生成のステップを割り込みするため、何れかのステージで使用される場合がある。

本発明に係る方法は、ポインティングデバイスのための全体として新たな用途を開く。かかるポインティングデバイスは、生成される画像に基づいて発生されるべき制御信号のための装置又はオブジェクトを示すだけの必要があるため、特にユニバーサルコントロールツールである。特に、制御されるべき装置によりブロードキャストされるデバイス記述情報を受信することで、ユーザは、任意の環境で任意の装置を容易に探すことができ、周辺で利用可能な装置にはじめに彼自身を精通させる必要なしに、かかるポインティングデバイスを使用して装置と対話することができる。このポインティングデバイスの機能は、先に記載されたように、その便利なポインティング様式と共に、本発明をなすために、毎日の生活における無数の状況について高性能かつ実用的なツールを結合する。

装置を制御するシステムは、画像がデバイスそれ自身又は制御されるべきデバイスに関連されるオブジェクトを含む。ポインティングデバイスが向けられる方向でターゲットエリアの画像を生成するカメラをもつポインティングデバイスを有している。また、システムは、制御されるべき装置によりブロードキャストされるデバイス記述情報を検出するための受信ユニット、画像を分析する画像分析ユニット、画像分析の結果に従って制御されるべき装置のための制御信号を発生する制御信号発生ユニット、及び制御信号を制御されるべき装置に伝達するアプリケーションインタフェースを有する。システムは、画像生成及び／又は画像分析及び／又は画像転送及び／又は制御信号発生が制御されるべき装置のデバイス記述情報に従って実行される方式で構成される。

装置を制御する好適なポインティングデバイスは、ポインティングデバイスが向けられる方向でターゲットエリアの画像を生成するカメラに加えて、制御されるべき装置からのデバイス記述情報を検出するための受信ユニットを含む。

かかるポインティングデバイスを使用した本方法を適用するため、デバイス制御インタフェースが使用され、このインタフェースは、制御されるべき装置と相互作用する。かかるデバイス制御インタフェースは、少なくとも、画像を分析するための画像分析ユニット、制御されるべき装置のための制御信号を発生するための制御信号発生ユニット、及び制御されるべき装置に制御信号を伝達するアプリケーションインタフェースを有する。後に説明されるように、かかるデバイス制御インタフェースは、ポインティングデバイスに組み込まれるか、適切な通信インタフェースによりポインティングデバイスと結合される、外部ユニットとして実現される。また、このインタフェースは、制御されるべき装置に組み込まれる。

画像分析、制御信号発生等、若しくはこれらの機能を実行するユニット又はモジュールのような機能は、先に記載されたシステムの構成モジュール、すなわちポインティングデバイス、デバイス制御インタフェース、及び制御されるべき装置にわたり、必要に応じて分散される。
従属の請求項及びその後の記述は、特に有利な実施の形態及び本発明の特徴を開示するものである。

ユーザがポインティングデバイスを向けるオブジェクトは、コンシューマエレクトロニクスデバイス、家庭用機器、又は、自動販売機、自動チケット販売機等のような何れかのタイプの電気的又は電子的に制御可能な装置のような装置とすることができる。同様に、オブジェクトは、幾つかのやり方では、かかる電気的又は電子的に制御可能な装置と関連される任意のタイプの製品又はアイテムとすることができ、たとえば、オブジェクトは、ギャラリーにおける展示であり、この場合、制御されるべき装置は、中央に配置され、展示物それ自身から離れたナレーション又は個人指導システムである。ポインティングデバイスの使用の容易さにより、このオブジェクトに関連される装置の現実の所在に関して関与される必要なしに、関心のあるオブジェクトにユーザが直接それを向けるのを可能にする。明確さのため、制御されるべき装置は、適切な場合、オブジェクトとシンプルに以下では示される場合がある。

オブジェクトは、オブジェクトと関連される識別モジュールにより、間欠的に又は規則的なインターバルで、識別タグとしてブロードキャストされる、デバイス記述情報により周辺におけるポインティングデバイスにその存在をブロードキャストする。本発明の特定の好適な実施の形態では、識別タグは、無線周波数でブロードキャストされる。識別モジュールは、必ずしも、制御されるべきオブジェクト又は装置に組み込まれる必要がなく、実際には、オブジェクトの存在又は可用性をブロードキャストすることはオブジェクトの実際のロケーションに独立とすることができるため、現実のオブジェクト又は装置から離れた距離で配置される場合がある。かかるケースでは、識別モジュールにとって、便利なロケーションに配置されることで十分である。あるケースでは、たとえば装置が中央に配置され、多数のその間連されるオブジェクトがより広いエリアにわたり分散される場合に、装置の存在をブロードキャストするかかる多数の識別モジュールを有することが特に便利である。さらに、多数のオブジェクトのそれぞれは、個々の識別モジュールに関連される。

識別モジュールからブロードキャストされ、ポインティングデバイスにより取り上げられるデバイス記述情報に加えて、ポインティングデバイスは、オブジェクトに関連される装置による検出のために、それ自身が所有のユーザ識別情報をブロードキャストする。かかるユーザ識別情報は、シリアル番号に類似し、ポインティングデバイスに「組み込まれ（hard wired）」、この特定のポインティングデバイスを識別するある種のコードである場合がある。かかるユーザ識別子は、所定のセットのポインティングデバイスのみが、たとえば特定のビルディングで従業員に発せられるポインティングデバイスのみといった、特定の装置と対話することが許可される状況について望まれる。

代替的又は付加的に、ユーザ識別情報は、パスワード、個人識別（ＰＩＮ）、若しくは、指紋又は瞳の記述情報といったある種の生体データのような、装置の実際のユーザ識別である場合がある。このタイプの情報は、所定の人物が動作又は装置と対話することが許可される状況で有効である。１つの例は、テレビジョン、所定時間後の子供のための「制限外（out-of bounds）」、若しくは、所定の人物にとってのみアクセス可能な研究所におけるセキュリティシステムである。ユーザ識別情報は、ポインティングデバイスに組み込まれるか、たとえばキーパッドのような適切な入力様式により、あるやり方でユーザにより入力される。ポインティングデバイスのユーザ識別情報を特定する別のやり方は、リモートコントロールをプログラミングする公知の方法に類似した、適切なインタフェースの助けによりそれをプログラミングすることである。

同様に、ポインティングデバイスのユーザ識別情報は、ポインティングデバイスに、又はポインティングデバイス上に幾つかのやり方で組み込まれる識別モジュールにより識別タグとしてブロードキャストされる。ポインティングデバイスの識別タグは、無線周波数でブロードキャストされることが好ましい。制御される装置のタイプに依存して、ポインティングデバイスにより制御されるときに必要とされるセキュリティのレベルに依存して、デバイス記述情報及び／又はユーザ識別情報は、暗号化された形式でブロードキャストされる。

さらに、識別タグは、要求に応じてのみ、すなわち、制御されるべき装置が、周辺において制御可能な装置が存在するかを知るために周辺をスキャンするのを望むユーザのポインティングデバイスからブロードキャストされたユーザ識別情報検出した場合に、ブロードキャストされる。同様に、ポインティングデバイスは、周辺における装置からブロードキャストされたデバイス記述情報を検出した後にユーザ識別情報を送出するのみである。

ポインティングデバイスがそれを制御するのを許可されるべきかを判定することにおいて装置を支援するため、装置は、許可されたユーザ識別子からなるリストのような認証情報にユーザ識別情報を比較する。ユーザ識別情報が認証リストで発見された場合、装置は、ユーザ識別情報が生じるポインティングデバイスが装置を制御するために許可を有することを結論付ける。ユーザ識別子からなるリストは装置におけるローカルメモリに記憶されるか、ＰＣ、メモリスティック、インターネット等のような外部ソースから得られる。認証情報は、装置と対話することから明示的に禁止されたポインティングデバイスについて、同様に禁止されたユーザ識別子からなるリストである。認証情報は、パスワード、シリアル番号、コードの一部、生体データ等のようなユーザ識別子と同じ形式からなることができる。許可されたユーザ又はポインティングデバイス、若しくは禁止されたユーザ又はポインティングデバイスのリストは、規則的に又は必要に応じて更新される。

ポインティングデバイスのユーザは、利用可能な装置に必ずしも精通していない場合に、精通していない環境でポインティングデバイスを使用するので、かかるポインティングデバイスにより制御可能な装置の近接は、ある種のフィードバックインジケータによりユーザに報告されるか又は示されることが好ましい。

オブジェクトは、制御されるべき装置が周辺に存在するポインティングデバイスによりブロードキャストされているユーザ識別情報を検出するときはいつでもアクチベートされる、フィードバックインジケータを備えている。代替的又は付加的に、ポインティングデバイスは、フィードバックインジケータを備え、このインジケータは、デバイス記述情報がポインティングデバイスにより検出されたときにアクチベートされる。

かかるフィードバックインジケータは、たとえばフラッシングＬＥＤといったものであるか、ラウドスピーカにより発せられる可聴のサウンドである場合がある。フィードバックを視覚的に提供する別のやり方は、ポインティングデバイスでの小さなコンパスの形式であり、矢印は、オブジェクトが位置される方向をユーザに示すために回転する。同様に、たとえばポインティングデバイスをユーザの手で振動させることで、フィードバックは、触覚の方式でユーザに与えることができる。インジケータの組み合わせが使用される場合があり、たとえば、オブジェクトが周辺にあることを示すためのポインティングデバイスの振動、及び右方向にユーザの注意を惹き付けるためにオブジェクトの近くでＬＥＤをフラッシュすることである。

オブジェクトの画像を生成するカメラは、ポインティングデバイスに組み込まれることが好ましいが、ポインティングデバイスに同様に搭載されるが、ユーザにより向けられるポインティングデバイスの前にあるエリアの画像を生成するやり方で、指向されることが好ましい。カメラは、基本的なやり方で構築されるか、又は、ズーム機能又は所定のタイプのフィルタのような高性能の機能を備える。

したがって、「ターゲットエリア」は、カメラにより画像として捕捉することができる、ポインティングデバイスの前にあるエリアである。ターゲットエリアの画像、又はターゲットエリア画像は、狙われるオブジェクトの小さなサブセットのみをカバーするか、全体のオブジェクトを包含するか、若しくは、オブジェクトの周りにあるエリアを含む。オブジェクト全体に関連するターゲットエリア画像のサイズは、オブジェクトのサイズ、ポインティングデバイスとオブジェクトとの間の距離、カメラ自身の機能に依存する。たとえばユーザが部屋の他の端に立っているとき、ポインティングデバイスがオブジェクトからいくらかの距離にあるように、ユーザは配置される。同様に、ユーザは、より詳細な画像を得るためにオブジェクトに非常に近くにポインティングデバイスを保持する。

ポインティングデバイスは、ユーザが所定のアクションを規定するのを可能にする制御入力を備える。かかる制御入力は、アクションが実行されるべきことを示すためにユーザが押すボタンである。制御入力の操作は、適切な信号にエンコードされ、カメラからの画像と共に、デバイス制御インタフェースに転送され、このインタフェースで、制御入力信号は、装置のための制御信号を生成するときに画像と共に解釈される。たとえば、ユーザは、メニューアイテムのリストにおけるアイテムのような特定の機能を表すオブジェクトの特定の部分にポインティングデバイスを向け、同時に、このアイテムが選択されたアイテムであることを示すために制御入力を押す。

ポインティングデバイスを正確に向けることにおいてユーザを支援するため、続いて起こる光のポイントがカメラにより捕捉されるターゲットエリアの中央で多かれ少なかれ現れるように、集中された光ビームのソースがポインティングデバイスに搭載されるか、ポインティングデバイス上に搭載され、向けられる。集中された光ビームのソースは、現在入手可能な多くのタイプのレーザポインタで使用されるレーザ光源である。以下では、したがって、任意のやり方で本発明の範囲を制限することなしに、集中された光ビームのソースはレーザ光源であることが想定される。

ユーザがポインティングデバイスを向けているオブジェクトを容易に判定するため、デバイス制御インタフェースの画像分析ユニットは、通常の画像処理技術又はコンピュータビジョンアルゴリズムを適用することで、ターゲットエリアの画像を多数の前もって定義されたテンプレートに比較することが好ましい。単一の前もって定義されたテンプレートが比較のために十分であるか、又は１を超えるテンプレートに画像データを比較するのが必要な場合がある。

予め定義されたテンプレートは、デバイス制御インタフェースの内部メモリに記憶することができるか、同様に外部ソースからアクセスされる場合がある。好ましくは、デバイス制御インタフェースは、たとえば内部又は外部メモリ、メモリスティック、イントラネット又はインターネットから、オブジェクトについて予め定義されたテンプレートを取得するための適切なインタフェースをもつアクセスユニットを有する。このように、本発明に従ってポインティングデバイスにより制御することができる機器の製造業者は、装置のユーザにとって利用可能なこれらの機器についてテンプレートを作ることができる。テンプレートは、任意の種類のオブジェクトのグラフィック表現とすることができる。オブジェクトがたとえばテレビジョンスクリーンで表示されたメニューのオプションである場合、テンプレートは、テレビジョンの多数のメニューオプションの位置を示し、テレビジョンでポインティングデバイスをユーザが向けるときにターゲットエリアの画像データを分析することで、画像分析ユニットは、どのオプションがユーザにより向けられるかを判定することができる。

好ましくは、制御されるべき装置と対話するためのデバイス制御インタフェースがポインティングデバイスに組み込まれる場合がある。このケースでは、デバイス制御インタフェースは、カメラから直接に画像を取得する。画像分析及び制御信号の発生はポインティングデバイスで行われ、制御信号は、ポインティングデバイスから世御されるべき装置に直接に適切な形式で送信される。

他方で、これらのユニットの機能は、手に心地よく保持されるように実現されるのが好ましいポインティングデバイスの物理的な大きさにより制限されるので、かかる画像分析ユニットは、基礎の画像分析のみで十分であり、より大きなユニットを必要とする更に進展された画像処理は、制御信号の発生と共に、外部デバイス制御インタフェースで行われる。

本発明の特に好適な実施の形態では、ポインティングデバイスは、画像及び任意にデバイス記述情報を外部のデバイス制御インタフェースに送信する送信機と同様に、デバイス制御インタフェースを組み込む。ポインティングデバイスから情報を受けるため、外部のデバイス制御インタフェースは、画像及び任意にデバイス記述情報を受信する受信ユニットを備える。

代替的に、ポインティングデバイスは、全体として画像分析及び制御信号発生機能なしで済ませ、これらのタスクが外部のデバイス制御インタフェースにより実行されるのを可能にし、これによりポインティングデバイスがより小型でコンパクトな形式で実現されるのを可能にする。

先に記載されたように外部のデバイス制御インタフェースはスタンドアロンデバイスであるか、既に存在する家庭用娯楽装置、パーソナルコンピュータに組み込まれるか、専用のデバイス制御インタフェースとして実現される。家庭環境又はオフィス環境、公衆の場所、美術館等におけるデバイス制御インタフェースは、画像処理及び制御信号の発生が中央で行われ、その環境に関して分散される多数の受信ユニットが任意の数のロケーションから画像データを受信することができるように実現される。同様に、その環境に関して分散される多数のアプリケーションインタフェースは、任意の部屋に配置される装置又は機器に制御信号を送信する。したがって、ユーザは、異なる部屋に配置される装置を制御するため、ある部屋におけるオブジェクトにポインティングデバイスを向ける。

明らかに、デバイス制御インタフェースは、単一のポインティングデバイスとの使用に制限されない。任意の数のポインティングデバイスは、デバイス制御インタフェースと対話するために使用される。たとえば、家庭環境では、家庭のそれぞれのメンバは、個人のポインティングデバイスを有し、それぞれ、それ自身所有のユーザ識別情報をブロードキャストする。オフィスビルディング又は病院のような公共の環境では、従業員は、その特定の環境について特定のユーザ識別情報をブロードキャストする、個人のポインティングデバイスで発せられる。美術館又はギャラリーにおいて、それぞれ訪問者は、チュートリアル情報についてユーザの好適な言語のようなユーザに特化した情報でプログラムされるポインティングデバイスで発せられる。同様に、訪問者は、彼自身のポインティングデバイスをシンプルに連れて行き、代わりにそれを使用する。

ポインティングデバイスの有用性を最大にするため、デバイス制御インタフェースは、オブジェクトを認識し、制御されるべき特定の装置とそれを関連付けるためにトレーニングされる。このため、デバイス制御インタフェースは、テンプレート画像又はデバイス制御パラメータに関する情報を特定することができるように、キーボード又はキーパッドのようなインタフェースを備える。

ターゲットエリアの画像は、たとえば強調された輪郭、コーナ、エッジ等の画像全体の重要なポイントのみに関する画像データを有するか、画質をもつ詳細画像である。ユーザがポインティングデバイスを向けているオブジェクトを決定するために画像データを処理することについて、ユーザが狙っているオブジェクトにおける、すなわちターゲットポイントを発見するためのコンピュータビジョン技術を適用することは都合がよい。

ターゲットエリアの画像は実際のオブジェクト以外のアイテム又はオブジェクトを含むので、選択されたオブジェクトは、ターゲットエリアにおける特定のターゲットポイントを含むか又は包含する画像におけるオブジェクトを識別することで決定されることが好ましい。本発明の１実施の形態では、好ましくはオブジェクトにポインティングデバイスの縦軸の方向における想像上のラインを延長させることで得られるターゲットエリア画像の中央である、ターゲットエリア画像における固定されたポイントは、ターゲットポイントとして使用される。

コンピュータビジョンアルゴリズムを使用してオブジェクトのターゲットエリア画像を処理する方法は、ターゲット画像における固有のポイントを検出し、オブジェクトのテンプレートにおける対応するポイントを決定し、テンプレートにおける対応するポイントにターゲット画像におけるポイントをマッピングするための変換を展開することを含む。ターゲットエリア画像の個別のポイントはオブジェクトの個別のポイントであるか、又は、オブジェクトの周囲のエリアにおけるポイントである。この変換は、オブジェクトとのポインティングデバイスの軸の交差点がテンプレートに位置されるように、オブジェクトに関するポインティングデバイスの位置及び外観を判定するために使用される。テンプレートにおけるこの交差点の位置は、オブジェクトのターゲットポイントに対応し、どのオブジェクトがユーザにより向けられたかを容易に判定するために使用される。このように、ターゲットエリア画像を予め定義されたテンプレートと比較することで、個々のコーナポイントのような目立ったポイントを識別及び比較することに制約される。用語「比較」は、本発明において適用できるものとして、広義の意味で、すなわちユーザが向けているオブジェクトを迅速に識別するために十分な特徴を比較することにより理解されるべきである。

ユーザにより選択されたオブジェクトを決定する別の可能性のある方法は、パターンマッチングのような方法を使用してオブジェクトに向けられるポイントを配置するため、ターゲットポイントの周りに集中される受信されたターゲットエリアの画像を、予め定義されたテンプレートに直接的に比較する。

本発明の更なる実施の形態では、ターゲットエリアにおける所定の位置で固定される、ターゲットエリア画像の一部として制御ユニットにおける受信機に送信されるレーザポイントのロケーションは、ユーザにより選択されるオブジェクト配置するためにターゲットポイントとして使用される。レーザポイントは、レーザ光のビームがユーザにより向けられるオブジェクトに衝突するときに現れ、ターゲットエリアの中央に一致するが、ターゲットエリア画像の中央から外れる。

したがって、本発明は、任意の環境で任意のタイプの電子的又は電気的に制御可能な装置と対話するために容易かつ柔軟なやり方を提供する。使用の容易さのため、ポインティングデバイスは、ユーザに快適に握ることができ、ユーザにより容易に運ぶことができる長く延びた形式でワンド又はペンの形状である。したがって、ユーザは、オブジェクトからある距離に配置される間にポインティングデバイスを向ける。同様に、ポインティングデバイスは、ピストルの形式で成型される。さらに、付加的な光源は、ポインティングデバイスに搭載されるか、又はポインティングデバイス上に搭載され、周囲が暗い場合でさえユーザがオブジェクトを容易に探すことができるように、ポインティングデバイスが向けられるエリアを照明する役割を果たす。

先に記載されたポインティングデバイス及びデバイス制御インタフェースは、実用的に任意の種類の環境での使用のため、高性能の制御システムを与えるために結合する。装置の機能性にユーザ自身を精通させる必要なしに、便利かつ直観的なやり方で、ユーザが精通していない装置を制御するためにポインティングデバイスを使用する場合、たとえば、システムは、オフィス、美術館、病院又はホテル環境等のような、ポインティングデバイスにより対話することができる装置を備える任意の環境での使用を見出すことが考えられる。本発明に係る方法は、電気的又は電子的に制御可能な装置に適用される。さらに、制御されるべき装置及び装置に関連されるオブジェクトは、任意の数のモジュール、コンポーネント又はユニットを備えることができ、任意のやり方で分散される。

本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかし、図面は例示の目的でのみデザインされ、本発明の限定の定義としてデザインされたものではないことを理解されたい。
図面では、同じ符号は全体として同じ対象物を示す。記載されるポインティングデバイスは、図示されないが、ユーザにより保持及び動作される。

図１は、本発明の実施の形態に係る、多数の装置Ｄ₁，Ｄ₂，Ｄ₃、及びポインティングデバイス１を示す。それぞれの装置Ｄ₁，Ｄ₂，Ｄ₃は、識別モジュール１１，１２，１３から、たとえば無線周波識別タグといったデバイス記述情報Ｉ_D1，Ｉ_D2，Ｉ_D3を、規則的な間隔又は間欠的に送出することでその存在をブロードキャストする。識別タグＩ_D1，Ｉ_D2，Ｉ_D3は、ポインティングデバイス１における受信機２０により検出される。
ポインティングデバイス１は、識別モジュール１０から、無線周波識別タグの形式で、ユーザ識別情報Ｉ_Uをブロードキャストする。

図では、装置Ｄ₁は、識別タグＩ_D1によりその存在をブロードキャストするために識別モジュール１１が設けられたテレビジョンである。別の装置Ｄ₂は、たとえばパーソナルコンピュータＤ₂であり、ポインティングデバイス１からブロードキャストされたユーザ識別情報Ｉ_Uを検出するための受信機２２と同様に、デバイス記述情報Ｉ_D2をブロードキャストするための識別モジュール１２が設けられている。この装置Ｄ₂は、受信されたユーザ識別情報Ｉ_Uをたとえば外部ソース２９から得られた認証情報Ａ_Uと比較することができる。認証情報Ａ_Uは、装置Ｄ₂の認証及び／又は禁止されたユーザのリストである。この情報Ａ_U、Ｉ_Uに基づいて、装置Ｄ₂はポインティングデバイス１のユーザとのインタラクションを可能にするか否かを判定する。

第三の装置Ｄ₃は、識別モジュール１３により送出された識別タグＩ_D3によりその存在をブロードキャストし、装置に搭載されたＬＥＤ１９によりフィードバック情報を提供する。このＬＥＤ１９は、識別モジュール１３が識別タグＩ_D3をブロードキャストするか、又は装置Ｄ₃の受信機２３がポインティングデバイス１からブロードキャストされたユーザ識別情報Ｉ_Uを検出したかで明滅するか、又はフラッシュする。

図２では、ここでは図１からのテレビジョンである装置Ｄ₁を制御するシステム１５は、デバイス制御インタフェース９により制御可能な多数の装置のうちの１つである、装置Ｄ_１と同様に、ポインティングデバイス１、デバイス制御インタフェース８を有する。

ポインティングデバイス１は、ポインティングの方向Ｐにおいてポインティングデバイス１の前にあるエリアの画像３を生成するカメラ２を含む。ポインティングデバイス１は、ポインティングの方向Ｐはポインティングデバイス１の縦方向の軸に沿ってあるように、この実施の形態での長く延びた形式を備える。図示されないユーザが目標をつけるポインティングデバイス１の前にあるエリアに関して画像３が生成されるように、カメラ２は、ポインティングデバイス１の前に向かって位置される。

ポインティングデバイス１の受信機１０は、装置Ｄ₁の識別モジュール１１によりブロードキャストされる、たとえば認証タグといったデバイス記述情報Ｉ_D1を検出する。デバイス記述情報Ｉ_D1の検出は、このケースではポインティングデバイス１のＬＥＤ２５であるフィードバックインジケータにフラッシュ又は明滅させ、図示されないユーザに対して、ポインティングデバイス１により制御可能な装置が周辺に位置されることを示す。

次いで、ユーザは、実行されることとなる幾つかのオプション又は幾つかの機能を指定するため、ポインティングデバイス１の使用に移る。このため、ユーザは、装置Ｄ₁にポインティングデバイス１を向け、ポインティングデバイス１のボタン２４を押すことで彼の選択を示す。ポインティングデバイス１の前のターゲットエリアの画像３、デバイス記述情報Ｉ_D1、及びボタンからの任意の制御入力情報は、外部のデバイス制御インタフェース８に送出ユニット４により送信され、このインタフェースで、受信機５により受信される。画像３は、画像分析ユニット６で処理される。画像分析ユニット６は、多数のテンプレートから、画像３に最も整合するテンプレートを識別するための公知の画像処理技術を利用し、したがって、示されているオブジェクト又は装置Ｄ₃を識別する。制御信号発生ユニット７は、デバイス記述情報Ｉ_D1及び任意の制御入力情報と同様に、画像分析の結果を使用し、装置のための制御信号１７を発生する。アプリケーションインタフェース１４は、装置Ｄ₁に適切な形式２７でそれを送出する前に、制御信号１７への必要な変換を実行する。デバイス制御インタフェース８にポインティングデバイス１から転送された情報は、たとえばBluetooth,802.11b又は移動電話規格といった無線方式で送信される。ユーザが彼のポインティングデバイスを運ぶ場合、ポインティングデバイスは、ケーブルによりデバイス制御インタフェースに接続される。装置Ｄ₁にデバイス制御インタフェース８から送出された信号は、ケーブルインタフェースにわたり送出されるか、適切な場合、無線方式で送信される。

ポインティングデバイス１は、デバイス制御インタフェース８に画像３を連続して送出するか、又は、所定の時間について移動しない場合に送信を自動的に停止する。このため、ポインティングデバイス１は、図示されないが、動きセンサを有する。ポインティングデバイス１は、大部分について図示されないバッテリにより電力が供給されるので、バッテリの寿命を長くするため、たとえばボタンの形式で制御入力２４をユーザが実際に操作するとき、必要とされるときにデバイス制御インタフェースに画像３を送信することが都合がよい。画像データ３の送信は、幾つかのやり方でユーザが制御入力２４を操作するとすぐ始動され、その後自動的に停止される。

図３は、ポインティングデバイス１の代替的な実施の形態を示す。それ自身のローカルデバイス制御インタフェース８’におけるそれ自身の画像分析ユニット６’及び制御信号発生器ユニット７’を備えている。このポインティングデバイス１は、画像データ３を分析し、デバイス記述情報Ｉ_D1，Ｉ_D2，Ｉ_D3、及び制御入力情報２６を分析し、適切な装置Ｄ₁，Ｄ₂，Ｄ₃のための制御信号１７をローカルに発生する。

この図では、ポインティングデバイス１は、このケースではテレビジョンＤ₁のスクリーン、オブジェクトＤ₁に向けられる。集中された光ビームＬは、レーザ光のソース１８から発生し、レーザポイントＰＬは、テレビジョンスクリーンの一部又は全部を包含するターゲットエリアＡで現れる。表示されている多数のメニューオプションのうちの１つを選択するため、スクリーンの所望の部分に向けた後、ユーザは、彼の選択を示すために制御入力ボタン２４を押すことができる。オブジェクトＤ₁の一部で識別が足りるので、全体のオブジェクトＤ₁についてターゲットエリアＡに現れる必要はない。ターゲットエリア画像３は、ユーザが選択したオプションを識別するため、画像分析ユニット６’で分析され、画像分析の結果は、テレビジョンＤ₁のための適切な制御信号１７を与えるため、テレビジョンＤ₁によりブロードキャストされたデバイス記述情報Ｉ_D1に合わせて、制御信号発生器７’により使用される。

制御信号１７は、アプリケーションインタフェース１４’によりテレビジョンＤ₁に送信される前に、テレビジョンＤ₁により理解可能な形式への必要な変換を受ける。使用の容易さのため、アプリケーションインタフェース１４’は、テレビジョンＤ₁と無線方式で通信するものであり、このテレビジョンは、ポインティングデバイス１からの信号を受信するための適切な受信機２１が設けられている。画像分析ユニット６’、制御信号発生器７’及びアプリケーションインタフェース１４’は、ポインティングデバイス１に組み込まれたローカルデバイス制御インタフェース８’の一部である。

図３に例示されるように、画像処理を実行するのが可能であることで、ポインティングデバイス１は、図２に記載されるように個別のデバイス制御インタフェース８と通信するために必須ではないことを意味する。画像分析の品質が、小型かつ実用的なフォーマットで実現される可能性が高いポインティングデバイス１の物理的な大きさにより制限されるので、この「スタンドアロン」の実施の形態は、画像分析の制度が特に重要ではない状態であるか、又はポインティングデバイス１が外部のデバイス制御インタフェース８と通信不可能である状況で十分である。

この実施の形態は、勿論シンプルに図２の拡張であり、ポインティングデバイス１がローカルデバイス制御インタフェース８’に加えて、また図２に記載される通信インタフェース４，５の役に立ち、そのスタンドアロン機能に加えてホームダイアログシステムのような外部のデバイス制御インタフェースと共に動作することが可能となる。また、この実施の形態は、ポインティングデバイス１がカメラ２により生成された画像を記憶するローカルメモリ２８を備える。図示されない適切なインタフェースにより、ポインティングデバイス１は、メモリスティック、インターネット、外部のデバイス制御インタフェース等のような外部ソースから得られたテンプレートをローカルメモリ２８にロードすることができる。

識別タグをブロードキャストするために使用される識別モジュールは、制御されている装置又は装置に関連されるオブジェクトに物理的に付属される必要がない。図４は、ユーザがポインティングデバイス１を向けるオブジェクトと識別モジュールが分離した実現の例を示す。美術館又はギャラリーの設定において、展示品に関する情報は、たとえば、スペースの理由により、しばしば１つの言語でのみ、展示品のタイトル及びアーティストの名前に制限される。ギャラリーへの訪問者はディスプレイでの絵画に関してより多くを学ぶことを望むので、この例でのギャラリーは、それぞれの訪問者に、訪問者が関心のあるアイテムを示しためのポインティングデバイス１、及び展示品に関するチュートリアル情報又はナレーション情報を聞くためにヘッドフォンのセット３０を供給する。

識別モジュール１３は、装置Ｄ₃に関連されるオブジェクトである、絵１６以外に配置される装置Ｄ₃に組み込まれるか、又は装置Ｄ₃に付属される。かかる識別モジュール１３はオブジェクトに組み込まれる。この識別モジュール１３は、規則的なインターバルで識別タグＩ_D3をブロードキャストする。受信機２３は、通過する訪問者により保持されるポインティングデバイスによりブロードキャストされたユーザ識別情報Ｉ_Uを受信する。このケースではＬＥＤであるフィードバックインジケータ１９は、訪問者の絵に関してより多くを学ぶことができることを訪問者に示すためにフラッシュする。

訪問者は、絵１６にポインティングデバイス１を向ける。ポインティングデバイス１におけるカメラ２は、絵１６の画像３を発生する。これらの画像は、デバイス識別情報Ｉ_D3
に合わせて、デバイス制御インタフェース８に送出され、このインタフェースは、美術館又はギャラリーに分散される幾つかのデバイス制御インタフェースのうちの１つであるか、単一のデバイス制御インタフェースである。

ヘッドフォン３０は、図において点線で示される異なる部屋に配置される、デバイス制御インタフェース８により駆動される。
画像３は、訪問者が示している絵１６それ自身又は絵１６の特定のエリアを識別するため、デバイス制御インタフェース８の画像分析ユニット６で分析される。デバイス記述情報Ｉ_D3は、美術館又はギャラリーで訪問者の所在を判定するために使用され、この絵１６に関する記述情報２７は、訪問者が立っている場所に近い装置Ｄ３に無線方式で送信され、音声信号３７の形式でヘッドフォン３０に送出される。かかるシナリオは、様々な展示品及び多数の訪問者を一度にもつ美術館で実用的である。

訪問者は、絵１６の特定のエリアに光ビームを向けるために、ポインティングデバイス１に搭載された光源１８の利益を受ける。結果的に得られる目に見える光のポイントは、オブジェクト１６に光ビームが衝突するときに続いて起こるものであり、生成された画像３の一部として記録され、ポインティングデバイス１をユーザが向けるポイントを識別するために画像分析プロセスで使用することができる。このように、訪問者は、より多くを学びたいものに関する絵１６の特定の部分を示すことができる。訪問者は、ポインティングデバイス１を向け、図示されないボタンを押すことで絵の特定の部分を示す。この制御入力情報は、画像３及びデバイス記述情報Ｉ_D3に合わせて処理され、ヘッドフォン３０を通してより詳細な情報をユーザが聞くのを可能にする。

ユーザは、オブジェクトにポインティングデバイス１を常に直接的に前方から向けるのではなく、訪問者自身の位置を変えるよりもポインティングデバイス１を向けることがしばしば便利であるので、ポインティングデバイス１がオブジェクトに対して多かれ少なかれ斜めの角度で向けられる可能性が高い。これは、図５に例示されており、ある距離である斜めの角度からオブジェクト１６に向けられる、ポインティングデバイス１により生成されるターゲットエリア画像３の概念的な表現を示しており、このケースではギャラリー又は美術館における絵である、ターゲットエリアＡにおけるオブジェクト１６のスケール及び観点は、ターゲットエリア画像３で歪んで見える。

オブジェクト１６に関してポインティングデバイス１の角度にもかかわらず、ターゲットエリア画像３は、ターゲットポイントＰ_Tに周りに常にセンタリングされる。（光源１８から発生される光ビームＬがオブジェクト１６に衝突するときオブジェクト１６に現れる）光のポイントＰ_Lは、ターゲットエリア画像３に現れ、ターゲットポイントＰ_Tから移動される距離であり、又はターゲットポイントＰ_Tと一致する場合がある。デバイス制御インタフェースの画像処理ユニットは、ユーザにより示されるオブジェクト１６を判定するため、ターゲットエリア画像３を予め定義されたテンプレートＴに比較する。

このため、オブジェクト１６とポインティングデバイス１の縦方向軸の交差点Ｐ_Tのポイントは、ターゲットエリア画像３に配置される。交差点Ｐ_Tのポイントに対応するテンプレートＴにおけるポイントが配置される。

エッジ及びコーナ検出方法を使用したコンピュータビジョンアルゴリズムは、オブジェクト１６のテンプレートＴにおけるポイント［（ｘ_a，ｙ_a），（ｘ_b，ｙ_b），（ｘ_c，ｙ_c）］ターゲットエリア画像３におけるポイント［（ｘ_a’，ｙ_a’），（ｘ_b’，ｙ_b’），（ｘ_c’，ｙ_c’）］を配置するために適用される。

それぞれのポイントは、ベクトルとして表現することができ、たとえばポイント（ｘ_a，ｙ_a）は
（外１）

として表現される。次のステップとして、変換機能Ｔ_λが展開され、ターゲットエリア画像３をテンプレートＴにマッピングする。

ここでベクトル
（外２）

は、テンプレートＴにおける座標ペア（ｘ_i，ｙ_i）を表し、ベクトル
（外３）

は、ターゲットエリア画像３における対応する座標ペア（ｘ’_i，ｙ’_i）を表す。パラメータセットλは、関数に対する最も費用対効果が高いソリューションを生じる画像の回転及び変換を含み、オブジェクト１６に関するポインティングデバイス１の位置及び指向を決定するために適用される。コンピュータビジョンアルゴリズムは、ポインティングデバイス１内のカメラ２がポインティングジェスチャの方向で固定され、「見ている（looking）」という事実を利用する。次のステップは、オブジェクト１６とのポインティング方向Ｐにおけるポインティングデバイス１の縦方向の軸の交差点Ｐ_Tのポイントを計算することである。このポイントは、ターゲットエリア画像３の中心として取られる。ひとたび交点のポイントの座標が計算されると、テンプレートＴにこのポイントを配置することはシンプルな問題である。

本発明が好適な実施の形態及びその変形例の形式で開示され、様々な更なる変更及び変形が本発明の範囲から逸脱することなしになされることが理解される。ポインティングデバイスは、電気的又は電子的に制御可能な装置による家庭又は他の環境におけるユニバーサルユーザインタフェース装置としての役割を果たす。要するに、ユーザが何処であってもポインティングによる意図を表現することができることは有利である。その小型のファクタ及びその便利かつ直感的なポインティング様式は、かかるシンプルなポインティングデバイスを高性能なユニバーサルリモートコントロールに上昇させる。ペン形状の代替として、ポインティングデバイスは、たとえば、ビルトインカメラをもつパーソナルデジタルアシスタント（ＰＤＡ）、又はビルトインカメラをもつ移動電話である。

明確さのため、「有する“comprising”」は、他のステップ又はエレメントを排除するものではなく、「ユニット“unit”」は、単一のエンティティとして明示的に記載されない場合には多数のブロック又はデバイスを有することが理解される。

本発明の実施の形態に係る、ポインティングデバイス及び多数の制御されるべき装置の概念図である。 本発明の実施の形態に係る、ポインティングデバイス及び装置を制御するデバイス制御インタフェースを含むシステムの概念図である。 本発明の実施の形態に係る、ポインティングデバイスの概念図である。 本発明の実施の形態に係る、装置を制御するシステムの概念図である。 本発明の実施の形態に係る、オブジェクト、その関連されるテンプレート、及びポインティングデバイスにより生成されるターゲットエリア画像を示す概念図である。

Claims (13)

1. オプションを選択するため、制御されるべき装置に関連されるオブジェクトに、カメラを有するポインティングデバイスを向けるステップと、
   前記ポインティングデバイスにより向けられるターゲットエリアの画像を生成するステップと、
   選択されたオプションを判定するために前記ターゲットエリアの画像を解釈するステップと、
   前記制御されるべき装置を制御するために対応する制御信号を発生するステップとを含み、
   前記生成ステップ、解釈ステップ及び発生ステップからなるプロセスの前又は間に、前記制御されるべき装置に関連されるデバイス記述情報が検出され、前記プロセスの間に前記デバイス記述情報に従って実行される、
   装置を制御する方法。
2. 前記ユーザ識別情報は、前記ポインティングデバイスから前記制御されるべき装置に送出される、
   請求項１記載の方法。
3. 前記制御されるべき装置のための前記デバイス識別情報は、前記制御されるべき装置に関連される識別モジュールにより識別タグとしてブロードキャストされる、
   請求項１又は２記載の方法。
4. 前記ポインティングデバイスのユーザ識別情報は、前記ポインティングデバイスの識別モジュールにより識別タグとしてブロードキャストされる、
   請求項１乃至３のいずれか記載の方法。
5. 前記ポインティングデバイスの認証情報は、前記制御されるべき装置により取得される、
   請求項１乃至４のいずれか記載の方法。
6. 前記制御されるべき装置へのポインティングデバイスの近接の度合いは、フィードバックインジケータにより前記ポインティングデバイスのユーザに示される、
   請求項１乃至５のいずれか記載の方法。
7. 装置を制御するシステムであって、
   ポインティングデバイスが向けられる方向におけるターゲットエリアの画像を生成するためのカメラを有するポインティングデバイスと、
   前記制御されるべき装置によりブロードキャストされるデバイス記述情報を検出するための受信ユニットと、
   画像を分析するための画像分析ユニットと、
   前記画像分析の結果に従って前記制御されるべき装置のための制御信号を発生する制御信号発生ユニットと、
   前記制御されるべき装置に前記制御信号を伝達するアプリケーションインタフェースと、
   当該システムは、前記画像生成及び／又は前記画像分析及び／又は前記制御信号の発生及び／又は信号伝達が前記制御されるべき装置のデバイス識別情報に従って実行されるように構成される、
   ことを特徴とするシステム。
8. 前記制御されるべき装置の前記ポインティングデバイスへの近接の度合いを示すフィードバックインジケータを有する、
   請求項７記載のシステム。
9. 前記ポインティングデバイスが向けられる方向におけるターゲットエリアの画像を生成するカメラと、前記制御されるべき装置によりブロードキャストされるデバイス記述情報を検出する受信ユニットとを有する、
   請求項７又は８記載のシステム用のポインティングデバイス。
10. 前記制御されるべき装置と対話するデバイス制御インタフェースを有し、
    前記デバイス制御インタフェースは、
    前記画像を分析する画像分析ユニットと、
    前記画像の分析の結果に従って前記制御されるべき装置のための制御信号を発生する制御信号発生ユニットは、
    前記制御信号を前記制御されるべき装置に伝達するアプリケーションインタフェースとを有する、
    請求項９記載のポインティングデバイス。
11. 画像、及び前記制御されるべき装置のデバイス記述情報を外部のデバイス制御インタフェースに転送する通信インタフェースを有し、
    前記外部デバイス制御インタフェースは、前記画像及び／又は前記デバイス識別情報に基づいて前記制御されるべき装置の制御信号を発生する、
    請求項９又は１０記載のポインティングデバイス。
12. 前記ポインティングデバイスから、画像、前記制御されるべき装置のデバイス識別情報を受信する受信ユニットと、
    前記画像を分析する画像分析ユニットと、
    前記画像の分析の結果、及び前記制御されるべき装置の前記デバイス識別情報に従って前記制御されるべき装置の制御信号を発生する制御信号発生ユニットと、
    前記生後信号を前記制御されるべき装置に伝達するアプリケーションインタフェースと、
    を有する前記制御されるべき装置と対話するための請求項７又は８記載のシステムのデバイス制御インタフェース。
13. 請求項１２記載のデバイス制御インタフェースを有する電気的又は電子的に制御可能な装置。

Images