JP2008509457A - アイテム位置検出及び／または選択支援用のポインティングデバイス及び方法 - Google Patents

Abstract

本発明はポインティングデバイス(１)に関するものであり、このポインティングデバイスは、ポインティングデバイスを向けた方向(Ｄ)にある目標領域(Ａ)の画像データ(３)を生成するためのカメラ(２)、目標領域内に光点(Ｐ_L)を生成するための集光ビーム(Ｌ)の発生源(１２)、及びこの集光ビーム(Ｌ)を目標領域(Ａ)内の任意点に指向させるための指向装置(４)を具えたポインティングデバイス(１)を具えている。さらに本発明は、アイテムの位置検出及び／または選択を支援する方法に関するものであり、この方法は、視覚的表現(ＶＰ，ＶＰ’)中に複数のアイテム(Ｍ₁，Ｍ₂，Ｍ₃，Ｍ₄)を視覚的に提示するステップと、カメラ(２)、及び指向可能な集光ビーム(Ｌ)の発生源(１２)を具えたポインティングデバイス(１)をアイテム(Ｍ₁，Ｍ₂，Ｍ₃，Ｍ₄)の視覚的表現に向けるステップと、ポインティングデバイス(１)を向けた目標領域(Ａ)の画像データ(３)を生成するステップと、この画像データ(３)を分析して目標領域(Ａ)内の特定点を位置検出するステップと、指向装置(４)を制御するための制御信号(９)を発生するステップと、光点(Ｐ_L)が目標領域(Ａ)内の特定点と一致するように集光ビーム(Ｌ)を指向させるステップとを具えている。本発明は、ポインティングデバイス(１)と相互作用してアイテムの位置検出及び／または選択を支援する方法を実行するための相互作用装置(１３)にも関するものである。さらに、本発明はアイテムの位置検出及び／または選択の支援システムに関するものである。

Description

本発明は一般にポインティングデバイス（座標位置指示装置、座標入力装置）に関するものであり、特に、このポインティングデバイスを用いたアイテム（品目、項目）の位置検出及び／または選択を支援する方法及びシステムに関するものである。

ドイツ国特許 DE 299 00 935 U1

レーザーポインタ、あるいはレーザー光源を内蔵した「ワンド（魔法の棒）」のようなポインタ（指示装置）を使用して、ポインタを向けた目標（ターゲット）上に光点を出現させることは、近年広く行われるようになった。ドイツ国特許 DE 299 00 935 U1は、レーザー光点を特定方向に指向させるための鏡の構成を有するレーザーポインタを示唆している。例えばレーザー点（ポイント）を用いてスクリーン上に文字列（テキスト）を「書く」ためにレーザー点を指向させるための制御信号は、遠隔（リモート）装置によって発生される。しかし、この種のポインタはこの種の用途に限定され、例えば装置の制御には不向きである。

民生用電子装置のような装置の、限りはあるが便利で快適な制御用に、ここ何十年かの間でリモートコントローラが確立されている。通常は手に持ち制御される装置、例えばテレビジョン、ＤＶＤプレーヤ、チューナ等に向けられるリモートコントローラは、一般にボタンを押すことによって多数の選択肢の中から選択するために使用され、そして一般には１つ、あるいは最大でも２、３台のこうした装置との使用に限定される。装置について利用可能な選択肢は予め規定され、特定数に限られ、そしてスクリーン上に表示され、これにより、ユーザはリモートコントローラ上の適切なボタンを押す前に利用可能な選択肢を学習することができる。一般に、ユーザは、自分の民生用電子装置のすべてに適切に慣れようとするならば、利用可能な選択肢、及びこれに関連する、対応するリモートコントローラ上のボタンまたはボタンの組合せを学習するのに多大な時間を使わなければならない。これらのボタンの機能が明らかでなく、ユーザを混乱させ得ることは非常に多い。装置と共に提供されるマニュアル（取扱説明書）またはユーザガイドでさえも、特定機能をプログラムする方法を明確に説明できないことが多い。その結果、ユーザは、自分が購入した装置を最大限に活用することができないことが多い。

上述したレーザーポインタ及びリモートコントローラは、現在技術状況の実現では、受動的な一方向型のコントローラに応用されている。レーザーポインタは、ユーザが聴衆に対して何かを指し示すためのみに実現することができるのに対し、リモートコントローラは所定の制御信号を装置に送信するためのみに使用することができる。実現されているままのこれらの種類の装置は、いずれにせよ、ポインティング（指示）様式を用いたハンドヘルド（手持ち）装置の可能性を使い尽くしていない。

従って、本発明の目的は、能動的な方法で広範な用途に用いることのできる便利なポインティングデバイスを提供することにある。

この目的のために、本発明は、ポインティングデバイスを向けた方向にある目標領域（ターゲット・エリア）の画像データを生成するためのカメラ、この目標領域内に光点を生成するための集光ビームの発生源、及びこの集光ビームを上記目標領域内の任意の点に指向させるための指向装置を具えたポインティングデバイスを提供する。

本発明によるポインティングデバイスは、この種の装置の完全に新規の用途を拓く。特に、この装置を利用すれば、ユーザは単にポインティングデバイスをアイテムの大まかな方向に向けるだけで、１つまたは複数のアイテムを「位置検出」または「選択」することができる。ユーザはこのポインティングデバイスを用いて、ポインティングデバイスの光点がユーザをあるアイテムに向けて案内できるようにすることによって、このアイテムを位置検出または発見することができる。他方では、アイテムを選択することは、ユーザが、光点をガイドとして用いて、ポインティングデバイスを特定アイテムに向けて、このアイテムを選定するか、あるいはある特定目的でこのアイテムを指し示すことができる。これらの位置検出及び選択の可能性が、便利なポインティング様式と共に組み合わさって、本発明を、日常生活における無数の状況のための強力かつ実際的なツールにする。

本発明による、アイテムの位置検出及び／または選択を支援する方法は、多数のアイテムを視覚的表現で視覚的に提示するステップと；カメラ及び指向可能な集光ビームの発生源を具えたポインティングデバイスを、これらのアイテムの視覚的表現に向けるステップと；ポインティングデバイスが向けられた目標領域の画像データを分析するステップと；上記指向装置を制御するための制御信号を発生するステップと、上記集光ビームを、光点が目標領域内の特定点と一致するように指向させるステップとを具えている。

従属請求項、及びこの後の説明は、本発明の特に有利な具体例及び特徴を開示する。

本発明による方法を用いて位置検出または選択することのできるアイテムは、物品、例えば本、ＣＤ、あるいはあらゆる種類の製品とすることができ、そして静的に、例えば棚上に提示または配列するか、あるいはより大きい領域上に分布させることができる。これと同等に、これらのアイテムは、スクリーン上に動的に表示されるか、あるいはあらゆる適切な種類の背景幕上に動的に投影される選択肢のような「仮想的な」アイテムとすることができる。以下では、「アイテム」及び「物品」とは、実在または仮想の物品またはアイテムを意味すべく取り替え可能なように用いることがあり、そして「仮想表現」とは、これら実在または仮想の物品またはアイテムを提示する静的または動的な方法を記述すべく用いる。

目標領域内のアイテムの画像を生成するためのカメラは、ポインティングデバイスに内蔵させることが好ましいが、これと同等に、ポインティングデバイス上に装着することもでき、そして、ポインティングデバイスの前方の、ユーザが狙いを付けた領域の画像を生成するように配向させることが好ましい。このカメラは基本的な様式に構成にすることができ、あるいは、ズーム能力または特定種類のフィルタのような強力な機能を特徴とすることもできる。

「目標領域」とは、ポインティングデバイスの前方の、上記カメラによって画像として捉えることのできる領域である。目標領域の画像、あるいは目標領域画像は、視覚的表現全体の小さい部分集合のみとすることができ、あるいは、仮想表現を包囲する領域を含むこともできる。視覚的表現全体に対する目標領域画像の大きさは、視覚的表現の大きさ、ポインティングデバイスと視覚的表現との間の距離、カメラ自体の能力に依存させることができる。ユーザは、例えばユーザがテレビジョンを見ている間に座っている際のように、ポインティングデバイスが視覚的表現から少し離れた距離にあるような位置にいることができる。これと同等に、ユーザはポインティングデバイスを視覚的表現の非常に近くに保持して、より詳細な画像を作成することができる。

目標領域の画像データは、画像全体の重要点、例えば強調輪郭、コーナー（角、隅）、エッジ（端部）、等のみに関するデータのみを具えることができ、あるいは、画質の良い詳細画像とすることができる。

集光ビームの発生源は、現在入手可能な多くの種類のレーザーポインタに用いられているもののようなレーザー光源とすることができ、そしてポインティングデバイス内またはポインティングデバイス上に、カメラによって捉えることのできる目標領域内の点に集光ビームを指向させることができるように配置することが好ましい。従って、以下では、上記集光ビームの発生源はレーザー光源であるものと仮定するが、このことは決して本発明の範囲を限定するものではない。

レーザー光源用の指向装置は、上記集光ビームを、特定方向に指向されるように反射すべく移動可能な小型鏡の系を具えることができる。これと同等に、複数の小型モータを用いて、光源が指し示す方向を変更することができる。こうして、集光ビームが目標領域上に当たる点に出現する光点は、ポインティングデバイスを動かす必要なしに、目標領域内の任意の点に出現するように指向させることができ、これにより、ユーザが物品を位置検出することを支援する。これと同等に、目標領域の画像データ中にも現れる光点を用いて、ユーザが選択したアイテムを識別することができる。

上記画像データを分析し解釈するための画像分析ユニット、及び上記指向装置を制御するための制御信号発生ユニットを、ポインティングデバイスに内蔵させることができることが好ましい。この場合には、画像分析及び制御信号発生をポインティングデバイス内で行うことができ、従って、アイテムの位置検出及び／または選択を支援するためのシステムが具える必要があるものは、ポインティングデバイス自体及び多数のアイテムの視覚的表現だけである。

他方では、これらのユニットの能力は、快適に手に持てるように実現することが好ましいポインティングデバイスの物理的寸法によって制限され得るので、こうした画像分析ユニット及び制御信号発生ユニットは、基本的な画像分析及び光点制御には十分であり得るが、より大きなユニットを必要とするより進んだ画像処理及び制御信号発生は、外部の相互作用装置において行うことができる。

従って、アイテムの位置検出及び／または選択ためのより強力なシステムは、ポインティングデバイス、並びにこのポインティングデバイスと相互作用する相互作用装置を具えている。このポンティングデバイスは、画像データを画像分析ユニットに転送または送信するための通信インタフェース、並びに上記指向装置を制御するための制御信号を制御信号発生ユニットから受信するための通信インタフェースを特徴とする。これらの通信インタフェースは別個に実現することができ、あるいは組み合わせることができ、そして、ブルートゥース（Bluetooth、登録商標）または802.11b規格等のような既知の短距離通信プロトコルを実現することができるが、ＵＭＴＳ、ＧＭＳ、あるいは他の移動電話規格を用いた長距離通信を可能にすることもできる。

ここでは、ポインティングデバイスは、画像分析及び制御信号発生を実行する手段を追加的に含むことができ、そしてこれらの作業を相互作用装置に委ねることもできる。あるいはまた、ポインティングデバイスは画像分析及び制御信号発生を省いて、これらの作業を相互作用装置によって実行することができ、ポインティングデバイスをより小さい、より小型の形で実現することを可能にする。

こうしたポインティングデバイスと相互作用するための相互作用装置は、既存の家庭用娯楽（ホームエンターテインメント）装置、パーソナルコンピュータに内蔵させることができ、あるいは、専用相互作用装置として実現することができる。ポインティングデバイスと通信するために、相互作用装置は、ポインティングデバイスからの画像データを受信する受信ユニット、及び制御信号をポインティングデバイスに送信する送信ユニットを特徴とする。画像分析及び制御信号発生はそれぞれ、画像分析ユニット及び制御信号発生ユニットにおいて行われる。

相互作用装置の好適な実現は、音声インタフェースを特徴とすることができ、これにより、ユーザは自分の望みを発声することによって知らせることができる。例えば、ユーザが「Show me how to set the date on the video recorder（ビデオレコーダ上で日付を設定する方法を見せて下さい）」と言い、相互作用装置は、この言葉及びポインティングデバイスのカメラからの画像を解釈した後に、光点が特定の動きをするような指向装置用の正しい制御信号列を送信して、正しい一連の動き及び選択肢の選択をユーザに対して実演する。こうした音声インタフェースはポインティングデバイスに内蔵させることもでき、あるいは、ポインティングデバイスがマイクロホン及びスピーカを具えて、相互作用装置との間で音声データを送信及び受信して、さらなる処理を行うことができる。

ドイツ国特許 DE 102 49 060 A1

相互作用装置は、例えばドイツ国特許 DE 102 49 060 A1に記載のように専用装置として実現することができ、略画の顔立ちを有する可動部分がユーザの方を向いて、装置がユーザの声を聞いている印象を与えることができるような構成にする。こうした相互作用装置はさらに、ユーザが部屋から部屋へと移動する間にユーザに付いていき、ポインティングデバイスの使用が１つの領域に制約されないような形に構成することもできる。相互作用装置は、家庭用娯楽装置、ショッピングリストのアプリケーション、及びＣＤまたは本のようなアイテムの管理集合のような任意数のアプリケーションまたは装置を制御可能にすることができる。

ユーザがポインティングデバイスを向けているアイテムを容易に特定するために、画像分析ユニットは、受信した目標領域の画像データを所定の多数のテンプレートと比較する。この比較には単一の所定のテンプレートで十分なことがあり、あるいは画像データを２つ以上のテンプレートと比較することが必要になり得る。

所定のテンプレートは、ポインティングデバイスの内部メモリーに記憶することができ、あるいはこれと同等に、外部ソースからアクセスすることができる。相互作用ユニット、及び／またはポインティングデバイス自体は、視覚的表現用の所定のテンプレートを、例えば内部または外部メモリー、メモリースティック、イントラネットまたはインターネットから得るための適切なインタフェースを有するアクセスユニットを具えていることが好ましい。テンプレートは、本棚の画像、食料品戸棚、ディスプレイ等のようなあらゆる種類の視覚的表現のグラフィック（図形的）表現とすることができる。テンプレートは、テレビジョン用の多数の所定のメニュー選択肢を示すことができ、これにより、画像分析ユニットは、ユーザがポインティングデバイスをテレビジョンに向けた際に、目標領域の画像データを分析することによって、ユーザが選択中の選択肢、あるいは光点を指向させてユーザに特定選択肢を示すべき位置を特定することができる。

既に上述したように、システムのユーザはアイテムの集合の中からあるアイテムを選択したいことがあり、あるいは、多数の物品の中からある物品を発見または位置検出するに当たり支援を求めることがある。これらのアイテムまたは物品は実在のアイテムとすることができ、あるいは、アプリケーションまたは装置について利用可能な選択肢のような仮想アイテムとすることができる。

ユーザはポインティングデバイスを用いて、アイテムを選択またはアイテムを指し示して、例えば集合中の本の位置を覚えているか、あるいはそれらの外見を認識することによって、これらの本を識別するようにシステムをトレーニング（訓練）することができる。この目的のために、ユーザはトレーニングプロセスを何らかの方法で、例えば”There are books in my library（私の書斎には本があります）”のようなことを言い、各本の題目を言いながら各本を順に指し示して事を進めることによって開始することができる（より進んだ実現では、画像分析ユニットが適切な画像処理技術を用いて本自体の題目を「読む」）。ユーザは、ポインティングデバイスを所定のやり方で動かすことによって、例えば光点が指名中の本の周りに円を描くようにポインティングデバイスをように動かすことによって、特定の本の各々を指示することができる。アイテムを認識すべくシステムをトレーニングするこのモードでは、光点は例えば目標領域の中心に固定されていることが好ましく、これにより、ユーザは自分がポインティングデバイスを向けている場所を容易に見ることができる。ポインティングデバイスがボタンを特徴機能とする場合には、ユーザは、本を指名した後にボタンを押して自分の選択を確認することができる。

後の時点で集合中のアイテムを単に位置検出するために、ユーザはポインティングデバイスを利用して、特定の集合を格納する領域のテンプレートを作成することができる。例えば、本の集合用のテンプレートは、これらの本が格納された棚とすることができる。ユーザは、適切なコマンドを発声することによって、あるいはポインティングデバイス上のボタンを押すことによって、テンプレートを作成すべきことを指示することができる。そしてユーザは、本棚が占める領域上でポインティングデバイスをパンする（大きくゆっくり振る）ことによって、ポインティングデバイスを動かすことができる。終わった際に、ユーザは何らかの方法で、例えば”Finished（終わり）”と言うことによって、あるいはポインティングデバイス上のボタンを押すか離すことによって指示することができる。そして画像分析ユニットは画像を分析してテンプレートを構成することができる。このテンプレートは後に、ユーザが、本の位置を覚えているようにシステムをトレーニングしている際に使用することができ、これによりシステムは各アイテムをテンプレート中の特定位置に関連付けることができる。

そしてこのシステムを用いて、アイテムまたは物品を見つけるに当たり支援を提供することができる。アイテムを探す際には、ユーザは相互作用装置に自分の望みを伝えて、ポインティングデバイスを適切な視覚的表現に向けることができる。

このシステムは、集合中の実在のアイテムを位置検出するために使用することもできる。例えばユーザは”I can’t remember where the book ‘Dealing with Forgetfulness’is kept（’Dealing with Forgetfulness’という本をしまっておいた場所を思い出せない）”と言ってポインティングデバイスを適切な本棚に向けることができる。上述したように事前に生成したこの本棚のテンプレート及びその内容を用いて、相互作用装置はテンプレート中の所望の本を位置検出することができる。目標領域の画像データを用いて、相互作用装置は所望点に対する目標点の位置を計算して、光点をこの所望点に向けて指向させるための制御信号を発生する。その本が、ポインティングデバイスを向けた目標領域外にある場合には、制御信号は、光点を、所望点に最も近い目標領域のエッジで「はね返る」ように見せて、所望の物品を位置検出することができるためにはポインティングデバイスをその方向に動かさなければならないことをユーザに示す。画像データは、ユーザがポインティングデバイスを動かすと共に連続的に分析する。一旦、画像データ中の所望点が識別されると、光点を、物品上に直接見えるように、あるいはこの物品の周りに小さい円を描いて見え得るように置き、これにより、物体が位置する点をユーザに示すことができる。この例では、所望の物品は、前にテンプレート中に記憶したその位置または座標を、画像データ中の目標点の座標と比較することによって見つかった。一旦、所望の物品の座標が目標点の座標と十分に一致すると、システムは所望の物品が位置検出されたものと結論付ける。適度に進化したシステムは、ユーザがアイテムをより広い範囲にわたって位置検出することを手助け可能にして、これにより上記の例では、ユーザがポインティングデバイスを本棚に向ける必要はなく、違う部屋にいることさえもできる。そしてこのシステムは、正しい部屋の向きでかつ本棚に向かう光点でユーザを案内する。

物品の位置検出をする代わりの方法は、画像処理技術を用いて目標領域の画像データ中の当該物品の画像を識別することとすることができる。このことは、アイテムを集合から取り除き、この集合中の異なる位置に戻すことを現実に可能にすることができる。この場合には、システムは、このシステムが認識するようにトレーニングされた物品の画像を記録し、例えば、本を認識するようにトレーニングされると、本の背表紙の画像を記録することができ、あるいは買物リストを管理するようにトレーニングされると、製品のバーコードの画像を記録することができる。

他の好適な応用では、ポインティングデバイスを博物館または図書館で使用し、関心のあるアイテムを位置検出すべく設定することができる。例えば、博物館の来訪者はポインティングデバイスを提供され、このポインティングデバイスは博物館自身のアイテム位置検出用の相互作用システムと相互作用することができ、この場合のアイテムは、博物館の展示物、あるいは売店、レストラン、または化粧室のような特定領域、あるいはこれらの領域内の特定物品とすることができる。博物館の来訪者はヘッドセットを提供され、このヘッドセットを通して、来訪者は博物館の相互作用システムに対して要求を出すこともでき、例えば特定展示物に導くように頼むことができる。来訪者は、おおよそ自分の手前でポインティングデバイスを向けて、レーザー光源によって生成される光点が見られるようにしさえすればよい。そして博物館の相互作用装置は、適切な制御信号によって、ポインティングデバイスの光点を所望の展示物の方向に誘導（ガイド）することができる。例えば一定間隔で相互作用装置に送信される目標領域の画像を分析することにより、所望の展示物に対する来訪者の位置を連続的に追跡することによって、相互作用装置は所望の展示物に着いた時点を判定することができ、そして、例えばループ、円、または他のパターンを展示物の周りに描いて見せることによって、このことを来訪者に対して示すことができる。博物館の相互作用装置は、展示物上の光点を、現在描画中の領域を指し示すべく指向させながら、展示物のユーザ描画記述を提供することができる。

スーパーマーケットまたはデパートの設置では、ユーザは書き出した買物リストを自分のポインティングデバイスで走査し、これにより、スーパーマーケットまたはデバート自身の相互作用システムと通信して、リスト上のアイテムを位置検出することができる。ユーザはポインティングデバイスを棚の概略方向に向けるだけでよく、そして光点によって次々に所望のアイテムに誘導される。このことは、ユーザが、自分が慣れていないスーパーマーケットまたはデパート内で買物している際に特に有利である、というのは、ポインティングデバイスを用いて所望アイテムを位置検出することは、時間を節約し、そしてユーザが所望アイテムを自分で探さなければならない不便さをなくすからである。買物リストを用いることの代わりとして、ユーザは、店に陳列された自分の好みの製品の画像または描画記述をポインティングデバイスで事前に記録し、スーパーマーケットへの入店時に、ポインティングデバイスはこの情報をスーパーマーケットの相互作用装置に転送し、相互作用装置は適切な制御信号をポインティングデバイスに送信することによって応答することができる。これに続いて、ポインティングデバイスの光点がユーザをスーパーマーケット内の関係箇所まで誘導することができる。

システムの他の応用では、家庭用娯楽装置が、ユーザがその機能に成れることを手助けする個別指導（チュートリアル）モードを提供することができる。こうした家庭用娯楽装置、例えばビデオレコーダは、独立型（スタンドアロン）の相互作用装置によって制御または駆動することができ、あるいは相互作用装置を内蔵することができる。個別指導モードはユーザが、例えば”How do I program the VCR to record ?（どのようにＶＣＲ（ビデオカセットレコーダ）をプログラムしたらよいのでしょうか）”と言うことによって、あるいは、ユーザが装置のプログラミングに問題を抱えていることを装置自体が推定した際に装置自体によって開始することができる。個別指導モードでは、相互作用装置は制御信号をポインティングデバイスに送信して、テレビジョンのスクリーン上に通常の様式で表示された関係する選択肢に光点を誘導して、選択すべき選択肢及びこれらの選択肢を選択する順序をユーザに示すことができる。

視覚的表現に対するポインティングデバイスの移動は、画像分析ユニットにおいて画像処理ソフトウェアによって検出することができる。あるいはまた、あるいはこれに加えて、ポインティングデバイス内の動きセンサによって動きを検出することができる。ポインティングデバイスのユーザがより大きな領域上を動き回る際には、ＧＰＳのような測位システムを用いて、位置情報を特定することができる。

画像データを処理してユーザがポインティングデバイスを向けているアイテムを特定するために、コンピュータビジョン（視覚情報処理機能）技術を適用して、視覚的表現中のユーザがポインティングデバイスを向けている点、即ち目標点を見つけることが好ましい。

本発明の１つの好適例では、仮想線をポインティングデバイスの長軸の方向に視覚的表現まで延長することによって得られる目標領域画像中の固定点、好適には目標領域画像の中心を目標点として用いることができる。ポインティングデバイスを用いて物品を選択する際には、光点は、例えば目標領域の中心にある点に固定されていることが好ましい。これにより、ユーザは、ポインティングデバイス上のボタンによって、ポインティングデバイスが選択モードで使用されようとすることを示すことができる。

コンピュータビジョン・アルゴリズムを用いて視覚的表現の目標領域画像を処理する方法は、目標領域内の特徴点を検出し、視覚的表現のテンプレート中の対応する点を特定するステップと、目標画像中の点を、テンプレート中の対応する点にマッピング（写像、対応付け）するための変換を作成するステップとを具えている。目標領域画像の特徴点は視覚的表現の特徴点とすることができ、あるいはこれと同等に、視覚的表現を包囲する領域内の点、例えばテレビジョンのスクリーンまたは本棚のコーナーとすることができる。そしてこの変換を用いて、ポインティングデバイスの視覚的表現に対する位置及び態勢を特定して、ポインティングデバイスの軸と視覚的表現との交点をテンプレート中で位置検出することができる。テンプレート中のこの交点の位置は、視覚的表現上の目標点に対応し、そしてこれを用いて、ユーザが目標としたアイテムを容易に特定することができる。所定テンプレート中の目標点の位置は、例えばユーザが選択した選択肢を示す。このようにして、目標領域画像を所定テンプレートと比較することは、特徴的なコーナー点のような顕著な点のみを識別することに限定される。本発明に適用可能な「比較する」とは、広い意味で理解すべきものであり、即ち、十分な特徴どうしを比較することのみによってユーザがポインティングデバイスを向けている点を迅速に識別する。

ユーザが選択したアイテムを特定する他の可能な方法は、受信した目標領域画像を、目標点を中心として、所定のテンプレートと比較して、パターンマッチングのような方法を用いて、視覚的表現中で目標とした点を位置検出する。目標領域画像を所定テンプレートと比較する他の方法は、特徴的なコーナー点のような顕著な点のみを識別し比較することに限ることができる。

本発明の別な好適例では、目標領域内の特定位置に固定され、目標領域画像の一部として制御ユニット内の受信機に送信されたレーザー点の位置を目標点として用いて、ユーザが選択した選択肢を位置検出することができる。レーザー点は、目標領域画像の中心と一致させることができるが、同等に目標領域画像の中心から外すことができる。

こうして本発明は、全体として、アイテムを位置検出及び／または選択するための容易かつフレキシブル（柔軟）な方法を提供する。使用し易くするために、ポインティングデバイスは、ユーザが快適に握ることのできる細長い形のワンド（魔法の棒）またはペンの形状にすることができる。従ってユーザは、視覚的表現から快適な視距離の所に居たままで、ポインティングデバイスを視覚的表現中の目標点に指向させることができる。これと同等に、ポインティングデバイスはピストル（拳銃）の形にすることができる。さらに、追加的な光源をポインティングデバイス内またはポインティングデバイス上に装着して、ポインティングデバイスを向けた領域を照射する働きをさせ、これにより、周囲が暗くても、ユーザは視覚的表現を容易に熟視することができる。

本発明の他の目的及び特徴は、以下の図面を参照した実施例の詳細な説明より明らかになる。しかし、これらの図面は単に例示目的で設計したものであり、本発明の制限を規定するものではない。

全図面を通して、同じ参照番号は同じ物を参照する。本明細書で説明するポインティングデバイスはユーザによって保持され操作されるが、図には示していない。ユーザは、ポインティングデバイスとの適切なユーザインタフェース（図示せず）によって、ポインティングデバイスと相互作用する装置と通信することができる。

図１に、ポインティングデバイス１の前方のポインティング方向Ｄにある領域の画像を生成するカメラ２を含むポインティングデバイス１を示す。本実施例では、ポインティングデバイス１は細長い形を特徴とし、このため、ポインティング方向Ｄはポインティングデバイス１の長軸に沿って存在する。カメラ２はポインティングデバイス１の前向きに位置し、これにより、ポインティングデバイス１の前方にあり、ユーザ８がポインティングデバイス１を向けている領域の画像が生成される。この画像を記述する画像データ３は、ポインティングデバイス１の筐体内に封入された通信インタフェース５によって送信され、かつ無線の様式、例えばブルートゥース（登録商標）802.11bまたは移動電話規格で、相互作用装置１３に送信される。相互作用装置１３内の受信ユニット１０はポインティングデバイス１と共に動作して、画像データ３を受信してこれらのデータを画像分析ユニット６に転送する。

受信画像データ３は、相互作用装置１３の画像分析ユニット６内で分析され、相互作用装置１３では、これらの画像はアクセスユニットユニット１９によって、内部メモリー２０または外部ソース（データ源）２１、２２から受信した他の画像またはテンプレートと比較される。理想的には、アクセスユニット１９は、外部データへのアクセスを可能にする複数のインタフェースを有し、例えばユーザは、フロッピー（登録商標）ディスク、ＣＤまたはＤＶＤのようなメモリー媒体２１上に記憶された所定のテンプレートを提供することができ、あるいは、アクセスユニット１９は適切なテンプレート情報を、インターネット２２のような外部ネットワークから検索することができる。テンプレートはユーザが構成することもでき、例えば、ユーザがテンプレート上の特定領域と特定アイテムまたは機能との関係を指定するトレーニング・セッション中に構成する。

この場合には、ユーザはアイテムを位置検出しようとしており、このため画像分析ユニット６は、画像データ３をテンプレートと比較して、探索中のアイテムが目標領域内にあるか否かを判定し、制御信号発生器８に適切な制御信号９を発生するよう指示し、制御信号９は相互作用装置１３の送信ユニット１１によって、無線の様式でポインティングデバイス１の通信インタフェース７に送信される。

ポインティングデバイス１に内蔵されたレーザー光源１２は、レーザー光のビームＬを、ポインティング方向Ｄと必ずしも平行ではない放光に放出する。レーザー光のビームＬの実際方向は指向装置４によって制御され、指向装置４は受信した制御信号９を応用して、レーザー光源１２の指向方向を調整する。光点は、ユーザが最終的に探索中のアイテムに誘導されるように指向される。図では、指向装置４は制御信号９を応用し、これに応じてレーザー光源１２の位置を、たとえば小型モータによって変更する。これにより、レーザー光のビームＬは所望方向に向けられる。代わりの実現では、指向装置４は複数の小型鏡を具えることができ、それらの位置は変更可能であり、そしてこれらの鏡は、レーザー光のビームＬを要求された方向に屈折させるように配置されている。小型のモータと鏡との組合せを用いてレーザー光のビームＬの方向を制御できるようにすることも実現可能である。

他のシナリオでは、例えばアイテムを認識し位置検出するように相互作用装置をトレーニングする際に、ポインティングデバイス１を用いてアイテムを選択する。この場合には、画像データ３は、ポインティングデバイス１を認識すべきアイテムに向けることによって生成され、そして画像分析ユニット６に送信され、適切なフォーマットで内部メモリー２０または外部メモリー２１に記憶される前に、何らかの方法で分析及び処理される。

他の応用では、相互作用装置１３は、テレビジョン、ＶＣＲ、またはそれを用いて対話を開始することのできるあらゆる種類の装置のような外部装置２５と通信するためのインタフェース２４を特徴機能とする。ここでは、相互作用装置１３は外部装置２５に何らかの方法でユーザの行動を知らせる。例えば、画像分析ユニット６は、この装置２５の選択肢用のテンプレートを用いて、ユーザが指し示しているテンプレート中の領域を特定し、この情報を外部装置２５に送信し、外部装置２５はこの情報を解釈して適切な信号を相互作用装置１３に送信し、相互作用装置１３では、これらの信号は、ポインティングデバイス１の指向装置４用の制御信号９に変換される。このようにして、ポインティングデバイス１を相互作用装置１３と共に用いて、ユーザによる外部装置２５の制御または外部装置２５との通信を支援することができる。

図２に、自前の画像分析ユニット６’及び制御信号発生器８’を特徴機能とするポインティングデバイス１の実施例を示す。このポインティングデバイス１は、そのカメラ２によって生成された画像データ３を分析して、指向装置４用の制御信号をローカル（自機）で発生することができる。画像処理をローカルで実行することができることは、ポインティングデバイス１が必ずしも、図１に示す別個の相互作用装置１３と通信する必要する必要がないことを意味する。画像分析の品質は、小型かつ実際的な形に最も実現されやすいポインティングデバイス１の物理的寸法によって制限され得るので、この「スタンドアロン」の実施例は、画像分析の精度が特に重要でない状況、あるいはポインティングデバイス１が相互作用装置と通信することができない状況にとって十分であり得る。この実施例はもちろん、単に図１の拡張であり、従ってポインティングデバイス１は、図１に示す通信インタフェース５、７を利用して、そのスタンドアロン（単独）の機能に加えて、対話システムのような相互作用装置１３と共に動作することも可能にする。この実施例は、ローカルメモリ（図示せず）も特徴機能とすることができ、ポインティングデバイス１は、カメラ２によって生成された画像をこのローカルメモリに記憶することができる。

図３に視覚的表現ＶＰを示し、この場合には、棚上にある複数の実在の物品Ｍ₁，Ｍ₂，Ｍ₃，Ｍ₄である。ポインティングデバイス１をこの視覚的表現ＶＰの目標領域Ｔに向けて、物品Ｍ₁，Ｍ₂，Ｍ₃，Ｍ₄のうちの１つを選択または位置検出する。

ユーザが物品、例えばアイテムＭ₄を位置検出したい場合には、ユーザは相互作用装置（図示せず）に、この物品を位置検出することの支援を要求することができる。目標領域Ｔの画像１６は一定間隔で相互作用システムに送信され、相互作用システムはこれらの画像を分析して、ポインティングデバイス１が向けられている領域を特定し、そしてこの領域が探索中のアイテムＭ₄を含むか否かを判定する。目標領域Ｔの画像１６中にアイテムＭ₄を検出することができない限り、ポインティングデバイス１の光源１２を制御信号によって指向させ、これにより、連続する光点Ｐ_Lが、ユーザがポインティングデバイス１を向けなければならない方向をユーザに示すように移動し、これにより、アイテムＭ₄を最終的に目標領域Ｔの画像１６中に検出することができ、この段階で光点Ｐ_Lは所望のアイテムＭ₄上に位置して、その場所をユーザに対して示す。アイテムが行方不明であるか、あるいはシステムがユーザの望みを理解できないために、システムがアイテムを位置検出できない場合には、光点Ｐ_Lは、例えば特定シーケンス（順序）でオン状態及びオフ状態になる（点滅／出没する）ことによって、あるいは所定のパターンを描くことによって、所定の態様で挙動することができるる。このことは、例えば相互作用装置が音声によってユーザと通信することができない際に役に立つ。

ユーザが、例えば相互作用装置を、物品の位置を覚えているように、あるいは物品の外観を認識するようにトレーニングしている際に、視覚的表現ＶＰ中に見えるＭ₁，Ｍ₂，Ｍ₃，Ｍ₄のうちの１つを選択したいとすれば、ユーザはポインティングデバイス１を視覚的表現ＶＰに向けて、問題の物品が光点Ｐ_Lによって示されるようにすることができる。ポインティングデバイス１がこうしたトレーニングモードで使用されている際には、光点Ｐ_Lは、Ｐ_Tによって与えられる目標領域Ａに対する固定位置を維持することができる。光点Ｐ_Lは、中心位置から離れた固定位置に指向させることができ、あるいは中心位置Ｐ_Tと一致させることができる。

光点Ｐ_Lを利用して、ユーザは視覚的表現ＶＰ中に示されているアイテムＭ₁，Ｍ₂，Ｍ₃，Ｍ₄のうちの１つを選択することができる。ポインティングデバイス１内のカメラ２は、画像中心点Ｐ_Tの付近が目標領域Ｔの中心になるように、目標領域Ｔの画像を生成する。光点Ｐ_Lは目標領域画像中にも出現する。この例では、光点Ｐ_Lは画像中心点Ｐ_Tから非常に小さい距離だけ離れて出現し、これにより、ユーザは光点Ｐ_Lを用いて、交互作用装置に対してアイテムを、この場合にはアイテムＭ₃を正確に指示することができる。そしてユーザは、例えば”This book is ‘Middlemarch’ by George Eliot（この本はジョージ・エリオット著の’Middlemarch’です）”と言うことによって、相互作用装置向けに物品Ｍ₃を述べ、これにより相互作用装置は、アイテムＭ3を記述する情報をメモリに記憶する前に、必要な画像処理を実行する。

図４に、アイテムの位置検出及び／または選択の支援用のシステム１４を与えるポインティングデバイス１、相互作用装置１３、及び視覚的表現１４を示す。

相互作用装置１３は、この例では、ユーザが発声コマンドによって当該システムと通信することを可能にするある種の家庭用対話型システムに内蔵させることができる。例えば、ユーザは相互作用装置１３に、例えば”Where is my Dire Straits CD ‘Money for Nothing’ ?（私のひどい苦境のＣＤ‘Money for Nothing’はどこ？）”のような質問をする。ユーザはポインティングデバイス１を、自分のＣＤのコレクション（所蔵品）を保管している棚の大まかな方向に向け、相互作用装置１３はポインティングデバイス１と協働して、要求したＣＤが保管されている場所をユーザに示す。事前のトレーニング・セッションにおいてコレクション中のすべてのＣＤの位置を覚えているようにトレーニングされた相互作用装置１３は、今度は制御信号をポインティングデバイス１の指向装置４に送信し、これにより、光点Ｐ_Lは要求されたＣＤに指向される。要求されたＣＤが目標領域Ｔ内に位置する場合には、光点Ｐ_LはこのＣＤ上で止まるか、あるいはこのＣＤ上で光点Ｐ_Lに小さい円を描かせることができる。しかし、このＣＤが目標領域Ｔの外にある場合には、相互作用装置１３によって発行される制御信号は、光点Ｐ_Lを目標領域Ｔの適切なエッジ（端部）ではね返るように反復的に動き、これによりユーザは、目標領域Ｔが要求されたＣＤを含むまで、ポインティングデバイス１を指示された方向に動かさなければならないことがわかる。

本実施例では、ポインティングデバイス１はボタン１５も特徴機能とする。ボタン１５は、例えばユーザが選択を行ったことを確認し、そして目標領域の画像を記録するために押すことができる。

代わりに、あるいはこれに加えて、こうしたボタン１５は、動的な視覚的表現ＶＰ’の例えばテレビジョンのスクリーン上への表示を起動及び停止するために用いることができ、これにより、実際にユーザが要求した際のみにアイテムまたは選択肢がスクリーン上に表示される。あるいはまた、ポインティングデバイス１上のボタン１５または異なるボタンの機能は、ポインティングデバイス１に内蔵された光源１２を起動または停止させるためのもの、ポインティングデバイス１自体を起動または停止させるためのもの、あるいは「位置検出」の動作モードと「選択」の動作モードとの間で切り換えるためのものとすることができる。

ポインティングデバイス１はその電力を１つ以上のバッテリ（図示せず）から引き出す。ポインティングデバイス１の電力消費次第では、ポインティングデバイス１を不使用時にクレードル（給電用受け台）内に置いてバッテリを充電することのできるクレードルを設ける必要があり得る。

ユーザは、ポインティングデバイスを視覚的表現に対して必ずしも直角に向けず、ポインティングデバイスは視覚的表現に対して多少なりとも斜めの角度で向けられることの方が多い、というのは、自分自身の位置を変えるよりもポインティングデバイスを振ることの方がより容易だからである。このことを図５に示し、図５は、ポインティングデバイス（図示せず）によって生成される目標領域画像１６の略式表現を示し、このポインティングデバイスは少し離れた所から斜めの角度で視覚的表現ＶＰ’に向けられ、これにより、視覚的表現ＶＰ’中のアイテムＭ₁，Ｍ₂，Ｍ₃の尺度及び遠近感は、目標領域画像１６中で歪んで見える。図５に示す場合では、視覚的表現ＶＰ’はテレビジョンのスクリーンであり、アイテムＭ₁，Ｍ₂，Ｍ₃はスクリーン上に表示されたメニューアイテムであり、ユーザはこれらの中から選定することができる。

ポインティングデバイス１の視覚的表現ＶＰ’に対する角度にかかわらず、目標領域画像１６は常に、目標点Ｐ_Tの付近を中心とする。レーザー点Ｐ_Lも目標領域画像１６中に出現し、そして目標点Ｐ_Tからある距離だけ離れた所に置くことができ、あるいは目標点Ｐ_Tと一致させることができる。対話型システムの画像処理ユニットは、目標領域画像１６を所定のテンプレートと比較して、ユーザが指し示したアイテムを特定するか、あるいはユーザが位置検出しようとしているアイテムの位置に対する目標点の位置を特定する。

この目的のために、ポインティングデバイス１の長軸と視覚的表現ＶＰ’との交点を位置検出する。そしてテンプレート中にあり、交点Ｐ_Tに対応する点を位置検出することができる。エッジ検出法及びコーナー検出法を用いたコンピュータビジョン・アルゴリズムを適用して、視覚的表現ＶＰ’のテンプレート中の点[(ｘ_a ^’，ｙ_a ^’)，(ｘ_b ^’，ｙ_b ^’)，(ｘ_c ^’，ｙ_c ^’)]に対応する、目標領域画像中の点[(ｘ_a，ｙ_a)，(ｘ_b，ｙ_b)，(ｘ_c，ｙ_c)]を位置検出する。

各点はベクトルとして表現することができ、例えば点(ｘ_a，ｙ_a)は

として表現することができる。次のステップとして、目標領域画像をテンプレートにマッピングするための変換関数Ｔ_λを次式のように作成する：

ここに、ベクトル

は目標領域画像中の座標対(ｘ_i，ｙ_i)を表わし、ベクトル

はこれに対応する、テンプレート中の座標対(ｘ_i ^’，ｙ_i ^’)を表わす。機能に対する最も費用効果的な解決法を生み出す画像の回転及び平行移動用のパラメータから成るパラメータ組λを適用して、ポインティングデバイス１の視覚的表現ＶＰに対する位置及び向きを特定する。コンピュータビジョン・アルゴリズムは、ポインティングデバイス１内のカメラ２が固定され、ポインティングのジェスチャー（身振り）の方向を「見て」いる、ということを利用する。次のステップは、ポインティングデバイス１のポインティング方向Ｄに延びる長軸と視覚的表現ＶＰとの交点を計算することである。この点は、目標領域画像Ｐ_Tの中心であると解釈することができる。一旦、交点の座標を計算すると、この点を視覚的表現ＶＰのテンプレート中で位置検出することは簡単な方法である。

本発明は、好適な実施例及びその変形の形で開示してきたが、本発明の範囲を逸脱することなしに、多数の追加的な変更及び変形を施すことができることは明らかである。本発明のポインティングデバイスは、家庭内の、あるいはビジネスでのプレゼンテーション（発表）を通したナビゲーション（案内）用の汎用的なユーザインタフェース装置として役立つことができる。家庭外では、光点によってユーザをガイド（案内）することのできるあらゆる環境で本発明を用いることができる。手短に言えば、ユーザがいつでも、ポインティング（指示すること）によって意志を表現できること、あるいは、何かをユーザに対して能動的に指し示すことができることが有益であり得る。こうした単純なポインティングデバイスの、小さい形状因子及び便利かつ直感的な使用法は、こうしたポインティングデバイスを強力で汎用的なリモートコントローラまたは教具に引き上げることができる。ペン形の代わりとして、ポインティングデバイスは例えば、組込みカメラ付きのパーソナル・ディジタル・アシスタント（ＰＤＡ、個人用携帯情報端末）、あるいは組込みカメラ付きの移動電話機とすることができる。ポインティングデバイスは他の従来のリモートコントローラの特徴機能と組み合わせることができ、例えば、専用機能を実行するための追加的なボタンと、あるいは音声制御（ボイスコントロール）のような他の入力手段と組み合わせることができる。

また、明確にするために、本願明細書全体を通して、「具えている」及びその活用形は他のステップまたは要素を排除するものではない。「ユニット」は、単一の実体として明示的に記述しない限り、複数のブロックまたは装置を含み得る。

本発明の実施例によるポインティングデバイス及び相互作用装置の概略図である。 本発明の実施例によるポインティングデバイスの概略図である。 本発明の実施例による、アイテムの集合の視覚的表現、及びポインティングデバイスによって作成される視覚的表現の目標領域の概略図である。 本発明の実施例による、アイテムの集合中のアイテムを位置検出または選択するシステムの概略図である。 本発明の実施例による、視覚的表現及びこれに対応する目標領域画像を示す概略図である。

Claims (13)

1. ポインティングデバイスを向けた方向にある目標領域の画像データを生成するカメラと；
   前記目標領域内に光点を生成するための集光ビームの発生源と；
   前記集光ビームを前記目標領域内の任意点に指向させる指向装置と
   を具えていることを特徴とするポインティングデバイス。
2. 前記画像データを画像分析ユニットに転送するための通信インタフェースと；
   前記指向装置を制御するための制御信号を制御信号発生ユニットから受信するための通信インタフェースと
   を具えていることを特徴とする請求項１に記載のポインティングデバイス。
3. 前記画像データを分析するための画像分析ユニットと；
   前記指向装置を制御するための制御信号を発生する制御信号発生ユニットと
   を具えていることを特徴とする請求項１または２に記載のポインティングデバイス。
4. 請求項２または３に記載のポインティングデバイスと相互作用する相互作用装置において、
   前記画像データを前記ポインティングデバイスから受信する受信ユニットと；
   受信した前記画像データを分析する画像分析ユニットと；
   前記ポインティングデバイスの前記指向装置を制御するための制御信号を発生する制御信号発生ユニットと；
   前記制御信号を前記ポインティングデバイスに送信する送信ユニットと
   を具えていることを特徴とする相互作用装置。
5. アイテムの位置検出及び／または選択を支援するシステムにおいて、
   請求項３に記載のポインティングデバイスと、複数のアイテムの視覚的表現とを具えていることを特徴とする支援システム。
6. 前記ポインティングデバイスと相互作用するための請求項４に記載の相互作用装置を具えていることを特徴とする請求項５に記載のシステム。
7. アイテムの位置検出及び／または選択を支援する方法において、
   視覚的表現中に複数のアイテムを視覚的に提示するステップと；
   カメラ、及び指向可能な集光ビームの発生源を具えたポインティングデバイスを、前記アイテムの視覚的表現に向けるステップと；
   前記ポインティングデバイスが向けられた目標領域の画像データを生成するステップと；
   前記画像データを分析して、前記目標領域内の特定点を位置検出するステップと；
   前記指向装置を制御するための制御信号を発生するステップと；
   前記集光ビームを、この集光ビームによる光点が前記目標領域内の特定点と一致するように指向させるステップと
   を具えていることを特徴とするアイテムの位置検出及び／または選択支援方法。
8. 前記アイテムの視覚的表現が静的な形式で提示されることを特徴とする請求項７に記載の方法。
9. 前記アイテムの視覚的表現が動的に提示されることを特徴とする請求項７または８に記載の方法。
10. 前記目標領域の画像データを、前記目標領域の所定テンプレート及び／または前記視覚的表現の所定テンプレートと比較することによって分析することを特徴とする請求項７〜９のいずれかに記載の方法。
11. 前記光点を、位置検出したアイテムに指向させることによって、前記位置検出したアイテムをユーザに対して示すことを特徴とする請求項７〜１０のいずれかに記載の方法。
12. 前記テンプレート中にあり、前記視覚的表現中の目標点に対応する点を位置検出することによって、選択したアイテムを特定することを特徴とする請求項７〜１１のいずれかに記載の方法。
13. 前記目標点が、次のステップ：
    前記視覚的表現の画像データ中の識別可能な点を検出するステップと；
    前記視覚的表現のテンプレート中の対応する点を特定するステップと；
    前記画像データ中の点を、前記テンプレート中の前記対応する点にマッピングするための変換を作成するステップと；
    前記変換を用いて、前記ポインティングデバイスの前記視覚的表現に対する位置及び態勢を特定するステップと；
    前記ポインティングデバイスの特定軸と前記視覚的表現との交点を位置検出するステップと
    を具えた方法によって特定されることを特徴とする請求項１２に記載の方法。

Images