JP2009523335A - 対話型入力システム - Google Patents

Abstract

対話型入力システムは、関心のある領域と関連する少なくとも2つの撮像装置を有している。該少なくとも2つの撮像装置は、異なった場所から、該関心のある領域の画像を取得し、かつ互いに重なる視野を有している。少なくとも１つの受信機が、アクティブポインターが撮像装置の前記視野の内および外にあるときに、アクティブポインターによって出力されたデータを受信することができる。プロセッサ構造は、前記の少なくとも２つの撮像装置および前記の少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、ポインターの、前記の関心のある領域内の位置を求める。

Description

本発明は概して入力システムに関し、特に対話型入力システムに関する。

この特許出願は、2000年7月5日に出願された米国特許出願第09/610,481号と関連する、200４年９月７日に出願された、「カメラベースタッチシステム」とういう名称の米国特許出願第10/312, 983号に関し、その内容をここに参照によって組み込む。

対話型入力システムは当該技術分野でよく知られており、ユーザ入力を生成するためにポインターを用いて接触がなされるタッチ面を有するタッチ画面を含んでいる。タッチ画面とのポインター接触は検出され、接触がなされた、タッチ面上の領域に応じて、対応する出力を生成するのに使用される。通常のタッチシステムは、タッチ面でポインター命令を特定するために、アナログの抵抗性の、電磁の、容量性の、音響の、またはマシンビジョンを通常用いている。

例えば、Morrison等の特許文献１は、コンピュータで生成された画像が提示されるパッシブタッチ面を含むタッチ画面を有する、カメラベースタッチシステムを開示している。矩形のベゼルすなわちフレームがタッチ面を囲み、ディジタルカメラをその隅で支持している。これらディジタルカメラは、タッチ面を囲み、タッチ面を超えて見える重なる視野を有している。ディジタルカメラは異なった場所から画像を取得し、画像データを生成する。ディジタルカメラで取得された画像データは、取得された画像データ中にポインターが存在するかどうか判定するためにディジタルシグナルプロセッサによって処理される。取得された画像データ中にポインターが存在すると判定されると、ディジタルシグナルプロセッサは、ポインター特徴データをマスターコントローラに送信し、マスターコントローラは、ポインターの、タッチ面に対する(x、y)座標における位置を、三角測量法を用いて求めるためにポインター特徴データを処理する。ポインター座標データは、1つまたは複数のアプリケーションプログラムを実行するコンピュータに送信される。コンピュータはポインター座標データを用いて、タッチ面上に提示されるコンピュータ生成画像を更新する。したがって、タッチ面上のポインター接触は筆記または描画として記録しまたはコンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用することができる。

Morrison等の特許文献2はさらに他のカメラベースタッチシステムを開示している。このタッチシステムは、タッチ面を囲む、重なる視野を有する少なくとも2つの、間隔をおいた撮像装置を有する、概ね矩形のタッチ面を有している。撮像装置は、タッチ面を、最小で、タッチ面の4つの隅を含む眺望を有する斜視図として三次元で見る。撮像装置は異なった場所から重なる画像を取得する。プロセッサが、撮像装置の少なくとも1つによって生成された画像データを処理し、ポインターの、タッチ面に対する位置を、三角測量法を用いて求める。

上記したカメラベースタッチシステムは、アクティブポインターを用いることができるが、フィンガーまたは円筒材料のようなパッシブポインターと共に用いるのに特に適している。パッシブポインターが用いられる、照明が暗い環境では、Akitt等の引用文献３に記載されているような、照らされたベゼルを、タッチ面を囲み、パッシブポインターの検出力を高める適切な背面照明をもたらすために採用してもよい。

アクティブポインターと共に用いられるように設計されたタッチシステムも良く知られている。例えばCologan等の引用文献4は、IR結合された複数の選択ボタンを有するタッチ画面スタイラスを開示している。該スタイラスは無線で、コンピュータと組み合わされた受信機と通信するための赤外線エミッターを含んでいる。該スタイラスは、タッチ画面の場所にあるスタイラスを指す間、ユーザによって作動させることができるプッシュボタンをその先端に備えている。タッチ画面の組み合わされた作動および１つまたは複数のプッシュボタンの同時の作動は、コンピュータへのマウス入力を行わせるのを可能にする。
米国特許出願第10/312,983号 米国特許出願第10/838,536号 米国特許出願第10/354,168号(米国特許第6,972,401号） 米国特許第6,529,189号

上記のタッチシステムは満足の行くものであるが、対話型入力システムに対する改良が望まれている。したがって、本発明の目的は、新規な対話型入力システムを提供することにある。

一態様によれば、
関心のある領域と関連する少なくとも２つの撮像装置であって、異なった場所から前記の関心のある領域の画像を取得し、かつ互いに重なる視野を有する少なくとも２つの撮像装置と、
アクティブポインターが前記撮像装置の前記視野の内および外にあるときに、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、
前記の少なくとも２つの撮像装置および前記少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、前記ポインターの前記の関心のある領域内の位置を求めるプロセッサ構造と、
を有する対話型入力装置が提供される。

他の態様によれば、
ディスプレイと、
前記ディスプレイの前にある、関心のある領域と、
異なった場所から、前記の関心のある領域の画像を取得する、互いに重なる視野を有する少なくとも２つの光学的記録装置と、
アクティブポインターが前記光学的記録装置の視野の中および外にあるときときに、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、
前記の少なくとも２つの光学的記録装置および前記の少なくとも1つの受信機によって取得されたデータを受信、処理し、前記アクティブポインターの、前記の関心のある領域内の位置を検出するプロセッサ構造と、
を有する、カメラベース対話型ディスプレイシステムが提供される。

種々の実施態様のために含まれるさらに他の態様は、次の開示と添付の図面を精読することによって当業者にとって明らかになる。

次に、本発明の実施形態を添付の図面を参照してより詳細に説明する。

さて、図１を参照すると、カメラベース対話型入力システムが図示され、全体に参照番号50が付けられている。図からわかるように、タッチシステム50は、ポインター接触がなされるべき、関心のある領域を定めるタッチ面54を有するタッチ画面52を含む。この実施形態では、タッチ画面52は、例えば、LCD、プラズマ、HDTV、または他のテレビジョンディスプレイ装置のようなフラットパネルディスプレイ装置の概ね平らな面である。センサアセンブリ56がタッチ画面52の１つの側部に沿って延びている。センサアセンブリ56は、タッチ画面52の一方の側縁に固定されたバレンス５８を含んでいる。ディジタルカメラ60がバレンス58の対向する両端部に隣接して位置している。両ディジタルカメラ60の視野は、タッチ面になされたポインター接触を視覚的に検出できるように、タッチ面54の全アクティブ領域の上で重なっている。

赤外線(IR)受信機62が、対応するディジタルカメラと近接して位置し、これと通信する。各IR受信機62は家庭用電化製品で見られるものと同様で、ゲイン制御増幅器に接続されたレンズ付きIR検出器を有している。ディジタルカメラ60は、例えばUSB-２のような高速データバス66を介してコンピュータまたは他の適切な処理装置64に接続されている。コンピュータ64は1つまたは複数のアプリケーションプログラムを実行し、タッチ画面52上で見ることができるディスプレイ出力を出力する。タッチ画面52、コンピュータ64、そしてディスプレイ装置は、タッチ画面52とのポインター接触が筆記（writing）または描画として記録できまたはコンピュータ64によって実行されるアプリケーションプログラムの実行を制御するのに使用できるように閉ループを構成している。

各ディジタルカメラ60は二次元CMOSセンサと、関連するレンズアセンブリと、ディジタルシグナルプロセッサ(DSP)または他の処理装置のような車載（on-board）処理装置を含んでいる。理解されるように、該ディジタルカメラは米国特許出願第10/312,983号に記載されているものと同様である。イメージセンサは、最大で毎秒200フレームの広範囲なフレームレートにわたって画像を取得するように構成されている。

この実施形態では、アクティブポインター70が、タッチ画面と相互作用するのに使用される。図2に示すように、アクティブポインター70は、タッチ画面と接触させられるように設計された先端74を一端に有するポインターボディ72を含んでいる。スクロールホイール80、カラーセレクトスイッチ82、例えば右マウスクリックボタン、ヘルプボタン、インクスタイルセレクターボタン、多数の選択回答・投票ボタン(教室/授業環境で役に立つ)のような1つまたは複数の他のポインターコントロールボタン84がポインターボディ72上に設けられている。マイクロコントーラ90がポインターボディ72内に配置され、スクロールホイール80、カラーセレクトスイッチ82、および他のポインターコントロールボタン84と通信する。マイクロコントローラ90は、同じくポインターボディ72に収容されている再充電可能なバッテリ92から電力が供給される。ポインターボディ72内の力変換器94が、ポインターがタッチ面に接触させられたときにマイクロコントローラ90に入力を与える。ディフューザ98で囲まれた、IR発光ダイオード(LED)の形態の赤外線(IR)送信機96もポインターボディ72の先端に設けられている。

タッチシステム50の全体動作を次に説明する。各ディジタルカメラ60は、その視野内でタッチ面60を横切って見える画像を所望のフレームレートで取得する。ポインター70が、力変換器94を作動させるに十分な力でタッチ面54に接触させられると、マイクロコントローラ90は先端74内のIR送信機96を作動させて、ポインター70をして照らさせる。特に、IR送信機96が作動させられると、IR送信機はIRキャリア信号を出力する。このように、ディジタルカメラ60がタッチ面54を超えて見える画像を取得するので、照らされたポインター先端74は暗い背景に対して明るい照明点として現れる。

さらに、ポインターがタッチ面54に接触する結果として力変換器94が作動させられると、マイクロコントローラ90は、IR送信機92によって出力されたIRキャリア信号を、変調されたキャリア信号がポインターダウン状態を表すデータを搬送するように変調する。IRキャリア信号は、それがIR受信機62によって取得できるように十分に強い。IRキャリア信号のDCオフセットレベルも、図3に示すように、照らされたポインターを選択されたカメラフレームレートで、かつディジタルカメラ60から最大ポインター距離で信頼性高く検出するために、ポインターがタッチ面と接触している間、十分な光エネルギーがディジタルカメラ60によって受信されることを保証するに十分である。この方式を用いて、ディジタルカメラ60は、ポインター70が、それがタッチ面54に接触しているとき、絶えず照らされることを見出す。

IR受信機62が、ポインター70によって出力された、変調されたIRキャリア信号を受信すると、IRキャリア信号の周波数に合わせられた、IR受信機62の増幅器は、変調されたIRキャリア信号をデコードする。このようにして、IRキャリア信号に埋め込まれたデータが取り出され、各ディジタルカメラ60のDSPのデータストリームとして出力される。

各ディジタルカメラ60のDSPは、IR受信機62から受信したデータを取得した画像データと同期させ、該データを圧縮し、該データを、高速回線66を介してコンピュータ64に送信する。コンピュータ64は、該データを受信すると、IR受信機62によって出力されたデータを処理し、ポインターダウン事象が発生したことを確認する。ポインターダウン事象が一旦確認されると、コンピュータ64は取得された画像を処理し、ポインター70の位置を求める。

取得された画像の処理中、ポインターが取得された画像中にあり、ポインターダウン状態が確認されると、該画像は、取得された画像中のポインター位置を特定する特徴データを生成するためにコンピュータ64によって処理される。ポインター特徴データは次に、（x-y）座標系におけるポインターの位置を、三角測量法を用いて求めるためにコンピュータ64によって処理される。特に、画像は、本出願の出願人であるスマートテクノロジー社に譲渡され、その内容が参照によって組み込まれる、Morrison等の米国特許出願第10/294,917号に記載されたものと類似の方法でコンピュータ64によって処理される。このようにして、タッチ面54上のポインター接触を囲む境界ボックスが求められ、（x-y）座標系でのポインターの位置の算出が可能になる。ポインター位置データは、ポインター接触が書き込み事象であるならば筆記またが描画として記録され、またはポインター接触がマウス事象であるならば、コンピュータ64上で実行されているアクティブなアプリケーションプログラムに注入される。コンピュータ64はまた、タッチ面54上に見える画像がポインターの動きを反映するように、ディスプレイ装置に送られた出力を更新する。理解されるように、画像が処理されるためには、ポインターダウンデータが受信されなければならない。このようにして、取得された画像中に現れるポインターデコイを消滅させ(resolved)、無視することができる。

ポインターアップ事象が発生すると、マイクロコントローラ90は、IRキャリア信号を、それがポインターアップ状態を表すデータを搬送するように変調する。ポインターアップ状態を表すデータの受信に応答して、コンピュータ64はポインターダウン状態をクリアして、次のポインターダウン事象が発生し、確認されるまで画像が処理されるのを妨げる。理解されるように、このことは、システム50が、取得された画像中に現れるポインターデコイを消散させて無視する能力を高める。

コンピュータ64がディジタルカメラ60からのデータを入力し、ポインターダウン状態が確認されないと、ポインター70上のホバーボタンが押されない限り、ポインターの存在と位置を検出するように画像は処理されない。この場合、ホバーボタンの操作によって、ホバーデータが、IRキャリア信号を変調するように使用されることになる。その結果、ホバーデータは画像データと共にコンピュータ64によって受信される。ホバーデータに応答して、コンピュータ64は画像を処理し、ポインター位置を求める。

他の場合では、IR受信機62によって生成されたデータだけが、スクロール、インキスタイル調整等の適宜な機能が呼び起こされるようにコンピュータ64によって処理される。特に、スクロールホイール80、カラーセレクトスイッチ82または他のポインターコントロール84を作動させることによってユーザ入力が生成されると、マイクロコントーラ90はIRキャリア信号を、それが該ユーザ入力を含むように変調する。ユーザ入力を表すデータに加えて、マイクロコントローラ90はまた、IRキャリア信号を、ポインター70を用いてタッチ面54に加えられた力を表わすデータおよびバッテリ92の状態を表すデータを含むように変調する。これによって、書き込み事象の間、加えられた力に基づいてライン太さを変えることができ、ポインターバッテリ寿命の可視の画面上表示を備えることが可能になる。

カラーセレクトスイッチ82はいつでも選択できるが、選択されたカラーを表すデータは、ポインター70がタッチ面54に接触しているときにだけポインターによって出力される。したがって、カラー変化は書き込み事象の間だけ発生する。一方、スクロールホイール80は、ポインター70がタッチ面54に接触しているか否かにかかわらずアクティブであるので、スクロールコマンドは、ポインターがタッチ面から離れ、ディジタルカメラ60の視野の外にあるときでもポインターによって出力することができる。そのような動作を可能にするために、IR受信機62の視野は、ポインター70が図4に示すようにタッチ面54に近接しているときおよびポインター70が図5に示すようにタッチ面から離れているときにポインター70のIRキャリア信号出力を検出するのに十分に広い。図5に示すシナリオでは、ポインター位置AおよびＢにおいて、IR受信機62の1つだけがポインター70のIRキャリア信号出力を受信する。

タッチシステム50を、タッチ画面54上で見ることができる画像を出力するディスプレイ装置を含むものとして記載したが、当業者は、該ディスプレイ装置が必要ないことを理解するであろう。また、ディスプレイ装置は、フラットパネルディスプレイ装置ではなく、タッチ面上に画像を投影するフロントまたはリアのプロジェクター、タッチ画面52が上に置かれたビデオモニター、またはタッチ面54を見たときに見ることができる画像を表示する他の装置であってもよい。また、タッチ画面54は矩形である必要はない。タッチ画面は実際、例えばテーブルトップ、壁面等のような基本的に任意の形状の殆どどのような面であってよい。

米国特許出願第10/312,983号におけるものと同様のディジタルカメラを記載したが、関心のある領域の互いに重なる画像を取得する他の画像または光学の記録装置を用いることができることが理解されるであろう。例えば、該カメラは、Morrison等の米国特許出願第10/838,536号に開示されたようなスタンドアロンの撮像装置であってもよい。この場合、該複数のカメラは、関心のある体積を囲む互いに重なる視野を有する。カメラはスタンドアロンなので、バレンスは必要ない。IR受信機をカメラ装置に一体化してもよいことも理解されるであろう。

コンピュータ64を、画像データを処理するものとして記載したが、当業者は、画像処理のいくらかまたは全てを扱うために、ディジタルカメラのオンボード(on-board)処理能力を利用してもことを理解するであろう。

上述した実施形態では、ディジタルカメラは、有線高速データ回線を経てパーソナルコンピュータと通信するものとして記載した。当業者は、種々の変形が可能で、他の有線接続もデータをコンピュータに伝えるために使用してもよいことを理解するであろう。例えば、IR受信機62の出力を、UART、USBまたは他の適切な接続手段によってコンピュータ64に直接、送ってもよい。あるいは、IR受信機およびディジタルカメラからのデータを無線通信回線によってコンピュータに送ってもよい。

ポインター70の構成は例示であって、勿論幾つかの変形が可能である。例えば、IR LED送信機とディフューザの構成は、先端の周りに重なる視野で取り付けられた多数のIR LEDと代えてもよい。勿論、ポインターに、データを送信する異なった手段を用いてよい。例えば、無線周波数(RF)通信を用いてもよい。さらに、マイクロコントローラに、いつポインターダウン事象が発生したかを検出させるために、力変換器の代わりにチップスイッチを用いてもよい。ポインターは、再充電可能でない電源を用いてもよい。望むならば、ポインターはマイクロフォンを含んでよく、マイクロコントローラ90は、ポインター上のボタンの作動の代わりにまたはこれに加えて、ユーザが音声コマンドでユーザ入力を入力するのを可能にする音声認識ソフトウェアを実行してもよい。

さらに、ポインターは、ポインターがコンピュータ64からコマンドを入力するのを可能にする無線通信機を含んでいてもよい。このようにして、ポインターの機能はイネーブルにしたりディセーブルにすることができ、再割り当てされたあるいは変更されたポインター上のボタンに属する機能はポインターに、コンテクストに影響されるソフトボタン能力(context sensitive soft button capabilities)を与える。

本発明の好適な実施形態を説明したが、当業者は、添付の特許請求の範囲で定まる要旨と範囲から外れることなく種々の変形および修正がなされることを理解するであろう。

図1はカメラベース対話型入力システムの概略図である。 図2はアクティブポインターの概略ブロック図である。 図3は、図２のアクティブポインターによって出力された、変調されたＩＲキャリア信号の図である。 図4は、IR受信機の、タッチ面に隣接するアクティブポインターへの視野方向を示す、図１の対話型入力システムの一部分の概略図である。 図5は、IR受信機の、タッチ面から離れて位置するアクティブポインターへの視野方向を示す、図１の対話型入力システムの一部分の他の概略図である。

Claims (22)

1. 関心のある領域と関連する少なくとも２つの撮像装置であって、異なった場所から前記の関心のある領域の画像を取得し、かつ互いに重なる視野を有する少なくとも2つの撮像装置と、
   アクティブポインターが前記撮像装置の前記視野の内および外にあるときに、前記アクティブポインターによって出力されたデータを受信する少なくとも1つの信機と、
   前記少なくとも2つの撮像装置および前記少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、前記ポインターの前記の関心のある領域内の位置を求めるプロセッサ構造と、
   を有する対話型入力装置。
2. 各々が、前記撮像装置の異なった1つに隣接して位置する少なくとも２つの受信機を有する、請求項1に記載の対話型入力装置。
3. 前記の関心のある領域内に位置するタッチ面をさらに有する、請求項1に記載の対話型入力装置。
4. 各撮像装置は、前記タッチ面の異なった隅に隣接して位置する、 請求項3に記載の対話型入力装置。
5. 前記各受信機によって受信されたデータが前記各撮像装置によって取得された画像データと同期させられる、請求項2に記載の対話型入力装置。
6. 各受信機によって受信されたデータが前記関連する撮像装置に、前記撮像装置によって前記プロセッサ構造に送信される前に、送られる、請求項5に記載の対話型入力装置。
7. 前記撮像装置はデータを有線通信回線によって前記プロセッサ構造に送信する、請求項6に記載の対話型入力装置。
8. 前記撮像装置はデータを無線通信回線によって前記プロセッサ構造に送信する、請求項６に記載の対話型入力装置。
9. 前記各受信機と前記各撮像装置はデータを独立して前記プロセッサ構造に送信する、請求項5に記載の対話型入力装置。
10. 前記撮像装置と前記受信機はデータを有線通信回線によって前記プロセッサ構造に送信する、請求項９に記載の対話型入力装置。
11. 前記撮像装置と前記受信機はデータを無線通信回線によって前記プロセッサ構造に送信する、請求項9に記載の対話型入力装置。
12. 前記タッチ面との接触に応答してデータを出力するアクティブポインターを有する、請求項3に記載の対話型入力装置。
13. 前記アクティブポインターは、前記タッチ面と閾値力でなされた接触に応答してデータを出力する、請求項12に記載の対話型入力装置。
14. 前記アクティブポインターは、手動で動作可能な少なくとも１つのコントロールボタンを含み、前記アクティブポインターは、コントロールボタンの動作に応答してデータを出力する、請求項13に記載の対話型入力装置。
15. 前記アクティブポインターは、ポインター接触条件が存在するときにのみコントロールボタンの動作に応答してデータを出力する、請求項14に記載の対話型入力装置。
16. 前記アクティブポインターは、前記タッチ面との接触に応答して明るくなる、請求項3に記載の対話型入力装置。
17. 前記アクティブポインターは、前記タッチ面と閾値力でなされた接触に応答して明るくなる、請求項16に記載の対話型入力装置。
18. 前記アクティブポインターは、手動で動作可能な少なくとも１つのコントロールボタンを含み、前記アクティブポインターは、コントロールボタンの動作に応答してデータを出力する、請求項17に記載の対話型入力装置。
19. 前記アクティブポインターは、ポインター接触条件が存在するときにのみコントロールボタンの動作に応答してデータを出力する、請求項18に記載の対話型入力装置。
20. 前記データが、前記ポインターによって出力された光を変調するのに使われる、請求項19に記載の対話型入力装置。
21. ディスプレイと、
    前記ディスプレイの前にある、関心のある領域と、
    前記の関心のある領域の画像を異なった場所から取得し、かつ互いに重なる視野を有する少なくとも２つの光学的記録装置と、
    アクティブポインターが前記光学的記録装置の視野の中および外にあるとき、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、
    前記の少なくとも２つの光学的記録装置および前記の少なくとも１つの受信機によって取得されたデータを受信、処理し、ポインターの存在を検出し、前記ポインターの、前記の関心のある領域内の位置を検出するプロセッサ構造と、
    を有する、カメラベース対話型ディスプレイシステム。
22. アクティブポインターをさらに有する、請求項21に記載の、カメラベース対話型ディスプレイシステム。

Images