JP2010511945A - 対話型入力システムおよび方法 - Google Patents

Abstract

対話型入力装置（５０）は、視点が異なり、関心領域を含む少なくとも部分的に重なる複数の視野を備えた複数の撮像装置（７０）を有している。少なくとも２つの撮像装置は、その焦点距離が異なっている。処理機構（７０、５４、５６）は、ポインタの存在を検出し、関心領域内のポインタの位置を求めるように、撮像装置で得られた画像データを処理する。
【選択図】図１

Description

本発明は、対話型入力システムまたはタッチシステム及び方法に関する。

タッチシステムは、当該技術にとって公知であり、ユーザ入力を発生させるためのポインタが接触するタッチ面を備えたタッチスクリーン、すなわちパネルなどが通常含まれる。タッチ面に対するポインタ接点は、検出され、タッチ面内の該接点の領域に応じて、対応する出力の生成に用いられる。一般的なタッチシステムでは、アナログ抵抗方式、電磁方式、容量方式、音声方式、または機械視覚方式を利用して、タッチ面に対するポインタの相互作用を識別する。

例えば、２００１年７月５日に出願され（ＰＣＴ／ＣＡ０１／００９８０号）、２００２年１月１０日に公開された、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．に譲渡されている国際公開ＷＯ ０２／０３３１６号は、コンピュータが生成した画像が表示されるタッチ面を規定するタッチスクリーンを有するカメラベースのタッチシステムを開示している。該タッチシステムでは、用途に応じて、前面または背面投影装置を用いてタッチ面上に可視画像を投影できる。また、長方形のベゼルまたはフレームがタッチ面を囲み、複数の広角デジタルカメラをフレームの複数の角の位置で支持している。これらのデジタルカメラは、タッチ面全体を含む、異なる視点からタッチ面全体を概ね見渡す、視野の重なり領域を有している。複数のデジタルカメラは、タッチ面を見渡す複数の画像を取得し、画像データを生成する。デジタルカメラで取得された画像データは、取得された画像データ内にポインタが存在するか否かを判断するためにデジタルシグナルプロセッサにより処理される。デジタルシグナルプロセッサは、取得した画像データ内にポインタが存在すると判断すると、ポインタの特徴データをマスタコントローラに送り、マスタコントローラは、ポインタの特徴データを処理し、三角測量を用いてタッチ面に対応する（ｘ，ｙ）座標で表されるポインタの位置を求める。ポインタ座標データは、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータは、ポインタ座標データを用いて、タッチ面上に表示されるコンピュータが生成した画像を更新する。タッチ面上のポインタ接点は、文章や図面として記録することが可能であり、コンピュータにより実行されるアプリケーションプログラムの実行制御に使用できる。

教育機関などの多くの環境では、多人数の集団がプレゼンテーションを見ることができるように大規模なタッチシステムが求められている。この要求を満たすように、Ｈｉｌｌらによる本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．に譲渡されている米国特許出願第１０／７５０，２１９号に開示されているような大規模タッチシステムが開発されている。この大規模タッチシステムは、複数の入力副領域を持つタッチパネルを備えている。これら入力副領域は、一般に隣接する入力表面を規定するように重なっている。各座標入力副領域は、入力表面の割り当てられた部位を見渡す異なる視点を持つ一式の広角デジタルカメラを備えている。各入力副領域は、複数のデジタルカメラで取得された画像データを処理し、入力表面の割り当てられた部位のポインタ接点に対応するポインタ座標データを生成する。ポインタ座標データは、入力表面上に表示されている画像データを更新するように処理される。ポインタ接点が、隣接する、重ならない座標入力副領域上にある場合、座標入力副領域は、取得された複数の画像を処理してポインタ座標データを導き出し、導き出されたポインタ座標データを用いてポインタの位置を三角測量し、入力表面の関連するポインタの接触位置を求める。ポインタ接点が、隣接する、重なる座標入力副領域上にある場合、重なる各座標入力副領域は取得された複数の画像を処理してポインタ座標データ導き出し、導き出されたポインタデータを用いてポインタの位置を三角測量する。その後、重なる複数の座標入力副領域によって生成された三角測量された複数の位置は、所定のロジックにしたがって処理され、タッチ面の対応するポインタの接触位置が求められる。

前述のタッチシステムは非常に良好に動作するが、タッチ面のサイズが大きくなると解像度の問題が発生する。通常、各カメラには、タッチ面全体を見渡すように非常に広い視野を備えたカメラが採用されている。しかしながら、１つまたは２つ以上のカメラから離れた位置のタッチ面にポインタが接触した場合、ポインタはこれらのカメラに非常に小さく写ることがある。実際、複数のカメラに対して、ポインタは１つまたは２つのピクセルの幅にしか見えず、ポインタ検出が困難であり、信頼性が低下することがある。当然、特に非常に大きい複数のタッチ面を備えたタッチシステムにおいては、ポインタ検出を改良する要望がある。

本発明の目的は、新規の対話型入力システム及び方法を提供することである。

上記目的を達成する本発明の一実施形態は、異なる視点を備え、関心領域を含む、少なくとも部分的に重なる複数の視野を有し、焦点距離が異なる、少なくとも２つの撮像装置と、
ポインタの存在を検出し、前記関心領域内の前記ポインタの位置を求めるように前記撮像装置で得られた画像データを処理する処理機構と、
を有する対話型入力システムである。

上記一実施形態では、複数の撮像装置の少なくともいくつかは対で配置されている。対の一方の撮像装置は広い視野を備え、対の他方の撮像装置は狭い視野を備えている。広い視野は狭い視野を完全に含んでいる。対の撮像装置は垂直方向に積載されていてもよく、横に並べられていてもよい。

また、一実施態様では、タッチ面が関心領域に対応している。対の撮像装置はタッチ面の角に隣接して配置されている。対の２つの撮像装置はタッチ面を概ね横切るように見渡している。撮像装置対において、処理機構は、所望のレベルの確信を持って前記画像データ内にポインタが存在していると信じられるか否かを判断するように、対の撮像装置によって得られた画像データを処理し、ポインタの位置を求めるように画像データをさらに処理する。所望のレベルの確信は、閾値の大きさを超えたポインタが存在していることである。処理機構は、少なくとも１つのポインタの存在とポインタ位置とを確認するように、対の撮像装置によって得られた画像データを処理する。

また、本発明の他の実施形態は、画像を見ることができるタッチ面と、
前記タッチ面を含む少なくとも部分的に重なる複数の視野を有し、各々が異なる焦点距離を有する撮像装置を少なくとも２つ有する、前記タッチ面の周辺の撮像アセンブリと、
少なくとも１つのポインタの前記タッチ面に対応する位置を求めるように、前記複数の撮像アセンブリによって生成されたデータを処理する処理機構と、
を有するタッチシステムである。

本発明のさらなる他の実施形態は、視点が異なり、関心領域を含む視野を備え、焦点距離が異なる、少なくとも２つの画像センサを備えたカメラアセンブリと、
前記関心領域内の１つまたは２つ以上のポインタを検出するように前記カメラアセンブリによって得られた画像データを処理する処理機構と、
を有する対話型入力システムである。

本発明の対話型入力システム及び方法では、１つまたは２つ以上の撮像装置からポインタが離れている場合でも、信頼性のあるポインタ検出が実現できることで有利である。さらに、焦点距離が異なる複数の撮像装置が同じ対象を撮像し、複数の撮像装置を校正してポインタの位置を確認するために、複数の撮像装置から得られた複数の画像から抽出されたデータを使用できる場合もある。

各実施形態は、以下の添付図面を参照することでより詳細に開示される。

図１は、カメラベースの対話型入力システムの正面図である。

図２は、図１の対話型入力システムの回路図である。

図３は、図２のタッチパネルの角を拡大した正面図である。

図４は、図２のタッチパネルの一部を構成するカメラアセンブリの正面図である。

図５は、２つのカメラアセンブリの視野を示す図２のタッチパネルの正面図である。

図１及び図２には、カメラベースのタッチシステムが示され、符号５０によって識別される。カメラベースのタッチシステム５０は、内容が参照により本明細書に援用される、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．に譲渡されている前述の国際公開ＷＯ ０２／０３３１６号に開示されているタッチシステムと同様である。

図から分るように、タッチシステム５０は、デジタルシグナルプロセッサ（ＤＳＰ）ベースのマスタコントローラ５４に結合されたタッチパネル５２を有している。マスタコントローラ５４は、コンピュータ５６にも結合されている。コンピュータ５６は、１つまたは２つ以上のアプリ−ケーションプログラムを実行し、コンピュータ生成画像出力を投影装置５８に供給する。投影装置５８は、それに対して、タッチスクリーン５２の面６０上で見ることができるコンピュータ生成画像を表示する。タッチパネル５２、マスタコントローラ５４、コンピュータ５６および投影装置５８は、タッチ面６０上のポインタ接点を、文章や図面として記録することや、コンピュータ５６で実行される複数のアプリケーションプログラムの実行を制御するために使用できるように、閉ループを構成している。

タッチ面６０は、内容が参照により本明細書に援用される、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ．に譲渡されている、２００５年１２月６日に出願されているＡｋｉｔｔ他による米国特許明細書第６，９７２，４０１号に開示されているものと同様のベゼル、つまりフレーム６２によって境界が定められている。ＤＳＰベースのデジタルカメラアセンブリ７０は、オンボード処理能力を備え、図３及び４でもよく分るように、タッチ面６０上の各角に隣接して配置され、ベゼル６２内に収容されている。本実施形態において、各デジタルカメラアセンブリ７０は、タッチ面６０を見渡す１対のカメラセンサ７２及び７４と、両カメラセンサと通信をする処理ユニット（不図示）とを有する。カメラセンサ７２及び７４の焦点距離は、後述するように異なっている。各デジタルカメラアセンブリ７０のカメラセンサ７２及び７４は、一方が他方に垂直方向に積載されている。カメラセンサ７２及び７４の光軸は、タッチ面６０の対角線と揃えられ、各光軸はタッチ面６０の筋向いの角を２等分する。

各デジタルカメラアセンブリ７０の下側のカメラセンサ７２は、カメラセンサ７２の視野を広くして下側のカメラセンサ７２でタッチ面６０全体を見るように広角レンズを備える。各デジタルカメラアセンブリ７０の上側のカメラセンサ７４は、カメラセンサ７４の視野を長く狭くして上側のカメラセンサ７４でタッチ面６０の一部だけを見るように狭角レンズを備える。本実施形態では、下側のカメラセンサ７２は、約９５°の視野を有し、上側のカメラセンサ７４は、約３０°から６０°までの範囲の視野を有している。しかしながら、当業者であれば、下側のカメラセンサ７２と上側のカメラセンサ７４には他の視野の組み合わせも選択可能なことが分るであろう。カメラセンサ７２及び７４は、一方が他方に積載されているため、図５に示すように、下側のカメラセンサ７２の視野（ＦＯＶ１）は、上側カメラセンサ７４の視野（ＦＯＶ２）を完全に含んでいる。このように、上側のカメラセンサ７４は、デジタルカメラアセンブリ７０から離れた複数のポインタを正確に検出するのに最適であり、下側のカメラセンサ７２は、デジタルカメラアセンブリ７０の近くの複数のポインタを正確に検出するのに最適である。

タッチシステム５０の動作中、各デジタルカメラアセンブリ７０のカメラセンサ７２及び７４は、タッチ面６０を見渡し、複数の画像を取得する。各デジタルカメラアセンブリ７０において、各カメラセンサ７２及び７４によって取得された画像データは、ポインタが、取得された各画像内に存在していると所望のレベルの確信を持って信じられるか（すなわち、取得した画像内におけるポインタがある閾値サイズ以上である）否かを判断するために処理ユニットによって処理される。当然、ポインタがデジタルカメラアセンブリ７０から離れていると、その上側のカメラセンサ７４だけが所望の精度レベルでポインタの存在を検出することになり、ポインタがデジタルカメラアセンブリ７０の近くにあると、その下側のカメラセンサ７２だけが所望の精度レベルでポインタの存在を検出することになる。ポインタが複数の取得された画像の１つに存在していると所望のレベルの確信を持って判断されると、取得された画像内のポインタ位置を識別するように、ポインタの特徴データが取得された画像から抽出される。ポインタが、取得された両方の画像に所望のレベルの確信を持って存在していると判断されると、ポインタが大きく写っている取得された画像からポインタの特徴データが抽出される。

各デジタルカメラアセンブリ７０によって抽出されたポインタ特徴データは、マスタコントローラ５４に送信され、それに対してマスタコントローラ５４は、タッチ面６０上のポインタ接点を囲む境界を定めているボックスを求めて、（ｘ，ｙ）座標で表されるポインタの位置が計算できるように、ポインタ特徴データを、内容が参照により本明細書に援用される、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ．に譲渡されている、２００５年１０月４日に出願されているＭｏｒｒｉｓｏｎ他による米国特許明細書第６，９５４，１９７号に開示されているものと同様の方法で処理する。

ポインタ座標データは、コンピュータ５６に報告され、それに対してコンピュータ５６は、ポインタ接点が書き込みイベントの場合はポインタ座標データを文章や図面として記録し、ポインタ接点がマウスイベントの場合はポインタ座標データをコンピュータ５６によって実行されている動作中のアプリケーションプログラムに入力する。上述したように、コンピュータ５６は、タッチ面６０上に表示されている画像がポインタ動作を反映するように、投影装置５８に送られる画像データの更新も行う。

必要ならば、ポインタの存在を確認するように、各デジタルカメラアセンブリ７０の上側と下側の両方のカメラセンサ７２及び７４について、ポインタの存在の判断中に、画像処理結果を比較することができる。また、取得した各画像内のポインタの位置を確認するように、取得した各画像のポインタ特徴データを生成して比較することもできる。また、ポインタがタッチ面６０に向けて移動したとき、各デジタルカメラアセンブリ７０のカメラセンサ７２及び７４の両方が同じポインタを見るので、取得した各画像から抽出されたポインタデータをデジタルカメラアセンブリ７０のカメラセンサ７２及び７４の校正に使用できる。

デジタルカメラアセンブリ７０は、広角カメラセンサ７２の視野が狭角カメラセンサ７４の視野を完全に含む、垂直方向に積載されたカメラセンサ７２及び７４を有していると説明したが、当業者であればカメラアセンブリの他の構成も可能であることが理解されるであろう。例えば、広角カメラセンサ７２の視野が狭角カメラセンサ７４の視野を完全に含む状態のままで、デジタルカメラアセンブリ７０のカメラセンサ７２及び７４を、横に並べてもよい。もちろん、他のカメラセンサの向きも可能である。また、広角カメラセンサ７２の視野は、狭角カメラセンサ７４の視野を完全に含んでいる必要はない。広角カメラセンサの視野と狭角カメラセンサの視野は、もちろん部分的に重なっているだけでもよい。当然、この構成では、冗長性が減少する。

上述した実施形態では、各カメラアセンブリ７０が１つの処理ユニットと通信する２つのカメラセンサ７２及び７４を有する構成を示したが、各カメラセンサは対応する処理ユニットと通信してもよい。この場合、各カメラアセンブリ７０の処理ユニットは、どちらの処理ユニットがポインタデータをマスタコントローラ５４に提供するかを決定するために通信する。ポインタが一方のカメラセンサから最もよく見えるが、ポインタが他方のカメラセンサからより良く見える方向に移動している状態では、両処理ユニットはポインタを追跡する責任が一方の処理ユニットから他方に渡されて正確なポインタ追跡を保証するようにポインタデータを互いにやりとりすることができる。

上述したようにタッチシステム５０は、タッチ面６０の上部の両角に隣接して配置された１対のデジタルカメラアセンブリ７０を有している。当業者は、前述のＨｉｌｌらによる米国特許出願第１０／７５０，２１９号に記述されているように、特にタッチ面が非常に大きい場合、複数の追加のカメラアセンブリ７０をタッチ面６０の周辺の周囲に配置することができることを理解するであろう。

当業者に理解されるように、ポインタは、指、能動または受動スタイラスまたは他の物体、スポットライトや他の放射、またはカメラから見ることができる他の指示器であってもよい。本実施形態では、複数のデジタルカメラを含むタッチシステムとして説明したが、画像を生成することができるリニア光学センサなどの他の撮像装置を採用することもできる。

上述した実施形態では、タッチ面のポインタ接点が検出され、追跡されている。当業者は、タッチ面は必ずしも必要ではなく、撮像装置によって見ることができる２次元平面に交差するポインタまたは３次元体積中のポインタを検出し、追跡できることも理解するであろう。

これまで実施形態を説明し図示したが、併記の請求の範囲によって定まる本発明の精神と範囲から逸脱することなく、さまざまな変形や修正が可能なことも当業者は理解するであろう。

Claims (30)

1. 視点が異なり、関心領域を含む、少なくとも部分的に重なる複数の視野を備え、焦点距離が異なる、少なくとも２つの撮像装置と、
   ポインタの存在を検出し、前記関心領域内の前記ポインタの位置を求めるように前記撮像装置で得られた画像データを処理する処理機構と、
   を有する対話型入力システム。
2. 前記複数の撮像装置の少なくともいくつかは対で配置され、前記対の一方の前記撮像装置は広い視野を有し、各前記対の他方の前記撮像装置は狭い視野を有する請求項１記載の対話型入力システム。
3. 前記広い視野が前記狭い視野を完全に含む請求項２記載の対話型入力システム。
4. 全ての前記撮像装置が対に構成されている請求項２記載の対話型入力システム。
5. 前記対の前記撮像装置が垂直方向に積載された請求項４記載の対話型入力システム。
6. 前記対の前記撮像装置が横に並べられている請求項４記載の対話型入力システム。
7. 前記関心領域に対応するタッチ面をさらに有する請求項４記載の対話型入力システム。
8. 前記対の前記撮像装置は前記タッチ面の複数の角に隣接して配置され、前記対の前記撮像装置が前記タッチ面を概ね横切るように見渡す請求項７記載の対話型入力システム。
9. 前記撮像装置対において、前記処理機構は、所望のレベルの確信を持って前記画像データ内にポインタが存在していると信じられるか否かを判断するように、前記対の前記撮像装置によって得られた前記画像データを処理し、前記ポインタの位置を求めるように前記画像データをさらに処理する請求項８記載の対話型入力システム。
10. 前記所望のレベルの確信は、閾値の大きさを超えたポインタが存在していることである、請求項９記載の対話型入力システム。
11. 前記処理機構は、少なくとも１つのポインタの存在とポインタ位置とを確認するように、各前記対の前記撮像装置によって得られた前記画像データを処理する請求項９記載の対話型入力システム。
12. 画像を見ることができるタッチ面と、
    前記タッチ面を含む少なくとも部分的に重なる複数の視野を有し、各々が異なる焦点距離を有する撮像装置を少なくとも２つ有する、前記タッチ面の周辺の撮像アセンブリと、
    少なくとも１つのポインタの前記タッチ面に対応する位置を求めるように、前記複数の撮像アセンブリによって生成されたデータを処理する処理機構と、
    を有するタッチシステム。
13. 前記撮像アセンブリの一方の前記撮像装置は前記タッチ面全体を概ね含む広い視野を有し、前記撮像アセンブリの他方の前記撮像装置は狭い視野を有する請求項１２記載のタッチシステム。
14. 前記撮像アセンブリの前記撮像装置が垂直方向に積載された請求項１３記載のタッチシステム。
15. 前記撮像装置の対が横に並べられている請求項１４記載のタッチシステム。
16. 前記撮像アセンブリはポインタの存在を検出するように得られた画像データを処理し、前記ポインタが一番よく見える各前記撮像アセンブリの前記撮像装置によって得られた画像データが前記処理機構によって処理される請求項１２記載のタッチシステム。
17. 前記撮像アセンブリの前記撮像装置は得られた前記画像データを使用して、前記ポインタの存在を確認する請求項１６記載のタッチシステム。
18. 前記タッチ面は長方形であり、前記撮像装置アセンブリは、少なくとも隣接する２つの対向している角に配置される請求項１６記載のタッチシステム。
19. 視点が異なり、関心領域を含む視野を備え、焦点距離が異なる、少なくとも２つの画像センサを備えたカメラアセンブリと、
    前記関心領域内の１つまたは２つ以上のポインタを検出するように前記カメラアセンブリによって得られた画像データを処理する処理機構と、
    を有する対話型入力システム。
20. 前記カメラアセンブリにおいて、前記処理機構は、所望のレベルの確信を持って前記画像データ内にポインタが存在していると信じられるか否かを判断するように、前記カメラアセンブリの前記画像センサによって得られた画像データを処理し、前記ポインタの位置を求めるように前記画像データをさらに処理する請求項１９記載の対話型入力システム。
21. 前記所望のレベルの確信は、閾値の大きさを超えたポインタが存在していることである請求項２０記載の対話型入力システム。
22. 前記処理機構は、少なくとも１つのポインタの存在とポインタ位置とを確認するように、複数の前記画像センサによって得られた前記画像データを処理する請求項２０記載の対話型入力システム。
23. 前記カメラアセンブリの前記画像センサが垂直方向に積載された請求項１９記載の対話型入力システム。
24. 前記カメラアセンブリの前記画像センサが横に並べられている請求項１９記載の対話型入力システム。
25. 前記カメラアセンブリは、１対の画像センサを有し、前記対となる一方の画像センサは広い視野を備え、各前記対となる他方の画像センサは狭い視野を備える請求項１９記載の対話型入力システム。
26. 前記カメラアセンブリにおいて、前記処理機構は、所望のレベルの確信を持って前記画像データ内にポインタが存在していると信じられるか否かを判断するように、前記カメラアセンブリの各前記画像センサによって得られた画像データを処理し、前記ポインタの位置を求めるように前記画像データをさらに処理する、請求項２５記載の対話型入力システム。
27. 前記所望のレベルの確信は、閾値の大きさを超えたポインタが存在していることである請求項２６記載の対話型入力システム。
28. 前記処理機構は、少なくとも１つのポインタの存在とポインタ位置とを確認するように、複数の前記画像センサによって得られた前記画像データを処理する請求項２６記載の対話型入力システム。
29. 前記関心領域に対応するタッチ面をさらに有する請求項２５記載の対話型入力システム。
30. 前記カメラアセンブリは、前記タッチ面の複数の角に隣接して配置され、前記カメラアセンブリの前記撮像システムが前記タッチ面を概ね横切るように見渡す請求項２９記載の対話型入力システム。

Images