JP2008541210A - 大型タッチシステムおよび該システムと相互作用する方法 - Google Patents

大型タッチシステムおよび該システムと相互作用する方法 Download PDF

Info

Publication number
JP2008541210A
JP2008541210A JP2008509280A JP2008509280A JP2008541210A JP 2008541210 A JP2008541210 A JP 2008541210A JP 2008509280 A JP2008509280 A JP 2008509280A JP 2008509280 A JP2008509280 A JP 2008509280A JP 2008541210 A JP2008541210 A JP 2008541210A
Authority
JP
Japan
Prior art keywords
touch surface
touch
user
mouse
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008509280A
Other languages
English (en)
Other versions
JP5103380B2 (ja
Inventor
ダグラス ヒル、
ニール ベッキー、
タコ ヴァニーペレン、
サーグウェイ ヴドヴァイネ、
ロベルト シロティッチ、
マーク フレッチャー、
スコット タルマン、
マリリン ウイリアムズ、
シャーン エドワード ビル、
シャンノン パトリシア グッドマン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of JP2008541210A publication Critical patent/JP2008541210A/ja
Application granted granted Critical
Publication of JP5103380B2 publication Critical patent/JP5103380B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

タッチシステム（１００）は、画像が提示される大型のタッチ面（１０２）と、タッチ面を見渡し、かつ重複する視野を有する少なくとも２つの撮像装置（Ｃ0からＣ"3）とを有する。処理機構（１０８、１１０）は、撮像装置と通信し、撮像装置によって取得された画像データを処理して三角測量法を用いてタッチ面上のポインタ接触を決定する。さらに、処理機構は、少なくとも１つのアプリケーションを実行して、タッチ面とのユーザ相互作用を容易にする。タッチ面と相互作用する方法も開示される。

Description

本発明は、一般に対話型(interactive)入力システムに関し、特に大型タッチシステムおよびこのシステムと相互作用する方法に関する。
タッチシステムは、当業者にはよく知られており、通常、ユーザ入力を生成するために、ポインタを使用して接触（コンタクト）がなされるタッチ面(touch surface)を有するタッチスクリーンを含んでいる。タッチ面とのポインタ接触が検出され、その接触がなされたタッチ面の領域に応じて、それに対応する出力を生成するのに利用されている。一般的なタッチシステムは、アナログ抵抗、電磁気、容量、音響、またはマシンビジョンを利用して、ポインタのタッチ面との相互作用を識別している。
例えば、本発明の譲受人であるスマートテクノロジーズ社(SMART Technologies Inc.)に譲渡され、２００１年７月５日に出願され、２００２年１月１０日にWO02/03316号で公開された、国際出願（ＰＣＴ）第PCT/CA01/00980号（特許文献１）は、コンピュータ生成画像が表示される受動的タッチ面を含むタッチスクリーンを有するカメラベースのタッチシステムを開示している。長方形のベゼルまたは枠がタッチ面を取り囲み、その複数の角にデジタルカメラを保持している。これらのデジタルカメラは、タッチ面を包含して見渡す重複した視野を持っている。複数のデジタルカメラは異なる位置から画像を取得して、画像データを生成する。デジタルカメラによって取得された画像データは、デジタル信号プロセッサによって処理され、取得された画像データ内にポインタが存在するかどうかが判断される。取得された画像データ内にポインタが存在すると判断された場合、デジタル信号プロセッサは、次に、ポインタ特性データを処理しタッチ面に関する（ｘ，ｙ）座標でのポインタの位置を三角測量法を用いて決定するマスタコントローラ（マスタコントローラ）に、ポインタ特性データを送る。ポインタ座標データは、１つまたは２以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータは、ポインタ座標データを使用して、タッチ面上に表示されたコンピュータ生成画像を更新する。したがって、タッチ面上でのポインタ接触は、筆記(writing)または描画(drawing)として記録することができ、またはコンピュータによって実行されるアプリケーションプログラムの実行を制御するために使用することができる。
上記のタッチシステムは非常に有効に機能するが、各カメラの視野がタッチ面全体を包含するように配置されるため、カメラの解像度が、製作可能なタッチシステムの大きさを制限することになる。
教育施設のような多くの環境では、大人数のグループがプレゼンテーションを見ることができるように、大型のタッチシステムが望まれている。一連の並んで据えられた複数のタッチパネルから作製された大型タッチシステムが考えられている。このタッチシステムは、より大きなタッチ面を提供するが、タッチ面は、各タッチ面を取り囲む個別の枠により、連続したものにはならない。１つのタッチ面から別のタッチ面までのポインタの移動を追跡することも厄介であり、ユーザが使いやすいものではない。
上記問題を克服する大型タッチシステムが、ヒル(Hill)らへ付与され、本発明の譲受人であるスマートテクノロジーズ社(SMART Technologies Inc.)に譲渡されている米国特許出願番号第10/750,219号（特許文献２）に開示されている。この大型タッチシステムは、複数の座標入力サブ領域に分割されたタッチ面を含んでいる。入力サブ領域は重複しており、一般的に連続する入力面の範囲を定めている。各座標入力サブ領域は、その上でのポインタ接触に応答して、ポインタ座標データを生成する。ポインタ座標データは、入力面上に表示された画像データを更新するために処理される。ポインタ接触が、隣接する座標入力サブ領域と重複しない座標入力サブ領域でなされる場合には、座標入力サブ領域は、取得した画像を処理してポインタデータを導出し、導出したポインタデータを使用してポインタの位置を三角測量法によって求め、それによりタッチ面に対するポインタ接触の位置を決定する。ポインタ接触が隣接する座標入力サブ領域と重複する座標入力サブ領域でなされた場合には、各重複する座標入力サブ領域は、取得した画像を処理してポインタデータを導出し、導出したポインタデータを使用してポインタの位置を三角測量法により求める。その後、重複する座標入力サブ領域によって生成された三角測量法によって求められ位置は、定義されたロジック（論理）にしたがって処理され、それによりタッチ面に対するポインタ接触の位置を決定する。
上述のヒルらの大型タッチシステムは、より大きなグループがタッチ面を見る環境において非常に有用な連続タッチ面を提供する。しかし、タッチ面の大きさを増加させることが課題となっている。ユーザがタッチ面と容易に物理的に相互作用することができない種々の状況が発生する可能性がある。例えば、タッチ面の大きさ、ユーザの体格および／または状況により、そのユーザは、タッチ面の上部領域に手が届かないかもしれない。ユーザが、タッチ面の一方のサイドに立っているが反対側のサイドに隣接するタッチ面に表示された画像コンテンツに相互に作用する必要がある状況も発生するかもしれない。タッチ面の反対側のサイドまで歩いて行って、タッチ面に相互に作用しなければならないことは不便であり、タッチ面上に表示された画像が分裂したり不明瞭になってしまう可能性がある。さらに、タッチ面の大きさは、ユーザがモーダルボックス(modal box)のような視覚的な表示オブジェクトの識別を困難にする可能性がある。以上から理解できるように、ユーザとの相互作用を容易にするこのような大型タッチシステムと相互作用する方法が望まれている。
ＷＯ０２／０３３１６ ＵＳ２００５−０１５６９００Ａ１ 米国特許第６，９５４，１９７号明細書 米国特許第６，７４１，２６７号明細書
したがって、本発明は、新規の大型タッチシステム、およびこのシステムと相互作用する方法を提供することを目的とする。
したがって、一態様において、表示画像が提示されるタッチ面を有する大型タッチシステムにおける前記表示画像とのユーザ相互作用(user interaction)を容易にする方法が提供され、この方法は、
ユーザアクセス可能な位置においてタッチ面上に表示画像の少なくとも一部分のスケーリング（拡大縮小；scaled）されたバージョンを表示することと、
スケーリングされたバージョンとのユーザ相互作用が表示画像との相互作用に変換されるように、表示画像の対応する部分にスケーリングされたバージョンをマッピングすることと、
を含む。
一実施形態において、表示画像全体のスケーリングされたバージョンは、表示中、ウィンドウ内に表示される。このウィンドウは、タッチ面の下部に隣接して配置される。ウィンドウの位置は、ユーザによって調整可能である。
他の態様によれば、表示画像が提示されるタッチ面を有する大型タッチシステムにおける、表示画像とのユーザ相互作用を容易にする方法が提供され、この方法は、
タッチ面のテキスト入力領域の範囲をユーザアクセス可能な位置に隣接して定めることと、
テキスト入力領域へのテキスト入力を検出することと、
テキスト入力領域から離れたテキスト表示領域に、検出された入力テキストを表示することと、
を含む。
一実施形態において、テキスト表示領域はタッチ面の上方部分に隣接して配置され、テキスト入力領域はタッチ面の下部に隣接して配置される。テキスト入力領域およびテキスト表示領域の両方の位置は、共にユーザによって調整可能である。
さらに他の態様によれば、タッチ面を有する大型タッチシステムにおける、タッチ面上に提示される表示オブジェクトを配置する方法が提供され、この方法は、
タッチ面に対するユーザの移動を追跡することと、
１つまたは２以上の表示オブジェクトをユーザに近接して配置することと、
を含む。
一実施形態において、ユーザの位置は、最後のタッチ入力の位置をモニタすることにより追跡される。表示オブジェクトは、最後のタッチ入力の位置に近接して提示される。
他の実施形態において、追跡は、タッチ面を取り囲む領域の画像を取り込むことと、取り込んだ画像を処理してタッチ面に対するユーザの位置を決定することとを含む。ユーザに隣接しかつ検出された影の外側のタッチ面上に表示オブジェクトが提示されるように、タッチ面上に投射された影を検出することができる。
さらに他の態様によれば、表示画像が提示されるタッチ面を有する大型タッチシステムにおける、表示画像とのユーザ相互作用を容易にする方法が提供され、この方法は、
ユーザ相互作用を必要とする少なくとも１つの表示オブジェクトを強調表示して、その少なくとも１つの表示オブジェクトの存在に関する強い視覚的フィードバックを提供することを含む。
一実施形態において、少なくとも１つの表示オブジェクトはモーダルボックスであり、強調表示することは、表示画像にオーバーレイを適用することを含む。オーバーレイは、モーダルボックスに一般に一致する大きさの開口部をそこに有し、モーダルボックスと明確な対照をなすように色付けされており、それによってモーダルボックスを強調表示する。他の実施形態において、強調表示することは、モーダルボックスを中心とした同心円状の複数のリングを表示することを含む。
さらに他の態様によれば、表示画像が提示されるタッチ面を有する大型タッチシステムにおける、表示画像とのユーザ相互作用を容易にする方法が提供され、この方法は、
ユーザアクセス可能な位置においてタッチ面上の表示画像の少なくとも１つの領域を再生することと、
再生された領域とのユーザ相互作用が表示画像の対応する部分との相互作用に変換されるように、表示画像の対応する部分に再生された領域をマッピングすることと、
を含む。
一実施形態において、少なくとも１つの領域は表示画像の上部領域である。表示画像の上部領域は、表示画像の底部に隣接して再生される。表示画像の反対側のサイド部分も、タッチ面の各サイドに隣接して再生される。
さらに他の態様によれば、表示画像が提示されるタッチ面を有する大型タッチシステムにおけるれ、表示画像とのユーザ相互作用を容易にする方法が提供され、この方法は、
タッチ面上にマウスオブジェクトを表示することと、
マウスオブジェクト内のタッチ面のポインタ相互作用を検出することと、
入力フォーカスがマウスオブジェクトへシフトされないように、ポインタ相互作用に対応するマウスイベントを処理することと、
を含む。
処理中、マウスイベントは、タッチシステムのオペレーティングシステムのマウスイベントキューに投入される。マウスオブジェクトは、１つまたは２以上のボタンを含んでいてもよい。一実施形態において、マウスオブジェクトは静止しており、マウスパッドに類似している。他の実施形態において、マウスオブジェクトは、タッチ面とのポインタ相互作用に応答して、タッチ面を横切って移動可能である、
さらに他の態様によれば、
画像が提示される大型のタッチ面と、
タッチ面を見渡し、重複する視野を有する少なくとも２つの撮像装置と、
撮像装置と通信し、撮像装置によって取得された画像データを処理し三角測量法を用いてタッチ面上へのポインタ接触を決定する処理機構と、
を有し、
処理機構は、少なくとも１つのアプリケーションをさらに実行してタッチ面とのユーザ相互作用を容易にする、タッチシステムが提供される。
相互作用方法は、タッチ面の大部分がユーザの手の届く物理的な範囲を越えている可能性があるという事実にもかかわらず、そのユーザがタッチ面の全表示領域と相互作用できるという点で利点を提供する。相互作用方法は、ユーザが不便な位置へ移動してタッチ面と相互作用する必要性をなくすことによってユーザ相互作用も容易にし、ユーザによる迅速な対応が必要な表示オブジェクトがタッチ面上に明瞭に見えることを確保している。
添付の図面を参照して実施形態をより完全に説明する。
ここで、図１および図２に目を向けると、内容が参照によって本明細書に組み込まれている、２００４年１月２日に出願されヒル(Hill)らへ付与され本発明の譲受人であるスマートテクノロジーズ社(SMART Technologies Inc.)に譲渡されている米国特許出願番号第10/750,219号（特許文献２）に記載された形態の大型の対話型タッチシステムが示されており、参照数字１００によって一般に識別されている。タッチシステム１００は、照明されたベゼル１０４に取り囲まれた、長く伸びた、一般的には長方形で連続するタッチ面１０２を含んでいる。照明されたベゼル１０４は、タッチ面１０２を横切る赤外線バックライトを提供している。
複数のカメラセット１０６、この例では３つのカメラセット１０６が、タッチ面１０２に関連付けられている。カメラセット１０６は、タッチ面１０２の長さに沿って配置されている。各カメラセット１０６は、長方形の角の位置を定めるように配置された４つのカメラを含んでいる。各カメラセット１０６のカメラは、タッチ面１０２の一部分を見渡すように方向を合わせられた重複する視野を有し、それによりタッチ面または座標入力サブ領域の範囲を定めている。このように本実施形態では、カメラセット１０６は、一連の３つの隣り合っている座標入力サブ領域ＣＩＲ1、ＣＩＲ2、ＣＩＲ3の範囲をそれぞれ定めている。隣接するカメラセットによって範囲が定められた複数の座標入力サブ領域が重複して、２つの遷移帯域ＴＺ1/2、ＴＺ2/3の範囲をそれぞれ定めるように、カメラの視野も方向を合わせられている。
各カメラセット１０６は、マスタコントローラ１０８と通信する。各マスタコントローラ１０８は、その関連付けられたカメラセット１０６から受信したポインタ特性データを処理し、カメラによって取り込まれた画像に現れる（ｘ，ｙ）座標におけるポインタの位置を、三角測量法を用いて決定する。マスタコントローラ１０８は、コンピュータ１１０にポインタ座標データを送信し、コンピュータ１１０によって実行されるアプリケーションプログラムの実行を制御するために、コンピュータ１１０に、筆記または描画としてポインタ座標データを記録させるか、またはマウスイベントとしてポインタ座標データを使用させるかのいずれかを可能にする。コンピュータ１１０は、次にタッチ面１０２上に画像を投影するプロジェクタ群Ｐ1〜Ｐ3に画像データを提供する。画像データは、タッチ面１０２に投影された画像がポインタアクティビティ(pointer activitiy)を反映するように、受信したポインタ座標データに応答してコンピュータ１１０によって更新される。
各プロジェクタは、異なる座標入力サブ領域に関連付けられており、画像をその上に投影する。図から理解できるように、プロジェクタＰ1は座標入力サブ領域ＣＩＲ1上に画像Ｉ1を投影し、プロジェクタＰ2は座標入力サブ領域ＣＩＲ2上に画像Ｉ2を投影し、プロジェクタＰ3は座標入力サブ領域ＣＩＲ3上に画像Ｉ3を投影する。投影された画像Ｉ1、Ｉ2、Ｉ3は、遷移帯域ＴＺ1/2、ＴＺ2/3の一般に中間点で垂線に沿ってシームレスに整列、結合され、タッチ面１０２上に広がる滑らかな連続画像を提供する。本実施形態において、コンピュータ１１０は、デスクトップアプリケーションを実行する。各座標入力サブ領域は、デスクトップの特定のセクションに関連付けられ、結合されている。その結果、コンピュータ１１０は、適切なデスクトップセクションが座標入力サブ領域に表示されるように、プロジェクタＰ1〜Ｐ3に画像データを提供する。
ツールトレイ１１２も、各座標入力サブ領域に関連付けられている。各ツールトレイ１１２は、異なる割り当てられた属性（アトリビュート）を有する多くのポインタまたはツール（不図示）を保持している。この場合、各ツールトレイは、消しゴムとともに多くの有色ペンも保持している。ツールがツールトレイから持ち上げられると、そのツールトレイ１１２は、関連するマスタコントローラ１０８に信号を与え、そのマスタコントローラ１０８は、次に、選択されたツールを識別するためにコンピュータ１１０に信号を送る。このように、有色ペンを使用してタッチ面１０２と接触すると、ペン移動を追跡する適切な色で書かれた筆跡がタッチ面に投影される。消しゴムを使用してタッチ面１０２に接触すると、その消しゴムが移動したところのタッチ面に投影された筆跡は消されていく。よく知られているように、デスクトップアプリケーションを調整して、各座標入力サブ領域と接触するのに使用されるポインタにプロパティを割り当てることができる。
各座標入力サブ領域は、座標入力サブ領域の対向する角のカメラ間に伸びる対角線を用いて４つの象限に分割される。各象限内のポインタの追跡を可能にする画像取り込みは、セット（組）内の異なるカメラ対の責務である。上部象限ＱＴは、セット内の左下および右下カメラの責務であり、下部象限ＱＢは、セット内の左上および右上カメラの責務であり、左の象限ＱＬは、セット内の左上および左下カメラの責務であり、右の象限ＱＲは、セット内の右上および右下カメラの責務である。
ポインタが、遷移帯域外の複数の座標入力サブ領域の１つの座標入力サブ領域内の象限と接触する場合、その象限に割り当てられた１対のカメラによって取り込まれる画像は、その内容が参照によって組み込まれている、モリソン(Morrison)らに付与され本発明の譲受人であるスマートテクノロジーズ社(SMART Technologies Inc.)に譲渡された米国特許番号第6,954,197号（特許文献３）に記載されている形態によって、その１対のカメラおよび関連付けられたマスタコントローラ１０８によって処理される。このよう形態で、ポインタ接触を取り囲むバウンディングボックスが決定され、座標入力サブ領域に関する（ｘ，ｙ）座標におけるポインタの位置が算出可能になる。このように、この場合、１つのマスタコントローラ１０８のみがコンピュータ１１０にポインタ座標データを報告する。コンピュータ１１０は、ポインタ接触が書き込みイベント(write event)の場合には、次に、筆記または描画としてポインタ座標データを記録し、ポインタ接触がマウスイベントの場合には、そのコンピュータ１１０によって実行されている動作中のアプリケーションプログラムにポインタ座標データを投入する。
一般に、ポインタ接触が書き込みであるかマウスイベントであるかを判定するために、ツール形態および最初の接触の接触点が調べられる。描画ツールを使用して接触を行い、接触が投影されたデスクトップセクション内の指定された書き込み領域内にある場合には、ポインタ接触は書き込みイベントとして処理され、そうでない場合は、ポインタ接触はマウスイベントとして処理される。
ポインタが遷移帯域内のタッチ面１０２と接触すると、遷移帯域を観察する２つカメラセットに関連付けられたマスタコントローラ１０８は、上で述べた方法と同じ方法でポインタ座標を生成し、生成されたポインタ座標をコンピュータ１１０に送る。コンピュータ１１０は、２つの報告されたポインタ座標を受信すると、定義された論理（ロジック）、この場合は加重平均法を使用して、ポインタ接触の位置を表す単一の（ｘ，ｙ）座標対を生成する。コンピュータ１１０は、ポインタ接触が書き込みイベントの場合には、次に、筆記または描画としてポインタ座標データを記録し、ポインタ接触がマウスイベントの場合には、そのコンピュータ１１０によって実行されている動作中のアプリケーションプログラムにポインタ座標データを投入する。
ユーザがタッチ面と相互作用する場合、ユーザが相互作用する必要のある表示オブジェクトが、タッチ面の大きさのために、ユーザの手が届かないところにあることがあり、ユーザが表示オブジェクトの近くの位置へタッチ面の前面を横切って移動することが必要となる。当然、これは、投影された画像を遮断しおよび／またはタッチ面の視界を不明瞭にするので、問題である。表示オブジェクトも、タッチ面１０２の大きさによっては見ることが難しいかもしれない。
この問題を克服するために、多くの異なる相互作用方法を実行して、大型のタッチ面１０２とのユーザ相互作用を容易にすることができる。ここで、大型タッチシステム１０２によって支援される相互作用方法を説明する。
スケーリングされたデスクトップ
上に述べたように、多くの例において、ユーザが相互作用する必要のある表示画像の部分が、ユーザの手に届かないところにある。この問題に対処するために、コンピュータ１１０に格納されているスケーリングされたデスクトップアプリケーションを、関連する入力ジェスチャに応答して起動することができる。例えば、入力ジェスチャは、２本の指を合わせてタッチ面１０２に触れ、次に指を反対方向に一般に水平に離れるように動かすことをユーザに要求してもよい。あるいは、入力ジェスチャは、１本の指でタッチ面１０２に触れ、次に短い時間フレーム内に指を前後に一般に水平に動かすことをユーザに要求してもよい。
スケーリングされたデスクトップアプリケーションが起動されると、タッチ面１０２上に投影された画像全体についてのスケーリングされたバージョンが、入力ジェスチャの隣接する位置または図４に示されるようなタッチ面の適切な下部の位置のいずれかにある小さなウィンドウ２００内に表示される。この例において、ウィンドウ２００は、約３０．４８平方センチメートル（１平方フィート）であり、ユーザによって容易にアクセスされる位置である、タッチ面１０２の下端に隣接して表示される。ユーザがタッチ面１０２上に提示された表示画像と相互作用したい場合には、そのユーザは、単にウィンドウ２００内の表示画像のスケーリングされたバージョンとの相互作用が必要なだけである。ウィンドウ２００内のスケーリングされた画像との接触および相互作用は、タッチ面１０２上に投影されたより大きな画像にマッピングされる。このように、タッチ面の全領域と相互作用するために、ユーザは単にウィンドウ２００内の小さい領域との相互作用が必要なだけである。タッチ面へのウィンドウ２００のマッピングは、直交座標変換によって行われる。タッチ面１０２がＳＷおよびＳＨで表される大きさを有し、ウィンドウ２００がＴＸおびＴＹにあって、ＴＷおよびＴＨで表される大きさを有すると仮定すると、ウィンドウ２００内の座標Ｘ、Ｙは、以下のようにタッチ面の座標にマッピングできる。
ＳＸ＝（ＴＸ−Ｘ）／ＴＷ×ＳＷ
ＳＹ＝（ＴＹ−Ｙ）／ＴＨ×ＳＨ
これから理解できるように、スケーリングされたデスクトップアプリケーションは、通常はユーザの手の届かないタッチ面１０２の領域を含んだタッチ面１０２全体とのユーザ相互作用を容易にする。
テキスト入力
ユーザが、投影された画像内の指定された書き込み領域と相互作用している場合、ユーザは、コンピュータ１１０に格納されたテキスト入力アプリケーションを起動して、そのユーザが手の届きにくい位置にある指定された書き込み領域にテキストを入力することを可能にする。テキスト入力アプリケーションを起動するユーザ入力コマンドに応答して、テキストボックスウィンドウ２５０が開かれ、タッチ面１０２の下方底部の隅に隣接して提示される。テキストボックスウィンドウ２５０は、タッチ面１０２の上端に隣接するテキスト表示領域２５２にリンクされている。文字がテキストボックスウィンドウ２５０に書き込まれ、マウスコマンドによって入力されると、書き込まれた文字は、コンピュータ１１０によって認識され、テキスト表示領域２５２に差し込まれ、タッチ面１０２上に表示される画像内で提示される。図５ａ〜５ｅは、上部のテキスト表示領域２５２に差し込まれる文字「ｈ」、「ｅ」、「ｌ」、「ｌ」、「ｏ」を有するテキストボックスウィンドウ２５０を示している。ユーザがテキストボックスウィンドウ２５０の位置を操作することができるので、テキストボックスウィンドウ２５０をタッチ面１０２上の基本的に任意の所望の位置に配置することが可能になる。同様に、ユーザがテキストボックスウィンドウ２５０にリンクされたテキスト表示領域２５２を操作することができるので、そのテキスト表示領域をタッチ面１０２上の基本的に任意の所望の位置に配置することが可能になる。
知的な表示オブジェクトの決定
タッチ面のすべての領域がユーザに対して直ちにアクセス可能だとは限らないので、タッチ面１０２上のツールバー、ポップアップウィンドウなどのような表示オブジェクトの位置は重要である。表示オブジェクトを好都合な位置に表示することの確保を支援するために、タッチシステム１００は、オブジェクトを知的に表示する種々の方法を利用することができる。
オブジェクトを知的に表示する種々の方法は、タッチ面１０２に対するユーザの位置に基づいている。このように、ユーザがタッチ面に対して移動するにつれて、表示オブジェクトの位置も移動するので、表示オブジェクトがタッチ面１０２上の好都合にアクセス可能な位置にとどまることを確保するのを支援している。
一実施形態において、表示オブジェクトがタッチ面１０２上に提示されることになっている場合、その表示オブジェクトは、タッチ面端部の位置およびウィンドウやツールバーのような他の表示オブジェクトを考慮して、タッチ面１０２を介した最後のマウスイベント入力に近接した位置に提示される。この場合、ユーザは、通常、タッチ面１０２に対するマウス相互作用の間は余り大きな距離を移動しないだろうと仮定されている。
他の実施形態では、カメラＣの拡張視野が利用される。カメラによって取り込まれタッチ面１０２とのポインタ相互作用を検出するために処理される画像も、タッチ面１０２に対するユーザの位置を特定するために処理される。次に、表示オブジェクトがユーザに近接した位置に提示されるように、カメラから見たユーザの位置を用いて、表示オブジェクトを配置する。しかし、カメラの拡張視野の使用は、ユーザがカメラの視野内にとどまる必要があるので、限定されたものとなる。
さらに他の実施形態において、補助の独立したカメラ（不図示）、またはタッチ面１０２の前または後ろに配置され内蔵の補助カメラを有するプロジェクタを使用して、コンピュータ１１０によって処理される画像を取り込み、タッチ面１０２に対するユーザの位置を検出する。補助カメラは、ビデオ会議あるいはセキュリティの目的に使用されるカメラであってもよい。表示オブジェクトがユーザに近接した位置に表示されるように、補助のカメラから見たユーザの位置を利用して、表示オブジェクトを配置する。これは、表示オブジェクトがユーザの移動を追跡することを可能にする。所望であれば、補助のカメラによって取り込まれた画像をさらに処理して、タッチ面１０２上に投射された影を検出し、ユーザに近接した位置でありかつ投射された影の外側のタッチ面１０２上に、表示オブジェクトを表示することができる。
モーダルボックスの表示
タッチ面１０２が大きいので、タッチ面１０２上に提示されるいくつかの表示オブジェクトは、視覚的な検出が難しいかもしれない。表示オブジェクトの性質によっては、表示オブジェクトを見ることができないことがユーザの欲求不満を発生させる可能性もある。例えば、モーダルボックスが表示されると、ユーザは、モーダルボックスに応答するまで、コンピュータ１１０上で動作するアプリケーションと相互作用できなくなる。ユーザがモーダルボックスの存在に気づかなければ、そのユーザは不意に無効になったアプリケーションに苦しむことになり、欲求不満が発生する可能性がある。ユーザが視覚的にモーダルボックスなどを識別するのを支援するために、モーダルボックス３００がタッチ面１０２上で提示されると、図６に示すように、大きさおよび形状がモーダルボックスに対応するように開けられた開口部を有する暗いオーバーレイ３０２もタッチ面１０２上に表示される。オーバーレイ３０２は、ユーザがモーダルボックス３００に応答できるように、ユーザに見える必要があるかもしれないサブダイアログボックス、ツールチップ、および他のグラフィカル情報のための開口部も含むことができる。オーバーレイ３０２は、ユーザに強い視覚的フィードバックを提供し、モーダルボックス３００がタッチ面１０２上で容易に識別されることを確保する。
タッチ面１０２上でのモーダルボックス３００の提示は、コンピュータ１１０上で動作するリスナアプリケーション(listener application)によって検出される。ユーザがモーダルボックスで応答すると、オーバーレイ３０２は直ちに取り除かれる。モーダルボックスがタッチ面１０２上に提示されることになっている場合、モーダルボックスは、所望であれば、上記の知的な表示オブジェクトの方法の１つを使用して、ユーザの位置に隣接する位置のタッチ面上に提示することができる。
あるいは、モーダルボックスを強調表示する別の視覚的フィードバックが使用されてもよい。例えば、レーダの「ピング(ping)」に類似した、モーダルボックスの周りの直径を狭くする複数の同心円を示すことにより、表示されたモーダルボックスの存在を強調表示することもできる。
音声認識
タッチシステム１００は、所望であれば、音声認識を利用して、ユーザが音声コマンドを使用してタッチ面１０２と相互作用することを可能にする。この場合、コンピュータ１１０は、ＸＰ音声認識ソフトウェアを実行する。コンピュータ１１０に接続されたマイクロホン（不図示）も、ユーザ入力音声コマンドを取得するのに提供される。メニュー選択を簡単化するために、プルダウンできる音声コマンドメニュが備えられているので、入力すべき適切な音声コマンドをユーザが読み上げるを可能にしている。このように、ユーザがタッチ面１０２全体と物理的に相互作用する必要のない音声入力により、ファイルを開き、閉じ、操作することができる。入力音声コマンドは、プロジェクタＰ1〜Ｐ3を制御するために、またはタッチコマンドを入力するために使用されるツール（例えば、ペンまたは消しゴム）の性質を変更するために、入力することもできる。
この実施形態において、音声認識機能は、タッチシステム１００の近くでの会話が不注意に音声コマンドを起動することなく行われることを可能にする特定のタッチコマンドにより、動的に有効および無効にされる。
インテリジェントマウス
パソコンなどでマウスを使用する場合、マウスは、そのマウスが対象の表示オブジェクト上にいつ配置されるかをユーザが決定できるようにするホバー（浮き上がり；hover）モードを備えている。これは、表示オブジェクトとのユーザ相互作用を容易にする。残念なことに、一般にタッチシステムにおいて、特に大型タッチシステム１００においては、マウス位置のフィードバックが失われるので、マウスが対象の表示オブジェクト上にいつ配置されるかをユーザを決定することが困難になってている。
このフィードバックの喪失に対処するために、コンピュータ１１０を調整してインテリジェントマウスアプリケーションを実行することができる。マウスダウンイベントが受信されると、マウスダウンイベントの位置が調べられ、そのマウスダウンイベントが実行可能な対象の表示オブジェクトに近接しているかどうかが判断される。この例では、近接した実行可能な対象の表示オブジェクトは、マウスダウンイベントの５つのピクセル（画素）内に配置された実行可能な対象の表示オブジェクトである。マウスダウンイベントが実行可能な対象の表示オブジェクトに近接している場合、そのマウスダウンイベントは、実行可能な対象の表示オブジェクトの位置に自動的に移動され、表示されたカーソルは、対象の表示オブジェクトの位置に移動される。表示オブジェクトの性質によって、カーソルは表示オブジェクトにロックされてもよいし、ロックされなくてもよい。例えば、マウスイベントがウィンドウ境界に隣接している場合には、そのマウスダウンイベントがウィンドウを大きさ変更するためのものであることが予想されるので、カーソルはウィンドウ境界へロックされない。マウスの位置が対象の表示オブジェクトからしきい値の距離を越えて動く場合には、マウスダウンイベントおよびカーソルは解放される。
オンスクリーン制御
大型タッチシステム１００も、多くのオンスクリーン制御アプリケーションの１つまたは２以上を起動するように調整して、タッチ面１０２の手の届きにくい領域とのユーザ相互作用を容易にすることができる。これらのオンスクリーン制御アプリケーションは、絶対ミラーモードアプリケーションと、相対マウスパッドアプリケーションと、オンスクリーンマウスアプリケーションと、相対マウスアプリケーションとを含んでいる。
オンスクリーンマウスアプリケーションが起動されると、図７に示されるように、マウスオブジェクト３５０がタッチ面１０２の底部に隣接して表示される。マウスオブジェクト３５０は、標準のマウスに類似しており、右、左、および中央のそれぞれのボタン３５２〜３５６を備えている。マウスオブジェクト３５０の本体３５８でポインタ接触がなされると、そのマウスオブジェクトは、タッチ面１０２を横切ってポインタをドラッグすることにより移動でき、その結果、それに対応してタッチ面を横切ってカーソルが移動する。これにより、ユーザがタッチ面１０２上の任意の所望の位置にカーソルを配置することが可能になる。ポインタ接触が右、左、または中央のボタンでなされると、タッチ面１０２に対するカーソル位置に基づいた右クリック、左クリック、または中央クリックのマウスイベントが生成される。
ユーザが、マウスオブジェクト３５０を表示画像の境界にまでドラッグし、ポインタとマウスオブジェクトとの間の接触が失われると、マウスオブジェクト３５０は、従来のマウスパッドの再センタリングの挙動のように、自動的に再センタリングされる。ドラッグ操作が左のクリック操作の結果として行われ、自動再センタリングが起きた場合、マウスオブジェクト３５０が再センタリングされるときには左クリック操作はロックされたままであり、ドラッグ操作の継続が可能である。ユーザがクリック操作を行い、ポインタを使用してマウスオブジェクトをドラッグすると、マウスオブジェクト３５０は静止したままであり、ポインタ移動を追跡するマウスオブジェクトの境界内にカーソルが移動する。
コンピュータのオペレーティングシステムのマウスに影響を及ぼしオペレーティングシステムのウィンドウ入力フォーカスを妨害する、表示されたマウスオブジェクト３５０との接触を回避するために、マウスオブジェクトとのポインタ相互作用から生じたマウスイベントは、オペレーティングシステムのマウスキューに投入され、それにより入力フォーカスがマウスオブジェクトにシフトすることを阻止している。これは、バン・レペレン(van Leperen)に付与され本発明の譲受人であるスマートテクノロジーズ社(SMART Technologies Inc.)に譲渡され、内容が参照によって本明細書に組み込まれている米国特許番号第6,741,267号（特許文献４）に記載された方法と類似した方法で行われる。
例えば、図８ａはマウスオブジェクト３５０を示しており、ここではポインタ接触がマウスオブジェクトの本体３５８上でなされ、ポインタが左にドラッグされ、その結果、マウスオブジェクト３５０はタッチ面１０２を横切って左へ移動している。図８ｂはマウスオブジェクト３５０を示しており、ここではポインタ接触がマウスオブジェクトの本体３５８上でなされ、ポインタが右上にドラッグされ、その結果、マウスオブジェクト３５０はタッチ面１０２を横切って右上へ移動している。図８ｃはマウスオブジェクト３５０を示しており、ここではポインタ接触が左のボタン３５２上でなされ、ポインタが左上にドラッグされ、その結果、左上へのドラッグ操作となっている。
図９ａ、９ｂはマウスオブジェクトイベントが処理される形態を示すフローチャートである。ポインタ接触がタッチ面１０２上でなされると、チェックが行われてポインタ接触がマウスオブジェクト内で発生したかどうかが判断される（ステップ５００）。マウスオブジェクト内で発生していれば、マウスオブジェクトが調べられ、それがマウスダウン条件にあるかどうかが判断される（ステップ５０２）。マウスダウン条件にあれば、マウスフラグがセット（設定）され（ステップ５０４）、後述するように、コンタクト（接触）イベントがオンスクリーンマウスアプリケーションに送られてマウス接触の処理を可能にする（ステップ５０６）。マウスオブジェクトがマウスダウン条件にない場合、マウスフラグはクリアされ（ステップ５０８）、マウスイベントはオペレーティングシステムのマウスキューに送られる（ステップ５１０）。
ステップ５００において、コンタクトイベントがマウスオブジェクトの外側で生じた場合、チェックが行われてマウスフラグがセットされているかどうかが判断される（ステップ５１２）。セットされていない場合、マウスイベントはオペレーティングシステムのマウスキューに送られる（ステップ５１０）。マウスフラグがセットされている場合、コンタクトイベントは、処理のために、オンスクリーンマウスアプリケーションに送られる（ステップ５１４）。
コンタクトイベントがオンスクリーンマウスアプリケーションに送られると、そのコンタクトイベントが調べられ、そのイベントの種類が判断される（ステップ５２０）。コンタクトイベントがコンタクトアップイベントの場合、コンタクトアップイベントの位置のｘｙ座標がスケーリングされ（ステップ５２２）、そのコンタクトアップイベントはオペレーティングシステムのマウスキューに送られる（ステップ５２４）。
コンタクトイベントがマウス移動イベントの場合、マウス移動のｘｙ座標はスケーリングされ（ステップ５２６）、そのマウス移動イベントはオペレーティングシステムのマウスキューに送られる（ステップ５２８）。
コンタクトイベントがマウスダウンイベントの場合、ポインタ接触の位置は保存され（ステップ５３０）、ポインタ接触がなされたマウスオブジェクトの領域が調べられる（ステップ５３２）。左ボタンが触れられると、左ボタンダウンイベントおよび左ボタンアップイベントが生成される（ステップ５３４、５３６）。その後、ポインタ接触のｘｙ座標はスケーリングされ（ステップ５３８）、左クリックマウスイベントはオペレーティングシステムのマウスキューに送られる（ステップ５４０）。右ボタンが触れられると、右ボタンダウンイベントおよび右ボタンアップイベントが生成される（ステップ５４２、５４４）。その後、ポインタ接触のｘｙ座標はスケーリングされ（ステップ５３８）、右クリックマウスイベントはオペレーティングシステムのマウスキューに送られる（ステップ５４０）。中央のマウスボタンが触れられると、中央ボタンダウンイベントおよび中央ボタンアップイベントが生成される（ステップ５５０、５５２）。その後、ポインタ接触のｘｙ座標はスケーリングされ（ステップ５３８）、中央クリックマウスイベントはオペレーティングシステムのマウスキューに送られる（ステップ５４０）。マウス本体が触れられると、マウス移動イベントが生成される（ステップ５６０、５６２）。その後、ポインタ接触のｘｙ座標はスケーリングされ（ステップ５３８）、マウス移動イベントはオペレーティングシステムのマウスキューに送られる（ステップ５４０）。
相対マウスパッドアプリケーションが起動されると、図１０に示されるように、マウスパッドオブジェクト６００がタッチ面１０２の底部に隣接して提示される。マウスパッドオブジェクト６００は、ラップトップコンピュータのマウスパッドに類似しており、左ボタン６０２と、右ボタン６０４と、中央ボタン６０６と、ストローク入力領域６０８とを含んでいる。ユーザがポインタを用いて入力領域６０８をストロークする場合、タッチ面１０２を横切ってカーソルを移動させるためにポインタ移動が使用される。ポインタ接触が右、左、または中央のボタンのいずれかでなされると、タッチ面に関連するカーソル位置に基づいて右クリック、左クリック、および中央クリックマウスイベントが生成される。マウスイベントは、オンスクリーンマウスアプリケーションに関連して上述した方法と類似の方法で処理される。例えば、図１１ａは、ポインタ接触が入力領域６０８上でなされ、ポインタが入力領域を横切ってドラッグされる場合の、マウスパッドオブジェクト６００を示している。これにより、ポインタ移動の方向にタッチ面１０２を横切ってカーソルが移動することになる。ポインタがさらにドラッグされるほど、カーソルは速く移動する。図１１ｂは、ポインタ接触が右ボタン６０４上でなされた場合の、マウスパッドオブジェクト６００を示している。
絶対ミラーモードアプリケーションは、タッチ面１０２の底部の隅に表示されたトグルボタンの作動に応答して起動される。トグルボタンが作動され、絶対ミラーモードが起動されると、タッチ面１０２の上端に隣接する表示画像の部分が、タッチ面１０２の底部端に隣接して再生およびミラーリングされる。表示画像の再生された部分は、直交座標変換を用いてその表示画像のその対応する部分にマッピングされる。ユーザが表示画像の再生された部分のタッチ面に触れると、その接触はタッチ面１０２のその対応する部分にマッピングされ、ユーザがタッチ面の最上部と簡単に相互作用することを可能にする。表示画像がユーザの接触に応答して更新されると、表示画像の最上部に生じた更新は、タッチ面の底部に隣接するように見える表示画像の再生された部分に再描画される。タッチ面１０２の反対側のサイドが異なるユーザ相互作用可能なオブジェクトを表示している場合、タッチ面のサイドをミラーリングできる。
相対マウスアプリケーションが起動された場合、接触がタッチ面上でなされると、最初の接触がカーソルの基準点として扱われる。タッチ面との引き続く各接触によって、カーソルは、前のカーソル位置から接触の方向に向かって、設定された距離だけ移動することになる。マウスクリックは、位置が静止した連続する接触を行うことにより生成される。
大型タッチシステムとのユーザ相互作用を容易にする多くのツールについて上で説明した。当業者には当然のことながら、大型の対話型タッチシステムは、上記の対話型ツールの任意または種々の組み合せを含んでいてもよい。
図を参照して実施形態を説明したが、当業者は、当然のことながら、変化および修正は、添付の特許請求の範囲によって定義される、その精神および範囲から逸脱することなく行われてもよいことを理解するであろう。
一連の座標入力サブ領域に分割された一般に連続している、長く伸びた長方形のタッチ面を含んだ大型タッチシステムの正面平面図である。 図１のタッチシステムの概略ブロック図である。 図１の大型タッチシステムの他の正面平面図である。 スケーリングされたデスクトップアプリケーションの実行中に表示された、スケーリングされたデスクトップウィンドウを示す、図１の大型タッチシステムの正面平面図である。 テキスト入力アプリケーションの実行中に表示された、テキスト入力ウィンドウおよび上方部のテキスト表示領域を示す、タッチ面の一部分の正面平面図である。 テキスト入力アプリケーションの実行中に表示された、テキスト入力ウィンドウおよび上方部のテキスト表示領域を示す、タッチ面の一部分の正面平面図である。 テキスト入力アプリケーションの実行中に表示された、テキスト入力ウィンドウおよび上方部のテキスト表示領域を示す、タッチ面の一部分の正面平面図である。 テキスト入力アプリケーションの実行中に表示された、テキスト入力ウィンドウおよび上方部のテキスト表示領域を示す、タッチ面の一部分の正面平面図である。 テキスト入力アプリケーションの実行中に表示された、テキスト入力ウィンドウおよび上方部のテキスト表示領域を示す、タッチ面の一部分の正面平面図である。 強調表示されたモーダルボックスを示す、タッチ面の正面平面図である。 オンスクリーン(on-screen)マウスアプリケーションの実行中に表示されたマウスオブジェクトを示す、タッチ面の正面平面図である。 マウスオブジェクトを示す、タッチ面の付加的な正面平面図である。 マウスオブジェクトを示す、タッチ面の付加的な正面平面図である。 マウスオブジェクトを示す、タッチ面の付加的な正面平面図である。 オンスクリーンマウスアプリケーションの実行中、マウスイベントの取り扱いの間に行われたステップを示すフローチャートである。 オンスクリーンマウスアプリケーションの実行中、マウスイベントの取り扱いの間に行われたステップを示すフローチャートである。 相対マウスパッドアプリケーションの実行中に表示された相対マウスパッドオブジェクトを示す、タッチ面の正面平面図である。 相対マウスパッドの付加的な正面平面図である。 相対マウスパッドの付加的な正面平面図である。

Claims (33)

  1. 表示画像が提示されるタッチ面を有する大型タッチシステムにおける、前記表示画像とのユーザ相互作用を容易にする方法であって、
    ユーザアクセス可能な位置において前記タッチ面上に前記表示画像の少なくとも一部分のスケーリングされたバージョンを表示することと、
    前記スケーリングされたバージョンとのユーザ相互作用が前記表示画像との相互作用に変換されるように、前記表示画像の対応する部分にスケーリングされたバージョンをマッピングすることと、
    を含む方法。
  2. 表示画像全体のスケーリングされたバージョンは、表示中、ウィンドウ内に表示される、請求項１に記載の方法。
  3. 前記ウィンドウは前記タッチ面の下部に隣接して配置される、請求項２に記載の方法。
  4. 前記ウィンドウの位置はユーザによって調整可能である、請求項３に記載の方法。
  5. 表示画像が提示されるタッチ面を有する大型タッチシステムにおける、前記表示画像とのユーザ相互作用を容易にする方法であって、
    前記タッチ面上のテキスト入力領域の範囲をユーザアクセス可能な位置に隣接して定めることと、
    前記テキスト入力領域へのテキスト入力を検出することと、
    前記テキスト入力領域から離れたテキスト表示領域に、前記検出された入力テキストを表示することと、
    を含む方法。
  6. 前記テキスト表示領域は前記タッチ面の上方部分に隣接して配置される、請求項５に記載の方法。
  7. 前記テキスト入力領域は前記タッチ面の下部に隣接して配置される、請求項６に記載の方法。
  8. 前記テキスト入力領域およびテキスト表示領域の少なくとも１つの位置はユーザによって調整可能である、請求項７に記載の方法。
  9. 前記テキスト入力領域およびテキスト表示領域の各々の位置はユーザによって調整可能である、請求項８に記載の方法。
  10. タッチ面を有する大型タッチシステムにおける、前記タッチ面上に提示される表示オブジェクトを配置する方法であって、
    前記タッチ面に対するユーザの移動を追跡することと、
    １つまたは２以上の表示オブジェクトを前記ユーザに近接して配置することと、
    を含む方法。
  11. 前記ユーザの位置は最後のタッチ入力の位置をモニタすることにより追跡され、前記表示オブジェクトは前記最後のタッチ入力の位置に近接して提示される、請求項１０に記載の方法。
  12. 前記追跡は、前記タッチ面を取り囲む領域の画像を取り込むことと、前記取り込まれた画像を処理して前記タッチ面に対する前記ユーザの位置を決定することとを含む、請求項１０に記載の方法。
  13. 前記処理は、前記タッチ面上に投射された影を検出することをさらに含み、前記表示オブジェクトは、前記ユーザに隣接しかつ検出された影の外側の前記タッチ面上に提示される、請求項１２に記載の方法。
  14. 表示画像が提示されるタッチ面を有する大型タッチシステムにおける、前記表示画像とのユーザ相互作用を容易にする方法であって、
    ユーザ相互作用を必要とする少なくとも１つの表示オブジェクトを強調表示して、前記少なくとも１つの表示オブジェクトの存在に関する強い視覚的フィードバックを提供することを含む方法。
  15. 前記少なくとも１つの表示オブジェクトはモーダルボックスである請求項１４に記載の方法。
  16. 前記強調表示することは、オーバーレイを前記表示画像に適用することを含み、前記オーバーレイは、前記モーダルボックスに一般に一致する大きさの開口部をそこに有し、前記モーダルボックスと明確な対照をなすように色付けされており、それによって前記モーダルボックスを強調表示する、請求項１５に記載の方法。
  17. 前記強調表示することは、前記モーダルボックスを中心とした同心円状の複数のリングを表示することを含む、請求項１５に記載の方法。
  18. 表示画像が提示されるタッチ面を有する大型タッチシステムにおける、前記表示画像とのユーザ相互作用を容易にする方法であって、
    ユーザアクセス可能な位置において前記タッチ面上の前記表示画像の少なくとも１つの領域を再生することと、
    前記再生された領域とのユーザ相互作用が前記表示画像の対応する部分との相互作用に変換されるように、前記表示画像の対応する部分に前記再生された領域をマッピングすることと、
    を含む方法。
  19. 前記少なくとも１つの領域は前記表示画像の上部領域である、請求項１８に記載の方法。
  20. 前記表示画像の前記上部領域は前記表示画像の底部に隣接して再生される請求項１９に記載の方法。
  21. 前記表示画像の反対側のサイド部分は前記タッチ面の各サイドに隣接して再生される、請求項２０に記載の方法。
  22. 表示画像が提示されるタッチ面を有する大型タッチシステムにおける、前記表示画像とのユーザ相互作用を容易にする方法であって、
    前記タッチ面上にマウスオブジェクトを表示することと、
    前記マウスオブジェクト内での前記タッチ面のポインタ相互作用を検出することと、
    入力フォーカスが前記マウスオブジェクトへシフトされないように、前記ポインタ相互作用に対応するマウスイベントを処理することと、
    を含む方法。
  23. 前記処理は、タッチシステムのオペレーティングシステムのマウスイベントキューにマウスイベントを投入することを含む、請求項２２に記載の方法。
  24. 前記マウスオブジェクトは少なくとも１つのボタンを含む請求項２３に記載の方法。
  25. 前記マウスオブジェクトは静止しており、マウスパッドに類似している、請求項２４に記載の方法。
  26. 前記マウスオブジェクトは、前記タッチ面とのポインタ相互作用に応答して、前記タッチ面を横切って移動可能である、請求項２４に記載の方法。
  27. 画像が提示される大型のタッチ面と、
    前記タッチ面を見渡し、重複する視野を有する少なくとも２つ撮像装置と、
    前記撮像装置と通信し、前記撮像装置によって取得された画像データを処理し三角測量法を用いて前記タッチ面上へのポインタ接触を決定する処理機構と、
    を有し、
    前記処理機構は、少なくとも１つのアプリケーションを実行して前記タッチ面とのユーザ相互作用を容易にする、タッチシステム。
  28. 前記少なくとも１つのアプリケーションは、スケーリングされたデスクトップアプリケーションであって、前記処理機構は、前記デスクトップアプリケーションの実行中、前記画像のスケーリングされたバージョンをより小さなウィンドウ内に表示させ、前記より小さなウィンドウは、前記タッチ面にマッピングされ、前記ユーザが前記より小さなウィンドウ内のポインタ接触によりタッチ面と相互作用することを可能にする、請求項２７に記載のタッチシステム。
  29. 前記少なくとも１つのアプリケーションは、テキスト入力アプリケーションであって、前記処理機構は、前記テキスト入力アプリケーションの実行中、テキスト入力領域を、前記テキスト入力領域から離れた前記タッチ面のテキスト表示領域にリンクされた前記タッチ面に提示させ、前記タッチ面内でのポインタ接触により前記テキスト入力領域に入力されたテキストは、前記テキスト表示領域に投入され、表示される、請求項２７に記載のタッチシステム。
  30. 前記少なくとも１つのアプリケーションは、ユーザ追跡アプリケーションであって、前記処理機構は、前記ユーザ追跡アプリケーションの実行中、前記ユーザの移動を追跡し、前記画像中のオブジェクトを前記ユーザ位置に近接して表示させる、請求項２７に記載のタッチシステム。
  31. 前記少なくとも１つのアプリケーションは、オブジェクト強調表示アプリケーションであって、前記処理機構は、前記強調表示アプリケーションの実行中、選択された表示オブジェクトを視覚的に強調表示し、前記選択された表示オブジェクトを視覚的に区別させる、請求項２７に記載のタッチシステム。
  32. 前記少なくとも１つのアプリケーションは、表示画像のミラーアプリケーションであって、前記処理機構は、前記表示画像のミラーアプリケーションの実行中、ユーザアクセス可能な位置に前記表示画像の少なくとも一部分を再生し、前記再生された部分は、前記表示画像の対応する部分にマッピングされる、請求項２７に記載のタッチシステム。
  33. 前記少なくとも１つのアプリケーションは、マウスオブジェクトアプリケーションであって、前記処理機構は、前記マウスオブジェクトアプリケーションの実行中、前記タッチ面上にマウスオブジェクトを表示し、前記マウスオブジェクト上のポインタ相互作用を検出し、入力フォーカスが前記マウスオブジェクトへシフトすることを回避しながら、発生したマウスイベントを処理する、請求項２７に記載のタッチシステム。
JP2008509280A 2005-05-02 2006-05-02 大型タッチシステムおよび該システムと相互作用する方法 Expired - Fee Related JP5103380B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/118,626 US8487910B2 (en) 2005-05-02 2005-05-02 Large scale touch system and methods for interacting with same
US11/118,626 2005-05-02
PCT/CA2006/000706 WO2006116869A1 (en) 2005-05-02 2006-05-02 Interactive large scale touch surface system

Publications (2)

Publication Number Publication Date
JP2008541210A true JP2008541210A (ja) 2008-11-20
JP5103380B2 JP5103380B2 (ja) 2012-12-19

Family

ID=37233994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008509280A Expired - Fee Related JP5103380B2 (ja) 2005-05-02 2006-05-02 大型タッチシステムおよび該システムと相互作用する方法

Country Status (8)

Country Link
US (1) US8487910B2 (ja)
EP (1) EP1877893A4 (ja)
JP (1) JP5103380B2 (ja)
CN (1) CN101278251B (ja)
AU (1) AU2006243730B2 (ja)
CA (1) CA2606863A1 (ja)
NZ (1) NZ563073A (ja)
WO (1) WO2006116869A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081749A (ja) * 2009-10-09 2011-04-21 Sharp Corp 制御装置、制御方法、制御プログラム、及び記録媒体
JP2011526396A (ja) * 2008-06-27 2011-10-06 マイクロソフト コーポレーション 仮想タッチパッド
JP2012173911A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp 画像生成装置、プロジェクターおよび画像生成方法

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7612786B2 (en) * 2006-02-10 2009-11-03 Microsoft Corporation Variable orientation input mode
US8930834B2 (en) * 2006-03-20 2015-01-06 Microsoft Corporation Variable orientation user interface
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20070284429A1 (en) * 2006-06-13 2007-12-13 Microsoft Corporation Computer component recognition and setup
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US8001613B2 (en) 2006-06-23 2011-08-16 Microsoft Corporation Security using physical objects
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US8400407B2 (en) * 2007-07-18 2013-03-19 Smart Technologies Ulc Touch panel and interactive input system incorporating the same
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
TW200923760A (en) * 2007-08-06 2009-06-01 Koninkl Philips Electronics Nv Method of providing a graphical user interface
EP2195726A1 (en) 2007-08-30 2010-06-16 Next Holdings, Inc. Low profile touch panel systems
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
JP4915367B2 (ja) * 2008-02-27 2012-04-11 ソニー株式会社 表示撮像装置および物体の検出方法
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
TWI427504B (zh) * 2008-06-02 2014-02-21 Asustek Comp Inc 組態式指向操作裝置與電腦系統
US8327294B2 (en) * 2008-07-17 2012-12-04 International Business Machines Corporation Method and system to reduce workload and skills required in usage of mouse or other pointing devices
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
KR20110112831A (ko) * 2009-01-05 2011-10-13 스마트 테크놀러지스 유엘씨 제스처 인식 방법 및 이 방법을 이용하는 대화형 입력 시스템
EP2417513A4 (en) * 2009-04-05 2013-10-30 Radion Engineering Co Ltd SYSTEM AND METHOD FOR UNIFIED DISPLAY AND INPUT
US8928578B2 (en) * 2009-04-29 2015-01-06 Microsoft Corporation Cursor adjustment in ambient light
CA2707950A1 (en) 2009-06-15 2010-12-15 Smart Technologies Ulc Interactive input system and components therefor
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
EP2513763A4 (en) 2009-12-18 2016-10-05 Synaptics Inc TRANS-CAPACITIVE SENSOR DEVICE WITH CONDUCTIVE SEAMS
CN101825974B (zh) * 2010-04-16 2011-09-28 清华大学 一种大幅面交互式桌面同步信号采集系统
US20120011460A1 (en) * 2010-07-12 2012-01-12 Action Star Enterprise Co., Ltd. System capable of simulating variety of output/input devices
DE102010043584A1 (de) * 2010-11-08 2012-05-10 Kuka Laboratories Gmbh Medizinscher Arbeitsplatz
US9864612B2 (en) * 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
US9600090B2 (en) 2011-01-05 2017-03-21 Autodesk, Inc. Multi-touch integrated desktop environment
US9262005B2 (en) 2011-01-05 2016-02-16 Autodesk, Inc. Multi-touch integrated desktop environment
US9612743B2 (en) 2011-01-05 2017-04-04 Autodesk, Inc. Multi-touch integrated desktop environment
US8988366B2 (en) * 2011-01-05 2015-03-24 Autodesk, Inc Multi-touch integrated desktop environment
JP5397707B2 (ja) * 2011-03-29 2014-01-22 カシオ計算機株式会社 タッチ表示装置及びプログラム
CN103150204B (zh) 2011-12-23 2016-06-29 腾讯科技（深圳）有限公司 操作系统桌面管理方法和装置
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
JP2015099526A (ja) 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
CN106303325A (zh) * 2015-06-08 2017-01-04 中强光电股份有限公司 交互式投影系统及其投影方法
JP6887392B2 (ja) 2015-06-23 2021-06-16 コヴィディエン リミテッド パートナーシップ ロボット外科手術アセンブリ
US10088942B2 (en) 2016-03-31 2018-10-02 Synaptics Incorporated Per-finger force detection using segmented sensor electrodes
CN111880676B (zh) * 2020-06-22 2022-03-15 深圳市鸿合创新信息技术有限责任公司 一种分区触控方法、装置、电子设备及存储介质
KR20220115002A (ko) * 2021-02-09 2022-08-17 현대모비스 주식회사 프로젝션 영상 디스플레이 제어 장치 및 그 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH0798769A (ja) * 1993-06-18 1995-04-11 Hitachi Ltd 情報処理装置及びその画面編集方法
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2000132340A (ja) * 1998-06-09 2000-05-12 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2001306210A (ja) * 2000-04-27 2001-11-02 Ricoh Co Ltd 表示システム、情報入力／表示システム、画面表示方法及び記憶媒体
JP2001350585A (ja) * 2000-06-07 2001-12-21 Canon Inc 座標入力機能付き画像表示装置
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JPH0827700B2 (ja) * 1990-12-31 1996-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ表示制御システム
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
US5583543A (en) * 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
US5677710A (en) * 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5982302A (en) * 1994-03-07 1999-11-09 Ure; Michael J. Touch-sensitive keyboard/mouse
US5613137A (en) * 1994-03-18 1997-03-18 International Business Machines Corporation Computer system with touchpad support in operating system
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
EP0725331A1 (en) * 1995-02-04 1996-08-07 L G Electronics Inc. Information imput/output device using touch panel
US6831646B1 (en) * 1995-08-01 2004-12-14 Microsoft Corporation Method and system for indicating the existence of a control object
JPH09190284A (ja) * 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US6374272B2 (en) * 1998-03-16 2002-04-16 International Business Machines Corporation Selecting overlapping hypertext links with different mouse buttons from the same position on the screen
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US6232962B1 (en) * 1998-05-14 2001-05-15 Virtual Ink Corporation Detector assembly for use in a transcription system
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
US6518983B1 (en) * 1999-07-21 2003-02-11 International Business Machines Corporation Display of messages from a plurality of processes running in parallel
US6992702B1 (en) 1999-09-07 2006-01-31 Fuji Xerox Co., Ltd System for controlling video and motion picture cameras
KR100648231B1 (ko) * 1999-10-19 2006-11-24 삼성전자주식회사 터치 스크린을 갖는 보조 액정디스플레이 패널을 이용한 포인팅 장치를 구비하는 휴대용 컴퓨터 및 그 방법
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US6989801B2 (en) * 2001-03-22 2006-01-24 Koninklijke Philips Electronics N.V. Two-way presentation display system
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US20040201698A1 (en) * 2001-06-08 2004-10-14 Keenan Vaughn E. Camera-based system for capturing images of a target area
US6661409B2 (en) * 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
JP3872322B2 (ja) * 2001-09-17 2007-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション タッチパネルに対応した入力方法、入力システムおよびプログラム
US6819304B2 (en) * 2001-10-11 2004-11-16 International Business Machines Corporation Adjustable display device with display adjustment function and method therefor
US20030193481A1 (en) * 2002-04-12 2003-10-16 Alexander Sokolsky Touch-sensitive input overlay for graphical user interface
US20040070616A1 (en) 2002-06-02 2004-04-15 Hildebrandt Peter W. Electronic whiteboard
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US7242387B2 (en) * 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
US7081887B2 (en) * 2002-12-19 2006-07-25 Intel Corporation Method and apparatus for positioning a software keyboard
US20050114785A1 (en) * 2003-01-07 2005-05-26 Microsoft Corporation Active content wizard execution with improved conspicuity
JP3811128B2 (ja) * 2003-01-31 2006-08-16 株式会社東芝 情報処理装置およびポインタの操作方法
US6947032B2 (en) * 2003-03-11 2005-09-20 Smart Technologies Inc. Touch system and method for determining pointer contacts on a touch surface
JP4215549B2 (ja) * 2003-04-02 2009-01-28 富士通株式会社 タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH0798769A (ja) * 1993-06-18 1995-04-11 Hitachi Ltd 情報処理装置及びその画面編集方法
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2000132340A (ja) * 1998-06-09 2000-05-12 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2001306210A (ja) * 2000-04-27 2001-11-02 Ricoh Co Ltd 表示システム、情報入力／表示システム、画面表示方法及び記憶媒体
JP2001350585A (ja) * 2000-06-07 2001-12-21 Canon Inc 座標入力機能付き画像表示装置
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526396A (ja) * 2008-06-27 2011-10-06 マイクロソフト コーポレーション 仮想タッチパッド
JP2011081749A (ja) * 2009-10-09 2011-04-21 Sharp Corp 制御装置、制御方法、制御プログラム、及び記録媒体
JP2012173911A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp 画像生成装置、プロジェクターおよび画像生成方法
CN102693045A (zh) * 2011-02-21 2012-09-26 精工爱普生株式会社 图像生成装置、投影仪以及图像生成方法
US8827461B2 (en) 2011-02-21 2014-09-09 Seiko Epson Corporation Image generation device, projector, and image generation method

Also Published As

Publication number Publication date
US8487910B2 (en) 2013-07-16
AU2006243730B2 (en) 2012-07-12
US20060244734A1 (en) 2006-11-02
CN101278251A (zh) 2008-10-01
EP1877893A1 (en) 2008-01-16
WO2006116869A1 (en) 2006-11-09
CA2606863A1 (en) 2006-11-09
CN101278251B (zh) 2011-10-05
EP1877893A4 (en) 2011-02-16
AU2006243730A1 (en) 2006-11-09
JP5103380B2 (ja) 2012-12-19
NZ563073A (en) 2011-02-25

Similar Documents

Publication Publication Date Title
JP5103380B2 (ja) 大型タッチシステムおよび該システムと相互作用する方法
US9996176B2 (en) Multi-touch uses, gestures, and implementation
US11048333B2 (en) System and method for close-range movement tracking
US5528263A (en) Interactive projected video image display system
US8325134B2 (en) Gesture recognition method and touch system incorporating the same
CA2738185C (en) Touch-input with crossing-based widget manipulation
US20130082928A1 (en) Keyboard-based multi-touch input system using a displayed representation of a users hand
US20120327125A1 (en) System and method for close-range movement tracking
US20140267029A1 (en) Method and system of enabling interaction between a user and an electronic device
US20130257734A1 (en) Use of a sensor to enable touch and type modes for hands of a user via a keyboard
US20070205994A1 (en) Touch system and method for interacting with the same
JP2013037675A5 (ja)
CN106325726B (zh) 触控互动方法
JP6834197B2 (ja) 情報処理装置、表示システム、プログラム
JP2009116727A (ja) 画像入力表示装置
US10222866B2 (en) Information processing method and electronic device
US11137903B2 (en) Gesture-based transitions between modes for mixed mode digital boards
TWI394063B (zh) 應用影像辨識之指令輸入系統以及方法
CN110032317B (zh) 一种无线演示设备及其标注控制方法和装置
US20190235710A1 (en) Page Turning Method and System for Digital Devices
KR101700119B1 (ko) 워크 스페이스를 포함하는 전자저작도구 및 이의 구동방법, 기록매체
WO2015167531A2 (en) Cursor grip
WO2023065939A1 (zh) 一种触控响应方法、装置、交互平板及存储介质
TWI780663B (zh) 互動式觸控系統的操作判斷方法
Iacolina et al. Natural Interaction and Computer Graphics Applications.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees