JP2015125777A - ジェスチャベース入力からタッチ表面への遷移の指示 - Google Patents

ジェスチャベース入力からタッチ表面への遷移の指示 Download PDF

Info

Publication number
JP2015125777A
JP2015125777A JP2014258591A JP2014258591A JP2015125777A JP 2015125777 A JP2015125777 A JP 2015125777A JP 2014258591 A JP2014258591 A JP 2014258591A JP 2014258591 A JP2014258591 A JP 2014258591A JP 2015125777 A JP2015125777 A JP 2015125777A
Authority
JP
Japan
Prior art keywords
gesture
touch surface
based input
alert
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014258591A
Other languages
English (en)
Inventor
シャディ メア
Shadi Mere
メア シャディ
チャールズ ウィングローブ セオドア
Charles Wingrove Theodore
チャールズ ウィングローブ セオドア
エンツミンガー カイル
Entsminger Kyle
エンツミンガー カイル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Publication of JP2015125777A publication Critical patent/JP2015125777A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ジェスチャベース入力からタッチ表面への遷移を示すためのシステム及び方法を提供する。【解決手段】システム200は、遷移を検出するための検出装置250に結合された検出モニター210及び検出に基づき出力装置に警告するためのアラート送信器230を含む。ジェスチャベース入力は、電子システムに関連付けられた非接触インタフェースであり、タッチ表面260は、その電子システムに関連付けられた接触インタフェースである。【選択図】図2

Description

優先権主張
本特許出願は、現在係属中の、2013年12月26日に出願された「Indicating a Transition from Gesture Based Inputs to Touch Surfaces」という名称の米国仮特許出願第61/920,993号に対する優先権を主張する。本特許出願は、米国特許出願第61/920,993号の詳細な説明全体を包含する。
インタフェースは、本質的に、より複雑で二面性を持つようになってきている。システムとやりとりするための複数の方法を提供することはさらに当たり前になってきている。従って、システムのユーザーはシステムと関与するために第1の技術または第2の技術を選択的に選択し得る。ある事例では、第1の技術と第2の技術との間の遷移は、トグルスイッチを必要とし得る。他の事例では、第1の技術および第2の技術の両方が、ユーザーに対して同時に利用可能であり得る。
1つのかかる入力技術がジェスチャベース入力である。ジェスチャベース入力は、身体部分(一般的には手)などの、合図からの動きの検出を可能にし、その検出された動きすなわちジェスチャに基づき、コマンドが開始される。ジェスチャベース入力は、ユーザーが、タッチ、表面、パッド、または装置と接触することを必要としない。
ジェスチャは、ビデオカメラまたは動作感知装置を介して捕捉される。それに応じて、ビデオカメラが動きを捕捉し、その動きを格納されたコマンドセンター(すなわち、プロセッサおよび記憶装置)と相互に関連付けて、その動きを動作に変換する。
別のかかる入力技術がタッチ表面である。タッチ表面は、ユーザーが、システムを制御するためにタッチスクリーンまたは専用タッチパッドに関与することを可能にする。システムは、任意の種類のエレクトロニクスベースシステム、例えば、車両のダッシュボード内またはその周囲に設置された構成部品であり得る。タッチスクリーンまたはタッチ表面は、例えば、静電容量式タッチ技術、抵抗膜方式タッチ技術を採用し得る。
ある事例では、ジェスチャベース入力システムおよびタッチベース入力システムは一緒に統合され得る。従って、システムを操作するユーザーは、タッチスクリーンまたはジェスチャ検出のために割り当てられたエリアのいずれかに選択的に関与し得る。
ジェスチャベース入力からタッチ表面への遷移を示すためのシステムおよび方法が本明細書で提供される。システムは、遷移を検出するための検出装置に結合された検出モニター;および検出に基づき出力装置に警告するためのアラート送信器を含む。ジェスチャベース入力は、電子システムに関連付けられた非接触インタフェースであり、タッチ表面は、電子システムに関連付けられた接触インタフェースである。
発明を実施するための形態では、以下の図を参照し、図中、同様の番号は同様の項目を参照する。
コンピュータ例を図示するブロック図である。 ジェスチャベース入力からタッチ表面への遷移を示すためのシステムの一例である。 ジェスチャベース入力からタッチ表面への遷移を示すための方法の一例である。 車両内に実装されている図2のシステムの一例である。
本発明は、以下で添付の図を参照してさらに完全に説明され、添付の図では本発明の例示的な実施形態が示される。しかし、本発明は、多数の異なる形式で実施され得、本明細書に記載される実施形態に制限されると解釈されるべきでない。むしろ、これらの例示的な実施形態は、本開示が完全であるために提供され、本発明の範囲を当業者に完全に伝達する。本開示の目的のため、「各々のうちの少なくとも1つ」は、列挙された要素のうちの複数の組合せを含む、それぞれの言語に続く列挙された要素の任意の組合せを意味すると解釈されることが理解されるであろう。例えば、「X、Y、およびZのうちの少なくとも1つ」は、Xのみ、Yのみ、Zのみ、または2つ以上の項目X、Y、およびZの任意の組合せ(例えば、XYZ、XZ、YZ、X)を意味すると解釈されるであろう。図および発明を実施するための形態全体を通して、特に断りのない限り、同一の図参照番号は同じ要素、特徴、および構造を参照すると理解される。これらの要素の相対的サイズおよび表現は、明瞭さ、例証、および便宜のために誇張され得る。
ジェスチャベース入力は、様々な状況およびコンテキストで採用される。ジェスチャベース入力は、ユーザーまたはオペレータが、いかなる表面とも接触することなく、入力またはインタフェースと関与することを可能にする。ジェスチャベース入力は、ジェスチャが捕捉され、マシンまたはシステムがそれに応じて制御されるのを可能にする、カメラまたは検出技術によって容易にされる。ジェスチャは、制御して動かすことができる身体部分の任意の一部を指し得る。例えば、手を振ることまたは指差すことをジェスチャと呼び得る。
ジェスチャベース入力システムの難点は、ユーザーが、ジェスチャを検出することを要求される空間内に自分がいることを検知しないか、または物理的に知らない可能性があることである。その結果、推定される空間まで進もうとするユーザーのぎこちない現象が起こり得る。さらに、タッチパッドまたはタッチ表面が実装されている場合でさえ、ユーザーは、タッチパッドに効果的に関与する必要があるエリアを認識していない可能性がある。タッチパッドが車両内に実装されている場合、ユーザーが視線または注意を道路からタッチパッドに移す動作は、不都合であり得、安全でない可能性がある。
インタフェースに関与する際、ユーザーおよびオペレータは、しばしば、タッチおよび物理的接触に関連付けられたフィードバックを経験する。その結果、ユーザーは多くの場合、触覚感覚を期待する。触覚技術、または触覚学は、力、振動、または動きをユーザーに印加することにより触覚を利用する、触覚フィードバック技術である。触覚アクチュエータが、車両内の人間工学的観点から選択された位置に組み込まれ得る。人間工学的位置は、システムのユーザーまたはオペレータが、彼らの身体の部分を置く場所(例えば、座席、肘掛け、手首置き位置)を指し得る。
本明細書で開示するのは、ジェスチャベース入力空間からタッチ表面への遷移を示すためのシステムおよび方法である。さらに、本明細書で開示するシステムおよび方法は、タッチ表面またはジェスチャベース入力空間のいずれかへの任意の種類の接近を示すために採用され得る。従って、入力システムのユーザーに指示を提供することにより、ユーザーは、改善されたユーザーエクスペリエンスを得られる。指示は、音声、視覚、触覚、またはそれらの組合せであり得る。
図1は、コンピュータ例100を例示するブロック図である。コンピュータ100は、チップセット104に結合された少なくとも1つのプロセッサ102を含む。チップセット104は、メモリコントローラハブ120および入力/出力(I/O)コントローラハブ122を含む。メモリ106およびグラフィックスアダプタ112は、メモリコントローラハブ120に結合され、ディスプレイ118は、グラフィックスアダプタ112に結合される。記憶装置108、キーボード110、ポインティングデバイス114、およびネットワークアダプタ116は、I/Oコントローラハブ122に結合される。コンピュータ100の他の実施形態は異なるアーキテクチャを有し得る。
記憶装置108は、ハードドライブ、コンパクトディスク読取り専用メモリ(CD−ROM)、DVDまたはソリッドステートメモリデバイスなどの、持続性コンピュータ可読記憶媒体である。メモリ106は、プロセッサ102によって使用される命令およびデータを保持する。ポインティングデバイス114は、マウス、トラックボール、または他のタイプのポインティングデバイスであり、データをコンピュータ100に入力するために、キーボード110と組み合わせて使用される。ポインティングデバイス114は、ゲーム機コントローラ、またはゲーム機を制御するために使用される任意のタイプの装置でもあり得る。例えば、ポインティングデバイス114は、特定のユーザーを検出するために生体認証スキャニングを採用するビデオまたは画像捕捉装置に接続され得る。特定のユーザーは、ポインティングデバイス114にコンピュータ100の様々な態様を制御するように命令するための動きまたはジェスチャを採用し得る。
グラフィックスアダプタ112は、画像および他の情報をディスプレイ118上に表示する。ネットワークアダプタ116は、コンピュータシステム100を1つまたは複数のコンピュータネットワークに結合する。
コンピュータ100は、本明細書で説明する機能を提供するためにコンピュータプログラムモジュールを実行するように適合される。本明細書では、用語「モジュール」は、指定された機能を提供するために使用されるコンピュータプログラム論理を指す。従って、モジュールは、ハードウェア、ファームウェア、および/またはソフトウェアで実装できる。一実施形態では、プログラムモジュールは、記憶装置108上に格納されて、メモリ106内にロードされ、プロセッサ102によって実行される。
本明細書で開示するエンティティおよびプロセスによって使用されるコンピュータのタイプは、エンティティによって必要とされる実施形態および処理能力に応じて変わり得る。コンピュータ100は、モバイル機器、タブレット、スマートフォンまたは上でリストした要素を備えた任意の種類のコンピューティング要素であり得る。例えば、ハードディスク、ソリッドステートメモリまたは記憶装置などの、データ記憶装置は、本明細書で説明する機能を提供するために連携する複数のブレードサーバーを含む分散データベースシステム内に格納され得る。コンピュータは、キーボード110、グラフィックスアダプタ112、およびディスプレイ118などの、前述した構成要素のいくつかを欠き得る。
コンピュータ100は、本明細書で開示するコンテンツ共有サービスのためのサーバー(図示せず)として機能し得る。コンピュータ100は、サーバーを作成するために他のコンピュータ100装置とクラスタ化され得る。
図2は、ジェスチャベース入力からタッチ表面への遷移を示すためのシステム200の一例である。システム200は、検出モニターモジュール210、取得装置(retriever)220、およびアラート送信器230を含む。システム200は、コンピュータ100などの、装置上で実装され得る。
システム200は、タッチまたはジェスチャ入力が採用される任意の環境または状況で実装され得る。例えば、システムは、タッチパッド表面260を車両のダッシュボード内(または車両のオペレータもしくは乗客が関与し得る任意の領域)に据えて、車両内に実装され得る。
システム200は、ジェスチャベース入力システム250とも通信し得る。図のように、ジェスチャベース入力システム250は、カメラを含む。システム200の一実施態様では、カメラは、タッチパッド表面260の真下および前の領域に配置され得る。その結果、ユーザーが、タッチパッド表面260に近づいて、タッチパッド表面260に関与すると、ジェスチャベース入力システム250はユーザーの手を検出し得る。
ジェスチャベース入力システム250は、単に、タッチパッド表面260の操作に関連付けられた領域に入ってくる手を検出するために採用され得るか、または代替として、ジェスチャベース入力システム250は、その上、入力機構としても機能し得る。
システム200は、システム200のユーザーまたは実装者からのトグルコマンドに基づき選択的に実装され得る。トグルコマンドは、不揮発性メモリ内に格納され得る。
検出モニターモジュール210は、ジェスチャベース入力システム250が監視するように構成されている空間にユーザーの手が入っているという指示をジェスチャベース入力システム250から受信する。上で説明したように、これは、ユーザーがタッチパッド表面260に関与するエリアに実質的に近接しているとして割り当てられた空間である得る。検出モニターモジュール210は、指示を永続的ストア(記憶装置108に関して上で列挙した記憶装置のいずれかなど)内に格納し得る。
取得装置220は、検出された指示に基づきアラート機能を取得する。アラート機能は、音声、ビデオ、触覚、またはそれらの組合せであり得る。アラート機能は、タッチパッド表面260およびジェスチャベース入力システム250に関連したユーザーに、手または関与機構がタッチパッド表面260とまさに接触しようとしていることを示す働きをする。
アラート送信器230は、取得されたアラート機能を適切な機構に送信する。ある事例では、アラート送信器230は、音声アラートをスピーカー(例えば、カーオーディオスピーカー)に送信し得る。アラート機能が視覚的合図である場合、アラート送信器230は、取得されたアラート機能を示すために、ディスプレイまたはライトに送信し得る。このように、ライトまたは視覚的合図は、ユーザーの手が、タッチパッド表面260とのやりとりと関連付けられた領域内にあることを示し得る。
別の事例では、アラート機能が触覚である場合、アラート機能は触覚アクチュエータ270に送信され得る。触覚アクチュエータ270は、人間工学的観点から判断された環境内に設置され得る。例えば、システム200が車両内に実装される場合、触覚アクチュエータ270は、肘掛け、座席、またはタッチパッド表面260のオペレータが接触し得る車両の任意の部分内に実装され得る。それに応じて、触覚アクチュエータ270は、タッチパッド表面260に対する動作エリアに実質的に近い空間または領域にユーザーの手が入ったことに応答して、揺れるか、または振動するように構成され得る。
別の例では、アラート機能は、指示を、まさに関与されようとしているタッチパッド表面260の領域に送信し得る。従って、手またはジェスチャがタッチパッド表面260に近づくと、タッチパッド表面260が点灯され得るか、または表示が、まさに関与されようとしているタッチパッド表面260のエリアもしくは領域に提示され得る。
図3は、ジェスチャベース入力からタッチ表面への遷移を示すための方法300を例示する。方法300は、システム200内で実装され得る。
動作310では、手またはタッチパッドもしくはタッチ表面に関与するために採用された他のアペンデージ(appendage)の検出が行われる。検出は、ユーザーがタッチ表面にまさに関与しようとしているエリアの下、上、または近くに配置された画像またはビデオ捕捉装置の設置を介して行われ得る。その結果、ユーザーがタッチ表面に近づくと、装置はタッチ表面に近づいているユーザー(例えば、手またはタッチ表面と接触するために採用されているアペンデージ)を捕捉する。デジタル信号処理を採用すると、装置は、これがユーザーの手(または他のアペンデージ)に対応することを確認し得、それに応じて検出を記録し得る。
動作320では、アラートが取得される。方法300の実装者は、様々な検出およびアラートを有する相関表を格納し得る。検出に関連付けられたアラートは、メモリ内に格納される。
動作330では、取得されたアラートに基づき、アラートを伝達するための適切な装置とハンドシェイクされ、それに応じて、アラートを生成する命令が送信される。上で説明したように、例えば、アラートが音声である場合、スピーカーに伝達されるであろう。別の例では、アラートが視覚的合図である場合、ディスプレイまたは照明要素に伝達されるであろう。一例では、アペンデージ上で輝くライトが開始され得る。別の例では、タッチ表面上の表示に関連付けられたマーク(indicia)が開始または点灯され得る。
別の例では、アラートが触覚感覚である場合、触覚アクチュエータに伝達され得る。
図4は、車両400内に実装されているシステム200の一例を図示する。
図4に示すように、タッチ表面260に関与するために手がカメラ平面255エリアに入る。平面255エリアは、タッチ表面を取り囲む特定の位置内に事前定義され得る。タッチ表面260は、電子装置410の制御と関連付けられ得る。ジェスチャベース入力は示されていないが、それも電子装置410の制御と関連付けられ得る。
カメラ平面255エリアに入っている手に応答して、入力モードが、ジェスチャベース制御(非接触)からタッチ制御(接触)に遷移していることの検出が行われ得る。検出は、手270が平面255エリアに入ると、行われ得る。代替として、システム200は、手270がタッチ表面260から所定の距離離れていることを検出し得、次いで遷移を検出し得る。
一旦、遷移が検出されると、車両内の様々な知覚装置(音声、ビデオ、または触覚アクチュエータなど)が開始され得る。知覚装置の各々は、特定の出力装置と関連付けられ得る。その結果、手に関連したユーザーが、車両内に設置された入力機構との感覚ベースインタラクションを提供される。
図1に示す装置のいくつかは、コンピューティングシステムを含む。コンピューティングシステムはプロセッサ(CPU)ならびに、読取り専用メモリ(ROM)およびランダムアクセスメモリ(RAM)などのシステムメモリを含む様々なシステム構成要素を、そのプロセッサに結合するシステムバスを含む。他のシステムメモリも使用可能であり得る。コンピューティングシステムは、さらに大きな処理機能を提供するために一緒にネットワーク化された、2つ以上のプロセッサまたは、コンピューティングシステムのグループもしくはクラスタを含み得る。システムバスは、メモリバスまたはメモリコントローラ、周辺機器用バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかのタイプのバス構造のいずれかであり得る。ROMまたは同様のもの内に格納された基本入出力システム(BIOS)は、スタートアップ中などに、コンピューティングシステム内の要素間で情報を伝達するのを支援する基本ルーチンを提供し得る。コンピューティングシステムは、データストアをさらに含み、それは、既知のデータベース管理システムに従ってデータベースを維持する。データストアは、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、または磁気カセット、フラッシュメモリカード、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ(RAM)、および読取り専用メモリ(ROM)などの、プロセッサによってアクセス可能なデータを格納できる別のタイプのコンピュータ可読媒体など、多数の形式で実施され得る。データストアは、ドライブインタフェースによってシステムバスに接続され得る。データストアは、コンピュータ可読命令、データ構造、プログラムモジュールおよびコンピューティングシステム用の他のデータの不揮発性記憶を提供する。
人間の(およびいくつかの事例では、マシンの)ユーザーインタラクションを可能にするため、コンピューティングシステムは、会話および音声用のマイクロホン、ジェスチャまたは図形入力用のタッチ感知スクリーン、キーボード、マウス、動作入力などの、入力装置を含み得る。出力装置は、いくつかの出力機構のうちの1つまたは複数を含み得る。いくつかの事例では、多モードシステムは、コンピューティングシステムと通信するために、ユーザーが、複数のタイプの入力を提供するのを可能にする。通信インタフェースは、一般に、コンピューティング装置システムが、様々な通信およびネットワークプロトコルを使用して、1つまたは複数の他のコンピューティング装置と通信するのを可能にする。
前述の開示は、図3に表される実施形態を説明するために、いくつかの流れ図および付随の記述を参照する。開示する装置、構成要素、およびシステムは、これらの図に示されるステップを実行するために任意の適切な技術を使用または実装することを予期する。従って、図3は、例示目的のみであり、説明したステップまたは類似のステップは、同時に、個別に、または組み合わせて、を含む、任意の適切な時に実行され得る。加えて、これらの流れ図内のステップの多くは、同時に、かつ/または示して説明したものとは異なる順序で起こり得る。さらに、開示するシステムは、追加のステップ、より少ないステップ、および/または異なるステップを有する、プロセスおよび方法を使用し得る。
本明細書で開示する実施形態は、本明細書で開示する構造およびそれらの均等物を含め、デジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実装できる。いくつかの実施形態は、1つまたは複数のプロセッサによる実行のために有形的コンピュータ記憶媒体上にコード化された、1つまたは複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装できる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、またはランダムもしくはシリアルアクセスメモリであり得るか、またはそれらに含まれ得る。コンピュータ記憶媒体は、複数のCD、ディスク、もしくは他の記憶装置などの、1つもしくは複数の別個の有形的構成要素もしくは媒体でもあり得るか、またはそれらに含まれ得る。コンピュータ記憶媒体は、一時的信号を含まない。
本明細書では、用語プロセッサは、例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、または前述したものの複数、もしくは組合せを含め、データ処理のための全ての種類の機器、装置、およびマシンを包含する。プロセッサは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。プロセッサは、ハードウェアに加えて、問題となっているコンピュータプログラム用の実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時環境、仮想マシン、またはそれらの1つもしくは複数の組合せを構成するコードも含み得る。
(プログラム、モジュール、エンジン、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)コンピュータプログラムは、コンパイラ型言語もしくはインタープリタ型言語、宣言型言語もしくは手続き型言語を含む任意の形式のプログラム言語で書くことができ、そのプログラムは、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境内での使用に適した他のユニットとして、を含む、任意の形式で配備できる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、その必要はない。プログラムは、他のプログラムもしくはデータを保持するファイルの一部(例えば、マークアップ言語文書内に格納された1つまたは複数のスクリプト)内、問題となっているプログラム専用の単一のファイル内、または複数の協働ファイル(例えば、1つもしくは複数のモジュール、サブプログラム、またはコードの部分を格納するファイル)内に格納できる。コンピュータプログラムは、1つのコンピュータ上で、または1つの場所に配置されているか、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続されている、複数のコンピュータ上で、実行されるように配備できる。
個人との対話を提供するために、本明細書で開示する実施形態は、グラフィカルユーザーインタフェース(GUI)などの、対話型ディスプレイを使用して実装できる。かかるGUIは、ポップアップまたはプルダウンメニューまたはリスト、選択タブ、スキャン可能な特徴、および人間の入力を受信できる他の特徴などの、双方向の特徴を含み得る。
本明細書で開示するコンピューティングシステムは、クライアントおよびサーバーを含み得る。クライアントおよびサーバーは、一般に、互いにリモートであり、通常、通信ネットワークを通じてやりとりする。クライアントとサーバーの関係性は、それぞれのコンピュータ上で実行していて、互いにクライアント・サーバー関係を有する、コンピュータプログラムのおかげで生じる。いくつかの実施形態では、サーバーは、データ(例えば、HTMLページ)をクライアント装置に(例えば、クライアント装置とやりとりするユーザーに対してデータを表示し、ユーザーからユーザー入力を受信する目的で)送信する。クライアント装置で生成されるデータ(例えば、ユーザーインタラクションの結果)は、クライアント装置からサーバーで受信できる。
当業者には、様々な修正および変形が、本発明の精神および範囲から逸脱することなく、本発明内で行われ得ることが明らかであろう。従って、本発明の修正および変形が、添付の請求項およびそれらの均等物の範囲内に入るという条件で、本発明はそれらを包含することを意図する。

Claims (20)

  1. ジェスチャベース入力からタッチ表面への遷移を示すためのシステムであって、
    前記遷移を検出するために検出装置に結合された検出モニターと、
    前記検出に基づき、出力装置に警告するためのアラート送信器と、
    を含み、
    前記ジェスチャベース入力が電子システムに関連付けられた非接触インタフェースであり、かつ、タッチ表面が前記電子システムに関連付けられた接触インタフェースである、
    ジェスチャベース入力からタッチ表面への遷移を示すためのシステム。
  2. 前記検出装置がビデオ捕捉装置である、請求項1に記載のシステム。
  3. 前記ビデオ捕捉装置が、前記タッチ表面を取り囲む所定のエリアを監視する、請求項2に記載のシステム。
  4. 前記タッチ表面から所定の距離離れている、前記ジェスチャベース入力に関連付けられたアペンデージに応答して、前記遷移が検出される、請求項1に記載のシステム。
  5. アラートタイプを取得するためのアラート機能取得装置をさらに含み、前記アラートタイプが前記出力装置に関連付けられている、請求項1に記載のシステム。
  6. 前記アラートタイプが、触覚応答として定義される、請求項5に記載のシステム。
  7. 前記アラートタイプが、可聴音として定義される、請求項5に記載のシステム。
  8. 前記アラートタイプが、可視指示として定義される、請求項5に記載のシステム。
  9. 前記可視指示が、前記タッチ表面上の光るマークである、請求項8に記載のシステム。
  10. 前記可視指示が、前記ジェスチャベース入力に関連付けられたアペンデージ上に投影された光である、請求項8に記載のシステム。
  11. ジェスチャベース入力からタッチ表面への遷移を示すための方法であり、
    非接触位置から接触位置に遷移している前記ジェスチャベース入力に関連付けられたアペンデージを検出することであって、前記非接触位置が前記ジェスチャベース入力に関連付けられ、かつ前記接触位置が前記タッチ表面に関連付けられている、前記ジェスチャベース入力に関連付けられたアペンデージを検出することと、
    前記検出に基づきアラート機能を送信することと
    を含み、
    前記検出することおよび前記送信することのうちの少なくとも1つがプロセッサ上で実行される、
    ジェスチャベース入力からタッチ表面への遷移を示すための方法。
  12. 前記検出がビデオ捕捉装置を介して実行される、請求項11に記載の方法。
  13. 前記ビデオ捕捉装置が、前記タッチ表面を取り囲む所定のエリアを監視する、請求項12に記載の方法。
  14. 前記タッチ表面から所定の距離離れていることに応答して、前記遷移が検出される、請求項11に記載の方法。
  15. アラートタイプを取得するためのアラート機能取得装置を取得することをさらに含み、前記アラートタイプが前記送信されたアラート機能に関連付けられている、請求項1に記載の方法。
  16. 前記アラートタイプが、触覚応答として定義される、請求項15に記載の方法。
  17. 前記アラートタイプが、可聴音として定義される、請求項15に記載の方法。
  18. 前記アラートタイプが、可視指示として定義される、請求項15に記載の方法。
  19. 前記可視指示が、前記タッチ表面上の光るマークである、請求項18に記載の方法。
  20. 前記可視指示が、前記ジェスチャベース入力に関連付けられたアペンデージ上に投影された光である、請求項18に記載の方法。
JP2014258591A 2013-12-26 2014-12-22 ジェスチャベース入力からタッチ表面への遷移の指示 Pending JP2015125777A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361920993P 2013-12-26 2013-12-26
US61/920,993 2013-12-26
US14/555,194 US9875019B2 (en) 2013-12-26 2014-11-26 Indicating a transition from gesture based inputs to touch surfaces
US14/555,194 2014-11-26

Publications (1)

Publication Number Publication Date
JP2015125777A true JP2015125777A (ja) 2015-07-06

Family

ID=53481793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014258591A Pending JP2015125777A (ja) 2013-12-26 2014-12-22 ジェスチャベース入力からタッチ表面への遷移の指示

Country Status (2)

Country Link
US (1) US9875019B2 (ja)
JP (1) JP2015125777A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172970A1 (ja) * 2021-02-12 2022-08-18 株式会社東海理化電機製作所 インターフェース装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891711B1 (en) 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR
DE102019205097A1 (de) 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162868A (ja) * 2000-11-28 2002-06-07 Kyocera Mita Corp 画像形成装置
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
JP2012043188A (ja) * 2010-08-19 2012-03-01 Kyocera Corp 入力装置
JP2013008368A (ja) * 2011-06-24 2013-01-10 Ricoh Co Ltd 仮想タッチスクリーンシステム及び双方向モード自動切換方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
JP5179378B2 (ja) * 2006-12-22 2013-04-10 パナソニック株式会社 ユーザインターフェイス装置
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US9495013B2 (en) * 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
JP2010224665A (ja) * 2009-03-19 2010-10-07 Sony Corp 光触覚変換システム、及び触覚フィードバックの提供方法
US9323398B2 (en) * 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
KR101755051B1 (ko) 2009-07-22 2017-07-06 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
US20120169671A1 (en) * 2011-01-03 2012-07-05 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
JP5836105B2 (ja) * 2011-12-20 2015-12-24 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
US9501152B2 (en) * 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
WO2013109869A1 (en) 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
TWI470511B (zh) * 2012-06-06 2015-01-21 Wistron Corp 雙模輸入裝置
US8743072B2 (en) * 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
US20140267031A1 (en) * 2013-03-12 2014-09-18 Kenneth J. Huebner Spatially aware pointer for mobile appliances
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US20160132122A1 (en) * 2013-05-29 2016-05-12 Brainlab Ag Gesture Feedback for Non-Sterile Medical Displays
US9026939B2 (en) * 2013-06-13 2015-05-05 Google Inc. Automatically switching between input modes for a user interface
US9383894B2 (en) * 2014-01-08 2016-07-05 Microsoft Technology Licensing, Llc Visual feedback for level of gesture completion
US9501218B2 (en) * 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
US9552074B2 (en) * 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162868A (ja) * 2000-11-28 2002-06-07 Kyocera Mita Corp 画像形成装置
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
JP2012043188A (ja) * 2010-08-19 2012-03-01 Kyocera Corp 入力装置
JP2013008368A (ja) * 2011-06-24 2013-01-10 Ricoh Co Ltd 仮想タッチスクリーンシステム及び双方向モード自動切換方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172970A1 (ja) * 2021-02-12 2022-08-18 株式会社東海理化電機製作所 インターフェース装置

Also Published As

Publication number Publication date
US9875019B2 (en) 2018-01-23
US20150186031A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP2015125780A (ja) ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法
EP3461291B1 (en) Implementation of a biometric enrollment user interface
JP5818385B2 (ja) タッチ入力デバイスのハプティック・フィードバック
CN108369456B (zh) 用于触摸输入设备的触觉反馈
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
JP2015125781A (ja) 手の仮想表現をレンダリングするためのシステム及び方法
US8363026B2 (en) Information processor, information processing method, and computer program product
US20120113044A1 (en) Multi-Sensor Device
US9891813B2 (en) Moving an image displayed on a touchscreen of a device
EP2708984A2 (en) Display Apparatus for Multiuser and Method Thereof
TWI512601B (zh) 電子裝置及其控制方法與電腦程式產品
US11099723B2 (en) Interaction method for user interfaces
JP2015125777A (ja) ジェスチャベース入力からタッチ表面への遷移の指示
JP6516747B2 (ja) コンピューティングデバイスへの装置のバインディング
JP6017531B2 (ja) 視線追跡と頭部追跡とを切り換えるためのシステム及び方法
CN107037874B (zh) 重压和移动手势
US9990117B2 (en) Zooming and panning within a user interface
JP2015503795A (ja) タッチスクリーンのインタラクション方法および装置
JP2012256213A (ja) 情報処理装置、情報処理方法及びプログラム
JP6132245B2 (ja) 検出した方向に基づく呼出しの提供
US10365736B2 (en) Morphing pad, system and method for implementing a morphing pad
JP6160724B2 (ja) オブジェクト処理装置、オブジェクト処理方法及びプログラム
JP6166250B2 (ja) 情報処理装置及びその制御方法、プログラム
TW201346644A (zh) 控制項展示

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160808