JP5239328B2 - 情報処理装置及びタッチ動作認識方法 - Google Patents

情報処理装置及びタッチ動作認識方法 Download PDF

Info

Publication number
JP5239328B2
JP5239328B2 JP2007330849A JP2007330849A JP5239328B2 JP 5239328 B2 JP5239328 B2 JP 5239328B2 JP 2007330849 A JP2007330849 A JP 2007330849A JP 2007330849 A JP2007330849 A JP 2007330849A JP 5239328 B2 JP5239328 B2 JP 5239328B2
Authority
JP
Japan
Prior art keywords
page
command
touch
unit
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007330849A
Other languages
English (en)
Other versions
JP2009151691A5 (ja
JP2009151691A (ja
Inventor
弘和 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007330849A priority Critical patent/JP5239328B2/ja
Priority to US12/326,991 priority patent/US20090160803A1/en
Publication of JP2009151691A publication Critical patent/JP2009151691A/ja
Publication of JP2009151691A5 publication Critical patent/JP2009151691A5/ja
Priority to US13/938,932 priority patent/US10168888B2/en
Application granted granted Critical
Publication of JP5239328B2 publication Critical patent/JP5239328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Description

本発明は、情報処理装置及びタッチ動作認識方法に関し、例えば持ち運び自在なポータブルナビゲーションデバイスに適用して好適なものである。
従来、ポータブルナビゲーションデバイス(以下、これをPNDと呼ぶ。)においては、クレードルを介して車両のダッシュボードに装着し、かつ取り外しできるようになされている。
この種のPNDでは、クレードルを介してダッシュボードに装着された場合には当該PNDがカーナビゲーションとして用いられ、ダッシュボードから取り外された場合にはパーソナルナビゲーションとして用いられるようになされている。
このPNDは、手軽にユーザが持ち運びながら使用することができることを主な用途としている関係上、当該PNDとは別にリモコンを用いるよりも、液晶ディスプレイの前面に設けられたタッチパネルを介してユーザからのコマンドを受け付けるユーザインタフェースが採用されている。
一方、表示一体型タブレットに対して指を使ったポインティング操作によってページ捲りを行う電子ブック表示制御装置がある(例えば、特許文献1参照)。
特開2004-348755公報
ところでかかる構成のPNDにおいては、目的地をユーザに選択させるため複数の目的地候補を表示し、それが複数ページ分も存在する場合、目的地を決定するまでにページ捲り操作をユーザに行わせる必要がある。
その際、PNDでは、上述した電子ブック表示制御装置のような指を使ったポインティング操作に応じてページ切換処理を行う場合、ユーザの指先でページ捲りボタンではなく誤って目的地候補をタッチしてしまった瞬間に当該目的地候補に対する押下操作が行われたと誤認識してしまうことが多く、ポインティング操作を行おうとしているユーザの意思を必ずしも正確に反映できないことがあるという問題があった。
本発明は以上の点を考慮してなされたもので、ユーザのタッチ動作に応じたコマンドを正確に認識し得る情報処理装置及びタッチ動作認識方法を提案しようとするものである。
かかる課題を解決するため本発明においては、前面にタッチパネルが設けられた表示部と、タッチパネルに対してタッチ動作されたタッチ地点と、アンタッチ動作されたアンタッチ地点とに基づいてタッチ動作の移動量を算出する移動量算出部と、移動量に応じてタッチ動作が押下操作であるかジェスチャー操作であるかを判別する操作判別部と、操作判別部による判別結果に応じて、押下操作に応じたコマンド、又はジェスチャー操作に応じたコマンドを認識し、認識したコマンドに応じた処理を実行するコマンド実行部とを設け、ジェスチャー操作に応じたコマンドは、表示部に表示されているページを切り替えるためのページ切替コマンドであり、コマンド実行部は、ページ切替コマンドに応じて、上記表示部に表示されている第1のページを、当該第1のページに関する情報を詳細に示す第2のページに切り替える、又は上記表示部に表示されている上記第2のページを元の第1のページに切り替える切替処理を実行するようにする。
これにより情報処理装置では、タッチ動作が押下操作であるのかジェスチャー操作であるのかをタッチ動作の移動量に基づいて判別し、その押下操作に応じたコマンドであるのか或いはジェスチャー操作に応じたコマンドであるのかを正確に認識することができる。
また本発明のタッチ動作認識方法においては、表示部における前面のタッチパネルに対してタッチ動作されたタッチ地点をタッチ地点認識部によって認識するタッチ地点認識ステップと、タッチ地点認識ステップの後、タッチパネルに対してアンタッチ動作されたアンタッチ地点をアンタッチ地点認識部によって認識するアンタッチ地点認識ステップと、タッチ地点とアンタッチ地点とに基づいてタッチ動作の移動量を移動量算出部によって算出する移動量算出ステップと、移動量に応じてタッチ動作が押下操作であるかジェスチャー操作であるかを操作判別部によって判別する操作判別ステップと、操作判別ステップでの判別結果に応じて、押下操作に応じたコマンド、又はジェスチャー操作に応じたコマンドをコマンド実行部によって認識し、認識したコマンドに応じた処理を当該コマンド実行部によって実行するコマンド実行ステップとを有し、ジェスチャー操作に応じたコマンドは、表示部に表示されているページを切り替えるためのページ切替コマンドであり、コマンド実行部は、ページ切替コマンドに応じて、上記表示部に表示されている第1のページを、当該第1のページに関する情報を詳細に示す第2のページに切り替える、又は上記表示部に表示されている上記第2のページを元の第1のページに切り替える切替処理を実行するようにする。
これによりタッチ動作認識方法では、タッチ動作が押下操作であるのかジェスチャー操作であるのかをタッチ動作の移動量に基づいて判別し、その押下操作に応じたコマンドであるのか或いはジェスチャー操作に応じたコマンドであるのかを正確に認識することができる。
本発明によれば、タッチ動作が押下操作であるのかジェスチャー操作であるのかをタッチ動作の移動量に基づいて判別し、その押下操作に応じたコマンドであるのか或いはジェスチャー操作に応じたコマンドであるのかを正確に認識することができ、かくしてユーザのタッチ動作に応じたコマンドを正確に認識し得る情報処理装置及びタッチ動作認識方法を実現することができる。
以下、図面について、本発明の一実施の形態を詳述する。
(1)PNDの全体外観構成
図1において、1は全体として本発明のポータブルナビゲーションデバイス(以下、これをPNDと呼ぶ。)を示し、4.8型の液晶ディスプレイが搭載された表示部2を有し、当該表示部2に対して地図、現在位置アイコンPST及び目的地までの走行経路等を提示するようになされている。
またPND1は、車両のダッシュボード上に吸盤3Aを介して取付けられたクレードル3によって当該PND1が保持されると共に電気的に接続され、車両のバッテリーから供給される電力によって動作すると共に、クレードル3から取り外されたときには内蔵のバッテリーから供給される電力によって独立した状態でも動作するようになされている。
(2)PNDの回路構成
図2に示すようにPND1は、マイクロコンピュータ構成の制御部16が基本プログラムに従って全体を統括制御すると共に、ハードディスク等に格納された種々のアプリケーションプログラムに従って各種ナビゲーション処理や後述するコマンド認識処理等を実行するようになされている。
実際上PND1は、GPSアンテナ11によって受信した複数のGPS衛星からの衛星信号S1をGPSモジュール12によってそれぞれ復調し、その結果得られる軌道データと、複数のGPS衛星から車両までの距離データとに基づいて車両の現在位置を正確に測位し、その現在位置データS2をルート探索部13へ送出する。
因みに、軌道データとは、GPS衛星がどのような軌道で周回しているかを示す詳細軌道情報(パラメータ)であり、車両の現在位置を正確に測位するために少なくとも3個のGPS衛星から取得しておく必要があるものである。
ルート探索部13は、現在位置データS2に基づいて、車両の現在位置を含む周辺の地図データS3を地図データ格納部14から読み出し、現在位置からユーザによって設定された目的地までの走行ルートを探索し、その走行ルートを含む経路案内地図を生成した後、その経路案内地図データS4を液晶ディスプレイでなる表示部2へ送出する。
表示部2は、図3に示すように、経路案内地図データS4に応じた案内地図画像G1を表示することにより、現在位置アイコンPSTから目的地(図示せず)までの走行経路をユーザに対して目視確認させ得るようになされている。
ところでPND1の制御部16は、案内地図画像G1の左下方に設けられているアプリケーションメニューボタンMBが押下操作されたことに応じた命令S7を、タッチパネル15を介して受け取ると、各種データ格納部17からアプリケーションメニュー画面データS5を読み出す。
そしてPND1の制御部16は、図4に示すように、アプリケーションメニュー画面データS5に応じたアプリケーションメニュー画面G2を表示部2に表示する。このアプリケーションメニュー画面G2では、音楽再生を行うための音楽ボタンB1、ビデオ再生を行うためのビデオボタンB2、目的地又は立寄地の候補となり得るPOI(Point Of Interest)を提示するためのガイドブックボタンB3が、ユーザのタッチ動作による選択対象として設けられている。
PND1の制御部16は、アプリケーションメニュー画面G2のガイドブックボタンB3がタッチ動作されたことを、タッチパネル15(図2)を介して認識すると、各種データ格納部17からガイドブックボタンB3に対応付けられたブックセレクト画面データS6を読み出す。
そしてPND1の制御部16は、図5に示すように、ブックセレクト画面データS6に応じたブックセレクト画面G3を表示部2に表示する。このブックセレクト画面G3では、ガイドブックの選択対象として例えば「100スポット」項目KL1、「1000スポット」項目KL2、「イルミネーション情報 無料版」項目KL3、「駅弁サーチ・無料版2」項目KL4等が一覧表示されており、これらを上下方向へスクロールさせるための上ボタンUB1及び下ボタンDB1が設けられている。
さらにブックセレクト画面G3では、「戻る」ボタンBB1が設けられており、当該「戻る」ボタンBB1がユーザによってタッチ動作されたとき、PND1の制御部16は、ブックセレクト画面G3からアプリケーションメニュー画面G2へ、表示部2の表示内容を元に戻すようになされている。
PND1の制御部16は、ブックセレクト画面G3の例えば「1000スポット」項目KL2がタッチ動作されたことを、タッチパネル15を介して認識したとき、当該「1000スポット」項目KL2に対してパスワードが設定されているのであれば、各種データ格納部17からパスワード入力要求画面データS7を読み出す。
そしてPND1の制御部16は、図6に示すように、パスワード入力要求画面データS7に応じたパスワード入力要求画面G4を表示部2に表示する。パスワード入力要求画面G4では、パスワード入力欄IP、アルファベットキーAK、数字キーNK、削除キーDK、確定キーEKが設けられていると共に、パスワード入力欄IPのカーソルCSを左右へ移動させるための左ボタンLB1、右ボタンRB1、及び戻るボタンBB2等が設けられている。
この場合も、PND1の制御部16は、「戻る」ボタンBB2がタッチ動作されたとき、パスワード入力要求画面G4からブックセレクト画面G3へ表示部2の表示内容を元に戻すようになされている。
PND1の制御部16は、パスワード入力要求画面G4のパスワード入力欄IPにアルファベットキーAKや、数字キーNK等に対するタッチ動作に応じて入力されたパスワードを表示し、確定キーEKに対するタッチ動作に応じて当該パスワード入力欄IPに表示したパスワードを確定するようになされている。
PND1の制御部16は、パスワード入力要求画面G4のパスワード入力欄IPに入力されたパスワードに基づいて認証が出来たとき、各種データ格納部17からスポットセレクト画面データS8を読み出す。
そしてPND1の制御部16は、図7に示すように、スポットセレクト画面データS8に応じたスポットセレクト画面G5を表示部2に表示する。スポットセレクト画面G5では、目的地又は立寄地の候補となり得るPOIとして例えば「G0001 城南公園」、「G0002 ゴールドブリッジ」、「G0003 ポートサイドタワー」、「G0004 夢見が丘」等のスポット項目SA1〜SA4が一覧表示されており、これらを上下方向へスクロールさせるための上ボタンUB2及び下ボタンDB2が設けられている。
さらにスポットセレクト画面G5では、「戻る」ボタンBBが3設けられており、当該「戻る」ボタンBB3がタッチ動作されたとき、PND1の制御部16は、スポットセレクト画面G5からブックセレクト画面G3へ、その表示内容を戻すようになされている。
PND1の制御部16は、スポットセレクト画面G5の例えば「G0001 城南公園」のスポット項目SA1がタッチ動作されたことを、タッチパネル15を介して認識したとき、各種データ格納部17から「G0001 城南公園」に関する紹介ページ画面データS8を読み出す。
そしてPND1の制御部16は、図8に示すように、紹介ページ画面データS8に応じた紹介ページ画面G6を表示部2に表示する。この紹介ページ画面G6には、ガイドブック名表示欄TL1、写真表示欄GA、スポット項目名表示欄NL1、場所特定情報表示欄AL、上述した案内地図画像G1(図3)へ戻すための「地図へ」ボタンMB1及び戻るボタンBB4が設けられている。
なお紹介ページ画面G6は、画面中央下方に次ページへ進ませるための矢印表示されたネクストボタンNT1と、1つ前のページへ戻すための矢印表示されたバックボタンBK1とが設けられており、ネクストボタンNT1がタッチ動作された場合、PND1の制御部16は各種データ格納部17から「城南公園」に関する次の詳細ページ画面データS9を読み出す。
そしてPND1の制御部16は、図9に示すように、詳細ページ画面データS9に応じた詳細ページ画面G7を表示部2に表示する。この詳細ページ画面G7では、ガイドブック名表示欄TL2、スポット項目名表示欄NL2、「G0001 城南公園」の詳細な内容を表した詳細内容表示欄DL、案内地図画像G1(図3)へ戻すための「地図へ」ボタンMB2及び戻るボタンBB5が設けられている。
これによりPND1の制御部16は、詳細ページ画面G7の詳細内容表示欄DLをユーザに対して目視確認させることにより、「G0001 城南公園」の詳細な内容を認識させ、目的地又は立寄地として設定するべきか否かを判断させ得るようになされている。
ところで、この場合も、詳細ページ画面G7は、画面中央下方に次ページへ進ませるための矢印表示されたネクストボタンNT2と、1つ前のページへ戻すための矢印表示されたバックボタンBK2とが設けられており、バックボタンNT2がタッチ動作された場合、PND1の制御部16は各種データ格納部17から上述した「G0001 城南公園」に関する紹介ページ画面G6へ表示部2の内容を戻すようになされている。
これに加えてPND1の制御部16は、この紹介ページ画面G6から次の詳細ページ画面G7へ進ませる(すなわちページを捲る)際、又は詳細ページ画面G7から紹介ページ画面G6へ戻す(すなわちページを戻す)際、ネクストボタンNT1、NT2、バックボタンBK1、BK2に対するタッチ動作によって行うのではなく、表示部2のタッチパネル15に対する指先のジェスチャー操作に応じたコマンドを理解し、そのコマンドに応じてページ捲り処理やページ戻し処理等を行い得るようになされており、その内容について次に説明する。
(3)コマンド認識処理手順
図9に示すように、実際上、PND1の制御部16は、ハードディスクから起動したアプリケーションプログラムであるコマンド認識処理プログラムに従って、ルーチンRT1の開始ステップから入って次のステップSP1へ移り、ユーザの指先によるタッチパネル15に対するタッチ動作を認識すると、次のステップSP2へ移る。
ステップSP2においてPND1の制御部16は、ユーザの指先がタッチパネル15から離れたときのアンタッチ動作を認識すると、次のステップSP3へ移る。
ステップSP3においてPND1の制御部16は、ステップSP1で認識したタッチ動作の地点から、ステップSP2で認識したアンタッチ動作の地点までの表示部2上における指先の移動量を算出し、次のステップSP4へ移る。
ステップSP4においてPND1の制御部16は、ステップSP3で算出した指先の移動量が所定の閾値(例えば5mm)以下であるか否かを判定し、肯定結果が得られた場合、それは移動量が殆ど無い状態であって、指先のドラッグ動作に基づくジェスチャー操作ではないと認識し、次のステップSP5へ移る。
ステップSP5においてPND1の制御部16は、指先の動きがジェスチャー操作ではないので、図11に示すように、アンタッチ動作したときの地点に何らかのボタン例えばネクストボタンNT1が存在するか否かを判定する。
ここで否定結果が得られると、このことはジェスチャー操作でもなく、かつボタン操作でもないことを表しており、このときPND1の制御部16は、コマンドの入力が無かったものと認識し、次のステップSP8へ移って何ら処理を行うことなく終了する。
これに対して、ステップSP5で肯定結果が得られると、このことは例えばネクストボタンNT1に対する押下操作であることを表しており、このときPND1の制御部16は次のステップSP6へ移る。
ステップSP6においてPND1の制御部16は、この場合ネクストボタンNT1に対する押下操作に応じたコマンドであると理解し、例えば表示部2に表示している紹介ページ画面G6(図8)から次の詳細ページ画面G7(図9)へ表示内容を切り換え、次のステップSP8へ移って処理を終了する。
一方、ステップSP4で否定結果が得られると、このことはステップSP3で算出した指先の移動量が所定の閾値(例えば5mm)を超えており、それは図12に示すような表示部2上を指先で左側から右側へ向かってなぞるように動かしたときのドラッグ動作に基づくジェスチャー操作であることを表しており、このときPND1の制御部16は次のステップSP7へ移る。
ステップSP7においてPND1の制御部16は、ジェスチャー操作のパターンに応じた例えばページ捲りコマンドを認識し、そのページ捲りコマンドに応じて紹介ページ画面G6(図8)から次の詳細ページ画面G7(図9)へ切り換えることにより、あたかも本を捲るかのようにページ捲り処理を行った後、次のステップSP8へ移って処理を終了する。
例えばPND1の制御部16は、指先で側から側へ向かってなぞるような動きのパターンでなるジェスチャー操作が行われたことを認識したときは、上述したページ捲り動作を行い、指先で側から側へ向かってなぞるような動きのパターンでなるジェスチャー操作が行われたことを認識したときは詳細ページ画面G7(図9)から紹介ページ画面G6(図8)へ戻すかのようなページ戻し処理を行うようになされている。
またPND1の制御部16は、指先で三角形を描くようなパターンのジェスチャー操作が行われたことを認識したときは、それが自宅までの走行経路を探索して提示するという意味のコマンドであると理解し、現在位置から自宅までの走行経路を表示部2に表示するようになされている。
さらにPND1の制御部16は、指先で右回転による円を描くようなパターンのジェスチャー操作が行われたことを認識したときは、表示部2に表示中の地図を拡大表示し、指先で左回転による円を描くようなパターンのジェスチャー操作が行われたことを認識したときは、表示部2に表示中の地図を縮小表示するようになされている。
(4)動作及び効果
以上の構成において、PND1の制御部16は、ユーザの指先が表示部2をタッチ動作し、その後アンタッチ動作されるまでの移動量に基づいて単なるボタンの押下操作であるか、或いはドラッグ動作に基づくジェスチャー操作であるかを判別し、押下操作又はジェスチャー操作に応じたコマンドを理解し、所定の処理を実行する。
すなわちPND1の制御部16は、例え指先が表示部2に表示された何らかのボタンをタッチ動作したとしても、その指先がアンタッチ動作されるまでは、押下操作であるのかジェスチャー操作であるかを判別することがない。
従ってPND1の制御部16は、ユーザが指先でジェスチャー操作を行うつもりであるにも拘わらず、偶然、何らかのボタンが存在する場所をタッチ動作の起点としたときであっても、それが押下操作であると誤判断することを回避することができる。
またPND1の制御部16は、何らかのボタンに対してタッチ動作が行われた後、指先の移動量が閾値以下の範囲でアンタッチ動作が行われた場合、それがジェスチャー操作であると誤認識することがなく、ボタンに対する押下操作であると正確に認識することができる。
以上の構成によれば、PND1の制御部16は、タッチ動作が行われたとき、それが瞬間的なボタンに対する押下操作であるのか、ドラッグ動作によるジェスチャー操作であるのかを正確に判別し、押下操作又はジェスチャー操作に応じたコマンドに従った所定の処理を正確かつ確実に実行することができる。
(5)他の実施の形態
なお上述の実施の形態においては、タッチ動作からアンタッチ動作までの指先の移動量に基づいて押下操作であるか或いはジェスチャー操作であるかを判別する際に、5mmの閾値を用いるようにした場合について述べたが、本発明はこれに限らず、表示部2の表示面積やボタンのサイズ等の種々の要因によって、閾値の長さを5mm以外の任意の長さに設定して判別するようにしても良い。
また上述の実施の形態においては、ジェスチャー操作のパターンとして、上述したような指先で右側から左側へ向かってなぞるような動き、指先で左側から右側へ向かってなぞるような動き、指先で三角形を描くような動き、或いは指先で右回転又は左回転による円を描くような動きを用いるようにした場合について述べたが、本発明はこれに限らず、×や□を描くような指先の動きや、画面を叩くような指先の動き等のその他種々の動きをジェスチャー操作のパターンとして用いるようにしても良い。
さらに上述の実施の形態においては、表示部2に表示したボタンとは無関係に画面上をタッチ動作及びアンタッチ動作したときの移動量に基づいてジェスチャー操作であることを認識するようにした場合について述べたが、本発明はこれに限らず、ボタン表示がない画面上の領域をタッチ動作及びアンタッチ動作したときの移動量に基づいてジェスチャー操作であることを認識するようにしても良い。
さらに上述の実施の形態においては、PND1の制御部16がハードディスクから起動したアプリケーションプログラムであるコマンド認識処理プログラムに従、ルーチンRT1のコマンド認識処理手順(図10)を実行するようにした場合について述べたが、本発明はこれに限らず、CD(Compact Disc)や半導体メモリ等の記録媒体からインストールしたコマンド認識処理プログラムや、インターネットからダウンロードしたコマンド認識処理プログラム、その他種々のルートによってインストールしたコマンド認識処理プログラムに従って上述したコマンド認識処理手順を実行するようにしても良い。
さらに上述の実施の形態においては、表示手段としての表示部2、移動量算出手段、操作判別手段及びコマンド認識手段としての制御部16によって本発明の情報処理装置としてのPND1を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる表示手段、移動量算出手段、操作判別手段及びコマンド認識手段によって本発明の情報処理装置を構成するようにしても良い。
本発明の情報処理装置及びタッチ動作認識方法は、例えばPND以外のダッシュボード固定式ナビゲーション装置、パーソナルコンピュータ、PDA(Personal Digital Assistant)、携帯電話機及びゲーム機等のタッチパネルを搭載した種々の電子機器に適用することができる。
PNDの全体外観構成を示す略線的斜視図である。 PNDの回路構成を示す略線的ブロック図である。 案内地図画像を示す略線図である。 アプリケーションメニュー画面を示す略線図である。 ブックセレクト画面を示す略線図である。 パスワード入力要求画面を示す略線図である。 スポットセレクト画面を示す略線図である。 紹介ページ画面を示す略線図である。 詳細ページ画面を示す略線図である。 コマンド認識処理手順を示すフローチャートである。 アンタッチ操作の説明に供する略線図である。 ジャスチャー操作の説明に供する略線図である。
符号の説明
1……PND、2……表示部、3……クレードル、11……GPSアンテナ、12……GPSモジュール、13……ルート探索部、14……地図データ格納部、15……タッチパネル、16……制御部、17……各種データ格納部。

Claims (5)

  1. 前面にタッチパネルが設けられた表示部と、
    上記タッチパネルに対してタッチ動作されたタッチ地点と、アンタッチ動作されたアンタッチ地点とに基づいて上記タッチ動作の移動量を算出する移動量算出部と、
    上記移動量に応じて上記タッチ動作が押下操作であるかジェスチャー操作であるかを判別する操作判別部と、
    上記操作判別部による判別結果に応じて、上記押下操作に応じたコマンド、又は上記ジェスチャー操作に応じたコマンドを認識し、認識したコマンドに応じた処理を実行するコマンド実行部と
    を具え
    上記ジェスチャー操作に応じたコマンドは、上記表示部に表示されているページを切り替えるためのページ切替コマンドであり、
    上記コマンド実行部は、上記ページ切替コマンドに応じて、上記表示部に表示されている第1のページを、当該第1のページに関する情報を詳細に示す第2のページに切り替える、又は上記表示部に表示されている上記第2のページを元の上記第1のページに切り替える切替処理を実行する
    情報処理装置。
  2. 上記操作判別部は、上記移動量が所定の閾値を超える場合、上記ジェスチャー操作であると判別する
    請求項1に記載の情報処理装置。
  3. 上記操作判別部は、上記タッチ動作がボタンが表示されていない領域でのタッチ動作であり、且つ移動量が所定の閾値を超える場合に、当該タッチ動作を上記ジェスチャー操作であると判別する一方で、上記タッチ動作がボタンが表示されている領域でのタッチ動作であり、且つ移動量が所定の閾値以下である場合に、当該タッチ操作をボタンに対する押下操作であると判別する
    請求項2に記載の情報処理装置。
  4. 上記コマンド実行部は、上記ジェスチャー操作のパターンに応じて、当該ジェスチャ操作に応じたコマンドが、上記第1のページを上記第2のページに切り替えるためのページ捲りコマンドであるか、上記第2のページを元の上記第1のページに切り替えるためのページ戻しコマンドであるかを認識する
    請求項2に記載の情報処理装置。
  5. 表示部における前面のタッチパネルに対してタッチ動作されたタッチ地点をタッチ地点認識部によって認識するタッチ地点認識ステップと、
    上記タッチ地点認識ステップの後、上記タッチパネルに対してアンタッチ動作されたアンタッチ地点をアンタッチ地点認識部によって認識するアンタッチ地点認識ステップと、
    上記タッチ地点と上記アンタッチ地点とに基づいて上記タッチ動作の移動量を移動量算出部によって算出する移動量算出ステップと、
    上記移動量に応じて上記タッチ動作が押下操作であるかジェスチャー操作であるかを操作判別部によって判別する操作判別ステップと、
    上記操作判別ステップでの判別結果に応じて、上記押下操作に応じたコマンド、又は上記ジェスチャー操作に応じたコマンドをコマンド実行部によって認識し、認識したコマンドに応じた処理を当該コマンド実行部によって実行するコマンド実行ステップと
    を有し、
    上記ジェスチャー操作に応じたコマンドは、上記表示部に表示されているページを切り替えるためのページ切替コマンドであり、
    上記コマンド実行部は、上記ページ切替コマンドに応じて、上記表示部に表示されている第1のページを、当該第1のページに関する情報を詳細に示す第2のページに切り替える、又は上記表示部に表示されている上記第2のページを元の上記第1のページに切り替える切替処理を実行する
    タッチ動作認識方法。
JP2007330849A 2007-12-21 2007-12-21 情報処理装置及びタッチ動作認識方法 Active JP5239328B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007330849A JP5239328B2 (ja) 2007-12-21 2007-12-21 情報処理装置及びタッチ動作認識方法
US12/326,991 US20090160803A1 (en) 2007-12-21 2008-12-03 Information processing device and touch operation detection method
US13/938,932 US10168888B2 (en) 2007-12-21 2013-07-10 Information processing device and touch operation detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330849A JP5239328B2 (ja) 2007-12-21 2007-12-21 情報処理装置及びタッチ動作認識方法

Publications (3)

Publication Number Publication Date
JP2009151691A JP2009151691A (ja) 2009-07-09
JP2009151691A5 JP2009151691A5 (ja) 2010-04-15
JP5239328B2 true JP5239328B2 (ja) 2013-07-17

Family

ID=40788019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330849A Active JP5239328B2 (ja) 2007-12-21 2007-12-21 情報処理装置及びタッチ動作認識方法

Country Status (2)

Country Link
US (2) US20090160803A1 (ja)
JP (1) JP5239328B2 (ja)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8413065B2 (en) * 2009-09-07 2013-04-02 Qualcomm Incorporated User interface methods for ending an application
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
DE102010011039A1 (de) * 2010-03-11 2011-09-15 Volkswagen Ag Verfahren und Vorrichtung zum Betreiben einer Benutzerschnittstelle
KR20110103718A (ko) * 2010-03-15 2011-09-21 삼성전자주식회사 포터블 디바이스 및 그 제어방법
US9691281B2 (en) * 2010-03-24 2017-06-27 Telenav, Inc. Navigation system with image assisted navigation mechanism and method of operation thereof
JP5537458B2 (ja) * 2011-02-10 2014-07-02 シャープ株式会社 タッチ入力可能な画像表示装置、表示装置の制御装置、及びコンピュータプログラム
US20120218203A1 (en) 2011-02-10 2012-08-30 Kanki Noriyoshi Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP5875937B2 (ja) * 2011-05-25 2016-03-02 京セラ株式会社 携帯電子機器及び入力方法
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
WO2013039023A1 (ja) * 2011-09-15 2013-03-21 Necカシオモバイルコミュニケーションズ株式会社 電子付箋の書込情報処理装置及び方法
DE102011116187A1 (de) 2011-10-14 2013-04-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle
JP5745091B2 (ja) 2011-12-07 2015-07-08 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 電子文書の表示を行う方法、並びにその装置及びコンピュータ・プログラム
JP6103807B2 (ja) * 2012-01-10 2017-03-29 キヤノン株式会社 表示制御装置、その制御方法及びプログラム
JP5761526B2 (ja) 2012-03-01 2015-08-12 コニカミノルタ株式会社 操作表示装置
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
JP5991509B2 (ja) * 2012-03-02 2016-09-14 コニカミノルタ株式会社 情報処理装置、プログラム
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
JP5945926B2 (ja) * 2012-03-26 2016-07-05 コニカミノルタ株式会社 操作表示装置
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
JP5610644B2 (ja) 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置、入力支援方法及びプログラム
JP5461735B2 (ja) * 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
JPWO2013191028A1 (ja) 2012-06-22 2016-05-26 ソニー株式会社 検知装置、検知方法、及びプログラム
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
JP5665140B2 (ja) 2012-08-17 2015-02-04 Necソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
USD702140S1 (en) 2013-01-02 2014-04-08 Garmin Switzerland Gmbh Navigation device
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
CN104034339B (zh) * 2013-03-04 2017-03-08 观致汽车有限公司 车辆导航浏览电子地图的方法及装置
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
USD742258S1 (en) 2014-01-15 2015-11-03 Garmin Switzerland Gmbh Navigation device
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
JP6399834B2 (ja) * 2014-07-10 2018-10-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
JP6063431B2 (ja) * 2014-11-28 2017-01-18 京セラドキュメントソリューションズ株式会社 表示装置及び表示プログラム
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
CN104536680B (zh) * 2014-12-03 2018-06-19 惠州Tcl移动通信有限公司 基于触摸屏操作时间的移动终端操作触发方法及系统
JP6055459B2 (ja) 2014-12-17 2016-12-27 京セラドキュメントソリューションズ株式会社 タッチパネル装置、および画像処理装置
USD751933S1 (en) 2014-12-22 2016-03-22 Garmin Switzerland Gmbh Navigation device
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
JP2016042383A (ja) * 2015-11-25 2016-03-31 カシオ計算機株式会社 ユーザ操作処理装置、ユーザ操作処理方法及びプログラム
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
JP6323960B2 (ja) * 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP6614087B2 (ja) * 2016-10-06 2019-12-04 トヨタ自動車株式会社 車両用操作装置
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
CN106775743B (zh) * 2016-12-27 2020-05-19 宇龙计算机通信科技(深圳)有限公司 一种底部托盘与虚拟按键显示方法、装置和终端
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
CN107728836A (zh) * 2017-09-26 2018-02-23 出门问问信息科技有限公司 触摸操作的识别方法、装置及电子设备
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
USD1026685S1 (en) * 2021-11-24 2024-05-14 Navico, Inc. Marine electronics display device

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644185B2 (ja) * 1985-04-26 1994-06-08 日本電装株式会社 車両用走行案内装置
JPH03269717A (ja) 1990-03-20 1991-12-02 Hitachi Ltd データ選択方法及びその装置
US5608635A (en) * 1992-04-14 1997-03-04 Zexel Corporation Navigation system for a vehicle with route recalculation between multiple locations
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US6321158B1 (en) * 1994-06-24 2001-11-20 Delorme Publishing Company Integrated routing/mapping information
US5848373A (en) * 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
JP3181181B2 (ja) * 1994-11-11 2001-07-03 シャープ株式会社 文書情報処理装置
US5938720A (en) * 1995-02-09 1999-08-17 Visteon Technologies, Llc Route generation in a vehicle navigation system
JPH0962446A (ja) * 1995-08-22 1997-03-07 Matsushita Electric Works Ltd タッチパネル入力方法及びその装置
KR0183524B1 (ko) * 1995-09-27 1999-04-15 모리 하루오 네비게이션 장치
JPH10269021A (ja) * 1997-03-25 1998-10-09 Sharp Corp タッチパネル入力装置
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
JPH11259206A (ja) 1998-03-09 1999-09-24 Fujitsu Ltd 赤外線検出式入力装置
JP3385965B2 (ja) * 1998-04-20 2003-03-10 セイコーエプソン株式会社 入力装置及び入力方法
US6539080B1 (en) * 1998-07-14 2003-03-25 Ameritech Corporation Method and system for providing quick directions
JP2000137564A (ja) * 1998-11-02 2000-05-16 Pioneer Electronic Corp 画面操作装置および方法
JP4155671B2 (ja) * 1999-07-12 2008-09-24 アルパイン株式会社 車載用ナビゲーション装置
EP1282855B1 (en) * 2000-03-17 2011-10-12 Microsoft Corporation System and method for abstracting and visualizing a route map
JP3513084B2 (ja) * 2000-06-14 2004-03-31 株式会社東芝 情報処理システム、情報機器及び情報処理方法
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
US6405129B1 (en) * 2000-11-29 2002-06-11 Alpine Electronics, Inc. Method of displaying POI icons for navigation apparatus
US6542817B2 (en) * 2001-03-13 2003-04-01 Alpine Electronics, Inc. Route search method in navigation system
US6571169B2 (en) * 2001-03-16 2003-05-27 Alpine Electronics, Inc. Destination input method in navigation system and navigation system
US6640185B2 (en) * 2001-07-21 2003-10-28 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
JP3842617B2 (ja) * 2001-10-31 2006-11-08 株式会社ケンウッド タッチパネル入力装置、オーディオ装置及び入力方法
JP2003172624A (ja) * 2001-12-10 2003-06-20 Mitsubishi Electric Corp 交差点検索装置および交差点検索方法
JP2003263144A (ja) 2002-03-11 2003-09-19 Toshiba Corp 情報処理装置および表示制御方法
FI20020847A (fi) * 2002-05-03 2003-11-04 Nokia Corp Menetelmä ja laite valikkotoimintojen käyttämiseksi
US7103854B2 (en) * 2002-06-27 2006-09-05 Tele Atlas North America, Inc. System and method for associating text and graphical views of map information
JP4300767B2 (ja) * 2002-08-05 2009-07-22 ソニー株式会社 ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
US7272497B2 (en) * 2003-03-24 2007-09-18 Fuji Jukogyo Kabushiki Kaisha Vehicle navigation system with multi-use display
US6856901B2 (en) * 2003-06-02 2005-02-15 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP4192731B2 (ja) * 2003-09-09 2008-12-10 ソニー株式会社 案内情報提供装置及びプログラム
JP4395408B2 (ja) * 2004-05-07 2010-01-06 Hoya株式会社 タッチパネル付き入力装置
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP2004348755A (ja) 2004-06-23 2004-12-09 Sharp Corp 電子ブック表示制御装置
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
JP2006215915A (ja) * 2005-02-04 2006-08-17 Ricoh Co Ltd 画像処理装置及び画像処理装置の制御方法
TW200632770A (en) * 2005-03-07 2006-09-16 Giga Byte Comm Inc POI data structure and method for operating and applying the same
JP4135110B2 (ja) * 2005-03-15 2008-08-20 ソニー株式会社 地点検索装置、検索方法
US7449895B2 (en) 2005-06-03 2008-11-11 Synaptics Incorporated Methods and systems for detecting a capacitance using switched charge transfer techniques
KR101340860B1 (ko) * 2005-06-03 2013-12-13 시냅틱스, 인코포레이티드 시그마 델타 측정 기술들을 사용하여 캐패시턴스를검출하기 위한 방법들 및 시스템
EP1894025A1 (en) * 2005-06-03 2008-03-05 Synaptics Incorporated Methods and systems for detecting a capacitance using sigma-delta measurement techniques
JP2007018095A (ja) 2005-07-05 2007-01-25 Matsushita Electric Ind Co Ltd 電子表示装置
ATE409307T1 (de) * 2006-03-31 2008-10-15 Research In Motion Ltd Benutzerschnittstellenverfahren und vorrichtung zur steuerung der visuellen anzeige von karten mit auswählbaren kartenelementen bei mobilen kommunikationsvorrichtungen
US10313505B2 (en) * 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US7752555B2 (en) * 2007-01-31 2010-07-06 Microsoft Corporation Controlling multiple map application operations with a single gesture
KR100875374B1 (ko) * 2007-03-07 2008-12-23 팅크웨어(주) 트리 구조의 명칭 검색 방법 및 그 시스템
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8874364B2 (en) * 2007-08-02 2014-10-28 Volkswagen Ag Navigation system
US8334847B2 (en) * 2007-10-19 2012-12-18 Qnx Software Systems Limited System having user interface using object selection and gestures

Also Published As

Publication number Publication date
US10168888B2 (en) 2019-01-01
US20130300698A1 (en) 2013-11-14
US20090160803A1 (en) 2009-06-25
JP2009151691A (ja) 2009-07-09

Similar Documents

Publication Publication Date Title
JP5239328B2 (ja) 情報処理装置及びタッチ動作認識方法
JP5210497B2 (ja) ナビゲーション装置
JP5007782B2 (ja) ナビゲーション装置および地図表示縮尺設定方法
US8477096B2 (en) Display apparatus and method of controlling same
KR100260760B1 (ko) 터치패널을 병설한 정보표시장치
JP4686886B2 (ja) 情報処理装置
JP4725731B2 (ja) 車載用ナビゲーション装置
US7956853B2 (en) Apparatus operating system
JP2012181845A (ja) 画面表示装置
CN1979095A (zh) 导航系统
JP2002350151A (ja) ナビゲーション装置
JP2005292970A (ja) 施設検索装置、プログラム、ナビゲーション装置、及び施設検索方法
JP2008216991A (ja) 表示装置
JP2010128685A (ja) 電子機器
JPH10141974A (ja) カーナビゲーション装置およびその操作方法
JP2005044220A (ja) 文字入力装置
JP4884689B2 (ja) ナビゲーション装置及びその方法並びにプログラム
JPH1183504A (ja) ナビゲーション装置
JP4001049B2 (ja) ナビゲーション装置
JP2003157135A (ja) タッチパネルを併設した情報表示装置、ナビゲーション装置及び記録媒体
JP4341378B2 (ja) ナビゲーション装置
JP2013016114A (ja) タッチパネルディスプレイのタッチ位置検出装置
JP2005128708A (ja) 入力処理システム
JP5040402B2 (ja) ナビゲーション装置およびナビゲーション画面表示方法
JP2005062044A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100226

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121031

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5239328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250