JP2010086230A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2010086230A
JP2010086230A JP2008253818A JP2008253818A JP2010086230A JP 2010086230 A JP2010086230 A JP 2010086230A JP 2008253818 A JP2008253818 A JP 2008253818A JP 2008253818 A JP2008253818 A JP 2008253818A JP 2010086230 A JP2010086230 A JP 2010086230A
Authority
JP
Japan
Prior art keywords
information processing
unit
enlargement ratio
operating
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008253818A
Other languages
English (en)
Inventor
Tetsuo Ikeda
哲男 池田
Tatsu Aoyama
龍 青山
Hiroshi Ueno
比呂至 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008253818A priority Critical patent/JP2010086230A/ja
Priority to EP09251967A priority patent/EP2169529A3/en
Priority to US12/567,471 priority patent/US8581938B2/en
Priority to CN2009101785817A priority patent/CN101714056B/zh
Publication of JP2010086230A publication Critical patent/JP2010086230A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】平易な操作で表示されている内容をスクロールさせることが可能であり、かつ、スクロール量の微調整を容易に行うことが可能な情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】本発明に係る情報処理装置に、操作入力部上に位置する操作体の位置を検出する入力位置検出部と、検出された操作体の位置の時間変化に基づいて、操作体の移動方向を検知する方向検知部と、入力位置検出部により検出された操作体の個数に応じて、画面の拡大率を変更する拡大率変更部と、画面に表示された表示内容を、方向検知部により検知された操作体の移動方向に沿って移動させる表示内容移動部と、を設けた。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
近年、タッチパネルやタッチパッド（以下、タッチパネルと称する。）を搭載した携帯型の情報処理装置が広く普及してきている。このような携帯型の情報処理装置としては、例えば、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯動画プレーヤ、携帯音楽プレーヤ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等がある。さらに、最近では、テレビジョン受像機、携帯ゲーム機、リモートコントローラ（以下、リモコン）等にもタッチパネルが搭載されるようになってきている。また、これらの情報処理装置の中には、タッチパネル以外の操作手段を持たないものもある。そのような情報処理装置を利用するユーザは、タッチパネルを利用してほぼ全ての操作を行うことになる。
例えば、下記の特許文献１には、表示画面を触る指の動く方向に基づいて、表示画面に表示されている画面を切り替える方法が記載されている。このような方法を用いることで、情報処理装置を直感的な操作で使用することが可能となる。
上述のようなタッチパネルを搭載した情報処理装置で実行されるアプリケーションの一例として、所望の場所の地図を表示させる地図アプリケーションがある。このような地図アプリケーションにおいて、下記特許文献１の方法を適用することで、ユーザは、指やスタイラス等（以下、操作体と称する。）を移動させることで、画面上に表示される地図をスクロールさせることができる。
また、下記の特許文献２には、画面中央と操作体が触った位置との距離に応じて、表示地図の縮尺を変化させながら、表示画面をスクロールさせる方法が記載されている。
特開平８−７６９２６号公報 特開２００７−２５６３３８号公報
しかしながら、上述の特許文献１の方法を用いた地図アプリケーションで表示された地図を大きくスクロールさせたい場合には、ドラッグ操作を何度も繰り返したり、縮尺を変更してからドラッグしたりする必要があり、操作性が損なわれるという問題があった。
また、上述の特許文献２の方法を用いた場合には、大きくスクロールすると画面が目まぐるしく変化するため、現在位置を見失いやすく、スクロール量の微調整が困難であるという問題があった。
そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、平易な操作で表示されている内容をスクロールさせることが可能であり、かつ、スクロール量の微調整を容易に行うことが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、操作入力部上に位置する操作体の位置を検出する入力位置検出部と、検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知部と、前記入力位置検出部により検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更部と、前記画面に表示された表示内容を、前記方向検知部により検知された前記操作体の移動方向に沿って移動させる表示内容移動部とを備える情報処理装置が提供される。
かかる構成によれば、入力位置検出部は、操作入力部上に位置する操作体の位置を検出する。また、方向検知部は、検出された操作体の位置の時間変化に基づいて、操作体の移動方法を検知する。また、拡大率変更部は、入力位置検出部により検出された操作体の個数に応じて、画面の拡大率を変更する。また、表示内容移動部は、画面に表示された表示内容を、方向検知部により検知された操作体の移動方向に沿って移動させる。
前記入力位置検出部は、前記操作入力部上に位置した前記操作体の座標を出力し、前記拡大率変更部は、前記入力位置検出部から同時に伝送された前記操作体の座標の数に応じて、前記拡大率を変更してもよい。
前記拡大率変更部は、前記操作体の個数が増加するにつれて前記拡大率を減少させ、前記操作体の個数が減少するにつれて前記拡大率を増加させてもよい。
前記方向検知部は、前記操作体の個数が複数である場合に、それぞれの前記操作体が描く軌跡がつくるベクトルの和に該当する方向を、移動方向として選択してもよい。
前記方向検知部は、前記入力位置検出部から伝送された前記操作体の座標が、所定の閾値以上変化した場合に、前記操作体は移動したと判断してもよい。
前記表示内容移動部は、前記拡大率によらず、前記画面に表示された表示内容を前記操作体の移動量に応じて一定の速度で移動させてもよい。
上記課題を解決するために、本発明の別の観点によれば、操作入力部上に位置する操作体の位置を検出する入力位置検出ステップと、検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知ステップと、検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更ステップと、前記画面に表示された表示内容を、検知された前記操作体の移動方向に沿って移動させる表示内容移動ステップとを含む情報処理方法が提供される。
上記課題を解決するために、本発明の更に別の観点によれば、操作入力部を有するコンピュータに、前記操作入力部上に位置する操作体の位置を検出する入力位置検出機能と、検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知機能と、検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更機能と、前記画面に表示された表示内容を、検知された前記操作体の移動方向に沿って移動させる表示内容移動機能と、を実現させるためのプログラムが提供される。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上説明したように本発明によれば、平易な操作で表示されている内容をスクロールさせることが可能であり、かつ、スクロール量の微調整を容易に行うことが可能である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
（１）目的
（２）第１の実施形態
（２−１）情報処理装置の全体構成について
（２−２）情報処理装置の機能構成について
（２−３）情報処理方法について
（２−４）地図アプリケーションへの適用例について
（３）本発明の各実施形態に係る情報処理装置のハードウェア構成について
（４）まとめ
＜目的＞
本発明の実施形体について説明するに先立ち、図９および図１０を参照しながら、一般的な情報処理方法について、簡単に説明する。図９および図１０は、従来のアプリケーションにおける情報処理方法を説明するための説明図である。なお、以下に示す図９および図１０では、従来のアプリケーションの一例として、表示画面上に地図を表示する地図アプリケーションを例にとって説明を行う。
まず、図９を参照する。図９では、タッチパネルを備えた表示画面上に、ある地域の地図を表示するための地図表示領域と、表示される地図の縮尺を選択するための縮尺設定領域とが表示されている。ユーザは、ある地域の地図を表示させるために、まず、縮尺設定領域を操作して、表示させたい地域の大まかな場所を選択した上で、縮尺を小さくして、より詳細な地図が表示されるようにする。その上で、希望する地域が正しく表示されるように、指などの操作体を用いて、表示されている地図をスクロールさせる。
図９に示したような地図アプリケーションでは、操作体である指のドラッグ操作に追随して地図がスクロールする。すなわち、図９において、斜線で示した建物は、図のような右方向へのドラッグ操作に応じて、右側にスクロールする。そのため、ユーザは、直感的な操作でこのアプリケーションを利用することが可能となる。しかしながら、表示されている地図を大きくスクロールさせたい場合には、操作体によるドラッグ操作を何度も繰り返して行ったり、縮尺設定領域で縮尺を変更した上でドラッグ操作を行ったりする必要がある。そのため、このような操作方法を用いたアプリケーションでは、表示されている内容を大きくスクロールさせる情報処理操作を行う場合には、ユーザの操作性が損なわれるという問題がある。
次に、図１０を参照する。図１０においても、タッチパネルを備えた表示画面上に、ある地域の地図を表示するための地図表示領域と、表示される地図の縮尺を選択するための縮尺設定領域とが表示されている。また、地図表示領域上には、現在位置を表すマーカーが表示されている。このような地図アプリケーションは、マーカーから出ている矢印がマーカーからどのくらい離れているかに応じて、表示されている地図のスクロール量を決定する。すなわち、指などの操作体でマーカーを操作する際、矢印がマーカーに近い状態では小さくスクロールし、離れた状態では大きくスクロールする。このようなスクロール処理は、スクロール量の調整が可能となる。しかしながら、このようなスクロール処理は、大きくスクロールすると画面が目まぐるしく変化するため、現在位置を見失いやすく、スクロール量の微調整が困難であるという問題がある。
また、このようなスクロール処理は、マーカーを動かして操作を行うため、タッチパネルを操作体でスクロールする向きと逆向きに地図がスクロールしてしまう。すなわち、図１０において、画面中央部に位置する斜線で示した建物は、操作体を右にスクロールさせると、左へと移動する。このように、ユーザの直感的な操作とは逆の処理がなされてしまうため、ユーザは、アプリケーションの操作に先立って、操作法の学習を強いられるという問題点も存在する。
そこで、本願発明者らは、上述のような問題点を解決し、平易な操作で表示されている内容をスクロールさせることが可能であり、かつ、スクロール量の微調整を容易に行うことが可能な方法の提供を目的とし、以下で説明するような技術に想到した。
（第１の実施形態）
＜情報処理装置の全体構成について＞
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理装置の全体構成について説明する。図１は、本実施形態に係る情報処理装置１００の外観を説明するための説明図である。なお、以下の説明では、情報処理装置１００が表示部の表示画面に地図を表示させる地図アプリケーションを実行している場合を例にとって、説明を行うものとする。
図１に示すように、情報処理装置１００には、タッチパネル１０１を備えた表示部（以下、タッチパネル１０１と略記する。）が設けられている。タッチパネル１０１には、図１に示したように、地図などの各種情報が表示される。タッチパネル１０１に表示されている各種情報は、操作体１２の接触や移動に対応して、スクロール等の所定の処理が施される。また、タッチパネル１０１には特定処理領域が設けられていてもよい。この特定処理領域には、例えば、所定の処理を実行するためのアイコン等のオブジェクトが表示されており、この特定表示領域が選択されることにより、表示されたオブジェクトに対応付けられた所定の処理が実行される。
情報処理装置１００は、操作体１２の接触や移動に対し、オブジェクトの選択や表示内容の移動といった特定の処理のみを実行するわけではない。例えば、操作体１２がタッチパネル１０１に接触した状態で所定の軌跡を描きながら移動した場合、情報処理装置１００は、操作体１２が描いた軌跡に対応する所定の処理を実行する。つまり、情報処理装置１００は、ジェスチャー入力機能を有している。例えば、所定のジェスチャーが入力された場合に、そのジェスチャーに対応付けられているアプリケーションが起動したり、あるいは、そのジェスチャーに対応付けられている所定の処理が実行されたりする。
操作体１２としては、例えば、ユーザの指等が用いられる。また、操作体１２として、例えば、スタイラスやタッチペン等が用いられることもある。また、タッチパネル１０１が光学式のものである場合、任意の物体が操作体１２になり得る。例えば、タッチパネル１０１が光学式のものである場合、タッチパネル１０１の押圧が難しいブラシのような軟質の道具も操作体１２として用いることができる。さらに、タッチパネル１０１がインセル型の光学式タッチパネルである場合、タッチパネル１０１に陰影が映るものであれば、どのような物体でも操作体１２になり得る。
ここで、インセル型の光学式タッチパネルについて簡単に説明する。光学式タッチパネルには、いくつかの種類がある。例えば、液晶ディスプレイを構成する液晶パネルの外枠に光学センサが設けられており、この光学センサにより液晶パネルに接触した操作体１２の位置や移動方向が検知される方式の光学式タッチパネルが比較的良く知られている。この方式とは異なり、インセル型の光学式タッチパネルは、液晶パネルに光学式センサアレイを搭載し、この光学式センサアレイにより液晶パネルに接触又は近接した操作体１２の位置や移動方向を検知する機構を有するものである。
より詳細には、光学式タッチパネルのガラス基板上に光センサおよびリード回路が形成されており、その光センサにより外部から入射される光が検知され、その強度がリード回路により読み出されることで操作体１２の陰影が認識される。このように、インセル型の光学式タッチパネルにおいては、操作体１２の陰影に基づいて操作体１２の形状や接触面積等が認識できる。そのため、他の光学式タッチパネルでは難しいとされていた接触「面」による操作が実現可能になる。また、インセル型の光学式タッチパネルを適用することにより、認識精度の向上や表示品質の向上、さらには、それを搭載した液晶ディスプレイ等におけるデザイン性の向上というメリットが得られる。
なお、タッチパネル１０１が搭載される情報処理装置１００の構成は、例えば、図２のように変更することもできる。図２の例では、情報処理装置１００を構成するタッチパネル１０１と、タッチパネル１０１により検出された操作体１２の位置情報等を処理する演算処理装置１０３とが、別体として構成されている。この構成例の場合、オブジェクトの選択や表示内容の移動といった処理に応じて発生するデータの処理は、演算処理装置１０３により実行される。このように、情報処理装置１００は、実施の態様に応じて、その構成を自由に変形することが可能である。
なお、情報処理装置１００の機能は、例えば、携帯情報端末、携帯電話、携帯ゲーム機、携帯ミュージックプレーヤ、放送機器、パーソナルコンピュータ、カーナビゲーションシステム、または、情報家電等により実現される。
＜情報処理装置の機能構成について＞
続いて、図３を参照しながら、本実施形態に係る情報処理装置の機能構成について、詳細に説明する。図３は、本実施形態に係る情報処理装置１００の機能構成を説明するためのブロック図である。
本実施形態に係る情報処理装置１００は、例えば図３に示したように、タッチパネル１０１と、方向検知部１０７と、アプリケーション制御部１０９と、表示制御部１１５と、記憶部１１７と、を主に備える。
タッチパネル１０１は、本実施形態に係る情報処理装置１００に設けられた操作入力部である。このタッチパネル１０１は、上述のような光学式タッチパネルであってもよく、インセル型の光学式タッチパネルであってもよい。このタッチパネル１０１は、情報処理装置１００が備えるディスプレイデバイス等の表示部（図示せず。）と一体に形成されていてもよいし、別体として形成されていてもよい。このタッチパネル１０１は、さらに、入力位置検出部１０５を備える。
入力位置検出部１０５は、操作体１２によって接触されたタッチパネル１０１の位置を検出する。入力位置検出部１０５は、操作体１２により接触された際にタッチパネル１０１に掛かった押圧力を検知できるように構成されていてもよい。また、入力位置検出部１０５は、操作体１２により直接接触されていなくても、タッチパネル１０１に近接したタッチパネル１０１上の空間に操作体１２が存在するのを検知し、接触位置として認識できる機能を有していてもよい。つまり、ここで言う接触位置は、操作体１２がタッチパネル１０１の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
入力位置検出部１０５は、検出した接触位置に関する情報（より詳細には、接触位置の座標）を、入力位置情報として方向検知部１０７およびアプリケーション制御部１０９に伝送する。例えば、図４に示したように、検出した接触位置が１箇所である場合には、入力位置検出部１０５は、入力位置情報として、１つの座標（Ｘ１，Ｙ１）を出力する。また、検出した接触位置が２箇所である場合には、入力位置検出部１０５は、検出した複数の座標（Ｘ１，Ｙ１）、（Ｘ２、Ｙ２）を出力する。
方向検知部１０７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されている。方向検知部１０７は、入力位置検出部１０５から伝送された入力位置情報である座標値を用いて、操作体１２の移動方向を検知する。
より詳細には、方向検知部１０７は、所定の時間間隔毎（例えば、数ミリ秒〜数百ミリ秒毎）に伝送される入力位置情報の変化に基づいて、操作体１２の移動方向を検知する。例えば、図４に示したように、方向検知部１０７には、操作体１２の移動の有無を判定するために利用される移動判定エリアが設定されている。この移動判定エリアは、タッチパネル１０１における隣接する２つの接触位置を区別可能な分解能等の性能に応じて、任意の広さに設定することが可能であり、例えば、半径１０ピクセル程度とすることができる。方向検知部１０７は、伝送される入力位置情報が、この移動判定エリアの範囲を超えて変化した場合に、操作体１２は移動したと判断する。また、伝送される入力位置情報が、移動判定エリアの範囲を超えないような変化をした場合には、方向検知部１０７は、操作体１２により、いわゆるタッピング動作がなされたと判断することが可能である。この操作体１２が移動したか否かに関する判断は、同じタイミングで伝送された全ての入力位置情報に対して行われる。すなわち、同じタイミングで２個の座標値が入力位置情報として伝送された場合には、方向検知部１０７は、この２個の座標値それぞれの時間変化について上述のような判断を行う。
また、伝送された入力位置情報が、移動判定エリアの範囲を超えて変化した場合に、方向検知部１０７は、伝送された入力位置情報が時間変化と共に描く軌跡がつくるベクトルの方向を、移動方向として検知する。また、上記ベクトルの大きさが、操作体１２の移動量となる。
例えば、図５に示したように、入力位置検出部１０５から、時刻ｔ１において座標Ａ（Ｘ１（ｔ１），Ｙ１（ｔ１））が伝送され、この入力位置情報に対応する時刻ｔ２における位置が、座標Ａ’（Ｘ３（ｔ２），Ｙ３（ｔ２））であった場合を考える。この際、方向検知部１０７は、始点座標Ａ、終点座標Ａ’で定義されるベクトルＶ１が表す方向を、座標Ａに接触した操作体１２の移動方向として検知する。また、方向検知部１０７は、ベクトルＶ１の大きさを、操作体１２の移動量とする。
また、図５に示したように、入力位置検出部１０５から、時刻ｔ１において、座標Ａ（Ｘ１（ｔ１），Ｙ１（ｔ１））および座標Ｂ（Ｘ２（ｔ１），Ｙ２（ｔ１））が伝送された場合を考える。この場合にも、それぞれの入力位置情報に対応する時刻ｔ２における座標Ａ’およびＢ’に基づいて、それぞれベクトルＶ１およびベクトルＶ２が定義される。ここで、方向検知部１０７は、同じタイミングで複数個の入力位置情報が伝送された場合には、それぞれの入力位置情報から生成される個々のベクトルを移動方向とするのではなく、以下のような方法で、移動方向を決定する。
例えば、図５に示したように、方向検知部１０７は、２つのベクトルＶ１およびＶ２の和に該当する方向を、移動方向として決定することが可能である。また、２個の入力位置座標が伝送された場合だけでなく、３個以上の入力位置座標が同じタイミングで伝送された場合であっても、個々の入力位置座標の時間変化に伴って定義されるベクトル同士の和をとることで、移動方向を一意に決定することが可能である。複数のベクトルに基づいて移動方向を決定した場合には、方向検知部１０７は、ベクトルの和の大きさを移動量としてもよく、いずれか一つのベクトルの大きさを移動量としてもよい。
また、図５に示したように、方向検知部１０７は、２つのベクトルＶ１およびＶ２のなす角θに着目して、移動方向を決定することも可能である。この場合においても、方向検知部１０７は、３個以上の入力位置座標が同じタイミングで伝送された際に、まず、個々の入力位置座標の時間変化に伴って定義されるベクトルを定義する。続いて、方向検知部１０７は、定義したベクトルの中から１つのベクトルに着目し、この１つのベクトルと他のベクトルとのなす角を考慮することで、移動方向を決定することができる。すなわち、なす角θが所定の閾値よりも小さく、例えば鋭角である場合には、それぞれのベクトルは、同様の方向を指していることを示す。また、なす角θが所定の閾値よりも大きく、例えば鈍角である場合には、それぞれのベクトルは、互いに離れていくような方向を指していることを示す。
方向検知部１０７は、上述のようにして検知された操作体１２の移動方向および移動量を含む方向情報を、アプリケーション制御部１０９に伝送する。
アプリケーション制御部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されており、後述する記憶部１１７やＲＯＭ等に格納されている各種アプリケーションの実行制御を行う。アプリケーション制御部１０９が制御するアプリケーションは、表示部（図示せず。）の表示画面上に拡大率を変更して様々な情報を表示し、表示画面上に表示されている内容を、所定の操作に応じてスクロールさせることが可能なものである。このようなアプリケーションの一例として、例えば、地図を表示させるための地図アプリケーションや、Ｗｅｂブラウザや、電子メールを送受信するためのメーラーや、ＰＤＦビューワや、電子書籍の閲覧アプリケーション等がある。このアプリケーション制御部１０９は、例えば図３に示したように、拡大率変更部１１１と、表示内容移動部１１３と、を更に備える。
拡大率変更部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、入力位置検出部１０５から伝送される入力位置情報に基づいて、アプリケーション制御部１０９が表示画面に表示している内容の拡大率を変更する。
ここで、拡大率は、実際に表示画面に表示されている内容の表示の大きさと、表示されている内容の基準となる大きさと、の比率であってもよく、地図を表示する際に用いられる縮尺のようなものであってもよい。拡大率が比率である場合に、１よりも大きい拡大率は、表示内容を基準となる大きさよりも大きくして表示していることを示す。また、１よりも小さい拡大率は、表示内容を基準となる大きさよりも小さくして表示していることを示す。また、拡大率として縮尺が用いられる場合には、縮尺を表す数字が小さいほど、狭い範囲が表示されていることを示す。すなわち、縮尺を表す数字が小さいほど、ある特定の領域が拡大されて表示されていることを意味する。
拡大率変更部１１１は、より詳細には、入力位置検知部１０５から伝送される座標値の個数に応じて、拡大率を変更する。また、拡大率変更部１１１は、伝送される座標値の個数が増加するにつれて拡大率を減少させ、座標値の個数が減少するにつれて拡大率を増加させる。この拡大率の変更処理は、例えば連続的に行われる。
伝送された座標値の個数と、実行中のアプリケーションにおける拡大率との関係は、アプリケーション毎に自由に定義され、例えば、データベースや対応テーブルのような形で、後述する記憶部１１７に記録されていてもよい。また、伝送された座標値の個数と、実行中のアプリケーションにおける拡大率との関係は、予めアプリケーション中に定義されていてもよい。
拡大率変更部１１１は、変更した拡大率に応じて表示部（図示せず。）に表示する表示画面の大きさを変更し、表示制御部１１５に表示画面の制御を要請する。
表示内容移動部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されており、方向検知部１０７から伝送される方向情報に基づいて、表示画面に表示されている内容をスクロールさせる。より詳細には、表示内容移動部１１３は、方向検知部１０７から伝送される操作体１２の移動方向に応じて、表示画面に表示されている内容を、操作体１２の移動方向にスクロールさせる。また、スクロールさせる量（スクロール量）は、方向検知部１０７から伝送される操作体１２の移動量に応じて決定される。すなわち、表示内容移動部１１３は、表示内容をスクロールさせるピクセル数を、操作体１２の移動量に応じて所定の関係に基づいて決定し、一定の速度で移動させることができる。例えば、表示内容移動部１１３は、操作体１２の移動量とスクロールさせるピクセル数とを所定の線形関係となるように定義しておくことが可能である。
また、表示内容移動部１１３は、拡大率変更部１１１が決定した拡大率に応じて、表示内容をスクロールさせる量を変更してもよい。
表示内容移動部１１３は、決定したスクロール量に応じて表示部（図示せず。）に表示する表示画面の表示内容を変更し、表示制御部１１５に表示画面の制御を要請する。
表示制御部１１５は、任意の情報に関して、表示部（図示せず。）に情報が表示されるように制御する手段である。表示制御部１１５は、後述する記憶部１１７等に記録されている表示データを読み出して、アプリケーション制御部１０９の指示に基づいて、表示部（図示せず。）に表示させる。
また、表示制御部１１５は、拡大率変更部１１１から伝送された指示に基づいて、表示部に表示させている画面の表示制御を行う。さらに、表示制御部１１５は、表示内容移動部１１３から伝送された指示に基づいて、表示部に表示させている画面のスクロール制御を行う。その結果、表示部に表示されている表示内容が、拡大または縮小したり、スクロールしたりする。
記憶部１１７には、本実施形態に係る情報処理装置１００が備えるアプリケーション制御部１０９が実行する各種アプリケーションが格納されている。また、記憶部１１７には、アプリケーション制御部１０９が実行制御しているアプリケーションが表示部に表示する情報に関するデータが格納さえている。記憶部１１７に格納されているアプリケーションは、アプリケーション制御部１０９により読み出されて実行される。また、実行中のアプリケーションは、記憶部１１７に記録されている表示データを読み出して、表示画面に表示させる。
また、記憶部１１７には、タッチパネル１０１に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェースを構成する任意のパーツ類が含まれる。また、記憶部１１７には、個々のオブジェクトデータに対し、属性情報が対応付けて格納されている。属性情報としては、例えば、オブジェクトデータまたはオブジェクトデータに関連づけられた実体データの作成日時、更新日時、作成者名、更新者名、実体データの種別、実体データのサイズ、重要度、優先度等がある。
また、記憶部１１７は、これらのデータ以外にも、情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部１１７は、入力位置検出部１０５、方向検知部１０７、アプリケーション制御部１０９、拡大率変更部１１１、表示内容移動部１１３、表示制御部１１５等が、自由に読み書きを行うことが可能である。
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
＜情報処理方法について＞
続いて、図６を参照しながら、本実施形態に係る情報処理方法について、詳細に説明する。図６は、本実施形態に係る情報処理方法について説明するための流れ図である。
まず、情報処理装置１０のユーザは、指やスタイラス等の操作体１２を用いてタッチパネル１０１を操作し、実行を希望するアプリケーションに関連づけられたアイコン等のオブジェクトを選択する。これにより、情報処理装置１０のアプリケーション制御部１０９は、選択されたオブジェクトに関連づけられたアプリケーションを起動する（ステップＳ１０１）。
続いて、アプリケーション制御部１０９は、ユーザによる入力を待ち受け、アプリケーションの終了操作が入力されたか否かを判断する（ステップＳ１０３）。ユーザによりアプリケーションの終了操作が入力された場合には、アプリケーション制御部１０９は、起動中のアプリケーションを終了する（ステップＳ１０５）。
また、アプリケーションの終了操作が入力されない場合には、アプリケーション制御部１０９は、更に、ユーザによる入力を待ち受ける。
ユーザが、操作体１２を操作して、タッチパネル１０１に触ると、入力位置制御部１０５は、操作体１２がタッチパネル１０１に接触している位置を検出し（ステップＳ１０７）、接触位置に該当する座標値を、入力位置情報として方向検知部１０７およびアプリケーション制御部１０９に伝送する。
入力位置情報が伝送されたアプリケーション制御部１０９の拡大率変更部１１１は、伝送された座標値の個数（すなわち、操作体１２の個数）に応じて、拡大率を変更する（ステップＳ１０９）。続いて、拡大率変更部１１１は、変更後の拡大率に応じて表示部（図示せず。）に表示する表示画面の大きさを変更し、表示制御部１１５に表示画面の制御を要請する。
他方、入力位置検出部１０５から入力位置情報が伝送された方向検知部１０７は、伝送された入力位置情報の時間変化に基づいて、操作体１２の移動方向および移動量を検知する（ステップＳ１１１）。より詳細には、方向検知部１０７は、伝送された座標値の時間変化によって描かれる軌跡がつくるベクトルの向きを移動方向とし、ベクトルの大きさを移動量とする。また、同じタイミングで伝送される座標値が複数存在した場合には、方向検知部１０７は、各座標値の時間変化に応じたベクトルの和に該当する方向を、移動方向とする。
方向検知部１０７は、検知した移動方向および移動量を含む方向情報を、アプリケーション制御部１０９の表示内容移動部１１３に伝送する。
方向情報が伝送された表示内容移動部１１３は、方向情報に含まれる移動方向に応じて、表示画面に表示されている内容のスクロール方向を決定する（ステップＳ１１３）。また、表示内容移動部１１３は、方向情報に含まれる移動量に応じて、表示画面に表示されている内容のスクロール量を決定する（ステップＳ１１３）。続いて、表示内容移動部１１３は、決定したスクロール方向およびスクロール量に応じて表示部（図示せず。）に表示されている表示画面をスクロールさせるように、表示制御部１１５に表示画面の制御を要請する。
拡大率変更部１１１および表示内容移動部１１３から、表示画面の表示制御に関する指示要請が伝送された表示制御部１１５は、各処理部から伝送された指示の内容に基づいて、表示部（図示せず。）に表示している表示内容の表示制御を行う（ステップＳ１１５）。
表示内容の変更が終了すると、情報処理装置１０は、再びステップＳ１０３に戻り、ユーザからの入力を待ち受ける。
なお、本実施形態に係る情報処理方法では、操作体１２の個数に変化がなく、かつ、操作体１２の移動のみが検知された場合には、表示内容のスクロール処理のみを実行する。また、操作体１２の移動が検知されず、かつ、操作体１２の個数のみが変化した場合には、本実施形態に係る情報処理方法は、画面の拡大率の変更処理のみを実行する。
以上説明したように、本実施形態に係る情報処理方法では、入力に用いる指やスタイラス等の操作体１２の本数に応じて表示画面の拡大率を変化させ、操作体１２の移動方向および移動量に応じて、表示内容のスクロール方向およびスクロール量を変化させる。これにより、本実施形態に係る情報処理方法は、シームレスかつ直感的な操作を実現することが可能となる。また、本実施形態に係る情報処理方法は、操作中に指やスタイラスの本数を調整するという簡単な操作を行うだけでスクロール量の微調整が容易に行うことが可能な操作体系を提供することができる。
＜地図アプリケーションへの適用例について＞
次に、図７を参照しながら、本実施形態に係る情報処理方法を、地図アプリケーションに対して適用した例について、簡単に説明する。図７は、本実施形態に係る情報処理方法の一例を説明するための説明図である。
一般に、地図アプリケーションでは、目的地までのスクロール操作が頻繁に行われる。そこで、本実施形態に係る情報処理方法を用いて、指等の操作体で地図をドラッグすることで、拡大率に相当する縮尺とスクロール量とを変化させる。
例えば、本適用例では、図７に示したように、操作体１本での操作を「縮尺１００ｍでスクロール」に対応させ、操作体２本での操作を「縮尺２００ｍでスクロール」に対応させ、操作体３本での操作を「縮尺４００ｍでスクロール」に対応させる。なお、図７では、操作体３本までの操作について図示しているが、操作体４本以上の操作についても、同様に縮尺を設定することが可能であることは言うまでもない。拡大率変更部１１１および表示内容移動部１１３が、上述のような拡大率と表示内容との制御を行うことで、スクロール量と縮尺を操作体の本数に応じて変化させることが可能である。
本実施形態に係る情報処理方法を適用した地図アプリケーションでは、操作体の本数の変化に合わせて縮尺を変化させるため、表示される地図が操作体に付随してスクロールする実装が可能となる。その結果、ユーザは、指などの操作体のみを用い、直感的かつシームレスにスクロール量を調整することが可能である。
例えば、任意の地点までスクロール操作を行う場合、ユーザは、まず、操作体３本を用いて、縮尺４００ｍでの表示のもとに大きく地図をスクロールさせる。目的地が近づいたら、ユーザは、操作体を１本離して２本で操作し、さらに近づいたら、操作体をもう１本離して１本で操作する。このような操作を行うと、図７に示したように、操作体３本を用いた操作では、画面には縮尺４００ｍにおける地図が表示され、操作体２本を用いた操作では、画面上には縮尺２００ｍにおける地図が表示される。また、操作体１本を用いた操作では、図７に示したように、画面上には縮尺１００ｍにおける地図が表示される。このような操作を行って操作体の本数を徐々に減らすことで、地図の縮尺が連続的に変化するため、ドラッグ量の微調整を行うことなく、スクロール量の微調整を行うことが可能である。
同様に、次の目的地が表示された地図を探す場合には、操作体１本による操作から、操作体３本による操作に切り替えて、地図の縮尺の値を大きくする。このような操作により、操作体によるドラッグの量を増加させることなく、大きな距離に相当する量をスクロールさせることが可能となる。
操作体１本による操作と操作体２本による操作との切り替え、操作体２本による操作と操作体３本による操作との切り替え、および、操作体１本による操作と操作体３本による操作との切り替えは、自由に行うことが可能である。また、このような操作によって、表示画面に表示されている地図は、シームレスに切り替えが行われる。
本実施形態に係る情報処理方法を適用した地図アプリケーションでは、通常のタッチパネル上でのジェスチャー操作における、地図が指に付随するため直感的であるというメリットを維持しながら、スクロール量の微調整が可能であるというメリットも実現している。また、操作体の本数に合わせて縮尺が変化するため、画面の変化を目で追うことが可能であり、現在位置を見失うことがない。また、スクロール量が違うだけで同じ意味の動作を、同じ向きのジェスチャーに割り当てることが可能であり、ユーザの混乱を防ぐことが可能である。また、操作体の本数に応じてより大きな単位を変化させることが可能であるという点も、物理世界で指の本数を多くすると力を入れやすくなり物体をより大きく動かしやすいという現象と同じであるため、ユーザにとっては直感的な理解が可能である。そのため、ユーザの理解が促進され、ユーザにとっては、学習の負荷が小さい。
＜ハードウェア構成について＞
次に、図８を参照しながら、本発明の各実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図８は、本発明の各実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を情報処理装置１０に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の各実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
＜まとめ＞
以上説明したように、本発明の各実施形態に係る情報処理装置および情報処理方法では、操作体の操作方向と画面のスクロール方向が一致しているという、直感的な操作体系を実現することが可能である。また、操作体系に一貫性があるため、ユーザは混乱をきたさない。また、操作体の本数に応じて、シームレスにスクロール量調整を行うことが可能であって、操作中に操作体の本数を調整することで、微調整が容易な操作体系を実現することができる。さらに、拡大率を変更することで画面の変化を目で追うことを可能とし、現在位置を見失うことがない。このように、本発明の各実施形態に係る情報処理装置および情報処理方法では、物理世界で経験した現象を再現し、直感的で理解が促される操作体系を実現することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態においては、地図アプリケーションを例にとって説明を行ったが、Ｗｅｂブラウザや、電子メールを送受信するためのメーラーや、ＰＤＦビューワや、電子書籍の閲覧アプリケーション等に対しても、同様に適用することが可能である。
本発明の第１の実施形態に係る情報処理装置の外観の一例を説明するための説明図である。 同実施形態に係る情報処理装置の外観の一例を説明するための説明図である。 同実施形態に係る情報処理装置の機能を説明するためのブロック図である。 同実施形態に係る情報処理方法の一例を説明するための説明図である。 同実施形態に係る情報処理方法の一例を説明するための説明図である。 同実施形態に係る情報処理方法の流れを説明するための流れ図である。 同実施形態に係る情報処理方法の一例を説明するための説明図である。 本発明の各実施形態に係る情報処理装置のハードウェア構成を説明するための説明図である。 従来のアプリケーションにおける情報処理方法を説明するための説明図である。 従来のアプリケーションにおける情報処理方法を説明するための説明図である。
符号の説明
１０ 情報処理装置
１２ 操作体
１０１ タッチパネル
１０３ 演算処理装置
１０５ 入力位置検出部
１０７ 方向検知部
１０９ アプリケーション制御部
１１１ 拡大率変更部
１１３ 表示内容移動部
１１５ 表示制御部
１１７ 記憶部

Claims (8)

  1. 操作入力部上に位置する操作体の位置を検出する入力位置検出部と、
    検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知部と、
    前記入力位置検出部により検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更部と、
    前記画面に表示された表示内容を、前記方向検知部により検知された前記操作体の移動方向に沿って移動させる表示内容移動部と、
    を備える、情報処理装置。
  2. 前記入力位置検出部は、前記操作入力部上に位置した前記操作体の座標を出力し、
    前記拡大率変更部は、前記入力位置検出部から同時に伝送された前記操作体の座標の数に応じて、前記拡大率を変更する、請求項１に記載の情報処理装置。
  3. 前記拡大率変更部は、前記操作体の個数が増加するにつれて前記拡大率を減少させ、前記操作体の個数が減少するにつれて前記拡大率を増加させる、請求項２に記載の情報処理装置。
  4. 前記方向検知部は、前記操作体の個数が複数である場合に、それぞれの前記操作体が描く軌跡がつくるベクトルの和に該当する方向を、移動方向として選択する、請求項３に記載の情報処理装置。
  5. 前記方向検知部は、前記入力位置検出部から伝送された前記操作体の座標が、所定の閾値以上変化した場合に、前記操作体は移動したと判断する、請求項２に記載の情報処理装置。
  6. 前記表示内容移動部は、前記拡大率によらず、前記画面に表示された表示内容を前記操作体の移動量に応じて一定の速度で移動させる、請求項１に記載の情報処理装置。
  7. 操作入力部上に位置する操作体の位置を検出する入力位置検出ステップと、
    検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知ステップと、
    検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更ステップと、
    前記画面に表示された表示内容を、検知された前記操作体の移動方向に沿って移動させる表示内容移動ステップと、
    を含む、情報処理方法。
  8. 操作入力部を有するコンピュータに、
    前記操作入力部上に位置する操作体の位置を検出する入力位置検出機能と、
    検出された前記操作体の位置の時間変化に基づいて、前記操作体の移動方法を検知する方向検知機能と、
    検出された前記操作体の個数に応じて、画面の拡大率を変更する拡大率変更機能と、
    前記画面に表示された表示内容を、検知された前記操作体の移動方向に沿って移動させる表示内容移動機能と、
    を実現させるためのプログラム。
JP2008253818A 2008-09-30 2008-09-30 情報処理装置、情報処理方法およびプログラム Pending JP2010086230A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008253818A JP2010086230A (ja) 2008-09-30 2008-09-30 情報処理装置、情報処理方法およびプログラム
EP09251967A EP2169529A3 (en) 2008-09-30 2009-08-10 Information processing
US12/567,471 US8581938B2 (en) 2008-09-30 2009-09-25 Information processing apparatus, information processing method and program for magnifying a screen and moving a displayed content
CN2009101785817A CN101714056B (zh) 2008-09-30 2009-09-29 信息处理设备和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008253818A JP2010086230A (ja) 2008-09-30 2008-09-30 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2010086230A true JP2010086230A (ja) 2010-04-15

Family

ID=41454812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008253818A Pending JP2010086230A (ja) 2008-09-30 2008-09-30 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US8581938B2 (ja)
EP (1) EP2169529A3 (ja)
JP (1) JP2010086230A (ja)
CN (1) CN101714056B (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048525A (ja) * 2010-08-27 2012-03-08 Sharp Corp 操作装置、及びその操作装置を含む画像形成装置、並びに、表示方法
JP2012146160A (ja) * 2011-01-13 2012-08-02 Casio Comput Co Ltd 端末装置及びプログラム
JP2012234553A (ja) * 2012-06-13 2012-11-29 Toshiba Corp 電子機器、表示方法
JP2013109732A (ja) * 2011-11-24 2013-06-06 Kddi Corp データ表示プログラム、小型携帯端末およびデータ表示方法
JP2013532872A (ja) * 2010-07-26 2013-08-19 アップル インコーポレイテッド タッチ入力の移行
CN103744594A (zh) * 2013-12-27 2014-04-23 乐视网信息技术（北京）股份有限公司 一种移动的焦点的显示方法及装置
WO2014061097A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
WO2014061098A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
JP2014130384A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2014130385A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2014157520A (ja) * 2013-02-18 2014-08-28 Fujitsu Ten Ltd 表示装置、及び、表示方法
JP2014182808A (ja) * 2013-03-15 2014-09-29 Honda Motor Co Ltd タッチスクリーンユーザインターフェースのナビゲーション制御
JP2014202505A (ja) * 2013-04-01 2014-10-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2015515043A (ja) * 2012-02-24 2015-05-21 サムスン エレクトロニクス カンパニー リミテッド 端末機におけるコンテンツ移動方法及び装置
JP2015170228A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 データ処理装置、操作受付方法およびコンテンツ表示プログラム
JPWO2015151154A1 (ja) * 2014-03-31 2017-04-13 パイオニア株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2018032422A (ja) * 2017-10-12 2018-03-01 株式会社スクウェア・エニックス 情報処理装置，情報処理方法，及びゲーム装置
JP2018136322A (ja) * 2018-03-14 2018-08-30 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2019036325A (ja) * 2018-10-03 2019-03-07 パイオニア株式会社 表示装置、表示方法および表示プログラム
JP2019114271A (ja) * 2019-02-07 2019-07-11 株式会社スクウェア・エニックス 情報処理装置，情報処理方法，及びゲーム装置
JP2020030214A (ja) * 2019-10-25 2020-02-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2021009718A (ja) * 2020-09-30 2021-01-28 パイオニア株式会社 表示装置、表示方法および表示プログラム
JP2022019754A (ja) * 2019-10-25 2022-01-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8957918B2 (en) * 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
KR101672343B1 (ko) * 2009-12-10 2016-11-04 삼성전자주식회사 광터치 패널 및 그 구동 방법
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5160579B2 (ja) * 2010-03-08 2013-03-13 株式会社エヌ・ティ・ティ・ドコモ 表示装置及び画面表示方法
US9025810B1 (en) 2010-04-05 2015-05-05 Google Inc. Interactive geo-referenced source imagery viewing system and method
KR20120023867A (ko) * 2010-09-02 2012-03-14 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서 컨텐츠 표시 방법
KR101739054B1 (ko) * 2010-09-08 2017-05-24 삼성전자주식회사 디바이스상의 움직임 제어 방법 및 장치
US8514252B1 (en) * 2010-09-22 2013-08-20 Google Inc. Feedback during crossing of zoom levels
KR101726607B1 (ko) * 2010-10-19 2017-04-13 삼성전자주식회사 휴대 단말기의 화면 제어 방법 및 장치
US9026359B2 (en) * 2010-11-01 2015-05-05 Nokia Corporation Visually representing a three-dimensional environment
CN103477306B (zh) 2011-02-18 2016-10-26 日本电气株式会社 电子器件、控制设置方法和程序
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP5716502B2 (ja) * 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
JP5602115B2 (ja) * 2011-09-09 2014-10-08 株式会社ソニー・コンピュータエンタテインメント ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム
JP5460679B2 (ja) * 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US10296205B2 (en) 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
JP5850736B2 (ja) * 2011-12-21 2016-02-03 京セラ株式会社 装置、方法及びプログラム
US20130194194A1 (en) * 2012-01-27 2013-08-01 Research In Motion Limited Electronic device and method of controlling a touch-sensitive display
EP2632114B1 (fr) * 2012-02-27 2017-10-11 Alcatel Lucent Déclenchement d'une application logicielle par utilisation d'une representation cartographique
JP5990011B2 (ja) 2012-02-28 2016-09-07 キヤノン株式会社 情報処理装置及びその制御方法
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
JP2013230268A (ja) * 2012-04-27 2013-11-14 Universal Entertainment Corp ゲーミングマシン
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
CN103425403B (zh) * 2012-05-14 2017-02-15 华为技术有限公司 一种屏幕间显示内容的穿越方法、装置及系统
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20140039762A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상처리장치 및 그 제어방법
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
EP2770413A3 (en) * 2013-02-22 2017-01-04 Samsung Electronics Co., Ltd. An apparatus for providing a cursor in electronic devices and a method thereof
KR102117086B1 (ko) * 2013-03-08 2020-06-01 삼성디스플레이 주식회사 단말기 및 그의 조작 방법
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
KR102157332B1 (ko) * 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US9280234B1 (en) * 2013-06-25 2016-03-08 Amazon Technologies, Inc. Input correction for touch screens
CN103412718B (zh) * 2013-08-21 2016-03-16 广州爱九游信息技术有限公司 基于双指控制移动卡牌的方法及系统
US9046996B2 (en) * 2013-10-17 2015-06-02 Google Inc. Techniques for navigation among multiple images
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN105242841A (zh) * 2014-07-10 2016-01-13 阿里巴巴集团控股有限公司 一种控制显示对象缩放的方法和设备
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3130998A1 (en) * 2015-08-11 2017-02-15 Advanced Digital Broadcast S.A. A method and a system for controlling a touch screen user interface
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
DE102015219435A1 (de) * 2015-10-07 2017-04-13 Continental Automotive Gmbh Verwendung der Abstandsinformation von Berührkoordinaten bei Multi-Touch-Interaktion zur Unterscheidung zwischen verschiedenen Anwendungsfällen
DE102015219433A1 (de) * 2015-10-07 2017-04-13 Continental Automotive Gmbh Direktzugriff per 2-Finger Zeicheneingabe auf Touch-Oberflächen
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10303352B2 (en) * 2016-06-30 2019-05-28 Microsoft Technology Licensing, Llc Navigating long distances on navigable surfaces
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN109511005B (zh) * 2017-09-15 2021-07-13 北京淳中科技股份有限公司 信号控制方法、控制装置、处理装置及信号控制设备
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN113532444B (zh) * 2021-09-16 2021-12-14 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11102274A (ja) * 1997-09-25 1999-04-13 Nec Corp スクロール装置
JP2005234291A (ja) * 2004-02-20 2005-09-02 Nissan Motor Co Ltd 表示装置および表示方法
JP2006145930A (ja) * 2004-11-22 2006-06-08 Sony Corp 表示装置、表示方法、表示プログラム及び表示プログラムを記録した記録媒体
JP2006162267A (ja) * 2004-12-02 2006-06-22 Denso Corp 車両用ナビゲーション装置
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876926A (ja) 1994-09-02 1996-03-22 Brother Ind Ltd 画像表示装置
KR100627378B1 (ko) * 1996-08-28 2006-09-22 임베디드 테크놀로지스, 엘엘씨 터치 스크린 장치 및 방법
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
JP2007256338A (ja) 2006-03-20 2007-10-04 Denso Corp 地図表示装置
JP5129478B2 (ja) * 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US8842074B2 (en) * 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11102274A (ja) * 1997-09-25 1999-04-13 Nec Corp スクロール装置
JP2005234291A (ja) * 2004-02-20 2005-09-02 Nissan Motor Co Ltd 表示装置および表示方法
JP2006145930A (ja) * 2004-11-22 2006-06-08 Sony Corp 表示装置、表示方法、表示プログラム及び表示プログラムを記録した記録媒体
JP2006162267A (ja) * 2004-12-02 2006-06-22 Denso Corp 車両用ナビゲーション装置
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8922499B2 (en) 2010-07-26 2014-12-30 Apple Inc. Touch input transitions
JP2013532872A (ja) * 2010-07-26 2013-08-19 アップル インコーポレイテッド タッチ入力の移行
CN102387278A (zh) * 2010-08-27 2012-03-21 夏普株式会社 操作装置、图像形成装置以及图像的显示方法
JP2012048525A (ja) * 2010-08-27 2012-03-08 Sharp Corp 操作装置、及びその操作装置を含む画像形成装置、並びに、表示方法
CN102387278B (zh) * 2010-08-27 2015-10-28 夏普株式会社 操作装置、图像形成装置以及图像的显示方法
JP2012146160A (ja) * 2011-01-13 2012-08-02 Casio Comput Co Ltd 端末装置及びプログラム
US9164675B2 (en) 2011-01-13 2015-10-20 Casio Computer Co., Ltd. Electronic device and storage medium
JP2013109732A (ja) * 2011-11-24 2013-06-06 Kddi Corp データ表示プログラム、小型携帯端末およびデータ表示方法
US10437360B2 (en) 2012-02-24 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus for moving contents in terminal
JP2015515043A (ja) * 2012-02-24 2015-05-21 サムスン エレクトロニクス カンパニー リミテッド 端末機におけるコンテンツ移動方法及び装置
JP2012234553A (ja) * 2012-06-13 2012-11-29 Toshiba Corp 電子機器、表示方法
WO2014061097A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
WO2014061098A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
JP2014130385A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2014130384A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2014157520A (ja) * 2013-02-18 2014-08-28 Fujitsu Ten Ltd 表示装置、及び、表示方法
JP2014182808A (ja) * 2013-03-15 2014-09-29 Honda Motor Co Ltd タッチスクリーンユーザインターフェースのナビゲーション制御
JP2014202505A (ja) * 2013-04-01 2014-10-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
CN103744594A (zh) * 2013-12-27 2014-04-23 乐视网信息技术（北京）股份有限公司 一种移动的焦点的显示方法及装置
JP2015170228A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 データ処理装置、操作受付方法およびコンテンツ表示プログラム
JPWO2015151154A1 (ja) * 2014-03-31 2017-04-13 パイオニア株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2018032422A (ja) * 2017-10-12 2018-03-01 株式会社スクウェア・エニックス 情報処理装置，情報処理方法，及びゲーム装置
JP2018136322A (ja) * 2018-03-14 2018-08-30 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2019036325A (ja) * 2018-10-03 2019-03-07 パイオニア株式会社 表示装置、表示方法および表示プログラム
JP2019114271A (ja) * 2019-02-07 2019-07-11 株式会社スクウェア・エニックス 情報処理装置，情報処理方法，及びゲーム装置
JP2020030214A (ja) * 2019-10-25 2020-02-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2022019754A (ja) * 2019-10-25 2022-01-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2021009718A (ja) * 2020-09-30 2021-01-28 パイオニア株式会社 表示装置、表示方法および表示プログラム
JP2022111235A (ja) * 2020-09-30 2022-07-29 パイオニア株式会社 表示装置、表示方法および表示プログラム

Also Published As

Publication number Publication date
EP2169529A3 (en) 2013-01-30
EP2169529A2 (en) 2010-03-31
US8581938B2 (en) 2013-11-12
CN101714056A (zh) 2010-05-26
US20100079501A1 (en) 2010-04-01
CN101714056B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
JP2010086230A (ja) 情報処理装置、情報処理方法およびプログラム
JP4666053B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8836649B2 (en) Information processing apparatus, information processing method, and program
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
US8860730B2 (en) Information processing apparatus, animation method, and program
JP4605279B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6215534B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8711182B2 (en) Information processing apparatus and display control method
JP4900361B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6418157B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20110018825A1 (en) Sensing a type of action used to operate a touch panel
JP4435011B2 (ja) 入力座標処理プログラムおよび入力座標処理装置
JP2011081440A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN106716493A (zh) 对内容样式化的方法和对内容样式化的触摸屏设备
US20160132478A1 (en) Method of displaying memo and device therefor
KR20160010993A (ko) 객체 편집 방법 및 이를 이용한 화상 표시 장치
JP6722239B2 (ja) 情報処理装置、入力方法及びプログラム
JP2017167792A (ja) 情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101214