JP4577428B2 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP4577428B2
JP4577428B2 JP2008207432A JP2008207432A JP4577428B2 JP 4577428 B2 JP4577428 B2 JP 4577428B2 JP 2008207432 A JP2008207432 A JP 2008207432A JP 2008207432 A JP2008207432 A JP 2008207432A JP 4577428 B2 JP4577428 B2 JP 4577428B2
Authority
JP
Japan
Prior art keywords
focus
display
contact
contact position
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008207432A
Other languages
English (en)
Other versions
JP2010044533A (ja
Inventor
健 宮下
辰志 梨子田
晃一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008207432A priority Critical patent/JP4577428B2/ja
Priority to EP09251872A priority patent/EP2154603A3/en
Priority to US12/536,104 priority patent/US10684751B2/en
Priority to CN2009101648434A priority patent/CN101650634B/zh
Publication of JP2010044533A publication Critical patent/JP2010044533A/ja
Application granted granted Critical
Publication of JP4577428B2 publication Critical patent/JP4577428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、例えばタッチパネルを備えた携帯端末に適用して好適な表示装置、表示方法及びプログラムに関する。
従来、表示画面上に表示されている文書(以下ドキュメントと称する)や、動画像等のコンテンツに含まれる単語や写真等のオブジェクトが、ユーザによって選択されたときに、オブジェクトの付属情報をポップアップとして表示させることが行われている。例えば、オブジェクトが英単語である場合には、付属情報としてその日本語訳が表示されたり、オブジェクトが何かの機能を示すアイコンである場合には、その機能に関するヘルプ情報が表示されたりする。
オブジェクトの付属情報の表示は、例えば、あるオブジェクト上にマウスのカーソルが位置している状態で右クリックがされた場合や、カーソルが特定のオブジェクト上に配置された場合に行われる。右クリックがされた場合には、付属情報はコンテキストメニュー等で表示され、カーソルがオブジェクト上に合った状態では、付属情報はツールチップ等で表示される。
例えば特許文献1には、アイコン上にカーソルが位置したタイミングで、アイコンが示す機能に関する情報をポップアップ表示する技術が記載されている。
特開平1−283583号公報
ところで、近年では、携帯電話端末やPDA(Personal Digital Assistants)、ゲーム端末等の装置において、タッチパネルが採用されることが多くなっている。タッチパネルをユーザインタフェースとした場合には、ユーザが直感的な操作を行えるようになる上に、マウス等の他のユーザインタフェースを設ける必要もなくなるため、装置の携帯性も向上する。
タッチパネルにおいては、画面を軽く叩くタップの動作は、タップされた画面上の位置に配置されているオブジェクトにとって最もふさわしい挙動と結びつけられること多い。例えば、表示画面上に音声再生用のプレーヤが表示されており、曲のリストが表示されている状態で、ある特定の曲目が表示されている位置がタップされた場合であれば、単にその曲が選択されるのではなく、曲が再生される。
マウスを用いて同様の操作を行う場合には、曲を選択したい場合にはシングルクリックで、曲を再生したい場合にはダブルクリック等、挙動の種類毎に異なる操作を割り当てるようにすればよい。タッチパネルにおいては、ダブルクリックに該当する操作はダブルタップとなる。しかし、タッチパネルでのダブルタップは人間工学的に難しいとされているため、ダブルタップを何かしらの挙動のトリガとして採用することは、あまり行われていない。つまり、タッチパネルにおいては、マウスを用いた場合のような様々な種類の操作を行うことは難しくなる。
このような理由から、前述したような、オブジェクトの付属情報をツールチップで表示させる動作をタッチパネル上で実現するには、「あるオブジェクトがタップはされていないが、注目はされている」という状態を作り出す必要がある。表示画面に加えられる圧力の大きさを検出できるようなタッチパネルを用いれば、圧力の大小によって、「タップはされていないが注目はされている」状態と、「選択されている」状態とを区別することも可能となる。そして、前者の状態において、オブジェクトの付属情報をポップアップ表示させることも可能となる。
しかし、ユーザが圧力の微妙な調整を行えない場合には、このようなユーザインタフェースが、ユーザにとって使い勝手のよいものとは言えなくなってしまうという問題があった。
本発明はかかる点に鑑みてなされたものであり、タッチパネルを有する装置において、種類の異なる挙動(動作)を同一の操作によって実現することを目的とする。
本発明の表示装置は、複数のオブジェクトを含むドキュメント又はコンテンツを表示する表示部と、オブジェクトを選択状態とする半透明のフォーカスの、表示部上での配置位置を制御するフォーカス位置制御部と、ユーザが接触した表示部上の位置を検出する接触位置検出部とを備えた。さらに、フォーカスがオブジェクトの近傍に配置された場合に、フォーカスが緩やかに形を変えながらオブジェクトを包むよう、フォーカスの形状と配置位置を制御する表示制御部とを備えた。そして、表示制御部は、フォーカス位置制御部で制御されたフォーカスの配置位置と、接触位置検出部で検出された接触位置とがほぼ同一の位置である場合に、接触位置の移動に伴ってフォーカスを移動させてフォーカスの近傍にオブジェクトに関する情報を表示する。また、フォーカスの配置位置と接触位置とがほぼ同一であり、かつフォーカスが表示部の画面の端部にある場合には、ドキュメント又はコンテンツの表示部上での表示位置をフォーカスの位置する方向に移動させる。さらに、フォーカスの配置位置と接触位置とが異なる場合には、接触によって指定されたドキュメント又はコンテンツ上の所定の位置を、接触位置の移動に伴って移動させる
このようにしたことで、同じ接触という操作を行った場合にも、接触位置にフォーカスが配置されている場合にはオブジェクトが選択状態となり、接触位置とフォーカスの配置位置が異なる場合には、予め定められた挙動がされるようになる。
本発明によると、ユーザによる接触位置にフォーカスが配置されているか否かによって表示装置における挙動の種類が変わるため、種類の異なる挙動を同一の操作によって実現できるようになる。
1.第1の実施の形態
以下、本発明の一実施の形態を、添付図面を参照して説明する。本実施の形態では、本発明の表示装置を、タッチパネルを備えた携帯端末に適用した例を挙げる。図1に、本実施の形態での携帯端末10の例を外観図で示してある。携帯端末10の前面には液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部1が設けられており、表示部1の画面上に、文章や写真などで構成されるドキュメントが表示されている。以降の説明では、ドキュメントを構成する単語や写真、写真中の人物の顔などの各要素を、オブジェクトと称する。
表示部1の画面中央の右側には、半透明かつ水滴状(楕円形)の形状をしたフォーカスFが配置されている。フォーカスFは、付属情報を表示するオブジェクトを特定するためのユーザインタフェースである。フォーカスFによってオブジェクトが特定されると、フォーカスFの近傍の位置に、特定されたオブジェクトの付属情報をツールチップで表示される。フォーカスFの大きさは、特定されたオブジェクトの大きさに合わせて変化するようにしてある。
付属情報としては、オブジェクトが例えば単語なら単語を翻訳した訳語、写真である場合には写真の撮影場所や撮影時間等の情報、人物の顔ならばその人物の名前等を表示させることができる。フォーカスFの位置は、ユーザが指やペン等によってフォーカスFをタッチ(接触)した後、接触状態を維持したまま移動させるドラッグの操作によって、移動させることができる。
[携帯端末の構成例]
図1は、携帯端末10の内部構成例を示すブロック図である。図1に示す携帯端末10は、表示部1と、ユーザによって接触された位置を検出する接触位置検出部2と、フォーカスFの位置を制御するフォーカス位置制御部3と、配置位置情報記憶部4と、表示制御部5とを含む。
フォーカス位置制御部3は、携帯端末10の起動時等に、フォーカスFを表示部1の画面上のいずれかの位置に配置させる。そして、ユーザによってフォーカスFの位置を移動させる操作を受け付けた場合に、その操作に伴ってフォーカスFを移動させる。配置位置情報記憶部4には、ドキュメント上での単語や写真等の各オブジェクトの配置位置の情報が記憶されている。
表示制御部5は、ユーザの操作内容に応じてドキュメントをスクロール表示したり、フォーカスFによって指定されたオブジェクトの付属情報をツールチップとして表示させたりする処理を行う。
[携帯端末の動作例]
次に、図3のフローチャートを参照して、本実施の形態による携帯端末10の処理の例について説明する。携帯端末10では、まず接触位置検出部2で、ユーザによる接触が検知されたか否かが判断される(ステップS1)。ユーザによる接触が検知されない間は、ステップS1の判断が繰り返して行われる。ユーザによる接触が検知された場合には、接触された位置にフォーカスFが存在するか否かが判断される(ステップS2)。
フォーカスFが存在する場合には、ユーザによるドラッグ操作に基づいて移動する接触位置に合わせて、表示制御部5の制御に基づきフォーカスFが移動される(ステップS3)。次に、接触位置の移動が停止したか否か、つまりユーザによるフォーカスFのドラッグ操作が停止したか否かが判断され(ステップS4)、接触位置が停止していない場合は、ステップS3の処理が行われる。接触位置が停止した場合には、フォーカスFの背面にオブジェクトが存在するか否かが判断される(ステップS5)。フォーカスFの背面にオブジェクトが存在する場合には、フォーカスFの近傍にオブジェクトの付属情報がツールチップで表示される(ステップS6)。
図4に、フォーカスFの近傍にオブジェクトの付属情報が表示されている状態を示してある。図4には、フォーカスFがペンPによってドラッグされて、“gaming”という単語O1の上に配置された状態が示されている。それとともに、フォーカスFの上部に“[n]ゲーム”という情報がツールチップTで表示されている。“[n]ゲーム”とは、“gaming”という英単語の日本語訳であり、すなわち“gaming”の付属情報である。
表示制御部5は、接触位置検出部2が検出したユーザの接触位置と、フォーカス位置制御部3で把握しているフォーカスFの位置情報と、配置位置情報記憶部4に記憶された各オブジェクトの配置位置情報とに基づいて、フォーカスFの背面に位置するオブジェクトが何であるかを判断する。そして、フォーカスFによって特定されたオブジェクトの付属情報を取得してツールチップTとして画面上に表示する。
また表示制御部5は、ユーザによってフォーカスFが特定のオブジェクト上に配置された後に、接触状態が解除されると、フォーカスFがオブジェクト上に留まるような制御を行う。すなわち、次にフォーカスFがユーザによって選択されるまでの間、もしくは画面をスクロールさせるための接触位置の移動速度が低速である間は、フォーカスFの配置位置がオブジェクトの配置位置と常に同一となるように制御する。
付属情報として表示するオブジェクトO1の訳語情報は、予め携帯端末10内に辞書ツール等を設けておき、フォーカスFによって特定されたオブジェクトO1の訳語を辞書ツールから読み出すことによって生成する。図4では、オブジェクトが単語であり、その付属情報として単語の訳語情報を表示する例を挙げたが、これに限定されるものではない。例えば、付属情報として、ドキュメントの生成時にドキュメントの作者によって予め埋め込まれた付属情報を抽出して表示するようにしてもよい。
再び図3のフローチャートに戻って説明を続けると、ステップS6でオブジェクトの付属情報が表示された後は、ユーザの指やペンが画面上に接触している接触状態が解除されたか否かが判断される(ステップS7)。接触状態が継続している場合は、ステップS3に戻って処理が続けられる。つまり、図5に示すように、表示制御部5の制御に基づいて、ペンPの移動に合わせてフォーカスFの位置も移動する。
そして、ステップS4で接触位置の移動が停止したと判断され、かつ、フォーカスFの背面にオブジェクトが存在する場合には、図6に示すように、“many”というオブジェクトO2の付属情報である“[a]多くの”という訳語が、ツールチップTとして表示される。ステップS7の判断で、接触状態が解除されたと判定された場合には、処理は終了となる。
一方、ステップS2で、接触位置にフォーカスFが存在しないと判断された場合には、接触によって指定されたドキュメント上の位置が、ユーザによるドラッグ操作に基づいて移動する接触位置に合わせて移動する(ステップS8)。そして、接触状態が解除されたか否かが判断され(ステップS9)、接触状態が継続している場合にはステップS8に戻って処理が続けられる。接触状態が解除した場合には、処理は終了となる。
図7に、フォーカスFの配置位置と、ユーザ(この場合はペンP)による接触位置とが異なる場合の例を示してある。図7においては、フォーカスFは“written”という単語の上に配置されており、これに伴って、“written”の訳語である“[a]書かれた”という付属情報が、ツールチップTで表示されている。そして、ペンPの先は、フォーカスFの配置位置とは異なる場所を指していることが示されている。
この状態で、ペンPの先が画面に接触されたまま“A”として示した方向に移動した場合の表示例を、図8に示してある。図8には、ペンPの移動量に応じて、ドキュメントも画面の上方向にスクロールされている状態が示されている。
[実施の形態による効果]
上述した実施の形態によれば、ユーザは、意味を表示させたい単語の上にフォーカスFを移動させることで、単語の意味をツールチップ表示によって確認することができるようになる。また、フォーカスFが配置されていない箇所を選択してドラッグすることにより、従来の画面スクロール動作をさせることができる。
すなわち、フォーカスFを移動させることによってオブジェクトを選択できるようにしたため、タッチパネルを用いた装置においても、「あるオブジェクトがタップはされていないが、注目はされている」という状態を作り出すことができる。そして、ユーザによってタップされた位置とフォーカスFの配置位置とが異なる場合には、タップの動作と予め対応付けられた本来の挙動を行わせることができる。上述した実施の形態では、画面スクロールの動作を例に挙げたが、タップにより写真を拡大させたり、音楽を再生したりといった挙動をさせることができる。
また、フォーカスFを半透明の水滴型の形状としてあるため、単語や写真等のオブジェクトを囲める程度の大きさとしても、ユーザに与える違和感を小さく抑えることができる。また、カーソル等と比べて形を大きくすることができるため、ユーザが指やペンPでフォーカスFを容易に選択することができるようになる。さらに、半透明としてあることで、フォーカスFによって選択されているオブジェクト自体の情報も隠れずに表示されるようになる。
2.実施の形態の他の実施例
[他の実施例1]
なお、上述した実施の形態では、フォーカスFを移動させる動作と、画面スクロールの動作とを、ユーザによる接触位置とフォーカスFの配置位置との関係によって切り替える例を挙げたが、これに限定されるものではない。例えば、フォーカスFが表示部1の画面の端部に位置する場合には、ユーザの指やペンPがフォーカスFをタッチしていても、ドキュメントをスクロール表示するような制御を行ってもよい。
この場合の携帯端末10の処理の例を図9のフローチャートを参照して説明する。なお、図9のフローチャートにおいては、フォーカスFによって指定されたオブジェクトの付属情報を表示する処理については説明を省略している。
まず、接触位置検出部2によって、ユーザによる接触が検知されたか否かが判断され(ステップS11)、ユーザによる接触が検知されない間は、ステップS11の判断が繰り返して行われる。ユーザによる接触が検知された場合には、接触された位置にフォーカスFが存在するか否かが判断される(ステップS12)。接触位置にフォーカスFが存在しない場合には、図3のフローチャートのステップS8の処理が行われる。
フォーカスFが存在する場合には、ユーザによるドラッグ操作に基づいて移動する接触位置に合わせて、表示制御部5の制御に基づいてフォーカスFが移動される(ステップS13)。そして、フォーカスFが表示部1の画面の端部に移動したか否かの判断が行われ(ステップS14)、端部に移動している場合には、現在画面上で表示されているドキュメントの表示位置が、フォーカスFが位置する方向に移動される(ステップS15)。つまり、ユーザの指やペンPがフォーカスFをタッチしていても、フォーカスFが画面の端部に位置する場合には、ドキュメントをスクロールする処理が行われる。
ステップS14で、フォーカスFが画面の端部に移動していないと判断された場合には、次にユーザによる接触状態が解除されたか否かが判断され(ステップS16)、解除されていない場合には、ステップS13に戻って処理が続けられる。接触状態が解除された場合には、処理は終了となる。
このような処理が行われることで、図10に示すように、フォーカスFが画面の上端に位置している場合には、フォーカスFをペンPが選択していても、図中に“B”で示したフォーカスFが位置する方向にドキュメントがスクロールされるようになる。これにより、ドラッグの操作によってフォーカスFを移動させている最中に、フォーカスFが画面の端部に移動した場合に、操作内容を変えることなく、ドキュメントのスクロール動作にシームレスに繋がるようになる。
[他の実施例2]
また、上述した実施の形態では、ユーザによってフォーカスFがいずれかのオブジェクトの上に配置されてフォーカスFが停止した場合に、フォーカスFの配置位置で特定されるオブジェクトの付属情報を表示するようにしたが、これに限定されるものではない。例えば、フォーカスFがあるオブジェクトに近づいた場合には、フォーカスFをオブジェクトに吸着させるような制御を行ってもよい。
この場合の、フォーカスFの動きの例を、図11の説明図を参照して説明する。図11において、ユーザによって接触されている接触位置を黒丸で示してあり、フォーカスFを楕円形、オブジェクトを四角形で示してある。オブジェクトは、左側に配置されたものをオブジェクトO10、右側に配置されたものをオブジェクトO11としてある。なお、図11においては説明を分かりやすくするため接触位置を黒丸で図示してあるが、本来は画面上には表示されないものとする。
図11Aの左側の図においては、接触位置CがオブジェクトO10の左側に位置しており、接触位置CとオブジェクトO10との距離も離れているため、フォーカスFは接触位置Cの位置にあり、オブジェクトO10には吸着していない。この状態から、接触位置Cが右側に移動した例を図11の右図に示してある。図11の右図では、接触位置CがオブジェクトO10の中に移動したため、フォーカスFがオブジェクトO10に吸着し、オブジェクトO10を覆う(囲う)様な形状に変化している。
図11Bの左図及び右図に示すように、接触位置CがオブジェクトO10の中に存在する間は、フォーカスFはオブジェクトO10の配置位置は動かない。また、この状態から接触位置Cが少し移動して、オブジェクトO10の外に出た場合であっても、接触位置CがオブジェクトO10の近くである間は、フォーカスFはオブジェクトO10から離れることはない。図11Dの右図に示すように、接触位置CがオブジェクトO10の外にでて、かつ接触位置CがオブジェクトO10から十分に離れると、フォーカスFはオブジェクトO10から離れる。この状態から、接触位置Cがさらに右側に移動して今度はオブジェクトO11に近づいた場合は、フォーカスFはオブジェクトO11に吸着するようになる。フォーカスFの吸着動作は、例えばオブジェクトの周囲何ミリ等にフォーカスFが近づいた場合にのみ行われるよう、予め設定しておくものとする。
図12は、上述したフォーカスFの動作を状態遷移図として示したものである。接触位置Cがオブジェクトの外にあり、フォーカスFがいずれのオブジェクトも指していない状態(S21)のとき、接触位置Cがオブジェクトの外のままであれば、状態S21は変化しない。状態S21において接触位置Cがオブジェクトの中に入った場合には、状態がS22に遷移する。つまり、接触位置Cはオブジェクトの中にあり、かつフォーカスFがオブジェクトを指している状態となる。そして接触位置Cがオブジェクトの中に存在している間は、この状態S22が維持される。
接触位置Cが移動してオブジェクトの外に出た場合には、状態はS23に示した状態に遷移する。つまり、接触位置Cがオブジェクトの外にあり、かつフォーカスFがオブジェクトを指した状態となる。S23に示した状態において、接触位置Cがオブジェクトの近辺に位置している間はこの状態は変化しないが、接触位置Cがオブジェクトから十分離れた場合には、S21の状態に遷移する。すなわち、フォーカスFはいずれのオブジェクトも指していない状態に変化する。一方、接触位置Cがオブジェクトから離れて別のオブジェクトの中に入った場合には、状態はS22に示したものに変化して、フォーカスFが別のオブジェクトを指すようになる。
このような処理を行うことにより、ユーザがフォーカスFを所望のオブジェクト上に正確に配置する操作を行わなくても、フォーカスFが自動的にオブジェクトに吸着するようになる。すなわち、簡単な操作でフォーカスFを所望のオブジェクト上に配置することができるようになる。またこの場合、フォーカスFがオブジェクトから離れにくくなるため、ドキュメントのスクロールなどが行われた場合にも、フォーカスFによって指定されたオブジェクトの付属情報を、ユーザは確実に確認できるようになる。
[他の実施例3]
また、上述した実施の形態では、フォーカスFの形状を楕円形の水滴状とした例を示したが、オブジェクトの種類によって、フォーカスFの形状を異なる形状に変化させるようにしてもよい。図13に、この場合の表示制御部5(図2参照)での処理の例をフローチャートで示してある。
まず、フォーカスFが単語の上に配置されているか否かが判断され(ステップS31)、単語の上に配置されている場合には、フォーカスFの形状を円形にする処理が行われる(ステップS32)。フォーカスFが単語の上に配置されていない場合には、写真上の人物の上に配置されているか否かが判断され(ステップS33)、写真上の人物の上に配置されている場合には、フォーカスFが四角形に変形される。この場合の表示例を、図14に示してある。図14には、写真O2に映っている人物の顔の部分にフォーカスFが配置されており、かつ、フォーカスFの形状が四角形に変化している状態が示されている。それとともに、人物の付属情報として“John Smith”という名称がツールチップTで表示されている。
図13のフローチャートに戻って説明を続けると、ステップS33で、フォーカスFが写真上の人物の部分に位置していないと判断された場合には、フォーカスFが写真上の(人物以外の)位置に配置されているか否かが判断される(ステップS35)。フォーカスFが写真上に配置されていると判断された場合には、フォーカスFの形状が三角形に変えられる(ステップS36)。この場合の表示例を、図15に示してある。図15には、写真O3の上にフォーカスFが配置されており、かつ、フォーカスFの形状が三角形に変化している状態が示されている。それとともに、写真の付属情報として“Butterfly in Okinawa”という名称の情報がツールチップTで表示されている。
図13のステップS35で、フォーカスFが写真の上に配置していないと判断された場合には、フォーカスFの形状が小さな四角形に変形される(ステップS37)。
このように、オブジェクトの種類に応じてフォーカスFの形状を変化させることにより、オブジェクトの付属情報がツールチップTで表示されている場合に、その付属情報がどのオブジェクトの付属情報であるかを視覚的に容易に把握することができるようになる。例えば、フォーカスFの形状が三角形である場合には、ツールチップTの近辺に単語や写真などが沢山配置されていても、そのツールチップTに示された付属情報は、写真の付属情報であることが一目で分かるようになる。
[他の実施例4]
また、上述した実施の形態では、表示部1と接触位置検出部2とが一体化されたタッチパネルを有する携帯端末10を例に挙げたが、背面にも第2の接触位置検出部2Aを設けた構成に適用してもよい。
図16に、背面に第2の接触位置検出部2Aを設けた携帯端末10Aの外観図を示してある。図16Aは携帯端末10Aを背面から見た例を示し、図16Bは携帯端末10Aを前面から見た例を示している。図16Aには、携帯端末10Aの背面の全面に第2の接触位置検出部2Aを設けた状態を示してあり、ユーザは第2の接触位置検出部2Aに指等を接触させてドラッグ操作を行うことによって、フォーカスFの移動又はドキュメントのスクロール操作ができるようにしてある。
また、図16Bに示したように、携帯端末10Aの全面の表示部1の画面上を指やペンPなどで接触し、接触位置をドラッグ操作で移動させることによっても、フォーカスFの移動又はドキュメントのスクロール操作を行えるようにしてある。このように構成した携帯端末10Aにおいては、前面の表示部1上でフォーカスFの位置にペンPの先を合わせつつ、背面の第2の接触位置検出部2A上で指を移動させることにより、フォーカスFの配置位置を固定しつつドキュメントをスクロールできる。
このように構成することにより、指を使ってドキュメントをスクロール操作しつつ、フォーカスFの位置を所望の位置に固定(又は移動)させる操作も行えるようになる。つまり、「選択」の動作とスクロールの動作とを同時に行えるようになる。
また、上述した実施の形態ではフォーカスFを画面上に1つのみ表示させる例を挙げたが、複数個表示させるようにしてもよい。フォーカスFを複数表示させることにより、複数のオブジェクトの付属情報を一度に表示させることができるようになる。この場合、フォーカスFの真ん中あたりの位置を、指やペンPで上から下に切るような操作によって、フォーカスFを2つに分裂させるようにしてもよい。または、フォーカスFの両端を異なる方向に引き離す操作や、画面を2回タップするダブルタップの操作と、フォーカスFを分裂させる表示とを対応付けるようにしてもよい。
また、上述した実施の形態では、フォーカスFを携帯端末10の起動時に自動的に表示させるようにしているが、フォーカスFを表示させる状態と非表示の状態とを、ユーザが切り替えられるように構成してもよい。
また、上述した実施の形態では、フォーカスFによって指定されたオブジェクトの付属情報を表示する構成を例に挙げたが、オブジェクトに関するヘルプの情報を表示させても良く、マウスの右クリック受け付け時にコンテキストメニューとして表示する内容を、表示させてもよい。
また、上述した実施の形態では、表示装置を携帯端末10(10A)に適用した例を挙げたが、これに限定されるものではない。タッチパネルを備えた装置であれば、携帯電話やゲーム端末、パーソナルコンピュータ等の他の装置に適用してもよい。
本発明の一実施の形態による携帯端末の構成例を示す外観図である。 本発明の一実施の形態による携帯端末の内部構成例を示すブロック図である。 本発明の一実施の形態による携帯端末の処理の例を示すフローチャートである。 本発明の一実施の形態によるフォーカスが単語上に配置された状態を示す説明図である。 本発明の一実施の形態によるフォーカス移動時の表示例を示す説明図である。 本発明の一実施の形態によるフォーカスが単語上に配置された状態を示す説明図である。 本発明の一実施の形態による接触位置とフォーカス配置位置とが異なる場合の表示例を示す説明図である。 本発明の一実施の形態による接触位置の移動に伴うスクロール動作の例を示す説明図である。 本発明の一実施の形態の他の実施例による携帯端末の処理の例を示すフローチャートである。 本発明の一実施の形態の他の実施例によるフォーカスが画面の端部に位置する場合の例を示す説明図である。 本発明の一実施の形態の他の実施例によるフォーカスの状態遷移の例を示す説明図である。 本発明の一実施の形態の他の実施例によるフォーカスの状態遷移の例を示す状態遷移図である。 本発明の一実施の形態の他の実施例による表示制御部での処理の例を示すフローチャートである。 本発明の一実施の形態の他の実施例によるフォーカスが写真上の人物の上に配置された状態を示す説明図である。 本発明の一実施の形態の他の実施例によるフォーカスが写真の上に配置された状態を示す説明図である。 本発明の一実施の形態の他の実施例による携帯端末の構成例を示す外観図であり、Aは背面から見た場合の例を示し、Bは前面から見た場合の例を示す。
符号の説明
1…表示部、2…接触位置検出部、2A…第2の接触位置検出部、3…フォーカス位置制御部、4…配置位置情報記憶部、5…表示制御部、10,10A…携帯端末

Claims (5)

  1. 複数のオブジェクトを含むドキュメント又はコンテンツを表示する表示部と、
    前記オブジェクトを選択状態とする半透明かつ水滴型の形状をしたフォーカスの、前記表示部上での配置位置を制御するフォーカス位置制御部と、
    ユーザが接触した前記表示部上の位置を検出する接触位置検出部と、
    前記フォーカスが前記オブジェクトの近傍に配置された場合に、前記フォーカスが緩やかに形を変えながら前記オブジェクトを包むよう、前記フォーカスの形状と配置位置を制御する表示制御部とを備え、
    前記表示制御部は、前記フォーカス位置制御部で制御された前記フォーカスの配置位置と、前記接触位置検出部で検出された接触位置とがほぼ同一の位置である場合に、前記接触位置の移動に伴って前記フォーカスを移動させて前記フォーカスの近傍に前記オブジェクトに関する情報を表示し、前記フォーカスの配置位置と前記接触位置とがほぼ同一であり、かつ前記フォーカスが前記表示部の画面の端部にある場合には、前記ドキュメント又はコンテンツの前記表示部上での表示位置を前記フォーカスの位置する方向に移動させ、前記フォーカスの配置位置と前記接触位置とが異なる場合には、前記接触によって指定された前記ドキュメント又はコンテンツ上の所定の位置を、前記接触位置の移動に伴って移動させる
    表示装置。
  2. 前記表示制御部は、前記オブジェクトの大きさに応じて前記フォーカスの大きさを変化させる
    請求項記載の表示装置。
  3. 前記表示制御部は、前記オブジェクトの種類に応じて前記フォーカスの形状を変化させる
    請求項記載の表示装置。
  4. 複数のオブジェクトを含むドキュメント又はコンテンツを表示するステップと、
    前記オブジェクトを選択状態とする半透明のフォーカスの、前記表示部上での配置位置を制御するステップと、
    ユーザが接触した前記表示部上の位置を検出するステップと、
    前記フォーカスが前記オブジェクトの近傍に配置された場合に、前記フォーカスが緩やかに形を変えながら前記オブジェクトを包むよう、前記フォーカスの形状と配置位置を制御するステップと、
    前記検出された前記フォーカスの配置位置と、前記検出された接触位置とがほぼ同一の位置である場合に、前記接触位置の移動に伴って前記フォーカスを移動させて前記フォーカスの近傍に前記オブジェクトに関する情報を表示し、前記フォーカスの配置位置と前記接触位置とがほぼ同一であり、かつ前記フォーカスが前記表示部の画面の端部にある場合には、前記ドキュメント又はコンテンツの前記表示部上での表示位置を前記フォーカスの位置する方向に移動させ、前記フォーカスの配置位置と前記接触位置とが異なる場合には、前記接触によって指定された前記ドキュメント又はコンテンツ上の所定の位置を、前記接触位置の移動に伴って移動させるステップとを含む
    表示方法。
  5. 複数のオブジェクトを含むドキュメント又はコンテンツを表示するステップと、
    前記オブジェクトを選択状態とするフォーカスの前記表示部上での配置位置を制御するステップと、
    ユーザが接触した前記表示部上の位置を検出するステップと、
    前記フォーカスが前記オブジェクトの近傍に配置された場合に、前記フォーカスが緩やかに形を変えながら前記オブジェクトを包むよう、前記フォーカスの形状と配置位置を制御するステップと、
    前記検出された前記フォーカスの配置位置と、前記検出された接触位置とがほぼ同一の位置である場合に、前記接触位置の移動に伴って前記フォーカスを移動させて前記フォーカスの近傍に前記オブジェクトに関する情報を表示し、前記フォーカスの配置位置と前記接触位置とがほぼ同一であり、かつ前記フォーカスが前記表示部の画面の端部にある場合には、前記ドキュメント又はコンテンツの前記表示部上での表示位置を前記フォーカスの位置する方向に移動させ、前記フォーカスの配置位置と前記接触位置とが異なる場合には、前記接触によって指定された前記ドキュメント又はコンテンツ上の所定の位置を、前記接触位置の移動に伴って移動させるステップとをコンピュータに実施させるための
    プログラム。
JP2008207432A 2008-08-11 2008-08-11 表示装置、表示方法及びプログラム Expired - Fee Related JP4577428B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008207432A JP4577428B2 (ja) 2008-08-11 2008-08-11 表示装置、表示方法及びプログラム
EP09251872A EP2154603A3 (en) 2008-08-11 2009-07-24 Display apparatus, display method, and program
US12/536,104 US10684751B2 (en) 2008-08-11 2009-08-05 Display apparatus, display method, and program
CN2009101648434A CN101650634B (zh) 2008-08-11 2009-08-11 显示设备和显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008207432A JP4577428B2 (ja) 2008-08-11 2008-08-11 表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010044533A JP2010044533A (ja) 2010-02-25
JP4577428B2 true JP4577428B2 (ja) 2010-11-10

Family

ID=41227224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008207432A Expired - Fee Related JP4577428B2 (ja) 2008-08-11 2008-08-11 表示装置、表示方法及びプログラム

Country Status (4)

Country Link
US (1) US10684751B2 (ja)
EP (1) EP2154603A3 (ja)
JP (1) JP4577428B2 (ja)
CN (1) CN101650634B (ja)

Families Citing this family (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5459031B2 (ja) * 2010-04-13 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US20120072867A1 (en) * 2010-09-17 2012-03-22 Apple Inc. Presenting pop-up controls in a user interface
US20120185787A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation User interface interaction behavior based on insertion point
US9753630B1 (en) 2011-03-18 2017-09-05 Amazon Technologies, Inc. Card stack navigation
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP5784960B2 (ja) * 2011-04-26 2015-09-24 京セラ株式会社 携帯端末、タッチパネル操作プログラムおよびタッチパネル操作方法
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
EP2869172A4 (en) * 2012-06-29 2015-12-02 Nec Corp TERMINAL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
CN102857823A (zh) * 2012-08-24 2013-01-02 乐视网信息技术(北京)股份有限公司 基于电视的web页面焦点控制方法
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN103019550B (zh) * 2012-12-07 2015-08-26 东软集团股份有限公司 关联内容实时展现方法及系统
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP5924555B2 (ja) * 2014-01-06 2016-05-25 コニカミノルタ株式会社 オブジェクトの停止位置制御方法、操作表示装置およびプログラム
JP2015125769A (ja) * 2014-03-25 2015-07-06 利仁 曽根 入力支援方法
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US20160139763A1 (en) * 2014-11-18 2016-05-19 Kobo Inc. Syllabary-based audio-dictionary functionality for digital reading content
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
CN109901766B (zh) * 2017-12-07 2023-03-24 珠海金山办公软件有限公司 文档视口的移动方法、装置及电子设备
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
WO2020202755A1 (ja) * 2019-04-03 2020-10-08 京セラドキュメントソリューションズ株式会社 表示装置
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63153626A (ja) * 1986-12-17 1988-06-27 Fujitsu Ltd ル−ペウインドウ制御方式
JPH04291299A (ja) * 1991-03-20 1992-10-15 Nec Corp 画像表示装置
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2575799B2 (ja) 1988-05-10 1997-01-29 凸版印刷株式会社 ホログラム熱転写記録方法及びそれに用いるホログラム熱転写記録材料
US5808601A (en) * 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5784061A (en) * 1996-06-26 1998-07-21 Xerox Corporation Method and apparatus for collapsing and expanding selected regions on a work space of a computer controlled display system
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
US6188405B1 (en) * 1998-09-14 2001-02-13 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory, to objects
US7278115B1 (en) * 1999-06-18 2007-10-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
WO2001053960A1 (en) * 2000-01-17 2001-07-26 Konata Stinson Apparatus, method and system for a temporal interface, interpretive help, directed searches, and dynamic association mapping
US6782128B1 (en) * 2000-07-28 2004-08-24 Diane Rinehart Editing method for producing a doll having a realistic face
KR100458389B1 (ko) * 2000-09-29 2004-11-26 산요덴키가부시키가이샤 통신단말장치 및 표시방법
US7110351B2 (en) * 2000-12-19 2006-09-19 Nortel Networks Limited Enhanced ARQ with OFDM modulation symbols
US6816354B2 (en) * 2001-07-02 2004-11-09 Avx Corporation Single layer capacitor milled part
IES20020159A2 (en) * 2002-03-01 2003-09-03 Baydon Solutions Ltd Content management system
US7487444B2 (en) * 2002-03-19 2009-02-03 Aol Llc Reformatting columns of content for display
US7062712B2 (en) * 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
US6724044B2 (en) * 2002-05-10 2004-04-20 General Semiconductor, Inc. MOSFET device having geometry that permits frequent body contact
WO2005008444A2 (en) * 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
JP4172645B2 (ja) * 2004-03-31 2008-10-29 任天堂株式会社 入力位置との関係でゲームオブジェクトの動作を変化させるゲームプログラム
US7370690B2 (en) * 2004-06-25 2008-05-13 Cnh America Llc Apparatus for tilting and securing a heat exchanger
TWI282031B (en) * 2004-08-31 2007-06-01 Univ Tohoku Nat Univ Corp Copper alloy and a liquid crystal display device
US20060059437A1 (en) * 2004-09-14 2006-03-16 Conklin Kenneth E Iii Interactive pointing guide
US20070198942A1 (en) * 2004-09-29 2007-08-23 Morris Robert P Method and system for providing an adaptive magnifying cursor
US7286960B2 (en) * 2004-09-30 2007-10-23 General Electric Company Systems and methods for monitoring fouling and slagging in heat transfer devices in coal fired power plants
ITBO20040653A1 (it) * 2004-10-22 2005-01-22 Guya Bioscience S R L Metodo per la preparazione d'impianti endossei con elevata osteointegrazione tramite film sottili superficiali di anatasio
US7451052B2 (en) * 2005-05-29 2008-11-11 Cerno Bioscience Llc Application of comprehensive calibration to mass spectral peak analysis and molecular screening
KR100648927B1 (ko) * 2005-07-19 2006-11-27 삼성전자주식회사 마우스 커서 모양을 변경하는 방법 및 인쇄제어장치
US20070028189A1 (en) * 2005-07-27 2007-02-01 Microsoft Corporation Hierarchy highlighting
US7822596B2 (en) * 2005-12-05 2010-10-26 Microsoft Corporation Flexible display translation
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR100808991B1 (ko) * 2006-05-04 2008-03-07 삼성전자주식회사 이동통신 단말기에서 전자사전을 이용한 단어검색 방법 및장치
US20080141126A1 (en) * 2006-11-17 2008-06-12 Vincent Lee Johnson Method and system to aid in viewing digital content
US20080158164A1 (en) * 2006-12-27 2008-07-03 Franklin Electronic Publishers, Inc. Portable media storage and playback device
KR100837166B1 (ko) * 2007-01-20 2008-06-11 엘지전자 주식회사 전자기기의 정보 표시 방법 및 그 전자기기
US8988359B2 (en) * 2007-06-19 2015-03-24 Nokia Corporation Moving buttons
US20090058801A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Fluid motion user interface control
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8341545B2 (en) * 2008-03-06 2012-12-25 Intuit Inc. System and method for focusing a view of data on a selected subset
CA2725542C (en) * 2008-05-28 2016-12-13 Google Inc. Motion-controlled views on mobile computing devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63153626A (ja) * 1986-12-17 1988-06-27 Fujitsu Ltd ル−ペウインドウ制御方式
JPH04291299A (ja) * 1991-03-20 1992-10-15 Nec Corp 画像表示装置
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置

Also Published As

Publication number Publication date
CN101650634A (zh) 2010-02-17
US10684751B2 (en) 2020-06-16
CN101650634B (zh) 2013-04-17
EP2154603A3 (en) 2010-12-15
JP2010044533A (ja) 2010-02-25
EP2154603A2 (en) 2010-02-17
US20100037183A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP4577428B2 (ja) 表示装置、表示方法及びプログラム
US11481538B2 (en) Device, method, and graphical user interface for providing handwriting support in document editing
US11775248B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
US11354033B2 (en) Device, method, and graphical user interface for managing icons in a user interface region
US20240152210A1 (en) Device, Method, and Graphical User Interface for Providing Tactile Feedback for Operations Performed in a User Interface
US11221698B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
CN108334264B (zh) 在便携式终端中用于提供多点触摸交互的方法和设备
EP1860537B1 (en) Touch screen device and operating method thereof
US10776006B2 (en) Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors
AU2018269159B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US20210405870A1 (en) Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors
AU2015101231A4 (en) Device, method, and graphical user interface for displaying additional information in response to a user contact

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees