CN101650634A - 显示设备、显示方法和程序 - Google Patents

显示设备、显示方法和程序 Download PDF

Info

Publication number
CN101650634A
CN101650634A CN200910164843A CN200910164843A CN101650634A CN 101650634 A CN101650634 A CN 101650634A CN 200910164843 A CN200910164843 A CN 200910164843A CN 200910164843 A CN200910164843 A CN 200910164843A CN 101650634 A CN101650634 A CN 101650634A
Authority
CN
China
Prior art keywords
focus area
display unit
contact position
data
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910164843A
Other languages
English (en)
Other versions
CN101650634B (zh
Inventor
宫下健
梨子田辰志
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101650634A publication Critical patent/CN101650634A/zh
Application granted granted Critical
Publication of CN101650634B publication Critical patent/CN101650634B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种显示设备、显示方法和程序。所述显示方法包括步骤:显示包括多个对象的文档数据和/或内容数据,控制半透明焦点区域在显示单元上的布置位置,其中所述焦点区域被提供用以使所述对象进入选择状态;检测所述显示单元上的位置,其中用户在所述位置处接触所述显示单元;以及当所述焦点区域的所检测到的布置位置大致等于所检测到的接触位置时,随着所述接触位置的移动而移动所述焦点区域。

Description

显示设备、显示方法和程序
技术领域
本发明涉及可以适当地用于例如具有触摸面板的移动终端的显示设备、显示方法和程序。
背景技术
在过去,当用户选择在显示屏幕图像上显示的文本数据(在下文中称为文档数据)和/或包括在诸如视频之类的内容数据中的对象(该对象包括单词数据、照片数据等)时,附属于对象的信息作为弹出菜单来显示。例如,当对象包括英文单词数据时,该英语单词的日文对应词作为附属信息而显示,并且当该对象是指示一些功能的图标时,显示与该功能相关的帮助信息。
当鼠标的光标置于某个对象上和/或当该光标置于预定对象上时,当点击鼠标右键时显示该对象的附属信息。当点击右鼠标按钮时,附属信息显示为上下文菜单等,并且当光标位于对象上时,附属信息通过提示条等来显示。
例如,日文未经审查的专利申请公开1-283583公开了一种在光标位于图标上时、将与由该图标指示的功能相关的信息显示为弹出菜单的技术。
发明内容
近些年来,触摸面板已经逐渐地用于包括移动电话终端、个人数字助理(PDA)、游戏终端等在内的设备。当触摸面板用作用户接口时,设备的用户可以直观地操作设备。此外,因为可以不提供包括鼠标等在内的其它用户接口,所以增加了设备的移动性。
在其中使用了触摸面板的情况下,通过在图像区域上轻敲而实现的轻敲操作经常与布置在图像区域中被轻敲部分位置处的对象的最适当行为相关联。例如,当在显示屏幕图像上显示被提供用以再现音乐数据的播放器的数据和曲目列表的同时、在显示预定曲目的位置处轻敲图像区域时,不仅简单地选择该曲目而且还再现该曲目。
为了通过使用鼠标执行相同操作,可以将不同的操作分别分配给不同类型的行为。例如,可以执行单击来选择曲目,并且可以执行双击来再现该曲目。在使用触摸面板的情况下,与双击相对应的操作是两次轻敲。然而,因为就人类工程学而言难以在触摸面板执行两次轻敲,所以几乎不能执行两次轻敲来作为对一些行为的触发。也就是说,在使用触摸面板的情况下,变得难以执行可以通过鼠标来执行的各种类型的操作。
因此,为了实现上述被执行来通过触摸面板上的提示条来显示对象的附属信息的操作,适当的是创建其中即使某个对象未被轻敲也把关注给予该对象的状态。对可以检测施加于显示屏幕图像上的压力幅值的触摸面板的使用允许区分开其中虽然某个对象未被轻敲但是将关注给予该对象的状态和其中选择该对象的状态。此外,有可能在前一状态下将对象的附属信息显示为弹出菜单。
然而,如果难以让用户以高精确度来调整压力,则上述用户接口的可用性对于用户来说是低的。
因此,本发明允许通过相同的操作在包括触摸面板的设备中执行各种类型的行为(操作)。
根据本发明实施例的显示设备包括:显示单元,被配置为显示包括多个对象的文档数据和/或内容数据;焦点位置控制单元,被配置为控制在显示单元上的半透明焦点区域的布置位置,其中焦点区域被提供用来使对象进入选择状态;以及接触位置检测单元,被配置为检测显示单元上的位置,其中用户在该位置处接触到显示单元。此外,该显示设备还包括显示控制单元,其被配置为当所控制的焦点区域的布置位置大致等于所检测到的接触位置时,随着接触位置的移动而移动焦点区域,以及当该焦点区域的布置位置不同于接触位置时,执行事先与由用户执行的操作相关联的预定操作以实现接触。
因此,当在焦点区域布置在接触位置处时执行接触操作时,将使该对象进入选择状态。如果当接触位置不同于焦点区域的布置位置时执行相同的接触操作,则执行预定的行为。
本发明允许通过相同的操作实现各种类型的行为,这是因为在显示设备中执行的行为类型基于焦点区域是否布置在由用户所接触部分的位置上而改变。
附图说明
图1是根据本发明的实施例示范性配置的移动终端的外视图;
图2为示出根据本发明实施例的移动终端的示例性内部配置的框图;
图3为示出根据本发明实施例、由移动终端执行的示例性处理过程的流程图;
图4是示出其中根据本发明实施例的焦点区域布置在单词数据上的状态的图示;
图5是示出当根据本发明实施例的焦点区域移动时显示的示例性图像的图示;
图6是示出其中根据本发明实施例的焦点区域布置在单词数据上的状态的另一个图示;
图7是示出当接触位置不同于根据本发明实施例的焦点布置位置时显示的示例性图像的图示;
图8是根据本发明的实施例、在接触位置移动时执行的示例性滚动操作的图示;
图9为示出根据本发明的另一个实施例、由移动终端执行的示例性处理过程的流程图;
图10是示出其中根据本发明另一个实施例的焦点区域布置在图像区域的端部处的示例的图示;
图11A是示出根据本发明另一个实施例的焦点区域的状态的示例性变换的图示;
图11B是示出焦点区域的状态的示例性变换的另一个图示;
图11C是示出焦点区域的状态的示例性变换的另一个图示;
图11D是示出焦点区域的状态的示例性变换的另一个图示;
图12是示出根据本发明另一个实施例的焦点区域的状态的示例性变换的状态变换图;
图13为示出根据本发明另一个实施例的、由显示控制单元执行的示例性处理过程的流程图;
图14是示出其中根据本发明另一个实施例的焦点区域布置在照片上显示的人的图像上的状态的图示;
图15是示出其中根据本发明另一个实施例的焦点区域布置在照片图像上的状态的图示;
图16A是根据本发明的另一个实施例示范性配置的移动终端的外部后视图;以及
图16B是上述移动终端的外部正视图。
具体实施方式
1.第一实施例
在下文中,将参考附图对本发明的第一实施例进行描述。根据上述实施例的显示设备用于具有触摸面板的移动终端。图1是根据上述实施例的示例性移动终端10的外部视图。在移动终端10的正面上提供有包括液晶面板、有机电致发光(EL)面板等的显示单元1,并且包括文本数据、照片数据等的文档数据被显示在显示面板的图像区域上。在以下描述中,包括单词数据、照片数据、照片中显示的人脸数据等在内的、包含在文档数据中的每个组成部分都称为对象。
在显示设备1的图像区域的中心部分的右侧提供了焦点区域F,其是半透明的并且形成为水滴形状(椭圆形)。焦点区域F是被提供来确定用于显示附属信息的对象的用户接口。当通过焦点区域F确定对象时,通过提示条靠近焦点区域F地显示所确定对象的附属信息。已设置为焦点区域F的大小应该基于所确定对象的大小而改变。
如果对象包括例如单词数据,则附属信息可以是该单词的对应词的数据。在其中对象包括例如照片数据的情况下,附属信息可以是例如有关拍摄照片时的地点和时间的信息。此外,当对象包括例如人脸的数据时,可以显示有关人的姓名等的信息作为附属信息。可以通过由用户执行拖拽操作来移动焦点区域F的位置,其中拖拽操作通过由手指、笔等触及(接触)焦点区域F,并且在保持接触状态的同时移动焦点区域F来实现。
[移动终端的示例性配置]
图1是示出移动终端10的示例性内部配置的框图。图1所示的移动终端10包括显示单元1、被配置为检测由用户接触部分的位置的接触位置检测单元2、被配置为控制焦点区域F的位置的焦点位置控制单元3、布置位置信息存储单元4和显示控制单元5。
例如当移动终端10启动时,焦点位置控制单元3将焦点区域F布置在显示单元1的图像区域上的任何位置处。在接受了由用户执行用以移动焦点区域F的位置的操作时,焦点位置控制单元3基于该操作移动焦点区域F。布置位置信息存储单元4中存储了有关在文档数据上显示的每个对象的布置位置的信息,其中所述对象包括单词数据、照片数据等。
显示控制单元5执行处理以便基于由用户执行的操作的细节来滚动显示文档数据,将由焦点区域F指定的对象的附属信息显示为提示条。
[移动终端的示例性操作]
接下来,将参考图3所示的流程图描述由根据上述实施例的移动终端10执行的示例性处理过程。在开始时,在步骤S1,在移动终端10中,接触位置检测单元2确定它是否检测到用户接触图像区域。如果没有检测到用户进行的接触,则重复地进行步骤S1中执行的确定。如果检测到用户进行的接触,则在步骤S2确定焦点区域F是否位于进行接触的位置处。
当焦点区域F位于该位置处时,在步骤S3,在显示控制单元5的控制下,基于接触位置来移动焦点区域F,其中接触位置基于由用户执行的拖拽操作而移动。接下来,在步骤S4,确定接触位置的移动是否停止了,也就是说,确定用户是否停止执行针对焦点区域F的拖拽操作。如果接触位置未停止,则执行对应于步骤S3的处理。如果接触位置停止了,则在步骤S5确定对象是否位于焦点区域F之后。如果该对象位于焦点区域F之后,则在步骤S6靠近焦点区域F地将该对象的附属信息显示为提示条。
图4示出了其中对象的附属信息被接近焦点区域F地显示的状态。在图4中,通过使用笔p拖拽焦点区域F,并且将其布置在显示为“gaming”的单词01的数据上。此外,示为“[n]gēmu”的信息作为提示条T显示在焦点区域F之上。信息“[n]gēmu”指示英文单词“gaming”的日文对应词。即,信息“[n]gēmu”是信息“gaming”的附属信息。
显示控制单元5基于与由接触位置检测单元2检测到的用户接触位置、焦点区域F的位置、由焦点位置控制单元3感知的位置和每个对象的布置位置有关的信息,来确定位于焦点区域F之后的对象的详细信息,其中有关布置位置的信息被存储在布置位置信息存储单元4中。然后,获取由焦点区域F指定的对象的附属信息,并且将其作为提示条T显示在图像区域上。
此外,当在由用户将焦点区域F布置在预定对象上之后取消接触状态时,显示控制单元5执行控制以便使焦点区域F停留在该对象上。即,显示控制单元5执行控制,以致焦点区域F的布置位置与对象的布置位置相同,直到随后由用户选择了焦点区域F和/或被移动来滚动在图像区域上显示的数据的接触位置的速度从低速改变为不同的速度为止。
通过事先在移动终端10中提供字典工具等并且读取基于焦点区域F确定的上述对应词信息,生成有关对象O1的对应词的信息(其作为附属信息被显示)。图4示出了这样的示例,其中对象指示单词数据,并且有关该单词的对应词的信息作为该对象的附属信息来显示。然而,不局限于上述实施例,而是可以提取由文档数据的作者在文档生成时嵌入的附属信息,并且将其作为附属信息来显示。
返回到图3所示的流程图,在步骤S7,确定在步骤S6显示了对象的附属信息之后、其中用户的手指和/或笔接触到图像区域的接触状态是否被取消了。如果保持接触状态,则处理返回到步骤S3以便继续该处理。即,如图5所示,在显示控制单元5的控制下,与笔P的移动同步地移动焦点区域F的位置。
如果在步骤S4确定停止了接触位置的移动并且将对象放置在焦点区域F之后,则如图6所示,将示为“[a]ōku-no”的信息显示为提示条T,其中该信息指示被示为对象O2的术语“many”的对应词,而且该对应词信息“[a]ōku-no”是对象O2的附属信息。如果在步骤S7确定取消了接触状态,则结束处理。
另一方面,如果在步骤S2确定焦点区域F未放置在接触位置处,则在步骤S8,随着基于用户执行的拖拽操作而移动接触位置,来移动通过接触在文档数据上指定的位置。然后,在步骤S9确定是否取消接触状态。如果确定保持接触状态,则处理返回到步骤S8并且继续处理。如果取消了接触状态,则结束处理。
图7示出了这样的情况,其中焦点区域F的布置位置不同于由用户根据上述实施例通过使用笔P而接触的部分的位置。在图7中,焦点区域F布置在单词“written”上。因此,被示为作为单词“written”的对应词的“[a]kakareta”的附属信息被显示为提示条T。图7还示出了笔P的尖端指向不同于焦点区域F的布置位置的部分。
图8示出了当在笔P的尖端与图像区域保持接触的同时笔P的尖端沿方向“A”移动时所获得的示例性显示图像。图8还示出了这样的状态,其中文档数据根据笔P的移动量而沿图像区域的上半部分的方向滚动。
[第一实施例的优点]
根据第一实施例,用户将焦点区域F移动到用户寻求其含义的单词数据上,由此通过提示条显示该单词的含义并且由用户确认。此外,可以通过选择和拖曳图像区域的一部分(其中焦点区域F没有布置在该部分上)来实现相关技术中的图像区域滚动操作。
即,因为可以通过移动焦点区域F来选择对象,所以变得有可能即使在使用包括触摸面板的设备时也创建这样的状态,其中即使某个对象未被轻敲也可把关注给予该对象。如果由用户轻敲部分的位置不同于焦点区域F的布置位置,则可以实现与该轻敲操作相关联的最初期望的行为。虽然在上述实施例中示范性地执行了图像区域滚动操作,但是可以通过轻敲操作实现诸如放大照片数据、再现音乐数据等之类的不同行为。
此外,因为焦点区域F是半透明的并且被生成为具有水滴形状,所以用户遭受到的、在焦点区域F的大小大到足以围绕包括单词数据、照片数据等在内的对象时由焦点区域F所导致的不舒适感觉减小了。此外,因为焦点区域F的形状与光标等相比尺寸增大了,所以用户可以容易地利用手指和/或笔P来选择焦点区域F。更进一步,因为焦点区域F是半透明的,所以可以显示有关由焦点区域F选择的对象本身的信息而不会隐藏该信息。
2.其它实施例
其它实施例1
上述实施例允许基于由用户进行接触的位置和焦点区域F的布置位置之间的关系,在执行用来移动焦点区域F的操作和执行用来滚动图像区域上显示的数据的操作之间来回切换。然而,可以实现本发明,而不局限于上述实施例。例如,可以执行控制,以便即使焦点区域F被用户的手指和/或笔P接触时,也在当焦点区域F布置在显示单元1的图像区域的端部时滚动显示该文档数据。
将参考图9所示的流程图描述由上述实施例中的移动终端10执行的示例性处理过程。根据图9所示的流程图,省略了对被执行用以显示由焦点区域F指定的对象的附属信息的处理的描述。
首先,在步骤S11,接触位置检测单元2确定是否检测到用户接触图像区域。如果没有检测到用户进行的接触,则重复地进行步骤S11中执行的确定。如果检测到用户进行的接触,则在步骤S12确定焦点区域F是否位于进行接触的位置处。如果焦点区域F没有放置在接触位置处,则执行与图3的流程图中所示的步骤S8相对应的处理。
如果焦点区域F位于该接触位置处,则在步骤S13,在显示控制单元5的控制下,根据接触位置来移动焦点区域F,其中接触位置根据由用户执行的拖拽操作而移动。然后,在步骤S14确定焦点区域F是否移到显示单元1的图像区域的端部。如果焦点区域F移到了端部,则在步骤S15中,沿布置焦点区域F的位置的方向来移动当前在图像区域上显示的文档数据的显示位置。也就是说,当焦点区域F布置在图像区域的端部时,即使焦点区域F被用户的手指和/或笔P接触了,也执行处理以滚动文档数据。
如果在步骤S14确定焦点区域F未移到图像区域的端部,则随后在步骤S16确定是否取消了用户接触到图像区域的状态。如果未取消接触状态,则处理返回到步骤S13以便继续处理。如果取消了接触状态,则结束处理。
执行上述处理,以便如图10所示,当焦点区域F布置在图像区域的顶端处时,即使由笔P选择了焦点区域F,文档数据也沿布置焦点区域F的方向滚动,其中该方向由标记“B”指示。因此,当在焦点区域F基于拖拽操作而移动的同时焦点区域F移到图像区域的端部时,移动操作可以无缝地切换到被执行用以滚动文档数据的操作而不改变该操作的细节。
其它实施例2
根据上述实施例,当焦点区域F由用户布置在任意对象上并且停止焦点区域F时,显示基于焦点区域F的布置位置而指定的对象的附属信息。然而,可以实现本发明,而不局限于上述实施例。例如,当把焦点区域F带到靠近预定对象时,可以执行控制以便将焦点区域F附于该对象。
图11A、图11B、图11C和图11D中的每个都是焦点区域F的示例性移动,其中该移动在上述实施例中实现。在图11A到图11D的每个中,由黑点指示由用户接触的部分的位置。焦点区域F由椭圆指示,并且对象由方形指示。布置在左边的对象是对象O10,而布置在右边的对象是对象O11。在图11A到图11D的每个中,接触位置由黑点指示,以便容易地理解该描述。然而,接触位置没有被实际地显示在图像区域上。
根据图11A的左侧显示的图,接触位置C布置在对象O10的左侧,并且接触位置C和对象O10间隔大的距离。因此,焦点区域F布置在接触位置C处,并且未附于对象O10。图11A的右侧示出了这样的示例,其中接触位置C从接触位置C在上述状态中就已经处于的位置向右移动。如图11A的右侧所示,接触位置C移入对象O10中。因此,焦点区域F附于对象O10,并且改变焦点区域F的形状以便对象O10由焦点区域F所覆盖(围绕)。
只要如图11B的左侧和右侧所示接触位置C在对象O10中,焦点区域F就不会从对象O10的布置位置移开。此外,如果接触位置C从它在上述状态中已经处于的位置处稍微移开并且移出对象O10,则只要接触位置C位于对象O10附近,焦点区域F就不离开对象O10。如果接触位置C在对象O10之外并且充分远离对象O10,则焦点区域F离开对象O10。当接触位置C进一步从它在上述状态中已经处于的位置向右移动并且变得更接近对象O11时,焦点区域F附于对象O11。事先设置焦点区域F的附着操作,以便当焦点区域F变得更接近在对象的若干毫米半径内的区域时,执行该附着操作。
图12显示了作为状态变换图的焦点区域F的上述操作。如果接触位置C在对象之外且焦点区域F没有指定任何对象以便实现状态S21,则只要接触位置C留在对象之外就不改变状态S21。如果在状态S21下接触位置C移入对象中,则导致状态变换到状态S22。即,实现了其中接触位置C在对象之内并且焦点区域F指定对象的状态。只要接触位置C处于该对象中,就保持上述状态S22。
如果接触位置C移出对象,则导致状态变换到状态S23。即,接触位置C在对象之外并且焦点区域F指定该对象。只要接触位置C在该对象附近,状态23就不发生改变。然而,如果接触位置C充分远离该对象,则导致状态变换到状态S21。即,该状态改变为其中焦点区域F不指定任意对象的状态。另一方面,当接触位置C离开该对象并且进入不同的对象时,导致该状态变换为状态S22,以便焦点区域F指定不同的对象。
执行上述处理过程,以便即使用户未将焦点区域F正确地布置在预定对象上,该焦点区域F也自动地附于预定对象。即,变得有可能通过简单的操作来将焦点区域F布置在预定对象上。因为在那种情况下焦点区域F几乎不离开该对象,所以即使例如滚动文档数据时,用户也可以稳定地确认由焦点区域F指定的对象的附属信息。
其它实施例3
根据上述实施例,焦点区域F具有椭圆水滴形状。然而,基于对象类型,可以将焦点区域F的形状改变为不同的形状。图13是示出由图2所示的显示控制单元5在这种情况下执行的示例性处理过程的流程图。
首先,在步骤S31确定焦点区域F是否布置在单词数据上。如果焦点区域F布置在单词数据上,则在步骤S32执行处理以把焦点区域F的形状改变为圆形。如果焦点区域F没有布置在单词数据上,则在步骤S33确定焦点区域F是否布置在人的图像的数据上,其中该图像数据显示在照片上。如果焦点区域F布置在图像数据上,则把焦点区域F的形状改变为方形。图14示出上述实施例中所示的示例性显示图像。图14示出了这样的状态,其中焦点区域F布置在照片数据O2上显示的人的脸部上,并且焦点区域F的形状改变为方形。此外,通过提示条T显示姓名“JohnSmith”作为人的附属信息。
返回到图13的流程图,当确定焦点区域F没有布置在照片数据上显示的人的图像中的部分上时,在步骤S35确定焦点区域F是否布置在照片数据的一部分(该部分示出了除人的图像外的其他事物)上。如果确定焦点区域F布置在照片数据上,则在步骤S36把焦点区域F的形状改变为三角形。图15示出了在上述实施例中实现的示例性显示图像。图15示出了这样的状态,其中焦点区域F布置在照片数据O3上,并且焦点区域F的形状改变为三角形。此外,通过提示条T显示有关标题“Butterflyin Okinawa”的信息作为照片数据的附属信息。
如果在图13所示的步骤S35确定焦点区域F未布置在照片数据上,则在步骤S37将焦点区域F的形状改变为小方形。
因此,基于对象类型改变焦点区域F的形状。因此,当对象的附属信息显示为提示条T时,这变得易于可视地理解该附属信息对应于哪个对象。例如,当焦点区域F的形状为三角形时,即使包括单词数据、照片数据等在内的许多数据项靠近提示条T布置,也有可能一见之下就理解由提示条T指示的附属信息是照片数据的附属信息。
其它实施例4
此外,在上述实施例中,示范性地描述了具有触摸面板的移动终端10,其中该触摸面板包括彼此集成的显示单元1和接触位置检测单元2。然而,根据本发明的另一个实施例,可以改变该配置,以便在移动终端10的背面提供第二接触位置检测单元2A。
图16A和16B中每个都示出了在移动终端10A的背面具有第二接触位置检测单元2A的移动终端10A的外部视图。图16A示出了移动终端10A的后视图,且图16B示出了移动终端10A的前视图。根据图16A,在移动终端10A的整个背面上提供了第二接触位置检测单元2A。用户可以通过用手指等接触第二接触位置检测单元2A来执行拖拽操作,而移动焦点区域F和/或滚动文档数据。
此外,如图16B所示,用户可以通过用手指、笔P等接触在移动终端10A的整面上提供的显示单元1的图像区域的一部分,并且通过执行拖拽操作来移动接触位置,而移动焦点区域F和/或滚动文档数据。根据上述移动终端10A,通过在用笔P的尖端指向在正面上提供的显示单元1上的焦点区域F的位置的同时在背面上提供的第二接触位置检测单元2A上移动手指,可以在焦点区域F的布置位置固定的同时滚动文档数据。
根据上述配置,用户可以在通过使用手指滚动文档数据的同时固定焦点区域F的位置和/或把焦点区域F的位置移动到适当的位置。即,可以同时执行选择操作和滚动操作。
根据上述实施例,仅仅单个焦点区域F被显示在图像区域上。然而,多个焦点区域F可以被显示在图像区域上,以便可以同时显示多个对象的附属信息中的至少两项。在这种情况下,可以通过执行操作来在中间或者周围把焦点区域F分成两个部分,该操作就像利用手指和/或笔P从上到下分割焦点区域F一样。此外,通过沿不同方向拖曳焦点区域F的两端而实现的操作和/或通过轻敲图像区域两次而实现的双轻敲操作可以与被执行用以显示焦点区域F的分开部分的操作相关联。
此外,根据上述实施例,当移动终端10启动时自动地显示焦点区域F。然而,可以配置为用户可以在其中显示焦点区域F的状态和其中不显示焦点区域F的状态之间切换。
此外,根据上述实施例,例如,显示由区域F指定的对象的附属信息。然而,可以显示与对象有关的帮助信息。即,可以显示当接受鼠标右键的点击时显示的上下文菜单的详细信息。
此外,根据上述实施例,显示设备用于移动终端10(10A)。然而,不局限于上述实施例,显示设备可以用于具有触摸面板的不同设备,诸如移动电话、游戏终端、个人计算机等。
当前申请包含与2008年8月11日向日本专利局提交的日本在先专利申请JP 2008-207432公开的内容相关的主题,这个专利申请的全部内容通过引用并入在此。
本领域的那些技术人员应当理解的是:只要在所附权利要求和它们的等效内容的范围之内,取决于设计要求及其它因素,可以出现各种修改、组合、子组合以及替换。

Claims (10)

1.一种显示设备,包括:
显示单元,被配置为显示包括多个对象的文档数据和/或内容数据;
焦点位置控制单元,被配置为控制在显示单元上的半透明焦点区域的布置位置,其中所述焦点区域被提供用来使对象进入选择状态;
接触位置检测单元,被配置为检测所述显示单元上的位置,其中用户在所述位置处接触到所述显示单元;以及
显示控制单元,被配置为当所控制的焦点区域的布置位置大致等于所检测到的接触位置时,随着所述接触位置的移动而移动所述焦点区域,以及当所述焦点区域的布置位置不同于所述接触位置时,执行事先与由用户执行的操作相关联的预定操作,以实现接触。
2.如权利要求1所述的显示设备,其中,所述焦点区域具有水滴形状。
3.如权利要求2所述的显示设备,其中,所述显示控制单元靠近所述焦点区域显示与布置在与所述焦点区域的布置位置大致相同的位置处的对象有关的信息。
4.如权利要求3所述的显示设备,其中,所述预定操作是被执行用来随着接触位置的移动而移动通过接触在文档数据和/或内容数据上指定的预定位置的操作。
5.如权利要求4所述的显示设备,其中,当所述焦点区域的所控制的布置位置大致等于所检测到的接触位置,并且所述焦点区域布置在所述显示单元的图像区域的端部时,显示控制单元朝向布置有所述焦点区域的方向移动在显示单元上显示的文档数据和/或内容数据的位置。
6.如权利要求5所述的显示设备,其中,当所述焦点区域靠近所述对象布置时,所述显示控制单元控制所述焦点区域的形状和布置位置,以便所述焦点区域在逐步改变焦点区域的形状的同时围绕所述对象。
7.如权利要求5所述的显示设备,其中,所述显示控制单元基于所述对象的大小改变所述焦点区域的大小。
8.如权利要求5所述的显示设备,其中,所述显示控制单元基于所述对象的类型来改变所述焦点区域的形状。
9.一种显示方法,包含步骤:
显示包括多个对象的文档数据和/或内容数据;
控制半透明焦点区域在显示单元上的布置位置,其中所述焦点区域被提供用来使所述对象进入选择状态;
检测所述显示单元上的位置,其中用户在所述位置处接触到所述显示单元;以及
当所述焦点区域的所检测到的布置位置大致等于所检测到的接触位置时,随着所述接触位置的移动而移动所述焦点区域。
10.一种使计算机执行下列步骤的程序:
显示包括多个对象的文档数据和/或内容数据;
控制焦点区域在显示单元上的布置位置,其中所述焦点区域被提供用来使对象进入选择状态;
检测所述显示单元上的位置,其中用户在所述位置处接触到所述显示单元;以及
当所述焦点区域的所检测到的布置位置大致等于所检测到的接触位置时,随着所述接触位置的移动而移动所述焦点区域。
CN2009101648434A 2008-08-11 2009-08-11 显示设备和显示方法 Expired - Fee Related CN101650634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008207432A JP4577428B2 (ja) 2008-08-11 2008-08-11 表示装置、表示方法及びプログラム
JP2008-207432 2008-08-11
JP2008207432 2008-08-11

Publications (2)

Publication Number Publication Date
CN101650634A true CN101650634A (zh) 2010-02-17
CN101650634B CN101650634B (zh) 2013-04-17

Family

ID=41227224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101648434A Expired - Fee Related CN101650634B (zh) 2008-08-11 2009-08-11 显示设备和显示方法

Country Status (4)

Country Link
US (1) US10684751B2 (zh)
EP (1) EP2154603A3 (zh)
JP (1) JP4577428B2 (zh)
CN (1) CN101650634B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019550A (zh) * 2012-12-07 2013-04-03 东软集团股份有限公司 关联内容实时展现方法及系统
CN103297854A (zh) * 2012-08-24 2013-09-11 乐视致新电子科技(天津)有限公司 一种web页面焦点控制方法
CN109901766A (zh) * 2017-12-07 2019-06-18 珠海金山办公软件有限公司 文档视口的移动方法、装置及电子设备
CN113646829A (zh) * 2019-04-03 2021-11-12 京瓷办公信息系统株式会社 显示装置

Families Citing this family (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5459031B2 (ja) * 2010-04-13 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US20120072867A1 (en) * 2010-09-17 2012-03-22 Apple Inc. Presenting pop-up controls in a user interface
US20120185787A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation User interface interaction behavior based on insertion point
US9753630B1 (en) 2011-03-18 2017-09-05 Amazon Technologies, Inc. Card stack navigation
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP5784960B2 (ja) 2011-04-26 2015-09-24 京セラ株式会社 携帯端末、タッチパネル操作プログラムおよびタッチパネル操作方法
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
JP6213467B2 (ja) * 2012-06-29 2017-10-18 日本電気株式会社 端末装置、表示制御方法およびプログラム
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP5924555B2 (ja) * 2014-01-06 2016-05-25 コニカミノルタ株式会社 オブジェクトの停止位置制御方法、操作表示装置およびプログラム
JP2015125769A (ja) * 2014-03-25 2015-07-06 利仁 曽根 入力支援方法
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US20160139763A1 (en) * 2014-11-18 2016-05-19 Kobo Inc. Syllabary-based audio-dictionary functionality for digital reading content
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63153626A (ja) * 1986-12-17 1988-06-27 Fujitsu Ltd ル−ペウインドウ制御方式
JP2575799B2 (ja) 1988-05-10 1997-01-29 凸版印刷株式会社 ホログラム熱転写記録方法及びそれに用いるホログラム熱転写記録材料
JP2817423B2 (ja) * 1991-03-20 1998-10-30 日本電気株式会社 画像表示装置
US5808601A (en) * 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5784061A (en) * 1996-06-26 1998-07-21 Xerox Corporation Method and apparatus for collapsing and expanding selected regions on a work space of a computer controlled display system
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
US6188405B1 (en) * 1998-09-14 2001-02-13 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory, to objects
US7278115B1 (en) * 1999-06-18 2007-10-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
US20010034742A1 (en) * 2000-01-17 2001-10-25 Konata Stinson Apparatus, method and system for a temporal interface, interpretive help, directed searches, and dynamic association mapping
US6782128B1 (en) * 2000-07-28 2004-08-24 Diane Rinehart Editing method for producing a doll having a realistic face
KR100458389B1 (ko) * 2000-09-29 2004-11-26 산요덴키가부시키가이샤 통신단말장치 및 표시방법
US7110351B2 (en) * 2000-12-19 2006-09-19 Nortel Networks Limited Enhanced ARQ with OFDM modulation symbols
US6816354B2 (en) * 2001-07-02 2004-11-09 Avx Corporation Single layer capacitor milled part
WO2006025347A1 (ja) * 2004-08-31 2006-03-09 National University Corporation Tohoku University 銅合金及び液晶表示装置
IES20020159A2 (en) * 2002-03-01 2003-09-03 Baydon Solutions Ltd Content management system
US7193609B2 (en) * 2002-03-19 2007-03-20 America Online, Inc. Constraining display motion in display navigation
US7062712B2 (en) * 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
US6724044B2 (en) * 2002-05-10 2004-04-20 General Semiconductor, Inc. MOSFET device having geometry that permits frequent body contact
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
JP4172645B2 (ja) * 2004-03-31 2008-10-29 任天堂株式会社 入力位置との関係でゲームオブジェクトの動作を変化させるゲームプログラム
US7370690B2 (en) * 2004-06-25 2008-05-13 Cnh America Llc Apparatus for tilting and securing a heat exchanger
US20060059437A1 (en) * 2004-09-14 2006-03-16 Conklin Kenneth E Iii Interactive pointing guide
US20070198942A1 (en) * 2004-09-29 2007-08-23 Morris Robert P Method and system for providing an adaptive magnifying cursor
US7286960B2 (en) * 2004-09-30 2007-10-23 General Electric Company Systems and methods for monitoring fouling and slagging in heat transfer devices in coal fired power plants
ITBO20040653A1 (it) * 2004-10-22 2005-01-22 Guya Bioscience S R L Metodo per la preparazione d'impianti endossei con elevata osteointegrazione tramite film sottili superficiali di anatasio
US7451052B2 (en) * 2005-05-29 2008-11-11 Cerno Bioscience Llc Application of comprehensive calibration to mass spectral peak analysis and molecular screening
KR100648927B1 (ko) * 2005-07-19 2006-11-27 삼성전자주식회사 마우스 커서 모양을 변경하는 방법 및 인쇄제어장치
US20070028189A1 (en) * 2005-07-27 2007-02-01 Microsoft Corporation Hierarchy highlighting
US7822596B2 (en) * 2005-12-05 2010-10-26 Microsoft Corporation Flexible display translation
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR100808991B1 (ko) * 2006-05-04 2008-03-07 삼성전자주식회사 이동통신 단말기에서 전자사전을 이용한 단어검색 방법 및장치
US20080141126A1 (en) * 2006-11-17 2008-06-12 Vincent Lee Johnson Method and system to aid in viewing digital content
US20080158164A1 (en) * 2006-12-27 2008-07-03 Franklin Electronic Publishers, Inc. Portable media storage and playback device
KR100837166B1 (ko) * 2007-01-20 2008-06-11 엘지전자 주식회사 전자기기의 정보 표시 방법 및 그 전자기기
US8988359B2 (en) * 2007-06-19 2015-03-24 Nokia Corporation Moving buttons
US20090058801A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Fluid motion user interface control
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8341545B2 (en) * 2008-03-06 2012-12-25 Intuit Inc. System and method for focusing a view of data on a selected subset
CA2725542C (en) * 2008-05-28 2016-12-13 Google Inc. Motion-controlled views on mobile computing devices

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297854A (zh) * 2012-08-24 2013-09-11 乐视致新电子科技(天津)有限公司 一种web页面焦点控制方法
CN103297854B (zh) * 2012-08-24 2017-12-08 乐视致新电子科技(天津)有限公司 一种web页面焦点控制方法
CN103019550A (zh) * 2012-12-07 2013-04-03 东软集团股份有限公司 关联内容实时展现方法及系统
CN103019550B (zh) * 2012-12-07 2015-08-26 东软集团股份有限公司 关联内容实时展现方法及系统
CN109901766A (zh) * 2017-12-07 2019-06-18 珠海金山办公软件有限公司 文档视口的移动方法、装置及电子设备
CN113646829A (zh) * 2019-04-03 2021-11-12 京瓷办公信息系统株式会社 显示装置
CN113646829B (zh) * 2019-04-03 2024-03-19 京瓷办公信息系统株式会社 显示装置

Also Published As

Publication number Publication date
US20100037183A1 (en) 2010-02-11
CN101650634B (zh) 2013-04-17
JP4577428B2 (ja) 2010-11-10
EP2154603A2 (en) 2010-02-17
EP2154603A3 (en) 2010-12-15
JP2010044533A (ja) 2010-02-25
US10684751B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
CN101650634B (zh) 显示设备和显示方法
JP7153810B2 (ja) 電子デバイス上の手書き入力
CN103164157B (zh) 在便携式终端中用于提供多点触摸交互的方法和设备
CN106155549B (zh) 触摸输入光标操控
CN106095215B (zh) 触摸输入光标操控
JP6300879B2 (ja) キーボードインタフェース機能のためのデバイス、方法及びグラフィカルユーザインタフェース
EP2360563A1 (en) Prominent selection cues for icons
CN105260049B (zh) 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CN101506867B (zh) 带有输入敏感显示设备的键盘
KR101617598B1 (ko) 식별자들의 목록을 내비게이션하기 위한 장치, 방법 및 그래픽 사용자 인터페이스
US9292161B2 (en) Pointer tool with touch-enabled precise placement
CN107850978A (zh) 用于在文档编辑中提供手写支持的设备和方法
US20140215336A1 (en) Methods and devices for simultaneous multi-touch input
EP2746916A1 (en) Menu management methods and systems
US20200326841A1 (en) Devices, methods, and systems for performing content manipulation operations
KR20150126494A (ko) 이동 단말기 및 그 제어 방법
JP2007148927A (ja) 入力装置及びこれを用いたスクロール制御方法
JP2009508230A (ja) 電子文書に関するリーディングモード
US9623329B2 (en) Operations for selecting and changing a number of selected objects
JP6048408B2 (ja) 電子付箋の書込情報処理装置及び方法
CN101593081A (zh) 便携式终端及信息显示方法
CN103197876A (zh) 在有电子书阅读器功能的终端中显示电子书的方法和装置
JP2012008676A (ja) 電子書籍表示装置
KR20100041150A (ko) 멀티터치를 이용한 사용자 인터페이스 제어방법
JP2014127159A (ja) 電子機器および入力方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130417

Termination date: 20150811

EXPY Termination of patent right or utility model