CN103782263B - 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法 - Google Patents

信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法 Download PDF

Info

Publication number
CN103782263B
CN103782263B CN201280042985.3A CN201280042985A CN103782263B CN 103782263 B CN103782263 B CN 103782263B CN 201280042985 A CN201280042985 A CN 201280042985A CN 103782263 B CN103782263 B CN 103782263B
Authority
CN
China
Prior art keywords
gui
display
screen
layout
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280042985.3A
Other languages
English (en)
Other versions
CN103782263A (zh
Inventor
小木曾彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011199885A external-priority patent/JP5669698B2/ja
Priority claimed from JP2011199884A external-priority patent/JP5669697B2/ja
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103782263A publication Critical patent/CN103782263A/zh
Application granted granted Critical
Publication of CN103782263B publication Critical patent/CN103782263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Abstract

准备了一种GUI布局信息文件，其中与内容对应，GUI的位置被设定为涉及屏幕尺寸的百分比，而GUI的尺寸被设定为固定长度。在无论设置如何GUI都不会重叠的、具有尺寸A的屏幕中，以根据GUI布局信息文件的设置的位置和尺寸显示GUI（屏幕134）。在根据设置GUI彼此重叠的具有屏幕尺寸B的屏幕中，使GUI位置设置为无效，并确布局置以使得GUI接触（屏幕136）。在根据所设定的尺寸GUI彼此接触但是超出了屏幕的具有屏幕尺寸C的屏幕的情况下，依据屏幕尺寸在尺寸方面缩小GUI，并好像填塞屏幕一样地显示所述GUI（屏幕138）。

Description

信息处理装置、信息处理方法、内容文件的数据结构、GUI布局 仿真器及GUI布局设置辅助方法
技术领域
本发明涉及一项接收由用户通过使用触摸面板输入手动操作的信息处理技术。
背景技术
近几年，比如便携式游戏机、移动电话、PDA(个人数字助理)以及平板电脑之类的一些有意作为便携式的小型信息装置逐渐变得流行。在这些小型设备中，因为尺寸的限制，输入部件也受到限制。因此，特别开发出专用于小型设备的输入部件和功能。例如，用触摸面板覆盖显示器表面并使得能够通过手指和触笔输入可以让用户觉得好像该用户在直接操作显示在显示器上对象等。
同时，用于通过使用这些小型设备执行与固定游戏机和个人计算机所执行的信息处理等同的信息处理的环境也被开发出来。举例来说，无论在什么地点，变得可以由用户操作小型设备并通过经由网络连接的固定设备执行实际的信息处理来享受高级游戏。此外，通过模拟，由小型设备实施原本用于固定设备的游戏也成为可能。
发明内容
技术问题
如上所述，近几年，存在无论装置的尺寸和使用环境如何都允许游戏等的信息处理被执行的技术方向。然而，存在一个问题，当试图通过使用小型设备来执行这些高级信息处理时，由于如上所述的输入部件的限制而可操作性不佳。此外，特别在小型设备中，尽管在屏幕上显示GUI(图形用户接口)作为输入部件以便于确保屏幕尺寸是有效的，但是难以对要显示的每项内容以及对装置的每个屏幕尺寸做出精确的设置。
本发明鉴于这些问题来进行设计，并且其目标在于提供一种能够轻松地实现具有适合于要显示的内容和屏幕尺寸的形式的输入部件的技术。
解决方案
本发明的另一个方面涉及信息处理装置。该信息处理装置是包括被触摸面板覆盖的显示器并执行由用户选择的信息处理的信息处理装置。该信息处理装置的特征在于包括生成将在显示器上显示的GUI(图形用户接口)图像的GUI图像生成器，和根据被触摸面板检测到的接触点和当前显示的GUI图像之间的对应关系来识别用户实施的操作内容的操作信息转换器。该GUI图像生成器最终决定GUI的位置和尺寸，并通过实施与显示器的实际尺寸和关于显示器尺寸的条件之间的比较结果对应的调节来生成GUI图像，该关于显示器尺寸的条件从记录在与显示器尺寸无关的标准设置而被创建的GUI布局信息文件中的GUI位置和尺寸的设置值中获得。
本发明的另一个方面涉及一种信息处理方法。该信息处理方法的特征如下。包括被触摸面板覆盖并执行由用户选择的信息处理的信息处理装置包括生成将在显示器上显示的GUI图像的步骤，和从被触摸面板检测到的接触点和当前显示的GUI图像之间的对应关系识别用户实施的操作内容的步骤。该生成GUI图像的步骤包括将显示器的实际尺寸与关于显示器尺寸的条件进行比较，该关于显示器尺寸的条件从记录在作为与显示器尺寸无关的标准设置而被创建的GUI布局信息文件中的GUI位置和尺寸设置值中获得，和最终决定GUI的位置和尺寸并通过实施与比较结果对应的调节来生成GUI图像的步骤。
本发明的又另一方面涉及内容文件的数据结构。该内容文件的数据结构是由包括被触摸面板覆盖的显示器的信息处理装置执行的内容文件的数据结构。该数据结构的特征在于，用于执行涉及内容的信息处理的执行文件与GUI布局信息文件相关联，该GUI布局信息文件作为被参考以生成将在显示器上显示的GUI(图形用户接口)图像的文件的并作为与显示器尺寸无关的标准设置被创建。GUI的位置和尺寸的设置值被记录在GUI布局信息文件中。通过实施与显示器的实际尺寸与从基础设置值中获得的关于显示器尺寸的条件之间的比较结果对应的调节，GUI布局信息文件用于最终决定GUI的位置和尺寸。
本发明的又另一方面涉及GUI布局仿真器。该GUI布局仿真器是辅助设置涉及通过屏幕上显示(on-screen displaying)而要在内容图像上显示的GUI(图形用户接口)的布局的信息的GUI布局仿真器，该内容图像应当作为包括被触摸面板覆盖的显示器的信息处理装置中的信息处理结果而被显示。GUI布局仿真器的特征在于包括布局设置接收器，接收GUI的位置和尺寸的基础设置值；屏幕尺寸指定接收器，接收假设的信息处理装置的显示器的尺寸指定；GUI图像显示部分，通过实施对应于显示器的实际尺寸与从基础设置值中获得的关于显示器尺寸的条件之间的比较结果的调节来决定GUI的位置和尺寸，并依据所述决定的布局在代表具有指定尺寸的虚拟屏幕的矩形区域内显示GUI；以及存储作为GUI布局信息文件而确定的基础设置值的存储器。
本发明的又一个方面涉及GUI布局设置辅助方法。该GUI布局设置辅助方法由GUI布局仿真器实施，该仿真器辅助设置涉及通过屏幕上显示而要在内容图像上显示的GUI(图形用户接口)布局的信息的GUI布局仿真器，该内容图像应当作为包括被触摸面板覆盖的显示器的信息处理装置中的信息处理结果而被显示。所述GUI布局设置辅助方法的特征在于包括接收GUI的位置和尺寸的基础设置值的步骤，接收虚拟信息处理装置的显示器的尺寸指定的步骤，通过实施对应于指定的显示器尺寸与从基础设置值中获得的关于显示器尺寸的条件之间的比较结果的调节来决定GUI的位置和尺寸的步骤，在显示器上显示图像的步骤，在该图像中基于依据该决定的布局而将GUI放置于代表具有指定尺寸的虚拟屏幕的矩形区域内，以及存储作为GUI布局信息文件确定的基础设置值的步骤。
通过解释上述组成部分的任意组合以及方法、装置、系统、计算机程序等中的本发明的表达所获得的，作为本发明的实施例也是有效的。
有益效果
根据本发明，能够轻松地实现适合于显示内容和屏幕尺寸的输入部件。
附图说明
图1是示出本实施例的信息处理装置的外观示例的示图。
图2是说明在本实施例中作为操纵杆GUI显示的图形及其操作方法的示图。
图3是详细示出本实施例中信息处理装置的配置的示图。
图4是示出本实施例中在GUI布局信息文件中记录的数据的结构示例的示图。
图5是说明图4所示的GUI布局信息表中设置的各个GUI的位置和尺寸的设置示例的示图。
图6是说明本实施例中的GUI布局部分如何决定GUI的位置和尺寸的原理的示图。
图7是示出本实施例中GUI图像响应于屏幕尺寸变化的变化示例的示图。
图8是示出本实施例中允许用户调节GUI的位置和尺寸的接收屏幕的示例的示图。
图9是示出其中作为调节目标的GUI在接收调节屏幕上移动以调节GUI的位置和尺寸的屏幕示例的示图。
图10是示出执行与本实施例中的信息处理装置的GUI图像显示有关的处理的过程的流程图。
图11是示出GUI布局仿真器的配置，该仿真器在本实施例中帮助创建GUI布局信息文件。
图12是示出本实施例中由GUI布局仿真器显示的屏幕示例的示图。
图13为示出通过本实施例中的GUI布局仿真器辅助创建GUI布局信息文件的处理的过程的流程图。
图14是说明本实施例中多个GUI布局信息文件与一个内容执行文件相关联的模式的示图。
具体实施方式
图1示出了本实施例的信息处理装置的外观示例。信息处理装置10是对于用户便携式的小型装置，并且可以是移动电话、PDA、便携游戏机、平板电脑等中的任一种。它可以具有通过组合它们而获得的功能。因此，信息处理装置10可以具有对应于功能的各种处理机制。然而，其描述在下文中将适当地省略，因为可以为它们运用通用的技术。
信息处理装置10具有安置于主体前表面上的显示器14以及安置于侧表面上的激活开关40。在显示器14的后侧上，合并了多种信息处理所必须的机构，比如CPU、图形处理器单元、声音处理器和存储器(未显示)。显示器14可以是比如液晶显示器、EL(电子发光)显示器和等离子显示器之类的通用显示器的任一种。显示器14的上表面被触摸面板12覆盖。该触摸面板12由投入实际应用的任一系统实现，如电阻膜系统、光学系统和电容耦合系统之类。
另外，信息处理装置10可包括输出声音的扬声器、耳机连接终端、与其他装置通信的红外端口和无线LAN机构、电池盒等。这些元件没有在图中显示。
在显示器14上，根据功能显示比如菜单屏幕和图标之类的对于用户的操作输入必需的屏幕图像，以及比如游戏屏幕、运动图像重现屏幕、文本显示屏幕和照片显示屏幕之类的作为信息处理结果的屏幕图像。此外，允许用户在观看它们时进行操作输入的GUI将通过屏幕上显示而显示。
用户通过用手指触摸触摸面板12并在该触摸面板12上滑动以向信息处理装置10实现操作输入，以这样的方式操作GUI。在图1中，在信息处理装置10中实现了下列GUI：通过显示方向键的图形而形成的方向键GUI 42；通过显示一组4个类型的操作按钮(即，圆形按钮、十字形按钮、方形按钮和三角形按钮)的图形而形成的4类按钮GUI 44；通过显示以全方向的方式进行方向指示的图形而形成的操纵杆GUI 46a和46b；通过显示“L”按钮的图形而形成的L按钮GUI 48；通过显示“R”按钮的图形而形成的R按钮GUI 50；和通过显示“选择”按钮和“开始”按钮的图形而形成的选择/开始按钮GUI 52。
下列描述将以图1所示的GUI为例。然而，它们仅仅只是范例，而无意限制其设计和作用。引入这些GUI以实现与例如固定游戏机的控制器有相同的可操作性的输入部件。方向键GUI 42配置成允许在上、下、左、右4个方向或者还包括这4个方向之间的中间方向的8个方向上键入，并用于例如光标在屏幕上的移动和屏幕的滚动。此外，它还可以用于改变游戏屏幕上出现在游戏中的角色的运动方向。
对于4类按钮GUI 44，分配了依据待执行的处理内容而彼此不同的功能。举例来说，在选择菜单屏幕中的一个所需项时，通过触摸方向键GUI 42中任何一个方向的键来移动显示在列表中显示的条目名称和图标中的高亮目标，并通过触摸4类按钮GUI 44的圆形按钮来确定一个选择。此外，在对话类型的游戏中，通过触摸例如4类按钮GUI 44中的圆形按钮和十字形按钮来表明肯定和否定的意图。
例如，L按钮GUI 48和R按钮GUI 50用于改变游戏中视线的方向，及通过与另一个按钮的同时操作来增加不同的动作。例如，选择/开始按钮GUI 52中的“选择”按钮用于从显示为菜单的条目中进行选择，而“开始”按钮用于启动例如运动图像或音乐再现。
如图中所示，在“选择”按钮和“开始”按钮之间，代表着用于在显示状态和非显示状态之间切换选择/开始按钮GUI 52的状态的图形可以进一步显示。当在这个状态下触摸该图形时，选择/开始按钮GUI 52进入非显示状态且只有这个图形被留下。当在这个状态下操作该图形时，选择/开始按钮GUI 52将显现。此外，还可以例如出于暂时改善内容的可见性和方便内容触摸的目的而在触摸该图形时将除此图形之外的全部GUI设置为非显示状态而使用该图形。还是在这种情况下，通过再次触摸该图形，暂时设为非显示状态的GUI将再次显示。同样，对于L按钮GUI 48、R按钮GUI 50和选择/开始按钮GUI 52，将依据待执行的处理内容来分配各种功能。
作为伪(pseduo)方式的图像，左右操纵杆GUI 46a和46b通过复制用于例如游戏机控制器的操纵杆而形成，并能够在任意方向上倾斜。操纵杆GUI 46a和46b由至少圆形构成，并且配置成由用户基于从圆心到接触点的方向和距离来输入方向和尺寸。
这个GUI是能任意方向和任意数量的输入，因而能用于例如在游戏中出现的角色和物体的运动方向和运动速度的控制以及视野的变换。图2是用于说明显示为操纵杆GUI46a的图形及其操作方法的示图。下面关于操纵杆GUI 46a的描述也适用于操纵杆GUI 46b。
在触摸作为操纵杆GUI 46a的图形而显示的圆72内的区域后，当用户在触摸面板上滑动手指而不离开触摸面板的期间内，对操纵杆GUI 46a的操作被认为是有效的。此外，如图2左侧所示，从圆72的中心74到用户手指76a的接触点的方向矢量71a的方向和尺寸被持续获取以被认为是与当操作真实的操纵杆时倾斜方向和倾斜角度对应的输入方向和输入值。
此时，由例如圆形构成的标记70显示于手指76a与之接触的位置，并与接触点的运动相匹配地移动。优选地，标记70具有不被手指遮住的尺寸和形状。此外，通过好像它在发光地改变其周边的图像，或好像它在跟踪接触点的运动一样地略微偏离标记70的位置，或淡淡地显示其运动轨迹，可进一步改善标记70的可见性。
在操纵杆GUI 46a的操作为有效的期间内，即在从圆72以内的区域开始的接触持续的期间内，圆72以外的区域也被用作这个操作的检测区域，如图2右侧所示。举例来说，触摸面板12的整个区域都可以被用作检测区域。此时，通过使得其他显示于显示器14上的GUI禁用，通过使用宽的区域可以得更加顺畅地实施对操纵杆GUI 46a的操作。
当手指76b的接触点存在于圆72外面时，只有源自圆心74的方向被作为输入方向获取，并且输入值在圆72或具有预定半径的同心圆(在图2中，同心圆77)的半径值处饱和，而与从中心74到接触点的距离无关。此时，显示标记70以内接在圆72中，并对应于接触点的方向而移动。
通过提供这样的GUI而能够实现的操作内容可以根据对应于由信息处理装置实现的功能的按钮分配而不同地变化。在本实施例中，通过以上述方式以触摸面板的形式来复制固定游戏机和个人计算机的输入装置，能够使得小型信息设备中的操作输入的变化形式与固定游戏机等中的相同。此外，用户习惯用固定游戏机玩的游戏也能够以类似的可操作性在小型设备中实施，而没有不适的感觉。
另一方面，如上在屏幕中提供输入部件的环境造成了在通过增加输入部件种类的数量和增加输入部件的尺寸以追求操作性的提升与改进作为比如内容图像的处理结果的原始图像的可见性之间的权衡关系。它们之间的最佳平衡取决于比如信息处理的内容、期望被显示的图像、输入部件的种类和使用频率以及屏幕尺寸之类的各种因素而改变。在本实施例中，实现了能够响应这样的因素中的改变的GUI显示机制。
图3详细示出了信息处理装置10的配置。除了上文描述的触摸面板12和显示器14之外，信息处理装置10还包括内容存储器16，存储用于显示内容和不同种类数据的程序；GUI图像存储器18，存储作为GUI而准备的素材(material)图像的数据；以及输入/输出控制器20，控制来自触摸面板12的输入信号的接收和图像数据至显示器14的输出。信息处理装置10还包括GUI布局调节接收器21，接收用户对各个GUI的尺寸和位置的调节；操作信息转换器22，将来自触摸面板的输入信号转换为关于操作内容的信息；GUI布局部分26，把各个GUI的图像放置到屏幕的坐标系统上；GUI图像缓冲器28，在布局后暂时存储GUI图像。
信息处理装置10还包括内容处理器24，执行与依据对GUI的操作内容的内容显示有关的信息处理；内容图像生成器30，生成内容图像；内容图像缓冲器32，暂时存储所生成的内容图像；和图像合成器34，生成通过GUI图像在内容图像上的屏幕上显示而获得的图像。
这里，“内容”的种类没有限制，只要它是一个可以进行电子处理并在显示器上显示的对象，比如计算机游戏、运动图像、文本、照片或图片。此外，本实施例不仅可以应用于普通的“内容”，还可以应用于普通的信息处理，比如网页浏览、日程管理、地址列表显示、文本创建和表格计算。在下面的描述中，执行伴随着图像显示的这样的信息处理将被统称作“内容执行”。
在下文中，由被GUI布局部分26放置到屏幕的坐标系统上的各个GUI配置的图像将被称为“GUI图像”。即作为信息处理的结果，通过“GUI图像”在“内容图像”上的屏幕上显示而获得的图像将作为最终图像在显示器14上显示。
在后面将要描述的图3和图11中，作为执行不同种类处理的功能块显示的各个部分可由硬件形式的CPU、存储器和其他LSI构成，并由以软件形式处理内容和执行图像处理的程序等实现。因此，本领域技术人员将能理解，这些功能块能通过仅硬件、或仅软件，或两者的组合以多种形式来实现，而并不限于任何一种。
输入/输出控制器20通过现有方法连接到触摸面板12和显示器14，来控制数据的输入和输出。从触摸面板12接收到的输入信号包括用户在触摸面板12上触摸的接触点的坐标、当接触点连续移动时坐标的移动路径等。检测触摸面板12上接触点的方法随其系统的不同而有所区别，因此不在这里提及。输入/输出控制器20把待显示图像的视频信号输出到显示器14。
内容存储器16存储内容执行文件38，其中记录了为处理内容和各种类型数据(比如图像数据)所必需的程序。此外，内容存储器16存储了与相关内容相关联地设置并记录了涉及每个GUI的位置和尺寸的基础信息的GUI布局信息文件36；以及用户设置信息文件37，其中记录了用户对GUI位置和尺寸的调节结果。GUI布局信息文件36由内容创建器等创建，并连同内容执行文件38一起提供。GUI布局调节接收器21是允许用户根据用户偏好调节在这样提供的GUI布局信息文件36(即各个GUI的位置和尺寸)中记录的信息以创建用户设置信息文件37的界面。
举例来说，如果内容是一个游戏，则其程序、玩家的信息和上一场游戏得分等级信息等被记录在内容执行文件38中。如果内容是电影或音乐，则记录压缩编码视频数据和/或音频数据以及解码和再现该数据的程序等。内容存储器16可以是一个硬盘或由一个可移动记录介质，比如存储器卡、ROM盘、光盘、或磁光盘和一个与之对应的读取装置的组合来实现。
GUI图像存储器18是比如存储作为GUI图像的素材的图像数据的硬盘驱动器的存储装置、比如方向键和4类按钮之类。操作信息转换器22从输入/输出控制器20获取来自的触摸面板12的输入信号，并将包含于这个信号中的接触点等的坐标转换为操作内容的信息。具体地说，操作信息转换器22解译了对图1中的GUI的操作。此外，在来自图标阵列或显示为初始屏幕等的菜单屏幕的选择输入中，操作信息转换器22基于接触点识别所选项。
为了这个目的，示出图标、菜单项、GUI等的操作目标图形被显示的区域和当相关区域被触摸时的操作内容之间对应关系的信息被记录在内容执行文件38中，而且操作信息转换器22将其读出。此外，当GUI布局部分26生成GUI图像时，操作信息转换器22通过来自GUI布局部分26的通知，获取涉及图1所示的GUI的区域的信息。
而且，操作信息转换器22将一个区域与基于GUI的识别信息和操作内容之间的关联的操作内容关联起来，该操作内容在内容执行文件38中设置。在实际操作中，如果从输入/输出控制器20中获取的接触点坐标存在于当前显示的各个GUI中的任何一个的检测区域内，则操作信息转换器22识别出与相关GUI关联的操作内容。
涉及关于操作内容的信息中的内容处理的信息被通告给内容处理器24，并且涉及GUI显示的信息被通告给GUI布局部分26。当选择内容的操作被实施或当应当改变GUI显示的操作被实施时，GUI布局部分26根据需要测量从GUI图像存储器18中读取的各个GUI的图像，并基于从内容存储器16中读取的用户设置的信息文件37或GUI布局信息文件36中设置的信息，将图像放置到屏幕的坐标系统中。当读出GUI布局信息文件36时，GUI布局部分26将显示器14自身装置的屏幕尺寸与在GUI布局信息文件36中设置的信息进行比较，并决定GUI的位置和尺寸，使得它们能够与设置相符地适合屏幕尺寸。
作为布局结果生成的GUI图像存储在GUI图像缓冲器28中。此外，关于所确定的GUI位置和尺寸的信息也传递给了操作信息转换器22。通过配置具备双向信息传输的能力的GUI布局部分26和操作信息转换器22，能够重新显示另一个GUI，或者可以根据对当前显示GUI的操作改变其布局、尺寸、设计等。举例来说，在对图2中操纵杆GUI 46a的操作有效的情况下，无效的其他GUI的图像将被设置为非显示状态。标记70的显示也能以同样的机制实施。
内容处理器24涉及存储于内容存储器16中的内容执行文件38，并依照用户的操作内容执行对内容的处理。实际处理过程通常这样根据内容的目录被执行。内容图像生成器30生成内容图像的数据，该内容图像作为处理结果由内容处理器24输出，并存储于内容图像缓冲器32。
图像合成器34通过利用存储于GUI图像缓冲器28中的GUI图像的数据和存储于内容图像缓冲器32中的内容图像数据执行图像处理，由此生成通过GUI图像在内容图像上的屏幕上显示而获得的图像，并将其存储于内部帧缓冲器中。在输入/输出控制器20的控制下，对应于存储在这个帧缓冲器中的图像的视频信号被传送至显示器14。因此，包括了GUI的图像被显示于显示器14上。
图4显示了记录在GUI布局信息文件36中的数据的结构示例。在本实施例中，如上所述，与屏幕尺寸无关的，作为共同的标准设置，为每一项内容创建一个GUI布局信息文件36，并且每个信息处理装置的GUI布局部分26参照相关文件，以适合自身装置的屏幕尺寸的位置和尺寸放置各个GUI。
记录在GUI布局信息文件36中的GUI布局信息表100包括GUI识别信息域102、显示转换域104、位置域106、尺寸域108以及左右连接域110。GUI识别信息域102示出能够被显示的GUI的识别信息。在图4中，显示了下列8个GUI的名字：“L按钮”、“R按钮”、“左操纵杆”、“右操纵杆”、“方向键”、“4类按钮”、“选择/开始按钮(水平)”“选择/开始按钮(垂直)”。
除了“选择/开始按钮(垂直)”外的7个GUI分别对应于图1所示的L按钮GUI 48、R按钮GUI 50、操纵杆GUI 46a和46b、方向键GUI 42、4类按钮GUI 44和选择/开始按钮GUI 52。“选择/开始按钮(垂直)”是通过转变“选择/开始按钮(水平)”获得的GUI。
尽管各个GUI的名字显示于图4中的GUI识别信息域102中，例如识别码或者识别数字可能会被显示。这样的GUI识别信息也作为GUI和操作内容之间关联的信息而被共用，该信息在存储于GUI图像存储器18中的每个GUI的图像数据的识别中以及通过操作信息转换器22将关于接触点的信息到操作内容的转换中被参照。
在显示转换域104中，设定了是否显示GUI识别信息域102中所示的各个GUI。在图4中，“开”，即对所有GUI设定显示GUI的设置。通过把这个设置改为“关”，即非显示状态，对应的GUI被排除在显示目标外。这样可以将不必要的GUI设置为非显示状态，以缩小内容图像的隐藏区域。也可以逐个按钮地对由比如方向键GUI、4类按钮GUI和选择/开始按钮GUI之类的多个按钮组成的GUI进行是否要显示对象的设置。
在位置域106中，设定了GUI识别信息域102中所示的每个GUI的屏幕位置。具体地，每一个GUI的素材图像的参照点的位置，比如左上点或中心点，以屏幕的X坐标(水平方向)和Y坐标(垂直方向)为基础来设定。Y坐标表示为到屏幕一端的距离与屏幕垂直长度的比率。在图4中，到上端距离的比率以百分比的形式表示。另一方面，X坐标表示为到屏幕一端的长度。在图4中，对于左侧的GUI，以英寸表示到屏幕左端的距离；对于右侧的GUI，以英寸表示到屏幕右端的距离。如上所述，用于设布局置的屏幕的坐标系的原点和单位不需要是所有GUI共有的。
通过利用这一点，甚至在屏幕尺寸改变时，关于垂直方向，GUI可以被置于靠近掌握装置的那只手的位置，比如靠近中心的位置。另一方面，关于水平方向，无论屏幕尺寸如何改变，GUI都可以被放置于邻接屏幕左端和右端或在预定距离内靠近边端的位置。此外，可以防止在垂直GUI排列中生成不自然的凹凸面。
在尺寸域108中，设定了GUI识别信息域102中所示的每个GUI的图像的宽度“W”和高度“H”。在图4中，这些参数以英寸表示。适合于操作的GUI尺寸主要取决于手指的尺寸及其运动的范围，因而，无论屏幕的尺寸如何，它基本上是固定的。然而，如后面要描述的，GUI布局部分26依据屏幕尺寸来实施尺寸调节。
在左右连接域110中，无论屏幕的尺寸如何，是否在相同高度处显示位于屏幕左侧和右侧的一对GUI总是设定的。显示在相同高度(即在垂直方向处于相同位置)的一对GUI的设置，被称作“连接”。在图4中，假设“L按钮”和“R按钮”、“左操纵杆”和“右操纵杆”、“十字形按钮”和“4类按钮”匹配成对，并且基本上每一对都在左侧和右侧的相同高度上显示。
因此，对于各个匹配对，位置域106中的Y坐标设为“5％”、“20％”和“45％”。然而，如后面要描述的，在某些情况下，GUI布局部分26依据作为显示目标的GUI和屏幕尺寸，来决定不同于这个Y坐标设置的布局。在这种情况下，当在左右连接域110中设定了连接GUI的设置时，将给予它优先权以由此阻止由于一对左右GUI在高度上出现差异而导致的反常布局。在图4中，将所有匹配对设置为“开”，即设置为连接GUI。如果没有必要连接GUI，则设置为“关”等。
图5说明了图4所示的GUI布局信息表100中设定的各个GUI的位置和尺寸的设置示例。如图5所示，假设一个例子，其中，在屏幕120中，L按钮GUI 48、左操纵杆GUI 46a和方向键GUI 42置于左侧，而R按钮GUI 50、右操纵杆GUI 46b、4类按钮GUI 44和选择/开始按钮GUI 53置于右侧。这里，除了选择/开始按钮GUI 53以外的GUI对应于图1所示的各个GUI。
选择/开始按钮GUI 53处于这样一种状态，其中选择按钮和开始按钮的图形在垂直方向上排列，而在图1所示的选择/开始按钮GUI 52中它们以水平方向排列。这个GUI是图4中GUI布局信息表100的最后一行所示的“选择/开始按钮(垂直)”的GUI，并且与对应于图1中选择/开始按钮GUI 52的“选择/开始按钮(水平)”分开设置。“选择/开始按钮(垂直)”和“选择/开始按钮(水平)”之间的转换将在后面描述。
对于这7种类型GUI中的每一种，屏幕上的位置和尺寸在位置域106和尺寸域108中设置。在图5所示以L按钮GUI 48、左操纵杆GUI 46a和方向键GUI 42的顺序进行布局的情况下，(X1，Y1)、(X3，Y3)和(X5，Y5)在位置域106中设定，(W1，H1)、(W3，H3)和(W5，H5)在尺寸域108中设置。X1、X3和X5是以英寸表示的数字值，代表在定义为屏幕左端为0且正方向为右的轴上的各个GUI的同心坐标。Y1、Y3和Y5表明在定义为屏幕上端为0而下端为100的轴上的各个GUI的质心的坐标。
类似地，以R按钮GUI 50、右操纵杆GUI 46b、4类按钮GUI 44和选择/开始按钮GUI53的顺序，(X2，Y2)、(X4，Y4)、(X6，Y6)和(X7，Y7)在位置域106中设置，(W2，H2)、(W4，H4)、(W6，H6)和(W7，H7)在尺寸域108中设置。在这种情况下，X2、X4、X6和X7是以英寸表示的数字值，代表在定义为屏幕右端为0且右方向为正方向的轴上的各个GUI的质心的坐标。Y2、Y4、Y6和Y7与上文描述相同。
图6是用于说明GUI布局部分26如何基于自身装置的屏幕尺寸以及GUI布局信息文件36中的设置来决定GUI的位置和尺寸的原理的示图。在图6中，虚线表示垂直方向上相邻的两个GUI质心间的距离D，实线表示相对于屏幕尺寸，所述两个GUI图像在其质心之间的所占宽度和Wsum的变化。
举例来说，当左操纵杆GUI 46a和方向键GUI 42被作为图5所示设置中的一个例子时，满足下列关系式：
D＝(Y5-Y3)×V
Wsum＝(H3+H5)/2
这里，屏幕高度定义为V(英寸)。
也就是说，当遵循所述设置时，质心间的距离D是一个与屏幕高度V成比例的变量，而GUI的宽度的总和Wsum是一个常数。因此，当屏幕尺寸变小时，两者最终会变得彼此相等。在图6中，此时屏幕的高度定义为“Vth1”。如图6所示，在其高度V等于或大于Vth的屏幕尺寸的情况下，质心间的距离D比GUI的宽度的总和Wsum更长，因而GUI不会彼此重叠。因此，在这种条件下，GUI布局部分26依照GUI布局信息文件36的设置而决定各个GUI的位置和尺寸。
另一方面，当屏幕高度V小于Vth1时，遵循所述设置导致如下状态：其中质心间的距离D比GUI的宽度的总和Wsum更短且GUI彼此重叠。在这种情况下，GUI布局部分26使得GUI布局信息文件36的设置中的这两个GUI的垂直位置的设置无效。此外，如图6所示，GUI布局部分26以提供质心间的距离D等于GUI的宽度的总和Wsum的状态(即所述GUI彼此相邻)的方式来决定所述两个GUI的位置。对于垂直方向上相邻的每一对两个GUI，Vth是确定的。这样，做出与屏幕高度V的比较以确定每一对GUI的设置值是否有效。
当屏幕尺寸变得更加小时，得到这样一种状态，其中所有包含在垂直阵列中的GUI彼此相邻。另外，当遵循所述设置时，这些GUI的高度的总和最终会超过屏幕高度V。在图6中，此时屏幕的高度定义为“Vth2”。在这种情况下，除了其垂直位置的设置外，GUI布局部分26还在GUI布局信息文件36的设置中使得这些GUI的尺寸的设置无效。此外，如图6所示，GUI布局部分26按系数V/Vth2，在两个方向上(即垂直方向和水平方向)缩小所述GUI的尺寸。同时，GUI布局部分26以提供所述GUI彼此相邻的状态的方式来决布局置。
通过这样的方式，GUI布局部分26根据GUI布局信息文件36的设置值来计算Vth1和Vth2的值，并将这些值的尺寸与其自身装置的屏幕高度相比较，由此将处理引导至下列三种模式中的任一种：依照设置显示GUI；使得至少任意一个GUI的位置的设置无效并在其之间无间隔地显示GUI；使属于垂直阵列的所有GUI的位置和尺寸的设置无效并以填塞的方式显示缩小的GUI。通过使用这种方法，甚至当屏幕尺寸不同时，GUI仍可以这样显示，使得GUI布局信息文件36中的设置意图尽可能多地被反映。
图7显示了响应于屏幕尺寸的变化而在GUI图像中变化的示例。首先，在屏幕尺寸为A高度为V且满足V>Vth1的屏幕上，各个GUI依据GUI布局信息文件36(屏幕134)的设置的位置和尺寸而显示。另一方面，在屏幕尺寸为C高度为V且满足V<Vth2的情况下，取决于屏幕的尺寸来缩小每个GUI的尺寸，并且所述GUI以填塞的方式在垂直方向上显示(屏幕138)。
在屏幕尺寸为B高度为V且满足Vth2<V<Vth1的情况下，如上所述，每个GUI的尺寸保持不变，且所述GUI以调节后的垂直位置进行显示(屏幕136)。在图7所示的例子中，方向键GUI 42和4类按钮GUI 44位于与屏幕134的情况相比稍微更靠下的位置，以防止它们与位于直接上方的操纵杆46a和46b重叠。
此外，在屏幕136中，选择/开始按钮GUI的设计和布局被切换了。具体地，从显示于具有尺寸A的屏幕134的右侧并通过在垂直方向排列按钮的图形而形成的选择/开始按钮GUI 53切换到通过在屏幕下端的中心以水平方向排列按钮的图形而形成的选择/开始按钮GUI 52的显示。采用预定屏幕尺寸作为切换边界地进行这样的切换，或者当该选择/开始按钮GUI与具备初始设置的其他GUI重叠时进行这样的切换。
屏幕134中的选择/开始按钮GUI 53和屏幕136中的选择/开始按钮GUI 52对应于图4中GUI布局信息表100中所示的“选择/开始按钮(垂直)”和“选择/开始按钮(水平)”。对于在设计方面被设计为根据屏幕尺寸来切换形状和位置的GUI，或在具有满足V<Vth2的屏幕高度V的屏幕中不期望缩小的GUI，GUI布局信息文件36将以这种方式提前设定多种模式。
这种切换不限于选择/开始按钮GUI。举例来说，4类按钮可以显示为在屏幕下端的中心处水平排列，或简单地可将任一GUI与左或右GUI阵列分开并放置于另一个区域中。在任一情况下，鉴于GUI的使用频率和可操作性，设定者的意图可以被反映出来，比如改变位置比缩小尺寸更可取的想法。当屏幕高度V小于Vth1时，如果目标GUI的另一模式在GUI布局信息文件36中设定，则GUI布局部分26将采用它。如果它没被设定，则GUI布局部分26将依据上述与其他GUI的关系来决布局置和尺寸。
在GUI如同屏幕138中一样以填塞的方式在垂直方向上显示的状态中，例如如果左操纵杆46a处于非显示状态，它下面的方向键GUI 42将进一步上移以偏离4类按钮GUI 44，该4类按钮GUI 44最初如此设计以意图在相同的高度上显示。为了避免这样的状况，当在图4的GUI布局信息表100中设定了连接时，确定位置以为它提供优先权。由于此，无论距上侧和下侧GUI的间距多少，应当在同一高度显示的一对GUI总是无偏离地显示。
图8示出了接收屏幕的示例，该接收屏幕由GUI布局调节接收器21在显示器14上显示，并允许用户调节GUI的位置和尺寸。配置此调节屏幕以使得通过触摸GUI的预定按钮随时能够调用它，无论调用定时是在内容执行处理之前还是在处理中。可替代地，可以通过调用菜单屏幕并从中进行选择来调用它。
紧跟调节开始，通过显示激发调节的消息142和围绕各个GUI的矩形框144在GUI图像上的来获得GUI布局调节屏幕140a。在这个例子中，通过一次触摸被矩形框144围绕的GUI中要调节的GUI，将这个GUI设为调节目标。此时，接收这个GUI的尺寸调节的图形146在该GUI附近显示。用户通过在放大方向和缩小方向上移动它来调节尺寸。此外，用户通过触摸作为调节目标的GUI并保持接触地移动它(拖动它)来调节位置。
图9显示了作为调节目标的所述GUI以这种方式被移动的屏幕示例。在GUI布局调节屏幕140b中，获得4类按钮GUI 44的位置已经通过触摸这个GUI区域的内部并由用户拖动它来向左上方移动的状态。然而，当这个GUI存在于和其他GUI(比如操纵杆GUI 46b)重叠的位置时，围绕该GUI的矩形框148的颜色和形状从初始矩形框144的颜色和形状变化，以表明移动到这个位置是不可能的。
如果作为调节目标的GUI的位置和尺寸在调节屏幕上以这种方式改变，则确定这种改变的确定按钮GUI 150和返回原先设置的初始设置按钮GUI 152将替代图8中的消息142被显示。如果确定按钮GUI 150被触摸，则GUI布局调节接收器21创建或更新以绝对值表示此刻所有GUI的位置和布局的用户设置信息文件37，并将其存储于内容存储器16。如果用户设置信息文件存储于内容存储器16，则GUI布局部分26以高于GUI布局信息文件36的优先级，按用户设置信息文件37的信息放置各个GUI。当初始设置按钮GUI 152被触摸时，GUI布局调节接收器21将丢弃用户设置信息文件37。
接下来，将描述可通过目前说明的配置来实现的信息处理装置10的操作。图10是示出了涉及由信息处理装置10实施的GUI图像显示的处理过程的流程图。当通过用户打开激活开关40而激活信息处理装置10以及选择了要被执行的内容时，启动这个流程图。假定，与图10所示的处理并行，信息处理装置10的内容处理器24和内容图像生成器30基于内容执行文件38，执行涉及内容的信息处理。
首先，如果用户调用GUI布局调节屏幕(S10的Y)，则GUI布局调节接收器21显示如图8所例举的GUI布局调节屏幕。当用户拖动想要被调节的GUI并操作用于放缩以调节GUI的位置和尺寸的图形(S14)时，GUI布局调节接收器21创建以绝对值示出调节所得的GUI布局的用户设置信息文件37并将其存储于内容存储器16(S16)。如果存在先前创建的用户设置信息文件37，则GUI布局调节接收器21将更新它。然后，基于用户设置信息文件37创建GUI图像，并通过屏幕上显示而在内容图像上显示。由此，显示最终图像(S30)。
如果用户不实施GUI布局调节(S10的N)，则GUI布局部分26从操作信息转换器22获取所选内容的识别信息等，并参照内容存储器16以检查与这个内容相关联的用户设置信息文件37是否存在(S17)。如果相关文件存在(S17的N)，则将以它为基础创建GUI图像并通过屏幕上显示在内容图像上显示。由此，显示出最终图像(S30)。
如果用户设置信息文件37不存在(S17的Y)，则GUI布局部分26将从内容存储器16读出与所述内容相关联的GUI布局信息文件36(S18)。然后，关于在这个文件中设定为显示目标的GUI，GUI布局部分26将屏幕高度Vth1和其自身装置的屏幕高度V进行比较(S20)，在屏幕高度区间内发生相邻GUI的重叠。如上所述，计算每一对相邻GUI的Vth1。
如果所有对的GUI都满足Vth1≤V(S20的Y)，则GUI布局部分26将通过以GUI布局信息文件36中设定的GUI的位置和尺寸放置存储于GUI图像存储器18中的GUI图像，来生成GUI图像(S24)。另一方面，如果存在一对具有V<Vth1的关系的GUI(S20的N)，则GUI布局部分26进一步将高度Vth2和其自身装置的屏幕高度V进行比较(S22)，在高度Vth2区间内，当仅调节位置时，GUI的垂直阵列适合在屏幕内。
如果满足V th2≤V(S22的Y)，则根据设置值来调节满足V<Vth1关系的GUI对中的至少任一GUI的垂直位置，使得这些GUI可以在彼此相邻但不重叠的位置上显示(S26)。举例来说，不调节上方GUI的位置，而调节下方GUI的位置使它与上面的GUI相邻。如果和上述选择/开始按钮GUI一样，在GUI布局信息文件36中进行改变布局和设计的设置，则优先权将给予这个设置。
如果满足V<Vth2(S22的N)，则包括在阵列中的所有GUI将以系数V/Vth2缩小，并调节位置使得它们可以在彼此相邻的位置显示(S28)。然而，对于在GUI布局信息文件36中设定了连接的左右一对的GUI，优先权将给予该连接。然后，S24、S26或S28中创建的GUI图像通过屏幕上显示在内容图像上显示，并且由此显示出最终图像(S30)。
如上所述，GUI布局部分26将通过依照操作内容执行S18到S30的处理，而按需要把GUI图像变为当前显示的GUI。此外，当用户已经调用了GUI布局调节屏幕，则GUI布局调节接收器21可以通过执行S12到S16的处理而按需要更新用户设置信息文件37。
至此，描述了一个模式，其中，在执行内容的装置中，根据该装置处理的屏幕的尺寸，创建合适的GUI图像。接下来，将描述辅助创建与内容执行文件一起提供的GUI布局信息文件的装置。举例来说，这个装置用于由内容创建者或制作公司，结合内容的创建，鉴于在内容中显示的图像和必要的输入部件来创建具有最佳设置的GUI布局信息文件。
如上所述，在本实施例中，提前创建GUI布局信息文件，由此信息处理装置通过这样的方式自己自动调节GUI的尺寸和位置，使得无论信息处理装置的屏幕多大，都尽量遵守文件的设置意图。然而，在这样的情况下，在内容创建阶段，具有各种不同屏幕尺寸的实际装置需要检查GUI布局信息文件的设置如何在实际GUI图像中得到反映。
为了防止在内容创建器关于其尺寸没有实际装置的装置中形成预计之外的GUI尺寸和布局并且由此造成了操作困难和内容图像的可见度的降低的情况，本实施例意在允许GUI图像被虚拟屏幕仿真。图11显示了辅助GUI布局信息文件的创建的GUI布局仿真器的配置。
GUI布局仿真器160包括布局设置接收器162，接收对GUI布局信息文件的设置值；屏幕尺寸指定接收器164，接收虚拟屏幕的尺寸指定；和GUI图像显示部分166，在虚拟屏幕上显示GUI图像。GUI布局仿真器160还包括GUI布局信息文件存储器168，存储所述GUI布局信息文件；和GUI图像存储器170，存储准备作为GUI的实体图像的数据。如图11所示，配置GUI布局仿真器160以从比如键盘和鼠标之类的普通的输入部件接收信号，并将应当显示的图像数据输出到显示器。
布局设置接收器162在显示器上显示GUI布局信息表，它表示了能够和图4所示的一样地在GUI布局信息文件36中设置的一系列条目。配置各个条目以使得通过输入部件的数据的手动操作输入成为可能。当查看所显示的GUI布局信息表时，设定者实施关于每个GUI的显示状态和非显示状态之间的切换、每个GUI的位置和尺寸的设置以及连接设置。
屏幕尺寸指定接收器164显示屏幕以接收显示器上的虚拟屏幕尺寸的指定。当查看所显示的接收屏幕时，设定者指定虚拟屏幕的尺寸和高宽比。基于涉及对布局设置接收器162的GUI布局的设置和由屏幕尺寸指定接收器164指定的虚拟屏幕尺寸的设置，GUI图像显示部分166通过与信息处理装置10的GUI布局部分26相同的设计来决定GUI的尺寸和位置。然后，GUI图像显示部分166从GUI图像存储器170读出各个GUI的图像数据。另外，GUI图像显示部分166生成与虚拟屏幕尺寸对应的GUI图像，并将它显示在显示器上。
设定者检查具有屏幕尺寸指定接收器164的屏幕尺寸的各种变化的、由GUI图像显示部分166显示的GUI图像，并修改布局设置接收器162中的设置，使得以任何屏幕尺寸都能获得有利的GUI图像。当最终的设置值被确定时，布局设置接收器162在GUI布局信息文件存储器168中存储以这些设置值配置的GUI布局信息文件。可以提前将标准GUI布局信息文件存储于GUI布局信息文件存储器168中，并可以通过设定者的修改来存储新的GUI布局信息文件。
图12示出了由GUI布局仿真器160显示的屏幕示例。GUI布局仿真器屏幕180包括屏幕尺寸指定窗口182，用于接收虚拟屏幕尺寸的指定；和GUI图像显示窗口184，显示对应于指定的虚拟屏幕尺寸的GUI图像。基于对GUI布局信息文件的设置是分开进行的假设，GUI布局信息文件的设置屏幕没有在这个屏幕中显示。然而，该设置屏幕可以同时显示在同一屏幕中。
屏幕尺寸指定窗口182由屏幕尺寸指定接收器164显示，并由高宽比选择框186和屏幕尺寸变化条188组成。通过从高宽比选择框186中选择一个高宽比并且在屏幕尺寸变化条188上水平移动该条，设定者可以任意选择虚拟屏幕的尺寸。通过这种方式选择的高宽比和尺寸反映在GUI图像显示窗口184的高宽比和尺寸中。
通过这些操作，可以相对轻松地实施具有标准高宽比的装置的模拟。可以通过用于在普通窗口系统中改变窗口尺寸的方法来改变GUI图像显示窗口184，具体地，例如通过用鼠标等拖动窗口边界。这同样允许对具有任意高宽比的屏幕配置的轻松模拟，并使促进例如伴随着具体屏幕比率或屏幕尺寸出现的故障的检测。
GUI图像显示部分166依据当前在具备这样尺寸的GUI图像显示窗口184中创建的GUI布局信息文件的设置，显示具有布局的各个GUI。此时的处理与由信息处理装置10的GUI布局部分26执行的处理相同。然而，每当实施为屏幕尺寸指定窗口182指定屏幕尺寸的操作时，与操作相关联，GUI图像显示部分166更新显示于GUI图像显示窗口184中的GUI图像。
接下来，将描述具有上述配置的GUI布局仿真器的操作。图13是示出了由GUI布局仿真器160辅助创建GUI布局信息文件的处理过程的流程图。例如，当设定者激活GUI布局仿真器160时启动该处理。首先，当设定者调用布局设置屏幕时(S40)，布局设置接收器162通过以各个条目可以被输入的状态显示GUI布局信息表来接收布局信息的设置(S42)。
接下来，屏幕尺寸指定接收器164显示屏幕尺寸指定窗口182，而GUI图像显示部分166显示GUI图像显示窗口184。此外，每当对屏幕尺寸指定窗口182进行的屏幕尺寸指定被接收时，GUI图像显示部分166更新GUI图像显示窗口184中的GUI图像(S44,S46)。S46的处理等同于图10中S20到S28的处理。直至最终决定GUI布局信息文件的设置(比如关闭GUI图像显示窗口184)的输入时(S48的N)之前，重复S42、S44和S46的处理。可替代地，只重复S44和S46的处理。
如果做出了GUI布局信息文件的最终决定(S48的Y)，则这个GUI布局信息文件存储于GUI布局信息文件存储器168中(S50)。这个文件与分开创建的内容执行文件相关联，并记录于记录介质等中，或从内容提供服务器等可下载。由此，允许该文件集中地存储于信息处理装置10的内容存储器16。
在至此的描述中，适合于内容的GUI布局由甚至具有不同尺寸的屏幕共同的GUI布局信息文件来实现。另一方面，在手持位置、图像显示位置等很不相同的信息处理装置中，关于各个GUI的优先顺序以及它们的位置和尺寸在某些情况下都会不同。因此，通过提供与一个内容执行文件关联的GUI布局信息文件可以进一步拓宽可用的信息处理装置的范围。
图14是说明这样模式的示图。在此图的例子中，除了针对其中记录了对于以上描述的单屏幕信息处理装置10的设置的一个屏幕的GUI布局信息文件194之外，将针对两个屏幕的GUI布局信息文件196与一个内容执行文件198相关联，在该GUI布局信息文件196中记录了对可折叠类型或可滑动类型的双屏信息处理装置192的设置。
举例来说，当具有上下两个屏幕的信息处理装置192执行一个屏幕的内容时，可能只有所安装的两个屏幕中的上屏幕将被用于显示内容图像。在这种情况下，甚至当具有大尺寸的GUI在下屏幕上显示时，也不会影响查看内容图像的便利。此外，一般认为，手持下面屏幕边上的底座。因此，在下屏幕上显示高频率操作或快速操作所必需的GUI是期望。
鉴于这样的特性差异，通过生成多个GUI布局信息文件并将它们连同内容执行文件一起集中到大量内容文件中，可以低成本地在多种信息处理装置中轻松实现以适合于内容的形式的GUI显示。在针对一个屏幕的GUI布局信息文件194和针对两个屏幕的GUI布局信息文件196中，识别文件是针对一个屏幕还是两个屏幕的信息被作为头信息而嵌入。行内容的装置的GUI布局部分26基于其自身装置的屏幕数量执读出文件的之一，并布局GUI。
在两个屏幕的情况下，信息处理装置10的GUI布局部分26和GUI布局仿真器160执行上述处理和仿真，来为每个屏幕调节GUI的位置和尺寸。此外，在针对两个屏幕的GUI布局信息文件中，与每个GUI相关联，进一步生成设定了相关GUI是否在第一个屏幕还是第二个屏幕上显示的域。
根据上述的本实施例，在与内容执行文件关联生成的GUI布局信息文件中，关于每个GUI设定显示或非显示的状态、显示位置、显示尺寸和左右一对GUI的连接。然后，在参照GUI布局信息文件并根据其自身装置的屏幕尺寸实施调节后，执行内容的信息处理装置显示作为显示目标的GUI。
无论信息处理装置具有何种尺寸的屏幕，都能够以适合于内容的位置和尺寸显示GUI。仅涉及GUI布局的基础信息与作为GUI布局信息文件的内容执行文件相关联，且信息处理装置通过使用由它自己保留的GUI的素材图像自动实施调节。这能够低成本地轻松实现对于内容和屏幕尺寸两者都适合的GUI显示模式。通过使GUI布局信息文件独立于内容执行文件，也轻松地允许用户基于该用户的偏好的GUI布局的调节。
此外，在创建GUI布局信息文件的阶段，GUI布局仿真器以各种尺寸虚拟地创建屏幕并显示GUI的位置和尺寸如何变化。这允许设定者仔细检查当前正在创建的的GUI布局信息文件实际显示了哪些GUI而不占有具有各种屏幕尺寸的信息处理装置。这能够初步防止比如取决于屏幕尺寸的异常GUI布局之类的问题的出现。
此外，对于显示形式很不相同并因而GUI位置和尺寸的优先顺序也很不相同的装置(比如单屏信息处理装置和双屏信息处理装置之类)，GUI布局信息文件被单独创建以与内容执行文件相关联。在内容执行中，通过参照对应于其自身装置的屏幕形式的GUI布局信息文件，能够显示适合于屏幕形式的GUI图像。通过以这种方式准备多个GUI布局信息文件，本实施例不仅可以轻松应用于屏幕数量不同的信息处理装置，还可以应用于具有水平延伸屏幕、垂直延伸屏幕、尺寸显著不同的屏幕等的所有信息处理装置。
基于实施例在以上对本发明进行了描述。本领域的技术人员将能理解，上述实施例是一个范例，结合本实施例的各个组成部分和各个处理过程，可能有不同的修改例，这些修改例仍然在本发明的范围内。
标号列表
10：信息处理装置，12：触摸屏，14：显示器，16：内容存储器，18：GUI图像存储器，20：输入/输出控制器，21：GUI布局调节接收器，22：操作信息转换器，24：内容处理器，26：GUI布局部分，28：GUI图像缓冲器，30：内容图像生成器，32：内容图像缓冲器，34：图像合成器，36：GUI布局信息文件，38：内容执行文件，160：GUI布局仿真器，162：布局设置接收器，164：屏幕尺寸指定接收器，166：GUI图像显示部分，168：GUI布局信息文件存储器，170：GUI图像存储器。
工业适用性
如上所述，本发明可应用于信息处理装置，比如计算机、游戏机、内容显示终端和内容生产装置。

Claims (9)

1.一种信息处理装置，其包括被触摸面板覆盖的显示器，并执行由用户选择的信息处理，所述信息处理装置的特征在于包括
GUI图像生成器，其生成将在显示器上显示的GUI(图形用户界面)图像；以及
操作信息转换器，其根据被所述触摸面板检测到的接触点和当前显示的GUI图像之间的对应关系，识别由所述用户实施的操作内容，
其中所述GUI图像生成器最终决定GUI的位置和尺寸，并通过实施与显示器的实际尺寸与关于显示器尺寸的条件之间的比较结果对应的调节来生成GUI图像，所述关于显示器尺寸的条件从记录在作为与显示器尺寸无关的标准设置而被创建GUI布局信息文件中的所述GUI的位置和尺寸的设置值中获得，
在所述GUI布局信息文件中，在预定方向上GUI的位置被设定为显示器在该方向上宽度的比率，而GUI的尺寸被设定为固定长度，并且
当如果遵循所述GUI布局信息文件的设置，显示器的实际尺寸就小于在所述方向上两个相邻的GUI之间生成重叠的、显示器尺寸的边界值时，所述GUI图像生成器使得所述两个GUI中至少一个GUI的位置设置无效，并最终决定其中所述两个GUI彼此相邻以作为所述一个GUI的位置。
2.如权利要求1所述的信息处理装置，其特征在于：
所述GUI布局信息文件对每个文件生成以执行信息处理，并将其存储于存储装置，并且
通过从所述存储装置读出为所述文件创建以执行由用户选择的信息处理的所述GUI布局信息文件，所述GUI图像生成器生成GUI图像。
3.根据权利要求1或2中的所述信息处理装置，其特征在于：
所述GUI布局信息文件对应于单屏显示器和双屏显示器的每一个而创建，并连同执行信息处理的文件一起存储于存储装置，并且
所述GUI图像生成器通过选择对应于自身装置的GUI布局信息文件并从所述存储装置中读取所述GUI布局信息文件，来生成GUI图像。
4.根据权利要求1的所述信息处理装置，其特征在于：
当即使所述GUI的位置设置为无效，显示器的实际尺寸小于GUI阵列的长度超过显示器的尺寸、显示器尺寸的边界值时，所述GUI图像生成器使得属于所述阵列的GUI的尺寸设置无效，并依据显示器尺寸缩小所述GUI。
5.根据权利要求1或2所述信息处理装置，其特征在于：
在所述GUI布局信息文件中，为具有相同功能的GUI记录多个设置模式，并且
所述GUI图像生成器通过切换设置模式改变所述GUI的位置和尺寸以作为对应于比较结果的调节。
6.根据权利要求1或2所述信息处理装置，其特征在于还包括
GUI布局调节接收器，在显示器上显示GUI布局调节屏幕来接收在来自用户的GUI布局信息文件记录中的GUI位置和尺寸的设置值。
7.根据权利要求1或2的所述信息处理装置，其特征在于
借助于其由所述GUI图像生成器生成图像的GUI包括伪操纵杆GUI，其接收由从预定参考点到接触点的方向矢量定义的方向和数量的输入，以及
所述操作信息转换器认为对所述操纵杆GUI的操作是有效的，并在伴随着检测到对所述操纵杆GUI的操作的开始的检测区域从用户与触摸面板的接触从接触的开始定时起持续的期间内将所述触摸面板的整体区域采用为检测区域。
8.根据权利要求7的所述信息处理装置，其特征在于
在所述操作信息转换器认为对操纵杆GUI的操作有效的期间内，所述操作信息转换器使包括在GUI图像中的其他GUI无效。
9.一种信息处理方法，其特征在于
包括被触摸面板覆盖的显示器并执行由用户选择的信息处理的信息处理装置包括
生成将在显示器上显示的GUI(图形用户界面)图像的步骤；以及
根据被所述触摸面板检测到的接触点和当前显示的GUI图像之间的对应关系来识别由所述用户实施的操作内容的步骤，并且
其中生成GUI图像的步骤包括
将显示器的实际尺寸与关于显示器尺寸的条件进行比较的步骤，所述关于显示器尺寸的条件从在作为与显示器尺寸无关的标准设置而被创建GUI布局信息文件中记录的所述GUI的位置和尺寸的设置值中获得，
其中，在所述GUI布局信息文件中，在预定方向上GUI的位置被设定为显示器在该方向上宽度的比率，而GUI的尺寸被设定为固定长度，并且
当如果遵循所述GUI布局信息文件的设置，显示器的实际尺寸就小于在所述方向上两个相邻的GUI之间生成重叠的、显示器尺寸的边界值时，所述GUI图像生成器使得所述两个GUI中至少一个GUI的位置设置无效，并最终决定其中所述两个GUI彼此相邻以作为所述一个GUI的位置。
CN201280042985.3A 2011-09-13 2012-08-28 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法 Active CN103782263B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-199884 2011-09-13
JP2011-199885 2011-09-13
JP2011199885A JP5669698B2 (ja) 2011-09-13 2011-09-13 Ｇｕｉ配置シミュレータ、およびｇｕｉ配置設定支援方法
JP2011199884A JP5669697B2 (ja) 2011-09-13 2011-09-13 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
PCT/JP2012/005391 WO2013038605A1 (ja) 2011-09-13 2012-08-28 情報処理装置、情報処理方法、コンテンツファイルのデータ構造、ｇｕｉ配置シミュレータ、およびｇｕｉ配置設定支援方法

Publications (2)

Publication Number Publication Date
CN103782263A CN103782263A (zh) 2014-05-07
CN103782263B true CN103782263B (zh) 2017-02-15

Family

ID=47882858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042985.3A Active CN103782263B (zh) 2011-09-13 2012-08-28 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法

Country Status (4)

Country Link
US (1) US9952755B2 (zh)
EP (1) EP2722742A4 (zh)
CN (1) CN103782263B (zh)
WO (1) WO2013038605A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160320938A9 (en) * 2009-03-17 2016-11-03 Litera Technologies, LLC System and Method for the Auto-Detection and Presentation of Pre-Set Configurations for Multiple Monitor Layout Display
CN102929481A (zh) * 2012-10-09 2013-02-13 中兴通讯股份有限公司南京分公司 用户界面显示方法和装置
US8671352B1 (en) * 2013-05-07 2014-03-11 Axure Software Solutions, Inc. Variable dimension version editing for graphical designs
US10120659B2 (en) * 2014-05-30 2018-11-06 Apple Inc. Adaptive user interfaces
JP6990962B2 (ja) * 2014-06-09 2022-01-12 雅人 桑原 情報処理装置
JP2018010541A (ja) * 2016-07-14 2018-01-18 望月 貴里子 ユーザーインターフェース
JP6940223B2 (ja) * 2016-08-18 2021-09-22 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
CN108205407B (zh) * 2016-12-20 2021-07-06 夏普株式会社 显示装置、显示方法及存储介质
US10369470B2 (en) * 2017-04-28 2019-08-06 PlayFusion Limited User interface control cluster for enhancing a gaming experience
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
CN109743446B (zh) * 2018-12-25 2020-12-18 南京车链科技有限公司 双屏来电显示方法、终端及计算机可读存储介质
CN109783181B (zh) * 2019-01-31 2019-12-20 掌阅科技股份有限公司 屏幕适配显示方法、电子设备及计算机存储介质
CN110523085A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
CN111228793B (zh) * 2020-01-21 2021-11-19 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质及电子装置
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
CN111870945A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 控件选择方法、装置、主机及介质
BR112022001065A2 (pt) * 2020-11-13 2022-07-05 Tencent Tech Shenzhen Co Ltd Método e aparelho de controle de objeto virtual, meio de armazenamento e dispositivo eletrônico
CN117499601B (zh) * 2024-01-02 2024-04-05 上海励驰半导体有限公司 用于SoC的调用多摄像头数据的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610874A (zh) * 2002-03-08 2005-04-27 三菱电机株式会社 移动通信装置、移动通信装置的显示控制方法及其程序
CN101594403A (zh) * 2008-05-29 2009-12-02 Lg电子株式会社 透明显示器及其操作方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127720A (ja) * 1988-11-08 1990-05-16 Mitsubishi Electric Corp 情報処理装置の入力用デバイス・シミュレート方式
JPH02235140A (ja) 1989-03-08 1990-09-18 Kansai Nippon Denki Software Kk イメージデータ表示時の密度変換方式
US5757358A (en) * 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5613137A (en) * 1994-03-18 1997-03-18 International Business Machines Corporation Computer system with touchpad support in operating system
US6756965B2 (en) * 1994-03-18 2004-06-29 International Business Machines Corporation Input device having two joysticks and touchpad with default template
US5764218A (en) * 1995-01-31 1998-06-09 Apple Computer, Inc. Method and apparatus for contacting a touch-sensitive cursor-controlling input device to generate button values
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP2001014077A (ja) * 1998-12-15 2001-01-19 Mitsubishi Electric Corp グラフィカルユーザインタフェース
US7821503B2 (en) * 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US6515687B1 (en) * 2000-05-25 2003-02-04 International Business Machines Corporation Virtual joystick graphical user interface control with one and two dimensional operation
US7479943B1 (en) * 2000-07-10 2009-01-20 Palmsource, Inc. Variable template input area for a data input device of a handheld electronic system
US7137891B2 (en) * 2001-01-31 2006-11-21 Sony Computer Entertainment America Inc. Game playing system with assignable attack icons
US6966837B1 (en) * 2001-05-10 2005-11-22 Best Robert M Linked portable and video game systems
US7371163B1 (en) * 2001-05-10 2008-05-13 Best Robert M 3D portable game system
JP4034269B2 (ja) 2002-02-19 2008-01-16 シャープ株式会社 ディスプレイ装置、電子機器
JP3755499B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Ｇｕｉアプリケーション開発支援装置、ｇｕｉ表示装置、および方法、並びにコンピュータ・プログラム
JP2004343662A (ja) * 2003-05-19 2004-12-02 Sony Corp 撮像装置
US7342806B2 (en) * 2003-10-14 2008-03-11 Sony Ericsson Mobile Communications Ab Portable electronic device with multiple input interfaces
US7454713B2 (en) * 2003-12-01 2008-11-18 Sony Ericsson Mobile Communications Ab Apparatus, methods and computer program products providing menu expansion and organization functions
US20050195221A1 (en) * 2004-03-04 2005-09-08 Adam Berger System and method for facilitating the presentation of content via device displays
JP4471761B2 (ja) 2004-07-26 2010-06-02 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP4241647B2 (ja) * 2005-03-04 2009-03-18 キヤノン株式会社 レイアウト制御装置、レイアウト制御方法及びレイアウト制御プログラム
JP2006331339A (ja) 2005-05-30 2006-12-07 Mitsubishi Electric Corp レイアウト装置、レイアウト方法及びプログラム並びにデータ構造
US20070229462A1 (en) * 2006-03-31 2007-10-04 Huynh Thanh T E System and method for mapping user-input controls to corresponding regions of a user display
US8882590B2 (en) * 2006-04-28 2014-11-11 Nintendo Co., Ltd. Touch-controlled game character motion providing dynamically-positioned virtual control pad
US10313505B2 (en) * 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
JP4312238B2 (ja) * 2007-02-13 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 画像変換装置および画像変換方法
US20090019188A1 (en) * 2007-07-11 2009-01-15 Igt Processing input for computing systems based on the state of execution
JP2009025343A (ja) 2007-07-17 2009-02-05 Victor Co Of Japan Ltd 映像出力装置
US20090062004A1 (en) * 2007-09-05 2009-03-05 Nvidia Corporation Input Terminal Emulator for Gaming Devices
US8968087B1 (en) * 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
JP4605478B2 (ja) * 2007-12-19 2011-01-05 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US20090183098A1 (en) * 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
JP5169311B2 (ja) 2008-02-28 2013-03-27 株式会社リコー 画面データ生成装置、画面データ生成方法及び画面データ生成プログラム
US8200795B2 (en) * 2008-06-05 2012-06-12 Sony Computer Entertainment Inc. Mobile phone game interface
US20100042946A1 (en) * 2008-08-15 2010-02-18 Kodimer Marianne L System and method for web-based soft keyboard character entry
US20100058251A1 (en) * 2008-08-27 2010-03-04 Apple Inc. Omnidirectional gesture detection
JP5402935B2 (ja) 2008-09-29 2014-01-29 日本電気株式会社 Ｇｕｉ評価システム、ｇｕｉ評価方法およびｇｕｉ評価用プログラム
JP2010218533A (ja) 2009-02-18 2010-09-30 Panasonic Electric Works Co Ltd 表示画面設計支援装置及びプログラム
JP5326944B2 (ja) 2009-08-31 2013-10-30 株式会社リコー 画像形成装置、画面表示方法、プログラム
WO2011031848A2 (en) * 2009-09-09 2011-03-17 Mattel, Inc. An system and method for displaying, navigating and selecting electronically stored content on a multifunction handheld device
US9542097B2 (en) * 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US20110197156A1 (en) * 2010-02-09 2011-08-11 Dynavox Systems, Llc System and method of providing an interactive zoom frame interface
JP2011165006A (ja) * 2010-02-10 2011-08-25 Sharp Corp 映像表示装置、映像表示方法、プログラムおよび記録媒体
US8686959B2 (en) * 2010-02-16 2014-04-01 Maurice Payne Touch screen multi-control emulator
US8990702B2 (en) * 2010-09-30 2015-03-24 Yahoo! Inc. System and method for controlling a networked display
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
US8506408B2 (en) * 2010-06-29 2013-08-13 Disney Enterprises, Inc System and method for collaboration
US8531417B2 (en) * 2010-09-02 2013-09-10 Blackberry Limited Location of a touch-sensitive control method and apparatus
EP2614620A1 (en) * 2010-09-07 2013-07-17 Apptui Inc. Control of computing devices and user interfaces
US9104306B2 (en) * 2010-10-29 2015-08-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Translation of directional input to gesture
US9411509B2 (en) * 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
US10503343B2 (en) * 2011-07-06 2019-12-10 Microsoft Technology Licensing, Llc Integrated graphical user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610874A (zh) * 2002-03-08 2005-04-27 三菱电机株式会社 移动通信装置、移动通信装置的显示控制方法及其程序
CN101594403A (zh) * 2008-05-29 2009-12-02 Lg电子株式会社 透明显示器及其操作方法

Also Published As

Publication number Publication date
EP2722742A1 (en) 2014-04-23
US20140195940A1 (en) 2014-07-10
EP2722742A4 (en) 2015-06-17
US9952755B2 (en) 2018-04-24
WO2013038605A1 (ja) 2013-03-21
CN103782263A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103782263B (zh) 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法
JP7174742B2 (ja) アプリケーションに対応するユーザインタフェースオブジェクトと対話するためのデバイス、方法、及びグラフィカルユーザインタフェース
US10521104B2 (en) Information processing apparatus, information processing method, and program
KR101670572B1 (ko) 다수의 페이지들을 갖는 폴더들을 관리하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
KR102176508B1 (ko) 디스플레이 장치 및 그 디스플레이 방법
CN105233496B (zh) 用于控制游戏的系统、方法和图形用户界面
CN107690613A (zh) 用于操纵应用窗口的设备、方法和图形用户界面
JP2020531985A (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
CN104254831B (zh) 用于呈现视觉接口内容的系统和方法
CN110069201A (zh) 用于相机效果的用户界面
US20110279852A1 (en) Image processing apparatus, image processing method, and image processing program
CN102934065B (zh) 信息处理装置
EP2565759A1 (en) Method and device for adjusting layout of control buttons
CN108713181A (zh) 对另一电子设备的多功能设备控制
US20040014526A1 (en) Interface arbitrator for allowing multiple devices to share physical input/output interfaces and other resources
CN106537317A (zh) 应用窗口的自适应大小调整和定位
CN107506249A (zh) 用于显示从多个应用接收到的通知的系统和方法
JP2012527684A (ja) 携帯端末機のホームスクリーンのためのページ編集方法及びホームスクリーンを備える携帯端末機
CN109814772A (zh) 一种应用程序图标的移动方法及终端设备
WO2012157563A1 (ja) 表示装置、ユーザインタフェース方法及びプログラム
CN103135888A (zh) 用于显示补充窗口的方法和移动装置
JP2011215878A (ja) 端末装置、端末装置の制御方法、通信システム、制御プログラム、及び記録媒体
JP6101393B1 (ja) 情報処理装置、制御方法およびプログラム
CN108881742A (zh) 一种视频生成方法及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant