CN101930336A - 信息处理设备、显示控制方法及计算机可读记录介质 - Google Patents

信息处理设备、显示控制方法及计算机可读记录介质 Download PDF

Info

Publication number
CN101930336A
CN101930336A CN2010102060136A CN201010206013A CN101930336A CN 101930336 A CN101930336 A CN 101930336A CN 2010102060136 A CN2010102060136 A CN 2010102060136A CN 201010206013 A CN201010206013 A CN 201010206013A CN 101930336 A CN101930336 A CN 101930336A
Authority
CN
China
Prior art keywords
displayed
zone
messaging device
image
display frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102060136A
Other languages
English (en)
Other versions
CN101930336B (zh
Inventor
本间文规
梨子田辰志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101930336A publication Critical patent/CN101930336A/zh
Application granted granted Critical
Publication of CN101930336B publication Critical patent/CN101930336B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0235—Character input methods using chord techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了信息处理设备、显示控制方法及计算机可读记录介质。一种信息处理设备包括：操作显示单元，显示显示画面并且检测根据在显示画面上进行的用户操作而变化的检测信息；操作确定单元，根据检测信息来判断是否对显示在显示画面上的操作对象进行了操作；选择单元，根据来自操作确定单元的判断结果来选择待显示图像；不进行布置区域设置单元，根据检测信息和来自操作确定单元的判断结果来设置不进行布置的区域；以及布置处理单元，根据所选择的待显示图像和所设置的不进行布置的区域在可以进行布置的区域中布置待显示图像。

Description

信息处理设备、显示控制方法及计算机可读记录介质
技术领域
本发明涉及信息处理设备、用于控制显示的方法和计算机可读记录介质。
背景技术
近年来，具有触摸屏的信息处理设备(如手机、视频/音频的回放设备(视频/音频的记录/回放设备)和自动柜员机(ATM)等)已变得广为使用。在信息处理设备具有触摸屏的情况下，用户可以通过使用手指或者操作装置(例如笔形指点装置)来操作信息处理设备。因此，这样的信息处理设备允许用户更直观地进行操作。
在这样的现有环境下，正在开发用于改进具有触摸屏的信息处理设备的用户友好性的技术。一种信息处理设备包括传感器，该传感器检测物体对信息处理设备的表面的触摸，该表面装配有传感器并且与信息处理设备的装配有显示面板的表面相对。例如在日本待审专利申请公开No.2003-330611中描述了一种用于根据位于显示面板上并且对应于由传感器进行的检测的结果的位置来进行处理的技术。
发明内容
在使用触摸屏的情况下，当在例如显示在显示画面上的虚拟按钮上进行触摸显示画面的用户操作(下文中该用户操作可称为“触摸操作”)时，可以采用其中显示与虚拟按钮有关的选项的方法。当采用上述方法时，显示选项的方式可能使得，例如，选项(例如子菜单、其它按钮等)被遮蔽于按动按钮的用户手指之下。因此对用户而言可能存在不方便选择遮蔽于手指之下的选项的情形。
在此，触摸操作在用于改进具有触摸屏的信息处理设备的用户友好性的现有技术(下文称为“现有技术”)中并非必需。因此可以防止出现不方便选择上述选项这样的情况。然而，使用应用了现有技术的信息处理设备(下文称为“现有信息处理设备”)的用户必须在现有信息处理设备的与装配有显示面板的表面相对的表面上进行操作，即用户必须在用户并不直接看见的表面上进行操作。因此现有信息处理设备不具备“使用户能够更直观地进行操作”的优点，从而不可避免地降低用户友好性。
因此，即使在使用这样的现有技术的情况下，对使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户而言，似乎并没有提供改进的用户友好性。这样的装置的例子有触摸屏等。
期望提供新颖和改进的信息处理设备、新颖和改进的用于控制显示的方法以及新颖和改进的计算机可读记录介质，可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
根据本发明的一种实施方式，提供一种信息处理设备，包括：操作显示单元，显示显示画面并且检测根据在显示画面上进行的用户操作而变化的检测信息；操作确定单元，根据检测信息来判断是否对可以由用户操作的并且显示在显示画面上的操作对象进行了操作；待显示图像选择单元，根据来自操作确定单元的判断结果来选择要在显示画面上显示的待显示图像；不进行布置区域设置单元，根据检测信息和来自操作确定单元的判断结果在显示画面上设置不进行布置的区域，该不进行布置的区域中不布置待显示图像；以及布置处理单元，根据所选择的待显示图像和所设置的不进行布置的区域，在显示画面内可以进行布置的区域中布置待显示图像，该可以进行布置的区域中允许布置待显示图像。
这种结构可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
此外，布置处理单元可根据所设置的不进行布置的区域和显示画面内可以显示待显示图像的显示区域来设置可以进行布置的区域。
此外，不进行布置区域设置单元可在每次布置处理单元布置待显示图像时更新所设置的不进行布置的区域，并且布置处理单元根据所更新的不进行布置的区域来设置可以进行布置的区域。
此外，布置处理单元可基于检测信息设置模拟重力方向，并设置待显示图像的显示开始的布置开始位置；并且可在模拟重力方向上从布置开始位置起布置由待显示图像选择单元选择的待显示图像。
此外，在操作确定单元判断对预定操作对象进行了操作的情况下，待显示图像选择单元可选择可以由用户操作的并且与该预定操作对象相关的另一操作对象作为待显示图像。
此外，信息处理设备还可包括：处理单元，根据来自操作确定单元的判断结果，在操作确定单元判断已对操作对象进行了操作的情况下进行与操作对象对应的处理。
根据本发明的一种实施方式，提供一种用于控制显示的方法，该方法包括以下步骤：根据由显示显示画面并且检测根据在显示画面上进行的用户操作而变化的检测信息的操作显示单元所检测的检测信息来判断是否对可以由用户操作的并且显示在显示画面上的操作对象进行了操作；根据判断步骤中的判断结果来选择要在显示画面上显示的待显示图像；根据检测信息和判断步骤中的判断结果，在显示画面上设置不进行布置的区域，该不进行布置的区域中不布置所述待显示图像；以及根据选择步骤中选择的待显示图像和设置步骤中设置的不进行布置的区域，在显示画面内可以进行布置的区域中布置待显示图像，该可以进行布置的区域中允许布置所述待显示图像。
这种方法可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
根据本发明的一种实施方式，提供一种其中记录有程序的计算机可读记录介质，该程序包括以下步骤：根据由显示显示画面并且检测根据在显示画面上进行的用户操作而变化的检测信息的操作显示单元所检测的检测信息来判断是否对可以由用户操作的并且显示在显示画面上的操作对象进行了操作；根据判断步骤中的判断结果来选择要在显示画面上显示的待显示图像；根据检测信息和判断步骤中的判断结果，在显示画面上设置不进行布置的区域，该不进行布置的区域中不布置所述待显示图像；以及根据选择步骤中选择的待显示图像和设置步骤中设置的不进行布置的区域，在显示画面内可以进行布置的区域中布置待显示图像，该可以进行布置的区域中允许布置所述待显示图像。
这种计算机可读记录介质可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
根据本发明的实施方式，可以提供包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的改进的用户友好性。
附图说明
图1A是图示出由根据本发明实施方式的信息处理设备进行的改进用户友好性的方法的图；
图1B是图示出上述由根据本发明实施方式的信息处理设备进行的用于改进用户友好性的方法的图；
图1C是图示出上述由根据本发明实施方式的信息处理设备进行的用于改进用户友好性的方法的图；
图1D是图示出上述由根据本发明实施方式的信息处理设备进行的用于改进用户友好性的方法的图；
图2是图示出由根据本发明实施方式的信息处理设备检测的检测信息的例子的图；
图3A是示出了根据本发明实施方式的基于检测信息不进行布置的区域的例子的图；
图3B是示出了根据本发明实施方式的基于检测信息不进行布置的区域的例子的图；
图4是示出了由根据本发明实施方式的信息处理设备进行的布置处理的结果的例子的图；
图5是示出了根据由根据本发明实施方式的信息处理设备进行的改进用户友好性的方法的处理的例子的流程图；
图6是示出了由根据本发明实施方式的信息处理设备进行的用于布置待显示图像的处理的例子的流程图；
图7是示出了根据本发明实施方式的信息处理设备的结构的例子的图；以及
图8是示出了根据本发明实施方式的信息处理设备的硬件结构的例子的图。
具体实施方式
下文中将参照附图具体地描述本发明的优选实施方式。在此，在本说明书和附图中用相同的附图标记表示具有基本上相同的功能和结构的单元，并且将省略其赘述。
下文将按以下顺序进行描述：
1.根据本发明实施方式的方法；
2.根据本发明实施方式的信息处理设备；
3.根据本发明实施方式的程序。
根据本发明实施方式的方法
在描述根据本发明实施方式的信息处理设备(下文可以称之为“信息处理设备100”)的结构之前，将描述根据本发明实施方式的用于改进用户友好性的方法。
根据本发明实施方式的用于改进用户友好性的方法的概述
图1A至1D是图示出由根据本发明实施方式的信息处理设备100进行的用于改进用户友好性的方法的图。
在此，图1A至1D示出了显示在触摸屏TS上的显示画面的例子。在该例子中，用于输入字符的虚拟操作键(可以由用户操作的并且显示在显示画面上的操作对象的一个例子)被显示在显示画面上。由于如图1A至1D中所示用于输入字符的虚拟操作键显示，所以用户可例如通过触摸显示画面而进行的用户操作(下文可以称之为“触摸操作”或者“触摸”)来按动虚拟操作键以输入字符。下文中将使用如下例子来描述根据本发明实施方式的用于改进用户友好性的方法：在该例子中，如图1A至1D中所示的由按钮表示的虚拟操作键被显示在信息处理设备100的显示画面上(下文可将虚拟操作键称为“按钮”)；然而，根据本发明实施方式的改进用户友好性的方法不限于此。例如，信息处理设备100可显示被显示为图像(例如图标)并对应于预定处理的虚拟操作键。信息处理设备100还可响应于对虚拟操作键进行的触摸操作来显示与该虚拟操作键相关的其它虚拟操作键。另外，在触摸与主菜单对应的虚拟操作键的情况下，在嵌套结构的菜单的画面中，信息处理设备100还可以显示对应于子菜单的虚拟操作键。
当主要代表日文五十音(50-character)假名音节表的列的顶端假名字符的多个按钮显示在显示画面上时(图1A)，如果用户触摸例如与假名字符“HA”对应的按钮(图1B)，则信息处理设备显示与所触摸的按钮相关的虚拟操作键。在此，信息处理设备100以不把虚拟操作键显示在用来触摸按钮的手指之下这样的方式来显示虚拟操作键(图1C)。在此，图1C图示其中显示与“HA列中的其它假名字符”和“与假名字符‘HA’相关并且发浊音或[p]音的假名字符”对应的按钮的例子；然而，要显示的按钮不限于此。例如信息处理设备100可以进一步显示与“与‘HA’列中的其它假名字符相关并且发浊音或者[p]声的假名字符”对应的按钮。
在下文中，可将如下按钮称作“母按钮”：与例如对应于图1A至1C中示出的假名字符“HA”的按钮一样，在被触摸时引起其它虚拟操作键(和/或显示为不允许用户对对象进行操作的状态的对象)被显示的按钮。另外，在下文中，可将如下按钮称作“子按钮”：与例如对应于图1C中示出的“HA列中的其它假名字符”和“与假名字符‘HA’相关并且发浊音或[p]音的假名字符”的按钮一样，通过对母按钮进行的触摸操作而显示在显示画面上的按钮。在此，在用户触摸了根据本发明实施方式的“子按钮”的情况下，该“子按钮”可能接着又用作“母按钮”。
例如，如图1C中所示，信息处理设备100以不把与被触摸的母按钮相关的子按钮显示在用来触摸母按钮的用户手指之下这样的方式来显示子按钮。因此不以例如子按钮被遮蔽于用户手指之下这样的方式来显示显示在显示画面上的子按钮。触摸母按钮的用户手指无碍于观看子按钮，从而用户能够容易地触摸子按钮(图1D)。因此信息处理设备100可以防止在(现有的)具有触摸屏的信息处理设备中可能出现的不方便选择上述选项的情形。因此信息处理设备100可以改进用户友好性。
另外，如图1A至1D中所示，信息处理设备100允许触摸操作在触摸屏TS上进行。因此，有别于应用了现有技术的现有信息处理设备，信息处理设备100仍然具有“使用户能够更直观地进行操作”的优点。因此，信息处理设备100的用户友好性可被改进得优于应用了现有技术的现有信息处理设备的用户友好性。
因此，信息处理设备100可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
根据用于改进用户友好性的方法的处理的概述
下文将描述对为了实现上述用于改进用户友好性的方法而由信息处理设备100进行的处理的概述。通过例如在(0)中示出的前提下进行以下(1)至(4)的处理，信息处理设备100实现根据本发明实施方式的用于改进用户友好性的方法。
(0)前提
信息处理设备100包括如下装置(该装置是下文描述的操作显示单元)：该装置可以显示显示画面和允许在显示画面上进行用户操作，并且可以检测根据在显示画面上进行的用户操作而变化的检测信息。在此，该装置的一个实例是例如用作多点触摸屏的静电触摸屏；然而，该装置不限于此。
在信息处理设备100包括静电触摸屏的情况下，将静电传感器在显示画面上例如布置为矩阵。在例如用户将手指接近显示画面或者触摸显示画面的情况下，手指与静电传感器之间的电容增大。因此信息处理设备100可以检测与基于显示画面上进行的用户操作的电容变化对应的值作为检测信息。
下文将把信息处理设备100描述为包括作为上述装置的静电触摸屏(用作多点触摸屏)的设备；然而，根据本发明实施方式的信息处理设备中所包括的上述装置当然不限于静电触摸屏。
图2是图示出根据本发明实施方式的信息处理设备100检测的检测信息的例子的图。信息处理设备100检测检测信息，检测信息的检测例如考虑两个主要因素，包括：响应于触摸操作而检测到的检测信息(图2中的A)，和当用户手指接近显示画面时检测到的检测信息(图2中的B)。即，信息处理设备100可以检测与如例如图2中的B所示用户不直接接触的显示画面区域对应的检测信息。
在下文中，在如例如图2中的A所示用户直接触摸显示画面时所检测到的检测信息可被称作“第一检测信息”。另外，在下文中，与如例如图2中的B所示用户不直接接触的显示画面区域对应的检测信息可被称作“第二检测信息”。在检测到检测信息的情况下，例如如果检测信息超过预定阈值，则信息处理设备100判断检测到第一检测信息。如果检测信息低于或者等于预定阈值，则信息处理设备100判断检测到第二检测信息。然而，判断是检测到第一检测信息还是第二检测信息的方法不限于此。
通过使用如图2中所示的检测信息(第一检测信息、第二检测信息)进行以下(1)至(4)的处理，信息处理设备100实现例如图1C中示出的显示。在下文中，信息处理设备100的操作显示单元(下文描述)检测检测信息。
(1)用于判断是否对操作对象进行了操作的处理
信息处理设备100根据检测到的信息来判断是否对显示在显示画面上并可由用户操作的操作对象(操作目标)进行了操作。在此，根据本发明实施方式的操作对象的例子包括例如如图1A至1D中所示的由按钮表示的虚拟操作键和与嵌套结构的菜单显示对应的虚拟操作键。然而，操作对象不限于此。下文将描述根据本发明实施方式的操作对象是“虚拟操作键”的例子。
例如根据与显示画面上虚拟操作键所显示的位置有关的信息(例如坐标信息)和与显示画面上检测到第一检测信息的位置有关的信息(例如与静电传感器的位置有关的信息)，信息处理设备100判断是否对虚拟操作键进行了操作。更具体地，例如在虚拟操作键的位置与检测到第一检测信息的位置匹配的情况下，信息处理设备100判断对操作对象进行了操作。然而，用来做出判断的条件不限于此。例如在检测到第一检测信息的位置在离虚拟操作键的位置预定距离以内的情况下，信息处理设备100也可以判断对虚拟操作对象进行了操作。
(2)用于选择待显示图像的处理
在上述(1)的处理中，如果判断对虚拟操作键进行了操作，则信息处理设备100选择要在显示画面上显示的图像(待显示的对象)。
在此，根据本发明实施方式的待显示图像的例子包括与已被判断为对其进行了操作的虚拟操作键相关的其它虚拟操作键，例如，图1C中示出的子按钮。然而，根据本发明实施方式的待显示图像不限于此。例如，信息处理设备100还可以将不允许用户操作的对象(目标)视为待显示图像。不允许用户操作的对象的例子例如有：显示主要起传达信息的作用的消息信息的对象，比如解释分配给已被判断为对其进行了操作的虚拟操作键的处理的帮助消息。然而，不允许用户操作的对象不限于此。例如在进行了用户从手指触摸过的虚拟操作键移开手指这一动作的情况下，信息处理设备100执行分配给该虚拟操作键的处理(下文描述)。在下文中，用户在触摸过触摸屏之后从触摸屏移开手指的这一动作可被称作“释放”。
信息处理设备100例如使用查找表来选择待显示图像，在所述查找表中每个虚拟操作键(操作对象)与对应的用来指定待显示图像的信息(例如链接和程序标识符(ID)这样的信息)中的一条相关联。然而，选择待显示图像的方法不限于此。
(3)用于设置不进行布置的区域的处理
信息处理设备100根据上述(1)的处理的结果和检测到的检测信息来设置不进行布置的区域，在不进行布置的区域中将不布置待显示图像，并且不进行布置的区域包含于显示画面中。更具体地，在上述(1)的处理中判断对操作对象进行了操作的情况下，信息处理设备100根据检测到的检测信息来设置不进行布置的区域，在不进行布置的区域中将不布置待显示图像，并且不进行布置的区域包含于显示画面中。
图3A和3B是图示出根据本发明实施方式的使用检测信息的不进行布置的区域的例子的图。例如根据检测到的检测信息(第一检测信息、第二检测信息)，信息处理设备100将包括检测信息的矩形区域设置为不进行布置的区域。图3A示出了信息处理设备100将区域AR1设置为不进行布置的区域的例子，而图3B示出了信息处理设备100将区域AR2设置为不进行布置的区域的例子。
在此，通过例如将定向边界框这样的方法应用于根据检测信息将检测到的手指形状的二进制图像，信息处理设备100根据电容分布获得手指的长度、宽度和角度。信息处理设备100基于检测信息来设置不进行布置的区域。然而，设置不进行布置的区域的方法不限于此。
另外，在下文描述的(4)的处理(下文描述)中，信息处理设备100使用关于基于检测信息而设置的不进行布置的区域的长边(例如图3A中示出的C和图3B中示出的E)的信息和关于所设置的区域的短边(例如图3A中示出的D和图3B中示出的F)的信息。
信息处理设备100将下述两种区域相加所得的区域设置为不进行布置的初始区域：基于检测信息的不进行布置的区域和其中布置用来选择待显示图像的虚拟操作键(操作对象，比如母按钮)的区域。
另外，在待显示图像的布置以下述(4)的处理开始的情况下，信息处理设备100每当布置待显示图像时就更新所设置的不进行布置的区域。更具体地，信息处理设备100例如通过向不进行布置的区域中加入布置了待显示图像的区域来更新不进行布置的区域。
在(3)的处理中，信息处理设备100根据上述(1)的处理的结果和检测信息来设置不进行布置的区域。因而例如可以防止子按钮显示在触摸了其母按钮的用户手指之下。另外，信息处理设备100可以通过更新不进行布置的区域来防止多个待显示图像重叠地显示。
(4)布置处理
根据在上述(2)的处理中选择的待显示图像和在上述(3)的处理中设置的不进行布置的区域，信息处理设备100在显示画面内可以进行布置的区域中布置待显示图像，在可以进行布置的区域中允许布置待显示图像。在此，(4)的处理对应于用于改变显示画面的布局的处理。
更具体地，对于在上述(2)的处理中选择的每个待显示图像，信息处理设备100通过进行例如(4-1)的处理和(4-2)的处理来在可以进行布置的区域中布置待显示图像。
(4-1)用于设置可以进行布置的区域的处理
信息处理设备100根据关于显示区域的信息和关于不进行布置的区域的信息来设置可以进行布置的区域。在此，根据本发明实施方式的关于显示区域的信息是指示显示画面内可以显示根据本发明的用于改进用户友好性的方法的操作对象、待显示图像等的区域的信息。根据本发明实施方式的显示区域的例子包括例如显示画面的整个区域和显示画面内的预定区域；然而，显示区域不限于此。例如信息处理设备100还可以根据用户操作将显示画面内的任意区域设置为显示区域。
更具体地，信息处理设备100通过例如读取存储单元(下文描述)中存储的显示区域数据来指定显示区域，并将通过从该显示区域中减去不进行布置的区域而获得的区域设置为可以进行布置的区域；然而，设置可以进行布置的区域的方法不限于此。
(4-2)用于布置待显示图像的处理
当在上述(4-1)的处理中设置可以进行布置的区域时，信息处理设备100在可以进行布置的区域中布置在上述(2)的处理中选择的待显示图像。
信息处理设备100通过进行例如采用物理计算的布置来实现用于布置待显示图像的处理，所述物理计算使得待显示图像从显示画面上的布置开始位置起在模拟重力方向上下降。然而，实现用于布置待显示图像的处理的方法不限于此。信息处理设备100可以从可以进行布置的区域的预定开始位置起以预定的布置顺序来布置待显示图像。例如，信息处理设备100还可以从可以进行布置的区域的左上端开始以矩阵形式布置待显示图像。
用于布置待显示图像的处理的具体例子
将使用如下情况作为例子更具体地描述根据本发明实施方式的用于布置待显示图像的处理：在该情况下采用物理计算来布置待显示图像。通过例如进行以下(a)至(c)的处理，信息处理设备100采用物理计算实现待显示图像的布置。在此，在上述(2)的处理中选择的待显示图像的布置中进行过一次以下(a)至(c)处理之中的(a)和(b)的处理之后，信息处理设备100就可以在待显示图像的布置中跳过(a)和(b)的处理。
(a)显示画面上模拟重力方向的设置
信息处理设备100例如判断在上述(3)的处理中设置的不进行布置的区域的大小是否大于预定大小(或者大于和等于预定大小。这一条件类似地适用于在下文中做出判断的情况)。然后，根据判断的结果以及关于所设置的不进行布置的区域的长边的方向的信息和关于所设置的不进行布置的区域的短边的方向的信息，信息处理设备100设置模拟重力方向。下文使用图3A中示出的不进行布置的区域AR1和图3B中示出的不进行布置的区域AR2作为例子。在下文中，不进行布置的区域AR1大于预定大小，而不进行布置的区域AR2小于或等于预定大小。
在例如设置图3A中示出的不进行布置的区域AR1的情况下，信息处理设备100将所设置的不进行布置的区域AR1的短边确定为手指的宽度，而将其长边确定为手指的长度，并将长边的方向设置为模拟重力方向。在此，信息处理设备100例如将与所设置的不进行布置的区域AR1的长边平行的方向之中的在显示画面上的预定方向(例如在显示画面上的指向向上的方向)设置为不进行布置的区域AR1的长边的方向；然而，设置模拟重力方向的方法不限于此。在所设置的不进行布置的区域大于预定大小(例如像图3A中示出的不进行布置的区域AR1一样)的情况下，通过将所设置的不进行布置的区域的长边方向设置为模拟重力方向，信息处理设备100可以在向着用户指尖的方向上更集中地显示待显示图像。
另外，例如在设置图3B中示出的不进行布置的区域AR2的情况下，信息处理设备100将所设置的不进行布置的区域AR2的长边确定为手指的宽度，而将其短边确定为手指的长度，并且将短边的方向设置为模拟重力方向。在此，信息处理设备100例如将与所设置的不进行布置的区域AR2的短边平行的方向之中的在显示画面上的预定方向(例如在显示画面上的指向向上的方向)设置为不进行布置的区域AR2的短边方向；然而，设置模拟重力方向的方法不限于此。在此，所设置的不进行布置的区域小于预定大小(例如像同图3B中示出的不进行设置的区域AR2一样)的情况的例子是例如用户已使用指尖进行了触摸的情况。在上述情况下，在不进行布置的区域的短边和长边与用户手指的宽度和长度之间的关系不同于图3A中示出的关系。因此，在所设置的不进行布置的区域的大小小于预定大小的情况下，通过将所设置的不进行布置的区域的短边方向设置为模拟重力方向，信息处理设备100可以提高实现如下显示的可能性：在背离用户的方向上更集中地显示待显示图像。
(b)布置开始位置的设置
如果在上述(a)的处理中设置了模拟重力方向，则信息处理设备100设置布置开始位置，在所述布置开始位置开始对待显示图像的布置。
在此，信息处理设备100可以将例如显示用来选择待显示图像的虚拟操作键(操作对象，比如母按钮)的位置设置为布置开始位置；然而，布置开始位置不限于此。例如信息处理设备100还可以将如下交点之中的在模拟重力方向的反方向上的交点设置为布置开始位置：平行于模拟重力方向并穿过不进行布置的区域的中心的直线与显示区域的交点。
(c)从布置开始位置在模拟重力方向上基于物理计算的布置
如果在上述(a)的处理和上述(b)的处理中设置了模拟重力方向和布置开始位置，则信息处理设备100通过进行物理计算，从布置开始位置起在模拟重力方向上在可以进行布置的区域中布置待显示图像。
在此，信息处理设备100例如通过将关于可以进行布置的区域的信息、关于模拟重力方向的信息和关于布置开始位置的信息结合到物理引擎的物理空间中来实现基于物理计算的布置；然而，实现基于物理计算的布置的方法不限于此。例如，信息处理设备100还可以通过将关于显示区域的信息、关于不进行布置的区域的信息、关于模拟重力方向的信息和关于布置开始位置的信息结合到物理引擎的物理空间中来实现基于物理计算的布置。在上述情况下，上述(4-1)的处理(用于设置可以进行布置的区域的处理)和上述(4-2)的处理被实现为单个处理(一系列处理)。
如上文所述，通过进行基于物理计算的布置，信息处理设备100可以在可以进行布置的区域中的开放空间中布置待显示图像，而不会例如使待显示图像与手指的接触形状、母按钮(例如代表列的顶端假名字符的按钮)、画面的边框等产生冲突。
通过进行例如上述(a)至(c)的处理，信息处理设备100使用物理计算来布置待显示图像。因此，如图4中所示，信息处理设备100可以用例如手指的接触形状、用户触摸的母按钮、画面的边框和每个待显示图像(例如子按钮)不互相重叠这样的方式重新设计显示画面的布局。在此，图4是图示出由根据本发明实施方式的信息处理设备100进行的布置处理的结果的例子，并且示出了对应于图1C的状态的图。
在此，由根据本发明实施方式的信息处理设备100进行的用于布置待显示图像的处理不限于上述(a)至(c)的处理。例如，在信息处理设备100布置待显示图像的情况下，如果布置待显示图像所必需的区域大于可以进行布置的区域，则信息处理设备100还可以调节布置好了的待显示图像的显示大小(区域的大小)和/或待显示图像的显示大小(区域的大小)。通过如上所述地调整布置好了的待显示图像的显示大小(区域的大小)和/或待显示图像的显示大小(区域的大小)，可以在防止出现例如待显示图像没有显示的情况的同时实现根据本发明实施方式的用于改进用户友好性的方法的显示。
通过进行例如上述(1)至(4)的处理，信息处理设备100可以实现如例如图1C中所示的“以不把与母按钮相关的子按钮显示在用来触摸母按钮的用户手指之下这样的方式来显示子按钮的显示”。因此，通过进行例如上述1)至(4)的处理，信息处理设备100可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
根据本发明实施方式的用于改进用户友好性的方法的处理的特定例子
接着将更具体地描述根据由根据本发明实施方式的信息处理设备100进行的用于改进用户友好性的方法的处理。图5是示出了根据由根据本发明实施方式的信息处理设备100进行的用于改进用户友好性的方法的处理的例子的流程图。在此，图5示出了在信息处理设备100如图1A至1D中所示地响应于对母按钮进行的触摸操作来显示子按钮的情况下所进行的处理的例子。在此，这样的母按钮和子按钮当然可以用多种显示形式取代。例如，当菜单以嵌套结构显示时，图5中示出的母按钮和子按钮可以分别用例如对应于主菜单的虚拟操作键和对应于子菜单的虚拟操作键取代。
信息处理设备100判断是否检测到对母按钮的触摸(步骤S100)。在此，信息处理设备100例如根据与显示画面上母按钮的显示位置有关的信息和与显示画面上检测到第一检测信息的位置有关的信息来在步骤S100中做出判断。然而，信息处理设备100可以根据其它信息在步骤S100中做出判断。步骤S100中的处理对应于上述(1)的处理(用于判断是否对操作对象进行了操作的处理)。
在步骤S100中，如果判断未检测到对母按钮的触摸，则信息处理设备10停止处理，直至检测到对母按钮的触摸。
另外，在步骤S100中，如果判断检测到对母按钮的触摸，则信息处理设备100根据所触摸的母按钮来选择待显示图像(步骤S102)。在此，信息处理设备例如使用查找表来选择待显示图像，在所述查找表中母按钮与用于指定待显示图像的信息(例如比如链接和程序ID这样的信息)相关联。然而，信息处理设备100可以使用别的方式来选择待显示图像。步骤S102中的处理对应于上述(2)的处理(用于选择待显示图像的处理)。
另外，信息处理设备100根据关于触摸的检测信息来设置不进行布置的区域(步骤S104；不进行布置的初始区域的设置)。在此，信息处理设备100例如将通过以下两种区域进行相加获得的区域设置为不进行布置的区域(不进行布置的初始区域)：基于用使用定向边界框这样的方法计算的检测信息的不进行布置的区域和布置了母按钮的区域。然而，要设置为不进行布置的区域(不进行布置的初始区域)的区域不限于此。步骤S104中的处理对应于上述(3)的处理(用于设置不进行布置的区域的处理)。
在此，图5示出了信息处理设备100进行步骤S102中的处理、然后进行步骤S104中的处理的例子。然而，处理顺序不限于此。例如，信息处理设备100还可以独立进行步骤S102中的处理和步骤S104中的处理。在上述情况下，信息处理设备100可以进行步骤S104中的处理、然后进行步骤S102中的处理，或者信息处理设备100还可以与步骤S102中的处理的开始同步地进行步骤S104中的处理。
在步骤S102和S104中设置了待显示图像和不进行布置的区域之后，信息处理设备100进行用于布置待显示图像的处理(步骤S106)。在此，信息处理设备100例如采用物理计算来布置待显示图像，所述物理计算利用物理引擎。然而，信息处理设备100可以使用别的方式来布置待显示图像。步骤S106中的处理对应于上述(4)的处理(布置处理)。
用于布置待显示图像的处理的例子
图6是示出了在根据本发明实施方式的信息处理设备100中进行的用于布置待显示图像的处理的例子的流程图。在此，图6示出了在信息处理设备100采用物理计算来布置待显示图像的情况下布置处理的例子。
信息处理设备100根据关于显示区域的信息和关于不进行布置的区域的信息来设置可以进行布置的区域(步骤S200)。在此，信息处理设备100通过例如读取存储单元(随后描述)中存储的显示区域数据来指定显示区域，并将通过从该显示区域中减去不进行布置的区域而获得的区域设置为可以进行布置的区域。然而，设置可以进行布置的区域的方法不限于此。
信息处理设备100根据基于检测信息的不进行布置的区域(例如，图3A中示出的不进行布置的区域AR1和图3B中示出的不进行布置的区域AR2)来设置模拟重力方向(步骤S202)，并设置布置开始位置(步骤S204)。
在此，图6示出了信息处理设备100进行步骤S200中的处理、然后进行步骤S202和S204中的处理的例子。然而，处理顺序不限于此。例如，信息处理设备100还可以独立进行步骤S200中的处理以及步骤S202和S204中的处理。另外，信息处理设备100可以在未根据所设置的模拟重力方向来设置布置开始位置的情况下独立进行步骤S202中的处理和步骤S204中的处理。
信息处理设备100在可以进行布置的区域中从布置开始位置起在模拟重力方向上布置待显示和布置的图像之一(步骤S206；基于物理计算的布置处理)。在此，信息处理设备100可以例如以预定顺序布置在图5中示出的步骤S102中的处理中选择的待显示图像，或者还可以按随机顺序布置上述待显示图像。然而，布置顺序不限于此。
如果在步骤S206中布置了待显示图像之一，则信息处理设备100更新不进行布置的区域和可以进行布置的区域(步骤S208)。即使在多个待显示图像显示在显示画面上的情况下，信息处理设备100仍可以通过进行步骤S208中的处理来例如防止待显示图像重叠地显示。
如果在步骤S208中更新了不进行布置的区域和可以进行布置的区域，则信息处理设备100判断是否完成了所有待显示图像的显示(步骤S210)。在此，信息处理设备100例如通过每当完成一个待显示图像的布置时就递增计数器的值并将计数器的值与对应于待显示图像的数量的值进行比较来在步骤S210中做出判断。然而，在步骤S210中做出判断的方法不限于此。例如，信息处理设备100可以在计数器的值与对应于待显示图像的数量的值匹配的情况下判断完成了所有待显示图像的显示。
如果在步骤S210中判断尚未完成所有待显示图像的显示，则信息处理设备100重复从步骤S206中的处理起的处理。如果在步骤S210中判断完成了所有待显示图像的显示，则信息处理设备100终止布置处理。
通过例如进行图6中示出的处理，信息处理设备100可以实现根据用于改进用户友好性的方法的上述(4)的处理(布置处理)。在此，由根据本发明实施方式的信息处理设备100进行的布置处理当然不限于图6中示出的处理。
通过进行图5中示出的步骤S100至S106中的处理，实现根据用于改进用户友好性的方法的(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)。因此，通过进行步骤S100至S106中的处理，信息处理设备100可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
另外，如图1D中所示，用户还可以在通过用于改进用户友好性的方法显示的显示画面(其布局有变)上进行操作。下文将使用图5来描述在用户在显示画面上进行操作的情况下由信息处理设备100进行的处理的例子。
如果在步骤S106中完成了布置处理，则信息处理设备100判断是否检测到释放(步骤S108)。信息处理设备100可以例如通过检测触摸屏的静电传感器的值的变化来在步骤S108中做出判断。
如果在步骤S108中判断未检测到释放，则信息处理设备100判断是否检测到对子按钮的触摸(步骤S110)。在此，信息处理设备100例如根据与显示画面上子按钮的显示位置有关的信息和与显示画面上检测到第一检测信息的位置有关的信息来在步骤S110中做出判断。然而，用来在步骤S110中做出判断的信息不限于此。
如果在步骤S110中判断未检测到对子按钮的触摸，则信息处理设备100重复步骤S108中的处理和步骤S108之后的处理。
如果在步骤S110中判断检测到对子按钮的触摸，则信息处理设备100执行分配给所触摸的子按钮的处理(步骤S112)。在此，在步骤S112中所执行的分配给予按钮的处理的例子例如是用于输入与子按钮对应的假名字符等的处理。然而，分配给子按钮的处理不限于此。例如，在存在另一虚拟操作键与所触摸的子按钮相关的情况下，信息处理设备100可以例如通过将该子按钮视为新的母按钮来进行步骤S102中的处理和步骤S102之后的处理。
如果在步骤S108中判断检测到释放，则信息处理设备100判断所检测到的释放是否是释放母按钮(步骤S114)。在此，信息处理设备100例如根据触摸屏的静电传感器的值的变化和检测到变化的位置(静电传感器的位置)来在步骤S114中做出判断。然而，用来在步骤S114中做出判断的信息不限于此。
如果在步骤S114中判断所检测到的释放是释放母按钮，则信息处理设备100执行分配给该母按钮的处理(步骤S116)。在此，在步骤S116中所执行的分配给母按钮的处理的例子例如是用于输入与母按钮对应的假名字符等的处理。然而，分配给母按钮的处理不限于此。
如果在步骤S114中判断所检测到的释放不是释放母按钮，则信息处理设备100终止处理。
当用户在显示画面上进行操作时，信息处理设备100可以通过进行图5中示出的步骤S108至S116中的处理来进行对应于该操作的处理。在此，在用户在显示画面上进行操作的情况下由信息处理设备100进行的处理当然不限于图5中示出的步骤S108至S116中的处理。
根据本发明实施方式的信息处理设备
接着将描述根据本发明实施方式的信息处理设备100的示例性结构。信息处理设备100可以实现根据本发明上述实施方式的用于改进用户友好性的方法。
图7是示出了根据本发明实施方式的信息处理设备100的结构的例子的图。信息处理设备100包括操作显示单元102、存储单元104和控制单元106。
另外，信息处理设备100还可以例如包括未示出的只读存储器(ROM)、未示出的随机存取存储器(RAM)、通信单元(未示出)和用户可以操作的操作单元(未示出)。在信息处理设备100中，例如，用作为数据传输线的总线来连接这些部件。
在此，ROM(未示出)存储要由控制单元106使用的程序，以及用于控制的数据(比如计算参数)。RAM(未示出)是用于存储要由控制单元106执行的程序的主要储存器。操作单元(未示出)的一个例子例如是后文将描述的用于输入操作的装置。通信单元(未示出)起以有线或者无线方式经由网络(或者直接)与外部设备进行往来通信的作用。在此，所述网络的例子包括有线网络(比如局域网(LAN)和广域网(WAN))、无线网络(比如无线广域网(WWAN)和无线城域网(WMAN))以及采用通信协议(如传输控制协议/因特网协议(TCP/IP))的因特网。然而，网络的例子不限于此。另外，通信单元(未示出)的一个例子例如是后文将描述的通信接口。
信息处理设备100的示例硬件结构
图8是示出了根据本发明实施方式的信息处理设备100的硬件结构的例子的图。在图8中，信息处理设备100例如包括微处理器单元(MPU)150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162、静电触摸板164和通信接口166。在信息处理设备100中，例如用作为数据传输线的总线168来连接这些部件。
MPU 150包括MPU和其上集成用于实现控制功能的多个电路的集成电路。MPU 150用作控制整个信息处理设备100的控制单元106。另外，在信息处理设备100中，MPU 150还可以用作操作确定单元110、待显示图像选择单元112、不进行布置区域设置单元114、布置处理单元116和处理单元118。
ROM 152存储要由MPU 150使用的程序，以及用于控制的数据(比如计算参数)。RAM 154是用于例如存储要由MPU 150执行的程序等的主要储存器。
记录介质156用作存储单元104，并例如存储多种数据(比如显示区域数据、内容数据)和多种应用(比如物理引擎)。在此，记录介质156的例子例如包括磁记录介质(比如硬盘)和非易失性存储器(比如电可擦可编程只读存储器(EEPROM)、闪存、磁阻随机存取存储器(MRAM)、铁电随机存取存储器(FeRAM)和相变随机存取存储器(PRAM))。然而，记录介质156的例子不限于此。
输入/输出接口158例如将操作输入装置160连接到显示装置162。在此，输入/输出接口158的例子例如包括通用串行总线(USB)端口、数字视频接口(DVI)端口、高清晰度多媒体接口(HDMI)端口和多种处理电路。然而，输入/输出接口158的例子不限于此。在此，输入/输出接口158当然还可以连接到作为信息处理设备100的外部设备的操作输入装置(例如键盘和鼠标)和显示装置(例如外部显示器)。
操作输入装置160用作操作单元(未示出)。另外，操作输入装置160例如包含在信息处理设备100之中，并连接到信息处理设备100中的输入/输出接口158。操作输入装置160的例子例如包括按钮、方向键和旋转式选择器(比如转轮控制器(jog dial)等)以及这些项的任意组合。然而，操作输入装置160的例子不限于此。
显示装置162和静电触摸板164用作操作显示单元102。显示装置162例如包含在信息处理设备100之中，并连接到信息处理设备100中的输入/输出接口158。显示装置162的例子例如包括液晶显示器(LCD)和有机电致发光显示器(还可以称作有机发光二极管(OLED)显示器)。然而，显示装置162的例子不限于此。
另外，显示装置162装备有可以检测由用户进行的一个或者多个触摸操作的静电触摸板164。包括显示装置162和静电触摸板164的结构可以实现根据本发明实施方式的触摸屏，该触摸屏可以显示虚拟操作键等和检测用户操作。
通信接口166是包括在信息处理设备100之中的通信装置，并用作以有线或者无线方式经由网络(或者直接)与外部设备进行往来通信的通信单元(未示出)。在此，通信接口166的例子例如包括：通信天线及射频(RF)电路(无线通信)、IEEE802.15.1端口收发电路(无线通信)、IEEE802.11b端口及收发电路(无线通信)、以及LAN端口及收发电路(有线通信)。然而，通信接口166的例子不限于此。
信息处理设备100例如使用图8中示出的结构来进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)，并实现根据本发明上述实施方式的用于改进用户友好性的方法。
在此，根据本发明实施方式的信息处理设备100的硬件结构不限于图8中示出的结构。例如根据本发明实施方式的信息处理设备100可以包括取代静电触摸板164的能实现多点触摸屏的任意方法的触摸板。
将再次参照图7来描述信息处理设备100的部件。操作显示单元102显示显示画面，并检测基于显示画面上进行的用户操作的检测信息。操作显示单元102向控制单元106传送检测到的检测信息。在此，上述检测信息例如包括对应于电容变化的值和关于所检测的位置的坐标的信息。然而，检测信息中包括的信息(数据)不限于此。
另外，信息处理设备100例如包括操作显示单元102，该操作显示单元包括显示装置162和静电触摸板164。然而，信息处理设备100所包括的部件不限于此。
存储单元104是包括在信息处理设备100之中的存储装置。在此，存储单元104的例子例如包括磁记录介质(比如硬盘)和非易失性存储器(比如闪存)。然而，存储单元104的例子不限于此。
另外，存储单元104例如存储多种数据(比如显示区域数据、内容数据)和多种应用(比如物理引擎)。在此，图7示出了在存储器单元104中存储显示区域数据130和应用132的例子。然而，存储单元104存储的数据不限于此。
控制单元106例如包括MPU和其上集成多种处理电路的集成电路，并且起控制整个信息处理设备100的作用。另外，控制单元106包括操作确定单元110、待显示图像选择单元112、不进行布置区域设置单元114、布置处理单元116和处理单元118。在进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)时，控制单元106起主导作用。另外，当用户在显示画面上进行操作时，由于控制单元106具有上述结构，因此控制单元106可以进行对应于该操作的处理。
操作确定单元110起进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)的作用。更具体地，操作确定单元110根据由操作显示单元102检测的检测信息来判断是否对显示在显示画面上并且可以由用户操作的操作对象(操作目标)进行了操作。要由操作确定单元110判断的操作的例子例如包括对操作对象(操作目标)进行的操作(比如触摸/释放虚拟操作键)。然而，要由操作确定单元110判断的操作的例子不限于此。下文将描述操作确定单元110判断是否对作为操作对象的“虚拟操作键”进行了操作的情况作为例子。
另外，操作确定单元110还例如判断：已经判断检测到了对它的操作的虚拟操作键是否为与另一虚拟操作键相关的预定虚拟操作键(例如母按钮、对应于主菜单的虚拟操作键等)。
然后，操作确定单元110向待显示图像选择单元112、不进行布置区域设置单元114、布置处理单元116和处理单元118传送判断结果。在此，操作确定单元110传送例如包括对虚拟操作键进行了操作这一事实和用于指定虚拟操作键的信息(例如虚拟操作键的ID这样的信息)的判断结果。然而，判断结果不限于此。
在此，操作确定单元110可以每当做出判断时就向上述各种单元传送判断结果。然而操作确定单元110向其传送判断结果的单元不限于此。例如，操作确定单元110还可以向所选择的单元传送判断结果。作为向所选择的单元传送判断结果的例子，如果判断例如对上述预定虚拟操作键进行了操作，则操作确定单元110可以选择待显示图像选择单元112、不进行布置区域设置单元114和布置处理单元116，并向它们发送判断结果。然而，操作确定单元110向其传送判断结果的单元不限于此。另外，操作确定单元110还可以选择处理单元118，并向处理单元118发送作为在图5中示出的步骤S108、S110和S114中做出的判断的结果的判断结果。
如上文所述，由于操作确定单元110选择单元并向单元传送判断结果，因此接收判断结果的单元可以根据接收到的判断结果来进行处理。在此，在操作确定单元110每做出判断就向单元传送判断结果的情况下，接收判断结果的单元当然可以例如判断是否进行处理。下文将描述操作确定单元110选择单元并向单元传送判断结果的情况作为例子。
待显示图像选择单元112起进行上述(2)的处理(用于选择待显示图像的处理)的作用。更具体地，待显示图像选择单元112例如根据从操作确定单元110传送的、且表明对预定虚拟操作键进行了操作的判断结果，来选择与该预定虚拟操作键相关的待显示图像(待显示的对象)。
另外，待显示图像选择单元112向布置处理单元116传送关于所选择的待显示图像的信息。
不进行布置区域设置单元114起进行上述(3)的处理(用于设置不进行布置的区域的处理)的作用。更具体地，不进行布置区域设置单元114根据从操作确定单元110传送的并表明对预定虚拟操作键进行了操作的判断结果和从操作显示单元102传送的检测信息，来设置不进行布置的区域。
另外，不进行布置区域设置单元114向布置处理单元116传送关于所设置的不进行布置的区域的信息。
布置处理单元116起进行上述(4)的处理(布置处理)的作用。更具体地，布置处理116根据从待显示图像选择单元112传送的关于待显示图像的信息和从不进行布置区域设置单元114传送的关于不进行布置的区域的信息，来在可以进行布置的区域中布置待显示图像。
控制单元106包括控制操作确定单元110、待显示图像选择单元112、不进行布置区域设置单元114和布置处理单元116，因此控制单元106可以在进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)时起主导作用。
根据从操作确定单元110传送的判断结果，处理单元118执行分配给对应于判断结果的虚拟操作键的处理。
控制单元106还包括处理单元118。因此，当用户在显示画面上进行操作时，控制单元106可以进行对应于该操作的处理。
信息处理设备100例如使用图7中示出的结构来实现上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)。因此，信息处理设备100可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。在此，根据本发明实施方式的信息处理设备的结构当然不限于图7中示出的结构。
如上文所述，根据本发明实施方式的信息处理设备100检测关于在操作显示单元102处的用户操作的检测信息，并根据检测结果来进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)。通过进行上述(1)的处理(用于判断是否对操作对象进行了操作的处理)至(4)的处理(布置处理)，信息处理设备100可以实现如例如图1C中所示的“以不把与母按钮相关的子按钮显示在用来触摸母按钮的用户手指之下这样的方式显示子按钮”。在此，不以例如子按钮被遮蔽于用户手指之下这样的方式显示显示画面上显示的子按钮。如例如1D中所示，触摸了母按钮的用户手指无碍于观看子按钮，从而用户可以容易地触摸子按钮。因此信息处理设备100可以防止在(现有的)具有触摸屏的信息处理设备中可能出现的不方便选择上述选项的情形。因此信息处理设备100可以改进用户友好性。另外，如图1A至1D中所示，信息处理设备100允许触摸操作在触摸屏TS上进行。因此，有别于应用了现有技术的现有信息处理设备，信息处理设备100仍然具有“使用户能够更直观地进行操作”的优点。因此信息处理设备100的用户友好性可被改进得优于应用了现有技术的现有信息处理设备的用户友好性。因此信息处理设备100可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
上文已经描述作为本发明的实施方式的信息处理设备100作为例子。然而本发明的实施方式不限于此。本发明的实施方式可被应用于多种装置，比如个人计算机(PC)、计算机(比如笔记本型PC)、便携式通信设备(比如手机和个人手持式电话系统(PHS)电话)、视频/音频的回放设备(或者视频/音频的记录/回放设备)、便携式游戏机、自动柜员机(ATM)和可以接收数字广播/模拟广播的电视机。
根据本发明实施方式的信息处理设备的程序
使计算机用作根据本发明实施方式的信息处理设备的程序可以为使用包括可以显示显示画面并且允许在显示画面上进行用户操作的装置的信息处理设备的用户提供改进的用户友好性。
上文中参照附图描述了本发明的有利实施方式。然而本发明的有利实施方式当然不限于本发明实施方式中的这些例子。本领域的技术人员显然可以进行在所附权利要求的范围内的各种变型和修改。因此这样的变型和修改当然也落在本发明的技术范围内。
例如，在图7中示出的信息处理设备100中，示出了控制单元106的结构包括操作确定单元110、待显示图像选择单元112、不进行布置区域设置单元114、布置处理单元116和处理单元118。然而根据本发明实施方式的信息处理设备的结构不限于此。例如，根据本发明实施方式的信息处理设备还可以单独地包括操作确定单元110、待显示图像选择单元112、不进行布置区域设置单元114、布置处理单元116和处理单元118(例如每个单元可实现为单独的电路)。
另外，上文中描述了提供使计算机用作根据本发明实施方式的信息处理设备的程序(计算机程序)。此外，根据本发明的一种实施方式，除了上述程序以外还可以提供其中存储有上述程序的存储介质。
上述结构是本发明一种实施方式的例子，从而当然落在本发明的技术范围内。
本申请包含的主题涉及在2009年6月22号递交日本专利局的日本优先权专利申请JP 2009-147505中公开的内容，因此通过引用将该申请的整体内容合并于此。
本领域的技术人员应当理解，根据设计需要和其它因素，可以在所附权利要求或其等同方案的范围内进行各种修改、组合、子组合和变型。

Claims (8)

1.一种信息处理设备，包括：
操作显示单元，显示显示画面并且检测根据在所述显示画面上进行的用户操作而变化的检测信息；
操作确定单元，根据所述检测信息来判断是否对可以由用户操作的并且显示在所述显示画面上的操作对象进行了操作；
待显示图像选择单元，根据来自所述操作确定单元的判断结果来选择要在所述显示画面上显示的待显示图像；
不进行布置区域设置单元，根据所述检测信息和来自所述操作确定单元的判断结果在所述显示画面上设置不进行布置的区域，所述不进行布置的区域中不布置所述待显示图像；以及
布置处理单元，根据所选择的待显示图像和所设置的不进行布置的区域，在所述显示画面内可以进行布置的区域中布置所述待显示图像，所述可以进行布置的区域中允许布置所述待显示图像。
2.根据权利要求1所述的信息处理设备，其中所述布置处理单元根据所设置的不进行布置的区域和在所述显示画面内能够显示所述待显示图像的显示区域来设置所述可以进行布置的区域。
3.根据权利要求2所述的信息处理设备，其中每当所述布置处理单元布置待显示图像时，所述不进行布置区域设置单元更新所设置的不进行布置的区域；并且
所述布置处理单元根据所更新的不进行布置的区域来设置所述可以进行布置的区域。
4.根据权利要求3所述的信息处理设备，其中所述布置处理单元：
基于所述检测信息设置模拟重力方向，并设置所述待显示图像的显示开始的布置开始位置；并且
在所述模拟重力方向上从所述布置开始位置起布置由所述待显示图像选择单元选择的所述待显示图像。
5.根据权利要求1所述的信息处理设备，其中在所述操作确定单元判断对预定操作对象进行了操作的情况下，
所述待显示图像选择单元选择可以由用户操作的并且与所述预定操作对象有关的另一操作对象作为所述待显示图像。
6.根据权利要求1所述的信息处理设备，还包括：处理单元，根据来自所述操作确定单元的判断结果，在所述操作确定单元判断已对所述操作对象进行了操作的情况下进行与所述操作对象对应的处理。
7.一种用于控制显示的方法，包括以下步骤：
根据由显示显示画面并且检测根据所述显示画面上进行的用户操作而变化的检测信息的操作显示单元所检测的检测信息，来判断是否对可以由用户操作的并且显示在所述显示画面上的操作对象进行了操作；
根据所述判断步骤中的判断结果来选择要在所述显示画面上显示的待显示图像；
根据所述检测信息和所述判断步骤中的判断结果，在所述显示画面上设置不进行布置的区域，所述不进行布置的区域中不布置所述待显示图像；以及
根据所述选择步骤中选择的所述待显示图像和在所述设置步骤中设置的所述不进行布置的区域，在所述显示画面内可以进行布置的区域中布置所述待显示图像，所述可以进行布置的区域中允许布置所述待显示图像。
8.一种计算机可读记录介质，其中记录有程序，所述程序包括以下步骤：
根据由显示显示画面并且检测根据所述显示画面上进行的用户操作而变化的检测信息的操作显示单元所检测的检测信息，来判断是否对可以由用户操作的并且显示在所述显示画面上的操作对象进行了操作；
根据所述判断步骤中的判断结果来选择要在所述显示画面上显示的待显示图像；
根据所述检测信息和所述判断步骤中的判断结果，在所述显示画面上设置不进行布置的区域，所述不进行布置的区域中不布置所述待显示图像；以及
根据所述选择步骤中选择的所述待显示图像和所述设置步骤中设置的所述不进行布置的区域，在所述显示画面内可以进行布置的区域中布置所述待显示图像，所述可以进行布置的区域中允许布置所述待显示图像。
CN2010102060136A 2009-06-22 2010-06-13 信息处理设备和显示控制方法 Expired - Fee Related CN101930336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-147505 2009-06-22
JP2009147505A JP5218293B2 (ja) 2009-06-22 2009-06-22 情報処理装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101930336A true CN101930336A (zh) 2010-12-29
CN101930336B CN101930336B (zh) 2013-02-27

Family

ID=42709088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102060136A Expired - Fee Related CN101930336B (zh) 2009-06-22 2010-06-13 信息处理设备和显示控制方法

Country Status (5)

Country Link
US (1) US8988363B2 (zh)
EP (1) EP2270626A3 (zh)
JP (1) JP5218293B2 (zh)
CN (1) CN101930336B (zh)
BR (1) BRPI1001833A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287132A (zh) * 2012-02-27 2013-09-11 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN103777802A (zh) * 2012-10-23 2014-05-07 富士施乐株式会社 信息处理设备和方法
CN103970438A (zh) * 2013-02-06 2014-08-06 富士施乐株式会社 信息处理装置、图像处理装置和信息处理方法
CN111373432A (zh) * 2017-11-20 2020-07-03 尤妮佳股份有限公司 程序和儿童保育支持方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531410B2 (en) * 2009-08-18 2013-09-10 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
US8786561B2 (en) 2011-05-18 2014-07-22 Microsoft Corporation Disambiguating intentional and incidental contact and motion in multi-touch pointing devices
US9262000B2 (en) 2011-10-26 2016-02-16 Intel Corporation Multi-touch interface schemes
WO2014091280A1 (en) * 2012-12-13 2014-06-19 Nokia Corporation Adaptation of the display of items on a display
US10318071B2 (en) * 2017-03-23 2019-06-11 Intel Corporation Method and apparatus for a blob angle orientation recognition in a touch device
US10732761B2 (en) * 2017-12-06 2020-08-04 Paypal, Inc. Arranging content based on detection of a substance on display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000347787A (ja) * 1999-06-09 2000-12-15 Victor Co Of Japan Ltd タッチパネル表示装置
US20050184972A1 (en) * 2004-02-20 2005-08-25 Kabushiki Kaisha Toshiba Image display apparatus and image display method
JP2006003568A (ja) * 2004-06-16 2006-01-05 Ricoh Co Ltd 画像形成装置、画像形成方法、その方法をコンピュータに実行させるプログラム、画像処理システム、および画像処理装置
JP2006108947A (ja) * 2004-10-01 2006-04-20 Shunji Sugaya 遠隔制御システムおよびその処理方法
CN1908879A (zh) * 2005-08-05 2007-02-07 索尼株式会社 信息输入显示装置、信息处理方法和计算机程序
CN101452356A (zh) * 2007-12-07 2009-06-10 索尼株式会社 输入装置、显示装置、输入方法、显示方法及程序

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US7614008B2 (en) * 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
JP4019512B2 (ja) * 1998-08-11 2007-12-12 ソニー株式会社 文字入力装置、文字入力方法及び文字入力機能を有するプログラムを記録した情報記録媒体
US6826729B1 (en) * 2001-06-29 2004-11-30 Microsoft Corporation Gallery user interface controls
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
CA2406131A1 (en) * 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
US7571393B2 (en) * 2003-04-15 2009-08-04 Microsoft Corporation Method for navigation between elements on a page of content in a handheld device
CN100476704C (zh) * 2003-06-05 2009-04-08 诺基亚有限公司 一种数据处理方法和设备
US7366993B2 (en) * 2003-08-15 2008-04-29 National Instruments Corporation Automatic graph display
US7925716B2 (en) * 2005-12-05 2011-04-12 Yahoo! Inc. Facilitating retrieval of information within a messaging environment
JP2007272840A (ja) * 2006-03-31 2007-10-18 Tokyo Institute Of Technology 小型データ入力装置とメニュー選択方法
JP2009158989A (ja) * 2006-04-06 2009-07-16 Nikon Corp カメラ
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP4781957B2 (ja) * 2006-09-28 2011-09-28 京セラ株式会社 携帯端末装置
WO2008153599A1 (en) * 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
US7692629B2 (en) * 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
CN101606124B (zh) * 2007-01-25 2013-02-27 夏普株式会社 多窗口管理装置及信息处理装置
US20090051661A1 (en) * 2007-08-22 2009-02-26 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Automatic Positioning of Text on Touch Display Devices
KR100949581B1 (ko) * 2007-10-08 2010-03-25 주식회사 자코드 통신단말기의 문자/숫자 입력장치 및 입력방법
KR100878191B1 (ko) * 2007-10-27 2009-01-13 주식회사 자코드 통신단말기의 문자/숫자 입력장치 및 입력방법
KR20090047828A (ko) * 2007-11-08 2009-05-13 삼성전자주식회사 컨텐츠 표시 방법 및 이를 적용한 전자기기
WO2009069392A1 (ja) * 2007-11-28 2009-06-04 Nec Corporation 入力装置、サーバ、表示管理方法および記録媒体
JP2009139544A (ja) * 2007-12-05 2009-06-25 Denso Corp 入力装置
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000347787A (ja) * 1999-06-09 2000-12-15 Victor Co Of Japan Ltd タッチパネル表示装置
US20050184972A1 (en) * 2004-02-20 2005-08-25 Kabushiki Kaisha Toshiba Image display apparatus and image display method
JP2006003568A (ja) * 2004-06-16 2006-01-05 Ricoh Co Ltd 画像形成装置、画像形成方法、その方法をコンピュータに実行させるプログラム、画像処理システム、および画像処理装置
JP2006108947A (ja) * 2004-10-01 2006-04-20 Shunji Sugaya 遠隔制御システムおよびその処理方法
CN1908879A (zh) * 2005-08-05 2007-02-07 索尼株式会社 信息输入显示装置、信息处理方法和计算机程序
CN101452356A (zh) * 2007-12-07 2009-06-10 索尼株式会社 输入装置、显示装置、输入方法、显示方法及程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287132A (zh) * 2012-02-27 2013-09-11 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN103287132B (zh) * 2012-02-27 2015-11-25 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN103777802A (zh) * 2012-10-23 2014-05-07 富士施乐株式会社 信息处理设备和方法
CN103777802B (zh) * 2012-10-23 2019-11-26 富士施乐株式会社 信息处理设备和方法
CN103970438A (zh) * 2013-02-06 2014-08-06 富士施乐株式会社 信息处理装置、图像处理装置和信息处理方法
CN103970438B (zh) * 2013-02-06 2018-06-12 富士施乐株式会社 信息处理装置、图像处理装置和信息处理方法
CN111373432A (zh) * 2017-11-20 2020-07-03 尤妮佳股份有限公司 程序和儿童保育支持方法

Also Published As

Publication number Publication date
US8988363B2 (en) 2015-03-24
JP2011003125A (ja) 2011-01-06
US20100321316A1 (en) 2010-12-23
BRPI1001833A2 (pt) 2011-07-05
JP5218293B2 (ja) 2013-06-26
CN101930336B (zh) 2013-02-27
EP2270626A3 (en) 2013-01-09
EP2270626A2 (en) 2011-01-05

Similar Documents

Publication Publication Date Title
CN101930336B (zh) 信息处理设备和显示控制方法
KR101568129B1 (ko) 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서 태그 정보 표시 방법
EP2752749B1 (en) Processing method of touch screen device user interface and touch screen device
US20130024796A1 (en) Method and apparatus for managing icon in portable terminal
EP2565752A2 (en) Method of providing a user interface in portable terminal and apparatus thereof
EP2752737B1 (en) Portable device control method using an electric pen and portable device thereof
US20090251422A1 (en) Method and system for enhancing interaction of a virtual keyboard provided through a small touch screen
EP3540586A1 (en) Method and apparatus for providing a changed shortcut icon corresponding to a status thereof
US20140164941A1 (en) Display device and method of controlling the same
CN103425481B (zh) 向菜单项和动作动态分配快捷方式
US20120151420A1 (en) Devices, Systems, and Methods for Conveying Gesture Commands
US20180329598A1 (en) Method and apparatus for dynamic display box management
CN103092502A (zh) 在便携式终端中提供用户界面的方法及其设备
CN101196793A (zh) 基于手势的用户界面方法和设备
CN103547988A (zh) 选择用户界面的元素的方法以及实施该方法的装置
CN106502470A (zh) 防止触摸按键误触发的方法、装置及终端
EP2866159A1 (en) Electronic device and method for controlling a screen
CN103262014A (zh) 用于识别在显示器中的手势的方法和装置
KR20150134674A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
KR20140111790A (ko) 가상 키보드에서 난수를 이용한 키 입력 방법 및 장치
CN104965649A (zh) 一种内容展示方法、装置及终端
CN102566913A (zh) 一种遥控器的实现方法及遥控器
KR20200095972A (ko) 버튼 입력에 기능을 맵핑하기 위한 전자 장치 및 방법
CN102197356A (zh) 即使检测区域小于显示器的显示区域也如相同时那样动作的触摸面板装置
CN104182161A (zh) 一种开启屏幕功能区域的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130227

Termination date: 20150613

EXPY Termination of patent right or utility model