CN102473043B - 便携式显示装置和其控制方法 - Google Patents

便携式显示装置和其控制方法 Download PDF

Info

Publication number
CN102473043B
CN102473043B CN201080026664.5A CN201080026664A CN102473043B CN 102473043 B CN102473043 B CN 102473043B CN 201080026664 A CN201080026664 A CN 201080026664A CN 102473043 B CN102473043 B CN 102473043B
Authority
CN
China
Prior art keywords
coordinate
situation
mentioned
pictures
display part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080026664.5A
Other languages
English (en)
Other versions
CN102473043A (zh
Inventor
西尾真明
片冈吉郎
熊田浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102473043A publication Critical patent/CN102473043A/zh
Application granted granted Critical
Publication of CN102473043B publication Critical patent/CN102473043B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

能用单手把持的程度的小型便携式显示装置，当用把持该装置的单手的拇指Ftl按压左显示部(14a)和右显示部(14b)的中央附近的固定坐标位置时，成为接受手势的状态，通过由另一方的手的食指Ffr输入的手势能接受例如用于实施页输送处理的命令。由此，能实现下面那样的适于两个画面的显示画面的操作输入用界面：当把持两个画面的便携式显示装置时，自然地成为接受命令状态并能进行手势识别；当不把持便携式显示装置时，成为非接受命令状态并能防止因不经意地接触显示画面等而误执行命令。

Description

便携式显示装置和其控制方法
技术领域
本发明涉及便携式的显示装置，更详细而言，涉及一种具备两个画面的显示部和检测对该显示部进行接近、接触或者按压的坐标的触摸面板的便携式显示装置。 
背景技术
近年，在需要菜单选择等的操作的便携式的显示装置中，具备接受操作的触摸面板的装置不断增加，该接受的操作有根据画面的显示而用笔或者手指按压面板并选择所希望的菜单等的操作。在这样的便携式显示装置中，为了特定面板的被按压的位置，能采用电阻膜方式、电容方式、光传感器方式、红外线方式等周知的各种方式。 
此外，由于这样的便携式显示装置的显示画面优选占装置的机箱面的比例大的显示画面，因此近年有(典型的是双联页形式的)两个画面的装置，还有两个画面无接缝(无缝地)地连接的显示装置。 
在日本特开2006-53678号公报中，公开有带有这样的两个画面的附带触摸面板的笔记本电脑的构造和在该装置中虚拟键盘或虚拟鼠标等的显示画面上的用户界面的结构。 
现有技术文献 
专利文献 
专利文献1：日本特开2006-53678号公报 
发明内容
发明要解决的问题 
此处，对于上述那样的现有技术中的便携式显示装置之中的、笔记本电脑等即可携带也能在使用时预定为放置在桌子上等来使用的显示装置，可以说适合于通过显示虚拟键盘和虚拟鼠标等的界面画面来接受输入的结构。 
但是，对于边用单手携带边进行操作的便携式显示装置、例如移动电话终端或PDA(Personal Digital Assistant)装置，不能说一定适合通过虚拟键盘和虚拟鼠标等来进行操作。 
此外，在使电子文书如书籍那样通过两个画面来进行双联页显示的装置或者应用软件(也被称为电子书)等的、预定为两个画面都作为显示画面来使用的装置或者应用软件中，由于在显示画面上显示虚拟键盘和虚拟鼠标等时会妨碍使用，因此需要更适合用于接受操作输入的方法。 
因此本发明的目的是提供作为用单手能把持的程度的小型的便携式显示装置的、具备适合两个画面的显示画面的操作输入用界面的便携式显示装置和其控制方法、程序、存储介质。 
解决问题的方法 
本发明的第一方面是一种便携式显示装置，其特征在于： 
其是能由使用者把持的便携式显示装置，其包括： 
分别在相邻的两个画面显示图像的显示部； 
输入部，其能取得两个以上的由上述使用者接近、接触或者按压的上述显示部上的坐标；和 
手势识别部，其通过使由上述输入部取得的被接近、接触或者按压的上述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令， 
上述手势识别部，在由上述输入部取得的坐标不包含规定的固定坐标的情况下，成为不识别并执行上述处理命令的非接受状态，在由上述输入部取得的坐标包含上述固定坐标的情况下，成为能识别上述处理命令的接受状态。 
本发明的第二方面，是在本发明的第一方面中， 
上述手势识别部，基于上述两个画面相邻的部分或者该部分附近的预先确定的固定坐标，执行上述处理命令。 
本发明的第三方面，是在本发明的第一方面中， 
上述输入部，取得作为与把持该便携式显示装置的上述使用者的一方的手指的位置对应的上述显示部上的坐标的与适于由上述使用者的一方的手指把持的位置对应的坐标，作为上述固定坐标，并且取得与上述使用者的另一方的手指的位置对应的上述显示部上的坐标，作为上述关联的两个以上的坐标。 
本发明的第四方面，是在本发明的第一方面中， 
上述显示部，能按照上述两个画面以上述两个画面相邻的边或者该边附近作为谷折线而相对的方式折叠， 
上述手势识别部，基于包含上述谷折线上或者上述谷折线附近的坐标的固定坐标，执行上述处理命令。 
本发明的第五方面，是在本发明的第一方面中， 
上述手势识别部，在上述关联的两个以上的坐标是从上述两个画面的一方向另一方移动的变化形态的情况下，识别为与该变化形态对应的规定的页输送命令并执行， 
上述显示部，将分别与规定页对应的两个图像以双联页的形式显示在上述两个画面，并且在由上述手势识别部执行上述页输送命令的情况下，显示与根据上述变化形态增加或者减少规定数量后的页对应的图像。 
本发明的第六方面，是在本发明的第一方面中， 
上述手势识别部，在离开上述固定坐标规定距离的上述两个画面的外周附近的预先确定的坐标，连续规定期间包含于由上述输入部取得的坐标中的情况下，在上述期间中识别为规定的页输送命令并执行， 
上述显示部，将分别与规定页对应的两个图像以双联页的形式显示在上述两个画面，并且在由上述手势识别部识别上述页输送命令的情况下，显示与在上述期间中与以规定的时间间隔增加或者减少规定数量后的页对应的图像。 
本发明的第七方面，是在本发明的第一方面中， 
上述显示部，将分别与规定页对应的两个图像以双联页的形式显示在上述两个画面， 
上述手势识别部，在上述关联的两个以上的坐标从上述两个画面相邻的部分或者该部分附近的上述画面端部附近向中央附近移动的变化形态的情况下，识别为规定的添加书签命令，并存储与由上述显示部显示的图像对应的页。 
本发明的第八方面，是在本发明的第一方面中， 
上述手势识别部，在上述关联的两个以上的坐标从上述两个画面中的一个以上的四边形的显示用窗口的周围四个边之中的一边附近向另一边附近移动的变化形态的情况下，识别为与该变化形态对应的规定的窗口形态变更命令并执行， 
上述显示部，在由上述手势识别部执行上述窗口形态变更命令的情况下，根据上述变化形态变更上述窗口的分割数或者分割形态，并以被变更后的形态将图像显示在上述窗口内。 
本发明的第九方面，是在本发明的第一方面中， 
上述手势识别部，在由上述输入部取得的坐标不包含上述两个画面相邻的部分或者该部分附近的预先确定的多个固定坐标之中的规定数量的固定坐标的情况下，成为不识别并执行上述处理命令的非接受状态，在由上述输入部取得的坐标包含上述规定数量的固定坐标的情况下，成为能识别上述处理命令的接受状态。 
本发明的第十方面，是在本发明的第一方面中， 
上述输入部，在上述手势识别部为上述非接受状态的期间中，通过实施以下动作的至少一个，来取得上述坐标：将要取得的上述显示部上的坐标的范围限定在上述固定坐标或者上述固定坐标附近；或者将要取得上述显示部上的坐标的时间间隔设定得比上述手势识别部为上述接受状态的期间中的该时间间隔更长。 
本发明的第十一方面是一种便携式显示装置的控制方法，其特征在于： 
该便携式显示装置具备在相邻的两个画面分别显示图像的显示部并能由使用者把持，该便携式显示装置的控制方法，其包括： 
取得两个以上的由上述使用者接近、接触或者按压的上述显示部上的坐标的输入步骤；和 
通过使在上述输入步骤中取得的被接近、接触或者按压的上述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令的手势识别步骤， 
在上述手势识别步骤中，当在上述输入步骤中取得的坐标不包含上述两个画面相邻的部分或者该部分附近的预先确定的固定坐标的情况下，成为不识别并执行上述处理命令的非接受状态，当在上述输入 步骤中取得的坐标包含上述固定坐标的情况下，成为能识别上述处理命令的接受状态。 
本发明的第十二方面是一种程序，其特征在于： 
该程序是使便携式显示装置执行输入步骤和手势识别步骤的程序， 
上述便携式显示装置具备在相邻的两个画面分别显示图像的显示部并能由使用者把持， 
上述输入步骤是取得两个以上的由上述使用者接近、接触或者按压的上述显示部上的坐标的步骤， 
上述手势识别步骤是通过使在上述输入步骤中取得的被接近、接触或者按压的上述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令的步骤， 
在上述手势识别步骤中，当在上述输入步骤中取得的坐标不包含上述两个画面相邻的部分或者该部分附近的预先确定的固定坐标的情况下，成为不识别并执行上述处理命令的非接受状态，当在上述输入步骤中取得的坐标包含上述固定坐标的情况下，成为能识别上述处理命令的接受状态。 
本发明的第十三方面是一种计算机能读取的非暂时的存储介质，其特征在于： 
其记录有程序，该程序是使便携式显示装置执行输入步骤和手势识别步骤的程序， 
上述便携式显示装置具备在相邻的两个画面分别显示图像的显示部并能由使用者把持， 
上述输入步骤是取得两个以上的由上述使用者接近、接触或者按压的上述显示部上的坐标的步骤， 
上述手势识别步骤是通过使在上述输入步骤中取得的被接近、接触或者按压的上述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令的步骤， 
在上述手势识别步骤中，当在上述输入步骤中取得的坐标不包含上述两个画面相邻的部分或者该部分附近的预先确定的固定坐标的情况下，成为不识别并执行上述处理命令的非接受状态，当在上述输入步骤中取得的坐标包含上述固定坐标的情况下，成为能识别上述处理命令的接受状态。 
发明的效果 
根据本发明的第一方面，在由输入部取得的坐标不包含规定的固定坐标的情况下，成为不识别并执行处理命令的非接受状态，在由输入部取得的坐标包含固定坐标的情况下，成为能识别处理命令的接受状态，由此例如用把持该装置的单手的拇指按压固定坐标位置时成为接受手势识别的状态，因此把持便携式显示装置时简单地成为接受命令状态并能进行手势识别，并且一般地不把持装置时成为非接受命令状态并能防止因不经意地接触显示面板等而误执行命令。 
根据本发明的第二方面，例如用把持该装置的单手的拇指按压两个画面相邻的部分或者该部分附近的预先确定的固定坐标位置时成为接受手势识别的状态，由此把持两个画面的便携式显示装置时自然地成为命令接受状态并能进行手势识别，不把持时成为非接受命令状态并能防止误执行命令。这样，能实现适合两个画面的显示画面的操作输入用界面。 
根据本发明的第三方面，将取得与把持该便携式显示装置的使用者的一方的手指的位置对应的与适合把持的位置对应的坐标，作为固定坐标，并且取得与使用者的另一手指的位置对应的显示部上的坐标，作为关联的两个以上的坐标，由此把持携帶型显示装置时成为简单地接受命令状态并能进行手势识别，不把持时成为非接受命令状态并能防止误执行命令。 
根据本发明的第四方面，因为基于包含谷折线或者谷折线附近的坐标的固定坐标，执行处理命令，所以预定为例如以拿着书的方式沿着谷折线压着把持装置的拇指，因此能更自然地成为命令接受状态并进行手势识别，不把持时成为非接受命令状态并能防止误执行命令。 
根据本发明的第五方面，通过手势识别部，在关联的两个以上的坐标是从两个画面的一方向另一方移动的变化形态的情况下，识别为与该变化形态对应的规定的页输送命令并执行，因此通过直观的、页输送的、跨越两个画面的手势能容易地执行页输送。 
根据本发明的第六方面，在离开固定坐标规定距离的两个画面的外周附近的预先确定的坐标在规定期间连续地包含于由输入部取得的坐标中的情况下，在该期间中识别为规定的页输送命令并执行，因此通过例如持续按压上述坐标位置的简单的动作能容易地执行连续的页输送。 
根据本发明的第七方面，在关联的两个以上的坐标从两个画面相邻的部分或者该部分附近的画面端部附近向中央附近移动的变化形态的情况下，识别为与该变化形态对应的规定的添加书签命令，并存储对应的页，因此通过夹着书签的简单且直观的手势能容易地执行添加书签处理。 
根据本发明的第八方面，在关联的两个以上的坐标从两个画面中的一个以上的四边形的显示用窗口的周围四个边之中的一边附近向另一边附近移动的变化形态的情况下，识别为与该变化形态对应的规定的窗口形态变更命令并执行，因此通过简单且直观的手势能容易地变更窗口的分割数或者分割方式。 
根据本发明的第九方面，在由输入部取得的坐标不包含多个固定坐标之中的规定数量的固定坐标的情况下，成为不识别并执行处理命令的非接受状态，在由输入部取得的坐标包含规定数量的固定坐标的情况下，成为能识别处理命令的接受状态，因此比由一个坐标决定的结构更能防止误检测。 
根据本发明的第十方面，在为非接受状态的期间中，通过实施以下动作中的至少一个，能够取得坐标：将要取得的显示部上的坐标的范围限定在固定坐标或者其附近；或者将取得坐标的时间间隔设定得更长，由此能省略用于取得固定坐标以外的范围的坐标的动作和信号等，此外能使取得每单位时间的坐标的次数减少，因此能使非接受状态中的电力消耗降低。 
根据本发明的第十一方面，在便携式显示装置的控制方法中能起到与本发明的第一方面相同的效果。 
根据本发明的第十二方面，在便携式显示装置的程序中能起到与本发明的第一方面相同的效果。 
根据本发明的第十三方面，在存储了便携式显示装置的程序的计算机能读取的非暂时的存储介质中能起到与本发明的第一方面相同的效果。 
附图说明
【图1】是本发明的一实施方式的便携式信息终端的外观立体图。 
【图2】是表示上述实施方式的便携式信息终端的显示部和输入部的主要结构的框图。 
【图3】是表示上述实施方式的便携式信息终端的结构的框图。 
【图4】是表示上述实施方式的便携式信息终端的整体的处理流程的流程图。 
【图5】是表示上述实施方式的输入处理(步骤S2)的详细的流程的流程图。 
【图6】是表示上述实施方式的便携式信息终端的显示和使用者的左手拇指的位置关系的附图。 
【图7】是表示上述实施方式的固定坐标区域的附图。 
【图8】是表示上述实施方式的识别处理(步骤S3)的详细的流程的流程图。 
【图9】是表示上述实施方式的读书处理(步骤S33)的详细的流程的流程图。 
【图10】是表示上述实施方式的显示部中央上部的规定区域的附图。 
【图11】是表示上述实施方式的显示部中央下部的规定区域的附图。 
【图12】是表示上述实施方式中实施添加书签处理的情况下显示的画面例子的附图。 
【图13】是表示在上述实施方式中输入右食指从左画面向右画面移动的手势时的例子的附图。 
【图14】是表示在上述实施方式中输入右食指从右画面向左画面移动的手势时的例子的附图。 
【图15】是表示在上述实施方式中输入以右拇指按压右画面的右 端部附近的手势时的例子的附图。 
【图16】是表示在上述实施方式中的窗口处理(步骤S35)的详细流程的流程图。 
【图17】是表示在上述实施方式中的窗口的形态变化与预先规定的手势的关系的图。 
具体实施方式
<1.整体的装置结构和动作> 
图1是本发明的一实施方式的便携式信息终端的外观立体图。该便携式信息终端10具备左显示部14a和右显示部14b，这些左显示部14a和右显示部14b的构造为：能以互相相对的方式通过未图示的合叶部(hinge)等在中央部分折叠。在图1中，表示有在作为左显示部14a和右显示部14b相邻的边附近的装置中央部分稍微折弯的状态的便携式信息终端，好像把持打开看的书那样具有以单手能把持的程度的大小和形状、重量平衡等。 
更详细而言，该便携式信息终端10如后述那样上述装置中央部的下方附近部分被(典型的是使用者的不好使的手)拇指按压，而且其背侧附近被其他的手指按压，由此能通过使用者的单手把持。该便携式信息终端10成为这样的适合以单手把持的形状和重量平衡。 
此外，图1虽然未图示，但是在相当于上述中央部分的左显示部14a的右边部和右显示部14b的左边部之间设置周知的导光部件(例如将称为棱镜或光纤板(fiber plate)的数μm直径的单束光纤扎起来的导光元件等)。通过该导光部件，由左显示部14a和右显示部14b显示的两个图像的一部分发生光路变换，能够显示无裂缝或者无接缝的(无缝的(seamless))一个图像。此外，在这些左显示部14a和右显示部14b的上表面(表面)设置透明的触摸面板，通过(典型的，使用者的好使的手)用手指或笔按压画面(接触)，能检测出其画面上的按压位置。对于这些显示部和触摸面板的结构等后述。 
图2是表示本发明的一实施方式的便携式信息终端的显示部和输入部的主要结构的框图。该便携式信息终端10包括：控制部100；具有左显示部14a和右显示部14b的两个液晶面板141；分别驱动这两个液晶面板141的扫描驱动器142和数据驱动器143；显示控制电路145；设置于两个液晶面板141上的矩阵型电阻膜方式的触摸面板161；检测在该触摸面板161上使用者的手指或笔等按压的位置的X坐标传感器163和Y坐标传感器162；和坐标处理部165。 
此处，触摸面板161，不是模拟性地探测相对的2张电阻膜的接触点的一般的电阻膜方式的触摸面板，而具备沿着行方向平行地配置的很多透明电极和在与它们的垂直方向以隔开规定的短距离并相对的方式沿着列方向平行地配置的很多透明电极。X坐标传感器163与沿着列方向的上述各电极连接，Y坐标传感器162与沿着行方向的上述各电极连接。因而，在使用者的手指或笔等按压的位置上交叉的行方向和列方向的电极接触时，能通过X坐标传感器163和Y坐标传感器162检测出。由此，用与电极的排列间距对应的分辨率，能够分别个别地识别触摸面板161上的很多坐标。 
此外，若是能个别地识别很多坐标的触摸面板，则能采用矩阵型的电容方式或光传感器方式、机械器传感方式等周知的各种方式的触摸面板。并且，也可以将多个只能识别一个坐标的方式的触摸面板组合使用。例如，也可以是分别个别地设置与左显示部14a对应的触摸面板、与右显示部14b对应的触摸面板、与后述的这些邻接部附近对应的触摸面板的结构。这样做的话，就能降低制造成本。另外，一般电容方式或光传感器方式不需要如电阻膜方式那样用手指按压触摸面板，而仅轻轻接触或接近即可，因此适用的情况多。 
此外两个液晶面板141是有源矩阵型的液晶面板，在各液晶面板上利用逐个的扫描驱动器142和数据驱动器143实施液晶面板内的各像素的选择和数据给予，能形成一个图像。另外，一个图像由两个液晶面板141显示，而且为了与触摸面板161的检测坐标一致地对应添加，具有右显示部14b的液晶面板141的像素位置，可以作为对具有左显示部14a的液晶面板141的像素位置添加X坐标的最大值(左端的像素位置)的值来处理。而且，为了作为一个图像来显示，在两个液晶面板141之间设置导光部件能进行无缝的显示，对此如上述。 
图3是表示本发明的一实施方式的便携式信息终端的结构的框图。 该便携式信息终端10是利用一般性的(专用)操作系统或规定的应用(application)·软件来实施规定的处理的装置，包括：由CPU(Central Processing Unit)和RAM等半导体存储器等构成的控制部100；包含EPROM等非易失性的半导体存储器的存储部120；由后述的液晶面板等构成的显示部140；和包含触摸面板等操作输入装置的输入部160。 
便携式信息终端10包含的控制部100具有的功能是：通过识别通过输入部160接受的由使用者做出的后述手势，实施规定的命令处理。对于该控制部100的详细的动作，以后叙述。 
而且，控制部100的上述功能通过CPU执行存储在半导体存储器的规定的手势识别程序P(例如用于手势识别的应用软件)来实现。此处，上述手势识别程序P在制造时被写入EPROM等，但是也可以是例如存储了该程序的、能用计算机读取的存储介质的CD-ROM或其他的非暂时的存储介质或通过通信回线在制造以后能写入的结构。而且，进行用于本便携式信息终端10的起动的规定操作时，能写入存储部120的手势识别程序P，其一部分或者全部被传送到上述RAM等半导体存储器，被暂时地收藏在那，通过控制部100内的CPU实施。由此，能实现控制部100的各部分的控制处理。 
<2.便携式信息终端的整体的动作> 
接着，针对便携式信息终端10的整体的动作进行说明。图4是表示该便携式信息终端10的整体的处理流程的流程图。在该图4所示的步骤S1(初期设定处理)中，便携式信息终端10包含的控制部100，典型的，通过收到使用者的开始指示，决定例如与使用者提示的电子文书对应的图像数据。此外，使在后述的处理中所需要的各值初始化。而且，被初始化时的窗口数设为一(窗口未被分割的状态)。 
此处，该便携式信息终端10能内置周知的各种应用软件，但是仅对读书模式和窗口模式进行说明。读书模式是指用于阅览能存储在存储部120的电子书籍数据的模式。该书籍数据是包含文字数据的图像数据，以书籍的方式与规定页建立关联地进行存储。此外窗口模式是指以将多个应用在一个、两个或者四个窗口内显示的方式，用于指示窗口的数目或分割方式的模式。而且，为了便于说明，此处设为仅实施对应该两个模式的处理。 
接着在步骤S2(输入处理)中，使在步骤S1中决定的图像在显示部140显示，并且从输入部160由使用者操作输入，此处通过使手指接触来接收操作输入。 
在步骤S3(识别处理)中，根据在步骤S2中接收的操作输入，识别对应的处理命令，使与识别的处理命令对应的图像显示在显示部140。 
在步骤S4中，根据使用者给予装置的停止指示或者经过规定时间后进行的睡眠处理等，来判断是否结束各种处理，未结束的情况下，处理回到步骤S2进行反复处理(S4→S2→S3→S4)，处理结束的情况下，便携式信息终端10暂时结束处理，一般在由使用者给出装置起动的指示时，上述处理再次开始。 
<3.便携式信息终端的输入处理动作> 
接着，针对通过便携式信息终端10的输入处理(步骤S2)的动作进行详细的说明。图5是表示该输入处理(步骤S2)的详细的流程的流程图。 
在该图5所示的步骤S21中，控制部100判定手指是否在与预先决定的位置对应的固定坐标处按下。具体而言，控制部100比较判定由输入部160接受的坐标群是否包含固定坐标区域内的坐标。以下，参照图6和图7，说明该固定坐标区域。 
图6是表示便携式信息终端的显示与使用者的左手拇指的位置关系的附图，图7是表示设置于其左手拇指附近的固定坐标区域的附图。如上述，本便携式信息终端10，其中央部的下方附近部分被使用者的非好使的手(此处为了说明方便设为左手)的拇指按压，而且其背侧附近被其他的手指按压，由此能由使用者的单手自然地把持。图6中表示该左手拇指Ftl。另外，理所当然地也可以由好使的手或义肢把持。 
此外如图7所示，在该左显示部14a和右显示部14b的邻接边的下方部分设置固定坐标区域16。在该固定坐标区域16内包含多个能检测被输入部160按压的位置的坐标的检测点Ps。它们之中，实际上与被按压的位置的坐标对应的检测点Ps用画有斜线的圆圈表示。与这些画有斜线的圆圈对应的坐标是由输入部160接受的坐标群的一部分或者全部，控制部100判定这些坐标群与固定坐标区域内的坐标是否重 复一个以上(为了防止误检测，为两个或者两个以上的规定数以上)。另外，上述那样的判定在固定坐标区域内是否有与左手拇指的位置对应的坐标的手法是一个例子，可以用周知的任何手法来判定。 
在步骤S21中，控制部100以上述方式判定手指是否在固定坐标落下，在判定手指落下的情况下(步骤S21中Yes情况)，成为后述的能接受命令的状态(以下，也称为“接受命令状态”)，处理前进到步骤S23。此外，在判定手指没落下的情况下(步骤S21中No的情况)，成为后述的不能接受命令的状态(以下，也称为“非接受命令状态”)并且该输入处理结束且恢复到图4所示的处理。另外，在该情况下，也可以是识别后述的手势以外的手势并进行与识别的手势对应的(后述的命令以外的)命令处理的结构。 
此外，在非接受命令状态中，不需要进行在接受命令状态中要进行的相关的处理，因此为了使在触摸面板161中进行检测的X坐标传感器163和Y坐标传感器162的驱动频率(传感器数据读出频率)变低(例如，每60帧进行检测等)，或者在使用光传感器的情况下使光源的驱动频率变低，不进行固定坐标区域外的传感器数据读出或通过坐标处理部165b的数据处理等，优选以使传感器驱动用的电力或用于数据处理的电力的消耗降低的方式驱动传感器或者处理数据。另外，若变化到上述接受命令状态，则这些驱动或者处理恢复到通常状态。 
而且，也可以为以下的结构：固定坐标区域外的坐标用触摸面板161检测，固定坐标区域内的坐标以与触摸面板161不同的单一电极的电阻膜方式的(单式)触摸传感器或机械式传感器等检测，仅成为非接受命令状态时上述触摸面板161的动作完全停止。这样的话就能使在非接受命令状态的电力消耗量降低。 
接着，在步骤S23中，控制部100判定手指是否在固定坐标区域16以外的地方落下。具体而言，控制部100比较判定在通过输入部160的接受坐标群中是否包含固定坐标区域16以外的坐标。其结果是，在判定为还有其他的手指落下的情况下(步骤S23中Yes的情况)，处理前进到步骤S25。此外，在判定为其他的手指没落下的情况下(步骤S23中No的情况)，使起点坐标和终点坐标初始化(步骤S24)，该输入处理结束并恢复到图4所示的处理。而且，在上述判定中，为了防 止误检测，优选与上述同样地比较判定固定坐标区域16以外的坐标是否包含两个或者两个以上的规定数以上。 
接着，在步骤S25中，控制部100将输入部160所接受的坐标群之中的固定坐标区域16以外的坐标(在具有多个的情况下，设为任意一个或接近的坐标群的平均坐标)作为起点坐标(X1，Y1)存储到存储部120，并且开始后述的手势识别所需要的经过时间的测定。另外，该手势通常意味着因使用者的手指在显示部上移动而产生的坐标的时间序列的变化的形态，但是此处还包含因在规定时间、规定的坐标不动而使坐标不产生变化的形态。 
接着，在步骤S27中，控制部100判定手指是否从固定坐标区域16以外的地方抬起或者是否经过了规定时间。具体而言，控制部100比较判定以下任一个条件是否成立：是否成为在通过输入部160的接受坐标群中不包含固定坐标区域16以外的坐标的状态；或者是否经过了规定时间。其结果是，在判定为上述其他的手指抬起或者经过规定时间的情况下(步骤S27中Yes的情况)，处理前进到步骤S29。此外，在判定为上述其他的手指没抬起的情况且没经过规定时间的情况下(步骤S25中No的情况)，直到判定为上述其他的手指抬起或者经过规定时间的该处理(S27)被反复进行。 
而且，若是用于一般性的超时处理的时间，则上述规定时间设定为作为通常的手势不成立的程度的长时间，但此处的上述规定时间与输入坐标对应地设定。具体而言，在输入坐标(在规定范围内)不变的情况下，设定为短时间(例如1秒左右)，若经过该时间则前进到后续处理。另外，在输入坐标在与后述的连续翻页动作关联的规定的坐标范围内(具体而言后述的图15所示的规定范围33a，33b)的情况下，也可以设定有上述短的时间，并且以若经过该时间则前进到后续的处理的方式构成。在这种情况下，由于能够指定用于后述连续翻页动作的坐标，因此优选以短时间前进到识别处理(步骤S3)。而且，当多次经过上述规定时间时，更加短的时间(例如0.2秒左右)被设定，结果是可以设定为使连续翻页动作的速度提高。 
另外，上述反复处理可以由规定的中继处理等解除并前进到步骤S29的处理。此外，在上述判定中，为了防止误检测，优选与上述同样 地比较判定是否不含有固定坐标区域16以外的坐标或者是否含有两个或两个以上的规定数以下。 
接着，在步骤S29中，控制部100将刚通过输入部160接受到的坐标群之中的固定坐标区域16以外的坐标(在有多个的情况下，为任意一个或者接近的坐标群的平均坐标)作为终点坐标(X2，Y2)存储在存储部120，并且使经过时间的测定结束。而且具体而言，控制部100若将在步骤S27中通过输入部160接受的坐标群之中的固定坐标区域16以外的坐标(在有多个的情况下，为任意一个或者接近的坐标群的平均坐标)作为终点坐标(X2，Y2)继续存储在存储部120，则能将手指即将抬起之前时的坐标作为终点坐标进行存储。之后，该输入处理结束并恢复到图4所示的处理。 
<4.便携式信息终端的识别处理动作> 
<4.1识别处理的整体的流程> 
接着，针对便携式信息终端10的识别处理(步骤S3)的动作进行详细说明。图8是表示该识别处理(步骤S3)的详细流程的流程图。 
在图8所示的步骤S31中，控制部100判定使用者是否选择读书模式。其结果是，在判定为读书模式的情况下(在步骤S31中Yes的情况)实施步骤S33的读书处理。此外，在判定为不是读书模式的情况下(在步骤S31中No的情况)实施步骤S35的窗口处理。这些处理结束后，本识别处理结束并恢复到图4所示的处理。 
另外，如上所述，此处为了便于说明，设定为只能进行读书模式和窗口模式两种处理的装置，但是实际上能进行周知的各种处理。接着，针对读书模式中的读书处理进行详细说明。 
<4.2读书模式中的读书处理动作> 
图9是表示读书处理(步骤S33)的详细流程的流程图。在图9所示的步骤S331中，控制部100判定在上述的图5所示的步骤S25中得到的起点坐标(X1，Y1)是否在显示部中央上部的规定区域的范围内。 
图10是表示该显示部中央上部的规定区域的图。如图10所示，当(一般地)用右食指Ffr按压显示部的中央上部时，与被按压的位置对应的坐标作为起点坐标(X1，Y1)被存储。此处将右食指Ffr按压在上述中央上部的规定区域31的范围内，因此在上述步骤S331中，起点坐标(X1，Y1)被判定为在该规定区域31的范围内。 
上述判定的结果是，在判定为在规定区域31的范围内的情况下(步骤S331中Yes的情况)，处理前进到步骤S332，在判定为不在范围内的情况下(步骤S331中No的情况)，处理前进到步骤S334。 
接着，在步骤S332中，控制部100判定在上述的图5所示的步骤S29中得到的终点坐标(X2，Y2)是否在显示部中央下部的规定区域的范围内。 
图11是表示该显示部中央下部的规定区域的附图。如图10所示，用右食指Ffr按压显示部的中央上部后，如图11所示使右食指Ffr在显示部的中央下部离开时，与使手指抬起的位置对应的坐标作为终点坐标(X2，Y2)被存储。此处由于使右食指Ffr在上述中央下部的规定区域32范围内抬起(从显示部离开)，因此在上述步骤S332中，终点坐标(X2，Y2)被判定为在该规定区域32的范围内。 
上述判定的结果是，在判定为在规定区域32的范围内的情况下(步骤S332中Yes的情况)，处理前进到步骤S333，在判定为不在范围内的情况下(步骤S332中No的情况)，本读书处理结束并恢复到图8的处理(另外图4的处理)。 
接着，在步骤S333(添加书签处理)中，通过上述步骤S331、S332能判定输入作为使用者执行书签处理的命令的手势，因此能进行图12所示那样的添加书签处理。 
图12是表示能实施添加书签处理时显示的画面例子的附图。如图12所示，从左显示部14a到右显示部14b在画面上部显示的书签部333中记载有多个字母，这些字母相对于一个书签。即，用右食指Ffr接触书签部333的记载为“N”的位置时，与现在左显示部14a和右显示部14b显示的书籍数据对应的图像的页数与书签“N”相关联地存储到存储部120。与该书签关联的信息即使装置的动作结束也被存储，经过适宜的时间并再次想阅览上述页的图像时，通过从与图12类似的未图示的书签呼出画面选择书签“N”，使用者能不输入对应书籍数据的图像的页编号等地直接呼出所希望的图像。 
这样，用右手食指从画面中央部上方(的规定区域31)向画面中央部下方(的规定区域32)触摸画面地移动时，能像将书签夹在显示的2页之间一样地存储该页，因此使用者能通过直观的操作来简单地进行添加书签处理。 
接着，在图9所示的步骤S334中，控制部100判定是否是起点坐标(X1，Y1)与终点坐标(X2，Y2)不同的画面。即判定起点坐标(X1，Y1)和终点坐标(X2，Y2)中任一方是否为左显示部14a内的坐标，另一方是否为右显示部14b内的坐标。该判定是判定是否输入了例如右食指从左显示部14a向右显示部14b或者向其反方向移动的手势。下面，参照图13和图14具体地进行说明。 
图13是表示输入右食指从左画面向右画面移动的手势时的例子的附图，图14是表示输入右食指从右画面向左画面移动的手势时的例子的附图。 
在图13中，(在过去的时刻的)因为由右食指Ffr’按压左显示部14a，所以与按压的位置对应的坐标作为起点坐标(X1，Y1)被存储。之后，(在现在时刻的)因为右食指Ffr从右显示部14b抬起，所以与该抬起的位置对应的坐标作为终点坐标(X2，Y2)被存储。此外在图14中，进行与其相反方向的手势。由此在该情况下，被存储的起点坐标和终点坐标与图13的情况相反。 
在上述步骤S334中，判定为进行了作为上述那样的翻页命令的手势时(步骤S334中Yes的情况)，处理前进到步骤S336，决定翻页方向。例如在起点坐标比终点坐标更小的情况下(X1＜X2)，能识别为进行从左向右翻页的手势，因此将翻页方向决定为顺方向。之后处理前进到步骤S337。另外，当判定为没有进行上述那样的翻页手势时(步骤S334中No的情况)，处理前进到步骤S335。 
接着，在步骤S335中，控制部100判定起点坐标(X1，Y1)和终点坐标(X2，Y2)是否一同在用于指示连续翻页的规定位置上。该判定是判定是否输入例如用右拇指以规定时间按压(静态的)右显示部14b的右端部附近的手势。以下，参照图15具体地进行说明。 
图15是表示输入用右拇指按压右画面的右端部附近的手势时的例子的附图。在图15中，因为用右拇指Ftr按压设定于右显示部14b的右端部附近的用于指示连续翻页的规定区域33b，因此与按压的位置对 应的坐标作为起点坐标(X1，Y1)被存储。之后，就这样规定时间经过后也继续按压规定区域33b时，即使右拇指Ftr不抬起与该位置对应的坐标也作为终点坐标(X2，Y2)被存储。 
即在图5所示的步骤S27中如上述，在输入坐标(在规定范围内)不变的情况下，设定短的时间(例如1秒左右)作为上述规定时间，若经过该时间则进行继续的步骤S29的处理，终点坐标(X2，Y2)被存储。因而，若持续按压上述规定区域33b，则在每段短的上述规定时间(例如1秒)，包含本步骤S335和后述的步骤S337的处理的各处理反复进行，即向顺方向反复进行翻页处理。此外，图15所示的规定区域33a被例如右手食指Ffr持续按压时，向与上述相反的方向反复进行翻页处理。 
在上述步骤S335中，判定为输入上述那样的作为连续地翻页的命令的静态的手势时(步骤S335中Yes的情况)，处理前进到步骤S336，以决定翻页方向。例如在右显示部14b的规定区域33b被按压的情况下能识别进行有从左向右翻页的静态手势，因此将翻页方向决定为顺方向。之后处理向步骤前进到S337。此外，判定为没进行上述那样的连续地翻页的手势时(步骤S335中No的情况)，结果(也包含起点坐标和终点坐标被初始化的情况)可以说没有输入与读书处理关联的命令，因此本读书处理结束并恢复到图8的处理(并且图4的处理)。 
接着在步骤S337中，根据步骤S335决定的翻页方向，将从现在的页数起增加或减少两页的页数所对应的图像分别显示在左显示部14a和右显示部14b。而且本读书处理结束并恢复到图8的处理(并且图4的处理)。 
另外，根据上述翻页方向增加或者减少的页数通常为两页，但也可以构成为该数值能够适当地由使用者决定。此外例如，也可以构成为：根据起点坐标与终点坐标的距离或其位置关系或者从起点坐标的输入到终点坐标的输入的经过时间等，翻的页数适当地发生变化。例如，考虑的结构有：从起点坐标到终点坐标的距离越长能翻的页数越大，或上述经过时间越短(即越迅速地进行手势)翻的页数越大。接着，针对窗口模式的窗口处理进行详细说明。 
<4.3窗口模式的窗口处理动作> 
图16是表示窗口处理(步骤S35)的详细流程的流程图。在图16所示的步骤S351中，控制部100根据在上述的图5所示的步骤S25中得到的起点坐标(X1，Y1)和终点坐标(X2，Y2)，判定由使用者输入的手势是否与用于实施预先决定的窗口处理的命令对应的手势一致。从现在的窗口使其形态、具体而言使窗口的数目增减，或者使窗口的分割形态(此处是纵向分割或横向分割)变化，与以上的命令对应地预先设定该手势。参照图17说明该手势与窗口的形态变化的关系。 
图17是表示窗口的形态变化与预先决定的手势的关系的附图。如图17所示，窗口的形态被定为四个，通过左显示部14a和右显示部14b，(外表上的)一个画面成为在中央分割为左右的(纵向分割的)纵向的两个画面、在中央分割为上下的(横向分割的)横向的两个画面、和分割为上下左右的四个画面的形态。从这些之中的某种窗口形态向其他的窗口形态的变化，用箭头表示，在该箭头附近简单地图示作为指示该窗口形态的变化(变更)的命令而定的手势。 
这些手势由以下构成：以画面中央上部为起点坐标的手势A1～A3、以画面中央下部为起点坐标的手势B1、以画面左端中央部为起点坐标的手势C1和C2、以画面右端中央部为起点坐标的D1和D2、以从画面中央部沿着左右方向的部分为起点坐标的E1和E2、以画面中央部为起点坐标的F1～F4。此外图17中，记载有以画面中央部为起点坐标、以画面左端中央部为中间点坐标、以画面右端中央部为终点坐标的手势A3’，但是此处为了便于说明省略中间坐标的识别，将手势A3’与手势A3相同看待。当然，为了正确地识别该手势A3’，通过连续地检测右手食指Ffr从压下到抬起之间的上述中间点坐标，也可以判定在画面左端中央部的规定区域内是否包含上述中间点坐标。 
另外，这些手势是以使用者直观地易于把持的方式想出的形态，但这些是示例，只要是使用者易于理解或者易于记住的形态无论哪一种都行。而且，此处为了便于说明将窗口的分割数定位1(非分割)、2或者4，但分割数没有限定，窗口的分割形态可以是横向地分割为四个，或分割为周知的特殊形状等的任何一种分割形态。 
此处，例如为了使窗口从一个画面变化为纵向两个画面，只要实施以画面中央上部为起点坐标、以画面中央下部为终点坐标的手势A1 即可。另外，与用于执行上述的书签处理的手势大致相同，如在图8的步骤S31中说明那样，当(由使用者选择的动作模式)读书模式时，作为读书处理，上述手势被识别为用于实施书签处理的手势，当不是读书模式时，作为窗口处理上述手势被识别为用于使窗口的形态变化的手势。 
此外，为了使窗口从纵向两个画面变化为横向两个画面，如图17所示实施手势A2、A3即可，为了使窗口从横两个画面变化为一个画面，如图17所示实施手势E1、E2即可。 
此外，例如为了使窗口从四个画面变化为一个画面，实施以画面中央部为起点坐标并以画面左上端部附近为终点坐标的手势F3、或者实施以画面中央部为起点坐标并因持续按压规定时间而以相同位置为终点坐标的手势F4即可。另外，此处手势F3包含以画面中央部为起点坐标并以画面右上端部附近、右下端部附近、或者左下端部附近为终点坐标的手势。此外，针对用于使其变化为其他的窗口形态的手势，只要参照图17就明白，因此省略详细的说明。 
这样在图16所示的步骤S351中，控制部100判定是否与上述图17所示的手势一致，当其结果是不一致时(步骤S351中No的情况)不输入与实施窗口处理的命令对应的手势，因此本窗口处理结束并恢复到图8的处理(而且图4的处理)。此外，在一致时(步骤S351中Yes的情况)前进到步骤S353的处理。 
在步骤S353中，控制部100判定与该输入的手势对应的命令处理是否能从现在的窗口形态执行。其结果是，在不能执行的情况下(步骤S353中No的情况)，例如当一个画面时输入手势F1的话，没有能变化(变更)的窗口形态，对应的处理命令(此处从纵向两个画面向一个画面的变化处理，或者从横向两个画面向四个画面的变化处理)是不能执行的，因此本处理结束，在能够执行的情况下(步骤S353中Yes的情况)，根据与手势对应的处理命令改变窗口的形态(步骤S355)，此后本窗口处理结束并恢复到图8的处理(或者图4的处理)。 
<5.效果> 
如以上所述，在本实施方式中，在能以单手把持的程度的小型便携式显示装置中，用把持该装置的单手的拇指按压两个画面的中央附 近的固定坐标位置时成为接受手势的状态，一般地接受用于通过利用另一方的手指输入的规定手势来实施读书处理或窗口处理的命令，因此，当把持两个画面的便携式显示装置时，成为简单且自然地接受命令状态，并能进行手势识别，并且在不把持便携式显示装置时，成为非接受命令状态，并能防止因不经意地接触显示画面等而误执行命令。这样本实施方式的便携式显示装置能实现适合两个画面的显示的操作输入用界面(interference)。 
<6.变形例> 
在上述实施方式中，显示与实施添加书签处理、翻页处理、窗口处理等的命令对应的各种手势，但这些是示例，在输入的坐标不包含上述固定坐标区域内的坐标的情况下，成为非接受命令状态，在包含的情况下，若成为接受命令状态，则根据时间序列与输入坐标建立关联，因此可以是作为关联的两个以上的坐标的变化形态而被识别的任何手势，为了与这些手势对应而预先存储的处理命令也可以是能在便携式显示装置中执行的任何处理。例如，可以进行的动作有：若实施用把持该装置的单手的拇指按压两个画面的中央附近的固定坐标位置，并且实施将另一个手的拇指和食指放在右显示部14b上并进行扩展的手势，或将另一方的手指从右显示部14b的左下向右上移动的手势，则能执行将在右显示部14b显示的图像扩大显示的命令，或者与其相反，若实施用把持该装置的单手的拇指按压两个画面的中央附近的固定坐标位置，并且实施将另一个手的拇指和食指放在右显示部14b上并进行缩小的手势，或使另一方的手指从右显示部14b的右上向左下移动的手势，则能执行将在右显示部14b显示的图像缩小显示的命令。 
在上述实施方式中，说明有用把持本便携式显示装置的单手的拇指按压两个画面的中央附近的固定坐标位置。这是因为一般以两个画面的中央附近最易于把持的方式构成。但是，可能存在使用者感到易于把持的位置与此不同的情况，因此也考虑有通过在该装置安装付属品等来对一般易于把持的位置进行变化的情况。因此，上述固定坐标位置可以是与两个画面的中央附近相离的规定位置，例如能变更到左显示部14a的左端中央附近等。 
在上述实施方式中，说明有在输入处理(S2)结束后实施识别处理(S3)的结构，但这样的处理流程(也包含其他的处理流程)只是用于便于说明的示例，可以对它们一体地进行实施，也可以采用进行事件驱动型的处理等的周知的处理过程。 
在上述实施方式中，手势的种类和与各手势对应的命令(处理内容)被预先固定地存储，但是该对应关系可以按照由使用者或者根据应用能自由地设定的方式构成。 
在上述实施方式中，举例说明了具有两个画面的便携式显示装置，即使是具有三个以上画面的装置，只要是能对它们之中的邻接的两个画面实施上述手势的结构就好。 
在上述实施方式中，终点坐标成为手指离开瞬间的位置，但是终点坐标的判定也可以按照手指从显示部离开规定时间时进行确定的方式构成。这样，例如在左显示部14a和右显示部14b稍微向内折叠地折弯的状态下输入过渡到两个画面的手势的情况下，即使是在中央附近手指一瞬离开的情况，终点坐标也成为最后手指(上述规定时间以上)离开的位置，因此能识别为整体连续的手势。 
在上述实施方式中，根据起点坐标和终点坐标(和经过时间)实施手势的识别，但也能使用周知的各种手势识别方法。例如能使用：通过周知的图案识别手势的结构、或进行规定的矢量运算的结构、根据在每单位时间存储的关联的(连续的)坐标群的变化而判断是否符合上述手势中任一个的结构等。 
在上述实施方式中，在左显示部14a和右显示部14b之间没有缝隙(无缝)，此外也可以空出某程度的间隔。但是，优选的构造是：典型的能用拇指按压该间隔，且需要能检测该状态，此外如上所述能在左右画面移动手势的程度并且物高低差。 
在上述实施方式中，表示有在便携式信息终端中实施上述那样的手势识别的例子，但若是可由使用者把持的便携式显示装置，则能在移动电话、电子手册、电子字典、电子书籍终端、移动式互联网终端等的周知的装置中实施。 
产业上的可利用性 
本发明适用于例如具备触摸面板的便携式的显示装置，且适用于具备两个画面的显示部和检测相对于该显示部接近或接触或者按压的坐标的触摸面板的便携式显示装置。 
符号说明 
10  便携式信息终端 
14a 左画面 
14b 右画面 
16  固定坐标区域 
100 控制部 
140 显示部 
141 液晶面板 
160 输入部 
161 触摸面板 
Ftl 左手拇指 
Ffr 右手食指 
Ps  检测点 
P   手势识别程序 

Claims (11)

1.一种便携式显示装置，其特征在于：
其是能由使用者把持的便携式显示装置，其包括：
分别在相邻的两个画面显示图像的显示部；
输入部，其能取得两个以上的由所述使用者接近、接触或者按压的所述显示部上的坐标；和
手势识别部，其通过使由所述输入部取得的被接近、接触或者按压的所述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令，
所述手势识别部，在由所述输入部取得的坐标不包含规定的固定坐标的情况下，成为不识别并执行所述处理命令的非接受状态，在由所述输入部取得的坐标包含所述固定坐标的情况下，成为能识别所述处理命令的接受状态。
2.如权利要求1所述的便携式显示装置，其特征在于：
所述手势识别部，基于所述两个画面相邻的部分或者该部分附近的预先确定的固定坐标，执行所述处理命令。
3.如权利要求1所述的便携式显示装置，其特征在于：
所述输入部，取得作为与把持该便携式显示装置的所述使用者的一方的手指的位置对应的所述显示部上的坐标的与适于由所述使用者的一方的手指把持的位置对应的坐标，作为所述固定坐标，并且取得与所述使用者的另一方的手指的位置对应的所述显示部上的坐标，作为所述关联的两个以上的坐标。
4.如权利要求1所述的便携式显示装置，其特征在于：
所述显示部，能按照所述两个画面以所述两个画面相邻的边或者该边附近作为谷折线而相对的方式折叠，
所述手势识别部，基于包含所述谷折线上或者所述谷折线附近的坐标的固定坐标，执行所述处理命令。
5.如权利要求1所述的便携式显示装置，其特征在于：
所述手势识别部，在所述关联的两个以上的坐标是从所述两个画面的一方向另一方移动的变化形态的情况下，识别为与该变化形态对应的规定的页输送命令并执行，
所述显示部，将分别与规定页对应的两个图像以双联页的形式显示在所述两个画面，并且在由所述手势识别部执行所述页输送命令的情况下，显示与根据所述变化形态增加或者减少规定数量后的页对应的图像。
6.如权利要求1所述的便携式显示装置，其特征在于：
所述手势识别部，在离开所述固定坐标规定距离的所述两个画面的外周附近的预先确定的坐标，连续规定期间包含于由所述输入部取得的坐标中的情况下，在所述期间中识别为规定的页输送命令并执行，
所述显示部，将分别与规定页对应的两个图像以双联页的形式显示在所述两个画面，并且在由所述手势识别部识别所述页输送命令的情况下，显示与在所述期间中与以规定的时间间隔增加或者减少规定数量后的页对应的图像。
7.如权利要求1所述的便携式显示装置，其特征在于：
所述显示部，将分别与规定页对应的两个图像以双联页的形式显示在所述两个画面，
所述手势识别部，在所述关联的两个以上的坐标从所述两个画面相邻的部分或者该部分附近的所述画面端部附近向中央附近移动的变化形态的情况下，识别为规定的添加书签命令，并存储与由所述显示部显示的图像对应的页。
8.如权利要求1所述的便携式显示装置，其特征在于：
所述手势识别部，在所述关联的两个以上的坐标从所述两个画面中的一个以上的四边形的显示用窗口的周围四个边之中的一边附近向另一边附近移动的变化形态的情况下，识别为与该变化形态对应的规定的窗口形态变更命令并执行，
所述显示部，在由所述手势识别部执行所述窗口形态变更命令的情况下，根据所述变化形态变更所述窗口的分割数或者分割形态，并以被变更后的形态将图像显示在所述窗口内。
9.如权利要求1所述的便携式显示装置，其特征在于：
所述手势识别部，在由所述输入部取得的坐标不包含所述两个画面相邻的部分或者该部分附近的预先确定的多个固定坐标之中的规定数量的固定坐标的情况下，成为不识别并执行所述处理命令的非接受状态，在由所述输入部取得的坐标包含所述规定数量的固定坐标的情况下，成为能识别所述处理命令的接受状态。
10.如权利要求1所述的便携式显示装置，其特征在于：
所述输入部，在所述手势识别部为所述非接受状态的期间中，通过实施以下动作的至少一个，来取得所述坐标：将要取得的所述显示部上的坐标的范围限定在所述固定坐标或者所述固定坐标附近；或者将要取得所述显示部上的坐标的时间间隔设定得比所述手势识别部为所述接受状态的期间中的该时间间隔更长。
11.一种便携式显示装置的控制方法，其特征在于：
该便携式显示装置具备在相邻的两个画面分别显示图像的显示部并能由使用者把持，该便携式显示装置的控制方法，其包括：
取得两个以上的由所述使用者接近、接触或者按压的所述显示部上的坐标的输入步骤；和
通过使在所述输入步骤中取得的被接近、接触或者按压的所述显示部上的坐标根据时间序列建立关联，识别并执行与关联的两个以上的坐标的变化形态对应的预先存储的处理命令的手势识别步骤，
在所述手势识别步骤中，当在所述输入步骤中取得的坐标不包含所述两个画面相邻的部分或者该部分附近的预先确定的固定坐标的情况下，成为不识别并执行所述处理命令的非接受状态，当在所述输入步骤中取得的坐标包含所述固定坐标的情况下，成为能识别所述处理命令的接受状态。
CN201080026664.5A 2009-07-30 2010-03-19 便携式显示装置和其控制方法 Expired - Fee Related CN102473043B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-177320 2009-07-30
JP2009177320 2009-07-30
PCT/JP2010/054808 WO2011013400A1 (ja) 2009-07-30 2010-03-19 携帯型表示装置およびその制御方法、プログラム、記録媒体

Publications (2)

Publication Number Publication Date
CN102473043A CN102473043A (zh) 2012-05-23
CN102473043B true CN102473043B (zh) 2014-11-26

Family

ID=43529067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080026664.5A Expired - Fee Related CN102473043B (zh) 2009-07-30 2010-03-19 便携式显示装置和其控制方法

Country Status (7)

Country Link
US (1) US8669955B2 (zh)
EP (1) EP2461237B1 (zh)
JP (1) JP5284473B2 (zh)
CN (1) CN102473043B (zh)
BR (1) BR112012001334A2 (zh)
RU (1) RU2501066C2 (zh)
WO (1) WO2011013400A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743632B1 (ko) 2010-10-01 2017-06-07 삼성전자주식회사 휴대용 단말기에서 전자책 페이지 넘김 장치 및 방법
EP2437151B1 (en) 2010-10-01 2020-07-08 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
EP2437153A3 (en) * 2010-10-01 2016-10-05 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
US9678572B2 (en) 2010-10-01 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
US9360959B2 (en) * 2010-10-12 2016-06-07 Tactonic Technologies, Llc Fusing depth and pressure imaging to provide object identification for multi-touch surfaces
US8997025B2 (en) * 2010-11-24 2015-03-31 Fuji Xerox Co., Ltd. Method, system and computer readable medium for document visualization with interactive folding gesture technique on a multi-touch display
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
KR101842906B1 (ko) 2011-02-10 2018-05-15 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법
KR101802522B1 (ko) * 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
KR101964843B1 (ko) * 2011-02-10 2019-04-03 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법
EP3734404A1 (en) 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
KR20120091975A (ko) 2011-02-10 2012-08-20 삼성전자주식회사 적어도 두 개의 터치 스크린을 포함하는 정보 표시 장치 및 그의 정보 표시 방법
JP5580227B2 (ja) * 2011-02-24 2014-08-27 京セラ株式会社 携帯端末装置
JP2012212230A (ja) * 2011-03-30 2012-11-01 Toshiba Corp 電子機器
JP5834512B2 (ja) * 2011-06-13 2015-12-24 カシオ計算機株式会社 情報表示装置及びプログラム
JP5344651B2 (ja) * 2011-07-29 2013-11-20 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム、および情報処理システム
JP5806573B2 (ja) * 2011-09-28 2015-11-10 キヤノン株式会社 座標入力装置およびその制御方法、座標入力システム
WO2013051052A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 情報表示装置、情報表示方法及び情報表示プログラム
US8760423B2 (en) 2011-10-28 2014-06-24 Nintendo Co., Ltd. Computer-readable storage medium, information processing apparatus, information processing system, and information processing method
EP2587348B1 (en) * 2011-10-28 2020-12-02 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US8773382B2 (en) 2011-10-28 2014-07-08 Nintendo Co., Ltd. Computer-readable storage medium, coordinate processing apparatus, coordinate processing system, and coordinate processing method
JP5827870B2 (ja) 2011-10-28 2015-12-02 任天堂株式会社 座標処理プログラム、座標処理装置、座標処理システムおよび座標処理方法
JP5974350B2 (ja) * 2011-11-24 2016-08-23 セイコーエプソン株式会社 表示装置、表示装置の制御方法及び制御装置
US9645733B2 (en) * 2011-12-06 2017-05-09 Google Inc. Mechanism for switching between document viewing windows
US20130222276A1 (en) * 2012-02-29 2013-08-29 Lg Electronics Inc. Electronic device and method for controlling electronic device
JP2013235359A (ja) * 2012-05-08 2013-11-21 Tokai Rika Co Ltd 情報処理装置及び入力装置
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
JP6034161B2 (ja) * 2012-11-29 2016-11-30 シナプティクス・ジャパン合同会社 半導体装置及び電子機器
US9030430B2 (en) * 2012-12-14 2015-05-12 Barnesandnoble.Com Llc Multi-touch navigation mode
CN107608508B (zh) * 2012-12-19 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
WO2014101116A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation Responding to user input gestures
US9836154B2 (en) 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
JP6070228B2 (ja) 2013-02-01 2017-02-01 コニカミノルタ株式会社 超音波画像診断装置
US9019223B2 (en) * 2013-03-13 2015-04-28 Adobe Systems Incorporated Touch input layout configuration
WO2014181774A1 (ja) * 2013-05-08 2014-11-13 アルプス電気株式会社 入力装置
US9927840B2 (en) * 2013-06-21 2018-03-27 Semiconductor Energy Laboratory Co., Ltd. Information processor for processing and displaying image data on a bendable display unit
JP5751655B1 (ja) * 2013-07-17 2015-07-22 株式会社Ｌｅｏｎｉｓ＆Ｃｏ． 電子チケットの消し込み方法およびプログラム
JP6196101B2 (ja) * 2013-09-02 2017-09-13 株式会社東芝 情報処理装置、方法およびプログラム
CN104601767A (zh) * 2013-10-31 2015-05-06 深圳富泰宏精密工业有限公司 手机拨号键盘管理方法及系统
CN105706028B (zh) 2013-11-19 2018-05-29 麦克赛尔株式会社 投影型影像显示装置
TWI526916B (zh) * 2013-12-31 2016-03-21 Egalax Empia Technology Inc Multi-touch screen device and multi-touch screen adjacent junction detection method
JP6464576B2 (ja) * 2014-06-04 2019-02-06 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
KR102218041B1 (ko) * 2014-06-17 2021-02-19 엘지전자 주식회사 이동 단말기
CN107077284B (zh) * 2014-09-26 2020-07-14 夏普株式会社 把持方式判断装置
KR102339839B1 (ko) 2014-12-26 2021-12-15 삼성전자주식회사 제스처 입력 처리 방법 및 장치
KR102320770B1 (ko) * 2015-01-20 2021-11-02 삼성디스플레이 주식회사 표시장치의 터치 인식방법 및 이를 이용한 표시장치
JP2016161869A (ja) * 2015-03-04 2016-09-05 セイコーエプソン株式会社 表示装置及び表示制御方法
CN104917891B (zh) * 2015-05-29 2018-08-07 努比亚技术有限公司 一种移动终端及其翻页控制方法
US10055120B2 (en) 2015-07-07 2018-08-21 International Business Machines Corporation Managing content displayed on a touch screen enabled device using gestures
JP2017142656A (ja) * 2016-02-10 2017-08-17 株式会社Ｎｔｔドコモ 情報処理装置
JP6314177B2 (ja) * 2016-07-13 2018-04-18 マクセル株式会社 投射型映像表示装置
CN109782981A (zh) * 2018-12-25 2019-05-21 北京字节跳动网络技术有限公司 一种页面跳转触发方法、装置和计算机存储介质
EP3835924A1 (en) * 2019-12-13 2021-06-16 Treye Tech UG (haftungsbeschränkt) Computer system and method for human-machine interaction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511148A (en) * 1993-04-30 1996-04-23 Xerox Corporation Interactive copying system
CN1845051A (zh) * 2005-04-06 2006-10-11 任天堂株式会社 输入坐标处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03245218A (ja) * 1990-02-22 1991-10-31 Ricoh Co Ltd デジタル式タッチパネルの押下位置検出方式
DE19741453A1 (de) * 1997-09-19 1999-03-25 Packing Gmbh Agentur Fuer Desi Digitales Buch
JP2000039964A (ja) * 1998-07-22 2000-02-08 Sharp Corp 手書き入力装置
US20040049743A1 (en) * 2000-03-31 2004-03-11 Bogward Glenn Rolus Universal digital mobile device
RU45541U1 (ru) * 2004-03-10 2005-05-10 Закрытое акционерное общество "НПО Космического Приборостроения" Двухэкранный ноутбук
JP2006029987A (ja) * 2004-07-16 2006-02-02 Alps Electric Co Ltd 静電容量式の検出装置及び方法並びに座標検出用プログラム
JP2006053678A (ja) 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
KR20080098763A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 사용자의 파지 여부에 따라 적응적으로 동작하는 영상기기및 그의 동작제어방법
EP2060970A1 (en) * 2007-11-12 2009-05-20 Research In Motion Limited User interface for touchscreen device
WO2009071123A1 (en) * 2007-12-06 2009-06-11 Nokia Corporation Power reduction for touch screens
US8385885B2 (en) * 2008-10-17 2013-02-26 Sony Ericsson Mobile Communications Ab Method of unlocking a mobile electronic device
CN101661373B (zh) * 2009-09-29 2013-02-27 中兴通讯股份有限公司 一种通过接触面型进行识别解锁的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511148A (en) * 1993-04-30 1996-04-23 Xerox Corporation Interactive copying system
CN1845051A (zh) * 2005-04-06 2006-10-11 任天堂株式会社 输入坐标处理方法

Also Published As

Publication number Publication date
US8669955B2 (en) 2014-03-11
JPWO2011013400A1 (ja) 2013-01-07
EP2461237A1 (en) 2012-06-06
RU2012107287A (ru) 2013-09-10
BR112012001334A2 (pt) 2016-03-15
JP5284473B2 (ja) 2013-09-11
US20120127109A1 (en) 2012-05-24
EP2461237B1 (en) 2020-06-24
CN102473043A (zh) 2012-05-23
WO2011013400A1 (ja) 2011-02-03
RU2501066C2 (ru) 2013-12-10
EP2461237A4 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
CN102473043B (zh) 便携式显示装置和其控制方法
FI115254B (fi) Kosketusnäytön käyttäminen osoitinvälineellä
EP2369460B1 (en) Terminal device and control program thereof
US5581681A (en) Pointing gesture based computer note pad paging and scrolling interface
EP1683075B1 (en) Boxed and lined input panel
US20050237308A1 (en) Graphical functions by gestures
JP5862271B2 (ja) ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラム
WO2012114876A1 (ja) 電子機器、コンテンツ表示方法、およびコンテンツ表示プログラム
JP2007121765A (ja) 表示制御装置、表示方法、表示プログラムおよび記録媒体
JP2013505493A (ja) 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
JP5849778B2 (ja) 手書き入力装置およびプログラム
JP2014016519A (ja) 表示装置
JP2010218286A (ja) 情報処理装置およびプログラムおよび表示方法
KR101554256B1 (ko) 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
CN108351758A (zh) 用于显示多画面的电子设备及其控制方法
CN104956378A (zh) 电子设备和手写文档处理方法
US10795477B2 (en) System and method for multidimensional flexible display device input
KR20120081422A (ko) 터치 스크린을 구비한 단말기 및 그 단말기에서 터치 이벤트에 따른 문자 입력 방법
JP2010128666A (ja) 情報処理装置
JP2010113656A (ja) 手書き入力機能を有する情報処理装置
JP5380729B2 (ja) 電子機器、表示制御方法、およびプログラム
KR101229296B1 (ko) 필기인식용 터치스크린
US11435867B2 (en) Display method and electronic device using the same
KR101310515B1 (ko) 프로젝션을 이용한 문자입력방법과 장치
KR20090009184A (ko) 전자기기의 문자 입력 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141126

Termination date: 20210319

CF01 Termination of patent right due to non-payment of annual fee