CN108572727A - 输入装置、输入控制方法和记录介质 - Google Patents

输入装置、输入控制方法和记录介质 Download PDF

Info

Publication number
CN108572727A
CN108572727A CN201810170486.1A CN201810170486A CN108572727A CN 108572727 A CN108572727 A CN 108572727A CN 201810170486 A CN201810170486 A CN 201810170486A CN 108572727 A CN108572727 A CN 108572727A
Authority
CN
China
Prior art keywords
input
contact site
gripping state
input unit
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810170486.1A
Other languages
English (en)
Inventor
广井芳秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN108572727A publication Critical patent/CN108572727A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供输入装置、输入控制方法和记录介质,抑制输入装置中的可输入区域的减小,并减少误输入。在该输入装置中,具有:包含由接受触摸操作的操作面构成的操作部在内的多个操作部;接触检测部,其对操作面中的接触部进行检测;把持状态检测部,其对输入装置的把持状态进行检测;以及控制部,其对来自操作部的输入进行处理,控制部使来自检测出的接触部中的、根据检测出的把持状态而确定的接触部的输入无效。

Description

输入装置、输入控制方法和记录介质
技术领域
本发明涉及输入装置。
背景技术
公知有佩戴于头部而将图像等显示在用户的视野区域内的头部佩戴型显示装置(头戴式显示器(Head Mounted Display、HMD))。头部佩戴型显示装置例如利用投影光学系统和导光板等将利用液晶显示器和光源生成的图像光导入到用户的眼睛,从而使用户识别虚像。作为用于使用户控制头部佩戴型显示装置的输入装置,使用了具有按钮和触控板等多个操作部的控制器。通常,控制器中的触控板的占用面积比其他操作部的占用面积大。因此,例如,当要用指尖来操作按钮时,会引起如下问题:手指的根部附近不慎触碰到触控板而产生误输入。产生误输入的地方根据用户对控制器的把持方式而不同。在专利文献1中公开了如下的技术:使用设置于输入装置的侧面的传感器来判断输入装置的把持方式,根据所判断的把持方式来限制触控板的预先确定的固定区域中的输入。
专利文献1:日本特许第5970280号
但是,在专利文献1所记载的技术中,由于统一地设定输入受限制的区域,所以尽管输入中可利用的区域根据手指位置的细微差异而稍微变宽,但可输入区域会不必要地减小,输入时的使用便利性会变差。因此,例如,可能产生如下问题:无法利用使用了多个手指的多点触摸下的手势输入(例如,所谓的缩小/放大等),或者,可利用该手势输入进行放大的范围变窄。这样的课题并不限于头部佩戴型显示装置的输入装置,在具有多个操作部的输入装置中也是共有的。因此,优选能够抑制输入装置中的可输入区域的减小、并能够减少误输入的技术。
发明内容
本发明是为了解决上述课题的至少一部分而完成的,能够作为以下的方式来实现。
(1)根据本发明的一个实施方式,提供输入装置。该输入装置具有:包含由接受触摸操作的操作面构成的操作部在内的多个操作部;接触检测部,其对所述操作面中的接触部进行检测;把持状态检测部,其对所述输入装置的把持状态进行检测;以及控制部,其对来自所述操作部的输入进行处理,所述控制部使来自检测出的所述接触部中的、根据检测出的所述把持状态而确定的接触部的输入无效。
根据该方式的输入装置,具有:接触检测部,其对操作面中的接触部进行检测;以及把持状态检测部,其对输入装置的把持状态进行检测,该输入装置使来自检测出的接触部中的、根据检测出的把持状态而确定的接触部的输入无效,因此能够减少误输入,并且与无论把持状态如何都使来自规定区域的接触部的输入无效的结构相比,能够抑制可输入区域的减小。
(2)在上述方式的输入装置中,所述把持状态也可以包含所述输入装置的朝向。根据该方式的输入装置,能够使来自根据输入装置的朝向而确定的接触部的输入无效。
(3)在上述方式的输入装置中,所述把持状态也可以包含所述输入装置的把持方式。根据该方式的输入装置,能够使来自根据输入装置的把持方式而确定的接触部的输入无效。
(4)在上述方式的输入装置中,所述把持状态检测部也可以利用所述接触部的数量、所述接触部的面积和所述接触部的位置中的至少1个来检测所述把持状态。
根据该方式的输入装置,由于利用接触部的数量、接触部的面积和接触部的位置中的至少1个来检测把持状态,所以能够高精度地检测把持状态。
(5)在上述方式的输入装置中,所述把持状态也可以包含所述操作面上的单点触摸和多点触摸,所述把持状态检测部确定所述接触部中的、用于支承所述输入装置的支承接触部,并根据所述接触部中的、除了所确定的所述支承接触部之外的接触部的数量,区分所述单点触摸和所述多点触摸。
根据该方式的输入装置,确定接触部中的、用于支承输入装置的支承接触部,根据接触部中的、除了所确定的支承接触部之外的接触部的数量,区分单点触摸和多点触摸,因此能够高精度地区分单点触摸和多点触摸。
(6)在上述方式的输入装置中,还可以具有显示控制部,在所述接触部中存在被无效的输入的情况下,该显示控制部使与所述输入装置连接的显示装置进行通知显示。
根据该方式的输入装置,在接触部中存在被无效的输入的情况下,使与输入装置连接的显示装置进行通知显示,因此,使用者能够知道进行了无效的输入,从而提高便利性。
(7)在上述方式的输入装置中,所述显示装置也可以是头部佩戴型显示装置。根据该方式的输入装置,在使用者将头部佩戴型显示装置佩戴于头部而不看着操作部进行操作的情况下,能够容易地知道存在被无效的输入,能够提高使用者的便利性。
本发明也可以以各种方式实现。例如,能够通过输入装置中的输入控制方法、用于实现该输入控制方法的计算机程序、记录有该计算机程序的记录介质等方式实现。
附图说明
图1是示出作为本发明的实施方式的输入装置的概略结构的说明图。
图2是示出图像显示部所具有的光学系统的结构的主要部分俯视图。
图3是示出由使用者看到的图像显示部的主要部分结构的图。
图4是用于说明照相机的视场角的图。
图5是功能性地示出HMD的结构的框图。
图6是功能性地示出输入装置的结构的框图。
图7是示意性地示出输入装置的第1把持状态的说明图。
图8是示意性地示出输入装置的第2把持状态的说明图。
图9是示意性地示出输入装置的第3把持状态的说明图。
图10是示意性地示出输入装置的第4把持状态的说明图。
图11是示意性地示出输入装置的第5把持状态的说明图。
图12是示意性地示出输入装置的第6把持状态的说明图。
图13是示意性地示出输入装置的第7把持状态的说明图。
图14是示意性地示出输入装置的第8把持状态的说明图。
图15是示意性地示出在第1把持状态下检测的接触部的一例的说明图。
图16是示出输入接受处理的处理步骤的流程图。
图17是示出把持状态检测处理的详细处理步骤的流程图。
图18是示出输入处理的详细处理步骤的流程图。
图19是示意性地示出使根据第1把持状态而确定的输入无效的区域的说明图。
图20是示意性地示出第1把持状态下的输入处理的情形的说明图。
图21是示意性地示出使根据第3把持状态而确定的输入无效的区域的说明图。
图22是示意性地示出第3把持状态下的输入处理的情形的说明图。
图23是示意性地示出使根据第5把持状态而确定的输入无效的区域的说明图。
图24是示意性地示出第5把持状态下的输入处理的情形的说明图。
图25是示意性地示出使根据第7把持状态而确定的输入无效的区域的说明图。
图26是示意性地示出第7把持状态下的输入处理的一例的说明图。
图27是示意性地示出第7把持状态下的通知显示的一例的说明图。
标号说明
10:输入装置;12:触摸键;14:触控板;16:十字键;18:确定键;19:振动器;20:图像显示部;21:右保持部;22:右显示单元;23:左保持部;24:左显示单元;26:右导光板;27:前部框架;28:左导光板;30:头戴式耳机话筒;32:右耳机;34:左耳机;40:连接线缆;46:连接器;61:照相机;63:话筒;65:照度传感器;67:LED指示器;100:头部佩戴型显示装置;110:操作部;111:6轴传感器;113:磁传感器;115:GPS接收器;117:无线通信部;118:存储器;120:控制器基板;121:非易失性存储部;122:存储功能部;123:设定数据;124:内容数据;130:电源部;132:电池;134:电源控制电路;140:主处理器;145:图像处理部;147:显示控制部;149:摄像控制部;150:控制功能部;151:输入输出控制部;153:接触检测部;155:把持状态检测部;180:语音编解码器;182:语音接口;184:外部连接器;186:外部存储器接口;188:USB连接器;192:传感器中枢;196:接口;210:显示单元基板;211:接口;213:接收部;215:EEPROM;217:温度传感器;221:OLED单元;223:OLED面板;225:OLED驱动电路;230:显示单元基板;231:接口;233:接收部;235:6轴传感器;237:磁传感器;239:温度传感器;241:OLED单元;243:OLED面板;245:OLED驱动电路;251:右光学系统;252:左光学系统;261:半透半反镜;281:半透半反镜;AI:显示图像;EL:端部;ER:端部;En:接触部;En1:接触部;En2:接触部;IA1:输入无效区域;IA11:第1输入无效区域;IA12:第2输入无效区域;IA3:输入无效区域;IA31:第1输入无效区域;IA32:第2输入无效区域;IA5:输入无效区域;IA51:第1输入无效区域;IA52:第2输入无效区域;IA53:第3输入无效区域;IA7:输入无效区域;Ig:接触部;Ig1:接触部;Ig2:接触部;IgAr:区域;L:图像光;L1:直线;L10:直线;L2:直线;L3:直线;L4:直线;L5:直线;L6:线;L7:线;L8:线;L9:线;LD:视线;LE:左眼;OB:对象物;OL:外部光;P1:点;P2:点;P3:点;P4:点;P5:点;P6:点;RD:视线;RE:右眼;SC:外界;VR:视野;c1:接触部;c2:接触部;c3:接触部;c4:接触部;c5:接触部;lf1:左手大拇指;lf2:左手食指;lf3:左手中指;lf4:左手无名指;lf5:左手小拇指;lfb1:左手大拇指指根;lh:左手;rf1:右手大拇指;rf2:右手食指;rf3:右手中指;rf4:右手无名指;rf5:右手小拇指;rfb1:右手大拇指指根;rh:右手;t1a:接触部;t1b:接触部;t1c:接触部;t3a:接触部;t3b:接触部;t3c:接触部;t7:接触部;t7a:第1接触部;t7b:第2接触部。
具体实施方式
A.实施方式:
A1.输入装置的概略结构:
图1是示出作为本发明的实施方式的输入装置的概略结构的说明图。在图1中还示出了通过输入装置10控制的头部佩戴型显示装置100的概略结构。头部佩戴型显示装置100是佩戴于使用者的头部的显示装置,也称为头戴式显示器(Head Mounted Display、HMD)。HMD 100是在透过玻璃而看到的外界之中浮现出图像的透视型(透过型)的头部佩戴型显示装置。
HMD 100具有供使用者看到图像的图像显示部20,输入装置(控制器)10对HMD 100进行控制。
图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼镜形状。图像显示部20在支承体上具有右显示单元22、左显示单元24、右导光板26、以及左导光板28,其中,该支承体具有右保持部21、左保持部23、前部框架27。
右保持部21以及左保持部23分别从前部框架27的两端部向后方延伸,如眼镜的镜腿(边撑)那样,将图像显示部20保持于使用者的头部。这里,将前部框架27的两端部中的、在图像显示部20的佩戴状态下位于使用者右侧的端部设为端部ER,将位于使用者左侧的端部设为端部EL。右保持部21设置为从前部框架27的端部ER延伸至图像显示部20的佩戴状态下的、与使用者的右侧头部对应的位置处。左保持部23设置为从前部框架27的端部EL延伸至图像显示部20的佩戴状态下的、与使用者的左侧头部对应的位置处。
右导光板26以及左导光板28设置于前部框架27。右导光板26位于图像显示部20的佩戴状态下的使用者的右眼的眼前,使右眼看到图像。左导光板28位于图像显示部20的佩戴状态下的使用者的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端与左导光板28的一端相互连结的形状。该连结位置与图像显示部20的佩戴状态下的使用者的眉间位置对应。可以在前部框架27上的右导光板26与左导光板28的连结位置处,设置有在图像显示部20的佩戴状态下抵靠于使用者的鼻子的鼻托部。在该情况下,能够通过鼻托部、右保持部21和左保持部23将图像显示部20保持于使用者的头部。此外,可以对右保持部21以及左保持部23连结在图像显示部20的佩戴状态下与使用者的后头部接触的带。在该情况下,能够通过带将图像显示部20牢固地保持于使用者的头部。
右显示单元22进行基于右导光板26的图像显示。右显示单元22设置于右保持部21,位于图像显示部20的佩戴状态下的使用者的右侧头部的附近。左显示单元24进行基于左导光板28的图像显示。左显示单元24设置于左保持部23,位于图像显示部20的佩戴状态下的使用者的左侧头部的附近。
本实施方式的右导光板26以及左导光板28是由透光性的树脂等形成的光学部(例如棱镜),将右显示单元22以及左显示单元24输出的图像光引导至使用者的眼睛。另外,也可以在右导光板26和左导光板28的表面设置调光板。调光板是透过率根据光的波段而不同的薄板状的光学元件,作为所谓的波长滤波器而发挥功能。调光板例如被配置成将前部框架27的表面(与使用者的眼睛对置的面的相反侧的面)覆盖。通过适当选择调光板的光学特性,能够对可见光、红外光和紫部光等任意波段的光的透过率进行调整,并能够对从外部入射到右导光板26和左导光板28并透过右导光板26和左导光板28的外部光的光量进行调整。
图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28,利用该图像光令使用者与透过自身看到的外界风景一起看到图像(增强现实(Augmented Reality、AR)图像)(也将此称为“显示图像”)。在外部光从使用者的前方透过右导光板26和左导光板28入射到使用者的眼睛的情况下,构成图像的图像光和外部光入射到使用者的眼睛。因此,使用者对图像的可视性受到外部光的强度影响。
因此,例如能够通过在前部框架27上安装调光板,并适当选择或调整调光板的光学特性来调整图像被看到的容易度。在典型的例子中,可以选择如下的调光板:该调光板具有使佩戴了HMD 100的使用者至少能够看到外部景色的程度的透光性。并且,能够抑制太阳光,提高图像的可视性。并且,当使用调光板时,可以期待如下的效果:保护右导光板26和左导光板28,从而抑制右导光板26和左导光板28的损伤或污物的附着等。也可以是,调光板能够分别相对于前部框架27或右导光板26和左导光板28进行拆装。并且,可以更换多种调光板来进行拆装,也可以省略调光板。
照相机61配置于图像显示部20的前部框架27。照相机61在前部框架27的前表面上设置于不遮挡透过右导光板26以及左导光板28的外部光的位置处。在图1的例子中,照相机61配置于前部框架27的端部ER侧。照相机61也可以配置于前部框架27的端部EL侧,还可以配置于右导光板26与左导光板28的连结部。
照相机61是具有CCD、CMOS等摄像元件以及摄像镜头等的数码照相机。本实施方式的照相机61是单眼照相机,但也可以采用立体照相机。照相机61拍摄HMD 100的表侧方向(换言之,在图像显示部20的佩戴状态下使用者所看到的视野方向)的、至少一部分外界(真实空间)。换言之,照相机61拍摄与使用者的视野重叠的范围或方向,拍摄使用者所看到的方向。照相机61的视场角的宽度能够适当设定。在本实施方式中,照相机61的视场角的宽度被设定为拍摄使用者能够透过右导光板26以及左导光板28而看到的、使用者的整个视野。照相机61根据控制功能部150(图6)的控制来执行摄像,将得到的摄像数据向控制功能部150输出。
HMD 100也可以具有测距传感器,该测距传感器对到达位于预先设定的测量方向上的测量对象物的距离进行检测。测距传感器例如能够配置在前部框架27的右导光板26与左导光板28的连结部分。测距传感器的测量方向可以是HMD 100的表侧方向(与照相机61的拍摄方向重叠的方向)。测距传感器例如可以由LED或激光二极管等发光部、和接收光源所发出的光在测量对象物上反射的反射光的受光部构成。在该情况下,通过三角测距处理或基于时间差的测距处理来求出距离。测距传感器例如也可以由发出超声波的发送部、和接收在测量对象物上反射的超声波的接收部构成。在该情况下,通过基于时间差的测距处理来求出距离。测距传感器与照相机61同样,根据控制功能部150的指示来进行测距,并将检测结果向控制功能部150输出。
图2是示出图像显示部20所具有的光学系统的结构的主要部分俯视图。为了便于说明,在图2中图示出了使用者的右眼RE以及左眼LE。如图2所示,右显示单元22与左显示单元24构成为左右对称。
右显示单元22具有OLED(Organic Light Emitting Diode:有机电致发光二极管)单元221以及右光学系统251,作为使右眼RE看到图像(AR图像)的结构。OLED单元221发出图像光。右光学系统251具有透镜组等,将OLED单元221发出的图像光L引导至右导光板26。
OLED单元221具有OLED面板223以及驱动OLED面板223的OLED驱动电路225。OLED面板223是由通过有机电致发光而发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件构成的自发光型的显示面板。在OLED面板223中,以各包含1个R、G、B的元件的单位为1个像素的多个像素配置为矩阵状。
OLED驱动电路225按照后述的控制功能部150(图6)的控制来执行OLED面板223所具有的发光元件的选择以及通电,使发光元件发光。OLED驱动电路225通过粘接等固定于OLED面板223的背面、即发光面的背面侧。OLED驱动电路225例如可以由驱动OLED面板223的半导体器件构成,并安装于固定在OLED面板223的背面的基板上。在该基板上安装有后述的温度传感器217(图5)。另外,OLED面板223可以采用如下结构:将发出白色光的发光元件配置为矩阵状,并重叠配置与R、G、B的各色对应的滤色器。此外,除了分别放射R、G、B的色光的发光元件之外,也可以采用具有放射W(白)的光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部引导光的光路上形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半透半反镜261(反射面)。图像光L被半透半反镜261反射后从右导光板26向右眼RE射出,该图像光L在右眼RE的视网膜成像,由此,令使用者看到图像。
左显示单元24具有OLED单元241以及左光学系统252,作为使左眼LE看到图像(AR图像)的结构。OLED单元241发出图像光。左光学系统252具有透镜组等,将OLED单元241发出的图像光L引导至左导光板28。OLED单元241具有OLED面板243以及驱动OLED面板243的OLED驱动电路245。各部分的细节与OLED单元221、OLED面板223、OLED驱动电路225相同。在固定于OLED面板243的背面的基板上安装有温度传感器239(图5)。此外,左光学系统252的细节与上述右光学系统251相同。
根据以上说明的结构,HMD 100能够作为透视型的显示装置而发挥功能。即,被半透半反镜261反射后的图像光L以及透过右导光板26的外部光OL入射到使用者的右眼RE。被半透半反镜281反射后的图像光L以及透过左导光板28的外部光OL入射到使用者的左眼LE。这样,HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼中。其结果是,使用者能够透过右导光板26以及左导光板28而看到外界的风景(真实世界),并且与该外界重叠地看到了基于图像光L的虚像(虚像图像、AR图像)。
另外,将右光学系统251和右导光板26也统称为“右导光部”,将左光学系统252和左导光板28也统称为“左导光部”。右导光部和左导光部的结构并不限于上述的例子,只要使用图像光在使用者的眼前形成图像,则能够使用任意的方式。例如,右导光部以及左导光部可以使用衍射光栅,也可以使用半透过反射膜。
在图1中,输入装置10和图像显示部20利用连接线缆40连接。连接线缆40以能够拆装的方式与设置于输入装置10的下部的连接器连接,从左保持部23的末端连接到图像显示部20内部的各种电路。连接线缆40具有传输数字数据的金属线缆或光纤线缆。连接线缆40还可以包含传输模拟数据的金属线缆。在连接线缆40的中途设置有连接器46。
连接器46是连接立体声迷你插头的插孔,连接器46和输入装置10例如用传输模拟语音信号的线连接。在图1所示的本实施方式的例子中,连接器46与头戴式耳机话筒30连接,该头戴式耳机话筒30具有构成立体声耳机的右耳机32和左耳机34、以及话筒63。
例如,如图1所示,话筒63被配置成使话筒63的语音采集部朝向使用者的视线方向。话筒63采集语音,将语音信号输出到语音接口182(图5)。话筒63可以是单声道话筒,也可以是立体声话筒,可以是定向话筒,也可以是全向话筒。
输入装置10是用于控制HMD 100的装置。输入装置10具有触控板14、十字键16、确定键18以及触摸键12。触控板14是由接受触摸操作的操作面构成的操作部。触控板14检测操作面上的触摸操作而输出与检测内容对应的信号。在本实施方式中,触控板14是静电电容方式的触控板。在后述的接触部检测处理中,利用触控板14所具有的未图示的静电传感器来检测触控板14中的接触部。另外,触控板14也可以不采用静电电容方式而采用压力检测式、光学式之类的各种触控板。并且,作为由接受触摸操作的操作面构成的操作部,也可以采用具有显示功能的触摸面板。触摸面板可以采用电阻膜方式、超声波表面声波方式、红外线光学成像方式、电磁感应方式之类的各种触摸面板。
十字键16检测针对与上下左右方向对应的键的按下操作而输出与检测内容对应的信号。确定键18检测按下操作而输出用于确定输入装置10中的操作内容的信号。触摸键12从左开始依次由返回键、主页键、历史键这3个键构成,检测针对各键的按下操作而输出与检测内容对应的信号。并且,触摸键12也作为点亮部而发挥功能。具体来说,利用其发光状态来通知HMD 100的工作状态(例如,电源的接通/断开等)。作为点亮部,例如,可以使用LED(Light Emitting Diode:发光二极管)。未图示的电源开关通过检测开关的滑动操作来切换HMD 100的电源的状态。
图3是示出由使用者看到的图像显示部20的主要部分结构的图。在图3中,省略了连接线缆40、右耳机32、左耳机34的图示。在图3的状态下,能够看到右导光板26以及左导光板28的背面侧,并且能够看到大致四边形区域的、用于向右眼RE照射图像光的半透半反镜261以及用于向左眼LE照射图像光的半透半反镜281。使用者可透过包含这些半透半反镜261、281的右导光板26和左导光板28的整体而看到外界的风景,并且在半透半反镜261、281的位置处看到矩形的显示图像。
图4是用于说明照相机61的视场角的图。在图4中,俯视地示意性示出照相机61、使用者的右眼RE以及左眼LE,并且用θ来表示照相机61的视场角(拍摄范围)。另外,照相机61的视场角θ除了如图示那样沿水平方向扩展之外,还与通常的数码照相机同样地沿铅直方向扩展。
如上述那样,照相机61在图像显示部20中配置于右侧的端部,拍摄使用者的视线的方向(即使用者的前方)。因此,照相机61的光轴处于包含右眼RE以及左眼LE的视线方向的方向上。使用者在佩戴有HMD 100的状态下能够看到的外界的风景不限于无限远。例如,当使用者使用双眼注视对象物OB时,使用者的视线如图中的标号RD、LD所示那样朝向对象物OB。在该情况下,从使用者至对象物OB的距离大多情况下为30cm~10m左右,更多情况下为1m~4m。因此,关于HMD 100,可以确定通常使用时的从使用者至对象物OB的距离的上限以及下限的基准。该基准可以预先求得并预设置在HMD 100中,使用者也可以设定该基准。照相机61的光轴以及视场角优选被设定为:使得在这样的通常使用时的、与对象物OB的距离对应于所设定的上限以及下限的基准的情况下,对象物OB包含在视场角内。
另外,一般情况下,人的视野角在水平方向上大约为200度、在垂直方向上大约为125度。其中,信息接受能力优异的有效视野在水平方向上为30度左右、垂直方向上为20度左右。人注视的注视点能够迅速地稳定观察到的稳定注视视野在水平方向上为60~90度、在垂直方向上为45~70度左右。在该情况下,当注视点为对象物OB(图4)时,以视线RD、LD为中心而在水平方向上为30度、在垂直方向上为20度左右是有效视野。此外,在水平方向上为60~90度、在垂直方向上为45~70度左右是稳定注视视野。将使用者透过图像显示部20的右导光板26以及左导光板28而看到的实际视野称为真实视野(FOV:Field Of View)。真实视野比视野角以及稳定注视视野窄,但比有效视野宽。
本实施方式的照相机61的视场角θ被设定为能够拍摄比使用者的视野宽的范围。照相机61的视场角θ优选被设定为至少能够拍摄比使用者的有效视野宽的范围,更优选被设定为能够拍摄比真实视野宽的范围。照相机61的视场角θ进一步优选被设定为能够拍摄比使用者的稳定注视视野宽的范围,最优选被设定为能够拍摄比使用者的双眼的视野角宽的范围。因此,照相机61可以采用如下结构:具有所谓的广角镜头作为摄像镜头从而能够拍摄较宽的视场角。广角镜头可以包含被称为超广角镜头以及准广角镜头的镜头。此外,照相机61可以包含单焦点镜头,也可以包含变焦镜头,还可以包含由多个镜头组成的镜头组。
图5是功能性地示出输入装置10和HMD 100所包含的图像显示部20的结构的框图。输入装置10具有:主处理器140,其执行程序而控制HMD 100;存储部;输入输出部;传感器类;接口;以及电源部130。主处理器140分别与这些存储部、输入输出部、传感器类、接口以及电源部130连接。主处理器140安装于内置有输入装置10的控制器基板120。
存储部包含存储器118以及非易失性存储部121。存储器118构成了临时存储由主处理器140执行的计算机程序以及由主处理器140处理的数据的工作区。非易失性存储部121由闪存或eMMC(embedded Multi Media Card:嵌入式多媒体卡)构成。非易失性存储部121存储有主处理器140执行的计算机程序以及由主处理器140处理的各种数据。在本实施方式中,这些存储部安装于控制器基板120。
输入输出部包含操作部110。操作部110包含触摸键12、触控板14、十字键16、确定键18、以及未图示的电源开关,该操作部110由多个操作部构成。主处理器140对这各个输入输出部进行控制,并且获取从各输入输出部输出的信号。具体来说,各输入输出部输出数字信号,主处理器140获取从各输入输出部输出的数字信号。并且,例如,也可以构成为各输入输出部输出模拟信号,主处理器140通过对从各输入输出部输出的模拟信号进行AD转换来获取数字信号。
传感器类包含6轴传感器111、磁传感器113以及GPS(Global PositioningSystem:全球定位系统)接收器115。6轴传感器111是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器111可以采用将这些传感器模块化而得的IMU(Inertial Measurement Unit:惯性测量装置)。磁传感器113例如是3轴的地磁传感器。GPS接收器115具有未图示的GPS天线,接收从GPS卫星发送的无线信号,从而检测输入装置10的当前位置的坐标。这些传感器类(6轴传感器111、磁传感器113、GPS接收器115)按照预先指定的采样频率将检测值输出到主处理器140。各传感器输出检测值的时刻可以基于来自主处理器140的指示。
接口包含无线通信部117、语音编解码器180、外部连接器184、外部存储器接口186、USB(Universal Serial Bus:通用串行总线)连接器188、传感器中枢192、FPGA 194以及接口196。它们作为与外部的接口而发挥功能。
无线通信部117执行HMD 100与外部设备之间的无线通信。无线通信部117构成为具有未图示的天线、RF电路、基带电路以及通信控制电路等,或者作为将它们整合而得的器件。无线通信部117进行基于例如包含Bluetooth(注册商标)和Wi-Fi(注册商标)的无线LAN等标准的无线通信。
语音编解码器180与语音接口182连接,进行经由语音接口182输入输出的语音信号的编码/解码。语音接口182是输入输出语音信号的接口。语音编解码器180可以具有进行从模拟语音信号向数字语音数据的转换的A/D转换器、以及进行从数字语音数据向模拟语音信号的转换的D/A转换器。本实施方式的HMD 100从右耳机32以及左耳机34输出语音,并通过话筒63采集语音。语音编解码器180将主处理器140输出的数字语音数据转换为模拟语音信号,并经由语音接口182而输出。此外,语音编解码器180将输入到语音接口182的模拟语音信号转换为数字语音数据并输出到主处理器140。
外部连接器184是用于将与主处理器140进行通信的外部装置(例如,个人计算机、智能手机、游戏设备等)连接到主处理器140的连接器。与外部连接器184连接的外部装置除了能够作为内容的供给方之外,还能够用于主处理器140执行的计算机程序的调试、HMD100的工作日志的收集。外部连接器184能够采用各种方式。作为外部连接器184,例如能够采用USB接口、微型USB接口、存储卡用接口等与有线连接对应的接口,或者无线LAN接口、Bluetooth接口等与无线连接对应的接口。
外部存储器接口186是能够用于连接可移动型的存储器件的接口。外部存储器接口186例如包含用于安装卡型记录介质而进行数据的读写的存储卡槽、以及接口电路。卡型记录介质的尺寸、形状、规格等能够适当选择。USB连接器188是能够连接基于USB标准的存储器件、智能手机、个人计算机等的接口。USB连接器188例如包含基于USB标准的连接器以及接口电路。USB连接器188的尺寸、形状、USB标准的版本等能够适当选择。
此外,HMD 100具有振动器19。振动器19具有未图示的电机以及偏芯的转子等,根据主处理器140的控制而产生振动。例如在检测到对操作部110的操作的情况下、或HMD 100的电源接通断开的情况下等,HMD 100使振动器19按照规定的振动模式产生振动。
传感器中枢192以及FPGA 194经由接口(I/F)196与图像显示部20连接。传感器中枢192取得图像显示部20所具有的各种传感器的检测值,并输出到主处理器140。FPGA 194执行在主处理器140与图像显示部20的各部分之间收发的数据的处理以及经由接口196的传送。接口196分别与图像显示部20的右显示单元22和左显示单元24连接。在本实施方式的例子中,连接线缆40与左保持部23连接,与该连接线缆40相连的布线铺设在图像显示部20内部,右显示单元22和左显示单元24分别与输入装置10的接口196连接。
电源部130包含电池132以及电源控制电路134。电源部130供给用于供输入装置10动作的电力。电池132是能够充电的电池。电源控制电路134进行电池132的剩余容量的检测以及对OS 143(图6)的充电的控制。电源控制电路134与主处理器140连接,将电池132的剩余容量的检测值、电池132的电压的检测值输出到主处理器140。另外,可以根据电源部130所供给的电力而从输入装置10向图像显示部20供给电力。可以构成为:能够通过主处理器140来控制从电源部130向输入装置10的各部分以及图像显示部20的电力的供给状态。
右显示单元22具有显示单元基板210、OLED单元221、照相机61、照度传感器65、LED指示器67以及温度传感器217。在显示单元基板210上安装有与接口196连接的接口(I/F)211、接收部(Rx)213以及EEPROM(Electrically Erasable Programmable Read-OnlyMemory:电可擦可编程只读存储器)215。接收部213接收经由接口211而从输入装置10输入的数据。接收部213在接收到OLED单元221所显示的图像的图像数据的情况下,将接收到的图像数据输出到OLED驱动电路225(图2)。
EEPROM 215以主处理器140能够读取的方式存储各种数据。EEPROM 215例如存储图像显示部20的与OLED单元221、241的发光特性、显示特性相关的数据、与右显示单元22或者左显示单元24的传感器特性相关的数据等。具体而言,例如存储与OLED单元221、241的伽马校正相关的参数、对后述的温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,并被写入EEPROM 215中。在出货后,主处理器140读入EEPROM 215的数据并将其用于各种处理。
照相机61根据经由接口211输入的信号执行拍摄,并将拍摄图像数据或者表示拍摄结果的信号输出到输入装置10。如图1所示,照度传感器65设置于前部框架27的端部ER,配置为接受来自佩戴有图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。如图1所示,LED指示器67在前部框架27的端部ER配置于照相机61的附近。LED指示器67在照相机61执行拍摄的过程中点亮,从而告知处于拍摄中。
温度传感器217检测温度,并输出与检测到的温度对应的电压值或者电阻值。温度传感器217安装于OLED面板223(图2)的背面侧。温度传感器217例如可以与OLED驱动电路225安装于同一基板。通过该结构,温度传感器217主要检测OLED面板223的温度。另外,温度传感器217可以内置于OLED面板223或者OLED驱动电路225(图2)。例如,在将OLED面板223作为Si-OLED而与OLED驱动电路225一起安装为集成半导体芯片上的集成电路的情况下,可以将温度传感器217安装于该半导体芯片。
左显示单元24具有显示单元基板230、OLED单元241以及温度传感器239。在显示单元基板230上安装有与接口196连接的接口(I/F)231、接收部(Rx)233、6轴传感器235以及磁传感器237。接收部233接收经由接口231而从输入装置10输入的数据。接收部233在接收到OLED单元241所显示的图像的图像数据的情况下,将接收到的图像数据输出到OLED驱动电路245(图2)。
6轴传感器235是具有3轴加速度传感器以及3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235可以采用将上述传感器模块化而得的IMU。磁传感器237例如是3轴的地磁传感器。6轴传感器235与磁传感器237设置于图像显示部20,因此,在图像显示部20被佩戴于使用者的头部时,检测使用者的头部的运动。根据检测出的头部的运动来确定图像显示部20的朝向(即,使用者的视野)。
温度传感器239检测温度,并输出与检测的温度对应的电压值或者电阻值。温度传感器239安装于OLED面板243(图2)的背面侧。温度传感器239例如可以与OLED驱动电路245安装于同一基板。通过该结构,温度传感器239主要检测OLED面板243的温度。温度传感器239可以内置于OLED面板243或者OLED驱动电路245(图2)。细节与温度传感器217相同。
右显示单元22的照相机61、照度传感器65、温度传感器217以及左显示单元24的6轴传感器235、磁传感器237、温度传感器239与输入装置10的传感器中枢192连接。传感器中枢192根据主处理器140的控制,进行各传感器的采样周期的设定以及初始化。传感器中枢192按照各传感器的采样周期来执行对各传感器的通电、控制数据的发送、检测值的取得等。传感器中枢192在预先设定的时刻,将右显示单元22以及左显示单元24所具有的各传感器的检测值输出到主处理器140。传感器中枢192可以具有临时保存各传感器的检测值的缓存功能。传感器中枢192可以具有各传感器的检测值的信号形式、数据形式的转换功能(例如,向统一形式的转换功能)。传感器中枢192根据主处理器140的控制使对LED指示器67的通电开始以及停止,由此,使LED指示器67点亮或者熄灭。
图6是功能性地示出输入装置10的结构的框图。输入装置10在功能上具有存储功能部122以及控制功能部150。存储功能部122是由非易失性存储部121(图5)构成的逻辑存储部。对于存储功能部122,可以替代仅使用存储功能部121的结构,而采用与非易失性存储部121组合使用EEPROM 215、存储器118的结构。控制功能部150是通过主处理器140执行计算机程序、即硬件与软件协作而构成的。
存储功能部122存储有用于控制功能部150的处理的各种数据。具体而言,本实施方式的存储功能部122存储有设定数据123以及内容数据124。设定数据123包含与HMD 100的动作相关的各种设定值。例如,设定数据123包含控制功能部150控制HMD 100时的参数、行列式、运算式、LUT(Look Up Table:查找表)等。
内容数据124包含内容数据(图像数据、影像数据、语音数据等),该内容数据包含图像显示部20通过控制功能部150的控制而显示的图像、影像。另外,内容数据124可以包含双向型的内容数据。双向型的内容是指如下类型的内容:通过操作部110取得使用者的操作,由控制功能部150执行与所取得的操作内容对应的处理,并将与处理内容对应的内容显示在图像显示部20上。在该情况下,内容数据可以包含用于取得使用者的操作的菜单画面的图像数据、对与菜单画面所包含的项目对应的处理进行确定的数据等。
控制功能部150利用存储功能部122所存储的数据来执行各种处理,从而执行作为OS(Operating System:操作系统)143、图像处理部145、显示控制部147、摄像控制部149、输入输出控制部151、接触检测部153、把持状态检测部155的功能。在本实施方式中,OS 143以外的各功能部作为在OS 143上执行的计算机程序而构成。
图像处理部145根据图像显示部20显示的图像/影像的图像数据,生成发送到右显示单元22以及左显示单元24的信号。图像处理部145生成的信号可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。除了主处理器140执行计算机程序而实现的结构之外,图像处理部145也可以由与主处理器140不同的硬件(例如,DSP(Digital SignalProcessor:数字信号处理器))构成。
另外,图像处理部145可以根据需要执行分辨率转换处理、图像调整处理、2D/3D转换处理等。分辨率转换处理是将图像数据的分辨率转换为与右显示单元22以及左显示单元24相适应的分辨率的处理。图像调整处理是调整图像数据的亮度、饱和度的处理。2D/3D转换处理是根据三维图像数据生成二维图像数据,或者,根据二维图像数据生成三维图像数据的处理。图像处理部145在执行了这些处理的情况下,根据处理后的图像数据生成用于显示图像的信号,并经由连接线缆40发送到图像显示部20。
显示控制部147生成对右显示单元22以及左显示单元24进行控制的控制信号,并通过该控制信号来控制右显示单元22和左显示单元24各自的图像光的生成和射出。具体而言,显示控制部147控制OLED驱动电路225、245,执行基于OLED面板223、243的图像显示。显示控制部147根据图像处理部145输出的信号,进行OLED驱动电路225、245在OLED面板223、243上进行描绘的时刻的控制、OLED面板223、243的亮度的控制等。
并且,在后述的输入接受处理中,在触控板14中的接触部存在无效的输入的情况下,显示控制部147使图像显示部20进行通知显示。在后面对有关输入接受处理和通知显示的详细说明进行叙述。
摄像控制部149对照相机61进行控制而使其执行拍摄,生成拍摄图像数据,并临时存储到存储功能部122中。并且,在照相机61构成为包含生成拍摄图像数据的电路的照相机单元的情况下,摄像控制部149从照相机61获取拍摄图像数据,并临时存储到存储功能部122中。
输入输出控制部151对操作部110中的触控板14、十字键16和确定键18等进行适当控制而获取来自它们的输入指令。所获取的指令被输出到OS 143、或在输出到OS 143的同时被输出到在OS 143上运行的计算机程序。并且,在后述的输入接受处理中,输入输出控制部151使来自接触部的输入无效,其中,该接触部是触控板14的操作面上的接触部中的、根据输入装置10的把持状态而确定的接触部。在后面对有关输入接受处理的详细说明进行叙述。另外,输入输出控制部151相当于发明内容中的控制部。
在后述的接触部检测处理中,接触检测部153对触控板14中的接触部进行检测。作为接触部,例如,对应于在触控板14中供使用者的手指(指尖或手指的根部)接触的部分、或在触控板14中供触控笔的前端接触的部分。在后面对有关接触部检测处理和接触部的详细说明进行叙述。
在后述的把持状态检测处理中,把持状态检测部155根据检测出的接触部来检测输入装置10的把持状态。在本实施方式中,“把持状态”是指输入装置10的朝向与输入装置10的把持方式相结合的状态。在后面对有关输入装置10的把持状态和把持状态检测处理的详细说明进行叙述。
A2.输入装置的把持状态:
图7是示意性地示出输入装置10的第1把持状态的说明图。在图7中,“F”表示使用者的前进方向,“B”表示使用者的后退方向,“L”表示使用者的左方,“R”表示使用者的右方。在以下的说明中也同样。如图7所示,第1把持状态是只用右手rh支承纵向的输入装置10并且进行操作的把持状态。在本实施方式中,将支承纵向状态的输入装置10的情况称为“纵向把持”。换言之,该“纵向把持”是指从使用者看来,输入装置10被支承为输入装置10的长边方向与垂直于左右方向的方向(例如铅直方向)平行。另外,并不限于输入装置10的长边方向与垂直于左右方向的方向完全平行的情况,“纵向把持”也可以包含输入装置10的长边方向、与垂直于左右方向的方向所呈的角度为规定的角度以下的支承状态。在第1把持状态下,输入装置10被右手大拇指指根rfb1、右手中指rf3、右手无名指rf4和右手小拇指rf5把持。另外,虽然省略了图示,但输入装置10的背面用右手食指来支承。并且,输入装置10被作为把持手的右手rh的右手大拇指rf1操作。换言之,在输入装置10中,通过使右手大拇指rf1触摸触控板14的操作面来进行输入。
在第1把持状态下,在后述的接触部检测处理中,触控板14中的与右手大拇指指根rfb1、右手中指rf3、右手无名指rf4、右手小拇指rf5、右手大拇指rf1接触的接触部分会被分别检测为接触部。
图8是示意性地示出输入装置10的第2把持状态的说明图。如图8所示,第2把持状态是只用左手lh来支承纵向的输入装置10并且进行操作的把持状态。换言之,第2把持状态在输入装置10的把持手不为右手rh而为左手lh的方面,与图7所示的第1把持状态不同。在第2把持状态下,输入装置10被左手大拇指指根lfb1、左手中指lf3、左手无名指lf4和左手小拇指lf5把持。另外,虽然省略了图示,但输入装置10的背面用左手食指来支承。并且,输入装置10被作为把持手的左手lh的左手大拇指lf1操作。换言之,在输入装置10中,通过使左手大拇指lf1触摸触控板14的操作面来进行输入。
在第2把持状态下,在后述的接触部检测处理中,触控板14中的与左手大拇指指根lfb1、左手中指lf3、左手无名指lf4、左手小拇指lf5、左手大拇指lf1接触的接触部分会被分别检测为接触部。另外,在以下的说明中,将如第1把持状态和第2把持状态那样、用单手进行输入装置10的支承和操作的把持状态称为“单手把持”。
图9是示意性地示出输入装置10的第3把持状态的说明图。如图9所示,第3把持状态是用左手lh支承纵向的输入装置10、并用右手rh操作输入装置10的把持状态。在第3把持状态下,输入装置10被左手大拇指指根lfb1、左手大拇指lf1、左手食指lf2、左手中指lf3、左手无名指lf4和左手小拇指lf5把持。并且,输入装置10被作为与把持手(左手lh)相反的手的右手rh的右手食指rf2操作。换言之,在输入装置10中,通过使右手食指rf2触摸触控板14的操作面来进行输入。
在第3把持状态下,在后述的接触部检测处理中,触控板14中的与左手大拇指指根lfb1、左手大拇指lf1、左手食指lf2、左手中指lf3、左手无名指lf4、左手小拇指lf5、右手食指rf2接触的接触部分会被分别检测为接触部。
图10是示意性地示出输入装置10的第4把持状态的说明图。如图10所示,第4把持状态是用右手rh支承纵向的输入装置10、并用左手lh操作输入装置10的把持状态。换言之,第4把持状态在输入装置10的把持手不为左手lh而为右手rh的方面、以及操作输入装置10的手不为右手rh而为左手lh的方面与图9所示的第3把持状态不同。如图10所示,在第4把持状态下,输入装置10被右手大拇指指根rfb1、右手大拇指rf1、右手食指rf2、右手中指rf3、右手无名指rf4和右手小拇指rf5把持。并且,输入装置10被作为与把持手(右手rh)相反的手的左手lh的左手食指lf2操作。换言之,在输入装置10中,通过使左手食指lf2触摸触控板14的操作面来进行输入。
在第4把持状态下,在后述的接触部检测处理中,触控板14中的与右手大拇指指根rfb1、右手大拇指rf1、右手食指rf2、右手中指rf3、右手无名指rf4、右手小拇指rf5、左手食指lf2接触的接触部分会被分别检测为接触部。另外,在以下的说明中,将如第3把持状态和第4把持状态那样、用不同的手来分别进行输入装置10的支承和操作的把持状态称为“双手把持”。
如通过分别比较图8与图9和图7与图10便可理解的那样,在图7和图8所示的单手把持以及图9和图10所示的双手把持中,即使把持手相同,接触部的数量、位置和面积也相互不同。例如,在输入装置10的把持手为右手的情况下,触控板14的右侧的接触部的数量在图7所示的单手把持下为两个,分别是被右手大拇指rf1的指尖接触的接触部和被右手大拇指指根rfb1接触的接触部。与此相对,在图10所示的双手把持下为一个,是被右手大拇指指根rfb1接触的接触部。并且,例如,被右手大拇指指根rfb1接触的接触部的位置在图7所示的单手把持下为触控板14的右下侧的位置。与此相对,在图10所示的双手把持下为沿着触控板14的右侧的侧面的位置。并且,例如,被右手大拇指指根rfb1接触的接触部的面积在图7所示的单手把持下为触控板14的右下侧的规定的区域的面积。与此相对,在图10所示的双手把持下为从触控板14的右上侧沿着右下侧连续的区域的面积。
图11是示意性地示出输入装置10的第5把持状态的说明图。如图11所示,第5把持状态是用左手lh支承纵向的输入装置10、并用右手rh操作输入装置10的把持状态。在追加右手中指rf3作为操作输入装置10的手指的方面与图9所示的第3把持状态不同。在第5把持状态下,输入装置10被作为与把持手(左手lh)相反的手的右手rh的右手食指rf2和右手中指rf3操作。换言之,在输入装置10中,通过使右手食指rf2或右手中指rf3触摸触控板14的操作面来进行输入。并且,在第5把持状态下,能够进行使用了右手食指rf2和右手中指rf3的多点触摸下的手势输入(所谓的缩小/放大等)。
在第5把持状态下,在后述的接触部检测处理中,触控板14中的与左手大拇指指根lfb1、左手大拇指lf1、左手食指lf2、左手中指lf3、左手无名指lf4、左手小拇指lf5、右手食指rf2、右手中指rf3接触的接触部分会分别被检测为接触部。
图12是示意性地示出输入装置10的第6把持状态的说明图。如图12所示,第6把持状态是用右手rh支承纵向的输入装置10、并用左手lh操作输入装置10的把持状态。在追加左手中指lf3作为操作输入装置10的手指的方面与图10所示的第4把持状态不同。在第6把持状态下,输入装置10被作为与把持手(右手rh)相反的手的左手lh的左手食指lf2和左手中指lf3操作。换言之,在输入装置10中,通过使左手食指lf2或左手中指lf3触摸触控板14的操作面来进行输入。
在第6把持状态下,在后述的接触部检测处理中,触控板14中的与右手大拇指指根rfb1、右手大拇指rf1、右手食指rf2、右手中指rf3、右手无名指rf4、右手小拇指rf5、左手食指lf2、左手中指lf3接触的接触部分会被分别检测为接触部。
如通过比较图9与图10和图11与图12便可理解的那样,在双手把持的情况下,存在被操作输入装置10的手指接触的接触部(即,除了被用于支承输入装置10的手指或手指的根部接触的接触部(以下,称为“支承接触部”)之外的接触部)的合计数为1个的把持状态和两个的把持状态。在本实施方式中,将除支承接触部之外的接触部的合计数为1个的情况设为“单点触摸”。与此相对,将除支承接触部之外的接触部的合计数为两个的情况设为“多点触摸”。在后述的把持状态检测处理中,确定检测出的接触部中的支承接触部,检测除所确定的支承接触部之外的接触部的合计数,由此,可区分是单点触摸、还是多点触摸。
图13是示意性地示出输入装置10的第7把持状态的说明图。如图13所示,第7把持状态是用两手支承横向的输入装置10、并用左手lh进行触控板14的触摸操作的把持状态。在本实施方式中,将支承横向状态的输入装置10的情况称为“横向把持”。换言之,该“横向把持”是指从使用者看来,输入装置10被支承为输入装置10的长边方向与左右方向平行。另外,并不限于输入装置10的长边方向与左右方向完全平行的情况,“横向把持”也可以包含输入装置10的长边方向与左右方向所呈的角度为规定的角度以下的支承状态。在第7把持状态下,输入装置10的十字键16侧由右手rh把持,触控板14侧由左手lh把持。并且,触控板14由左手大拇指lf1操作。换言之,在输入装置10中,通过使左手大拇指lf1触摸触控板14的操作面来进行输入。
在第7把持状态下,在后述的接触部检测处理中,触控板14中的、与左手大拇指指根lfb1和左手大拇指lf1接触的接触部分会被分别检测为接触部。
图14是示意性地示出输入装置10的第8把持状态的说明图。如图14所示,第8把持状态是用两手支承横向的输入装置10、并用右手rh进行触控板14的触摸操作的把持状态。在输入装置10的朝向相反的方面、以及操作触控板14的手指不为左手大拇指lf1而为右手大拇指rf1的方面,与图13所示的第7把持状态不同。在第8把持状态下,触控板14由右手大拇指rf1操作。换言之,在输入装置10中,通过使右手大拇指rf1触摸触控板14的操作面来进行输入。
在第8把持状态下,在后述的接触部检测处理中,触控板14中的、与右手大拇指指根rfb1和右手大拇指rf1接触的接触部分会被分别检测为接触部。
如上述那样,接触部的数量、位置和面积等因输入装置10的把持状态的差异而不同。在各把持状态下,用于操作的指尖(例如,图7所示的第1把持状态下的右手大拇指rf1以外的指尖)或手指的根部可能会与触控板14的操作面接触,产生误输入。即,在触控板14中,可能会因预期之外的接触而产生与操作目的的接触部不同的接触部。作为该预期之外的误输入源的接触部(以下,称为“目的外接触部”)的位置或大小因把持状态而不同。因此,在本实施方式的输入装置10中,在后述的输入接受处理中,确定把持状态,使来自根据所确定的把持状态而确定的接触部的输入无效,接受输入。
图15是示意性地示出在第1把持状态下检测的接触部的一例的说明图。接触部c1是被作为用于操作的手指的大拇指rf1接触的接触部。其他接触部c2~c5均为与被用于操作的手指不同的手指或手指的根部接触的接触部。在该情况下,在后述的输入接受处理中,使除接触部c1之外的其他接触部c2~c5的输入无效,换言之,仅使接触部c1的输入有效来接受向触控板14的输入。
A3.输入接受处理:
图16是示出输入接受处理的处理步骤的流程图。当使用者将输入装置10的电源开关设定为接通时,开始输入接受处理。如图16所示,接触检测部153执行接触部检测处理(步骤S100)。具体来说,使用触控板14所具有的未图示的静电传感器来检测触控板14中的接触部。接触检测部153利用静电传感器的检测结果来检测接触部的数量、位置(坐标)和面积。在本实施方式中,“接触部的位置(坐标)”是指包含在接触部内的全部的坐标、构成接触部的轮廓的各坐标、以及接触部的重心位置的坐标中的任意的坐标。在执行步骤S100之后,把持状态检测部155执行把持状态检测处理(步骤S105)。
图17是示出把持状态检测处理的详细处理步骤的流程图。在把持状态检测处理中,利用在接触部检测处理(步骤S100)中检测出的接触部的数量、位置(坐标)和面积等,检测是上述第1把持状态~第8把持状态中的哪一个把持状态。如图17所示,把持状态检测部155判定是否为纵向把持(步骤S200)。在步骤S200中,根据输入装置10所具有的6轴传感器111的3轴加速度传感器、以及HMD 100所具有的6轴传感器235的双方的检测结果,检测输入装置10相对于HMD 100的图像显示部20的朝向。
在判定为纵向把持的情况下(步骤S200:是),把持状态检测部155判定把持手是否为右手(步骤S205)。具体来说,利用检测出的接触部的数量、位置(坐标)和面积来判定把持手。例如,预先将各把持状态的触控板14中的接触部的数量、位置(坐标)和面积存储到设定数据123中,把持状态检测部155通过对检测出的各接触部的数量、位置(坐标)和面积与存储于设定数据123的各接触部的数量、位置(坐标)和面积进行比较来判定把持手。更具体来说,在触控板14的左侧的接触部的数量为多个、触控板14的右侧的接触部的数量为1个的情况下,判定为把持手是右手。与此相对,在触控板14的右侧的接触部的数量为多个、触控板14的左侧的接触部的数量为1个的情况下,判定为把持手是左手。
在判定为把持手是右手的情况下(步骤S205:是),把持状态检测部155判定是否为单手把持(步骤S210)。在步骤S210中,与上述的步骤S205同样,通过对检测出的接触部的数量、位置(坐标)和面积与存储于设定数据123的各把持状态的触控板14中的接触部的数量、位置(坐标)和面积进行比较,判定是单手把持还是双手把持。例如,在检测到触控板14的右侧的接触部的数量为两个,分别是被右手大拇指rf1的指尖接触的接触部和被右手大拇指指根rfb1接触的接触部的情况下,判定为单手把持。与此相对,在检测到触控板14的右侧的接触部的数量为一个,是被右手大拇指指根rfb1接触的接触部的情况下,判定为双手把持。
并且,例如,在检测到被右手大拇指指根rfb1接触的接触部的位置为触控板14的右下侧的位置的情况下,判定为单手把持。与此相对,在检测到被右手大拇指指根rfb1接触的接触部的位置是沿着触控板14的右侧的侧面的位置的情况下,判定为双手把持。并且,例如,在被右手大拇指指根rfb1接触的接触部的面积比规定的阈值小的情况下,判定为单手把持。与此相对,在被右手大拇指指根rfb1接触的接触部的面积为规定的阈值以上的情况下,判定为双手把持。作为一例,“规定的阈值”是指双手把持的情况下的被右手大拇指指根接触的接触部的面积。另外,由于被右手大拇指指根接触的接触部的面积因手的大小差异而不同,所以也可以利用实验数据等计算被右手大拇指指根接触的接触部的面积的平均值,将该平均值作为阈值。
在判定为单手把持的情况下(步骤S210:是),把持状态检测部155检测为第1把持状态(步骤S215)。在执行步骤S215之后,把持状态检测处理完成,执行图16所示的步骤S110。
如图17所示,在上述的步骤S210中判定为不是单手把持的情况下(步骤S210:否),把持状态检测部155判定是否为单点触摸(步骤S220)。如上述那样,在除支承接触部之外的接触部的合计数为1个的情况下,判定为单点触摸,在除支承接触部之外的接触部的合计数为两个的情况下,判定为多点触摸。在步骤S220中判定为单点触摸的情况下(步骤S220:是),把持状态检测部155检测为第4把持状态(步骤S225)。与此相对,在判定为不是单点触摸的情况下(步骤S220:否),把持状态检测部155检测为第6把持状态(步骤S230)。在执行步骤S225、步骤S230之后,把持状态检测处理完成,执行图16所示的步骤S110。
如图17所示,在上述的步骤S205中判定为把持手不是右手的情况下(步骤S205:否),与上述的步骤S210同样地,把持状态检测部155判定是否为单手把持(步骤S235)。在判定为单手把持的情况下(步骤S235:是),把持状态检测部155检测为第2把持状态(步骤S240)。在执行步骤S240之后,与执行上述的步骤S215之后同样,把持状态检测处理完成,执行图16所示的步骤S110。
在上述的步骤S235中判定为不是单手把持的情况下(步骤S235:否),与上述的步骤S220同样,判定是否为单点触摸(步骤S245)。在判定为单点触摸的情况下(步骤S245:是),把持状态检测部155检测为第3把持状态(步骤S250)。与此相对,在判定为不是单点触摸的情况下(步骤S245:否),把持状态检测部155检测为第5把持状态(步骤S255)。在执行步骤S250、步骤S255的各个处理之后,把持状态检测处理完成,执行图16所示的步骤S110。
如图17所示,在上述的步骤S200中判定为不是纵向把持的情况下(步骤S200:否),把持状态检测部155判定触控板14是否处于右侧(步骤S260)。在步骤S260中,使用6轴传感器111所具有的3轴加速度传感器来检测输入装置10中的触控板14的位置处于右侧还是左侧。在判定为触控板14处于右侧的情况下(步骤S260:是),把持状态检测部155检测为第8把持状态(步骤S265)。与此相对,在判定为触控板14不处于右侧的情况下(步骤S260:否),把持状态检测部155检测为第7把持状态(步骤S270)。在执行步骤S265、步骤S270的各个处理之后,把持状态检测处理完成。如图16所示,在把持状态检测处理(步骤S105)完成之后,输入输出控制部151执行输入处理(步骤S110)。
图18是示出输入处理的详细处理步骤的流程图。如图18所示,输入输出控制部151确定把持状态(步骤S300)。具体来说,输入输出控制部151确定在上述的把持状态检测处理(步骤S105)中检测出的把持状态。在执行步骤S300之后,输入输出控制部151使来自根据所确定的把持状态而确定的接触部的输入无效来进行输入处理(步骤S305)。
图19是示意性地示出使根据第1把持状态而确定的输入无效的区域的说明图。在图19中,作为支承接触部,示出了接触部t1a、接触部t1b和接触部t1c被检测的状态。如图19所示,使输入无效的区域(以下,称为“输入无效区域”)IA1由第1输入无效区域IA11和第2输入无效区域IA12构成。第1输入无效区域IA11是由直线L1、触控板14的上侧外缘、触控板14的左侧外缘和触控板14的下侧外缘围成的区域。第2输入无效区域IA12是由直线L2、直线L3、触控板14的右侧外缘和触控板14的下侧外缘围成的区域。
直线L1是穿过点P1、并与输入装置10的长边方向平行的直线。点P1是接触部t1a和接触部t1b中的最右侧(内侧)的点。换言之,点P1是触控板14的左侧的各接触部中的最右侧(内侧)的点。直线L2是穿过点P2、并与输入装置10的长边方向平行的直线。点P2是接触部t1c中的最左侧(内侧)的点。换言之,点P2是触控板14的右侧的接触部中的最左侧(内侧)的点。直线L3是穿过点P3、并与输入装置10的短边方向平行的直线。点P3是接触部t1c中的最上侧的点。换言之,点P3是触控板14的右侧的接触部中的最上侧的点。
在第1把持状态下,输入无效区域IA1内的接触部的输入被无效。与此相对,触控板14中的输入无效区域IA1以外的区域VA内的接触部的输入有效。
图20是示意性地示出第1把持状态下的输入处理的情形的说明图。在图20中,为了便于说明,不对使用者的把持手或手指赋予标号。并且,不对输入装置10中的触控板14以外的操作部赋予标号。在之后的图中也同样如此。在图20所示的第1把持状态下,被把持手的手指接触的触控板14中的接触部Ig1的输入、以及被把持手的大拇指的指根部分接触的触控板14中的接触部Ig2的输入因输入输出部不对主处理器140输出信号而分别无效。与此相对,操作输入装置10的触控板14中的接触部En的输入不会无效,接受输入而进行输入处理。
如上述那样,第1把持状态与第2把持状态在支承输入装置10的手不为右手rh而为左手lh的方面、以及操作输入装置10的手指不为右手大拇指rf1而为左手大拇指lf1的方面不同。因此,虽然省略了图示,但第2把持状态下的输入无效区域是将第1把持状态下的输入无效区域IA1(更准确来说,是第1输入无效区域IA11和第2输入无效区域IA12)以穿过触控板14的短边方向的大致中点并沿着长边方向的直线为中心进行反转后的区域。
图21是示意性地示出使根据第3把持状态而确定的输入无效的区域的说明图。在图21中,作为支承接触部,示出了接触部t3a、接触部t3b和接触部t3c被检测的状态。如图21所示,输入无效区域IA3由第1输入无效区域IA31和第2输入无效区域IA32构成。第1输入无效区域IA31是由直线L4、触控板14的上侧外缘、触控板14的左侧外缘和触控板14的下侧外缘围成的区域。第2输入无效区域IA32是由直线L5、触控板14的上侧外缘、触控板14的右侧外缘和触控板14的下侧外缘围成的区域。
直线L4是穿过点P4并与输入装置10的长边方向平行的直线。点P4是接触部t3a中的最右侧(内侧)的点。换言之,点P4是触控板14的左侧的接触部中的最右侧(内侧)的点。直线L5是穿过点P5并与输入装置10的长边方向平行的直线。点P5是接触部t3b和接触部t3c中的最左侧(内侧)的点。换言之,点P5是触控板14的右侧的各接触部中的最左侧(内侧)的点。
在第3把持状态下,输入无效区域IA3内的接触部的输入被无效。与此相对,触控板14中的输入无效区域IA3以外的区域VA内的接触部的输入有效。
图22是示意性地示出第3把持状态下的输入处理的情形的说明图。在图22所示的第3把持状态下,被把持手的手指的根部接触的触控板14中的接触部Ig1的输入、以及被把持手中的3根手指接触的触控板14中的接触部Ig2的输入因输入输出部不对主处理器140输出信号而分别无效。与此相对,被操作输入装置10的右手食指接触的触控板14中的接触部En的输入不会无效,接受输入而进行输入处理。
如上述那样,第3把持状态与第4把持状态在支承输入装置10的手不为左手lh而为右手rh的方面、以及操作输入装置10的手指不为右手食指rf2而为左手食指lf2的方面不同。因此,虽然省略了图示,但第4把持状态下的输入无效区域是将第3把持状态下的输入无效区域IA3(更准确来说,是第1输入无效区域IA31和第2输入无效区域IA32)以穿过触控板14的短边方向的大致中点并沿着长边方向的直线为中心进行反转后的区域。
图23是示意性地示出使根据第5把持状态而确定的输入无效的区域的说明图。在图23中,示出了与在图21所示的第3把持状态下检测的支承接触部同样的接触部t3a、接触部t3b和接触部t3c被检测的状态。如图11所示,第5把持状态是能够进行多点触摸下的输入的把持状态。因此,由于能够进行缩小/放大的操作,所以与第3把持状态不同,优选进一步减小输入无效的接触部。因此,在第5把持状态下,使沿着各接触部t3a、t3b和t3c的轮廓的区域内的接触部的输入无效。
具体来说,如图23所示,输入无效区域IA5由第1输入无效区域IA51、第2输入无效区域IA52和第3输入无效区域IA53构成。第1输入无效区域IA51是由沿着接触部t3a的外缘的线L6和触控板14的左侧外缘围成的区域。换言之,第1输入无效区域IA51是接触部t3a内的全部区域。第2输入无效区域IA52是由沿着接触部t3b的外缘的线L7和触控板14的右侧外缘围成的区域。换言之,第2输入无效区域IA52是接触部t3b内的全部区域。第3输入无效区域IA53是由沿着接触部t3c的外缘的线L8和触控板14的右侧外缘围成的区域。换言之,第3输入无效区域IA53是接触部t3c内的全部区域。
在第5把持状态下,输入无效区域IA5内(即,第1输入无效区域IA51内、第2输入无效区域IA52内和第3输入无效区域IA53内)的接触部的输入被无效。与此相对,触控板14中的输入无效区域IA5以外的区域VA内的接触部的输入有效。
图24是示意性地示出第5把持状态下的输入处理的情形的说明图。在图24所示的第5把持状态下,被把持手的手指的根部接触的触控板14中的接触部Ig1的输入、以及被把持手中的3根手指接触的触控板14中的接触部Ig2的输入因输入输出部不对主处理器140输出信号而分别无效。与此相对,被操作输入装置10的右手食指接触的触控板14中的接触部En1和被右手中指接触的触控板14中的接触部En2的输入不会无效,接受输入而进行输入处理。
如上述那样,第5把持状态与第6把持状态在支承输入装置10的手不为左手lh而为右手rh的方面、以及操作输入装置10的手指不为右手食指rf2和右手中指rf3而为左手食指lf2和左手中指lf3的方面不同。因此,虽然省略了图示,但第6把持状态下的输入无效区域是将第5把持状态下的输入无效区域IA5(更准确来说,是第1输入无效区域IA51、第2输入无效区域IA52和第3输入无效区域IA53)以穿过触控板14的短边方向的大致中点并沿着长边方向的直线为中心进行反转后的区域。
图25是示意性地示出使根据第7把持状态而确定的输入无效的区域的说明图。在图25中,示出了接触部t7被检测的状态。接触部t7由第1接触部t7a和第2接触部t7b构成。第1接触部t7a是被操作触控板14的左手大拇指lf1的指尖接触的接触部。第2接触部t7b是被支承输入装置10的左手大拇指指根lfb1接触的接触部。在第7把持状态下,使两个接触部t7a和t7b中的、第2接触部t7b的输入无效,使第1接触部t7a的输入有效。
具体来说,如图25所示,输入无效区域IA7是由沿着第2接触部t7b的外缘的线L9、直线L10和触控板14的左侧外缘围成的区域。直线L10是穿过点P6并与输入装置10的长边方向平行的直线。点P6是第2接触部t7b中的最上侧且最右侧(内侧)的点。因此,在第7把持状态下,作为比直线L10靠下侧的接触部的第2接触部t7b内的全部区域被无效。与此相对,作为比直线L10靠上侧的接触部的第1接触部t7a不会无效。
图26是示意性地示出第7把持状态下的输入处理的一例的说明图。如图26所示,被作为把持手的左手大拇指的指根接触的触控板14中的接触部Ig的输入因输入输出部不对主处理器140输出信号而无效。与此相对,被操作触控板14的左手大拇指的指尖接触的触控板14中的接触部En的输入不会无效,接受输入而进行输入处理。
如上述那样,第7把持状态与第8把持状态在触控板14的位置不为左侧而为右侧的方面、以及操作触控板14的手指不为左手大拇指lf1而为右手大拇指rf1的方面不同。因此,虽然省略了图示,但第8把持状态下的输入无效区域是将第7把持状态下的输入无效区域IA7以穿过输入装置10的长边方向的大致中点并沿着短边方向的直线为中心进行反转后的区域。
如图18所示,在执行上述的步骤S305之后,显示控制部147进行通知显示(步骤S310)。
图27是示意性地示出第7把持状态下的通知显示的一例的说明图。在图27中,例示了使用者的视野VR。关于HMD 100的视野VR中的显示有显示图像AI的部分,使用者以与外界SC重叠的方式看到显示图像AI。在图27所示的例子中,显示图像AI是HMD 100的OS的菜单画面。显示图像AI的左下的区域IgAr是与图25所示的第7把持状态下的输入无效区域IA7对应的区域。该区域IgAr通过高亮显示而在显示图像AI中被突出显示。由此,令使用者知道在触控板14中存在被无效的输入。
虽然省略了图示,但本实施方式中,在上述以外的其他把持状态下也同样,在存在来自根据各把持状态而确定的接触部的输入的情况下,显示控制部147对与该接触部对应的区域进行高亮显示而进行通知显示。例如,作为通知显示,并不限于高亮显示,只要是能够令使用者知道存在被无效的输入的显示方式,则也可以是定期变更区域IgAr的明亮度而显示的结构、使区域IgAr的颜色模糊而显示的结构等其他的任意显示方式。并且,关于通知显示,可以在输入装置10被使用者把持的期间持续显示,也可以在每当各输入无效区域中存在输入时进行显示。
如图18所示,当进行通知显示时(步骤S310),输入处理完成。在输入处理完成之后,如图16所示,返回到上述的步骤S100。
根据以上所说明的本实施方式中的输入装置10,具有:接触检测部153,其对触控板14的操作面中的接触部进行检测;以及把持状态检测部155,其对输入装置10的把持状态进行检测,该输入装置10使来自检测出的接触部中的、根据检测出的把持状态而确定的接触部的输入无效,因此能够减少误输入。并且,与无论把持状态如何都使来自规定区域的接触部的输入无效的结构相比,能够抑制可输入区域的减小。
并且,由于把持状态包含输入装置10的朝向和把持方式,所以能够使来自根据输入装置10的朝向或把持方式而确定的接触部的输入无效。而且,由于把持状态检测部155利用接触部的数量、接触部的面积和接触部的位置来检测把持状态,所以能够高精度检测把持状态。
而且,把持状态检测部155确定接触部中的支承接触部,并根据除了所确定的支承接触部之外的接触部的数量来区分单点触摸和多点触摸,因此能够高精度地区分单点触摸和多点触摸。
并且,在接触部中存在被无效的输入的情况下,使与输入装置10连接的HMD 100的图像显示部20进行通知显示,因此,在使用者将HMD 100佩戴于头部而不看着触控板14进行操作的情况下,能够容易地知道存在被无效的输入,能够提高使用者的便利性。
B.变形例:
B1.变形例1:
在上述实施方式中,在把持状态检测处理(步骤S105)中,作为把持状态,检测了用手支承输入装置10的状态,但本发明并不限定于此。例如,也可以将输入装置10放置于桌上的状态检测为把持状态。在该情况下,由于没有检测到接触部,所以也可以不确定输入无效区域。并且,在这样的把持状态下,也可以不检测输入装置10的朝向和把持方式。在这样的结构中,也起到与上述实施方式同样的效果。而且,能够减少把持状态检测处理所需的时间,或者能够降低处理负担。
B2.变形例2:
在上述实施方式中,将使用者的指尖或手指的根部部分检测为接触部,但也可以检测与触控笔接触的接触部。在这样的结构中,也起到与上述实施方式同样的效果。
B3.变形例3:
在上述实施方式中,在把持状态检测处理(步骤S105)中,利用接触部的数量等检测把持状态,但本发明并不限定于此。例如,也可以利用照相机61以包含输入装置10和把持手的方式来拍摄把持状态,并对拍摄得到的图像进行分析,从而检测把持状态。在该情况下,也可以预先将各把持状态与各把持状态下的接触部的位置相关联地存储到设定数据123中,通过比较从拍摄图像检测出的各接触部的位置、和存储于设定数据123的各把持状态下的接触部的位置来检测把持状态。并且,例如,如果是HMD 100和输入装置10分别具有9轴传感器的结构,则也可以使用9轴传感器对输入装置10相对于HMD 100的相对位置进行检测,从而检测把持手。在这样的结构中,也起到与上述实施方式同样的效果。
B4.变形例4:
在上述实施方式中,在接触部检测处理(步骤S100)中,使用静电传感器来检测接触部,但本发明并不限定于此。例如,也可以通过照相机61来拍摄输入装置10的把持状态,并对拍摄得到的图像进行分析,从而检测接触部。在这样的结构中,也起到与上述实施方式同样的效果。
B5.变形例5:
在上述实施方式中,进行通知显示,但本发明并不限定于此。例如,也可以不进行通知显示。无论有无通知显示,只要是使来自根据检测出的把持状态而确定的接触部的输入无效的结构,便可起到与上述实施方式同样的效果。
B6.变形例6:
在上述实施方式中,进行通知显示的显示装置是透过型的头部佩戴型显示装置(HMD 100),但本发明并不限定于此。例如,可以是平视显示器(HUD),也可以是视频透视型HMD,还可以是非透过型的头部佩戴型显示装置。并且,还可以是固定型的显示装置。而且,这些显示装置与输入装置10可以与上述实施方式同样地进行有线连接,也可以通过进行依据无线LAN等标准的无线通信来进行无线连接。在这样的结构中,也起到与上述各实施方式同样的效果。
B7.变形例7:
在上述实施方式中,在把持状态检测处理(步骤S105)中,利用接触部的数量、接触部的位置和接触部的面积来检测把持状态,但本发明并不限定于此。例如,也可以省略接触部的面积而利用接触部的数量和接触部的位置来检测把持状态。并且,例如,也可以省略接触部的位置而利用接触部的数量和接触部的面积来检测把持状态。即,通常,只要是利用接触部的数量、接触部的面积和接触部的位置中的至少1个来检测把持状态的结构,则起到与上述实施方式同样的效果。
B8.变形例8:
在上述实施方式中,在输入接受处理中每次都执行把持状态检测处理(步骤S105),但本发明并不限定于此。例如,在检测出的接触部的位置与上次检测出的接触部的位置大体一致的情况下,也可以作为把持状态没有改变的情况,而不执行把持状态检测处理。并且,例如,在执行了把持状态检测处理时,也可以预先使检测出的接触部的位置与所确定的把持状态相关联而作为表格存储到设定数据123中,之后,在接触部的位置改变而执行把持状态检测处理的情况下,通过参照该表格来检测与变更后的接触部的位置相关联的把持状态。并且,例如,也可以预先将各把持状态的定义存储到预先设定数据123中,在执行把持状态检测处理时,通过参照该把持状态的定义来检测把持状态。在这样的结构中,也起到与上述实施方式同样的效果。而且,能够减少输入接受处理所需的时间,或者能够降低处理负担。
B9.变形例9:
在上述实施方式中,使HMD 100的图像显示部20进行通知显示,但本发明并不限定于此。例如,也可以使输入装置10的触摸键12进行通知显示。在该情况下,也可以预先将触摸键12中的各键与输入被无效的接触部对应起来,通过将对应的键的LED点亮来进行通知显示。在这样的结构中,也起到与上述实施方式同样的效果。
B10.变形例10:
在上述实施方式中,在把持状态检测处理(步骤S105)中,利用静电传感器来进行横向把持的情况下的触控板14是否处于右侧的判定(步骤S260),但本发明并不限定于此。例如,也可以利用加速度传感器来进行判定。在输入装置10的使用状态下,通过使触控板14侧的连接器与连接线缆40连接,与十字键16侧相比,重力作用于触控板14侧。因此,通过利用加速度传感器,能够容易地判定触控板14的位置,并能够减少步骤S260的处理所需的时间,或者能够降低处理负担。
B11.变形例11:
在上述实施方式中,在把持状态检测处理(步骤S105)中,利用输入装置10和HMD100的加速度传感器来进行是否为纵向把持的判定(步骤S200),但本发明并不限定于此。例如,也可以只利用输入装置10的加速度传感器来进行判定。并且例如,也可以利用陀螺仪传感器来进行判定。在这样的结构中,也起到与上述实施方式同样的效果。
B12.变形例12:
在上述实施方式中,通过使输入输出部不对主处理器140输出信号而使输入无效区域中的输入无效,但本发明并不限定于此。例如,从输入输出部对主处理器140输出信号,但也可以使HMD 100所接收的信号中的、输入无效区域中的信号无效。在该情况下,预先将各把持状态下的输入无效区域的坐标等信息从输入装置10输出到HMD 100。HMD 100也可以根据预先获取的坐标等信息来判定从输入装置10输出的信号是否为基于输入无效区域中的输入的信号,从而使该信号无效。在这样的结构中,也起到与上述实施方式同样的效果。
B13.变形例13:
在上述实施方式中,多点触摸是除了所确定的支承接触部之外的接触部的合计数为两个的情况,但本发明并不限定于此。例如,也可以将除了所确定的支承接触部之外的接触部的合计数为3个的情况或4个的情况判定为多点触摸。即,通常,只要是根据除了所确定的支承接触部之外的接触部的数量来区分单点触摸和多点触摸的结构,则起到与上述实施方式同样的效果。
B14.变形例14:
在上述实施方式中,输入装置10是控制HMD 100的输入装置(控制器),但本发明并不限定于此。例如,也可以是手表和智能手机等输入装置。并且,例如,在输入装置为智能手机的情况下,也可以替代使用者的手而通过所谓的智能手机壳来保持智能手机,还可以通过树脂制的臂等保持架来进行保持。即使是这样的结构,也起到与上述实施方式同样的效果。
B15.变形例15:
在上述实施方式中,在接触部检测处理(步骤S100)中对触控板14中的接触部进行检测,但本发明并不限定于此。例如,除触控板14中的接触部之外,还可以检测十字键16和触摸键12中的接触部。在该情况下,也可以将十字键16和触摸键12作为触控板14的一部分,对检测出的接触部设定输入无效区域。即使是这样的结构,也起到与上述实施方式同样的效果。
B16.变形例16:
在上述实施方式中,在把持状态检测处理(步骤S105)中,也可以利用接触部的状态的变化来检测把持状态。例如,也可以对接触部的面积和接触部中的最靠内侧的位置(坐标)等的移动方向进行检测,通过判定检测出的移动方向是否朝向内侧来检测把持状态。在判定为检测出的移动方向朝向内侧的情况下,作为一例,也可以检测为纵向把持。并且,例如,也可以对接触部的面积和接触部中的最靠内侧的位置(坐标)等的移动速度进行检测,判定检测出的移动速度是否在加速后停止,从而检测把持状态。并且,例如,并不限于接触部中的最靠内侧的位置,也可以通过检测接触部中的重心位置的移动方向或移动速度来检测把持状态。即使是这样的结构,也起到与上述实施方式同样的效果。
B17.变形例17:
在上述实施方式中,在接触部检测处理(步骤S100)中检测出的接触部是触控板14中的被手指等接触的接触部分,但本发明并不限定于此。例如,也可以将与触控板14接触的指尖或手指的根部部分检测为接触部。即,接触部是指包含触控板14中的手指等所接触的部分(区域)以及与触控板14接触的手指等在内的宽泛的概念。即使是这样的结构,也起到与上述实施方式同样的效果。
本发明并不限于上述实施方式和变形例,能够在不脱离其主旨的范围内以各种结构实现。例如,为了解决上述课题的一部分或全部,或者为了达成上述效果的一部分或全部,可以对与发明内容栏所记载的各方式中的技术特征对应的实施方式、变形例中的技术特征进行适当替换或组合。并且,除非该技术特征在本说明书中是作为必需的技术特征而说明的,否则可以适当删除。

Claims (9)

1.一种输入装置,其中,该输入装置具有:
包含由接受触摸操作的操作面构成的操作部在内的多个操作部;
接触检测部,其对所述操作面中的接触部进行检测;
把持状态检测部,其对所述输入装置的把持状态进行检测;以及
控制部,其对来自所述操作部的输入进行处理,
所述控制部使来自检测出的所述接触部中的、根据检测出的所述把持状态而确定的接触部的输入无效。
2.根据权利要求1所述的输入装置,其中,
所述把持状态包含所述输入装置的朝向。
3.根据权利要求1或2所述的输入装置,其中,
所述把持状态包含所述输入装置的把持方式。
4.根据权利要求1~3中的任意一项所述的输入装置,其中,
所述把持状态检测部利用所述接触部的数量、所述接触部的面积和所述接触部的位置中的至少1个来检测所述把持状态。
5.根据权利要求1~4中的任意一项所述的输入装置,其中,
所述把持状态包含所述操作面上的单点触摸和多点触摸,
所述把持状态检测部确定所述接触部中的、用于支承所述输入装置的支承接触部,
所述把持状态检测部根据所述接触部中的、除了所确定的所述支承接触部之外的接触部的数量,区分所述单点触摸和所述多点触摸。
6.根据权利要求1~5中的任意一项所述的输入装置,其中,
该输入装置还具有显示控制部,在所述接触部中存在被无效的输入的情况下,该显示控制部使与所述输入装置连接的显示装置进行通知显示。
7.根据权利要求6所述的输入装置,其中,
所述显示装置是头部佩戴型显示装置。
8.一种输入控制方法,该输入控制方法是输入装置中的输入控制方法,该输入装置具有包含由接受触摸操作的操作面构成的操作部在内的多个操作部,在该输入控制方法中,具有如下的步骤:
接触检测步骤,对所述操作面中的接触部进行检测;
把持状态检测步骤,对所述输入装置的把持状态进行检测;以及
输入处理步骤,对来自所述操作部的输入进行处理,
所述输入处理步骤包含如下的步骤:使来自检测出的所述接触部中的、根据检测出的所述把持状态而确定的接触部的输入无效。
9.一种记录介质,该记录介质记录有用于控制输入装置中的输入的计算机程序,该输入装置具有包含由接受触摸操作的操作面构成的操作部在内的多个操作部,所述计算机程序使计算机实现如下的功能:
接触检测功能,对所述操作面中的接触部进行检测;
把持状态检测功能,对所述输入装置的把持状态进行检测;以及
输入处理功能,对来自所述操作部的输入进行处理,
所述输入处理功能包含如下的功能:使来自检测出的所述接触部中的、根据检测出的所述把持状态而确定的接触部的输入无效。
CN201810170486.1A 2017-03-13 2018-03-01 输入装置、输入控制方法和记录介质 Pending CN108572727A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-047534 2017-03-13
JP2017047534A JP2018151852A (ja) 2017-03-13 2017-03-13 入力装置、入力制御方法、およびコンピュータープログラム

Publications (1)

Publication Number Publication Date
CN108572727A true CN108572727A (zh) 2018-09-25

Family

ID=63444639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810170486.1A Pending CN108572727A (zh) 2017-03-13 2018-03-01 输入装置、输入控制方法和记录介质

Country Status (3)

Country Link
US (1) US20180260068A1 (zh)
JP (1) JP2018151852A (zh)
CN (1) CN108572727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145035A (zh) * 2021-03-31 2022-10-04 精工爱普生株式会社 头部佩戴型装置、头部佩戴型装置的控制方法及记录介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877573B2 (en) * 2018-04-26 2020-12-29 Htc Corporation Handheld apparatus, control method thereof of presenting mode and computer-readable recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049118A (zh) * 2011-10-14 2013-04-17 北京搜狗科技发展有限公司 一种在触摸设备上判定握持状态的方法和装置
CN104252292A (zh) * 2014-08-29 2014-12-31 惠州Tcl移动通信有限公司 一种显示方法及移动终端
CN104571693A (zh) * 2014-12-22 2015-04-29 联想(北京)有限公司 信息处理方法及电子设备
CN104781769A (zh) * 2013-03-11 2015-07-15 夏普株式会社 携带式装置
CN105117020A (zh) * 2015-09-23 2015-12-02 努比亚技术有限公司 一种处理边缘交互操作的方法和移动终端
CN106406633A (zh) * 2016-12-16 2017-02-15 广东欧珀移动通信有限公司 一种触摸屏边缘的防误触方法、装置及移动终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411459B2 (en) * 2010-05-19 2016-08-09 Lg Electronics Inc. Mobile terminal and control method thereof
KR101685363B1 (ko) * 2010-09-27 2016-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
WO2012049942A1 (ja) * 2010-10-13 2012-04-19 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置、および携帯端末装置におけるタッチパネルの表示方法
US20150135145A1 (en) * 2012-06-15 2015-05-14 Nikon Corporation Electronic device
KR102153006B1 (ko) * 2013-05-27 2020-09-07 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US20160196002A1 (en) * 2013-09-04 2016-07-07 Sharp Kabushiki Kaisha Display device
US10831318B2 (en) * 2013-12-24 2020-11-10 Intel Corporation Adaptive enclosure for a mobile computing device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049118A (zh) * 2011-10-14 2013-04-17 北京搜狗科技发展有限公司 一种在触摸设备上判定握持状态的方法和装置
CN104781769A (zh) * 2013-03-11 2015-07-15 夏普株式会社 携带式装置
CN104252292A (zh) * 2014-08-29 2014-12-31 惠州Tcl移动通信有限公司 一种显示方法及移动终端
CN104571693A (zh) * 2014-12-22 2015-04-29 联想(北京)有限公司 信息处理方法及电子设备
CN105117020A (zh) * 2015-09-23 2015-12-02 努比亚技术有限公司 一种处理边缘交互操作的方法和移动终端
CN106406633A (zh) * 2016-12-16 2017-02-15 广东欧珀移动通信有限公司 一种触摸屏边缘的防误触方法、装置及移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145035A (zh) * 2021-03-31 2022-10-04 精工爱普生株式会社 头部佩戴型装置、头部佩戴型装置的控制方法及记录介质
CN115145035B (zh) * 2021-03-31 2023-11-10 精工爱普生株式会社 头部佩戴型装置、头部佩戴型装置的控制方法及记录介质

Also Published As

Publication number Publication date
JP2018151852A (ja) 2018-09-27
US20180260068A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
CN108572726A (zh) 透过型显示装置、显示控制方法和记录介质
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
CN109491496A (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
CN108664037A (zh) 头部佩戴型显示装置以及无人机的操纵方法
US10718948B2 (en) Head-mounted display apparatus, display control method, and computer program
CN108535868A (zh) 头部佩戴型显示装置及其控制方法
CN110275297A (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
US10261327B2 (en) Head mounted display and control method for head mounted display
US11668936B2 (en) Head-mounted type display device and method of controlling head-mounted type display device
CN108376029B (zh) 显示系统
US20190317608A1 (en) Transmissive head-mounted display apparatus, display control method, and computer program
JP2018160735A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US10884498B2 (en) Display device and method for controlling display device
CN108572727A (zh) 输入装置、输入控制方法和记录介质
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018091882A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6790769B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6631299B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination