CN112799504B - 头部佩戴型显示装置、输入方式的切换方法及记录介质 - Google Patents

头部佩戴型显示装置、输入方式的切换方法及记录介质 Download PDF

Info

Publication number
CN112799504B
CN112799504B CN202011260218.2A CN202011260218A CN112799504B CN 112799504 B CN112799504 B CN 112799504B CN 202011260218 A CN202011260218 A CN 202011260218A CN 112799504 B CN112799504 B CN 112799504B
Authority
CN
China
Prior art keywords
image
display
input method
wearer
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011260218.2A
Other languages
English (en)
Other versions
CN112799504A (zh
Inventor
佐藤慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN112799504A publication Critical patent/CN112799504A/zh
Application granted granted Critical
Publication of CN112799504B publication Critical patent/CN112799504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

头部佩戴型显示装置、输入方式的切换方法及记录介质。在无法进行声音输入的情况下，切换为适当的输入方式。头部佩戴型显示装置具有：显示部，其能够与外景重叠地显示图像；显示控制部，其对向所述显示部的图像显示进行控制；麦克风；第1受理部，其通过对从所述麦克风输入的声音进行声音识别，受理所述图像的显示状态的变更；以及第2受理部，其通过声音识别以外的方法受理所述图像的显示状态的变更，在无法进行所述第1受理部的受理的情况下，所述显示控制部切换为所述第2受理部的受理，变更所述图像的显示状态。

Description

头部佩戴型显示装置、输入方式的切换方法及记录介质
技术领域
本发明涉及头部佩戴型显示装置、输入方式的切换方法及记录介质。
背景技术
专利文献1公开了：预先准备能够与静止、步行或跑步这样的佩戴者的活动状态对应地采用的输入方式，当佩戴者的活动状态发生变化时，动态地切换输入方式。
专利文献1：日本特开2017-120550号公报
但是，即使与佩戴者的活动状态对应地采用预先所准备的输入方式，根据周围的环境的不同，切换后的输入方式有时不适当，无法使用。例如，即使准备了基于声音输入方式的输入，有时周围的噪音或噪声较大，或者由于其他周围环境而无法使用或难以使用声音输入。
发明内容
根据本发明的一个方式，提供一种头部佩戴型显示装置。该头部佩戴型显示装置具有：显示部，其能够与外景重叠地显示图像；显示控制部，其对向所述显示部的图像显示进行控制；麦克风；第1受理部，其通过对从所述麦克风输入的声音进行声音识别，受理所述图像的显示状态的变更；以及第2受理部，其通过声音识别以外的方法受理所述图像的显示状态的变更，在无法进行所述第1受理部的受理的情况下，所述显示控制部切换为所述第2受理部的受理，变更所述图像的显示状态。
附图说明
图1是示出头部佩戴型显示装置的概略结构的说明图。
图2是控制器和HMD的框图。
图3A是控制器的CPU执行的显示控制流程图。
图3B是示出文档的显示位置或大小不适当的例子和适当的例子的说明图。
图4是CPU执行的输入方式的切换流程图。
图5是示出采用声音输入方式时的控制器的触摸面板的说明图。
图6是示出采用利用了头部的运动的输入方式时的触摸面板的说明图。
图7是示出采用利用了控制器的运动的输入方式时的触摸面板的说明图。
图8是示出采用利用了视线的运动的输入方式时的显示部的说明图。
图9是示出采用利用了对触摸面板的触摸的输入方式时的触摸面板的说明图。
标号说明
图10是示出另一实施方式的说明图。
10：头部佩戴型显示装置；20：显示部；20L：左显示部；20R：右显示部；21：显示驱动部；21L：左显示驱动部；21R：右显示驱动部；22：保持部；22L：左保持部；22R：右保持部；23：框架；24：视线传感器；24L：左视线传感器；24R：右视线传感器；25B：图标；25U：图标；30：耳机；30L：左耳机；30R：右耳机；40：电缆；42：连接器；50：惯性传感器；60：摄像头；70：麦克风；80：触摸传感器；90：安装带；91：安装基部；92：带；93：连结部；100：控制器；110：CPU；120：存储器；122：显示应用程序；124：图像识别部；126：第1受理部；128：第2受理部；129：文档；130：触摸面板；131B：图标；131U：图标；132H：图标；132O：图标；132S：图标；133：功能图标；150：惯性传感器；160：连接器；EL：端部；ER：端部。
具体实施方式
·实施方式：
图1是示出头部佩戴型显示装置10(头戴式显示器(Head Mounted Display)10，以下，简称为“HMD 10”。)的概略结构的说明图。本实施方式的HMD 10是光学透过型。也就是说，HMD10能够使佩戴者观察虚像，同时直接看到来自包括对象的外景(场景)的光。
HMD 10具有显示图像的显示部20、耳机30、电缆40、摄像头60、麦克风70、触摸传感器80、能够佩戴于佩戴者的头部的安装带90和控制显示部20的控制器100。显示部20将在佩戴于佩戴者的头部的状态下从控制器100发送来的文档显示为虚像。另外，文档是例示，显示部20也可以将文档以外的例如照片或影像等标示物作为显示对象。以下，包含照片、影像等称为“文档”。
安装带90具备树脂制的安装基部91、与安装基部91连结的布制的带92以及摄像头60。安装基部91具有与人的额颞部的形状一致的弯曲形状。带92安装在用户头部的周围。
摄像头60能够拍摄外景，配置在安装基部91的中心部分。即，在安装带90被佩戴在佩戴者的头部的状态下，摄像头60配置在与佩戴者的前额的中央对应的位置。因此，摄像头60在佩戴者将安装带90佩戴于头部的状态下，拍摄佩戴者的视线方向的外部的景色即外景，取得作为拍摄到的图像的拍摄图像。另外，摄像头60也可以设置在后述的框架23上。
显示部20具有显示驱动部21和保持部22，与安装带90的安装基部91连结。显示部20是眼镜型。因此，显示部20具有右显示部20R和左显示部20L。关于显示驱动部21、保持部22也同样如此，具有右显示驱动部21R、左显示驱动部21L、右保持部22R和左保持部22L。
右显示部20R和左显示部20L分别组装于框架23的左右，在佩戴者佩戴了显示部20时位于佩戴者的右和左的眼前。右显示部20R和左显示部20L通过各自的中央侧端部相互连接。
在框架23的中央设置有惯性传感器50(Inertial Measurement Unit 50，以下，称作“IMU 50”。)。IMU 50为6自由度的惯性测量装置。IMU 50具有x轴、y轴、z轴的3轴方向的加速度传感器和绕3轴的陀螺仪传感器，取得HMD 10的6DoF(six degrees of freedom)信息。6DoF为运动的自由度，包含x轴、y轴、z轴方向的运动和绕x轴、y轴、z轴的旋转的运动。在本实施方式中，设框架23的左右方向为x轴方向、框架23的上下方向为y轴方向、框架23的法线方向为z轴方向。
在框架23的内侧即佩戴者的头部侧设置有检测佩戴者的视线的视线传感器24。视线传感器24识别佩戴者的瞳孔的位置，检测佩戴者的视线的方向。HMD 10具有右眼用的右视线传感器24R和左眼用的左视线传感器24L作为视线传感器24。
右保持部22R具有从右显示部20R的端部ER起在大致水平方向上延伸并从中途向斜上方倾斜的形状，将端部ER与安装基部91的右侧的连结部93之间连结。同样，左保持部22L具有从左显示部20L的端部EL起在大致水平方向上延伸并从中途向斜上方倾斜的形状，将端部EL与安装基部91的左侧的连结部(未图示)之间连结。各连结部93将右保持部22R和左保持部22L以能够绕连结部93旋转且能够固定在任意的旋转位置的方式连结。其结果是，显示部20被设置成能够相对于安装基部91旋转。
在右保持部22R上设置有麦克风70和触摸传感器80。麦克风70收集佩戴者的声音。麦克风70优选具有如能够仅收集佩戴者的声音的指向性。但是，麦克风70也可以不具有指向性。麦克风70和触摸传感器80可以配置于HMD 10的其它位置。麦克风也可以设置于控制器100。
右显示驱动部21R和左显示驱动部21L分别配置于相当于显示部20的镜腿的部分即右保持部22R和左保持部22L的内侧。
HMD 10具有佩戴于佩戴者的右耳的右耳机30R和佩戴于左耳的左耳机30L作为耳机30。
HMD 10的显示驱动部21、耳机30、惯性传感器50、摄像头60、麦克风70和触摸传感器80通过电缆40与控制器100连接。电缆40从控制器100向HMD 10供给电力，并且进行HMD10与控制器100之间的信息的交换。在电缆40的前端设置有连接器42。电缆40使用连接器42与控制器100连接。控制器100例如是智能手机。另外，控制器100也可以是专用的控制器。控制器100根据由HMD 10的摄像头60拍摄到的图像识别作业对象物，在避开作业对象物的画面位置，根据需要将文档作为放大或缩小后的虚像显示在显示部20上。
图2是控制器100和HMD 10的框图。如上所述，控制器100为智能手机，具有CPU110、存储器120、触摸面板130、惯性传感器150和连接器160。
在存储器120中存储有作为计算机程序的显示应用程序122、图像识别部124、第1受理部126、第2受理部128和文档129。图像识别部124根据由摄像头60拍摄到的图像识别作业对象物。显示应用程序122决定在显示部20的何处、以何种程度的大小显示文档129的图像，并发送到HMD 10。此时，显示应用程序122作为通过由CPU 110执行来控制图像在显示部20上的显示的显示控制部发挥功能，在显示部20的希望位置、例如不与作业对象物重叠的位置处显示文档129的图像。第1受理部126分析输入到麦克风70的声音，识别来自佩戴者的指示。即，第1受理部126作为声音识别部发挥功能。将第1受理部126的受理方式称为“第1输入方式”。此外，第1受理部126也可以构成为云型的声音识别部。第2受理部128通过声音识别以外的方法受理图像的显示状态的变更。具体而言，第2受理部128受理从IMU 50得到的头部的动作、从IMU 150得到的控制器100的动作、从视线传感器24得到的佩戴者的视线的动作、向后述的触摸面板130的输入。将第2受理部128的受理方式称为“第2输入方式”。文档129是显示在显示部20上的文档。
触摸面板130是控制器100的输入装置兼输出装置。惯性传感器150(以下，称作“IMU 150”。)是6自由度的惯性测量装置。IMU 150具有3轴(x轴、y轴、z轴)的加速度传感器、绕3轴(绕x轴、绕y轴、z轴)的陀螺仪传感器，取得控制器100的6DoF(six degrees offreedom)。在本实施方式中，设控制器100的左右方向为x轴方向、上下方向为y轴方向、正反方向为z轴方向。
连接器160与电缆40的连接器42连接。电缆40与HMD 10的右显示驱动部21R、左显示驱动部21L、右视线传感器24R、左眼用的左视线传感器24L、IMU 50、摄像头60、麦克风70、触摸传感器80、右耳机30R、耳机30连接。即，控制器100经由与连接器160连接的连接器42以及电缆40向HMD 10发送文档129，显示于显示部20。之后，如果出现来自佩戴者的指示，则变更显示部20中的文档129的显示位置或大小。来自HMD 10的佩戴者的指示经由电缆40传递到控制器100。
图3A是控制器100的CPU 110执行的显示控制流程图。在步骤S100中检测出佩戴者启动了显示应用程序122时，CPU 110将处理转移到步骤S110。
在步骤S110中，CPU 110取得HMD 10的摄像头60拍摄到的图像，识别图像中的作业对象物。在步骤S120中，CPU 110选择第1受理部126的受理、即基于声音输入的受理。在步骤S130中，CPU 110在避开在步骤S110中识别出的作业对象物的位置、即不与作业对象物重叠的位置处显示文档129的图像。此时，CPU 110可以根据需要放大或缩小图像。
在步骤S140中，CPU 110针对文档129的显示位置或大小(在图3A中，图示为“显示位置等”。)是否适当，受理佩戴者的判断。这是因为CPU 110无法判断文档129的显示位置或大小是否适当。
图3B是示出文档的显示位置或大小不适当的例子和适当的例子的说明图。如上所述，在步骤S130中，CPU 110在避开在步骤S110中识别出的作业对象物的位置、即不与作业对象物重叠的位置处显示文档129的图像。但是，如图3B的上图所示，作业对象物与文档129的图像有时会重叠。在该情况下，根据佩戴者的指示，如图3B的下图那样变更文档129的显示位置或大小。
在步骤S140中，在佩戴者判断为“适当”的情况下，CPU 110将处理转移到步骤S160，继续显示。另外，如果佩戴者没有任何动作，则CPU 110也可以判断为适当。另一方面，在佩戴者判断为“不适当”的情况下，CPU 110将处理转移到步骤S150。佩戴者在判断为“不适当”的情况下，例如通过声音来指示CPU 110转移到步骤S150。另外，佩戴者在无法进行基于声音的指示的情况下，也可以通过对控制器100的触摸面板130的规定图标的触摸、对HMD10的触摸传感器80的触摸，来向CPU 110输入“不适当”的判断，从而指示转移到步骤S150。
在步骤S150中，CPU 110受理佩戴者的指示，变更显示部20中的文档129的显示位置或大小。之后，CPU 110将处理转移到步骤S140。关于CPU 11受理佩戴者的指示的输入方式，在后面叙述。
如果认为显示位置等适当而继续显示(步骤S160)，则接着在步骤S170中，判断显示应用程序122的结束，当从佩戴者受理了显示应用程序122的结束的指示时，CPU110结束本流程图的处理。另一方面，在没有从佩戴者受理显示应用程序122的结束的指示的期间内，CPU 110使处理返回步骤S160，继续文档的显示。
在图3A的步骤S150中，CPU 110从佩戴者受理显示位置等的变更的指示。图4是在从佩戴者受理了显示位置等的变更指示时CPU 110所执行的输入方式的切换流程图。在步骤S200中，CPU 110使用第1受理部126进行基于声音的变更指示的受理。另外，使用该第1受理部126受理基于声音的变更的输入方式是默认的输入方式。
在步骤S210中，CPU 110判断声音输入方式是否适当。在基于声音的输入方式适当的情况下，CPU 110将处理转移到步骤S310，在不适当的情况下，CPU 110将处理转移到步骤S220。
步骤S210中的声音输入方式适当的情况是按照佩戴者的声音的指示变更了显示部20中的图像的显示位置或大小的情况。另一方面，“基于声音的声音输入方式不适当的情况”包含(1)CPU 110判断为基于声音的佩戴者的指示的输入困难或者无法输入因此不适当的情况、(2)佩戴者判断为不适当的情况。具体而言，在周围的噪音水平为阈值以上、例如60dB以上的情况下，CPU 110判断为基于声音的输入方式不适当。此外，即使周围的噪音水平小于阈值，在存在两个以上输入到麦克风70的声源的情况或根据输入到麦克风70的声音的频率等输入佩戴者以外的声音的情况下，CPU110也可以判断为基于声音的输入方式不适当。并且，在声音识别为云型且无法与网络连接的情况下，CPU 110也可以判断为基于声音的佩戴者的指示的输入方式不适当。
佩戴者判断为不适当的情况例如包含显示部20中的图像的显示位置或大小未按照佩戴者的基于声音的指示而变更的情况、佩戴者判断为在佩戴者当前所在的环境中基于声音的输入方式不适当的情况。另外，CPU 110无法进行这些判断。因此，佩戴者通过声音以外的输入方式向CPU 110通知基于声音的输入方式不适当的消息。例如，佩戴者能够通过使用了第2受理部128的输入方式、例如利用了头部的运动的输入方式、利用了控制器100的运动的输入方式、利用了视线的运动的输入方式、向控制器100的触摸面板130输入的输入方式或者对HMD 10的触摸传感器80的触摸，来向CPU110通知基于声音的输入方式不适当。
在步骤S220中，CPU 110将输入方式切换为使用了HMD 10的佩戴者的第2受理部128的输入方式即利用了头部运动的输入方式。在步骤S230中，CPU 110判断利用了佩戴者的头部运动的输入方式是否适当。在利用了头部运动的输入方式适当的情况下，CPU 110将处理转移到步骤S310，在不适当的情况下，CPU 110将处理转移到步骤S240。
步骤S230中的利用了头部运动的输入方式不适当的情况包含(3)CPU 110判断为利用了头部运动的输入困难或者无法输入因此不适当的情况、和(4)佩戴者判断为不适当的情况。具体而言，CPU 110分析摄像头60的图像，在佩戴者的头部存在于狭小场所的情况、佩戴者在高处的情况下，由于不处于可使头部运动的环境，因此判断为利用了头部运动的输入方式不适当。
佩戴者判断为不适当的情况包含显示部20中的图像的显示位置或大小未按照基于佩戴者的头部运动的指示而变更的情况、佩戴者判断为利用了头部运动的输入方式不适当的情况。另外，CPU 110无法进行这些判断。因此，佩戴者通过声音输入方式、利用了头部运动的输入方式以外的输入方式，向CPU 110通知利用了头部运动的输入方式不适当。例如，佩戴者也可以通过进行利用了控制器100的运动的输入方式、利用了视线运动的输入方式、向控制器100的触摸面板130输入的输入方式或者对HMD 10的触摸传感器80进行触摸，来向CPU 110通知除了声音输入方式之外，利用了头部运动的输入方式也不适当。
在步骤S240中，CPU 110切换为使用了第2受理部128的输入方式即利用了控制器100的运动的输入方式。在步骤S250中，CPU 110判断利用了控制器100的运动的输入方式是否适当。在利用了控制器100的运动的输入方式适当的情况下，CPU 110将处理转移到步骤S310，在不适当的情况下，CPU 110将处理转移到步骤S260。
步骤S250中的利用了控制器100的运动的输入方式不适当的情况包含(5)CPU110由于利用了控制器100的运动的输入困难或者无法输入所以判断为不适当的情况、和(6)佩戴者判断为不适当的情况。具体而言，CPU 110分析摄像头60的图像，在佩戴者的双手被工具等占用的情况下，利用了控制器100的运动的输入困难或无法输入，所以判断为利用了控制器100的运动的输入方式不适当。
佩戴者判断为不适当的情况包含未按照控制器100的运动的指示变更显示部20中的图像的显示位置或大小的情况、佩戴者判断为利用了控制器100的运动的输入方式不适当的情况。另外，CPU 110无法进行这些判断。因此，佩戴者通过声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式以外的输入方式，向CPU 110通知利用了控制器100的运动的输入方式不适当的消息。例如，佩戴者也可以通过利用了视线运动的输入方式、向控制器100的触摸面板130输入的输入方式或者对HMD 10的触摸传感器80进行触摸，来向CPU 110通知声音输入方式、利用了头部运动的输入方式和利用了控制器100的运动的输入方式也不适当。
在步骤S260中，CPU 110切换为使用了第2受理部128的输入方式即利用了视线运动的输入方式。在步骤S270中，CPU 110判断利用了视线运动的输入方式是否适当。在利用了视线运动的输入方式适当的情况下，CPU 110将处理转移到步骤S310，在不适当的情况下，CPU 110将处理转移到步骤S280。
步骤S270中的利用了视线运动的输入方式不适当的情况包含(7)CPU 110由于利用了视线运动的输入困难或者无法输入所以判断为不适当的情况、和(8)佩戴者判断为不适当的情况。具体而言，CPU 110使用视线传感器24来识别佩戴者的瞳孔并检测视线，但在无法识别出佩戴者的瞳孔的情况下，由于利用了视线运动的输入困难或无法输入，所以判断为利用了视线运动的输入方式不适当。
佩戴者判断为不适当的情况包含显示部20中的图像的显示位置或大小未按照基于视线运动的指示而变更的情况、佩戴者判断为利用了视线移动的输入方式不适当的情况。另外，CPU 110无法进行这些判断。因此，佩戴者通过声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式、利用了视线运动的输入方式以外的输入方式，向CPU 110通知利用了视线运动的输入方式不适当的消息。例如，佩戴者也可以通过向控制器100的触摸面板130输入的输入方式或者对HMD 10的触摸传感器80进行触摸，来向CPU 110通知除了声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式以外利用了视线运动的输入方式也不适当。
在步骤S280中，CPU 110切换为使用了第2受理部128的输入方式即利用了对触摸面板130的触摸的输入方式。在步骤S290中，CPU 110判断利用了对触摸面板130的触摸的输入方式是否适当。在利用了对触摸面板130的触摸的输入方式适当的情况下，CPU 110将处理转移到步骤S310，在不适当的情况下，CPU 110将处理转移到步骤S300。
在步骤S290中，HMD 10的佩戴者判断为利用了对触摸面板130的触摸的输入方式不适当。佩戴者通过声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式、利用了视线运动的输入方式、利用了对触摸面板130的触摸的输入方式以外的输入方式，向CPU 110通知利用了对触摸面板130的触摸的输入方式不适当的消息。例如，佩戴者也可以通过对HMD 10的触摸传感器80进行触摸，向CPU110通知除了声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式、利用了控制器100的运动的输入方式以外，利用了对触摸面板130的触摸的输入方式也不适当。
在步骤S300中，由于CPU 110均无法采用第1受理部126和第2受理部128，所以判断为无法变更文档129的图像的显示位置或大小。
在步骤S310中，通过被判断为适当的各输入方式如下受理输入。
(a)声音输入方式
图5是示出采用声音输入方式时的控制器100的触摸面板的说明图。在触摸面板130上显示有图标132S，该图标132S表示正在使用声音输入。CPU 110也可以将与图5相同的显示显示于显示部20。CPU 110使用第1受理部126分析输入到麦克风70的声音，识别来自佩戴者的指示，根据识别结果变更图像的显示位置或大小。图标132O是用于供佩戴者输入表示声音输入方式不适当的图标。当触摸了该图标132O时，CPU110将输入方式切换为利用了头部运动的输入方式。另外，在正在使用声音输入方式的情况下，CPU 110除了能够变更文档129的图像的显示位置或大小以外，还能够变更亮度、颜色等。
(b)利用了头部运动的输入方式
图6是示出正在使用利用了头部运动的输入方式时的触摸面板130的说明图。在触摸面板130上显示有图标132H，该图标132H表示正在使用利用了头部运动的输入方式。CPU110也可以将与图5相同的显示显示于显示部20。CPU 110使用HMD 10的IMU50识别头部的运动。例如，在检测出IMU 50绕x轴的旋转的情况下，CPU 110能够检测出佩戴者将头部向上或向下摆动。在检测出绕y轴的旋转的情况下，能够检测出佩戴者将头部向左或向右摆动。另外，在检测出沿z轴方向的移动的情况下，能够判断为佩戴者使头向前或向后移动。在佩戴者使头部上下或左右摆动的情况下，CPU 110使文档的显示位置上下、左右移动。另外，在佩戴者使头向前或向后移动的情况下，CPU 110放大或缩小文档的大小。
(c)利用了控制器100的运动的输入方式
图7是示出正在使用利用了控制器100的动作的输入方式时的触摸面板130的说明图。在触摸面板130上显示有功能图标133。CPU 110在佩戴者一边触摸功能图标133一边使控制器100移动时，检测控制器100的运动。这是为了使得不检测出佩戴者无意中移动了控制器100时的动作。CPU 110使用控制器100的IMU 150来识别控制器100的运动。例如，CPU110在检测出IMU 150沿x轴的移动的情况下，能够检测出佩戴者使控制器100左右移动。在检测出沿y轴的移动的情况下，能够检测出佩戴者使控制器100上下移动。另外，在检测出沿z轴方向的移动的情况下，能够判断为佩戴者使控制器100向跟前或里侧移动。
(d)利用了视线运动的输入方式
图8是示出正在使用利用了视线运动的输入方式时的显示部20的说明图。在显示部20上显示有用于使文档沿上下左右移动的图标25U、25D、25R、25L和用于使文档放大显示、缩小显示的图标25B、25S。CPU 110使用HMD 10的视线传感器24检测佩戴者正在看哪个图标、佩戴者的视线，识别佩戴者的指示。
(e)利用了对触摸面板130的触摸的输入方式
图9是示出正在使用利用了对触摸面板130的触摸的输入方式时的触摸面板130的说明图。在触摸面板130上显示有用于使文档沿上下左右移动的图标131U、131D、131R、131L和用于使文档放大显示、缩小显示的图标131B、131S。CPU 110检测触摸了哪个图标，识别佩戴者的指示。
以上，根据本实施方式的HMD 10，在判断为第1受理部126的受理、即来自麦克风70的声音输入困难或无法输入的情况下，CPU 110将受理用于变更文档在显示部20上的显示位置等的指示的输入方式变更为第2受理部128的受理，因此，能够容易地切换为适当的输入方式。
在上述方式中，CPU 110按照声音输入方式、利用了头部运动的输入方式、利用了控制器100的运动的输入方式、利用了视线运动的输入方式、利用了对触摸面板130的触摸的输入方式的顺序切换了输入方式，但对于比声音输入方式靠后的输入方式，只要是预先确定的顺序，CPU 110也可以按照其他顺序切换。
在上述方式中，HMD 10和控制器100无需具有全部IMU 50、IMU 150和视线传感器24，具有至少一个即可。CPU 110只要使用利用其所具备的结构的输入方式即可。
在上述方式中，在无法使用基于声音的输入方式时，CPU 110例如在HMD 10的显示部20、控制器100的触摸面板130上依次示出了其他输入方式。CPU 110也可以在HMD 10的显示部20、控制器100的触摸面板130上全部显示其他输入方式的选择项，供佩戴者选择。在无法使用基于声音的输入方式时，能够在不考虑基于头部运动的输入的情况下，切换为例如基于视线的输入方式。此外，CPU 110可以使用耳机30通过声音来引导无法使用基于声音的输入方式的情况。在HMD 10或控制器100上搭载振动功能，CPU 110也可以使用基于振动功能的振动来引导无法使用基于声音的输入方式的情况。
在上述说明中，HMD 10、HMD 11为光学透射型HMD，但也可以是非光学透射型HMD。
·其他实施方式：
在上述实施方式中说明了：控制器100根据由HMD 10的摄像头60拍摄到的图像识别作业对象物，在避开作业对象物的画面位置根据需要将文档作为放大或缩小后的虚像显示在显示部20上。控制器100除了在避开识别出的对象物而显示图像的情况下的显示控制以外，也可以应用于可在所显示的图像中显示的显示区域中变更显示区域的位置或变更显示区域的大小的情况。
图10是示出其他实施方式的说明图。在该例子中，在初始状态下，显示图像整体中的、表示太阳的图像SN被识别为目视图像。在初始状态下，在HMD 10的显示部20上显示表示该太阳的图像SN的区域SNR。之后，在通过声音识别或其他输入方式变更为将显示图像整体中的、表示星星的图像STA识别为目视图像的情况下，在HMD 10的显示部20上显示表示该星星的图像STA的区域STR。另外，图10所示的例子是变更显示区域的位置的例子，但也可以变更显示区域的大小。
本发明不限于上述实施方式，能够在不脱离其宗旨的范围内以各种方式实现。例如，本发明还能够通过以下的方式来实现。为了解决本发明的课题的一部分或全部或者为了实现本发明的效果的一部分或全部，与以下所记载的各方式中的技术特征对应的上述实施方式中的技术特征可以适当地进行替换或组合。此外，只要未说明为该技术特征是本说明书中必需的，则能够适当删除。
(1)根据本发明的一个方式，提供一种头部佩戴型显示装置。该头部佩戴型显示装置具有：显示部，其能够与外景重叠地显示图像；显示控制部，其控制所述显示部上的图像显示；麦克风；第1受理部，其通过对从所述麦克风输入的声音进行声音识别，受理所述图像的显示状态的变更；以及第2受理部，其通过声音识别以外的方法受理所述图像的显示状态的变更，在无法进行所述第1受理部的受理的情况下，所述显示控制部切换为所述第2受理部的受理，变更所述图像的显示状态。根据该方式，控制器在判断为无法进行第1受理部的受理的情况下，切换为通过声音识别以外的方法受理图像的显示状态的变更的第2受理部，因此，能够容易地切换为适当的输入方式，该第1受理部通过对从麦克风输入的声音进行声音识别来受理图像的显示状态的变更。
(2)在上述方式的头部佩戴型显示装置中，在输入到所述麦克风的噪声的大小超过阈值的情况下，所述显示控制部判断为无法进行所述第1受理部的受理。根据该方式，显示控制部能够容易地判断出无法进行第1受理部的受理。
(3)在上述方式的头部佩戴型显示装置中，也可以，在检测出头部佩戴型显示装置的佩戴者的特定的动作的情况下，所述显示控制部判断为无法进行所述第1受理部的受理。根据该方式，显示控制部能够容易地判断出无法进行第1受理部的受理。
(4)在上述方式的头部佩戴型显示装置中，也可以，具有控制器，该控制器收纳于与所述显示部不同的壳体，所述第2受理部从检测头部佩戴型显示装置的佩戴者的头部的运动的第1惯性传感器、检测所述控制器的运动的第2惯性传感器、检测头部佩戴型显示装置的佩戴者的视线的视线传感器中的至少一个传感器受理头部佩戴型显示装置的佩戴者的指示。根据该方式，能够容易地选择适当的输入方式。
(5)在上述方式的头部佩戴型显示装置中，也可以，所述第2受理部从所述第1惯性传感器、所述第2惯性传感器、所述视线传感器中的2个以上的传感器受理头部佩戴型显示装置的佩戴者的指示，在判断为无法进行所述第1受理部的受理的情况下，所述显示控制部按照预先设定的顺序切换所述第2受理部的传感器。根据该方式，能够切换为适当的输入方式。
(6)在上述方式的头部佩戴型显示装置中，也可以，所述图像的显示状态包含所述图像的显示位置和大小中的至少一个。
本发明还能够通过头部佩戴型显示装置以外的各种方式来实现。例如，能够以用于变更头部佩戴型显示装置中的显示的输入方式的切换方法、输入方式的切换程序以及记录了该切换程序的非暂时记录介质等方式来实现。

Claims (6)

1.一种头部佩戴型显示装置，其具有：
显示部，其能够与外景重叠地显示图像；
显示控制部，其控制所述显示部显示的所述图像的显示状态；
麦克风，其收集声音；
第1受理部，其通过声音识别，受理所述图像的显示状态的变更；以及
第2受理部，其通过声音识别以外的方法受理所述图像的显示状态的变更，
所述第1受理部被设定为受理所述图像的显示状态的变更的默认受理部，
在噪声的大小超过阈值的情况、或所述麦克风收集了2个以上的声源的情况、或所述麦克风收集了所述头部佩戴型显示装置的佩戴者的声音以外的声音的情况、或检测到所述佩戴者的特定的动作的情况下，所述显示控制部切换为由所述第2受理部受理所述图像的显示状态的变更而替代由所述第1受理部受理所述图像的显示状态的变更。
2.根据权利要求1所述的头部佩戴型显示装置，其中，
该头部佩戴型显示装置具有控制器，该控制器收纳于与所述显示部不同的壳体，
所述第2受理部从检测头部佩戴型显示装置的佩戴者的头部的运动的第1惯性传感器、检测所述控制器的运动的第2惯性传感器、检测头部佩戴型显示装置的佩戴者的视线的视线传感器中的至少一个传感器受理头部佩戴型显示装置的佩戴者的指示。
3.根据权利要求2所述的头部佩戴型显示装置，其中，
所述第2受理部从所述第1惯性传感器、所述第2惯性传感器、所述视线传感器中的2个以上的传感器受理头部佩戴型显示装置的佩戴者的指示，
在所述第2受理部被设定为替代所述第1受理部而受理所述图像的显示状态的变更的情况下，所述显示控制部按照预先设定的顺序切换为由所述第2受理部的传感器受理所述图像的显示状态的变更。
4.根据权利要求1所述的头部佩戴型显示装置，其中，
所述图像的显示状态包含所述图像的显示位置和大小中的至少一个。
5.一种输入方式的切换方法，其中，
与外景重叠地将图像显示于显示部的期望位置，
在变更所述图像的显示状态的情况下，
通过对麦克风收集的声音进行声音识别的第1输入方式来受理所述图像的显示状态的变更，所述第1输入方式被设定为默认输入方式，
在噪声的大小超过阈值的情况、或所述麦克风收集了2个以上的声源的情况、或所述麦克风收集了识别出的佩戴者的声音以外的声音的情况、或检测到所述识别出的佩戴者的特定的动作的情况下，通过声音识别以外的第2输入方式来受理所述图像的显示状态的变更，
变更所述图像的显示状态。
6.一种记录介质，其记录了输入方式的切换程序，该切换程序使计算机实现以下功能：
与外景重叠地将图像显示于显示部的期望位置；
在变更所述图像的显示状态的情况下，
通过对麦克风收集的声音进行声音识别的第1输入方式来受理所述图像的显示状态的变更，所述第1输入方式被设定为默认输入方式，
在噪声的大小超过阈值的情况、或所述麦克风收集了2个以上的声源的情况、或所述麦克风收集了识别出的佩戴者的声音以外的声音的情况、或检测到所述识别出的佩戴者的特定的动作的情况下，通过声音识别以外的第2输入方式来受理所述图像的显示状态的变更；以及
变更所述图像的显示状态。
CN202011260218.2A 2019-11-13 2020-11-12 头部佩戴型显示装置、输入方式的切换方法及记录介质 Active CN112799504B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019205326A JP2021077262A (ja) 2019-11-13 2019-11-13 頭部装着型表示装置、入力方式方法の切り替え方法、及び、その切り替えプログラム
JP2019-205326 2019-11-13

Publications (2)

Publication Number Publication Date
CN112799504A CN112799504A (zh) 2021-05-14
CN112799504B true CN112799504B (zh) 2023-06-02

Family

ID=75807423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011260218.2A Active CN112799504B (zh) 2019-11-13 2020-11-12 头部佩戴型显示装置、输入方式的切换方法及记录介质

Country Status (3)

Country Link
US (1) US11475866B2 (zh)
JP (1) JP2021077262A (zh)
CN (1) CN112799504B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251095B (zh) * 2023-09-12 2024-05-17 深圳市驿格科技有限公司 用于pda的数据输入方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0915527A (ja) * 1995-06-27 1997-01-17 Olympus Optical Co Ltd 頭部装着型映像表示装置
CN103731659A (zh) * 2014-01-08 2014-04-16 百度在线网络技术（北京）有限公司 头戴式显示设备
JP2017120550A (ja) * 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9885869B2 (en) * 2015-07-17 2018-02-06 Azubuike Victor Onwuta Think and zoom
KR102122600B1 (ko) * 2018-03-07 2020-06-12 매직 립, 인코포레이티드 주변 디바이스들의 시각적 추적
JP7130765B2 (ja) * 2018-10-03 2022-09-05 マクセル株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0915527A (ja) * 1995-06-27 1997-01-17 Olympus Optical Co Ltd 頭部装着型映像表示装置
CN103731659A (zh) * 2014-01-08 2014-04-16 百度在线网络技术（北京）有限公司 头戴式显示设备
JP2017120550A (ja) * 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20210142766A1 (en) 2021-05-13
CN112799504A (zh) 2021-05-14
JP2021077262A (ja) 2021-05-20
US11475866B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
CN107037876B (zh) 系统及控制其的方法
EP3161546B1 (en) Glasses-type mobile terminal
US9804682B2 (en) Systems and methods for performing multi-touch operations on a head-mountable device
US9100732B1 (en) Hertzian dipole headphone speaker
KR20170006058A (ko) 헤드 마운트 디스플레이 장치
JP2005172851A (ja) 画像表示装置
JP6201024B1 (ja) ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置
JP2015125502A (ja) 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
CN111830712B (zh) 智能眼镜、组装式的眼镜、控制方法及计算机存储介质
CN112799504B (zh) 头部佩戴型显示装置、输入方式的切换方法及记录介质
JP6160654B2 (ja) 表示装置、表示方法、プログラム
EP3436888B1 (en) Head-mounted display apparatus
JP5055585B2 (ja) ヘッドマウントディスプレイ
JP6015223B2 (ja) 電子機器、及び表示装置
CN111722401A (zh) 显示装置、显示控制方法以及显示系统
KR20170084443A (ko) 헤드 마운트 디스플레이 장치 제어방법
US9210399B1 (en) Wearable device with multiple position support
KR101805065B1 (ko) 시선 추적을 이용하여 컨텐츠를 선택적으로 제어하기 위한 장치 및 방법
JP6638325B2 (ja) 表示装置、及び、表示装置の制御方法
CN115145032B (zh) 佩戴型图像显示装置
CN115145035B (zh) 头部佩戴型装置、头部佩戴型装置的控制方法及记录介质
JP4396256B2 (ja) ヘッドマウントディスプレイ
WO2023157332A1 (ja) 情報処理装置および調整画面表示方法
JP2019079469A (ja) 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant